クラスタリングテクノロジー-Webプロジェクトの信頼性と生産性の向上

こんにちは、同僚！



今日、1C-Bitrixプラットフォームの第10バージョンに登場したクラスタリング技術についてお話したいと思います 。 また、Webプロジェクトマネージャーとして解決できる重要なタスクと、開発者がこれらのテクノロジを効果的に使用する方法を分析します。 記事の最後で、1C-Bitrixプラットフォームに基づいた、稼働中のWebクラスターの特定のアーキテクチャを検討します。 リソースwww.1c-bitrix.ru



しかし、まず-質問に客観的に答えようとします-その場合、Webプロジェクトを実装するためのフレームワークまたはボックスソリューションを選択することをお勧めします。その場合、最初からWebプロジェクトを作成します。

ゼロからのWebプロジェクト開発

最初からWebプロジェクトを開発するプロセスは比較的単純に見え、成功につながります。

1. 作業範囲を設計および評価します
2. Web開発者、レイアウトデザイナー（おそらくデザイナー）のチームを募集しています
3. プログラミング、レイアウト、テスト
4. Webプロジェクトにコンテンツを入力します
5. 起動する
6. Webプロジェクトをサポートおよび開発します

しかし...実際には：

1. 市場で数が少なく高価な作業量を設計および評価するには、資格のあるシステムアナリストと技術専門家が必要です。
2. 資格のあるWeb開発者のチームを募集する必要があります。これらの開発者は、市場では少数ですが、高価です
3. 以下を含む効果的な開発プロセスを選択および構成する必要があります。 チームにトラッカー、開発環境、バージョン管理システムなどのツールを提供します。
4. Webプロジェクトにコンテンツをすばやく入力するには、すべてのタイプのコンテンツ用の「管理パネル」を開発する必要があります。これは余分な時間とお金です
5. サーバーとソフトウェアを構成し、バックアップと監視を整理し、セキュリティ監査を行うには、資格のあるシステム管理者との緊密な協力が必要です。
6. Webプロジェクトの改善を開発チームから「ライブブロードキャスト」に「転送」するためのツールを選択して実装する必要があります。これには、たとえばバージョン管理システムや継続的統合ツールを使用します

残念ながら、Webプロジェクトを立ち上げた後、開発チームによって作成されたWebソリューションのコードの品質が低いことがわかります（彼らは異なる人々、異なる資格、異なるタイミングで、誰も作業をチェックしないなどを記述し、使用されている場合） 「強制労働」をすると、一般的に書き込みはなくなります:-)）。 あなたにとって、これは、Webプロジェクトに変更/改善を加えることはより高価で長くなり（コンクリートの壁を粘土の基礎に置く試み）、システムはウェブサイトのトラフィックの増加とともにますます遅くなることを意味します。 定期的に、少なくとも何らかの方法でWebプロジェクトを進めて開発するために、個々のパーツを完全に書き直す必要があります-他のパーツの機能と安定性に違反する可能性があります（サイト訪問者からの苦情の流れ、注文の喪失、金融の消失トランザクションなど）。



また、たとえば、1日あたり最大数百万件のWebリソースへの参加が大幅に増加すると、Webソリューションはそのような負荷に対してまったく作成されず、「緊急」に書き直す必要があることがわかります。

フレームワークに基づいたWebプロジェクトの開発

フレームワークを選択すると、理論的には、リスクと開発時間を削減できます。 実際、フレーム/ファンデーションのようなものを使用しているので、その上で必要なWebサイト機能を「紐付け」します。 ただし、残念ながら多くのリスクが残っています。

• ここで、人件費を設計および評価するためのフレームワークについて十分な知識を持つ「特別な」専門家が必要です。 BitrixFrameworkに基づいて開発する場合、従業員はコースで無料で認定を受けることで、原則として、作業の量、複雑さを正確に評価し、「ゼロから」書く必要があるものとソリューションを決定することができます。完成した形で使用できます。
• フレームワークにはさまざまなエントリレベルがあるため、 ZendFramework 、 Symfony 、 Yiiなどの一般的な「アカデミック」フレームワークを使用するには、 BitrixFramework （ 1C製品とソリューションが機能する基盤）を使用するよりも高いコストと資格のプログラマが必要Bitrix）、プライマリおよびセカンダリ資格のほとんどの開発者が理解できる単純なアーキテクチャの概念とパターンを使用します。 BitrixFramework開発者の試運転を加速するには、 「開発者向けクイックスタート」コースが役立ちます。
• 原則として、フレームワークに基づいてWebプロジェクトを開発する技術プロセスは、ゼロから開発する場合と大差ありません。 ただし、BitrixFrameworkなどの一部のフレームワークは、開発品質のための便利な監査および監視ツールを提供します： パフォーマンスモニター 、 SEO監査 、デバッグツール。

1C-Bitrixプラットフォームのデバッグツール：フレームワークでの低品質開発-動作しません:-)

• Webプロジェクトにコンテンツをすばやく便利に入力するために、一部のフレームワークは、「管理パネル」（原則として、いくつかのタイプの管理ページの作成を加速することができる半製品）の自動作成の手段を提供します。 BitrixFrameworkには、プロジェクトのニーズに合わせてカスタマイズできる組み込みの機能的で非常に便利な管理インターフェイスがあります。 たとえば、ニュースを追加したり、注文を処理したりして、独自の「管理パネル」を作成できます 。
• Webプロジェクトの負荷テストのために、フレームワークは、フレームワークを開始する前に負荷を作成して監査するための技術的なツールを提供することがあります。 BitrixFrameworkには、ハードウェアとソフトウェアの構成を監査し 、負荷を作成するための組み込みサブシステムが効率的で人気があります。

1C-Bitrixプラットフォームの負荷ツールにより、高負荷に対するWebプロジェクトの耐性を非常に簡単に評価できます

• 残念ながら、すべてのフレームワークがそれ自体を「更新」できるわけではありません。これは、エラーをすばやく除去し、現在の機能を改善し、新しい機能を得るために必要です。 BitrixFrameworkには統合された更新システムがあります。これにより、Webプロジェクトのコアを永続的に良好なトーンで常に維持できます。

エンパワーメント-祝福または呪い？

品質フレームワークの基礎の1つは、シンプルなアドオンを作成することにより、さまざまな使用シナリオを実装する機能です。 たとえば、5年からフレームワークを開発した経験のある高度な資格を持つプログラマがフレームワークのコアを高価に書き換えることなく、オンラインストアで割引を計算するための非標準のアルゴリズムを組み込むことはできますか？ 地域によってレートが異なる通貨を使用できますか？ 既存のシステムのアカウントの外部データベースをWebプロジェクトの承認に使用することは可能ですか？



BitrixFrameworkでは、カーネルお​​よびプラットフォームモジュールの開発中に問題領域の詳細なシステム分析の必須フェーズのおかげで、Webプロジェクトの95％で必要になる可能性のある主な一般的なビジネスプロセスが実装されます。 アドオンを作成するには、いつでも簡単なイベントハンドラーのメカニズムを使用できます 。その助けを借りて、プライマリまたはセカンダリ資格のプログラマーがビジネスプロセスのほぼすべての素晴らしいシナリオを実装できます。



それでも、フレームワークでのタスクは「ゼロから」書くよりも実装が難しくて時間がかかることが判明する場合があります。これについては、開発プロセスですでにわかっています:-)。 この場合、フレームワークは、原則として、モジュール拡張の可能性を提供します。 BitrixFrameworkでは、カスタムロジックを実装するモジュールを作成する必要があります。 通常、モジュールの作成はイベントハンドラの作成よりも長くなりますが、最大限の柔軟性が得られます。 モジュールの作成は比較的簡単ですが、おそらくそのようなモジュールはすでに作成されているので、まず市場で「急襲」する必要があります 。

箱入りソリューションに基づくWebプロジェクトの開発

このアプローチは、要件がボックスの機能に「近い」場合、Webプロジェクトの開発の時間とリスクを最小限に抑える可能性があります。 たとえば、複数通貨カタログ、承認、割引、個人セクション、多数の支払いシステムの検索とサポートを備えた典型的なオンラインストアを作成して実行するには、1C-Bitrix：Site Managementボックスソリューション（ Small Businessエディション ）が最適です。



さらに、「サクセスストーリー」および「レシピブック」であるボックス化されたソリューションは、プロジェクトの顧客として、ビジネスタスクを実装する実際の例を「タッチ」するのに役立ちます。 ボックスを使用すると、開発者はソリューションの「ソース」を調査して、ソリューションを複製するか、より良い結果を得ることができます:-)。 ボックスを使用する際によくあるケース：「こことここで同じことを行い、管理パネルでそこと同じ方法で管理されるようにします。」



「正しい」ボックスは、最終的な真実としての決定を課すものではなく、フレームワークに基づいて、実行中の実装のレイヤーを「切り離し」、独自の実装に置き換えることができます。 1C-Bitrixでは、既成のソリューションをシステムから簡単にアンインストールし、 Marketplaceからなど、実験用に新しいソリューションを配置し、独自の最適な方法を選択できます。

1C-Bitrixプラットフォームのクラスターテクノロジーは、どのような種類のWebプロジェクトに役立つことがわかりますか？

1C-Bitrikフレームワーク/ボックスで既に開発を行っている、または開発を計画している場合、ほとんどの場合：

• プロジェクトには、1C-Bitrixプラットフォームの機能とうまく適合する複雑なビジネスロジックとボリューム機能があります
• 産業用BitrixFrameworkフレームワークを使用して、リスクを軽減し、開発速度を向上させたいですか？
• 高負荷（ 1日あたり数百万のヒット ）に対するWebプロジェクトの安定性が心配であり、1時間の単純なWebサイトは単純に受け入れられません。 深刻な損失と評判への打撃を脅かす

バージョン10の1C-BitrixプラットフォームでWebプロジェクトの高可用性と生産性を確保するために、製品で一般的で効果的なクラスタリングテクノロジーを使用することが可能になりました。



1）垂直分割（MySQLサーバーを分離するためのシステムモジュールの削除）。 これで、集中的に使用されるモジュール「検索」と「Web分析」を独自の「ハードウェア」に移動できます。







2）サーバー間のMySQLレプリケーションと負荷分散。 これで、WebプロジェクトのDBMSの負荷をサーバーのグループに分散し、必要に応じて追加できます。 技術的な詳細はこちらをご覧ください 。







3）分散データキャッシュ（memcached）。 高負荷のプロジェクトでは、信頼性が高くスケーラブルなキャッシングが重要です。 技術的な詳細はこちら 。





4）Webサーバー間のクラスタリングセッション。 これは、バランサーの背後にあるWebサーバーのグループで作業する場合に必要です。 なぜセッションをmemcachedに保存しないのか-これについては別に書きます:-)。





5）Webサーバーファイルのクラスタリング。 これは、マシン間でコンテンツを自動的に同期するために必要です。 技術的な詳細はこちら 。



クラスタリングテクノロジーが1C-Bitrixプラットフォームのコアレベルで使用されており、Webプロジェクトのコードを変更する必要がないという事実に特に注意を払いたいと思います。 （それについて書くたびにそれを信じるわけではありませんが... ...本当にそうです）もちろん、必要に応じて、コードでレプリケーションサーバーの読み取り/書き込みを指定できます-しかし、これはWebプロジェクトの大部分に必要です。



また、将来クラスタリング技術が必要になる可能性のあるWebプロジェクトを開発している場合、基本的には、必要になったときに、Webプロジェクトコードを最終化せずに「プラグイン」できます。 これにより、Webプロジェクトの開発コストが大幅に削減されます。 クラスターファイルシステムと水平シャーディングを使用して、5つのデータベースで実行する高負荷のシステムをすぐに作成する場合- 不要な場合は、時間とお金を浪費します。

1C-Bitrixに基づいて動作するWebプロジェクトのクラスターアーキテクチャ

最後に、この記事の最も興味深いセクションでは、1C-Bitrixプラットフォーム上の既存のWebクラスターの具体例を検討します。

www.kupibonus.ru-中断のないサービス提供

Webクラスタの実装は、モスクワの認定パートナー「Linemedia」によって実行されました。 プラットフォームのエディション-「Business Web Cluster」。



Webプロジェクトには毎日数十万人のユーザーがアクセスし、Kupibonus APIを介してプロジェクトにアクセスできるプロジェクトパートナーは追加の負荷を生成します。 1Cとのアクティブな双方向統合：エンタープライズバックオフィス、外部サービスとの相互作用の集中的なチャネル。

Webクラスターの実装により、公共部分だけでなく、内部ビジネスプロセスとAPIでも高いパフォーマンスとフォールトトレランスが確保されます。 実装はかなり短い時間で行われました-2週間。

www.komos.ru-電子交換

Webクラスタの実装は、ゴールド認定パートナーである「Professional Internet Solutions」 、Izhevskによって実施されました。 プラットフォームのエディション-「Web Cluster」。



Webプロジェクトは、企業グループ-KOMOS GROUPによる電子取引用の高負荷プラットフォームです。 このグループには、ウドムルチアとペルミ準州で食料を生産する13の大企業が含まれています。 入札の結果として受け取ったオファーの価値は、1年以内に約50億ルーブルに達しました。 Webクラスターの導入、高性能、フォールトトレランスにより、電子取引プラットフォームの容易なスケーラビリティが保証されます。

www.1c - bitrix.ru-これは私たちです

Webクラスターは、Amazonクラウド内のEBS / EC2マシングループでホストされます。 かなり大量の静的コンテンツ。 更新部分だけでなく、公開部分と統合API（マーケットプレイス）の両方の負荷が高い。 Webクラスターへの移行により、高いパフォーマンスと安定性、必要に応じて高速スケーリングが保証されます。



クラウドに組み込まれたバランサーを使用したかったのですが、今のところ、その「柔軟性がない」ため、これには別のマシンを使用します。 クラウドに組み込まれた便利なスナップショットテクノロジーを使用してS3でバックアップを作成します。EBSに基づくバックアップraid10ではXFSを配置し、完全なスナップショットではec2-consistent-snapshotユーティリティを使用して「フリーズ」します。 静力学は徐々にクラウドとCDNに移行しています。 ほとんどの日常業務：負荷、荷重移動、バックアップなどの場合に車を持ち上げます。 -Amazon APIでスクリプト化。





現在、国内のクラウドプロバイダーであるOversan-SkalaksiでのいくつかのWebクラスターの立ち上げの準備が進められています。 それらについて書いて描きます。



最も近いクラウドおよびクラスタリング技術計画



最近のパートナー会議で、クラウドストレージ（Amazon / S3、Googleストレージ、Microsoft Azureのストレージテクノロジー）のサポートを、秋にリリースされるプラットフォーム10.5の次のリリースで行うことを発表しました。



また、バージョン10.5では、クラウドプロバイダーからのWebクラスターの信頼性と抽象化を実現するソリューションを顧客に提供したいと考えています- クラウド / DCで深刻な問題が発生した場合、Webクラスターは引き続き別のクラウド地域の顧客にサービスを提供します別の大陸：





クラスターグリッド（これは技術の実用名の1つです）



最新のクラウドクラスタリングテクノロジーに関心を寄せており、Webプロジェクトの信頼性と生産性を確保するための潜在的な可能性を確認しています。 1C-Bitrixプラットフォームに最高の技術を実装し続けることで、多くのお客様にとって有用で手頃な価格になります 。



すべての技術的な成功、楽観主義をお祈りします。また、企業ブログでお会いしましょう。



参照：

• 1C-Bitrixクラスタリングテクノロジーに関する有用な記事。

Alexander Serbul、統合および実装品質管理1C-Bitrixの責任者