CommuniGate Proダイナミッククラスター

この記事では、SaaSホスティングプロバイダー向けのCommuniGate Proダイナミッククラスターの機能と独自の利点を検証します。



CommuniGate Proはクラウドベースの統合コミュニケーション（UC）プラットフォームであり、Dynamic Clusterはこのプラットフォームの最も信頼性が高くスケーラブルな構成です。



CommuniGate Proのアーキテクチャは、複数のサービスを相互に統合する標準的なアプローチとは対照的に、すべてのサービスを提供する単一のコアです。 これにより、トランザクションコストが大幅に削減され、1億5,000万人以上のエンドユーザーを擁する世界中の15,000を超えるインストールで確認されています。 CommuniGate Proを個別にインストールすると、100,000を超えるドメインのリソースを正常に管理できます。各ドメインには、独自のユーザーセット、ページログイン、サービスセット、管理者があり、これらはすべて1つの動的クラスターに収まります。



このようなクラスターのアーキテクチャと設定のニュアンス、およびプラットフォームに実装されたプロジェクトに基づくハードウェアの実際の見積もりに興味がある場合は、catにお願いします。







通常、エンタープライズおよびスモールビジネスソリューションは、ホスティングプラットフォームには適していません。 これらのテクノロジーは通常、システムを管理する大規模なIT部門と同じ会社内で動作します。 このようなシステムでは、メンテナンスのために「スケジュールされたシャットダウン」を行うことができます。これは、常に稼働するはずのSaaSにはまったく適していません。 また、企業ソリューションでは、プロバイダーにとって最も重要なコンポーネントである請求書を接続するのに十分なAPIがない場合が非常に多くあります。これは、同じ会社内のユーザーには通常課金されないためです。



CommuniGate Proダイナミッククラスターは、すべてのクラスターノードが「アクティブ」なアーキテクチャを実装しています。 他の多くのソリューションは、クラッシュまたはホットスワップ後のリカバリスキームに満足していますが、ダイナミッククラスターには満足していません。すべてのシステムが1つの論理エンティティとして連携し、すべてのノードが負荷を分担します。 同時に、いつでも各ノードをクラスターから削除したり、任意のロールに新しいノードを追加したりできます。 したがって、ダイナミッククラスターでは、サービスの提供を中断することなく、運用中にそのメンバーにサービスを提供し、使用容量を直接増加（および減少）できます。

以下で詳細に説明する動的クラスターの主な利点は次のとおりです。

1. サービスを中断することなくノードをメンテナンス
2. 単一システム
3. サーバーの効率的な使用
4. 低オーバーヘッドで予測可能なスケーラビリティ
5. サービスの高可用性

サービスを中断することなくノードをメンテナンス

ノード上のソフトウェアとハ​​ードウェアの更新は、通信システムの可用性を劇的に低下させる可能性があります。 これらのオーバーレイは、企業ITの世界では「計画停止」と呼ばれることがよくあります。 残念ながら、このような切断は、キャリアレベルのSaaSソリューションの分野ではまったく受け入れられません。 土曜日にサービスのためにケーブル電話が切断される状況を想像してください。



シャットダウンの必要性をなくすために、動的クラスターは連続更新のメカニズムを実装しています。 このような更新メカニズムにより、クラスター管理者は、ノードが完全にオフラインになるまで、開いている接続を他のクラスターメンバーに配布しながら、ノードを非アクティブ化できます。 その後、メンテナンスに使用でき、将来的にはクラスターに戻すことができます。

単一システム

CommuniGate Proダイナミッククラスターを使用すると、40を超えるサーバーで構成されている場合でも、オペレーターはシステム全体を単一のエンティティとして表示できます。 したがって、大規模インフラストラクチャの管理は、エンタープライズレベルのシステムを使用するよりもはるかに簡単です。



中小企業や個人起業家にサービスを提供するSaaSプロバイダーには、簡単に拡張可能なシステムが必要です。 また、Dynamic Clusterを使用しているお客様にとっては、20,000社以上（5〜30人のエンドユーザー）の企業にサービスを提供するクラウドは非常に一般的です。



同時に、SaaSプラットフォームとしての使用を目的として開発されていないIP PBXおよびメールソリューションの場合、個々のパーツ（プロキシサーバー、データベース、LDAP）の数が増加するため、ユーザーベースの成長に伴い管理が非常に複雑になりますサーバー、メディアゲートウェイなど



ダイナミッククラスターは、追加費用なしでユーザーベースとともに成長するエレガントなソリューションです。

有効性

CommuniGate Proプラットフォームは、ハードウェアリソースを非常に効率的に使用します。 その結果、プロバイダーは、企業ソリューションと比較して、各サーバーではるかに高い密度のユーザーを実現できます。 データセンターでは、管理、電力、冷却のコストを大幅に削減できるため、ユーザー密度は非常に重要です。



ほとんどのキャリアグレード64ビットシステム（Solaris、Linux、BSD）では、CommuniGate Proはシステムあたり90,000セッションに達することができます。 また、単一のシステム上で450,000人を超えるエンドユーザー向けの現場で実証済みの運用構成もあります。

予測可能なスケーラビリティ

動的クラスターは、スケーリングのオーバーヘッドが最小限のシステムです。 システムの容量を増やすには、シンプルで安価な1Uフォームファクタサーバーまたはブレードサーバーで十分です。 高いコンピューティング能力を必要とする他のアーキテクチャとは異なり、CommuniGate Proは強力なサーバー（8ウェイなど）の使用を推奨していません。 たとえば、2つのプロセッササーバーを備えた4x4のダイナミッククラスターは、4つのプロセッササーバーを備えた2x4よりも優れています。最初のケースでは、1つのサーバーの特定の負荷がはるかに低いからです。



CommuniGate Proのソースコードは十分に並列化されているため、コンピューティングリソースとメモリが可能な限り効率的に使用され、ユーザーベースを増加させながら必要なリソースの量を予測することは透過的で線形依存に近いものです。 CommuniGate Proクラスターのすべてのノードは同じ実行可能ファイルを使用するため、異種アーキテクチャに特有のノードパフォーマンスの違いはありません。



ダイナミッククラスターのエレガントな構造により、プロバイダーは、サーバーであろうとデータウェアハウスであろうと、コストを高精度で分析および予測できます。

高可用性

ダイナミッククラスターの主な特性と開発目標の1つは、サービス不足の時間をゼロに減らすことです。 クラスターのすべてのノードがアクティブであり、そのうちの1つが落ちた場合、クラスターの他のメンバーがユーザーの負荷を引き受けます。

動的クラスタアーキテクチャ

CommuniGate Proクラスターアーキテクチャの主要な要素は次のとおりです。

1. ロードバランサー
2. ネットワークトポロジー
3. フロントエンド
4. バックエンド
5. NFS / CFS共有ストレージ

ロードバランサー

クラスターには複数のサーバーが含まれているため、ユーザーが同じURLまたはIPアドレスを使用してクラスターにアクセスするには、ロードバランサーが必要です。 世界には多くの稼働中の動的クラスターがあり、それらにはさまざまなバランサーが使用されています。 Cisco、F5、Foundryの帯域幅が良好な高品質のL4デバイスのみを使用することをお勧めします。 バランサーの設定に関する詳細情報は、 マニュアルに記載されています 。



さらに、Linuxフロントエンド自体が、カーネルに組み込まれたIPVSテクノロジーを使用してバランサーとして機能できます。

ネットワークトポロジー

動的クラスターを編成する場合、最適なパフォーマンスを実現するために、少なくとも4つの個別のネットワークと複数の高速スイッチが使用されます。 Cisco、F5、Foundry、HP、またはギガビット速度を提供する同様のレベルの他のスイッチをお勧めします。 同時に、これらは最もシンプルで信頼性の高いデバイスである必要があります。たとえば、 Cisco Catalyst 2960シリーズを示します。



クラスタ内の各サーバーには、少なくとも3つのネットワークインターフェイスが必要です。 動的クラスターを正しく動作させるには、次のネットワーク構成のセットが必要です。

• パブリックネットワークは、白いIPアドレスを持つ外部ネットワークです。 通常、各フロントエンドには、1つのそのようなアドレス（DNSレコードとともに）と1つ以上のバランサーがあります。 例：
  
  
  
  バランサー、64.10.1.1、uc.domain.com
  
  
  
  frontend1.domain.com-> 64.10.1.11
  
  frontend2.domain.com-> 64.10.1.12
  
  frontend3.domain.com-> 64.10.1.13
  
  
  
  同時に、クライアントアプリケーションのエンドユーザーはuc.domain.comのみを使用します。 そして、バランサーは、アクティブなフロントエンドのリクエストを分散します。 管理者の利便性のために、フロントエンドのDNSレコードが必要です。
• クラスター内交換のネットワーク-グレーのIPアドレスの内部ネットワークは、クラスターノード間で情報を転送するために使用され、他のトラフィックは許可されません。したがって、このネットワークのフロントエンドで別の（2番目の）インターフェイスが使用されます。
• ストレージ用ネットワーク-バックエンドをストレージに接続するために使用される内部ネットワーク。高速ネットワーク、光ファイバー、または10ギガビットイーサネットである必要があります。
• 制御ネットワークは閉じたネットワークであり、通常はプロバイダーのローカルネットワークです。 管理者、および請求API、プラグイン、その他のクラスター管理タスクの呼び出しを対象としています。

フロントエンド

クラスタでは、フロントエンドは次の機能を実行します。

• 他のサーバーとのSMTPメール交換。
• SIPシグナリングの構成とPBXアプリケーションの実行（この機能の実行はノード間で同期され、このようなクラスターをSIPファーム、SIPファームとも呼びます）
• 保護機能-RBL、エラーカウンター、1つのアドレスから受信した情報の量、IPおよびDNSアドレスによるブラック\ホワイトリストなど
• クライアント/サーバー接続の構成（IMAP、POP、HTTP、XIMSSなど）。 接続を整理した後、フロントエンドはデータのためにのみバックエンドにアクセスします。
• SSL接続の処理。

バックエンド

ダイナミッククラスターでは、バックエンドがプラットフォームの中核です。

彼らは以下を担当します：

• ドメイン設定
• アカウント設定
• ユーザーが作成したメールおよびその他のオブジェクト
• クラスターの補助データ
• クラスター管理
• 認証
• WSSPテクノロジーを使用したHTMLページの生成

バックエンドで使用されるアカウントレベルの同期技術により、常に1つのサーバーのみがアカウントファイルにアクセスできるようになります（6秒間隔）。 したがって、CommuniGate Proクラスターでは、ファイルシステムレベルでファイルをブロックする必要がなくなります（ただし、クラスターコントローラーによってロックされるheartbeat.dataを除く）。 クラスターがファイルシステムのロックメカニズムに依存しないという事実により、NFSのパフォーマンスは5〜7倍に向上します。



動的クラスターは、ノードの順次更新と、任意のノードのフォール後の自動回復をいつでもサポートします。 この場合の推奨構成は、3x3クラスター（3つのフロントエンド、3つのバックエンド）です。 ただし、スケジュールされたシャットダウンの場合は、「モニター」->「クラスター」ページのWebAdminインターフェースで「ソフトシャットダウン」-「準備完了」設定を使用することをお勧めします。

クラスターのインストール

ダイナミッククラスターの最も重要な部分はデータウェアハウスです。



オペレーティングシステムと、NFSプロトコルや各種ファイルシステム（CFS）などの利用可能な機能に応じて、NASまたはSANソリューションを使用することをお勧めします。



インストールプロセス自体は、次の手順で構成されます。

1. ネットワーク設定
2. オペレーティングシステムのセットアップ
3. ファイルシステムとデータウェアハウスの選択
4. オペレーティングシステムの要件への準拠
5. CommuniGate Proの構成。

ネットワーク設定

CommuniGate Proクラスターでは、ネットワーク設定に一定の柔軟性があり、次のことが可能です。

• すべてのクラスターサブネットをNATの背後に配置する
• 直接WANアドレスを使用する
• 混合ネットワーク、フロントエンドはDMZにあり、バックエンドは安全なネットワークにあります

CommuniGate Proは、数百のIPアドレスを管理し、サービス対象の特定のドメインに割り当てることができます。



管理者は、オペレーティングシステムを少し再構成するだけで、クラスターノードのパフォーマンスを向上させることができます。 調整する典型的な設定：

• 開いているファイルの数の制限
• 1人のユーザーが起動するプロセスの数の制限
• ネットワークバッファーとキャッシュ
• ネットワークを制御するOSカーネルの部分の設定
• ファイルシステムのキャッシュ設定

特定の設定と値は、それぞれの場合で異なります。



設定の副作用については、OSベンダーに必ず確認してください。

ファイルシステムの選択

ファイルシステムの選択は、OSとデータアクセスシステムの選択に依存します。 ただし、いずれにしても、ファイルシステムは次のことを行う必要があります。

• 異なるクラスターノードによって実行される同じフォルダーのファイルを使用した同時操作をサポートする
• 数百万の小さなファイルに対応
• 1つのフォルダーに約10,000個のファイルがある場合
• 255バイトより長いファイルパスを維持する
• ファイル名とフォルダー名でマルチバイト文字をサポート

OSの要件

• サーバー名は、ライセンスキーのメインドメインの名前と一致する必要があります（たとえば、ライセンスは* .domain.com、サーバーはfrontend1.domain.comです）
• 管理中に使用されるすべてのIPアドレスは、CommuniGate Proをインストールする前に構成されます
• 他のメールサーバーはOSにインストールされていません
• OS構成には機能するDNSサーバーがあります
• インストール時には、システムにファイアウォールはありません（後でインストールできます）

上記に加えて、CommuniGate Proをインストールしてストレージをマウントする前に、バックエンドのパフォーマンスを注意深く確認することを強くお勧めします。

実用的なハードウェアの選択

もちろん、ハードウェアの選択は多くの要因に依存します。 このセクションの例は、実際にどの機器とアーキテクチャが最適かつ安定して機能するかの一般的なアイデアを形成するために、クラスタを使用するための2つの標準オプションに基づいています。 次のパラメータは、「鉄」の必要な容量とパフォーマンスの計算に影響します。

• 提供されるサービスの種類（メール、VoIP、モバイルデバイスとの同期、Pronto！（サーバーへのFlashクライアント）、予想される音声会議の数、ユーザーが保存するデータの量など）
• VoIP、IM、プレゼンスサービスの場合、メディアストリームのリダイレクト/トランスコーディングの使用はリソースを占有します。 理想的なオプションは、すべてのメディアストリームがユーザーからユーザーに直接送られる場合ですが、複雑なトポロジとオーディオコーデックの不一致があるネットワークでは、メディアストリームをサーバーで処理する必要があることがよくあります。
• 使用するサービスの種類別に分類されたユーザーの数。
• ダウンロード率-ピーク時間中のアカウントの総数に対するアクティブなセッションの数。接続タイプ別に分類されています。
• サービスの使用パターン（ユーザーごとに、メールクライアント、モバイル、単位時間あたりの通話数が大幅に異なる場合があります）。

これらすべての要因を評価して、ハードウェア要件を策定する必要があります。 CommuniGate Systemsチームは、それらと多くの動的クラスターの展開の実践に基づいて、プラットフォームとそのパラメーターの選択を支援できます。

例1：プッシュ通知とインスタントメッセージを使用したメールサービス

ユーザータイプ	ユーザー数
合計	70,000
ポップ	70,000
IMAP / MAPI	70,000
WebMailとPronto！ （フラッシュ）	70,000
モバイル同期	5,000
メッセージ（XMPP / SIP）およびステータス（プレゼンス）	70,000

割合としての推定トラフィック：

プロトコル	トラフィックのシェア（％）
ポップ	20
IMAP	20
マピ	5
ウェブメール	35
シグナル（XMPP / SIP）	20

同時ユーザーの推定数：4,000。

推奨アーキテクチャ：

動的クラスター3x3。

フロントエンド

HP DL380G6 X5550

CPU：2 x Intel Xeon Processor X5550（2.66 GHz、8MB L3 Cache、95W、DDR3-1333、HT、Turbo 2/2/3/3）

メモリー：12 GB

ネットワークコントローラー：2 x HP NC382iデュアルポートマルチファンクションギガビットサーバーアダプター

ストレージコントローラー：HP SmartアレイP410i / 512MB、BBWC

オペレーティングシステム：SuSEまたはRedhat Linux 64ビット

バックエンド

HP ProLiant DL580G5 X7460 16GB（4P）

CPU：Intel Xeon X7460（6コア、2.67 GHz、16 MB L3、130W）

メモリー：16 GB

ネットワークコントローラー：1GbE NC373iマルチファンクション2ポート

ストレージコントローラー：Smart Array P400i / 512MB、BBWC

オペレーティングシステム：SuSEまたはRedhat Linux 64ビット

ユーザー数を100,000に増やす場合、1つのフロントエンド（4x3）で構成を強化する必要があります。 最大200,000の増加-6つのフロントエンドと4つのバックエンド。

例2：Pronto！を使用したVoIPサービス ソフトフォンとして、メディアストリーム変換を備えたHDオーディオ

ユーザータイプ	ユーザー数
合計	2,000,000
VoIP	90,000

トラフィックタイプの比率：

プロトコル	トラフィックシェア（％）
RTP	80％
XIMSS（Pronto！-アラーム、メール、カレンダー）	20％

同時呼び出しの合計：9,000。

同時に開かれたユーザーセッションの数：90,000。

推奨アーキテクチャ：

動的クラスター3x3。

フロントエンド

DELL PowerEdge R710

CPU：2 x Intel Xeon Processor X5550（2.66 GHz、8MB L3 Cache、95W、DDR3-1333、HT、Turbo 2/2/3/3）

メモリー：24 GB

ネットワークコントローラー：2 x HP NC382iデュアルポートマルチファンクションギガビットサーバーアダプター

ストレージコントローラー：HP Smart Array P410i / 512MB with BBWC

オペレーティングシステム：SuSEまたはRedhat Linux 64ビット

バックエンド

DELL PowerEdge R710

CPU：2 x Intel Xeon Processor X5550（2.66 GHz、8MB L3 Cache、95W、DDR3-1333、HT、Turbo 2/2/3/3）

メモリー：16 GB

ネットワークコントローラー：1GbE NC373iマルチファンクション2ポート

ストレージコントローラー：Smart Array P400i / 512MB BBWC

オペレーティングシステム：SuSEまたはRedhat Linux 64ビット

クラスターのデータウェアハウスをセットアップするためのヒント

クラスタ化されたドメインでは、すべてのユーザーアカウントがすべてのバックエンドにアクセスできる必要があります。 CommuniGate Proクラスターはファイルシステムレベルでファイルロックを使用しないため、NFSが最適なプロトコルであるため、ストレージを整理するためにNFSプロトコルでNASを使用することをお勧めします。



複数のアクセスポイントと複数のNFSサーバーを同じクラスターで使用できます。 使用されるソリューションの例：

NETAPP FAS2000	EMC Celerra NS-120	SUNストレージ7110

クラスターファイル構造

共有ドメインのアカウントは、同様のパスを持つフォルダーに保存されます。



SharedDomains / domainName / accountName.macnt /



例：



SharedDomains / company.com / aivanov.macnt /



1つのディレクトリに何万ものアカウントを保存するのは不便です（ほとんどのファイルシステムは、多数のオブジェクトを含むフォルダーをゆっくりと開きます）。 そのため、「アカウントレベルのフォルダー化」メカニズムが考案されました。これは、アカウントが一連のサブフォルダーに保存されるという事実に基づいています。



SharedDomains / company.com / a.sub / aivanov.macnt /



または



SharedDomains / company.com / a.sub / i.sub / aivanov.macnt /



または



SharedDomains / company.com / ai.sub / v.sub / aivanov.macnt /



クラスター上に多くのドメイン（約5,000から）がある場合、「ドメインレベルのフォルダー化」を使用するのが理にかなっています。



SharedDomains / c.sub / company.com / aivanov.macnt /

SharedDomains / c.sub / o.sub / company.com / aivanov.macnt /



または、多数の大きなドメインの場合：



SharedDomains / c.sub / company.com / a.sub / i.sub / aivanov.macnt /



ユーザーとドメインの数がわかったらすぐにフォルダーに分割する方法を選択するのが最善です。 ただし、クラスター操作中にこれらの設定を変更できます。

SSDを使用したスト​​レージの最適化

CommuniGate Proには、SSDでストレージを最適化するために使用できる機能があります。



フォルダー内の各アカウントには、account.settingおよびaccount.infoファイルがあります。 これらのファイルは、ユーザーがこのアカウントでログインするたびに読み取られ、アカウントのメタデータが変更されるたびに（たとえば、SIPデバイスを登録するときに）.infoファイルが変更されます。



全体的なストレージの効率を高めるために、これらのファイルをより高価で効率的なストレージメディア（SSD）に個別に保存できます。 100万アカウントの場合、このようなすべてのファイルの合計サイズは5〜20 GBになります。



たとえば、標準のクラスター構成で、ファイルがフォルダーに保存されているとします。



SharedDomains / company.com / a.sub / aivanov.macnt / account.settings

SharedDomains / company.com / a.sub / aivanov.macnt / account.info



次に、「高速ストレージタイプ」の使用を有効にすると（たとえば、1などのゼロ以外の値に設定する）、. infoおよび.settingsファイルへのパスは次のようになります。



SharedDomains / company.com / fast / a.sub / aivanov.settings

SharedDomains / company.com / fast / a.sub / aivanov.info



したがって、次の場所に高速ストレージをインストールできます。

SharedDomains / company.com / fast /、およびすべての.settingsおよび.infoファイルがそこに保存されます。

対称動的クラスター

CommuniGate Proクラスターは、各ノードがフロントエンドとバックエンドの両方として動作するように構成できます。 これは対称構成と呼ばれます。

スーパークラスター（クラスターのクラスター）

この構成は、以下を提供する必要がある場合に使用されます。

より良い接続品質とユーザーのローカルアクセスのための容量の地域分布。

複数の動的クラスター間で負荷を共有するための非常に多数のユーザー（1500万を超えるアカウント）向けのサービス。

SIPファーム構成の動的クラスター

SIPファームは、VoIPをクラスタリングし、99.999％のサービス可用性、安全マージン、およびスケーラビリティを実現するためのCommuniGate Systemsテクノロジーです。



通常のダイナミッククラスターとスーパークラスターの両方をSIPファームとして構成できます（この場合、ノードの一部がSIPファームに割り当てられていると言います）。



着信SIP UDPパケットまたはTCP接続は、通常どおり、ロードバランサーを介して配信されます。 パケットを受信したサーバーは、SIPファームの別のメンバーで処理する必要があるかどうかを判断し（既存の要求に対する応答またはACKである場合、または特定のサーバーで作成されたタスクに対するパケットである場合）、必要に応じて転送します。



特定のノード向けではないパケットは、SIPファーム内のノードの負荷と可用性に応じたクラスター内アルゴリズムに従って、ファームメンバー間で分散されます。

まとめ

ダイナミッククラスターは、可能なすべてのCommuniGate Proサーバー構成のフラッグシップと考えられています。 歴史的には、これは記事で紹介されたような「ユースケース」であり、常に製品設計の基礎であった大量使用を目的とした高性能サービスです。



製品について質問がある場合は、russia @ communigate.comまでお気軽にお問い合わせください。 複雑な技術的な問題-support@communigate.com



当社のWebサイトで無料（クラスターなしの最大5ユーザー）バージョンをダウンロードできます。