データセンター全体については、ほぼすべてのことを説明しました。 次に、そこにインストールされている、または近い将来にインストールされる興味深い機器に徐々に焦点を当てます。 もちろん、このトピックは非常に物議を醸していますが、時折、非常に好奇心devices盛なデバイスが存在するため、誘惑に抵抗することは不可能です。 たとえば、合計帯域幅が50テラビットの324ポートQDR-Infinibandスイッチはどうですか? 今日は彼についてお話します。
このスイッチは、パートナーであるOversan-Skalaksi社のクラウドコンピューティングシステムで使用され、データセンターOversan-Mercuryにインストールされています。 このクラス(および価格)の他の機器と同様に、その選択と購入の前に、市場で利用可能なソリューションの徹底的な研究が行われました。 必要なのは、GPFSクラスターファイルシステムでデータ転送を整理し、イーサネットトラフィックを転送できる超高速スイッチでした。 これにより、ストレージを1つのネットワーク内のディスクおよびクライアントマシンと組み合わせながら、インターネットアクセスを提供できます。
データ転送バスは、クラスターシステムの要件を満たしている必要があります。つまり、データ転送速度が非常に高く、数年のマージンと低遅延が必要です。 40ギガビットイーサネットは依然として非常にエキゾチックで高価なバスであり、このサイズのシステムの推定所有コスト(TCO)は完全にスペースであることが判明しました。 結局、Infinibandは、実証済みのテクノロジーであるランインであり、比較的手頃な価格であるため、選択が決まりました。 もちろん、QDR-Infinibandは最大40 Gb / sの速度で動作でき、スイッチはポート間で送信するときに100〜300ナノ秒の遅延を提供します。
Oversan-Skalaxiの専門家は、スイッチングマトリックスがすべての要件を満たすことができる全体の研究を実施しました。 最終的に、ベンダーとの長い議論、連絡、交渉の後、Voltaire Grid Director 4700がメインスイッチとして選ばれました。 彼女と彼女の製品について知っている人はほとんどいないので、議論の対象はさらに面白くなっています。 一方、同社は1997年に設立され、イスラエル系アメリカ人のルーツを持っています。 最初のガイドラインは、データセンター、高負荷、クラスターコンピューティング向けの製品のリリースでした。 明らかに、その後、クラウドプロジェクトがこのリストに追加されました。 同社は、Infinibandおよびイーサネットバスで強力なスイッチングアレイを含む製品を製造しています。
「サーバーとストレージシステムのスイッチングマトリックスのライン、および高度な管理ソフトウェアは、ミッションクリティカルなアプリケーションの生産性を高め、インフラストラクチャを統合し、消費電力を削減することで効率を高め、コストを削減できます。」
Voltaireの名誉のために、彼らのスイッチはスーパーコンピューターの世界的な評価で最初の位置にあるシステムで使用され、VoltaireソリューションはBull、HP、IBM、NEC、Rackable、SGIおよびSunのシステムで使用されます。
スイッチの購入、配送、インストール方法については、別の本を書くことができます。 現時点ではこれらの秘密を公開しませんが、ハードウェアに直接触れる方が良いでしょう。
写真では、インストールプロセス中にスイッチが表示されるため、「内部」の写真を撮ることができます。
グリッドディレクタスイッチの4千シリーズは、クラスタコンピューティングの市場向けに設計されており、クラスタのサイズと複雑さが絶えず増大している中で、超高速、優れた制御性、およびスケーラブルなアーキテクチャが依然として必要です。 「クラウド」でも明らかに同じことが必要です。 つまり、Grid Director 4700は、19ユニットシャーシに324個の40 Gb / s Infinibandポートを含む管理スイッチです。 スイッチのメインモジュールボード(バックプレーン)は、毎秒51.8テラビットの合計スループットを提供しますが、ポート間の切り替え時の遅延は100〜300ナノ秒の範囲です。 数字は、彼らが言うように、彼ら自身のために語っています。 接続には、特殊な銅コネクタQSFPと対応するケーブルが使用されます。 同時に、スイッチ自体が接続されたケーブルの特性を決定し、最適な動作パラメータを設定します。 一方で、これは非常に便利な機能のように思われます。一方で、驚きが必要ない場合は、Voltaireブランドのケーブルを購入してください。 そして、彼らは、一般的に、高速データ転送に関連するすべてのもののように、今では安くはありません。
GPFSクラスターファイルシステムが実装されたHP MSAディスクストレージは、IBモジュールを備えたHP DLシリーズサーバーを介してGrid Director 4700に接続されます。 これにより、仮想インスタンスで良好なディスクI / Oスループットが提供されます。 実際には、入出力(I / Oボトルネック)の問題の解決策とVoltaireの解決策は有名です。 したがって、Oversan-SkalaxiはGrid Directorを使用して、すべてのロシアのホスティングサービスの主要な問題である低ディスクI / O速度を解決します。 イーサネットトラフィックも、独自のOversan-Scalaxiデザインを使用してInfinibandを介して送信されます。 そして最後に、Infinibandの高帯域幅は、Oversan-Mercuryデータセンターの強力なアップリンクを介して仮想インスタンスと対応するインターネットチャネル間の幅広い相互接続を顧客に提供するために必要です。
一般的なイーサネットスイッチングとインターネットチャネルの構成は、ジュニパーEX82スイッチに割り当てられます。 また、近い将来、それらについて詳しく説明する予定です。
シャーシには最大18個のスロットを取り付けることができ、各スロットにはQDRコネクタ用のラインカードが含まれています。 順番に、ボード上に18があります。 これが324 Infinibandポートの由来です。 同じ数のポートが異なる方法で実現されます。それぞれ36個のポートを持つ9つの整流マトリックスがシャーシにインストールされます。 インストールされているすべてのモジュールは、Unified Fabric Manager独自のソフトウェアを使用して管理されます。
モジュラーボード上のマトリックスコネクタ。
エンジン全体には、6個の予約済みのホットスワップ可能な電源が搭載されています。 これは主に信頼性のために行われ、システム自体の消費はそれほど大きくありません-ポートあたり最大12ワット。 一見すると多くのように思えるかもしれませんが、Grid Director 4700だけでラックのほぼ半分を占めることを忘れないでください。
冷却には、垂直と水平の2つのファンモジュールが必要です。 同時に、前方から後方への空気移動の一般的な方向は標準のままです。 これは、Grid Directorを標準データセンターの通常のラックに設置できるようにするためですが、スイッチのすべてのポートは背面にありますが、それほど一般的ではありません。
さらにもう1つ触れます。モジュールを完全に搭載すると、スイッチの重量が170キログラムになります。 しっかりしていますが、できる限りではありません。2人のエンジニアが簡単にインストールを処理できます。
以下は冷却と電力です。
一部のストレージは、SASを介してInfinibandモジュールを備えたサーバーに直接接続されています。
側面図。
モジュールのインジケータ。
ネームプレートのクローズアップ。 控えめながら上品。