Infiniband:データのマトリックス



負荷の高いシステムのコンポーネント間のデータトラフィックが増大するにつれて、その正確な、むしろポイントツーポイント配信でさえ問題がますます深刻になっています。 この場合の理想的なソリューションは、ローカルデバイスとネットワークデバイス間の高帯域幅および効率的な相互作用を備えたユニバーサル情報交換テクノロジー、つまり、本質的にそれらを単一のデータセンターまたはネットワークコアマトリックスに結合することです。 それは面白いですが、事実:そのような「マトリックス」(または、データスイッチングテクノロジー)の1つは、Wachowski兄弟の映画とほぼ同時に登場しました。 Infiniband標準についてです。



Infinibandテクノロジーは1999年に遡り、当時の最大の通信機器メーカーであるCompaq、IBM、Hewlett-Packard、Intel、Microsoft、およびSunの責任の下で2つの競合プロジェクトが合併されました。 アーキテクチャの観点から見ると、スーパーコンピューターまたはコンピューターセンターの規模のコンピューティングモジュールとストレージデバイス間の高速接続のスイッチドネットワークです。 Infiniband規格を設計する際、次の優先事項が定められています。



まあ、そしておそらく最も重要なことは、高速から非常に高速まで、速度範囲から適切なものを選択する能力です。 次の表は、さまざまなモードと回線数で使用可能なトラフィックに関して、Infinibandのシンプレックス帯域幅を示しています。

SDR DDR QDR FDR EDR
1X 2ギガビット/秒 4ギガビット/秒 8ギガビット/秒 13.64ギガビット/秒 25ギガビット/秒
4X 8ギガビット/秒 16ギガビット/秒 32ギガビット/秒 54.54ギガビット/秒 100ギガビット/秒
12X 24ギガビット/秒 48ギガビット/秒 96ギガビット/秒 163.64ギガビット/秒 300ギガビット/秒
SDR-シングルデータレート。 DDR-ダブルデータレート; QDR-クアッドデータレート。 FDR-14のデータレート。 EDR-拡張データレート。



Infinibandバスは、PCIeやSATAなどと同様にシリアルですが、後者とは異なり、ファイバーと銅の両方の伝送メディアを使用できるため、内部接続と強力な外部接続の両方に対応できます。 送信データのエンコードは、QDRまでの速度の場合は8B / 10Bスキームに従って、FDRおよびEDRの場合は64B / 66Bスキームに従って実行されます。 Infiband回線は通常、コネクタ4(左の写真)とQSFPで終端され、高速リンクでは現在、光学部品がますます使用されています。



Infinibandは、IBM、Hewlett-Packard、Intel、Oracle、その他の企業を含む関心のあるメーカーのコンソーシアムであるInfiniBand Trade Associationの推進と標準化に取り組んでいます。 機器自体、つまりInfinibandアダプターとスイッチに関しては、MellanoxとQLogic(2012年の初めにIntelが買収)が市場でトップの地位を占めています。



例として小さなSANを使用したInfinibandネットワークアーキテクチャを詳しく見てみましょう。





Infinibandアダプタは、ホストチャネルアダプタ(HCA)とターゲットチャネルアダプタ(TCA)の2つのカテゴリに分類されます。 NSAはサーバーとワークステーション、TSA-ストレージデバイスにインストールされます。 したがって、前者は制御とデータ転送を共有し、後者はコマンドを実行し、データを送信します。 各アダプターには1つ以上のポートがあります。 すでに述べたように、Infinibandの機能の1つは、非常に正確なトラフィックルーティングです。 たとえば、1つのストアから別のストアへのデータの転送はNSAによって開始される必要がありますが、制御ディレクティブの転送後、サーバーはゲームを終了します。すべてのトラフィックは1つのストアから別のストアに直接移動します。



左の写真は、HCA QLogic QLE7340アダプター(QDR、40 Gb / s)を示しています。



ご覧のとおり、Infinibandサブスクライバー間の接続数は過剰です。 これは、伝送速度を上げ、冗長性を提供するために行われます。 1つ以上のスイッチに接続されたエンドユーザーの集合は、サブネットと呼ばれます。 サブネットマップ、つまりユーザー間の使用可能なルートのセットは、サブネットマネージャーのメモリにあります-少なくとも1つである必要があります。 Infinibandルーターを使用して、複数のサブネットをネットワーク化できます。



Infinibandは、最適なデータ転送の手段としてだけでなく、サーバーメモリの内容を直接交換するための標準としても開発されました。 したがって、これに基づいて、RDMA(リモートダイレクトメモリアクセス)プロトコルが機能します。これにより、オペレーティングシステムの関与なしにメモリ領域をリモートで送受信できます。 同様に、機能を拡張する一連のより特化したプロトコルは、RDMAに基づいています。



Infinibandの上に標準TCP / IPプロトコルスタックを巻き上げるためのプロトコルもあります。それらは、Infinibandのすべてのソフトウェアパッケージに含まれており、さまざまなメーカーのネットワークデバイスのメーカーであり、オープンです。





Infiband速度チャート



原則として、スーパーコンピューター、高性能クラスター、分散データベースなど、Infinibandは、大量のデータが高速で送信されるあらゆる場所でアプリケーションを見つけていると言えます。 たとえば、OracleなどのアクティブなITAメンバーは、独自のクラスタリングで内部接続の唯一の手段であると言われているように、長い間Infinibandを使用しており、Infiband-Reliable Datagram Sockets(RDS)の上に独自のデータ転送プロトコルを開発しました。 Infinibandインフラストラクチャは非常に高価な喜びであるため、広く普及させることは困難です。 しかし、あなたが毎秒大きなギガビットとあなたのキャリアのテラバイトに向かうならば、彼女と個人的に会うチャンスは間違いなくあります。 その後、トピックを深く掘り下げますが、今のところは、教育プログラムだけに制限することができます-それを読むだけです。



All Articles