NASAのHyperwallシステムはvFlashストレージを使用するようになりました

NASAのHyperwallは、膨大な数のモニターで構成されるビデオウォールであり、複数の画像を同時に高品質で表示できます。 代理店は、世界で起こっている天体物理学、太陽物理学、惑星科学に関連する現象、アイデア、変化を視覚化するためにこの設定を必要とします。 このために、NASAが望遠鏡と衛星から取得したデータが使用されます。



NASA Computing FarmはAmes Research Centerにあります。 そこでは、科学者とエンジニアが宇宙機関のすべてのミッションを計算するために大規模なシミュレーション、シミュレーション、および分析作業を実行できるHECCプロジェクトの作業が進行中です。





/ Flickr / steve jurvetson / cc



Hyperwallは、このプロジェクトの一部として開発されました。 壁は、シミュレーション結果を表示するための16列と8行のモニターで構成されています。 このようなシミュレーションの1つの例は、世界の海洋の視覚モデルを提供することを目的とする、海洋の循環と気候の推定( ECCO )プロジェクトです。



同様のモデル( リンクで見つけることができる例)には、NASAスーパーコンピューターによって生成された多次元データの巨大なコードが含まれています。 そのため、エンジニアは、定義されていない数のランダムな入出力パラメーターを使用して情報を処理する128のコンピューティングノードすべてにデータへの並列アクセスを提供するという重要なタスクに直面しました。 ソリューションとして、NVMeドライブに基づく仮想ストレージシステムが使用されました。



NVMeインターフェースは、低レイテンシで読み取りおよび書き込み操作のパイプライン化を可能にするソリッドステートドライブの利点を最大化するように設計されています。 NVMeには、SATAインターフェイスおよびAHCIプロトコルと比較して、データを操作する際のスプリアス遅延を減らすことを目的とした多くの改善が含まれています。



NVMテクノロジーが市場である程度の人気を得ていることは注目に値します。 また、消費者市場向けのNVMeクラスドライブのリリースを確立(または調整)する予定の企業もあります。 東芝とPlextorはすでに大衆向けのソリューションをリリースしており、Western Digitalの製品は2017年初頭にリリースされます。



新しいWD BlackはM.2 NVMeフォーマットで作成されます。これは、32 Gb / sの総帯域幅を持つ4つのPCI Express 3.0ラインの使用を意味します。 新しいWDの特性は不明ですが、使用するコントローラーに関する仮定が確認された場合、他社製の製品、つまりToshiba OCZ RD400およびPlextor M8Peが示す速度と同様の速度を期待する必要があります。



システムの開発において、NASAのエンジニアは最初に各コンピューティングノードに2 TBのフラッシュドライブを配置しました。 次に、プログラマーはデータを2 TBのブロックに分割し、各ディスクにコピーしました。 しかし、その後、特定の困難に直面しました。さらなる処理では、計算中にデータの場所を考慮する必要があり、プログラミングプロセスが複雑になりました。 この問題の解決策はNVMeshテクノロジーでした。





/ Flickr / steve jurvetson / cc



128個の2TDドライブはすべて、プール(RDMA経由でアクセスされる256 TBの仮想ストレージシステム)に集約されました。 同時に、各フラッシュドライブは各ノードに対してローカルのままであるように見えましたが、これにより、それらへの並列アクセスの手順が簡素化されました。



このアプローチでは、ローカルロケーションと比較して5μsの遅延が(主にネットワークの障害による)追加されましたが、ソリューションのプログラミングに関連する困難が解消されました。 テストによると、システム帯域幅は約140 GB /秒でした。 このアプローチにより、科学者とエンジニアはより高速でスムーズなシミュレーションを実行でき、研究の生産性が向上しました。



HabréのブログIT-GRADの他の資料:






All Articles