Fujitsu HPC Cluster Suite Computing Clusterソフトウェアパッケージ

今年5月29日、富士通はコンピューティングクラスターFujitsu HPC Cluster Suite（HCS）用の特別なソフトウェアパッケージを発表しました。 このパッケージは、標準x86アーキテクチャのFujitsu PRIMERGYサーバーに基づいてクラスターを管理するように設計されており、完全にテストされた高性能ソフトウェアコンポーネントのセットです。 当初、この製品は物理化学研究所（理研） Kコンピューターのスーパーコンピューター用に開発されました。これは2シーズンにわたってチャンピオンシップを開催し、現在10 PFLOPSを超えるパフォーマンスでTOP500リストの 3位にあり、それ自体が提示された可能性と能力について語っています決定。 HCSパッケージのリリースにより、蓄積された知識と経験が従来のx86アーキテクチャに移行され、ほぼすべての企業が利用できるようになります。

典型的なHPCクラスターアーキテクチャ

高性能クラスターの主要なコンポーネントはそのコンピューティングノードまたはノードです。クラスター全体のパフォーマンスは、その数と構成に依存します。 それらに直接、決済タスクが実行されます。 一般に、クラスタはハードウェアコンポーネントの観点から同じサーバーコンポーネントで構成されていると考えられていますが、それにもかかわらず、多くの場合、クラスター内で異なるサーバーが検出される状況があります。 この場合、同じクラスター内の異なる構成のノードは、同じタイプのサーバーのグループに結合されます。



使用されるインターコネクトは、コンピューティングクラスターで重要です。 使用されるインタースティシャル通信。 インターコネクトは、データを同期および交換するために、コンピューティングノードで実行されているプロセス間の相互作用を提供する必要があります。 通常、この問題を解決するには、高速のInfinibandバス（40または56 Gb / s）が使用されます。 さらに、コンピューティングノードの制御には従来のイーサネットが使用されます。



計算ノードの操作は、制御ノードによって制御されます。 このようなノードは、小さなクラスターでも少なくとも1つ存在する必要がありますが、大規模なクラスターでは、通常、フォールトトレランスを確保するために複数のノードが存在します。 コントロールノードはタスクのキューを形成し、コンピューティングノードとそのグループ間でタスクを分配しますが、タスク自体はユーザーが職場から直接起動します。







コンピューティングノードはデータを処理するため、重要な問題はクラスター構造内の場所にある可能性があります。 そのため、すべてのノードが接続できる別のネットワークストレージシステムを使用できます。特に、大規模なクラスターの場合は、いわゆる並列ファイルシステムを使用できます。 並列ファイルシステムは、その一部が異なるノードに格納されているが、各ノードからアクセス可能な場合、分散データストレージを提供します。 タスクだけでなく、対応するデータのノード間での分散も提供します。



HPC環境に関しては、主に一連のコンピューティングノードで実行される非対話型タスクに焦点を当てています。 さらに、1つのクラスターで複数のタスクを同時に実行できます。

HPCソフトウェアスタック機能とHPCクラスタースイートアプリケーション

HPCソフトウェアスタックの主な機能は、同じタイプ（コンピューティングノード）の数十および数千のサーバーにインストールする必要があることです。一方、すべてのシステムには適切な基本設定の異なる設定が必要です。 たとえば、ユーザーとグループの識別子、および対応するパスワードは、すべてのコンピューティングノードで同じである必要があり、コンピューティングノードはファイルシステムへのアクセスも同じである必要があります。 さらに、故障したコンピューティングノードの迅速なコミッションまたは交換を可能にするツールが必要です。



このような状況で、たとえば、パスワードを一元管理するか、クラスター内のすべてのサーバーでパスワードの置換を自動化できる特別なソフトウェアを使用しない場合、たとえば、1000ノードあたり1つのパスワードのみを変更すると、大幅な時間の損失につながる可能性があります。



クラスタ管理者が直面する次の問題は、ソフトウェアとドライバーの選択です。 現在、さまざまなコンパイラ、リソースマネージャー、MPIなど、クラスターソリューションで使用されている膨大な数の異なるソフトウェアバージョンを見つけることができます。 したがって、これらのコンポーネントの選択、相互互換性およびハードウェアとの互換性のテスト、構成および同期は非常に時間のかかるプロセスであり、かなりの時間がかかる可能性があります。

富士通が提供する包括的なHPC Cluster Suiteソリューションは、富士通の機器での動作が保証されている主要な開発者との提携で作成された事前テストおよびテスト済みのソフトウェアセットであるため、役立ちます。



この製品の目的と機能をよりよく理解するために、下の図に示されている典型的なHPCソフトウェアスタックを検討してください。 この図の点線は、HPCクラスタースイートに実装されているスタックのコンポーネントの概要を示しています。 ご覧のとおり、実際、HCSを使用すると、アプリケーション自体とコンピューティングノード間のすべての必要なスペースを埋めることができます。これは、富士通PRIMERGYサーバーに基づいて構築されたクラスターを管理するための完全に機能するパッケージです。

HPC Cluster Suiteコンポーネント

次に、上の図に基づいて、HPC Cluster Suiteの主要なコンポーネントを簡単に分析します。



nVidia Tesla K20 / K20XアクセラレーターおよびIntel Xeon Phiコプロセッサーのソフトウェアサポート 。 これは、クラスターで実行されるタスクが中央処理装置の計算能力だけでなく、名前付きアクセラレーターで利用可能な異種および並列計算機能にも焦点を当てることができることを示唆しています。



提示された製品で重要な役割を果たしているのは、 Cluster Deployment Manager（CDM）です 。これは、富士通が直接開発したパッケージで、コンピューティングノードの自動インストールと構成、および試運転を提供します。 上記のタスクを実行し、クラスターノードの状態を監視し、ユーザー環境を管理し、クラスターの状態を確認するための管理者インターフェイスが含まれています。



ワークロードマネージャーとして、3つのオープンソースソフトウェアツール（TORQUE、SGE、SLURM-2013年の第3四半期から最後の2つが利用可能になる）または商用製品（PBS Professional-HCS Advancedエディションのみ）から選択できます。市場。



並列ミドルウェア（ミドルウェア）には、サードパーティソフトウェア、特にオープンソースオプション（OpenMPI、MPICH、MVAPICH ）が含まれています。 さらに、HPC Cluster SuiteはIntel MPI（別売）と完全な互換性があります。



ライブラリ（科学ライブラリ）には、Lapack、ScalaPack、BLAS、netcdf、netcdf-devel、hdf5、fftw、fftw-devel、atlas、atlas-devel、GMP、Global Arrays、MKLが含まれます。 GNU c、c ++、gfort、Open64（PathScaleコンパイラー）、Intel Cluster studio、Allinea DDT、Intel vtune、PAPI、TAU などのコンパイラー、最適化およびプロファイリングツールのサポートも提供されます。 同時に、すべての商用製品は個別に購入されます。実際、互換性と統合の可能性は保証されています。



重要なコンポーネントは、Lustreに基づいてFujitsu Exabyte File System（FEFS）によって開発されたFujitsu パラレルファイルシステムです。 その名前にExabyteという名前が存在することは偶然ではありません。ファイルシステムと1つのファイルの最大サイズは8 EBであり、並列I / Oの実装によりTB / sのオーダーの速度に達することができるからです。



HCS のグラフィカルユーザーインターフェイスはHPCゲートウェイと呼ばれ、Liferayに基づいて作成されたポータルであり、ブログ、フォーラム、Wiki、ナレッジベース、その他のコンポーネントを統合することにより、ユーザーとグループのコラボレーションを整理できます。

HPC Cluster Suiteエディション

HPC Cluster Suiteは、Open、Basic、Advancedの3つのエディションで表され、パッケージに含まれる一連のソフトウェア、アップデートのサブスクリプションとテクニカルサポート、クラスター内のコンピューティングノード数の制限を特徴としています。 さまざまなリビジョンの配信キットについては、以下の表に明確に示されています。







エディションの他の機能については、テクニカルサポートのサブスクリプションオプションがなく、アップデートへのアクセスが制限されているOpenエディションを除く各エディションには、1年、3年、5年のサブスクリプションオプションがあります。 また、Openエディションはクラスター内で最大128ノードをサポートしますが、残りのエディションにはこの制限がなく、実際、無制限の数のノードを使用できます。 HCSパッケージの最終価格は、パッケージバージョン、使用セグメント（アカデミックライセンスまたは商用ライセンス）、およびクラスター内のノード数によって異なります。