HPCストレージソリューションは、データ保護、情報へのアクセス、スケーラビリティ、および保証された高いシステムパフォーマンスを提供する必要があります。
RAIDIXストレージソフトウェアとLustre用Intel Enterprise Edition *が必要な機能を提供し、標準ハードウェアに基づいて効率的なストレージクラスターを作成できます。
この記事では、Lustre *ソリューション向けのRAIDIXおよびIntel Enterprise Editionの技術的な説明、推奨されるハードウェアアーキテクチャ、および高性能コンピューティング向けのストレージ展開スキームについて説明します。
ハイパフォーマンスコンピューティング（HPC）
今日、ハイパフォーマンスコンピューティング（HPC）テクノロジーは、研究者にとってのITツールであるだけではありません。 より多くの企業が、ビジネスモデル内でHPCの競争力を発見しています。 企業は大量のデータを生成し、高性能のアプリケーションを使用して情報の分析と処理を行います。
企業部門では、ビジネスプロセスの継続性だけでなく、データの可用性とアクセスパフォーマンスも重要になります。
そのため、CNEWSフォーラムでの最近のレポートで、高性能コンピューティングとビッグデータの操作が、買い手との戦いにおいて大規模小売業者に利点をもたらすことが指摘されました。 膨大な量の情報を処理することにより、個々のサービスおよび個人的なサービスのレベルで、大規模で非個人的な小売業の運用をカスタマイズできます。
この点で、ビジネスには、データを損失することなく、柔軟な水平スケーリング、高スループット、耐障害性を備えた特別なストレージインフラストラクチャが必要です。
RAIDIXとIntelの共同ソリューション
商用のIntel Enterprise Edition for Lustre *製品には、HPC環境での信頼できるストレージと最大スループットのために最適化されたLustreソフトウェア機能が含まれています。 Intel Enterprise Edition for Lusster *の主な利点は、高性能、柔軟でスケーラブルな容量、独自の制御コンポーネント、24時間年中無休のサポートです。
Reydsは、HPC業界の課題に対処するために、RAIDIX HPCの「クラスターインボックス」テクノロジーとIntel Lustreソフトウェアに基づく包括的な共同ソリューションを作成しました。 このソリューションには、Lustre OSS（オブジェクトストレージサーバー）/ OST（オブジェクトストレージターゲット）またはMDS（メタデータサーバー-メタデータサーバー）を備えた標準サーバーハードウェアで実行されるデータストレージシステム用のRAIDIX管理ソフトウェアが含まれます。 Lustre HPCストレージインフラストラクチャのビルディングブロックとしてのMDT（メタデータストレージターゲット）。
このようなビルディングブロックには、最大12 GB / sの容量の高密度シャーシに8〜128個のディスクを含めることができます。 個々のストレージノードは、Lustre用Intel Enterprise Edition *を使用して、水平方向にスケーラブルなシステムに結合されます。
RAIDIXストレージは、パフォーマンス、フォールトトレランス、ワークフローの整合性に対する高い要求を満たし、RAID 6およびRAID 7.3での並列コンピューティングと独自のアルゴリズムの使用により、高いスループット、低遅延、ストレージの信頼性を提供します。 独自のアルゴリズムにより、プロセッサコアあたり37 GB /秒（RAID 6）および25 GB /秒（RAID 7.3）の計算速度が提供されます。
オプションのハードウェアと各サーバーの個別の構成を使用する従来のLustre OSSおよびMDSサーバー構成方法とは異なり、RAIDIXでは、統合ユニットからHPCストレージインフラストラクチャを構築し、標準ハードウェアおよびSANおよびNASプロトコルとの普遍的な互換性によりシステム所有コストを削減できます。
デュアルコントローラー構成
完全なフォールトトレランスを確保するために、RAIDIXはデュアルコントローラークラスターモード（アクティブ-アクティブ）で動作できます。 デュアルコントローラー構成の場合、高可用性ストレージに必要なコンポーネントがすでに含まれているストレージブリッジベイ（SBB）互換プラットフォームが最適です。
デュアルコントローラーRAIDIXプラットフォームの一般要件：
| CPU | Intel XeonプロセッサーE5-2637 v4 / E5-2667 v4 |
| マザーボード | プロセッサモデルと互換性があり、PCI Express 3.0 x8 / x16をサポートする必要があります |
| 内部キャッシュ | 各ノードで64 GBから対応するマザーボードとの互換性が必要 |
| シャシー | デュアル電源とデュアルマザーボードを推奨 |
| SASコントローラー（追加のポートを使用して外部JBODを接続できます） | 推奨Broadcom 93xx |
| HBA（キャッシュ同期用コントローラー） | 推奨Mellanox ConnectX-3 VPI以降 |
| HBA（ネットワーク経由でLustreに接続するためのコントローラー） | 推奨Mellanox ConnectX-3 VPI以降 |
| HDD | デュアルコントローラーアーキテクチャにはSASドライブが必要です |
| レベル2キャッシュデバイス | HGST SSD SS200 |
| 光沢ネットワーク | Infiniband * QDR / FDR / EDR、イーサネット10GbE / 40GbE / 100GbE |
| 制御ネットワーク | イーサネット1GbE |
ソリューションの特徴
RAIDIXを使用すると、迅速かつ確実にフェイル（フェイルオーバー）、高性能データ処理、幅広い機能を使用して情報の整合性とシステム監視を保証する機能を備えたストレージを編成できます。
RAIDIXは、Lustre *のIntel Enterprise Editionと統合されており、Intel Xeonプロセッサベースのシステムにインストールするためのパッケージが含まれています。 Intelプロセッサで動作するように構成されたRAIDIXエラー修正コーディングアルゴリズムは、高速操作を提供します。
Intel Lustreに基づく水平方向にスケーラブルなクラスターに関して、このテクノロジーには多くの利点があります。
- Intel Manager for Lustreによる高い管理性。
- MapReduceなどのエンタープライズアプリケーション向けの高いI / Oパフォーマンス
- Intel Xeon Phiクライアントのサポート
- HadoopアプリケーションにLustreクラスターを使用できるようにするHadoopコネクター
- データストレージの階層構造の完全な管理。
- シングルスレッド要求の処理を改善する特別なパッチ。
ストレージ管理
RAIDIXベースのストレージには、ストレージボリュームの構成とシステムパフォーマンスの監視を可能にする使いやすいWebインターフェイスがあります。
クラスター管理の光沢
Lustreクラスターは、REST APIおよび完全なCLIに基づいて構築されたWebアプリケーションであるLustre用Intel Managerを介して管理されます。 アプリケーションには次の機能があります。
- Lustreファイルシステムの形成と監視。
- サーバーとボリュームの構成。
- パフォーマンスとリソースの使用を監視するためのツール。
ボリュームデータ保護
RAIDIXソフトウェアは、高性能タスク用に最適化された独自のアルゴリズムに基づく堅牢なコーディングを使用します。 RAIDIXはさまざまなRAIDレベル（RAID 0、RAID 5、RAID 6、RAID 7.3、RAID N + MおよびRAID 10）をサポートし、システム管理者が希望するレベルのデータ保護を実現できるようにします。
保証された高性能
すべてのRAIDアルゴリズムは、標準のIntel Xeonプロセッサで計算され、高いパフォーマンスと高度な計算の並列化が行われます。 RAIDIXソフトウェアの一部として、プロアクティブな再構築メカニズムが動作し、プロセスからディスクを除外することでディスク上のデータリカバリ中の読み取り速度を最適化できます。読み取り速度は他の速度よりも遅くなります。
プロアクティブな再構築により、ディスクから物理的にデータを読み取るよりも高速にRAIDコンピューティングを使用してデータを回復できます（25 GB /秒）。 この機能は、複数のドライブに障害が発生した場合でも、性能低下モードでも高いシステムパフォーマンスを提供します。
高いデータ可用性
RAIDIXクラスターシステムは、フォールトトレラントな高性能クラスター（デュアルコントローラーモード）を作成し、ノードに非対称にRAIDを配置します。 各RAIDは、異なるノードからアクセスできます。 同時に、Lustreパラレルファイルシステムにより、クライアントは複数のOSTボリュームを同時に読み書きできるため、全体的なパフォーマンスが向上します。
RAIDIXの自動および手動フェールオーバー機能は、システムの復元力の向上に役立ちます。 さらに、RAIDIXは、クラスター内の任意のノードからRAIDを移行できるため、高いバランスのとれたパフォーマンスを提供します。
デュアルコントローラーRAIDIXにLustreを統合すると、ユーザーは次のことが可能になります。
- RAIDIXクラスターの各ノードに複数のLustre OSTを非対称的に配置し、各ノードの負荷を分散します。
- OSTおよびMDTに保存されたデータの高可用性を確保します。ノードに障害が発生した場合、データは別のノードで引き続き利用可能です。
- Lustre OSTとMDTのフォールトトレランスをノードフェールオーバープロセス全体に統合します。 この場合、RAIDIXクラスターがLustreフェイルオーバーを完全に担当するため、CorosyncやPacemakerなどの追加サービスを使用する必要はありません。
ソリューション展開スキーム
図1. Intel Enterprise EditionとLustreを組み合わせたRAIDIX展開図*
一般的なHPCアプリケーションには、次のシステム展開パターンが推奨されます。
- 各OSTは、可用性を高めるためにDual-Controller（DC）RAIDIXアーキテクチャを使用します。
- OSTに使用されるRAIDIX DCの各コントローラーには、Lustre OSSがアクティブ/アクティブ構成でインストールされます。
- RAIDIXクラスターの各OSTは、クラスターノードにインストールされた両方のOSSサーバーに登録されます。 RAIDIXネイティブフェールオーバーが構成されています。1つのOSSに障害が発生した場合、RAIDIXフェールオーバーメカニズムは、OSTの制御を2番目に機能するOSSに転送します。
- MGS（管理サーバー）およびMDS（メタデータサーバー）Lustreは、MGTおよびMDTターゲットの可用性を高めるために、RAIDIX DCの一部としてフェールオーバーモードで構成する必要もあります。
- システム管理および監視機能を強化するために、Intel Manager for Lustreがインストールされています。
- 1GbEイーサネットは、ネットワーク接続の管理に使用されます
- InfiniBand 56Gbは、Lustreへの接続に使用されます。
- 各クライアントマシンには、Lustreシステムがインストールされています。
これらのガイドラインに従うことにより、高可用性HPCストレージインフラストラクチャを作成できます。
提案されたアーキテクチャ
ハードウェアプラットフォームとして、「Reyds」は、同じシャーシおよび同一のSBBデバイス内でクラスターノードを使用することを推奨しています。 プラットフォームは、容量とパフォーマンスを向上させるために、オプションのJBODディスクシェルフで拡張する必要があります。
AIC HA201-TPは、広く利用可能なコンポーネントを使用して、クラスターインボックス形式（「既製クラスター」）の高可用性を実現する2Uソリューションです。 デュアルコントローラー構成は、2つのIntelサーバー（S26xxTP）から構築されます。 各ノードは、デュアルIntel XeonプロセッサーE5-2600 v4シリーズをサポートしています。
図2. AIC HA201-TP SBBモジュール-前面および背面パネル。
HA201-TPソリューションは、アクティブ/アクティブモードで高いデータ可用性を提供し、フォールトトレラントなホットスワップ可能な計算ノード、ノードあたり24個のハードドライブベイ、5個のPCIe Gen3スロットを備えています。
| プラットフォーム | AIC HA201-TP SBB |
| CPU | マザーボードごとにデュアルIntel XeonプロセッサーE5-26xx v4 |
| マザーボード | IntelサーバーボードS2600TP |
| 内部キャッシュ | ノードあたり64 GB |
| シャシー | AIC HA201-TP、デュアルマザーボード、デュアル電源、24個のホットスワップ可能なHDDベイ |
| SASコントローラー（内部バックプレーン経由の接続） | Broadcom 9300 8-i |
| HBA（キャッシュ同期用） | Mellanox ConnectX-3以上のデュアルポートアダプター |
| HBA（Lustreとのネットワーク接続） | Mellanox ConnectX-3以降 |
| HDD | 24x NL-SAS 7.2K |
| RAIDIXソフトウェア | v。 4.5 |
| Intel Enterprise Edition for Lusster * | v。 2.x / 3.x |
業績
RAIDIX HPCおよびIntel Enterprise Edition for Lustreに基づく統合ソリューションは、HPCインフラストラクチャを構築するための信頼できるビルディングブロックです。 このソリューションは、高性能、耐障害性、データ整合性の要件を満たし、高帯域幅、低遅延、高信頼性を提供します。 RAIDIXとLustreの利点の中で：
- 設備費の削減。
- 接続コストの削減。
- 柔軟な構成と実装と保守の容易さ。
- 高速フェールオーバーと高データ可用性。