BDRA-ビッグデータ分析のための最新のアーキテクチャ

ビッグデータは通常、構造化および非構造化データを処理するための一連のアプローチ、ツール、および方法として理解され、それらは膨大な量と大きな多様性によって区別されます。 このような処理の目的は、人間が知覚する結果を取得することです。









データストリームはさまざまなソースから取得できます。このデータは異種であり、テキスト、ドキュメント、画像、ビデオなど、さまざまな形式で送信されます。 このようなデータから有用な情報を抽出するには、ソフトウェアとハ​​ードウェアのプラットフォームが決定的に重要です。

「標準」ビッグデータプラットフォーム：システムアーキテクチャ

通常、ビッグデータソリューションの開発者は、さまざまな性質のデータ処理機能を組み合わせようとします。 多くの場合、ビッグデータを操作するためのフル機能のプラットフォームの役割は、新しい条件に適応した従来のプラットフォームによって果たされます。 それ以外の場合、サプライヤーは企業に専門的な専門ソリューションを提供します。



一般的なアプローチは、Hadoopプラットフォームを使用することです。 コンピューティングをデータストレージの場所に近づけるという原則に基づいて動作します。通常、処理は標準ハードウェアを使用して作成されたサーバーの大規模なクラスターで実行されます。 Hadoopプラットフォームと標準サーバーの組み合わせは、並列アプリケーション向けの費用対効果の高い高性能分析プラットフォームの基盤です。









ビッグデータの典型的なプラットフォームは、通常、標準のデュアルプロセッササーバーと各サーバーに関連付けられたストレージシステムで表される同一ノードのクラスターです。



効率の面では、ほとんどのApache Hadoopワークロードにデュアルプロセッササーバーが最適なオプションです。 通常、これらのサーバーは、マルチプロセッサプラットフォームよりも分散コンピューティング環境でより効率的です。 ただし、それらは常に十分なパフォーマンスを提供するわけではなく、他の状況では逆に冗長です。 単純なデータの並べ替えなどの一部のワークロードでは、Intel Xeonプロセッサの能力は必要ありません。 そのような場合、マイクロサーバーでこのような軽いワークロードを実行する方が合理的です。 それどころか、他のタスクには、かなりの計算能力と「アクセラレータ」の使用が必要です。 さらに、通常、このようなアーキテクチャの1つのノードの障害は、システム内のデータの再配布にかなりの時間を必要とします。



異なるタスクのビッグデータを処理するようにクラスターを再構成すると、多大なリソースと時間が消費されます。 そして、これはすでに、ビッグデータテクノロジーを積極的に使用しているロシア企業のIT部門にとって頭痛の種になっています。 HPEは問題を解決し、美しく、効果的で柔軟なソリューションを提供することができました。

ビッグデータプラットフォームのリファレンスアーキテクチャ

最適化されたパフォーマンスを備えたHPE開発者によって提案されたHPE Big Data Reference Architecture（BDRA）は、柔軟で高性能で、迅速に展開可能なHadoopベースのソリューションを作成するように設計されています。 データストレージリソースと組み合わされたコンピューティングノードで構成されます。 上記のアーキテクチャとは異なり、BDRAは負荷の最適化と最新のネットワークアーキテクチャにより柔軟なアプローチを採用しています。 その結果、ビッグデータを統合、保存、処理するためのプラットフォームは、スケーラブルで、展開と使用が簡単であることがわかりました。



前述のように、汎用サーバーは通常、Hadoopクラスターのノードとして使用されます。 しかし、計算にコンパクトなHPE Moonshotサーバーを使用し、多数のハードディスクを備えたデバイス（HPE Apollo 4500またはHPE Apollo 4200）にストレージ機能を割り当てるとどうなりますか？ データがローカルメディアではなく、高速イーサネットネットワークのコンピューティングノードに接続された外部デバイスのドライブに保存される場合はどうなりますか？



それがまさにHPE開発者がしたことです。 コスト削減とシステム管理の容易化という明らかな利点に加えて、さまざまなテストで確認されたパフォーマンス（読み取り/書き込み）の大幅な向上が達成されました。



コラボレーションソリューションは、HPE Big Data Architectureに基づいてClouderaおよびHortonworksと共同で作成されました。

負荷の最適化

最新のHadoopシステムは、高速アクセスと低遅延のHadoop分散ファイルシステム（HDFS）を使用しています。 2012年、Hadoop YARN（Yet Another Resource Negotiator）は管理を改善し、HDFSリソースの利用を改善しました。 YARNは、いわゆるコンテナー（RAM、CPU、およびネットワーク帯域幅）を使用して、アプリケーションで使用可能なリソースを指定します。 このアプローチでは、アプリケーション間で個々のノードのコンピューティングリソースが「水平に分離」されます。



YARNは、主要なHadoopツールです。 これは、ビッグデータアプリケーション用の分散オペレーティングシステムとして説明できます。 YARNのラベルの概念の出現により、計算ノードをグループ化し、特定のグループにタスクを送信できます。 このようにして、負荷を最適化できます。



HPEは「垂直リソース共有」を提案しています-特定の負荷に最適化されたノードにジョブを送信できます。 たとえば、Hadoop MapReduceジョブはユニバーサルノード向け、Hiveは低電圧プロセッサを備えたエネルギー効率の高いノード向け、Stormはアクセラレータを備えたノード向けです。 タスクを自動的に配布するために、ラベルが割り当てられます。



SANの代わりに、Hadoopはソフトウェア定義ストレージ（SDS）の概念を標準ストレージノード上の分散ファイルシステムで使用します。 同時に、Hadoop分散ファイルシステム（HDFS）は通常、ファイルの操作に使用され、オブジェクトの操作にはCephが使用されます。 さらに、Hadoopは、負荷が必要な場合に、ティアリング（ストレージ階層間でのデータの自動分散）をサポートできるようになりました。 これらのレベルは、SSD、HDD、RAM、またはアーカイブされたオブジェクトストレージです。









ビッグデータリファレンスアーキテクチャの非対称アーキテクチャには、異種コンピューティングノードとデータストレージノードが含まれます。 コンピューティングノードは、低コストでエネルギー効率の高いモジュール、グラフィックアクセラレータ（GPU）、プログラマブルプロセッサ（FPGA）、またはRAMの増加を備えたモジュールで表すことができます。 ストレージノードは、SSDまたはハードディスク、アーカイブシステムを使用できます。 ノードの負荷を最適化すると、ビッグデータを操作するためのさまざまなアプリケーションの実行が高速化されます。



このようなHadoopクラスターアーキテクチャの利点は何ですか？

1. クラスターは、統合ネットワークインフラストラクチャによって統合された、コンピューティングリソースを含む統合ソリューションとして表すことができます。
   
   
   
   
2. 組み込みのネットワークファクトリにより、東西方向のトラフィック強度を増加させることができます。 その結果、クラスター全体のスループットが向上し、スイッチングがよりインテリジェントになります。
   
   
   
   
3. 特殊なCPUとグラフィックプロセッサを備えた負荷タイプに最適化されたノードの使用、「チップ上のサーバー」（サーバーオンチップ、SOC）は、生産性、計算密度、エネルギー効率を向上させます。
   
   
   
   
4. ハイパースケール機能。 たとえば、単一のHPE Moonshotシャーシは、45ノードのクラスターとして機能できます。
   
   
   
   
5. ヘテロジニアスコンピューティングノードでクラスターを構築する機能。これは、深層分析（深層学習）およびニューラルネットワークのタスクに需要があります。
   
   

Apache Sparkなどの高性能コンピューティングワークロードの場合、高性能ラック（HPC）ノードを同じラックに含めることができます。









HPEソリューション-ノードが最適化されたHadoop非対称クラスター。



したがって、HPEは従来のパラダイムを放棄し、Hadoopクラスター内の独立したコンピューティングおよびストレージコンポーネントにより、非常に高速な非対称システムを作成できることを実証しました。 このソリューションは、負荷を最適化し、YARN、ティアリング、タスクの特殊ノードへの割り当てなどのツールを使用することで改善できます。









HPE BDRAの回路図：42Uラックは、計算モジュールを統合スイッチ、ストレージモジュール、および制御モジュールと統合します。



HPE BDRAリファレンスアーキテクチャを使用すると、異種データプールを統合し、それらをHadoop、Vertica、Sparkなどの技術を使用して作業できる単一のプールに結合できます。将来の負荷に適応する柔軟性は、アーキテクチャ自体に組み込まれています。 このコンバージド非対称クラスターでは、ストレージリソースが階層化されています。 SANは使用されません。直接アクセスストレージ（DAS）に置き換えられます。 負荷とストレージリソースは、それぞれのタスクに最適化されたノードに割り当てられます。 標準のイーサネットは、HDFSやHBaseなどのコンピューティングリソースとストレージリソース間の交換のためのネイティブHadoopプロトコルとの相互接続として使用されます。



例として、HPE BDRAコンセプトは、従来のHadoopアーキテクチャと比較して、価格/パフォーマンスおよび計算密度を大幅に改善するのに役立ちます。 最新のイーサネットファクトリのおかげで、サーバーとストレージサブシステム間のデータ交換中にシステムがボトルネックを形成することはありません。 テストでは、HPE BDRAの読み取りパフォーマンスが通常のHadoopクラスターの読み取りパフォーマンスよりも30％高いことが示されています。

ソリューション構成

HPE BDRAは、次のHPEテクノロジーに基づいています。









HPE Apollo 4200 Gen9ストレージノード。









HPE Apollo 4510ホストは、最大544 TBのデータを保存できます。 バックアップコピーまたはアーカイブの保存に使用することをお勧めします。



ストレージノード -HPE Apollo 4200 Gen9サーバーは、単一のHDFSストレージを形成します。 高性能で高密度のストレージシステムであるHPE Apollo 4510システムをオプションとして使用できます。 バックアップ/アーカイブストレージの役割を果たします。









HPE ProLiant m710pサーバーカートリッジサーバーカートリッジを 搭載 した HPE Moonshot Systemシャーシ 。



コンピューティングノード -HPE Moonshot Systemは、コンピューティングタスクと負荷の最適化のための高密度コンピューティングシステムです。 HPE ProLiant m710pサーバーカートリッジまたはHPE ProLiant XL170r Gen9は、計算ノードとして機能できます。









HPE BDRAコンポーネント：計算ノード、ストレージノード、高速ネットワーク。

構成の柔軟性とスケーリング

コンピューティングノードとデータストレージノードBDRAは高速ネットワークに接続します。 結果は、各レベルを個別にスケーリングできる非対称アーキテクチャです。 プロセッサとストレージリソースの比率は厳密に設定されていません。 これらのリソースは相互にバインドされていないため、統合アーキテクチャの多くのメリットを活用できます。 たとえば、適切なノードをシステムに追加するだけで、それらを個別にスケーリングします。 HPのテストでは、負荷がほぼ線形に応答することが示されています。 さらに、負荷の種類に応じて、1つまたは別の比率のリソースを持つ構成を選択できます。









コンピューティングリソースとデータストレージリソースの独立したスケーリング：「ホット」（コンピューティング）および「コールド」負荷に応じて構成を選択できます。 前者の場合、コンピューティングノードの割合が増加し、後者の場合-データストレージリソース



HPE BDRAでは、HBaseやApache SparkなどのYARN互換ツールがHDFSストレージを直接使用できます。 SAP HANAなどのその他のものでは、データにアクセスするために適切なコネクタが必要です。



HPE BDRAは、Moonshot 1500シャーシおよび最新のMoonshotサーバーカートリッジでテストされました。 このソリューションにより、高い計算密度が得られます。 ProLiant m710pサーバーカートリッジを搭載したMoonshot 1500シャーシは、それぞれ40GbEの8本の直接接続銅線（DAC）ケーブルで外部スイッチに接続します。









HPE FlexFabric 5930スイッチ。



HPE Intelligent Resilient Framework（IRF）を介して構成されたHPE FlexFabric 5930 スイッチは、HPE BDRAのネットワークスイッチとして使用されます 。 オプションのHPE 5900スイッチは、1GbE HPE Integrated Lights-Out（HPE iLO）管理ポートに接続します。









HPE Moonshotサーバーシャ​​ーシ



Moonshot Systemシャーシには、内部ネットワークに対応するための2つの45ポート10GbEスイッチが含まれています。 各スイッチは、4つの40GbEアップリンクを介して外部インフラストラクチャに接続します。 HPE Apollo 4200システム、HPE SL4540、およびApollo 4510システムは、40GbEポートのペアを介して高性能ToRスイッチに接続します。



BDRAでは、必要に応じて、追加コストやデータの再配布なしで、計算レベルまたはストレージレベルをスケーリングできることも重要です。 BDRAでデータを統合すると、冗長コピーの保存が回避され、データの移動が最小限に抑えられます。

オープンスタンダード

HPE BDRAは、Hadoop、Spark、HBase、Impala、Hive、Pig、R、Stormなどのさまざまなデータ管理ツールをサポートしています。 集中ストレージとYARNタグなどのツールの使用により、このソリューションはデータへのアクセス（直接またはコネクタ経由）を提供し、現在および将来のエンタープライズアプリケーションに適したプラットフォームです。









HPE BDRAの主な利点の1つは、そのオープンスタンダード、オープンソースの実装です。 これにより、他のベンダーがHPEソリューションを使用できるようになります。 たとえば、設計を使用して、HPE BDRAのワークロードを最適化できます。 そのため、Mellanoxはネットワークカード用に独自のハードウェアアクセラレータを作成しました。 このテクノロジーは、Moonshotカートリッジに統合されています。

結果は何ですか？

HPE BDRAソリューションの利点は次のとおりです。 最も明白なのは、密度と価格/性能比です。 その他は次のとおりです。



•弾力性。 HPE BDRAアーキテクチャは、最大限の柔軟性を実現するために設計されました。 データを再配布することなく、コンピューティングノードをタスクに柔軟に割り当てることができ、ストレージリソースとコンピューティングリソースの比率を監視する必要はありません。 システムを拡張し、スケーリングできます。 YARN互換のロードはHDFSを介してビッグデータに直接アクセスしますが、他のコネクターはそれぞれのコネクターを介して同じデータにアクセスできます。



•データの統合。 HPE BDRAアーキテクチャはHDFSに基づいています。 また、HDFSには、あらゆる組織で単一のデータソースとして機能するのに十分なパフォーマンスと容量があります。



•負荷の最適化。 ビッグデータを操作するには、管理ツールのセットが使用されます。 適切なツールを選択したら、特定の負荷に最適なノードでタスクを開始できます。



•高度なストレージ容量管理。 計算ノードは動的に「オンザフライ」で割り当てることができ、単一のリポジトリを管理することでコストを削減できます。



•迅速な結果。 通常、ビッグデータを扱うには、いくつかの管理ツールが必要です。 HPE BDRAでは、データは断片化されていません。 これらは単一の「データレイク」に統合され、それらを操作するツールはYARNまたはコネクタを介して同じデータにアクセスできます。 その結果、分析により多くの時間が費やされ、データ配信にかかる時間が短縮されます。 結果は速くなります。



HPE BDRAはリファレンスアーキテクチャですが、特定のソリューションでの実装（部品表、BOM）のドキュメントがお客様に提供されます。 このようなシステムは、ご自身で展開するか、HPEテクニカルサービスまたは認定パートナーのサービスを使用できます。 HPE BDRAは「カスタマイズ可能」です。コンポーネントの構成は顧客のニーズに適合します。