DASとIsilonでのHadoopパフォーマンスの比較

Isilonを使用すると、異なるバージョンのHadoopを備えた複数のクラスターに同時にサービスを提供できるデータレイクを作成できるという事実については既に書きました。 その出版物では、多くの場合、Isilonで実行されるシステムはDASストレージを使用する従来のクラスターよりも高速であると述べました。 これは後に、対応するクラスターでさまざまなHadoopベンチマークを実行することにより、IDCで確認されました。 今回は、Isilonクラスターのパフォーマンスが向上する理由と、クラスター内でのデータの分散と分散に応じてIsilonクラスターがどのように変化するかを検討します。

テスト環境

• Cloudera Hadoop CDH5配布キット。
• 8つの300ギガバイト1万台のドライブを備えた、7つのノード（1つのマスター、6つのワーカー）のDASクラスター。
• 4 x410ノードのIsilonクラスター。それぞれに57 TBのディスクと3.2 TBのSSDが10 GBEを介して接続されています。

レポートで他の詳細を見つけることができます。

NFSアクセス

まず第一に、IDCはNFSアクセスで読み書きをテストしました。 予想どおり、Isilonは4つのノードでもより良い結果を示しました。





サイズが10 GBのファイルをコピーする期間（ブロックの長さは指定されていませんが、ほとんどの場合1 MB以上です）。



記録によると、Isilonは4.2倍高速でした。 これは、NFSを介してデータを受信することが重要な場合に特に重要です。 また、読み取り速度の面では、生産性は37倍高くなります。

Hadoopワークロード

標準のHadoopベンチマークを使用したテスト中に、3種類のワークロードが比較されました。

1. TeraGenを使用した順次記録
2. TeraSortによる順次書き込み/読み取り
3. TeraValidateを使用した順次読み取り

TeraGen、TeraSort、TeraValidateの3つの異なるタイプのロードを備えたランタイム。



録音時、Isilonのパフォーマンスは2.6倍、他の2つのタイプでは1.5倍でした。 特定の結果を表に示します。

	イシロン	Hadoop das
テラゲン	1681 Mb / s	605 Mb / s
TeraSort	642 Mb / s	416 Mb / s
テラバリデート	2832 Mb / s	1828 Mb / s

コンピューティングノードの構成が同じ（丸められた）IsilonおよびDASクラスターのパフォーマンス。



データはそれ自体を物語っています。 次に、OneFSがDASクラスターよりもこのようなパフォーマンス上の利点をどのように達成したかを見てみましょう。

Isilon上のファイルの読み取り

I / O操作はDASクラスター内のすべてのノードに分散されますが、個々の64メガバイトブロックは1つのノードのみによって処理されます。 同時に、Isilonでは、ワークロードはより小さな部分でノード間で分割されます。 読み取り操作は、次の手順で構成されます。

1. 計算ノードは、すべてのIsilonノード（SPoFなし）で実行されるName NodeサービスからHDFSメタデータを要求します。
2. サービスは、コンピューティングノードが配置されている同じラック内の3つのノードのそれぞれのIPアドレスとブロック番号を返します。 これにより、ラックの局所性の効率が向上します。
3. コンピューティングノードは、受信したリストの最初のノードで実行されるデータノードサービスから64メガバイトのHDFSブロックの読み取りを要求します。
4. 要求されたノードは、内部Infinibandネットワークを介して、必要な64メガバイトHDFSブロックを構成する128キロバイトのIsilonブロックをすべて収集します。 これらのブロックが2次キャッシュにない場合、ディスクから読み取られます。 これは、64 MBブロック全体が単一のノードから読み取られるDASクラスターとの根本的な違いです。 つまり、Isilonクラスターでは、DASクラスターよりもはるかに多くのディスクとプロセッサーによってI / O操作が処理されます。
5. 要求されたノードは、完全なHDFSブロックをコンピューティングノードに返します。

Isilonへのファイルの書き込み

クライアントがクラスターにファイルを書き込みたい場合、クライアントが接続されているノードはファイルの受信と処理に従事します。

1. ノードは、FEC計算を含むファイル記録計画を作成します（ボリュームの観点では、データの安全性を確保するために各ブロックの3つのコピーが通常作成されるDASクラスターに比べてはるかに経済的です）。
2. このノードに割り当てられたデータブロックは、そのNVRAMに記録されます。 NVRAMカードの存在はIsilonの利点の1つであり、DASクラスターでは使用できません。
3. 他のノードに割り当てられたデータブロックは、まずInfinibandネットワークを介してこれらのノードの2番目のレベルのキャッシュに転送され、そこからNVRAMに転送されます。
4. 対応するデータおよびFECブロックがすべてのノードのNVRAMにロードされるとすぐに、クライアントは記録の成功の確認を受け取ります。 つまり、すべてのI / O操作がNVRAMにバッファリングされている間は、ディスクにデータを書き込むことはできません。
5. データブロックは、読み取り要求が受信された場合に備えて、各ノードの2次キャッシュに保存されます。
6. 次に、データがディスクに書き込まれます。

Hadoopのパフォーマンスに対するディスクの局所性の重要性の神話

ディスクのローカリティはHadoopの高いパフォーマンスにとって重要であると主張する管理者からの異議に遭遇することがあります。 ただし、最初はHadoopがスタートポロジの低速ネットワークで動作するように設計されていることを覚えておく必要があります。スタートポロジは、1 Gbit / sの帯域幅が特徴です。 このような状況では、特定のサーバー内ですべてのI / O操作を実行しようと努力するだけです（ディスクの局所性）。



いくつかの事実は、ディスクの局所性がHad​​oopのパフォーマンスに関係していないことを示唆しています。

I.高速ネットワークが標準になりました。

• 現在、単一の非ブロッキング10ギガビットスイッチポート（最大2500 Mb / sの全二重）は、通常の12ディスクディスクサブシステム（360-Mb / s）よりも高いスループットを持っています。
• 満足できるレベルのI / Oを確保するために、データの局所性を維持する必要はもうありません。
• Isilonは、ディスクのローカリティではなくラックマウントのローカリティを提供し、ラック間のイーサネットトラフィックを削減します。

この図は、I / O操作のルートを示しています。 明らかに、ボトルネックはネットワークではなくドライブです（10 GBEネットワークの場合）。





DASアーキテクチャでのI / O操作のルート。 ディスクの数を2倍にしても、それらは依然としてボトルネックのままです。 そのため、ほとんどの場合、ドライブの場所はパフォーマンスに影響しません。

II。 ディスクの局所性は、次の典型的な状況で失われます。

• ブロック複製を使用したDASクラスターでは、すべてのノードが最大数のタスクを実行します。 これは、負荷の高いクラスターの非常に特徴的です！
• 受信ファイルは、gzipなどの分割不可能なコーデックを使用して圧縮されます。
• 「 FacebookでのHadoopタスクの分析は、ディスクの局所性を達成することの難しさを証明しています。入力データが保存されている同じノードで実行されるタスクは34％だけです。」
• ディスクのローカリティはI / Oのレイテンシを非常に低くしますが、MapReduceのようなバッチジョブを実行する際にはあまり重要ではありません。

III。 パフォーマンスを向上させるデータ複製

• 負荷の高い従来のクラスターでは、複数の同時タスクで頻繁に使用されるファイルを操作する場合、高度なレプリケーションが役立ちます。 これは、データの局所性と高い並列読み取り速度を確保するために必要です。
• Isilonは、次の理由で高度な複製を必要としません。
  
  
  1. データの局所性は必要ありません。
  2. 読み取り操作は、非常に高い並列読み取り速度を提供するグローバルに一貫したキャッシュを使用して、多くのノードに分散されます。

Isilonのパフォーマンスに影響するその他の技術

OneFSは非常に成熟した製品であり、マルチプロトコルアクセスによる高性能と低遅延の点で10年以上にわたって改善されてきました。 これに関する多くの情報をネット上で見つけることができます。 キーポイントのみに言及します。

• すべての書き込み操作は、非常に高いパフォーマンスを提供するバックアップNVRAMを使用してバッファリングされます。
• OneFSは、読み取りを高速化するために、SSDで第1レベルのキャッシュ、グローバルにコヒーレントな第2レベルのキャッシュ、および第3レベルのキャッシュを使用します。
• クラスター全体、プール、またはフォルダーレベルでアクセスパターンを構成できます。 これにより、プリフェッチ手順を最適化し、バランスを取ることができます。 テンプレートは、ランダム、並列、またはストリーミングにすることができます。
• メタデータの操作は、3次キャッシュを使用して高速化されるか、個別に構成されます。 OneFSはすべてのメタデータをSSDに保存します。

結論として

Isilonは、Hadoopなどの集中的なワークロード向けに設計された分散ファイルシステムを備えた水平スケールのNASです。 HDFSは、プロトコルおよびName NodeサービスとData Nodeサービスとして実装され、すべてのノードでアクセスが提供されます。 IDCによるパフォーマンステストでは、DASクラスターに比べてIsilonクラスターの2.5倍の利点が示されました。 ネットワークテクノロジーの進歩により、ディスクの場所はIsilonシステムでのHadoopの動作に影響しません。 Isilonには、パフォーマンスに加えて、ディスクスペースのより効率的な使用や企業のストレージに固有のさまざまな機能など、他の多くの利点もあります。 さらに、計算ノードとストレージノードは、互いに独立してスケーリングできます。 また、Hadoopのいくつかの異なるバージョンとディストリビューションから同じデータに同時にアクセスすることもできます。