👩🏻‍🔬 👩🏼 🏂🏽 フラッシュストレージのテスト。 Huawei Dorado 2100 G2 🏌️ ↔️ 🙎

さまざまなフラッシュストレージシステムのテストに関する一連の記事は、Huawei製品がなければ完成しません。正直なところ、ドラドはすでにロシアで利用可能になった直後に、すでに早くから研究室に行っていました。今回は、「労働者の願い」に従って、十分なデータを収集し、それらをあなたの注意に向けて喜んで提示します。

テスト方法

テスト中に、次のタスクが解決されました。

長い書き込み負荷でのストレージパフォーマンスの低下に関する研究（Write Cliff）。
さまざまな構成（R5およびR0）のさまざまな負荷プロファイルを持つHuawei Dorado G2ストレージシステムのパフォーマンス調査。

テストベッド構成

図1.テストベンチのブロック図。

テストベンチは、8Gbの4つのFCチャネルを介してHuawei Dorado 2100 G2ストレージに直接接続されたIBM x3750 M4サーバーで構成されています。 NAS OceanStoreドラド2100 G2

追加のソフトウェアとして、Symantec Storage Foundation 6.2がテストサーバーにインストールされ、以下を実装します。

論理ボリュームマネージャー（Veritas Volume Manager）の機能。
ディスクアレイへのフェールセーフ接続の機能（ダイナミックマルチパス）。

退屈な詳細とあらゆる種類のスマートワードを参照してください。

ディスクI / Oの待機時間を短縮することを目的として、テストサーバーで次の設定が実行されます。

I / Oスケジューラは、Symantec VxVolumeボリュームのスケジューラパラメータにnoop値を割り当てることにより、「cfq」から「noop」に変更されました。
Symantecの論理ボリュームマネージャーレベルでキューサイズ/etc/sysctl.conf

最小化するパラメーターを/etc/sysctl.conf

追加しました： «vxvm.vxio.vol_use_rq = 0»

;
Symantec VxVolumeボリュームのnr_requests

パラメータに1024の値を割り当てることにより、デバイスへの同時I / O要求の制限が1024に増加しました。
Symantec VxVolumeボリュームのnomerges

パラメーターに値1を割り当てることにより、I / O操作のマージ（iomerge）の可能性のチェックを無効にしました。
FCアダプターのキューサイズは、 ql2xmaxqdepth=64 (options qla2xxx ql2xmaxqdepth=64)

オプションをql2xmaxqdepth=64 (options qla2xxx ql2xmaxqdepth=64)

構成ファイルに追加することで増加しますql2xmaxqdepth=64 (options qla2xxx ql2xmaxqdepth=64)

。

テスト中に、ストレージシステムでさまざまな設定が行われます。

RAID5（R5のストレージテスト用）またはRAID0（R0構成のストレージテスト用）のSSD構成が実装されています。
同じサイズの8つのLUNが作成され、有効なストレージ容量全体をカバーする合計ボリューム（完全にラベル付けされたストレージシステムでのテスト用）またはボリュームの70％（部分的にマーク付けされたストレージシステムでのテスト用）が作成されます。 LUNブロックサイズは512バイトです。ムーンは、その半分（4つのLUN）に対して所有者が1つのストレージコントローラー（A）で、残りの半分（他のコントローラー（B））になるように作成されます。作成されたLUNはテストサーバーに提示されます。
すべてのLUNで書き込み書き込みオンまたはオフ（書き込みスルー）を使用して、さまざまなテストグループを実行できます。構成パラメーターの値は、テストプログラムのテストの説明に記載されています（1.5）。

テストソフトウェア

ストレージシステムで合成負荷を作成（合成テストを実行）するには、Flexible IO Tester（fio）ユーティリティバージョン2.1.10を使用します。すべての模擬テストでは、fioセクション[グローバル]の次の構成パラメーターが使用されます。

スレッド= 0
ダイレクト= 1
group_reporting = 1
norandommap = 1
time_based = 1
randrepeat = 0
ramp_time = 3

次のユーティリティは、合成負荷の下でパフォーマンスインジケータを取得するために使用されます。

iostat。txkキーを備えたsysstatバージョン9.0.4パッケージの一部です。
vxstat、Svdキーを備えたSymantec Storage Foundation 6.2の一部。
vxdmpadm、-q iostatスイッチ付きのSymantec Storage Foundation 6.2の一部。
fioバージョン2.1.10。各負荷プロファイルの要約レポートを生成します。

パフォーマンスインジケータは、テスト中に5秒間隔でiostat、vxstat、vxdmpstatユーティリティによって取得されます。

テストプログラム。

テストは、ブロックデバイス上でfioプログラムを使用して合成負荷を作成することによって実行されます。これは、テスト対象システムから提示された8つのLUNからVeritas Volume Managerを使用して作成される«stripe, 8 column, stripe unit size=1MiB»

タイプの論理ボリュームです。

詳細を尋ねる

グループ1：入出力ブロック（I / O）のサイズを変更して、長い書き込み負荷と長い混合負荷を実現するテスト

テスト負荷を作成するとき、セクション1.4で定義されたパラメータに加えて、次のfioプログラムパラメータが使用されます。

rw = randwrite
blocksize = [4K 8K 16K 32K 64K 1M]（I / O操作のサイズが異なる負荷下でのストレージの動作が調査されます）
numjobs = 64
iodepth = 64

テストグループは、テスト対象のストレージシステムで提供されるLUNの合計量、RAID構成、書き込みキャッシュの使用、およびロード方向が異なるテストで構成されます。

可変ブロックサイズ（4,8,16,32,64,1024K）のR5構成で完全にラベル付けされたストレージシステムで実行されたテストの記録。各LUNについて、書き込みキャッシュは無効になっています。各テストの所要時間は40分、テストの間隔は1時間です。
同じ、書き込みキャッシュを有効にします。
可変ブロックサイズ（4,8,16,32,64,1024K）のR5構成で、不完全にラベル付けされたストレージシステム（合計LUNボリューム-使用可能なボリュームの70％）で実行された記録のテスト。各LUNについて、書き込みキャッシュは無効になっています。
可変ブロックサイズ（4,8,16,32,64,1024K）のR5構成で完全にマークされたストレージシステムで実行された長い混合負荷（50％の書き込み、50％の読み取り）でのテスト。各LUNについて、書き込みキャッシュは無効になっています。各テストの所要時間は20分、テストの間隔は40分です。
可変ブロックサイズ（4,8,16,32,64,1024K）のR5構成で完全にラベル付けされたストレージシステムで実行された長い混合負荷（70％の書き込み、30％の読み取り）でのテスト。各LUNについて、書き込みキャッシュは無効になっています。各テストの所要時間は20分、テストの間隔は40分です。
可変ブロックサイズ（4,8,16,32,64,1024K）で構成R0の完全にラベル付けされたストレージシステムで実行された記録テスト。各LUNについて、書き込みキャッシュは無効になっています。各テストの所要時間は40分、テストの間隔は1時間です。

テストでRAIDストレージシステムの構成を変更する必要がある場合、RAIDレベルを変更し、ストレージシステムにLUNを作成し、サーバーにボリュームを作成した後、16Kブロックでランダムに記録することにより、ボリュームにfio 2.1.10ユーティリティが書き込まれ、書き込まれるデータのボリュームはボリュームボリュームの2倍になります

テスト結果に基づいて、vxstatチームによって出力されたデータに基づいて、テスト結果を組み合わせたチャートが形成されます。

時間の関数としてのIOPS。
時間の関数としての帯域幅。

得られた情報の分析が実行され、以下について結論が下されます。

長い記録負荷と長い混合負荷によるパフォーマンスの低下の存在。
ストレージ（ガベージコレクション）のサービスプロセスのパフォーマンス。さまざまなストレージ構成（R5およびR0）での長いピーク負荷の下での記録のためのディスクアレイのパフォーマンスを制限します。
ストレージサービスプロセス（ガベージコレクション）のパフォーマンスに対するレコードに対するキャッシュの影響。
入出力サービスのブロックのサイズがストレージサービスプロセスのパフォーマンスに与える影響の度合い。
ストレージのサービスプロセスを平準化するためのストレージ用に予約されているスペースの量。
サービスプロセスのパフォーマンスに対するストレージ容量の影響。
ストレージシステムのサービスプロセス（ガベージコレクション）が読み取り操作のパフォーマンスに与える影響。

グループ2：R5ストレージ構成で、ブロックデバイスレベルで実行される、さまざまな種類の負荷のディスクアレイパフォーマンステスト。

テスト中に、次のタイプの負荷が調査されます。

プロファイルのロード（変更可能なソフトウェアパラメーターfio：randomrw、rwmixedread）：

ランダム記録100％;
ランダム書き込み30％;ランダム読み取り70％;
ランダム読み取り100％。

ブロックサイズ：1KB、8KB、16KB、32KB、64KB、1MB（変更可能なソフトウェアパラメーターfio：ブロックサイズ）;
入出力操作の処理方法：同期、非同期（変更可能なソフトウェアパラメーターfio：ioengine）。
負荷を生成するプロセスの数：1、2、4、8、16、32、64、128、256（変更可能なソフトウェアパラメーターfio：numjobs）;
キューの深さ（非同期I / O操作の場合）：32、64（変更可能なソフトウェアパラメーターfio：iodepth）。

テストグループは、一連のテストで構成されます。テストは、上記の種類の負荷のすべての可能な組み合わせです。各テストの所要時間は1分です。テスト結果に対するストレージのサービスプロセス（ガベージコレクション）の影響を平準化するために、テスト間の一時停止は、テスト中に記録された情報の量をストレージのサービスプロセスのパフォーマンスで割ったものに等しくなります（テストの最初のグループの結果によって決定されます）。

上記のテストはすべて、ストレージから提供されるすべてのLUNの書き込みキャッシュを無効にして、最初に実行されます。

テスト結果に基づいて、各テストの最後にfioソフトウェアによって出力されたデータに基づいて、負荷タイプの組み合わせごとにチャートが生成されます（負荷プロファイル、I / O操作の処理方法、キューの深さ、I / Oブロックの異なる値を持つテストの組み合わせ）：

負荷を生成するプロセスの数の関数としてのIOPS。
負荷を生成するプロセスの数の関数としての帯域幅。
負荷を生成するプロセスの数の関数としての緯度（clat）。

結果の分析が実行され、レイテンシが1ミリ秒以下のディスクアレイの負荷特性、アレイの最大パフォーマンス、およびシングルスレッドロードでのアレイのパフォーマンス、ストレージのパフォーマンスに対するキャッシュの影響について結論が出されました。

グループ3：ストレージ構成R0を使用して、ブロックデバイスレベルで実行されるさまざまな種類の負荷のディスクアレイパフォーマンステスト。

テストはグループ2のテストと同様に実行されます。ストレージR0の構成がテストされます。テスト結果に基づいて、各テストの最後にfioソフトウェアによって出力されたデータに基づいて、負荷タイプの組み合わせごとにチャートが生成されます（負荷プロファイル、I / O操作の処理方法、キューの深さ、I / Oブロックの異なる値を持つテストの組み合わせ）：

負荷を生成するプロセスの数の関数としてのIOPS。
負荷を生成するプロセスの数の関数としての帯域幅。
負荷を生成するプロセスの数の関数としての緯度（clat）。

結果の分析が実行され、R1のディスクアレイの負荷特性が約1ミリ秒以下のレイテンシ、R0のアレイの最大パフォーマンス、およびシングルスレッドの負荷でのアレイパフォーマンスについて結論が出されました。

試験結果

グループ1：入出力のブロック（I / O）のサイズを変更して、長い書き込み負荷と長い混合負荷を実現するテスト。

チャート。 （すべての写真はクリック可能です）

	図表1 書き込みキャッシュがオフになっている場合、完全にマークされたストレージシステム（R5）での偶発的な記録など、長時間のピーク負荷時のパフォーマンスの低下。
	図表2 書き込みキャッシュがオンのときに、完全にマークされたストレージシステム（R5）での偶発的な記録など、長時間のピーク負荷時のパフォーマンスの低下。
	図表3 書き込みキャッシュがオフの場合、不完全にマークされたストレージ（R5）（ボリュームの70％）でのランダム記録など、長時間のピーク負荷時のパフォーマンスの低下。
	図表4 書き込みキャッシュがオフの場合、完全にマークされたストレージ（R5）での長いピーク混合負荷（書き込み50％、読み取り50％）の間の書き込みパフォーマンスの低下。
	図表5 書き込みキャッシュがオフの場合、完全にマークされたストレージ（R5）での長いピーク混合負荷（書き込み50％、読み取り50％）の間の読み取りパフォーマンスの低下。
	図表6 書き込みキャッシュがオフの場合、完全にマークされたストレージ（R5）での長いピーク混合負荷（70％書き込み、30％読み取り）の間の書き込みパフォーマンスの低下。
	図表7 書き込みキャッシュがオフの場合、完全にマークされたストレージ（R5）での長いピーク混合負荷（70％書き込み、30％読み取り）の間の読み取りパフォーマンスの低下。
	図表8 書き込みキャッシュがオフになっている場合、RAID 0構成で完全にラベル付けされたストレージシステム（R0）への偶発的な書き込みなど、長時間のピーク負荷時のパフォーマンスの低下。

表1-2。 （すべての写真はクリック可能です）

表1.ストレージシステムの構成におけるストレージシステムのパフォーマンスインジケータの、書き込みサイズが長いブロックサイズへの依存性-RAID 5。

表2.ストレージ構成での連続書き込みロード時のブロックサイズに対するストレージパフォーマンスインジケーターの依存性-RAID 0。

主な調査結果：

1.アレイにデータを入力すると、データの書き込み時にのみフォーマット（RAID初期化）が発生することがわかりました。したがって、最初の記録は遅くなります。

2.特定の時点で長時間の記録負荷が発生すると、ストレージシステムのパフォーマンスが大幅に低下します。パフォーマンスの低下が予想されます。これは、ガベージコレクション（GC）プロセスの組み込みと、指定されたプロセスの制限されたパフォーマンスに関連するSSD（クリフの書き込み）操作の機能です。ディスクアレイのパフォーマンスは、書き込みクリフ効果の後（パフォーマンスの低下後）に修正され、ディスクアレイの最大平均パフォーマンスと見なすことができます。パフォーマンスの低下は、2〜3分間のピーク記録負荷後に既に発生しています。これは、他のメーカーのディスクアレイと比較してあまり良い指標ではなく、ピーク記録負荷を減衰するディスクスペースリザーブの重要性を示しています。

3. I / Oブロックのサイズは、ガベージコレクション（GC）プロセスのパフォーマンスに影響します。

RAID 5構成の場合：

小さなブロック（4K）GCのパフォーマンス-180MB / s（45000 IOPS）;
中ブロック（8-64K）の場合、GCパフォーマンスは350MB / sです。
大きなブロック（1M）の場合、GCのパフォーマンスは800 MB /秒です。

RAID 0構成の場合：

小さなブロック（4K）の場合、GCパフォーマンスは575MB / s（143750 IOPS）です。
中規模および大規模ブロック（8〜64K）GCのパフォーマンス-1200MB / s。

4.コントローラーのキャッシュは、レコードの長いピーク負荷時のストレージシステムの動作に影響しません。パフォーマンス低下の瞬間（Write Cliff）は、書き込みのためのアレイキャッシュの使用に関係なく、同時に発生します（図2）。パフォーマンス低下後のストレージのパフォーマンスも、キャッシュの使用とは無関係です。

5.ストレージシステムの容量は、GCプロセスの動作に影響しません（図3）。

6.ストレージシステムの負荷プロファイルの条件で、頻繁に集中的な記録が2〜3分以上続く場合、最も効果的な単位のサイズは8Kです。

7.長い混合負荷でのテストの結果から、書き込みパフォーマンスが低下すると、読み取りパフォーマンスも比例して低下することがわかります。これは、fioプロセスが指定された割合（70/30または50/50）で負荷を生成したという事実が原因である可能性が最も高いです。つまり、実際には、書き込みプロセスと読み取りプロセスの間に関係がある場合、ディスクアレイのこのような動作が予想されます。

8.長い混合負荷でのテストでは、混合負荷での書き込み操作のパフォーマンスは、純粋な書き込み負荷の場合と同じであることが示されました。読み取り操作は、ガベージコレクションのパフォーマンスに影響を与えないと結論付けることができます。

9.ストレージ構成（RAID0）では、書き込み操作のパフォーマンス（パフォーマンス低下の前と後の両方）が大幅に向上しています。

グループ2：R5ストレージ構成で、ブロックデバイスレベルで実行される、さまざまな種類の負荷のディスクアレイパフォーマンステスト。

チャート。 （すべての写真はクリック可能です）

	同期入出力	キュー深度32の非同期I / O	キュー深度が64の非同期I / O
ランダム読み取り
ランダム録音の場合
混合負荷時（読み取り70％、書き込み30％）

表3-5。 （すべての写真はクリック可能です）

表3.単一の負荷生成プロセスを使用したRAID 5構成でのストレージパフォーマンス（ジョブ= 1）

表4.遅延が1ミリ秒未満のRAID 5構成での最大ストレージパフォーマンス

表5.異なる負荷プロファイルを使用したRAID 5構成での最大ストレージパフォーマンス。

主な調査結果：

1. RAID 5構成のストレージの最大記録パフォーマンスパラメーター（各テスト期間の平均から1分）：

記録：

4.7msのレイテンシで110,000 IOPS（4KB非同期qd32.64ブロック）;
同期入出力の場合-レイテンシ2.5 msで88,000 IOPS（4Kおよび8Kブロック）。
帯域幅：2130MB / sの大きなブロック（1MB）、約1000MB / sの中型のブロック（16-64K）。

読書：

1.8msのレイテンシで140,000 IOPS（ブロック4および8K非同期qd64）;
同期入出力の場合-レイテンシ0.7ms（4Kブロック）で91,000 IOPS。
帯域幅：3160MB / s（大きなブロックの場合）*

混合負荷（70/30 rw）：

1.9msのレイテンシで132,000 IOPS（ブロック4および8K非同期qd64）;
同期入出力の場合-遅延1.4msで87,000 IOPS（ブロック4、8、16K）。
大きいブロック（1MB）の場合は帯域幅4100MB / s、64、32Kブロックの場合は約3000MB / s *

* ディスクアレイが4 x 8Gb / sを介してテストサーバーに接続されているという事実を考えると、得られた値はディスクアレイを制限しない可能性が高く、サーバーに接続するチャネルの帯域幅が制限要因でした。

最小遅延：

記録時-4Kジョブのブロックで0.9ms = 1.2同期
読み取り時-4Kおよび8Kブロックジョブで0.6ms = 1-8同期

2. SHDは次の場合に飽和モードに入ります。

32K、64Kブロックの2〜4個のジョブ、および中小規模ブロック（4〜16K）の8個のジョブの非同期I / Oメソッド。
128-192ジョブでの同期I / Oモード。

3. 1MBブロックでは、最大スループットは、中ブロックで得られた最大パフォーマンス（16-64K）の2倍でした。

4.配列は、ブロック4と8Kで同じ数のI / O操作を生成し、ブロック16Kでは少し少なくなります。アレイを操作するための最適なブロックは8および16Kです。

グループ3：ストレージ構成R0を使用して、ブロックデバイスレベルで実行されるさまざまな種類の負荷のディスクアレイパフォーマンステスト。

チャート。 （すべての写真はクリック可能です）

	同期入出力	キュー深度32の非同期I / O	キュー深度が64の非同期I / O
ランダム読み取り
ランダム録音の場合
混合負荷時（読み取り70％、書き込み30％）

表6-8。 （すべての写真はクリック可能です）

表6.単一の負荷生成プロセスを使用したRAID 0構成のストレージパフォーマンス（ジョブ= 1）

表7.遅延が1ミリ秒未満のRAID 0構成での最大ストレージパフォーマンス

表8.さまざまな負荷プロファイルのRAID 0構成での最大ストレージパフォーマンス。

主な調査結果：

1. RAID 0構成でのストレージの記録された最大パフォーマンスパラメーター（各テスト期間の平均から1分）：

記録：

レイテンシ1.6msで311,000 IOPS（4KB非同期qd32.64ブロック）;
同期入出力の場合-レイテンシが0.7 msの190,000 IOPS（4Kおよび8Kブロック）。
帯域幅：3160MB / sの大きなブロック（1MB）、約2500MB / sの中型のブロック（16-64K）*

読書：

3.3encyレイテンシで310,000 IOPS（4K非同期qd64ブロック）;
同期入出力の場合-レイテンシ0.7ms（4Kブロック）で91,000 IOPS。
帯域幅：3260MB / s（大きなブロックの場合）。 *

* ディスクアレイが4 x 8Gb / sを介してテストサーバーに接続されているという事実を考えると、得られた値はディスクアレイを制限しない可能性が高く、サーバーに接続するチャネルの帯域幅が制限要因でした。

混合負荷（70/30 rw）

遅延1.2msで305,000 IOPS（4k非同期qd64ブロック）;
同期入出力-225,000 IOPS、遅延0.95ミリ秒（4Kブロック）。
大きなブロック（1MB、64K、32K）の場合、帯域幅4140MB / s。

最小遅延：

記録時-4Kジョブのブロックで0.35ms = 1.2同期
読み取り時-4Kおよび8Kブロックジョブで0.6ms = 1sync

2. SHDは次の場合に飽和モードに入ります。

32K、64Kブロックの2〜4個のジョブ、および中小規模ブロック（4〜16K）の8個のジョブの非同期I / Oメソッド。
64-128ジョブでの同期I / Oモード。

3. 1MBブロックでは、最大スループットは中ブロック（16-64K）で得られた最大パフォーマンスの2倍

でした。アレイを操作するための最適なブロックは8および16Kです。

結論

アレイでの作業からは楽しい印象を受けました。得られた結果は予想よりも高かった。このアレイは、2つのコントローラー、標準RAIDレベル、および通常のeMLC SSDドライブを備えたストレージシステムの古典的なアーキテクチャによって区別されます。このアーキテクチャの結果は、他のフラッシュストレージシステムと比較して低コストであり、I / O操作の処理のレイテンシが高くなります。

Huawei Dorado G2は、遅延に対してそれほど重要ではないマルチスレッドロードに最適です。

フラッシュストレージのテスト。 Huawei Dorado 2100 G2

テスト方法

テストベッド構成

テストソフトウェア

テストプログラム。

グループ1：入出力ブロック（I / O）のサイズを変更して、長い書き込み負荷と長い混合負荷を実現するテスト

グループ2：R5ストレージ構成で、ブロックデバイスレベルで実行される、さまざまな種類の負荷のディスクアレイパフォーマンステスト。

グループ3：ストレージ構成R0を使用して、ブロックデバイスレベルで実行されるさまざまな種類の負荷のディスクアレイパフォーマンステスト。

試験結果

グループ1：入出力のブロック（I / O）のサイズを変更して、長い書き込み負荷と長い混合負荷を実現するテスト。

グループ2：R5ストレージ構成で、ブロックデバイスレベルで実行される、さまざまな種類の負荷のディスクアレイパフォーマンステスト。

グループ3：ストレージ構成R0を使用して、ブロックデバイスレベルで実行されるさまざまな種類の負荷のディスクアレイパフォーマンステスト。

結論

More articles: