HCIBench-vSphereでのボルトストレージテスト

はじめに

データストレージの問題は、仮想インフラストラクチャにとって最も重要で複雑かつ高価なものの1つです。 誰もがVMware vSphereを尊敬していました。



ストレージのパフォーマンスを評価するには、実際のタスクを実行する機能を理解するために、負荷テストを実施する必要があります。 実装が最も簡単なのは、たとえばIometerやFioなどの一般的なユーティリティを使用して実行される合成テストです。 クラシックアプリケーション：ノードのローカルストレージまたは1つ以上のノードからの外部ストレージをテストします。



仮想インフラストラクチャでは、事態はやや複雑で、数十のVMがスピンする多くのホストで構成されます。 2〜4台のホストからなる小規模なインストールでも、数百および数百のホストの中規模および大規模インフラストラクチャは言うまでもなく、約100台のVMを簡単に保持できます。



1つ以上のVM上で、またはベアメタル上の専用ノードからIometer / Fioを実行して、このようなインフラストラクチャの共有ストレージをテストすることは正しくありません。 このようなテストは分散され、vSphereクラスター内のすべてのホストからの複数のVMからの結果の並列入力/出力生成と集中アカウンティングを提供する必要があります。 このアプローチによってのみ、実際に高負荷の仮想クラスターの負荷をシミュレートできます。



個人的には、vSphere vSAN 6更新クラスター3 of 4ホストとハンドルを使用して、Iometerを備えたWindowsに4つのVMを展開し、3つのVMのDynamoを4番目のVMのIometerコンソールに接続して、分散テストを実行しました。 4つのVMであっても、これは退屈で感謝のないタスクです;複数のVMをホストに手動でデプロイすることはまったく選択肢ではありません。



もちろん、スクリプト、自動化ツールを使用してすべてを美しく実行できますが、その方法はわかりません。 したがって、私のような人々のために、VMware開発者の小さなグループがHCIBenchと呼ばれる無料のユーティリティをリリースし、開発しています。これについては、この記事で説明します。

一般的なビュー

HCIBenchは、vSphereデータウェアハウスの負荷テストを自動化するためのユーティリティ（フレームワークと言います）です。 HCIBenchには、I / Oを生成するための独自のエンジンがありません。このタスクでは、ポピーの使用は少なくなりますが、私の意見では、Fioよりも強力/柔軟であり、特にIometer（優れているものの）、Vdbenchと呼ばれるOracleの無料ユーティリティです。



HCIBenchの利便性、シンプルさ、機能を備えたグラフィカルWebインターフェイスでは、ストレージサブシステムをテストするタスクを作成できます。その後、結果を待つことしかできません。 ユーティリティ自体は、必要なディスクパラメーターと組み込みのVdbenchを使用してユーザー定義数のテストVMを展開し、クラスターノード間でそれらを均等に分散し、テストを実施して、主要な一般的なパフォーマンスインジケーターで最終結果を生成します。 さらに、保存されたテストログと詳細レポートを表示して、ニュアンスを見つけ、問題をトラブルシューティングできます。



HCIBenchは完全に無料で、使用に関する制限はありません。 HCIBenchの公式ページで 、ユーティリティとそのマニュアルをダウンロードし、サポートについて質問することができます



HCIBenchは、名前から判断しても、分散ストレージおよびハイパーコンバージドインフラストラクチャ（HCI）、主にVMware vSANをテストするためのツールとして開発されたという事実にもかかわらず、ストレージインフラストラクチャをテストするための汎用ツールであり、vSphereに接続されているすべてのストレージ（データストア）と互換性があります：



•ローカルホストメディアおよび共有ストレージリソース（ローカルおよび共有ストレージ）。

•ブロックストレージとファイルストレージ。

•クラシックおよびソフトウェア（SDS）ストレージシステム。

•単一および分散リポジトリ。

•専用のハイパーコンバージドストレージ。

建築

HCIBenchは既製の仮想アプリケーション（.ovaファイル）として配布されます。これには、制御VM（コントローラーVM）およびテストVM（VdbenchゲストVM）を展開するためのテンプレートが含まれます。



制御およびテストVMは非常にコンパクトで（4GB-RAMおよび16GB-システムディスク）、VMwareの新しいLinuxベースのコンテナーOS-Photon OS 1.0を実行します。



コントローラVMには次のコンポーネントが含まれます。



•Ruby vSphere Console（RVC）

•自動化ツール（自動化バンドル）

•vSANオブザーバー

•設定ファイル







vSAN Observerは、vSANクラスターの状態を監視するように設計されたVMwareユーティリティであり、さまざまなパフォーマンスインジケーターをグラフ形式で表示します。 vSANテストの場合にのみ起動され、Vdbenchの結果に加えて、ストレージオペレーションの統計情報をレポート形式でインタラクティブ形式（html）で保存します。



自動化ツールは、RubyおよびBashのスクリプトのセットです。 ユーザーは、テスト環境の構成とロードパラメーターを設定します。これはすべて構成ファイルに保存されます。 基本的にHCIBenchのコアであるRVCを使用するスクリプトは、指定された構成に基づいて、次の手順を含むテストを自動的に実行します。



•テスト済みのvSphereインフラストラクチャへの接続。

•所定の数とサイズのテストvDisk（vmdk）を使用して、必要な数のテストVMを展開します。

•各テストVMへのテストの負荷と期間を決定するVdbench構成パラメーターの転送。

•vSANテストの場合にvSANオブザーバーを起動します。

•各テストVMでのVdbenchエンティティの起動-展開されたすべてのディスクがテストされ、指定された構成に従って期間が設定されます。

•テストの終了時に、すべてのテストVMからデータが収集され、結果のレポートが生成されます。

展開

公式リソースから既製の仮想アプリケーションの形式でHCIBenchをダウンロードする必要があります。 展開段階では、ライセンス契約に同意することに加えて、グラフィカルインターフェイスでネットワークパラメータを指定する必要があります。







「パブリックネットワーク」として、vCenterおよびESXiホストが利用できるネットワークを指定する必要があります。これにより、HCIBenchは、テストVMを展開してテストを実施するためのインフラストラクチャにアクセスできます。



DHCPサーバーがパブリックネットワークに展開されており 、テスト用に十分な数の空きIPアドレスがある場合（多くの場合があります）、テストVMはこのパブリックネットワーク（パブリックネットワーク）に展開できます。 したがって、プライベートネットワークの選択は無視するか、同じネットワークを割り当てることができます。これはパブリックネットワーク用です。



パブリックネットワークにDHCPサーバーがない場合、VMをテストするための配布に十分な空きIPアドレスがない場合、テストVMを別のサブネット（DHCPサーバーがない場合もある）に配置する必要があります。次に、プライベートネットワークとして必要なネットワークを示します。必要に応じて、ユーティリティに組み込まれているDHCPサーバーを使用します。







次のステップでは、ネットワークアドレスを処理します。DHCPの場合、すべてのフィールドを空のままにします。それ以外の場合は、必要なアドレスとマスクを指定します。 ユーティリティを管理するには、rootパスワードも指定する必要があります。 その後、HCIBenchがデプロイされ、テストを開始できます。

インターフェース

フレームワークをデプロイした後、 http ：// HCIBench_IP：8080 /のアドレスでWebコンソールに接続する必要があります（コントローラーVMが受け取ったIPアドレスをvSphereクライアントで確認する必要があります）。



上から順に、HCIBench構成ページのすべてのパラメーターを見ていきましょう。

セクション-vSphere環境情報

最初の5つのフィールドで、vCenterサーバーのドメイン名またはIPアドレス、vCenter管理者の名前とパスワード、データセンターの名前、テストされたストレージが接続されているvSphereクラスターを指定します。



次に、テストVMを展開するネットワーク名（vSphereポートグループの名前）を指定します。 必要に応じて、このサブネットにサービスがない場合は、チェックボックスをオンにしてDHCPを有効にします。

[ データストア名]フィールドで、テストするデータストア（ターゲットストレージ）の名前を指定します。 このフィールドでは、テスト用に複数のストレージを指定でき（それぞれが新しい行）、テストVMは指定されたすべてのストレージに均等に分散されます。



[ 読み取り/書き込みキャッシュをクリア] チェックボックスをオンにして、テストの前にストレージキャッシュをクリアできます 。 これはvSANでのみ機能し、ESXiホストへのアクセスパラメーター（ホストユーザー名およびホストパスワードフィールド）を指定する必要があり、すべてのホストで同じである必要があります（各ホストで個別に機能するわけではありません）。

セクション-クラスターホスト情報

「ホストにデプロイ」をチェックしない場合、下の「ホスト」フィールドは空白のままにしてください。 この場合、テストVMの展開はvCenterを介して行われ、ラウンドロビン方式ですべてのクラスターホストに均等に分散されます。 「読み取り/書き込みキャッシュのクリア」パラメーターを有効にしなかった場合は、 「ホストユーザー名」および「ホストパスワード」フィールドも空白のままにしてください。



それ以外の場合（「ホストにデプロイ」をチェック）、上記のすべてのフィールドに入力する必要があります： 「ホスト」フィールドで、ホストのドメイン名またはIPアドレスを（それぞれ新しい行に）指定し、ホストにアクセスするためのパラメーターを入力します（前述のとおり、すべてのホストの管理者ログインとパスワードは同一でなければなりません）。



「ホストにデプロイ」モードがアクティブになっている場合、テストVMは指定されたホストに直接並行してインストールされ、最初の5つのホストで、次に5つのホストでネットワークの負荷を軽減します。



一般に、多数のテストVMをデプロイする場合は、ホストにデプロイモードを使用することをお勧めします。 ただし、分散スイッチを使用する場合、このモードはサポートされません。そのアクティブ化により、テストの保存/テスト段階でエラーが発生し、その構成は分散ポートグループに接続されたネットワークを示します。



「ホストにデプロイ」モードは、特定のホスト（DAS）に直接接続されたメディアまたはストレージをテストする場合にも必要です。この場合、ターゲットホストを指定し、そのホストにパラメーターをアクセスします。



「EASY RUN」パラメーターはVMware vSANテスト専用です。そのアクティベーションにより、テスト対象のvSANクラスターのアーキテクチャに基づいて、以下のパラメーターの最適な構成を自動的に選択できます。 これにより、必要なテストVMの数、ディスクでのVMの準備の数、サイズ、およびタイプを決定して、このクラスターの最適なテストを行うことができます。 「EASY RUN」を有効にすると、以下のすべての構成パラメーターが非表示になります。

セクション-VdbenchゲストVM仕様

必須パラメーターは「VMの数」です。これは、負荷を生成するためにインフラストラクチャにデプロイされるテストVMの数を決定します。 セクションの他のパラメーターはオプションです。



「データディスクの数」は、各テストVMに対して作成されるvDisk（vmdk）の数を定義します。 テストされたストレージに配置され、Vdbench負荷が生成されます。



「データディスクのサイズ」は、上記の各ディスクのサイズをGB単位で定義します。



両方のパラメーターのデフォルト値は10です。



「可能な場合は既存のVMを再利用」パラメーターを有効にすると、これらのマシンが存在し（削除されていない）、新しいテストのパラメーター（このセクションのパラメーター：VMの数、ディスク、およびサイズ）に一致する場合、新しいテストでデプロイ済みテストVMを再利用できます。

セクション-Vdbenchテスト構成

「テスト名」フィールドでは、ご想像のとおり、テストの名前を指定する必要があります。後で目的の結果を見つけることができるように、これを行うことをお勧めします。 フィールドを空白のままにすると、ユーティリティは自動的に「result TIME」という名前をテストに割り当てます。



すべてのテストの結果は、テストの名前に対応する名前の別のフォルダーに保存されます。場所は、制御VMの/ opt / output / results /です。表示するには、ブラウザーにアドレスhttp ：// Controller_VM_IP / resultsを入力する必要があります。



テストのために、ユーティリティにVdbechパラメーターファイルを提供する必要があります。同じページで「Generate」ボタンを作成するか、外部から完成したファイルを「Upload parameter file」ボタンで自分で生成できます。 パラメータファイルをロードまたは生成した後、[ Refresh ]ボタンを押して、このファイルが[Select a Vdbench parameter file ]メニューに表示されるようにする必要があります。



複数のパラメーターファイルを生成またはロードすると、それらはすべて保存され、 [Vdbenchパラメーターファイルの選択 ]メニューで必要なものを選択できます。 不要なものは「削除」ボタンで削除できます。



提言

メニュー「Vdbenchパラメーターファイルの選択 」には、パラメーターファイルの名前に加えて、 「すべて使用」という文字列が含まれています。 パラメーターファイルに対応する負荷の種類ごとに個別のテストを起動する代わりに、目的の負荷の種類ごとにパラメーターファイルのセットを準備し、 「すべて使用」を選択することをお勧めします。 この場合、フレームワーク自体がこれらのすべてのテストを順次実行し、結果を個別に保存します。 良いテストの期間は少なくとも1.5時間であり、評価する必要のある負荷の種類が多く、完了を追跡して各テストを手動で実行するのは不便であり、たとえば夜間や夜間など、シーケンス全体を一度に実行して落ち着くことができるため、これは便利ですすべての結果を一度に。



[ テスト前に仮想ディスクを準備]オプションを使用すると、テスト前にテストVMディスクで準備できます。 デフォルト値は「NONE」です -準備なし。ただし、さらに2つの値があります： 「ZERO」と「RANDOM」 。 準備中にディスクでZEROを選択すると、それらはゼロで記録されます。これにより、最初の記録中にストレージを初期化する際の遅延が回避されます。 準備中にディスクで「ランダム」を選択すると、ランダムデータで記録されます。これは、重複排除を有効にしたストレージのテストに重要です。 これは論理的です。ディスクが空であるかゼロで記録されている場合、重複排除するものは何もないので、最初の記録中の重複除去操作の効果は得られません。 ディスクにランダムデータが記録されている場合、重複除去はすぐに動作を開始し、その動作の効果はテスト間隔全体でより均一になります。



Testing Durationパラメーターは、Vdbenchパラメーターファイルで指定されたテスト期間をオーバーライドします。 これが不要な場合は、このフィールドを空白のままにする必要があります。



[VMのクリーンアップ]チェックボックスを選択した場合、テストの完了時にすべてのテストVMが削除されます。そうでない場合は保存され、再利用できるようになります。

セクション-Vdbenchのダウンロード

HCIBenchには最初はVdbenchが含まれていませんが、これは明らかにその分布の性質のためです。 したがって、最初のアプリケーションで展開した後、Oracle WebサイトからVdbenchをダウンロードし（残念ながら登録する必要があります）、それをHCIBenchにアップロードする必要があります。このため、このセクションが必要です。

Vdbench設定の構成

「生成」ボタンをクリックすると、Vdbenchパラメーターファイルを構成するためのウィンドウが開き、各テストVMで負荷を生成するために使用されます。



以下のパラメーターを設定できます。



テストするディスクの数-負荷を生成する各テストVMのディスクの数を選択します。 「データディスクの数」フィールドで指定した数 （テストVMディスクの数）を超えないようにしてください。



私のテストでは、これらの値は常に一致していました。 ただし、たとえば20個のVDiskを持つテストVMのプールを展開し、このプールで一度に5-10-15-20 VDiskをロードする一連の順次テストを実行できます。 これは、4つの展開ではなく、 「可能であれば既存のVMを再利用する」チェックボックスをインストールするときに可能です。4つのテストすべてに対して1つに制限します。



Working-Set Persentage-負荷が生成されるディスク内のスペースの割合を選択します。



私のテストでは、常に100（ディスク容量の100％）を選択しました。 別の値（0〜100）を選択できます。この場合、すべてのディスクがテストされるのではなく、そのスペースの一部がテストされます。 ロジックは上記のポイントと同じです。テストVMのプールを1回展開し、新しいテストごとにディスクの共有で再生するため、負荷を変化させます。 おそらく他のシナリオがあります。



ディスクあたりのスレッド数 -テストVMのディスクあたりの負荷スレッドの数;値が大きいほど、負荷が大きくなります。



デフォルト値は2です。このパラメーターを使用すると、テストVMとVDiskの数を考慮しながら、テストの最適な負荷を選択して、テストの結果としてパフォーマンスと遅延の適切な比率を取得できます。 構成にテストVMとVDiskが多数ある場合（ホストごとに20から30 VDisk）、パラメーターは1から4以内で選択する必要があります。十分でない場合は4を超えます。ホストごとに20 VDiskがあり、値2が最適でした。



ブロックサイズ -ブロックサイズ、読み取り割合-読み取り操作の割合、ランダム割合-ランダム操作の割合。 これにより、すべてが明確になり、ターゲット負荷のタイプに必要な値を選択します。



I / Oレート -テストVMのIOPS制限、オプションのパラメーター。空白のままにした場合、制限はありません。



テスト時間 -メインテストの期間（秒）。 最終的なテスト結果で測定されたインジケータが考慮される時間間隔、言い換えると、テストのペイロードが生成され、ここで考慮されます。



ウォームアップ時間 -ウォームアップ時間（秒単位）。 オプションのパラメーターは、ストレージのウォームアップ時間を設定します。これは、メインテストの前に実行され、ストレージとキャッシュを目的の状態にし、データで満たし、実際の状況を反映する結果を取得します。 ウォームアップ中に生成される負荷は、メインテストの結果では考慮されません。



テスト前のディスクで特定の方法で準備した場合（「テスト前に仮想ディスクを準備する」フィールド）、ウォームアップは不要な場合があります。



私のテストでは、ウォームアップに30分、メインテストに1時間を確保しました。私の意見では、テストする価値は低く、結果は疑わしいと思われます。 主な基準は、ウォームアップ時間、さらにはメインテストが、すべてのテストディスク（テストされたストレージの選択されたボリューム）の少なくとも1つの完全な記録に十分であることです。



レポート間隔 -Vdbenchが中間テスト結果を保存する間隔（秒単位）。 デフォルトでは設定されないオプションのパラメータ。テストの最後には、テスト時間全体の合計値のみが表示されます。 いくつかの値（5分または10分など）を設定すると、テスト結果に、指定された頻度の中間インジケーターが表示されます。 これは特定の条件下で役立つ場合があります。 ただし、それを乱用しないでください。中間結果を保存するたびに、VdbenchはI / Oを一時停止し、これが全体的なパフォーマンスに悪影響を及ぼします。 このパラメーターは使用せず、空白のままにしました。

テスト計画ガイドライン

各テストでは、ストレージと仮想インフラストラクチャの特性に基づいて正しいパラメーターを選択する必要があります。 正しいパラメーターの主な基準は、ストレージから最大パフォーマンスインジケーター（IOPSおよびスループット）を絞り出し、レイテンシ値を適切な制限内に保つことです。 遅延の合理的な制限またはそれぞれの明確なしきい値はタスクによって決定されます：誰かが4-10ミリ秒（ミリ秒）未満の遅延を必要とし、数10ミリ秒（数百）であれば誰かは重要ではなく、マイクロ秒は誰かにとって重要です



VMware vSANをテストする場合、最初に、EASY RUNを開始し、インジケーターとパラメーターを確認してから、それらを変更して並べ替えて、最良の結果を得ることができます。 他のストレージの場合、パラメーターを選択するときは、自分の経験と常識に頼る必要があります（テストの実行、レポートの確認、負荷の増加、遅延が大きい場合の削減）。 当然、これは長いプロセスであり、1日以上または1週間以上かかることもあります。



遊ぶオプション：



•テストVMの数、ホストごとに少なくとも2つのVM。



•ディスクの数。VMあたり平均10個のディスク。



•ディスクのボリューム、vDiskごとに1〜10〜20 GB、場合によってはそれ以上、すべてストレージとキャッシュの量に依存します。



•vDiskあたりのスレッド数。これについては上で書きました。



•ディスク領域の共有。上記について書きました。



テストするストレージ容量の合計は非常に重要です。 すべてのVMテストドライブのスペースで構成されます。 たとえば、ハイブリッドストレージをテストしています。 合計ボリュームがキャッシュされ、低速の永続ストレージにプッシュされない場合、優れたパフォーマンスが得られます。 キャッシュに配置されているが、それをほぼ完全に占有しているため、ストレージロジックがデータを徐々に絞り出し始めると、パフォーマンスが低下します。 合計ボリュームが主記憶域のほとんどを占有し、キャッシュを何度も超える場合、最も厳しい条件でテストを実行し、パフォーマンスは最小限に抑えられますが、最も正直です。



ところで、ストレージシステムのメーカーが主張するパフォーマンスインジケーターを分析するときは、これを考慮する必要があります。 製造業者はすべてを正直にテストしたが、テストされたすべてのスペースがキャッシュにあったことを言及するのを忘れていたため、結果はさらに悪化することがあります。

設定の保存と確認、テストの実行

すべてのテストパラメーターを設定したら、構成を保存する必要があります（[ 構成の保存 ]ボタン）。そうしないと、最後に保存したものが使用されます。 次に、構成チェックを実行して、指定されたパラメーターとテストされたインフラストラクチャーの可用性が正しいことを確認する必要があります。 [ 検証 ]ボタンをクリックすると、テストが開始され、その結果がポップアップページに表示されます。







ページの最後に「すべての構成が検証されました。テストを開始してください」というフレーズが表示される場合、すべてが正常であり、テストを実行できます。そうでない場合は、理由の説明とともにエラーが発行されます。



[ テスト ]ボタンを押すと、テストプロセスが開始され、プロセスの進行状況を示すウィンドウがポップアップ表示されます;必要に応じて、中断できます。 このユーティリティは、テストの完了をポップアップウィンドウで通知します。



テストが完了したら、 「結果を保存」ボタンをクリックすることをお勧めします。これにより、結果がコントローラーVMのzipアーカイブに保存され、ローカルPCにダウンロードされます。そうしないと、特にブラウザが気に入らない場合、結果を後でダウンロードすることが問題になりますLinux

結果を見る

上記で書いたように、テスト結果はコントロールVMの/ opt / output / results /フォルダーに保存されます;それらを表示するには、アドレスhttp ：// Controller_VM_IP / resultsをブラウザーに入力する必要があります。







興味のあるテストが含まれるフォルダーを見つけます（フォルダー名はテストの名前に対応します）。そのフォルダーに移動すると、次のように表示されます。







同じ名前のファイル（vdb-xxx-res.txt）とフォルダー（vdb-xxx）の数は、1つの名前（コンソールの「テスト名」フィールド）で実行されたテストの数によって異なります。 上記で書いたように、さまざまなパラメーターを使用して多くのテストを順次実行することができ（「すべて使用」）、すべての結果は1つのフォルダーに保存されます。テストの名前を変更しないと同じことが起こります（「テスト名」）。



vdb-xxx-res.txtという名前のテキストファイルは最も興味深いもので、最終的な一般化されたテスト結果を保存します。その内容は次のようになります。



データストア：vsanDatastore

VM = 8

IOPS = 157556.66 IO / s

スループット= 615.47 MB​​ / s

レイテンシ= 1.0114ミリ秒

R_LATENCY = 0.9182ミリ秒

W_LATENCY = 1.2282ミリ秒

===============================

データストア：vsanDatastore

95パーセンタイルレイテンシ= 1.067124999999999999

95パーセンタイルレイテンシに関連付けられたIOPS = 149653.0

===============================

リソース使用量：

CPU使用率= 59.33％

RAM使用量= 24.03％

VSAN PCPU使用率= 20.287％





同じ名前のフォルダーには、各テストの詳細が含まれます。





テキストファイルvdbench-xxx.txtには、各テストVMでVdbenchを実行した結果の詳細が含まれています。 iotest-vdbench-vmフォルダーには、テスト実行中にvSANオブザーバーによって収集されたVMware vSAN操作の統計が含まれています; stats.htmlファイルを開くと、結果がグラフ形式で表示されます。

問題との対決

問題が発生した場合、まず、 httpにあるHCIBenchログを分析する必要があります ：// Controller_VM_IP / hcibench_logs /。







さらに、テストVMでVdbench開発の結果を個別に確認すると役立つ場合があります-http：// Controller_VM_IP / results / test_name / vdb-xxx /。







次のようになります。





公式ページのフレームワークの開発者は、新たな問題や問題に直接対処するのに役立ちます 。

まとめ

HCIBenchは理想的なユーティリティとは言えません。操作中にいくつかの困難と妨害がありました。 ただし、一般的に印象は肯定的です。非常に便利で、シンプルで、柔軟性があり、特に経験が現れたときに適切な結果が得られます。



storagereview.comテストでのHCIBenchの使用も尊重の問題です。