ストレージスペースにスケーラブルなインフラストラクチャを構築する方法

多くの場合、ボックス内のクラスターとWindows Storage Spacesについて書きましたが、最も一般的な質問は、正しいディスク構成を選択する方法です。



通常、従来の質問は次のようになります。



-100,500 IOPSが欲しい！



または：



-20テラバイトが必要です。



その後、IOPSは実際にはそれほど必要なく、数台のSSDで十分に対応でき、20テラバイト（現在は4台のディスク）からかなり適切に削除したいことがわかり、実際にはマルチレベルストレージが実現します。



これに正しくアプローチし、事前に計画する方法は？



たとえば、いくつかの重要な質問に一貫して答える必要があります。

• データ整合性保護の優先順位（たとえば、ディスクに障害が発生した場合）。
• パフォーマンスが必要ですが、保護を犠牲にする必要はありません。
• 中程度の容量要件。
• 混合ソリューションを構築するための予算規模。
• 管理と監視の利便性。

記憶域スペースに記憶域を作成するプロセス

キーテクノロジー：

• ストレージスペース-仮想化ストレージ：フェイルオーバーとパフォーマンス。
• フェールオーバークラスタリング-アクセス性の高いストレージアクセス。
• スケールアウトファイルサーバー（SOFS）およびクラスター共有ボリューム（CSV）-スケーラブルで統合されたストレージアクセス。
• SMB3- SMBマルチチャネル、SMBダイレクト、およびSMBクライアントリダイレクトを使用したフェールオーバーおよびパフォーマンスプロトコル。
• System Center、PowerShell、およびインボックスWindowsツール-管理/構成/メンテナンス。

ストレージスペースの利点：大量の機器とマイクロソフトソフトウェアに完全に基づいた、柔軟で安価なデータストレージソリューション。



この資料は、ストレージスペースの基本に精通していることを前提としています（ こちらおよびこちらから入手可能）。



手順：

1	決定評価	主要なソリューション要件、正常なインストールの特性を特定します。
2	SDSデザイン（プレビュー）	要件、トポロジおよび構成の選択のための既存のブロック（ハードウェアおよびソフトウェア）の選択。
3	テスト展開	実際の環境で選択したソリューションをテストします。場合によっては規模を縮小します（概念実証、PoC）。
4	検証	パラグラフ1の要件への準拠を確認します。通常、合成負荷（SQLIO、Iometerなど）で始まり、最終的な確認は実際の環境で実行されます。
5	最適化	前の手順の結果と特定された困難に基づいて、ソリューションの調整と最適化（ハードウェアユニットの追加/削除/交換、トポロジの変更、ソフトウェアの再構成など）を行い、手順4に戻ります。
6	展開（実際の環境）	指定された要件に対する初期ソリューションを最適化した後、最終バージョンを実際のオペレーティング環境に実装する期間が始まります。
7	作業プロセス	操作フェーズ。 監視、トラブルシューティング、アップグレード、スケーリングなど

最初のステップは上記で説明されています。



ソフトウェア定義ストレージアーキテクチャの定義（予備）



ハイライト：

• 引き裂く作業。
• HDDおよびSSDの数をカウントします。
• SSD：HDDの比率の最適化。
• ディスクシェルフの必要数の決定。
• SAS HBAおよびケーブルインフラストラクチャの要件。
• ストレージサーバーと構成の数を決定します。
• ディスクプールの数の決定（プール）。
• プールの構成。
• 仮想ディスクの数を数えます。
• 仮想ディスク構成の定義。
• 最適な仮想ディスクサイズの計算。

一般原則



すべてのアップデートとパッチ（およびファームウェア）をインストールする必要があります。



構成を対称的かつ全体的にするようにしてください。



起こりうる障害を考慮し、結果を排除する計画を作成します。





ファームウェアが重要な理由



主な要件：引き裂き



マルチレベルストレージ（ティアリング）は、ストレージシステムの全体的なパフォーマンスを大幅に向上させます。 ただし、SSDの容量は比較的小さく、ギガバイトあたりの価格が高く、ストレージ管理の複雑さがわずかに増加します。



通常、ティアリングは引き続き使用され、「ホット」データはSSDドライブの生産レベルに配置されます。







主な要件：ハードドライブの種類と数



ディスクの種類、容量、および数は、目的のストレージ容量を反映する必要があります。 SASおよびNL-SASディスクはサポートされていますが、SSDのストレージレベルでティアリングを使用する場合、高価なSAS 10 / 15Kディスクはそれほど必要ありません。



典型的な選択肢*：2-4 TB NL-SAS、あるメーカーの最新の安定したファームウェアバージョンを搭載したモデル。



*一般的な値は、仮想化タスクの操作に関する現在の推奨事項を反映しています。 他のタイプの負荷については、追加の調査が必要です。



容量の計算：







どこで：

a）ハードドライブの数。

b）ディスクの数-結果の数に最も近い偶数の値。

c）典型的なデータブロックサイズ（ギガバイト単位）。

d）容量拡大のための在庫。

e）データの整合性を確保するための損失。 2面ミラー、3面ミラー、パリティ、およびその他のタイプのアレイは、「強度」の異なるマージンを提供します。

f）記憶域スペースの各ディスクには、メタデータのコピー（プール、仮想ディスクについて）が保存されます。必要に応じて、高速再構築テクノロジ用の予備を提供します。

g）ギガバイト単位のディスク容量。



パフォーマンス計算：







どこで：

a）ハードドライブの数。

b）ディスクの数-結果の数に最も近い偶数の値。

c）ハードドライブレベルから受信する予定のIOPSの数。

d）記録の割合。

e）記録のペナルティは、使用するアレイのレベルによって異なり、考慮する必要があります（たとえば、2面ミラーの場合はシステム全体として、1回の書き込み操作ではディスクへの2回の書き込み、3面ミラーレコードの場合はすでに3）。

f）書き込み用ディスクのパフォーマンスの評価。

g）ディスク読み取りパフォーマンスの評価。



*計算は、システム計画の開始点に対して行われます 。



主な要件：SSDの種類と数



ハードドライブを把握しました。SSDを計算するときです。 それらのタイプ、量、およびボリュームは、ディスクサブシステムの望ましい最大パフォーマンスに基づいています。



SSD階層の容量を増やすと、組み込みの階層化エンジンを使用して、より多くのタスクをより高速な階層に移動できます。



仮想ディスクの列（列、データを処理するための並列化テクノロジー）の数は両方のレベルで同じでなければならないため、SSDの数を増やすと、通常、列を増やしてHDDレベルのパフォーマンスを上げることができます。



一般的な選択：MLCメモリ上の200-1600 GB、ファームウェアの最新の安定バージョンを使用するあるメーカーのモデル。



パフォーマンス計算*：







どこで：

a）SSDドライブの数。

b）SSDの数-結果の数値に最も近い偶数の値。

c）SSDレベルから受信するIOPSの数。

d）記録の割合。

e）計画の際には、アレイのレベルごとに異なるペナルティペナルティを考慮する必要があります。

f）SSDのパフォーマンス評価を記録します。

g）SSDパフォーマンスを読み取ります。



*開始点のみ。 通常、追加の要因により、SSDの数はパフォーマンスに必要な最小数を大幅に超えます。



シェルフ内の推奨されるSSDの最小数：

配列タイプ	24ディスク上のJBOD（2列）	60ドライブのJBOD（4列）
両面ミラー	4	8
三方鏡	6	12

主な要件：SSD：HDDの比率



相関選択は、パフォーマンス、容量、およびコストのバランスです。 SSDを追加するとパフォーマンスは向上します（ほとんどの操作はSSDレベルで発生し、仮想ディスクの列数が増加するなど）が、コストが大幅に増加し、潜在的な容量が減少します（容量のあるディスクの代わりに小さなSSDが使用されます）。



典型的な選択：SSD：HDD *：1：4-1：6



*容量ではなく量。







主な要件：ディスクシェルフの数と構成（JBOD）



ディスクシェルフは多くの点で異なります-インストールされているディスクの数、SASポートの数など。



複数のシェルフを使用すると、フォールトトレランススキームでの存在を考慮することができます（エンクロージャー認識機能を使用）が、高速再構築に必要なディスクスペースも増加します。



構成は、すべてのシェルフで対称にする必要があります（ケーブル接続とディスクの場所を意味します）。



典型的な選択：シェルフの数> = 2、シェルフ内のIOモジュール-2、単一モデル、最新のファームウェアバージョン、およびすべてのシェルフの対称ディスクレイアウト。







通常、ディスクシェルフの数は、拡張とフォールトトレランスのための在庫を考慮し、（エンクロージャー認識機能を使用して）シェルフを考慮し、および/またはスループットとフォールトトレランスのためのSASパスを追加して、ディスクの総数から選択されます。



計算：







どこで：

a）JBODの数。

b）切り上げ。

c）HDDの数。

d）SSDの数。

e）空きディスクスロット。

f）JBOD内のディスクの最大数。



主な要件：SAS HBAおよびケーブル



SASケーブルトポロジでは、各ストレージサーバーが少なくとも1つのSASパスを使用してJBODシェルフに接続するようにする必要があります（つまり、サーバーの1つのSASポートは各JBODの1つのSASポートを占めます）。



JBODシェルフ内のディスクの数とタイプによっては、合計パフォーマンスが1つの4x 6G SASポートの制限（約2.2 GB / s）に簡単に達する可能性があります。



推奨：

• サーバーあたりのSASポートの数> = 2。
• サーバーあたりのSAS HBAの数> = 1。
• 最新のSAS HBAファームウェアバージョン。
• JBODシェルフへの複数のSASパス。
• Windows MPIO設定：ラウンドロビン。

主な要件：ストレージサーバーの構成



ここでは、サーバーのパフォーマンス、フォールトトレランスとメンテナンスの容易さのためのクラスター数、負荷特性（合計IOPS、スループットなど）、アンロードテクノロジーの適用（RDMA）、JBODあたりのSASポート数、マルチパス要件などの機能を考慮する必要があります。



2〜4台のサーバーを推奨。 2 xプロセッサー6+コア; メモリ> = 64 GB; ミラー内の2つのローカルハードドライブ。 管理用の2つの1+ GbEポートとデータ交換用の2つの10+ GbE RDMAポート。 BMCポートは専用であるか、1GbEと組み合わされており、IPMI 2.0および/またはSMASHをサポートしています。 前の段落のSAS HBA。



主な要件：ディスクプールの数



このステップでは、プールが管理とフォールトトレランスの両方の単位であることを考慮します。 プール内の障害が発生したディスクは、プール上のすべての仮想ディスクに影響します。プール内の各ディスクにはメタデータが含まれます。



プールの数を増やします。

• フォールトトレランス要素の数が増えるにつれて、システムの信頼性が向上します。
• 高速再構築がプールレベルで機能するため、バックアップスペース用のディスク数が増加します（つまり、追加のペナルティ）。
• システム管理の複雑さが増します。
• VDは複数のプールにまたがることができないため、仮想ドライブ（VD）の列数を減らし、パフォーマンスを低下させます。
• 仮想ディスクの再構築や、クラスター障害発生時のプール制御の転送など、プールメタデータの処理時間を短縮します（パフォーマンスの向上）。

典型的な選択：

• 1からディスクシェルフの数までのプールの数。
• ディスク/プール<= 80

主な要件：プール構成



プールには、対応するVDのデフォルトデータと、ストレージの動作に影響するいくつかの設定が含まれています。

オプション	説明
修理ポリシー	シーケンシャルvsパラレル（それぞれ、IO負荷が低いが遅い、またはIO負荷が高いが速い）
RetireMissingPhysicalDisks	高速再構築オプションを使用すると、自動が設定されている場合、ドロップされたディスクはプールの回復を引き起こしません（常に、プールの再構築は常にスペアディスクを使用して開始されます。ただし、すぐにではなく、このディスクへの書き込みが最初に失敗してから5分後）。
IsPowerProtected	Trueは、すべての書き込み操作がディスクからの確認なしで完了したと見なされることを意味します。 保護がない場合、停電によってデータが破損する可能性があります（同様の技術がハードドライブに現れました）。

典型的な選択：

• ホットスペア：いいえ
• 高速再構築：はい
• RepairPolicy：Parallel（デフォルト）
• RetireMissingPhysicalDisks：自動（デフォルト、MS推奨）
• IsPowerProtected：False（デフォルトですが、有効にすると、パフォーマンスが大幅に向上します）

主な要件：仮想ディスクの数（VD）



次の機能を考慮します。

• クライアントにサービスを提供するSMBフォルダーとCSVレイヤーおよび対応するVDの比率。 1：1：1。
• タイル化された各仮想ディスクには、専用のWBCキャッシュがあります。 VDの数を増やすと、一部のタスク（ceteris paribus）のパフォーマンスが向上します。
• VDの量を増やすと、制御の複雑さが増します。
• ロードされるVDの数が増えると、障害が発生したノードの負荷をクラスターの他の要素に分散しやすくなります。

VDの典型的な数：ストレージサーバーごとに2〜4。



主な要件：仮想ディスク構成（VD）



シンプル、ミラー、およびパリティの3種類のアレイを使用できますが、仮想化タスクにはミラーのみが推奨されます。



3ウェイミラーリングは、2ウェイと比較して、ディスク障害に対する保護を2倍にしますが、パフォーマンスはわずかに低下しますが（記録のペナルティよりも高くなります）、使用可能なスペースが減少し、コストが増加します。







ミラーリングタイプの比較：

プールの数	ミラーの種類	オーバーヘッド	プールの回復力	システムの安定性
1	双方向	50％	1ディスク	1ディスク
	三方	67％	2枚のディスク	2枚のディスク
2	双方向	50％	1ディスク	2枚のディスク
	三方	67％	2枚のディスク	4枚
3	双方向	50％	1ディスク	3枚
	三方	67％	2枚のディスク	6枚
4	双方向	50％	1ディスク	4枚
	三方	67％	2枚のディスク	8枚

Microsoft for Cloud Platform System（CPS）は、3面ミラーを推奨しています。



主な要件：列数



通常、列の数を増やすとVDのパフォーマンスが向上しますが、遅延も増加する可能性があります（列を増やす-操作を確認する必要があるディスクが増える）。 特定のミラーリングされたVDの列の最大数を計算する式は次のとおりです。







どこで：

a）切り捨て。

b）下位レベルのディスクの数（通常、これはSSDの数です）。

c）ディスクの耐障害性。 2面ミラーの場合、これは1枚のディスクで、3面ミラーの場合、これは2枚のディスクです。

d）データのコピー数。 2方向ミラーの場合は2、3方向ミラーの場合は3です。



列の最大数が選択され、ディスク障害が発生した場合、プールは列の数と一致するために必要なディスクの数を見つけられないため、高速再構築は利用できません。



通常の選択は4-6（高速再構築の計算された最大値より1少ない）です。 この機能はPowerShellでのみ使用できます。グラフィカルインターフェイスを使用して構築する場合、システム自体は最大8列までの列を選択します。



主な要件：仮想ディスクオプション

仮想ディスクオプション	考慮事項
インターリーブ	ランダムロード（仮想化など）の場合、ブロックサイズは最大アクティブリクエスト以上にする必要があります。これより大きいリクエストは複数の操作に分割され、パフォーマンスが低下するためです。
WBCキャッシュサイズ	デフォルト値は1 GBであり、これはほとんどのタスクのパフォーマンスとフォールトトレランスの合理的なバランスです（キャッシュのサイズを大きくすると、CSVボリュームの転送時にリセットおよび復旧手順が必要になるだけでなく、サービス拒否による問題の転送時間が長くなります） 。
IsEnclosureAware	可能であれば、障害に対する保護のレベルを上げます-使用することをお勧めします。 有効にするには、ディスクシェルフの数をアレイレベルに一致させる必要があります（PowerShellでのみ使用可能）。 3方向ミラーの場合、3つのシェルフ、デュアルパリティ4などが必要です。 この機能により、ディスクシェルフが完全に失われても耐えることができます。

典型的な選択：



インターリーブ：256K（デフォルト）

WBCサイズ：1GB（デフォルト）

IsEnclosureAware：可能な限り使用します。



主な要件：仮想ディスクのサイズ



プールで最適なVDサイズを取得するには、ストレージレベルごとに計算し、VDレベルの最適なサイズを合計する必要があります。 また、高速再構築とメタデータ用のスペース、および計算中の内部丸め用のスペースを確保する必要があります（ストレージスペーススタックの深さに埋め込まれているため、確保しておきます）。



フォーミュラ







どこで：

a）保守的なアプローチ。高速再構築に必要なスペースよりもプール内に未割り当てスペースが少し多く残されます。 GiBの値（2の累乗、GBは10の累乗の導関数です）。

b）GiBの値。

c）Storage Spacesメタデータ用のスペースを予約します（プール内のすべてのディスクには、プールと仮想ディスクの両方のメタデータが含まれます）。

d）高速リビルド用のスペースの予約：> =ディスクシェルフのプール内の各レベルの1つのディスクのサイズ（+ 8GiB）。

e）ストレージレベルのサイズはすでにいくつかの「タイル」に切り上げられています（ストレージスペースはプール内の各ディスクをアレイの構築に使用される「タイル」と呼ばれる断片に分割します）、タイルのサイズはストレージスペースユニットのサイズ（1GiB）回に等しくなります列数 したがって、超過分を強調しないように、サイズを最も近い整数に切り捨てます。

f）目的のレベルの書き込みキャッシュのサイズ（GiB）（SSDレベルの場合は1、HDDレベルの場合は0）。

g）特定のプールの特定の層にあるディスクの数。



スペースベースのSDS：次のステップ







最初の見積もりを決定しました。 取得した結果の変更と改善（およびそれらは確実に表示されます）は、テストの結果に従って行われます。



例！



何を得たいですか？

• 高レベルのフォールトトレランス。
• ターゲットパフォーマンス：SSDレベルで100K IOPS、HDDレベルで10K IOPS、読み取り60/40で64Kブロックのランダムロード
• 容量-1000の仮想マシン、それぞれ40 GB、予備の15％。

装備品



2/4/6 / 8TBドライブ

IOPS（R / W）：140/130 R / W IOPS（宣言された仕様：175 MB / s、4.16ms）



SSD容量200/400/800 / 1600GB

IOPS

読み取り：460 IOPSで7000 IOPS（要求：120K）

書き込み：5500 IOPS @ 360MB / s（請求：40K）



実際のタスクのSSDは、記載されている数値とは大きく異なります:)



ディスクシェルフ-60台のディスク、2つのSASモジュール、各ETegro Fastor JS300に 4つのポート。



入力データ



高いパフォーマンスが必要なため、階層化が必要です。



高い信頼性とそれほど大きな容量は必要ありません。3方向ミラーリングを使用します。



ディスクの選択（パフォーマンスと予算の要件に基づく）：4TB HDDおよび800GB MLC SSD



計算：



容量別スピンドル ：







パフォーマンススピンドル（10K IOPSが必要） ：







パフォーマンス要件を満たす必要があるため、最終的なキャパシティは最初の見積もりを大幅に上回ります。



SSDレベル：







SSD：HDD比率：







ディスクシェルフの数：







シェルフ内のドライブの場所：



対称的な分布とSSD：HDDの最適な比率を得るために、ディスクの数を増やします。 拡張を容易にするために、ディスクシェルフをいっぱいにすることもお勧めします。



SSD：32-> 36

HDD：136-> 144（SSD：HDD 1：4）

SSD /エンクロージャー：12

HDD /エンクロージャー：48



SASケーブル



フェイルセーフ接続とスループットの最大化のために、各ディスクシェルフを2本のケーブルで接続する必要があります（サーバーから各シェルフへの2つのパス）。 サーバーごとに合計6つのSASポート。



サーバーの数



フォールトトレランス、IO、予算、およびマルチパス組織の要件の要件に基づいて、3台のサーバーを使用します。



プールの数



プール内のディスクの数は80以下である必要があります。3つのプールを使用します（180/80 = 2.25）。



HDD /プール：48

SSD /プール：12



プール構成



ホットスペア：いいえ

高速再構築：はい（十分なスペースを確保）

RepairPolicy：Parallel（デフォルト）

RetireMissingPhysicalDisks：常に

IsPowerProtected：False（デフォルト）



仮想ディスクの数



要件に基づいて、サーバーごとに2つのVDを使用し、プール全体で合計6つ（プールごとに2つ）に均等に分散しています。



仮想ディスクの構成



データ損失（たとえば、数日で故障したディスクを交換する方法はありません）および負荷に対する耐性の要件に基づいて、次の設定を使用します。



復元力：3方向ミラーリング

インターリーブ：256K（デフォルト）

WBCサイズ：1GB（デフォルト）

IsEnclosureAware：$ true



列数







仮想ディスクのサイズとストレージレベル







合計：



ストレージサーバー：3

SASポート/サーバー：6

サーバーから各シェルフへのSASパス：2

ディスクシェルフ：3

プールの数：3

VD番号：6

仮想ディスク/プール：2

HDD：144 @ 4TB（〜576TBの未処理スペース）、48 /シェルフ、48 /プール、16 /シェルフ/プール

SSD：36 @ 800GB（〜28TBの未処理スペース）、12 /シェルフ、12 /プール、4 /シェルフ/プール

仮想ディスクサイズ：SSD Tier + HDD Tier = 1110GB + 27926GB = 28.4TB

合計使用可能容量：（28.4）* 6 = 170TB

オーバーヘッド：（1-170 /（576 + 28））= 72％