ストレージシステム：選択方法？！

どんな複雑さのプロジェクトでも、どんなことを言っても、データストレージのタスクに直面します。 このようなストレージには、ブロックストレージ、ファイルストレージ、オブジェクトストレージ、キーバリューストレージなどのさまざまなシステムがあります。 健全なプロジェクトでは、ストレージソリューションを購入する前に、特定の条件で特定のパラメーターをチェックするテストが実行されます。 適切な成長を遂げた手によって行われた優れたプロジェクトがどれだけスケーラビリティを忘れているという事実を突き刺したかを思い出して、私たちは理解することにしました：

• ストレージシステムの成長後にストレージシステムを成長させる場合は、ブロックストレージとファイルストレージの特性を考慮する必要があります
• ソフトウェアレベルのフォールトトレランスがハードウェアレベルよりも信頼性が高く、安価である理由
• 「リンゴとリンゴ」を比較するためのテストの実施方法
• 1つのパラメーターのみを変更して、IOPSを1桁以上/より少なくする方法

テストでは、RAIDシステムとParallels Cloud Storage（PStorage）分散ストレージを使用しました。 PStorageはParallels Cloud Serverに含まれています 。





まず、ストレージシステムを選択する際に注意する必要がある主な特性を定義します。 彼らは投稿の構造を決定します。

1. 耐障害性
2. データ復旧速度
3. ニーズに合わせたパフォーマンス。
4. データの一貫性

耐障害性

データストレージシステムの最も重要な特性は、システムが妥協することなくデータを保存するように設計されていることです。つまり、最大限の可用性を確保し、わずかでもデータを失わないことです。 何らかの理由で、非常に多くの人々がパフォーマンス、価格について考えていますが、データストレージの信頼性にはほとんど注意を払っていません。



障害が発生した場合のフォールトトレランスを確保するには、冗長性という1つの手法しかありません。 問題は、どのレベルの冗長性が適用されるかです。 おおまかな簡略化により、ハードウェアとソフトウェアの2つのレベルがあると言えます。



エンタープライズシステムでは、ハードウェアレベルの冗長性が長い間確立されています。 SAN / NASボックスは、すべてのモジュール（2つ、または3つの電源、いくつかの「頭脳」ボード）に対して二重の冗長性を持ち、1つのボックス内の複数のディスクに同時にデータを保存します。 個人的には、これを非常に安全なマグカップとして比meta的に想像しています。厚い壁と、片方が壊れた場合に常に2つのハンドルを備えた、最も信頼性の高いマグカップです。



ソフトウェアレベルの冗長性はエンタープライズシステムに浸透し始めたばかりですが、毎年、ますます多くのハードウェアソリューションを使い果たしています。 原理は簡単です。 このようなシステムは、鉄の信頼性に依存していません。 彼らはそれが先験的に信頼できないと信じており、データのコピー（複製）を作成し、それらを物理的に異なるハードウェアに保存することにより、ソフトウェアレベルでバックアップタスクを解決します。 カップとの類推を続けると、これは完全に普通のカップがいくつかあり、両方にお茶を注いだとき、突然1つが壊れます。



したがって、SWソリューションは、通常、高価な機器を必要とせず、より収益性が高くなりますが、同時に、レベルは異なりますが、まったく同じフォールトトレランスを提供します。 また、たとえば、異なるサイトへのデータの配布、バランシングの実行、フォールトトレランスのレベルの変更、クラスターの成長に応じた線形スケーリングなど、最適化が容易です。



Parallels Cloud Storage（PStorage）の例を使用して、バックアップの問題を解決する方法を説明します。 PStorageは鉄のベンダーに縛られておらず、デスクトップPCまでの完全に普通のマシンで作業できます。 私たちはハードウェアを信頼していないため、PStorageアーキテクチャは物理サーバー全体（個別のディスクではなく）を失うように設計されています。 Parallels Cloud Storageのすべてのデータは、複数のコピー（レプリカ）に保存されます。 同時に、PStorageは物理サーバー/ラック/部屋に複数のコピーを保存することはありません（ご希望どおり）。 2台のサーバー/ラックが同時に故障するのを防ぐために、データのコピーを3つ保存することをお勧めします。





コメント：この図は、2つのコピーにデータを格納するクラスターの例を示しています。

データ復旧速度

ドライブの1つが故障するとどうなりますか？



まず、2つのディスクの通常のHW RAID1（ミラー）を検討します。 単一のドライブが脱落した場合、RAIDは残りのドライブで引き続き動作し、故障したドライブを交換する瞬間を待ちます。 つまり RAIDは現時点では脆弱です。残りのディスクにはデータの単一のコピーが保存されます。 クライアントの1人が、データセンターで修理を行ったり金属を挽いたりしたケースを抱えていました。 削りくずが稼働中のサーバーに直接飛んでいき、数時間以内にその中のディスクが次々と飛び出し始めました。 その後、システムは通常のRAIDで編成され、その結果、プロバイダーはデータの一部を失いました。



システムが脆弱な状態にある期間は、回復時間に依存します。 この依存関係は、次の式で説明されます。

MTTDL〜= 1 / T ^ 2 * C 、ここでTは回復時間、データ損失までの平均時間（ MTTDL ）はデータ損失とCの間の平均時間で、特定の係数です。

そのため、システムが必要な数のデータのコピーを回復する速度が速ければ速いほど、データが失われる可能性は低くなります。 ここでは、HW RAIDリカバリプロセスを開始するために、管理者がデッドディスクを新しいディスクと交換する必要があるという事実を省略します。これには、特にディスクを注文する必要がある場合も時間がかかります。



RAID1の場合、復旧時間は、RAIDコントローラーが作業ディスクから新しいディスクにデータを転送するのにかかる時間です。 ご想像のとおり、RAIDコントローラーが完全にアンロードされると、コピー速度はHDDの読み取り/書き込み速度、つまり約100 MB /秒に等しくなります。 そして、この時点でRAIDコントローラーが外部からロードされると、速度は数倍遅くなります。 思慮深い読者は、RAID10、RAID5、RAID6に対して同様の計算を実行し、HW RAIDは単一ディスクの速度以下の速度で復元されるという結論に達します。



SAN / NASシステムは、ほぼ常に同じ従来のRAIDアプローチを使用します。 ディスクをグループ化し、それらからRAIDを収集します。 実際、回復速度は同じです。



ソフトウェアレベルでは、最適化の機会がはるかに多くあります。 たとえば、PStorageでは、データはクラスター全体およびクラスター内のすべてのディスクに分散され、ディスクの1つに障害が発生すると、レプリケーションが自動的に開始されます。 管理者がディスクを交換するのを待つ必要はありません。 さらに、すべてのクラスターディスクがレプリケーションに参加するため、データの回復速度が大幅に向上します。 クラスターにデータを記録し、1つのサーバーをクラスターから切断し、クラスターが失われた数のレプリカを復元する時間を測定しました。 グラフは、2つの1TB SATAディスクを備えた7/14/21物理ノードのクラスターの結果を示しています。 クラスターは1GBネットワークで組み立てられます。







10Gbitネットワークを使用する場合、速度はさらに高くなります。







コメント：1Gbitネットワークでは、21台のサーバーのクラスターの回復速度が1秒あたりほぼギガバイトであるというエラーはありません。 実際、Parallels Cloud Storageに保存されているデータはクラスターのディスク全体に分散されているため（クラスタースケールの特定のストライプ）、異なるディスクから異なるディスクにデータを同時にコピーすることができます。 つまり、テストのボトルネックになる可能性のあるデータ所有権の単一ポイントはありません。



完全なテストシナリオは、このドキュメントに記載されています。必要に応じて、自分で繰り返すことができます。

パフォーマンスを正しくテストする方法-ヒント

ストレージシステムのテストにおける経験に基づいて、基本的なルールを強調します。

1. 「ウィッシュリストを決定する」必要があります。 システムから何を正確に何を取得したいですか。 ほとんどの場合、お客様はParallels Cloud Storageを使用して、仮想マシンとコンテナー用の高可用性クラスターを構築します。 つまり、各クラスターマシンは同時にストレージを提供し、仮想マシンを実行します。 したがって、クラスターは専用の外部「データストレージ」を必要としません。 パフォーマンスの面では、これはクラスターが各サーバーから負荷を受けていることを意味します。 したがって、この例では、クラスター内のすべての物理サーバーからクラスターを常に並行してロードします。
2. 十分に圧縮可能なデータパターンを使用する必要はありません。 多くのHDD / SSD、ストレージシステム、および仮想マシンには、ゼロデータを処理するための特別な低レベルの最適化がある場合があります。 このような状況では、ディスクへのゼロの書き込みがランダムデータの書き込みよりも多少速いことに気付くのは簡単です。 このようなエラーの典型的な例は、既知のテストです。
   
   

   dd if=/dev/zero of=/dev/sda size=1M
         
         
   
           
           
           
         
   
       
           
           
           
         
         
   
           
           
           
         
   
       
        

   テスト時にランダムデータを使用することをお勧めします。 さらに、これらのデータの生成はテスト自体に影響を与えるべきではありません。 つまり ファイルなどで事前にランダムデータを生成することをお勧めします。 それ以外の場合、次の例のように、テストはデータ生成に基づいています。
   
   

    dd if=/dev/random of=/dev/sda size=1M
         
         
   
           
           
           
         
   
       
           
           
           
         
         
   
           
           
           
         
   
       
        

3. 間隔を空けたコンポーネント間の距離を考慮します。 当然、分散コンポーネント間の通信には遅延が含まれる場合があります。 この負荷の可能性のあるボトルネックについて覚えておく価値があります。 特にネットワーク遅延とネットワーク帯域幅。
4. テストの実施には少なくとも1分かかります。 テスト時間は長くする必要があります。
5. 1つのテストを数回実行して、偏差を滑らかにします。
6. 負荷（ワーキングセット）に大量のデータを使用します。 ワーキングセットはパフォーマンスに大きく影響するため、非常に重要なパラメーターです。 テスト結果を何十回も変更できるのは彼です。 たとえば、Adaptec 71605 RAIDコントローラでは、512MファイルのランダムI / Oは100K iopsを示し、2GBファイルでは3K IOPSのみを示します。 RAIDキャッシュにより、パフォーマンスの違いは30倍です（負荷の量に応じて、キャッシュのヒットとミスがヒットします）。 ストレージシステムのキャッシュサイズ（この例では512M）を超えるデータを処理する場合は、そのようなボリュームを使用してください。 仮想マシンの場合、16GBを使用します。
7. そしてもちろん、 常にリンゴとリンゴだけを比較してください。 同じハードウェア上で同じフォールトトレランスを持つシステムを比較する必要があります。 たとえば、RAID0とPStorageを比較することはできません。PStorageはディスク/サーバーが出発するときにフォールトトレランスを提供しますが、RAID0はそうではないためです。 正しくこの場合、RAID1 / 6/10とPStorageを比較します。

以下は、説明した方法のテスト結果です。 ローカルRAID1（「 ホストRAID 1 」）のパフォーマンスをPStorageクラスター（「 PCS 」）と比較します。 それらは同じ「りんごとりんご」。 同じレベルの冗長性を持つシステムを比較する必要があることに注意してください。 これらのテストのPStorageは、推奨される3つではなく2つのコピー（レプリカ= 2）に情報を格納したため、フォールトトレランスレベルは両方のシステムで同じになります。 そうでない場合、比較は不公平になります：PStorage（レプリカ= 3）では、2台のドライブのRAID1が1の場合、同時に2台のドライブ/サーバーを失うことができます。すべてのテストで同じハードウェアを使用します：1、TBドライブ、1Gbitネットワーク、コアi5 CPU、16GB RAM。 クラスターが21台のサーバーで構成されている場合、そのパフォーマンスは21個のローカルRAIDの合計パフォーマンスと比較されます。 ロードは、各物理ノードで同時に16スレッドで実行されました。 各ノードには16GBのワーキングセットがありました。つまり、たとえば、ランダム4Kテスト全体では、クラスター上で負荷がランダムに336GBを超えました。 ロード時間-1分、各テストは3回実行されました。



「 PCS + SSD 」列は、同じクラスターのパフォーマンスを示していますが、SSDキャッシングを使用しています。 PStorageには、書き込みジャーナリング、読み取りキャッシングにローカルSSDを使用する機能が組み込まれているため、ローカル回転ディスクのパフォーマンスを数倍超えることができます。 また、SSDを使用して、パフォーマンスの高い別のレイヤー（層）を作成することもできます。

結論

簡単に要約すると：

1. バックアップの種類を選択すると、「ソフトウェアレベル」になります。 ソフトウェアレベルでは、最適化の機会が増え、ハードウェア要件を削減し、システム全体のコストを削減できます。
2. 特定の条件でテストを実施します（ヒントを参照）
3. 回復の速度に注意を払います。これは非常に重要なパラメーターであり、不十分な効率では、単にビジネスの一部を破壊しかねません。

特に無料で提供しているため、独自のソリューションをテストすることもできます。 少なくとも独自のテストでは、Parallels Cloud Storageはディスク損失（SANを含むRAIDシステムよりも多い）の場合に最高のデータ復旧速度を示し、パフォーマンスは少なくともローカルRAIDよりも悪くなく、SSDキャッシングではさらに高くなっています。



データの一貫性については、別の投稿で詳しく説明する予定です。

Parallels Cloud Storageを試す方法

公式製品ページはこちらです。 無料で試すには、 フォームに記入してください。

PStorageはOpenVZプロジェクトでも利用できます 。

この投稿では、FastVPS での PCSの動作について読むことができます。

あなたのテストが示すもの、賛否両論-コメントで詳細に議論できます。