重複排除に関する8つの神話

すべての神話を検討し、データセットの重複排除に関する真実がどこにあるかを知る時が来ました。











重複排除テクノロジーは古くから知られていましたが、現在では最新のデータアレイで使用されているテクノロジーによってのみ、再生が可能になりました。 現在、すべての最新のデータ配列で重複排除が使用されていますが、配列内にこの関数が存在しても、データに特に大きな利点があるとは限りません。

残念ながら、多数の管理者が「信念を持ち」、重複排除には無限の可能性があると考えています。



ティア1ストレージシステム、 アーカイブストレージ、またはオールフラッシュハイブリッドストレージシステムの管理者であるかどうかは関係ありません。ストレージシステムを設計または操作する際の迷惑なミスを回避するために、重複排除の神話や伝説を探求することに関心があります。

データ削減率：奇跡はありません

重複排除は、生産的なデータを格納するアレイとデータバックアップを格納するアレイの両方で利用可能になりましたが、これらのアレイの重複排除係数は完全に異なる場合があります。 アーキテクトは、アーカイブで達成された係数を生産的なストレージに適用できると非常によく信じています。



重複排除は、有名なメーカーの多くのアレイに存在する自動プロセスですが、取得できる潜在的な係数は、タイプのアレイによって異なります。 その結果、たとえば、100TBの配列が必要な場合、10：1の係数を考慮すると、10TBのストレージが得られます。たとえば、係数を2：1と評価すると、50TBのストレージが得られます-最終的に、これらのまったく異なるアプローチは、まったく異なる購入コストにつながります！ 実際には、特定の量の特定のモデルを優先するかどうかを決定する前に、生産性データで取得できる係数を理解する必要があります。



さまざまな運用ストレージおよびバックアップストレージタスクのデータアレイの構成を構築する場合、重複排除係数を正しく決定するのが困難になることがよくあります。 重複排除のためのアレイのアーキテクチャ設計の複雑さに興味がある場合、この議論はあなたのためです。



最低限、基本的なレベルで以下の8つの神話を理解することで、重複排除を意識的に理解し、データの係数を評価できます。

神話1。 重複排除率が高いほど、ストレージのメリットが大きくなります

あるベンダーが50：1の重複排除係数を提供している場合、10：1の代替案よりも5倍優れているというのは本当ですか？ 総所有コストを確認して比較する必要があります！ 重複排除はリソース要件を削減しますが、潜在的なコスト削減は何ですか？ 10：1を使用すると、保存されたデータのサイズ（縮小率）を90％削減できますが、50：1の係数では、このインジケーターが8％増加し、98％の縮小率が得られます（下のグラフを参照）。 しかし、これは違いのわずか8％です...



一般的に、重複排除係数が高いほど、 収益の減少の法則に従って、データ量を削減する利点は少なくなります 。 収益の減少の法則の意味の説明は、次のようになります。1つの要因（重複排除係数など）の追加適用コストは、不変の量の別の要因（データ量など）と組み合わされます。 その結果、現在のボリュームでの新たな追加コストは、リソースの節約をこれまでよりも少なくします。



たとえば、事務員が働くオフィスがあるとします。 時間が経つにつれて、部屋のサイズを拡大せずに店員の数を増やすと、店員は互いの足下に邪魔され、コストが収益を上回る可能性があります。









図 1重複排除率の向上とストレージの削減

神話2。 「重複排除」という用語の明確な定義があります

重複排除は、プールから重複データシーケンスを削除することでストレージを削減します。 重複排除は、ファイルレベル、ブロックレベル、またはアプリケーションレベルまたはコンテンツレベルで実行できます。 ほとんどの製品は、重複排除と圧縮を組み合わせて、ストレージをさらに削減します。 一部のメーカーはこれらの用語を共有していませんが、一部のメーカーはそれらを分離して、基本的に重複排除と圧縮の単なる別名である圧縮などの用語を導入しています。 残念ながら、重複排除の単一の定義はありません。 フィリピンレベルでは、重複排除を使用してストレージおよびバックアップシステムのディスクリソースをどのように節約できるかが重要になります。 以下にこのトピックを明らかにします。



HPEのストレージおよびバックアップシステムのラインについて言えば、ストレージシステムとバックアップシステムの両方に、顧客がディスクリソースを節約できる興味深い機能があることに注意することが重要です。



3PARアレイの運用データストレージシステムでは、生産性の高いアレイ上のデータ量を削減できるユーティリティとメカニズムの全範囲が開発されています。

この複合体はHPE 3PAR Thin Technologiesと呼ばれ、いくつかのメカニズムで構成されています。

• シンプロビジョニングは、3PARストレージシステムに最も効果的に実装されます。 ディスクスペースの仮想化が使用され、アレイは保存されたブロックの内部マップを使用します。リソースを解放するとき、アレイはガベージコレクションである必要はありません。解放されたブロックはすぐに使用できる状態になります...必要なだけ論理ボリュームに割り当てることができますが、アレイを占有しますこのボリュームに物理的に記録されたもの。
  
  
  
  
• シン変換は、レガシーHPE（3PAR、EVA）、EMC、日立、およびその他のメーカーのボリュームをリアルタイムで3PARアレイのシンボリューム（シンプロビジョニングを使用）に変換して、ターゲットデバイスのボリュームを削減できるテクノロジーです。
  
  
  
  
• Thin PersistenceおよびThin Copy Reclamationは、3PARアレイが非常に低い粒度レベルですべての一般的なファイルシステムおよびハイパーバイザーの動作を理解し、ファイル削除（物理ボリュームの解放）の場合、対応するブロックを空きリソースプールに転送できるようにする技術です。
  
  
  
  
• シンデデュプリケーションは、パフォーマンスを大幅に低下させることなく、生産的なアレイでデデュプリケーションをリアルタイムで使用できるようにするテクノロジーです。

これら3つのテクノロジーはすべて無料で利用でき、 これらのテクノロジーの詳細については 、お客様がインストールしたものを含め、3PARストレージシステムの時間制限やボリューム制限はありません。









図 3PARアレイの2つのシンテクノロジー

神話3。 メインアレイの重複排除係数は、バックアップアレイと同じです。

ストレージ開発者は、さまざまな重複排除アルゴリズムを使用します。 それらのいくつかは大きなCPUリソースを必要とし、他のものよりも複雑です。したがって、重複排除係数が非常に大きく変化することは驚くべきことではありません。



ただし、重複排除率に影響を与える最大の要因は、重複データの量です。 このため、同じデータ（毎日、毎週、毎月、四半期、毎年）の複数のコピーを含むバックアップシステムには、重複排除係数が非常に高くなっています。 オンラインストレージシステムにはほぼ一意のデータセットがありますが、ほとんどの場合、重複排除係数は低くなります。 運用データの複数のコピーを生産的なアレイに（たとえば、クローンの形で）保存すると、重複排除係数が増加します。 ストレージスペース削減メカニズムが適用されます。



したがって、オンラインストレージアレイの場合、5：1の比率は、バックアップシステムの30：1または40：1の比率を持つのも素晴らしいことです。この比率は、このようなアレイに格納される生産データのコピー数に依存するためです。



HPE製品を検討する場合、HPE 3PARのオンラインストレージのアレイでは、重複したシーケンスの検索（たとえば、仮想マシンの初期化やスナップショットの作成時）は、各アレイコントローラーにインストールされた特別なASICチップで「オンザフライ」で実行されます。 このアプローチにより、他のより重要なタスクのためにアレイの中央プロセッサをアンロードでき、アレイが負荷の下で「沈む」ことを恐れることなく、すべてのタイプのデータの重複排除を有効にできます。 3PARアレイでの重複排除について詳しく読むことができます 。









図3 3PARアレイの重複排除は専用のASICで実行されます



また、HPEポートフォリオには、可変ブロックレベル-HPE StoreOnceでのオンライン重複排除でデータをバックアップするためのハードウェアシステムがあります。 システムオプションは、初期レベルから企業レベルまでのすべての顧客を対象としています。









図 4 HPE StoreOnce Backup Systemポートフォリオ



StoreOnceバックアップシステムの利点については、 他の記事をご覧ください。

HPE 3PARとStoreOnceの組み合わせにより、バックアップソフトウェアまたは専用バックアップサーバーを使用せずに、本番アレイからバックアップシステムにデータを転送するプロセスを簡素化および高速化できることは、お客様にとって興味深いかもしれません。 このバンドルはHPE StoreOnce RMCと呼ばれ、詳細については記事をご覧ください 。

神話4。 すべてのデータは同じです。

間違いないはずです-すべてのデータが異なっています。 異なる条件の同じアプリケーションのデータでさえ、同じアレイ上で異なる重複排除係数を持ちます。 特定のデータの重複排除係数は、さまざまな要因に依存します。

• データタイプ-ソフトウェア圧縮、メタデータ、メディアストリーム、暗号化されたデータを受けたデータは、常に非常に低い重複排除係数を持っているか、まったく圧縮されていません。
  
  
  
  
• データのボラティリティの度合い-ブロックまたはファイルレベルでの毎日のデータ変更の量が多いほど、重複排除係数は低くなります。 これは特にバックアップシステムに当てはまります。
  
  
  
  
• 賞味期限-データのコピーが多いほど、重複排除率は高くなります。
  
  
  
  
• バックアップポリシー-増分または差分バックアップを使用するポリシーとは対照的に、毎日の完全バックアップを作成するポリシーでは、重複排除係数が高くなります（以下の調査を参照）。

以下の表は、データのタイプに応じて、重複排除係数の表面的な推定値を示しています。 メインデータ配列の重複排除係数は、常にバックアップ配列の重複排除係数よりも低いことに注意してください。









図 5データタイプとバックアップポリシーに応じた重複排除係数の推定

神話5。 一貫性のないデータ型をグループ化すると、重複排除が増加します

理論的には、重複排除のために共通のストレージプールに完全に異なるタイプのデータを混在させることができます。 一意のデータの非常に大きなセットがあると感じる場合があります。したがって、このプールで既に書き込まれたブロックまたはオブジェクトを見つける可能性が高くなります。 実際には、このアプローチは、同じデータセットが保存されている場合でも、データ形式が異なるため、データベースとExchangeなどの無関係なデータタイプ間では機能しません。 このような絶えず成長するプールはより複雑になり、重複するシーケンスを検索するのにより多くの時間が必要になります。 ベストプラクティスは、データタイプごとにプールを分割することです。



たとえば、1つの仮想マシンを重複排除する場合、いくつかの係数を取得します。この仮想マシンの複数のコピーを作成し、このプールで重複排除する場合、重複排除係数は増加します。係数はさらに増加し​​ます。









図6重複排除係数の、プール内の仮想マシンの数とデータブロックのサイズへの依存性。

神話6。 最初のバックアップには、予想される重複排除率が表示されます。

この誤った意見は、メインアレイとバックアップシステムの係数を比較するときに現れます。 データのコピーを1つだけ保存すると、重複排除係数が1より大きい場合があります。 現在のデータベースのバックアップなど、非常に類似したデータのコピーの数を増やすと、この比率は大きくなります。



以下のグラフは、非常に典型的な重複排除係数曲線を示しています。 このグラフのアプリケーションはSAP HANAデータベースですが、ほとんどのアプリケーションは同様の曲線を示しています。 最初のバックアップでは重複排除が行われていますが、データ圧縮により大幅な節約が実現しています。 プール内のデータのコピーの保持を開始するとすぐに、プールの重複排除係数が増加し始めます（青い線）。 個々のバックアップ係数は、2番目のコピーが作成された後に上昇します（オレンジ色の線）。 ブロックレベルでは、最初と2番目のバックアップは非常に似ています。









図 7バックアップコピー数の増加に伴う重複排除係数の増加のグラフ（ 詳細については、ドキュメントを参照 ）。

神話7。 重複排除を増やすことはできません

重複排除のレベルを人為的に高める方法はないと主張するのは単純です。 別の質問-なぜですか？ マーケティングの数値を表示する場合-これは1つのことであり、効果的なバックアップスキームを作成する必要がある場合-これは別です。 目標が合成の最高の重複排除係数を持つことである場合、できるだけ同じデータのコピーをできるだけ多く保存する必要があります。 もちろん、これにより保存されるデータ量が増加しますが、重複排除係数は急上昇します。



バックアップポリシーを変更すると、完全なバックアップポリシーと、完全バックアップと増分バックアップおよび差分バックアップの組み合わせを比較する実際のデータタイプの例に見られるように、重複排除率にも確実に影響します。 以下の例では、終日バックアップのみを使用して最適な比率が取得されます。 ただし、同じデータでは、3つのアプローチすべてでストレージボリュームが大きく異なります。 したがって、バックアップへのアプローチを変更すると、重複排除率と保存されるデータの物理量に大きく影響する可能性があることを理解する必要があります。

神話8。 重複排除係数を事前に予測する方法はありません

すべての環境は独自のものであり、実際の重複排除係数を正確に予測することは非常に困難です。 それにもかかわらず、バックアップシステムのメーカーは、データの種類、バックアップポリシー、および保存期間のアイデアを提供する基本的なストレージシステムおよびバックアップシステム用の小さなユーティリティのセットを作成します。 これらのユーティリティは、予想される重複排除率に関する洞察を提供します。



製造業者は、ほぼ同様の環境および業界セグメントで他の顧客から取得した係数についても考えており、この情報を使用して予測を行うことができます。 これは、データで同様の係数を取得することを保証するものではありませんが、少なくともこれらの数値を確認する価値はあります。



ただし、重複排除係数の最も正確な予測は、実際のデータのテスト中に取得されます。









図 8特定の顧客のデータのバックアップポリシーに応じて重複排除係数と占有データ量が変化する



HPEには、お客様が必要とするストレージシステムのボリュームを（ある程度の仮定で）予測できるユーティリティとサイザーのセットがあります。

1. オンラインデータストレージの場合、 3PARに切り替えた場合のアレイの現在の廃棄を評価し、スペース節約を見積もる無料のプログラムがあります。
   
   
   
   
2. アレイがHPEテクニカルサポートにステータスに関する情報を送信できる場合、稼働中のアレイ上のリソースの使用率を評価し、すでにインストールされているシステムのデータの増加を予測するには、 www.storefrontremote.com
   
   
   
   
3. バックアップシステムの使用率を評価するための同様のプログラム 。

また、シミュレータモードの3PARシステムで重複排除をオンにした後の推定ボリュームを推定することもできます。このため、ホストに対して透過的にオンラインで実行される3PARで評価コマンドを実行する必要があります。

checkvv -dedup_dryrun {  }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

そして、予備評価を取得します。











そのため、重複排除の概念の背後に魔法はありません。上記の神話を暴くことで、データに何ができるかをよりよく理解し、アレイの使用率を予測することができます。



フラッシュドライブでのSSDボリュームの現在の増加と1 GBのストレージコストの削減（およびコストはすでにGBあたり1.5ドルに相当する）により、重複排除の効率に関連する問題がオンラインストレージのバックグラウンドに押し込まれていますが、バックアップシステムにますます重要になっていることに注意してください。



ちなみに、将来の代替ビジョン（重複排除なし）があります：Wikibonは、重複排除と圧縮率を増やすよりも同じデータのコピーを削除する方が効果的であると考えています（ レポートの中央にあるリンクを参照）性能、インフラストラクチャ全体の変更、アプリケーション（処理、分析）とデータの同時操作のルールにより、パフォーマンス（優れたSLAツールの実装時）と信頼性が低下しないようにします。



そして、最も重要なことは、これらすべてがエコシステム全体に実装されている場合-ソフトウェア開発者、ベンダー、およびCIOにとっては、数年後には重複排除よりも大きな節約になります。



思考の学校が勝つ-時間は教えてくれます。

使用材料