すべての人に良い一日を！



今日は、データ重複排除などのWindows Server 2012の興味深い新機能を確認したいと思います。 この機能は非常に興味深いものですが、まず必要な量を把握する必要があります...

重複排除はまったく必要ですか？

毎年（日ごとではないにしても）、ハードドライブの量は増え続けていますが、同時にメディア自体も安くなっています。

この傾向に基づいて、「データ重複排除は必要ですか？」という疑問が生じます。

しかし、あなたと私が私たちの宇宙と地球に住んでいるなら、この世界のほとんどすべてのものがニュートンの第三法則に従う性質を持っています。 アナロジーは完全に透過的ではないかもしれませんが、ディスクシステムとディスク自体がいくら安くても、メディア自体はどれだけ増えないかという事実につながります。データを保存するために利用可能なスペースに対するビジネスの観点からの要件は常に増加しており、それによって増加を相殺していますボリュームと価格の低下。

IDCの予測によると、約1年で合計約9000万テラバイトが必要になります。 率直に言って、ボリュームは小さくありません。







そして、ここでは、データ重複排除の問題が非常に重要になります。 結局のところ、使用するデータはさまざまなタイプであり、その目的は異なる場合があります-運用データ、アーカイブとバックアップ、ストリーミングデータなどです。最初のケースでは重複排除を使用する効果は平均的であるため、アーカイブデータでは最大になり、ストリーミングデータでは最小になります。 ただし、重複排除は現在、専用のストレージシステムであるだけでなく、Windows Server 2012サーバーオペレーティングシステムの機能であるコンポーネントでもあるため、特にスペースを節約できます。

重複排除のタイプとその適用

Windows Server 2012の重複排除メカニズムの概要に移る前に、重複排除の種類を見てみましょう。 私は上から下から始めることを提案します。私の意見では、より視覚的になります。



1） ファイルの重複排除 -重複排除メカニズムと同様に、アルゴリズムの動作は、一意のデータセットと繰り返しデータセットを見つけることになり、2番目のタイプのセットは1番目のセットへのリンクに置き換えられます。 つまり、アルゴリズムは一意のデータのみを保存しようとし、重複するデータを一意のリンクに置き換えます。 このタイプの重複排除の名前から推測できるように、このような操作はすべてファイルレベルで行われます。 Microsoft製品の歴史を思い出すと（このアプローチは以前に繰り返し適用されていました）、 Microsoft Exchange ServerとMicrosoft System Center Data Protection Managerで-このメカニズムはSIS（シングルインスタンスストレージ）と呼ばれていました。 Exchangeラインの製品では、パフォーマンス上の理由でその時点で廃止されましたが、Data Protection Managerではこのメカニズムは引き続き正常に使用されており、引き続き使用されるようです。 ご想像のとおり、ファイルレベルは最高です（デバイスストレージシステム全般を思い出す場合）。そのため、他のタイプの重複排除と比較して、影響は最も小さくなります。 範囲-このタイプの重複排除は、主にアーカイブデータに適用されます。



2） ブロックの重複排除 -このメカニズムは、サブファイルレベル、つまりデータブロックのレベルで機能するため、すでに興味深いものです。 原則として、このタイプの重複排除は産業用ストレージシステムに典型的であり、Windows Server 2012で使用されるのはこのタイプの重複排除です。メカニズムは以前と同じですが、ブロックレベルでです（既にそう言ったようです）。 ここで、重複排除の範囲は拡大しており、現在ではアーカイブデータだけでなく、特にVDIスクリプトの場合は非常に論理的な仮想化環境にも拡張されています。 VDIが相互にまだ違いがある仮想マシンの繰り返しイメージの集まりであることを考慮すると（ここでファイル重複排除は無力です）-ブロック重複排除が私たちの選択です！



3） ビット重複排除 -最も低い（最も深い）タイプのデータ重複排除-最高の効率が得られますが、リソース集約度の面でもリーダーです。 理解できる-一意性と盗作についてデータを分析することは簡単なプロセスではありません。 正直なところ、私はこのレベルの重複排除で動作するストレージシステムを個人的に知りませんが、ビットレベルで動作するトラフィック重複排除システムがあることは確かに知っています。たとえば、同じCitrix NetScalerです。 このようなシステムとアプリケーションの意味は、送信トラフィックを節約することです-これは、企業の多くの地理的に分散したブランチがある地理的に分散した組織のシナリオにとって非常に重要ですが、広いデータチャネルが存在しないか、運用するのに非常に高価です-ここでは、ビット重複排除の分野でのソリューションが見つかります他にはない、彼らの才​​能を明らかにします。



6月にボストンで開催されたUSENIX 2012に関するMicrosoftのレポートは 、この点で非常に興味深いようです。 WIndows Server 2012では、ブロック重複排除メカニズムの適用に関して、プライマリデータのかなり大規模な分析が実行されました。この資料をよく理解することをお勧めします。

パフォーマンスの問題

Windows Server 2012の重複排除テクノロジーの効果を理解するには、まず、この有効性を測定する必要があるデータの種類を決定する必要があります。 標準的なファイルボール、「マイドキュメント」フォルダーのユーザードキュメント、配布ストレージとライブラリ、および仮想ハードディスクストレージが標準として採用されました。







マイクロソフトのソフトウェア開発部門で、ワークロードの観点から効果的な重複排除がテストされました。

最も人気のある3つのシナリオが調査の対象となっています。



1） ビルドサーバーのビルド -MSでは、さまざまな製品のビルドが毎日大量に収集されます。 コードの大幅な変更でさえ、ビルドのビルドプロセスにつながりません。したがって、大量の重複データが作成されます。



2） リリース用の製品ディストリビューションを含むボール -ご想像のとおり、すべてのアセンブリと既製のソフトウェアバージョンをどこかに配置する必要があります-Microsoft内には、このための特別なサーバーがあり、すべての製品のすべてのバージョンと言語エディションが配置されます-これもかなり効果的なシナリオです重複排除の有効性は最大70％に達する可能性があります。



3） グループボール -ボールと開発者のドキュメントおよびファイル、およびそれらのローミングプロファイルとリダイレクトされたフォルダーの組み合わせ。これらは単一の中央スペースに格納されます。







そして今、最も興味深い部分-以下は、このすべてのデータをホストするWindows Server 2012のボリュームのスクリーンショットです。







ここの言葉は不必要だと思います-そしてすべてはすでに非常に明確です。 2TBメディアで6TB節約-熱核ストレージ？ それほど危険ではありませんが、とても効果的です！

Windows Server 2012の重複排除機能

次に、Windows Server 2012の重複排除の主な機能を見てみましょう。



1）透明性と使いやすさ- 重複排除の設定は非常に簡単です。 まず、Windows Serverのロールウィザードで、ファイルとストレージサービスのロールを展開し、次にファイルとiSCSIサービスを展開します。そこで、データ重複除去オプションをオンにします。

その後、サーバーマネージャーで[Fike and Storage Services]を選択し、右クリックして、[ボリューム重複排除を有効にする]オプションを選択します。 PowerShellを愛する人のための特別なリンク 。 すべてが非常に簡単です。 エンドユーザーとアプリケーションの観点から見ると、データへのアクセスとデータの操作は透過的であり目に見えません。 ファイルシステムの観点から重複排除について説明する場合、NTFSのみがサポートされます。 EFS（暗号化されたFikeシステム）を使用してボリュームが保護されているように、ReFSは重複排除できません。 また、32 KB未満のファイルおよび拡張属性を持つファイルは重複排除の対象になりません。 ただし、重複排除は、ダイナミックボリューム、BitLockerを使用して暗号化されたボリュームには適用されますが、CSVボリュームやシステムボリューム（論理ボリューム）には適用されません。



2）メインデータの最適化-重複排除はオンラインプロセスではないことに注意してください。 ポリシーの観点から特定の古いレベルに達するファイルは重複排除されます。 一定の有効期間に達すると、データは重複排除プロセスを開始します-デフォルトではこの期間は5日間ですが、このパラメーターを変更する必要はありませんが、実験では合理的です！



3）最適化プロセスの計画-重複排除パラメーターの順守について1時間ごとにファイルをチェックし、それらをスケジュールに追加するメカニズム。



4）重複排除エリアからオブジェクトを除外するメカニズム-このメカニズムにより、タイプ（JPG、MOV、AVI-重複排除エリアからファイルを除外できます-例として、これはストリーミングデータです-重複排除が最も少ないもの-もしあれば）。 重複排除エリアからファイルを含むフォルダー全体をすぐに除外することもできます（これは、暗闇と暗闇があるドイツ映画の愛好家向けです）。



5）モビリティ-重複排除されたボリュームは不可欠なオブジェクトです-あるサーバーから別のサーバーに転送できます（Windows Server 2012のみを対象にしています）。 同時に、データに簡単にアクセスして、引き続き作業することができます。 必要なのは、ターゲットサーバーに含まれるデータ重複除去オプションだけです。



6）リソース消費の最適化-これらのメカニズムは、読み取り/書き込み操作の負荷を減らすためのアルゴリズムの最適化を意味するため、データブロックのハッシュインデックスのサイズについて話している場合、1データブロックあたりのインデックスのサイズは6バイトです。 したがって、非常に大規模なデータセットに重複排除を適用することもできます。

また、アルゴリズムは、重複排除プロセスを実行するのに十分なメモリリソースがあるかどうかを常にチェックします。答えが「いいえ」の場合、アルゴリズムは必要な量のリソースが解放されるまでプロセスを延期します。



7）BranchCacheとの統合-重複排除のためのインデックス作成メカニズムはBranchCacheでも一般的です-したがって、これらのテクノロジーを組み合わせて使用​​することの有効性は疑いの余地がありません！

重複排除ボリュームの信頼性に関する考慮事項

信頼性の問題は、重複排除されたデータに対して非常に急激に発生します-少なくとも1000個のファイルが依存するデータブロックが絶望的に​​破損していると想像してください...私は、validol-e-e-serviceが役立つと思いますが、私たちの場合はそうではありません



1）バックアップ-Windows Server 2012は、System Center Data Protection Manager 2012 SP1と同様に、バックアッププロセスに関して重複排除されたボリュームを完全にサポートします。 サードパーティの開発者が重複排除メカニズムを使用およびサポートし、重複排除されたアーカイブからデータを復元できるようにする特別なAPIも利用できます。



2）重要なデータの追加コピー-最も頻繁なアクセスパラメータを持つデータは、追加のバックアップブロックを作成するプロセスによって実行されます-これらはメカニズムアルゴリズムの機能です。 また、ストレージスペースメカニズムを使用する場合、不良ブロックが検出されると、アルゴリズムは自動的にそれをミラー内のペアの整数ブロックに置き換えます。



3）デフォルトでは、週に1回、ガベージブロックと不良ブロックの検出プロセスが開始され、取得した病理のデータが修正されます。 このプロセスをより深いレベルで手動で開始する機会もあります。 デフォルトプロセスがイベントログに記録されたエラーを修正する場合、より深いプロセスにはボリューム全体のスキャンが含まれます。

開始場所と測定方法

重複排除を有効にする前に、普通の人は常に、このメカニズムが特定の場合にどれほど効果的かを考えます。 このために重複排除データ評価ツールを使用できます。

重複排除をインストールすると、 DDPEval.exeというツールが見つかります。このツールは、\ Windows \ System32 \にあります。このユーティリティは、リムーバブルメディアまたは別のボリュームに移植できます。 サポートされているOS Windows 7以降。 したがって、データを分析し、羊の皮の価値を理解できます。 （笑顔）。



これで私のレビューは終了です。 あなたが興味を持っていたことを願っています。 ご質問がある場合は、ソーシャルネットワーク（VKontakte、Facebook）でお気軽に名前と姓で検索していただければ、お手伝いさせていただきます。

Windows Server 2012の新機能とSystem Center 2012 SP1について学びたい方のために、 TechEd Russia 2012の前夜にITキャンプを訪問するよう全員に招待します-このイベントは、Georgy GadzhievとSimon Perrymanによって開催されます。特別にアメリカから私たちに飛ぶ人。



IT CampとTechEdでお会いしましょう！



よろしく

消防士

ジョージ・A・ガジエフ



マイクロソフト株式会社