NetApp MetroCluster（MCC）

MetroClusterは、NetApp FASデータストレージシステムに基づいて構築された、地理的に分散したフォールトトレラントクラスターです。このようなクラスターは、2つのサイトにまたがる単一のストレージシステムとして想像できます。サイトの1つで事故が発生した場合、常にデータの完全なコピーが存在します。 MetroClusterは、高可用性（HA）ストレージとサービスを作成するために使用されます。 MCC 公式ドキュメントの詳細。



古いOS Data ONTAP 7-Mode（バージョン8.2.xまで）で実行されているMetroClusterには「MC」という略語があり、ClusteredONTAP（8.x以前）で動作します。混乱を避けるため、一般的にMetroCluster ClusteredONTAP（MCC）と呼ばれます。



MCCは、2つ以上のコントローラーで構成される場合があります。 3つのMCC接続スキームがあります。

1. ファブリック接続MetroCluster（FCM-MCC）
2. ブリッジ接続ストレッチMetroCluster
3. ストレッチMetroCluster

これら3つのオプションの違いは、基本的にネットワークハーネスのみです。 ネットワークバインディングは、2つの要因に影響します。クラスターを拡張できる最大距離と、クラスター内のノードの数です。

ファブリック接続MetroCluster

この構成は、2つまたは4つの同一のコントローラーで構成できます。 2ノード構成（mcc-2n）は、4ノード構成（mcc）に変換できます。 2日間の構成では、各サイトに1つのコントローラーがあり、一方のコントローラーが終了すると、もう一方のサイトの2番目のコントローラーが制御を取得します。これはスイッチオーバーと呼ばれます。 各サイトに複数のノードがあり、1つのクラスターノードで障害が発生すると、2番目のサイトに切り替えずにローカルHAフェールオーバーが発生します。 MetroClusterは最大300 kmまで延長できます。



これは、以下の存在が必要なため、すべての接続オプションの中で最も高価なスキームです。

• ダブルシェルフ
• クラスタピアリングネットワーク用の1つまたは2つのIPチャネル
• バックエンドの追加のSANスイッチ（ストレージとホストを接続するスイッチと混同しないでください）
• 追加のSAS-FCブリッジ
• FC-VIポート
• 可能なxWDMマルチプレクサー
• 少なくとも2つのISL長波FC SFP +リンク（4線：2x RX、2x TX）。 つまり 「ダークオプティクス」がストレージシステムにもたらされ（間隔なしでxWDMのみがあり、スイッチなし）、これらのリンクはストレージレプリケーションタスク（FC-VIおよびバックエンド接続）専用です。

合計で、2つのサイト間には少なくとも4本のワイヤと、クラスタピアリングが必要です。

8ノードMCC

4ノードのFabric-Attached MetroCluster構成と同様に、これまではNASアクセスプロトコルとONTAP 9ファームウェアのみをサポートする8ノード構成があり、4ノード構成は8ノードに更新できます。 この構成は、SANアクセスプロトコルをまだサポートしていません。 8ノード構成では、1つのサイトに4つのノードがあり、別のサイトに4つのノードがあります。 ネットワークの観点からは、同様のファブリック接続MetroCluster 4ノードスキームでは、大きな変更はありません。バックエンドのFCスイッチの数は同じままで、ローカルスイッチングに必要な各サイトのポート数のみが増加しますが、クロスサイト接続とクロスサイトポートは同じくらい。 このようなスキームでは、各サイトでの4ノード通信にクラスタースイッチが必要ですが、2および4ノード構成ではクラスタースイッチは不要です。 8ノード構成の利点は、1つのクラスターで2種類のFASシステムを使用できることです。たとえば、FAS8040（2つのノード）とAll Flash FAS 8060（2つのノード）があるサイトでは、まったく同じミラー構成ですFAS8040（2ノード）およびオールフラッシュFAS 8060（2ノード）。 FAS8040システムのあるサイトからのデータは、別のサイトの同じFAS8040システムに複製されます。AllFlash FAS 8060の場合も同様です。サイト内のデータは、これらのクラスターノードに透過的に移行できます。

ブリッジ接続ストレッチMetroCluster

500メートルまで伸ばすことができ、次のものが必要です。

• ダブルシェルフ
• クラスタピアリングネットワーク用の1つまたは2つのIPチャネル
• 追加のSAS-FCブリッジ
• FC-VIポート
• ストレージコントローラー（FC-VI）の接続専用に割り当てられたダークオプティクスの少なくとも2つのリンク（4線：2x RX、2x TX）
• バックエンド通信専用に割り当てられたダークオプティクスの少なくとも4つのリンク（合計4x2 = 8コア）

合計で、2つのサイト間には、少なくとも4 + 8 = 12のコアと、クラスターピアリングが必要です。

ストレッチMetroClusterダイレクトオン

最も安いオプション。 500メートルまで伸ばすことができ、次のものが必要です。

• ダブルシェルフ
• クラスタピアリングネットワーク用の1つまたは2つのIPチャネル
• FC-VIポート
• ストレージコントローラー（FC-VI）の接続専用に割り当てられたダークオプティクスの少なくとも2つのリンク（4線：2x RX、2x TX）
• また、2つの方法で各シェルフにアクセスするためのレプリケーションタスク専用に割り当てられたダークオプティクスの少なくとも2つの4チャネル（各チャネル2に対応：RXおよびTX）ケーブル（合計2x8 = 16コア）。
• シェルフのバックエンド接続のために、特別な4チャンネル（各チャンネル2に対応：RXおよびTX）光SASコネクターおよび光パッチパネルが使用されます

合計で、2つのサイト間には、少なくとも4 + 16 = 20のコアと、クラスターピアリングが必要です。

Stretch MetroClusterの光ケーブル

距離と接続速度に応じて、直接接続されたStretch MetroCluster構成に異なる光ケーブルが使用されます。

速度（Gbps）	最大距離（m）
	16Gbps SW SFP			16Gbps LW SFP
	OM2	OM3	OM3 + / OM4	シングルモード（SM）ファイバー
2	N / a	N / a	N / a	N / a
4	150	270	270	500
8	50	150	170	500
16	35	100	125	500

FC-VIポート

通常、専用の拡張ボードは、FCポートがFC-VIモードで動作する各FASクラスターメトロコントローラーにインストールされます。 FASコントローラ用の一部の4ポートFC HBAボードでは、FC-VI用に2ポート、ターゲットポートまたはイニシエータポートとして他の2ポートを使用できます。 一部のFASモデルでは、マザーボード上のポートをFC-VIモードに切り替えることができます。 FC-VIの役割を持つポートは、ファイバーチャネルプロトコルを使用して、クラスターメトロコントローラー間でNVRAMコンテンツをミラーリングします。

アクティブ/アクティブ

データ複製には2つの主なアプローチがあります。

• アプローチA：スプリットブレイン保護を提供する
• 「アプローチB」：すべてのサイトからすべてのデータへのアクセス（読み取りおよび書き込み）の可能性がある場合

定義により、これらは相互に排他的な2つのアプローチです。



アプローチBの利点は、2つのサイト間に同期遅延がないことです。 私には知られていない状況のため、ストレージシステムの一部のメーカーは、Spit-Brainが可能な回路を許可しています。 実際には、「アプローチA」に取り組んでいる実装がありますが、同時にアクティブ/パッシブアーキテクチャを隠すかのように、同時に両側に書き込む機能をエミュレートしますが、このようなスキームの本質は、特定の1つの書き込みトランザクションが2つのサイト間で同期されないことです、確認されません。「ハイブリッドアプローチ」と呼びましょう。メインデータセットとそのミラーコピーがまだあります。 言い換えれば、この「ハイブリッドアプローチ」は「アプローチA」の特殊なケースであり、欺de的な類似性にもかかわらず、「アプローチB」と混同しないでください。 「ハイブリッドアプローチ」には、リモートサイトを介してデータにアクセスする機能があります。そのような実装では、一見、「アプローチA」のクラシックバージョンよりもいくつかの利点がありますが、本質的には何も変更されません-サイトの同期の遅延は残りますスピットブレインに対する保護のための「必須」。 「アプローチA」（「ハイブリッド」を含む）に従ってデータにアクセスするためのすべての可能なオプションの例を下の図に示します。







この図は、データにアクセスする可能な方法の3つのオプションを視覚化します。 最初のオプション（パス1）は、スプリットブレイン保護アプローチの古典的な実装です。データは、ローカルパスを1回通過し、ミラーリングのために長いISL（スイッチ間リンク）サイト間接続を1回通過します。 このオプションはクラスターロボットにある種のアクティブ/パッシブモードを提供しますが、同時に各サイトには独自のホストがあり、各ホストはローカルダイレクトパスストレージを参照し、クラスターの両側が破棄されるため、アクティブ/アクティブ構成を形成します。 このようなアクティブ/アクティブ構成（「アプローチA」を使用）では、ホストは事故が発生した場合にのみバックアップサイトに切り替わり、すべてが復元されると、以前の「直接」パスの使用に戻ります。 「ハイブリッドスキーム」（両方のサイトを同時に記録する機能のエミュレーションを使用）を使用すると、3つのすべてのパスオプションで作業できます。 パス2とパス3の最後の2つのバリアントでは、まったく逆の図があります。データが長いISL（間接パス）ISLリンクを2回通過し、応答速度が向上します。 パス2とパス3の最後の2つのバリアントでは、フォールトトレランスの点でも最初の点と比較したパフォーマンスの点でも意味がないため、NetAppメトロクラスターではサポートされませんが、アクティブ/アクティブ構成モードで動作します（従来の「アプローチA））。つまり、パス1の画像に示すように、各サイトで直接パスを使用します。

スプリットブレイン

「 アクティブ/アクティブ」セクションで説明したように、メトロクラスターは、ローカルホストがメトロクラスターのローカル半分と連携するように設計されています。 また、サイト全体が停止した場合にのみ、ホストは2番目のサイトに切り替わります。 そして、両方のサイトが稼働しているが、それらの間の接続が消えた場合はどうなりますか？ メトロクラスターのアーキテクチャでは、すべてが単純です。ホストは、ローカルの半分で、何も起こらなかったかのように動作、書き込み、読み取りを続けます。 この時点で、サイト間の同期は停止します。 リンクが復元されると、メトロクラスターの両方の半分が自動的に同期を開始します。 この状況では、データはメインプレックスから読み取られ、通常NVRAMを介して行われるのではなく、両方のプレックスが再び同じになった後、ミラーリングはNVRAMメモリに基づいてレプリケーションモードに戻ります。

アクティブ/パッシブおよびミラー化されていない集計

MCCは完全に対称的な構成です。1つのサイトにあるディスクの数は非常に多く、別のサイトにはFASシステムがあり、別のサイトには同じFASシステムがあります。 FASシステム用のONTAP 9ファームウェアバージョン以降、ミラー化されていないアグリゲート（プール）を持つことが許可されています。 したがって、新しいファームウェアでは、2つのサイトでディスクの数が異なるようになりました。 したがって、たとえば、1つのサイトには2つのアグリゲートがあり、そのうちの1つはミラーリングされます（リモートサイトにはディスクのタイプ、速度、レイドグループの完全なミラーがあります）、2番目のアグリゲートは最初のサイトにのみありますが、複製されませんリモートサイト。



アクティブ/パッシブ構成の2つのオプションを分ける価値があります。

1. 最初のオプション。 1つのメインサイトのみが使用され、2番目のサイトがレプリカを受け入れ、メインサイトがオフになった場合に備えて安全のために生きている場合
2. 2番目のオプション。 クラスターに4つ以上のノードがあり、すべてのコントローラーが各サイトで使用されているわけではない場合

ミラーリングされていないアグリゲートを使用すると、非対称構成を作成できます。極端な特殊なケースとして、 最初のオプションはアクティブ/パッシブ構成です。1つのサイトのみが生産ワークロードに使用され、2番目が同期レプリカを受け入れ、メインサイトに障害が発生しても安全です。 このようなスキームでは、1つのコントローラーに障害が発生すると、すぐにスペアサイトに切り替わります。







2つ目のオプションのアクティブ/パッシブ構成は、4つ以上のノードのクラスターにディスクを保存するために収集されます：コントローラーの一部のみがクライアントにサービスを提供し、アイドル状態のコントローラーは隣人が死ぬのを辛抱強く待ちます このスキームにより、1つのコントローラーに障害が発生した場合にサイト間を切り替えるのではなく、ローカルONテイクオーバーを実行できます。

SyncMirror-同期レプリケーション

SyncMirrorテクノロジーを使用すると、データをミラーリングでき、次の2つのモードで動作できます。

1. ローカル同期ミラー
2. MetroCluster SyncMirror

ローカルSyncMirrorとMCC SyncMirrorの違いは、最初のケースでは、データが常に1つのコントローラー内の NVRAMから2つのプレックスにすぐにミラーリングされ、シェルフ全体の障害から保護するために使用される場合があることです。 2番目の場合、NVRAMミラーリングは複数のコントローラー間で実行されます。 複数のコントローラー間のNVRAMミラーリングは、専用のFC-VIポートを介して行われます。 MCC SyncMirrorは、サイト全体の障害から保護するために使用されます。



SyncMirrorは、ミラー化されたRAID-60と同様に、RAIDレベルでのレプリケーションを実行します。Plex0（メインデータセット）とPlex1（ミラー）の2つのプレックスがあり、各プレックスは1つ以上のRAID-DPグループで構成できます。 なぜ「好き」なのですか？ これらの2つのプレックスは、1つのユニット（プール）のコンポーネント、ミラーパーツとして表示されますが、実際には、正常に動作しているシステムでは、コントローラーのNVRAMレベルでミラーリングが実行されます。 既にご存知かもしれませんが、 WAFL、RAID-DP、NVRAM、NVLOGはすべてディスクサブシステムの1つのアーキテクチャ全体のコンポーネントであり、非常に条件付きで互いに分離できます。 SyncMirrorテクノロジーの重要な詳細は、2つのミラープールでディスクの完全な対称性が必要であることです。ディスクのサイズ、タイプ、速度、RAIDグループは完全に同一でなければなりません。 ルールには小さな例外がありますが、今のところ、読者を誤解させないようにそれらについては言及しません。



同期レプリケーションでは、一方でメモリのみをレプリケートすることでディスクサブシステムの負荷を軽減し、他方で（ストレージシステムのWAFL構造の観点から）Split-Brainの問題と一貫性の問題を解決できます。その結果、データがリモートシステムに書き込まれることを確認する必要があります。ストレージシステムの「同期」は、リモートサイトへのデータ送信時間+このレコードの確認時間に等しい時間だけ応答速度を向上させます。

SnapMirror vs SyncMirror

混同しないでください

1. 同期ミラー
2. スナップミラー

同期ミラーは、1つのプレックスの内容を1つのアグリゲートを構成する2番目のプレックスに複製します。これは、比較的「ディスクのような」すべてのRAIDグループで、ミラーは同じ番号、ボリューム、ジオメトリ、速度の同じドライブを持つ必要があります。 同期ミラーMCCはNVLOGレプリカを実行します。 ローカル同期ミラーの場合、両方のプレックスが存続し、1つのコントローラーによって処理されます。 また、SyncMirror MCCの場合、Plexの2つの半分が存在し、1つはコントローラーに、もう1つはリモートにあります。 ある時点で、ストレージシステムの通常の動作では、アクティブで動作しているプレックスは1つだけで、2番目のプレックスは情報のコピーのみを保存します。







各ユニットには1つまたは複数のFlexVolボリューム（データコンテナー）を含めることができ、各ボリュームはユニット内のすべてのディスクに均一に分散されます。 各ボリュームは個別のWAFL構造です。 スナップミラーの場合、レプリカはWAFLレベルで実行され、ジオメトリ、数量、およびボリュームがまったく異なるディスク上で実行できます。







テクノロジーを詳しく調べると、実際には、 スナップと同期ミラーの両方がスナップショットを使用してデータをレプリケートしますが、 同期ミラーの場合はCPイベント（NVRAM / NVLOG）+集約レベルのスナップショット、およびSnapMirrorの場合はシステムスナップショットですFlexVolレベル（WAFL）で削除されたスナップショット。



SnapMirrorとSyncMirrorは簡単に相互に共存できるため、ONTAPファームウェアを使用して、別のストレージシステムからメトロクラスターにデータをレプリケートできます。

メモリとNVRAM

スプリットブレインからデータを保護するために、記録されたデータはログ（NVLOG）およびシステムメモリの形式でNVRAMに保存されます。 ホストへのレコードの確認は、1つのローカルコントローラー、そのネイバー（MCCが4つのノードで構成されている場合）、および1つのリモートネイバーのNVRAMに入った後にのみ行われます。 ローカルコントローラー間の同期は、HAインターコネクト（通常は内部バスまたは場合によっては外部接続）を介して実行され、リモートノードへの同期はFC-IVポートを介して実行されます。 ローカルONパートナーにはNVLOGのコピーのみがあり、データの完全なコピーは作成されません。これは、ONネイバーのこのデータを含むディスクがすでに表示されているためです。 リモートDRパートナーにはNVLOGのコピーがあり、独自のディスクにすべてのデータ（Plex 1内）の完全なコピーがあります。 このスキームにより、ペアの2番目のHAコントローラーが生き残っている場合はサイト内で切り替えができ、すべてのローカルストレージノードが故障している場合は2番目のサイトに切り替えられます。 2番目のサイトへの切り替えは数秒で発生します。









この図は、4ノードのメトロクラスターの図を示しています。 2ノードスキームは似ていますが、ローカルONパートナーがありません。 8ノード回線は、同じ2つの4ノード回線です。 この構成では、NVRAMレプリカはこれら4つのノード内で実行され、これら4つのノード構成のうち2つを組み合わせることにより、各サイト内のクラスターメトロノード間でデータを透過的に移動できます。



NVRAMはSyncMirrorテクノロジーを補完します：データがリモートストレージのNVRAMで受信された後、書き込み確認がすぐに受信されます。つまり、ミラーコピーの一貫性を損なうことなく、RAIDが遅延して2番目のプレックスで完全同期状態になります-これにより、クラスターの半分をミラーリングするときの応答を大幅に加速できます。

タイブレーカーの証人

2つのサイトを自動的に切り替えるには、人間の介入または3番目のノードが必要です。そのため、発生したすべてのことを目撃するために、事故後にどちらのサイトを存続させるかを決定できる公平かつ万能なアービターをTieBreakerと呼びます。 TieBreakerは、Windows Server用のNetAppフリーウェアまたは専用のClusterLionハードウェアです。

OnCommand Unified Manager（OCUM）

TieBreakerがインストールされていない場合、無料のOnCommand Unified Manager（OCUM）ユーティリティから、またはmetrocluster switchoverコマンドを使用してコマンドラインからサイトを手動で切り替えることができます 。

オールフラッシュ

MCCは、Fabric-AttachedおよびBridge-Attached Stretch MetroCluster構成のAll Flash FASシステムをサポートしていますが、これらでATTO 7500N FibreBridgeを使用することをお勧めします。

フレックスアレイ

FlexArray仮想化テクノロジーにより、サードパーティのストレージシステムをバックエンドとして使用し、FCPプロトコルを使用してそれらを接続できます。 NetAppが製造したディスクシェルフを備えたネイティブシェルフを使用することはできません。 サードパーティのストレージシステムは、FC-VI接続と同じFCファクトリーを介して接続できます。これにより、Fabric-Attached MetroClusterスキームによりFC-SASブリッジが不要になり、既存のリサイクルが可能になり、古いストレージシステムをリサイクルすることで投資を節約できます。 FlexArrayでは、このストレージシステムが互換性マトリックスに含まれている必要があります。

VMware vSphere Metro Storage Cluster

VMwareは、 MCCを使用して、NetAppハードウェアレプリケーションに基づくHAを提供できます。 SRM / SRAと同様に、これはMetroCluster TieBreakerと対話して、事故が発生した場合に自動切り替えを提供できるvCenterプラグインです。

VMware VVOL

VVOLテクノロジーは vMSC でサポートされています。

結論

MCCテクノロジーは、その上にアクセスしやすいストレージとアクセスしやすいサービスを作成するように設計されています。 SyncMirrorでは、ハードウェアレプリケーションを使用して、非常に大規模な重要な企業インフラストラクチャを複製し、スプリットブレインから保護しながら、事故が発生した場合にサイトを自動的または手動で切り替えることができます。 MCCは、エンドホスト用の1つのデバイスのように設計されており、ホストの切り替えはネットワークフォールトトレランスレベルで実行されます。 これにより、MCCをほぼすべてのソリューションと統合できます。



これには、後で公開されるHabraの記事へのリンクが含まれる場合があります。

テキストのエラーに関するメッセージをLANに送ってください。

反対の記事に関するコメント、追加、質問はコメントしてください。