NetApp FASメモリの仕組み：NVRAM、キャッシュ、およびテトリス

この記事では、NetApp FASストレージの内部ストレージデバイスと、それがテトリスを組み立てる方法を検討したいと思います。

システムメモリ

NetApp FASコントローラのストレージメモリは、読み取り、書き込み、およびバッテリ駆動のキャッシュに使用されるメモリモジュールで構成されているため、「NV」プレフィックス-不揮発性MEMory / RAM / LOGです。 RAMは、NVRAM、MBUFバッファー（またはシステムキャッシュ）の機能部分に分割されます。これらはより詳細です。







*ディスクへのデータダンプは、 NVRAM自体ではなく、 NVRAMの満杯のイベントによってMBUFから発生します 。

NVRAMとNVLOG

NVRAMでは、データベース内のLOGレコードと同様に、NVLOGレコードはホストから送信されたときに元の形式で収集されます。 ホストからのデータがNVRAMに入るとすぐに、ホストはレコード確認を受け取ります。 MBUFからディスクへのデータのフラッシュを生成するCPイベントが発生し、その後確認が行われると、NVRAMはクリアされます。 したがって、正常に機能しているストレージシステムでは、NVRAMの内容は読み取られず、書き込まれるだけであり、そのスペースがなくなるとCPが発生し、NVRAMがクリアされます。 NVRAMの読み取りは、障害が発生した後にのみ発生します。

HAのNVRAM

2つのNetApp FASコントローラーの高可用性（HA）ペアでは、NVRAMは常にミラーリングされ、各コントローラーにはその近隣のコピーがあります。 これにより、1つのコントローラーに障害が発生した場合、すべてのホストを生き残ったコントローラーに切り替えてさらにサービスを提供できます。 CPイベントの発生後（確認ディスクへのデータのフラッシュ）、NVRAMはクリアされます。



より正確には、これら2つの部分はそれぞれ2つの部分に分割され、HAペアの合計4つ（つまり2つのローカル）です。 これは、ローカルNVRAMの半分を埋めた後、データリセットによって新しい着信コマンドの速度が低下しないようにするためです。 つまり、データがローカルNVRAMの一部からリセットされている間、新しいデータはすでにローカルNVRAMの後半に到着しています。

MCCのNVRAM

MCCの Split-Brainからデータを保護するために、書き込まれたデータは、1つのローカルコントローラー、そのネイバー、および1つのリモートネイバーのNVRAMに入った後にのみホストに確認されます（MCCが4つのノードで構成される場合） ローカルコントローラー間の同期はHAインターコネクトを介して実行され（これは2つの異なるシャーシのデュアルコントローラーシステムの外部接続です）、リモートノードへの同期はFC-IVアダプターを介して実行されます（これも外部接続です）。 このスキームにより、2番目のHAペアコントローラーが生き残った場合にサイト内で切り替えることができ、すべてのローカルストレージノードが故障した場合に2番目のサイトに切り替えることができます。 2番目のサイトへの切り替えは数秒で発生します。

NVRAMとパススルー

NVRAMは、一方ではNetAppで武装されているだけでなく、NetAppがログ（ジャーナリングファイルシステムのハードウェア実装）を保存するために使用する技術であり、他のほとんどのストレージメーカーは「ブロックレベル」でNVRAMを使用することに注意することが重要ですNVRAMにデータをキャッシュするための（ディスクドライバーレベルまたはディスクキャッシュ）-これは大きな違いです。



NVLOGの存在により、NetApp FASはHAペアで変換せず、パススルーモード（キャッシュなしでディスクに直接記録）の1つが死んだ場合、1つのコントローラーのみが生き残ります。 これについて少し掘り下げて、書き込みキャッシュが必要な理由から始めましょう。 キャッシュは、ホストのなりすましと記録の高速化に必要であり、データが実際にディスクに到達する前にデータの記録を確認します。 キャッシュにバッテリーがある場合、コントローラーをパススルーモードに切り替えるのはなぜですか？ストレージのすべてのAブランドのHAペアにはキャッシュミラーリングがありますか？ 答えは一見して簡単ではありません。まず、HAメカニズムは、HAペアの2つのコントローラーの1つが失敗し、クライアントがパートナーに透過的に切り替わるときに、データが破損せず、ディスクにフラッシュされることを保証します第二に、この場合の最も重要なことは、データがストレージシステム自体のデータ構造のレベルで破損しないようにするためです。これはさらに詳しく説明する価値があります。 メモリ内のRAIDのチェックサムを再計算することは、ディスクサブシステムを高速化するため、長い間目新しいものではありません。すべてのAブランドがこのトリックをマスターしているわけではありませんが、データ破損の可能性を残しているのはRAIDレベルで既に処理された形式でのキャッシュからのデータのダンプ2つのコントローラを再起動した後に追跡して復元できません。 したがって、最初のコントローラー、次に2番目のコントローラーに障害が発生した場合、処理の結果として最初に受信したデータの整合性を追跡できないことがわかります。つまり、データが破損している可能性があります。他の状況では、損傷を追跡および修復することが可能ですが、ストレージのデータ構造のチェックを実行する必要があります 書き込みキャッシュは礎石であり、大きな問題になる可能性があるため、1つのコントローラーがONペアで故障した場合、ほとんどのストレージシステムはディスクへの直接書き込みを行うPassThroughモードに移行し、書き込みキャッシュをオフにしてファイル構造の損傷の可能性を排除する必要があります



一方、これらのストレージシステムのほとんどでは、管理者が生き残ったコントローラーを手動でレコードキャッシュモードに手動で転送できますが、これは安全ではありません。2番目のコントローラーに障害が発生すると、ストレージシステムのストレージ構造のレベルのデータが破損し、復元する必要があるためです。時にはこれは悲劇的な結果につながる可能性があります。 FASシステムはデータをログの形式で保存し、 WAFLまたはRAIDの後の処理された形式ではなく、単一のトランザクションでCPシステムのスナップショットをローリングする形で既に処理されたデータがリセットされるため、データ破損の可能性を完全に回避できます。 したがって、多くの最新の競合ストレージシステムでは、HAペアの一方のコントローラーが停止すると、死亡したコントローラーからの負荷が2番目に低下するだけでなく、キャッシュを切断してレコードを最適化するため、このような状況での作業速度が大幅に低下します。 これは、書き込まれるデータが損傷のない形でディスクに正確に書き込まれるように行われ、最も重要なことは、ストレージシステムのファイル構造がそのまま残るようにすることです。 この問題をまったく気にせず、正直にこの「ニュアンス」についてドキュメントに書いている人もいます。 また、「松葉杖」の助けを借りてこの問題を回避しようとしており、2ノードではなく4ノードのシステムを一度に購入しようとしています。 したがって、たとえば、HP 3PARシステムは、4ノードシステムの1つのコントローラーに障害が発生すると、残りの3つのコントローラーが通常の記録モードで動作しますが、ノードの50％に障害が発生すると、システムがモードになりますパススルー。 ストレージシステム全体が死ぬ方が、このようなひどいブレーキを使用するよりも良い場合には、時々面白い状況があります。 これは、FASシステムとは対照的です。FASシステムは、シングルモード構成であっても、このような問題からアーキテクチャ的に保護されているため、キャッシュを無効にすることはありません。

メモリバッファ：書き込み

実際、書き込みは常にMBUF（Write Memory Buffer）で行われます。 そして、そこから、ダイレクトメモリアクセス（DMA）要求を使用して、NVRAMはこのデータのコピーを自分自身に作成し、CPUリソースを節約します。 その後、WAFLモジュールは、MBUFからのデータが書き込まれるブロックの範囲を選択します。このプロセスは、書き込み割り当てと呼ばれます。 WAFLモジュールは単純にブロックを選択するだけでなく、最初にテトリスを収集し（そうそう、 テトリス！それについて聞いたことがありますか？次に28分を見てください）、空のブロックを選択して、テトリス全体をディスクに書き込めるようにします作品。





WAFLは、データのその他の書き込み最適化も実行します。 NVRAMからの書き込み確認がWAFLモジュールに到着すると、MBUFからのデータは、割り当てられたブロックに従って、RAIDモジュールによって処理されます。RAIDモジュールでは、パリティディスクのチェックサムが計算され、チェックサムが計算され、各ブロックに保存されます（ブロック/ゾーンチェックサム）。 RAIDモジュールに転送されたMBUFからのデータは「アンパック」されることに注意することも重要です。たとえば、一部のコマンドは情報ブロックの繰り返しパターンの記録やブロックの移動要求を要求する場合があります。このようなコマンド自体はNVRAMのスペースをあまり消費しませんが、多くの新しいデータを生成します。

書き込み割り当て

これはWAFLの一部であり、特に新しいストレージメディアと並列化（2011年に出荷された新しいアーキテクチャ）の点で、元のデバイスアーキテクチャから大幅に変更されており、近い将来登場する可能性のある新しいストレージテクノロジの使用のための踏み台を準備しています。 デバイスのインテリジェンスのおかげで、書き込み割り当てにより、さまざまな方法でディスクサブシステムのさまざまな場所にデータをきめ細かく書き込むことができます。 記録された情報の個別のストリームは個別に処理され、データの書き込み、読み取り、ブロックのサイズ、およびレコード（およびその他）の性質に応じて処理できます。 記録されたデータの性質に基づいて、WAFLは書き込みの価値があるメディアの種類と方法を決定できます。 この例としては、フラッシュドライブがあります。この場合、細分化して、セルが消去されるブロック境界に沿って（ブロックサイズを消去して）書き込むのが理にかなっています。 さらに、メタ情報は通常、データ自体に比べてはるかに少ないスペースを占有しますが、有用なデータを持つ大きなブロックとは別に配置でき、場合によっては実験的に確立された大きな利点があります。 実際、書き込み割り当て内部デバイスの説明は、別の非常に大きなトピックです。

RAID

WAFLモジュールからデータはRAIDモジュールに転送され、RAIDモジュールはそれらを単一のトランザクションで処理して書き込み 、パリティディスクを含むディスクにストライピングします。 また、データは常にストライプに書き込まれ、常に新しい場所に書き込まれるため、パリティディスクのデータを再計算する必要はなく、RAIDモジュールによる記録のために事前に準備されています。 このため、実際にはFASシステムでは、ディスクドライブの負荷は常に他のディスクよりもはるかに少なく 、これはRAID 4/6の通常の実装とは対照的です。 また、チェック量の計算は、記録されたデータのストリップ全体に対して即座に実行され、データを上書きすることはなく（記録は新しい場所で発生します）、メタ情報のみが変更されます（データを持つ新しいブロックへのリンク）。 これにより、ディスクの1つを書き換える場合、システムメモリがより合理的に使用されるため、毎回残りのディスクから情報をメモリに読み込んでチェックサムを再カウントする必要はありません。 RAID-DPの詳細をご覧ください 。

テトリスはIO削減を実行します

Tetrisは、CP（CPタイムフレーム）間のデータを1つのホストから一連のブロックチェーンに収集し、小さなブロックを大きな順次レコードに変換する（IO削減）書き込みおよび読み取り最適化メカニズムです。 一方、これにより、複雑なロジックなしで先読みデータを有効にできます。 したがって、例えば、違いはありません-5KB、8KB、13KB、または16KBなどを読み取ります。 このロジックは先読みに使用されます。 先読みは、将来要求される可能性のあるデータのキャッシュ形式であり、その後に要求されたデータが続きます。 そして、質問になった場合、どの特定の「余分な」ブロックをキャッシュに転送するためにプロアクティブに読み取る必要があるか、テトリスで、あなたは自動的にこの質問に対する答えを得ます。

読み取りキャッシュ

システムキャッシュ（MBUF）は、書き込み操作と読み取り操作の両方に使用されます。 すべての読み取り操作は例外なくキャッシュに分類され、読み取りデータのみがキャッシュから読み取られます。 ストレージシステムのCPUがシステムキャッシュでデータを見つけることができない場合、ディスクにアクセスします。最初に行うことは、読み取りキャッシュに入れてからホストに渡すことです。 さらに、このデータは単に削除するか（これは読み取りキャッシュであり、すべてがディスク上にあります）、または存在する場合は下位レベル（キャッシュレベルII）に移動できます：FlashPool（SSDディスク、読み取り/書き込みキャッシュ）またはFlashCache（ PCIeフラッシュカード、読み取りキャッシュのみ）。 まず、システムキャッシュ（第1レベルと第2レベルの両方）は非常に細かく混み合っています。 4 KBの情報ブロックが置き換えられる場合があります。 第二に、システムとレベルIIのキャッシュは、重複排除に対応しています。 そのようなブロックが複製または複製された場合、それは再びコピーされず、メモリ空間を占有しません。 これにより、キャッシュヒットが増加し、パフォーマンスが大幅に向上します。 これは、たとえばVDI環境で、ストレージシステムにあるデータセットを何度も複製または複製できる場合に発生します。

一貫性ポイント

多くの最新のファイルシステムと同様に、WAFLはジャーナリングファイルシステムです。 ジャーナリングファイルシステムと同様に、ログエントリのあるジャーナルを使用して、ストレージレベルでの整合性と整合性を確保します。 ジャーナルファイルシステムの他のすべての実装は、破損した場合に一貫した状態にロールバックし（検証とリカバリを実行する必要がある）、リカバリを試みることができるように設計されていますが、WAFLは、コントローラの突然の障害の場合に損傷自体が防止されるように設計されています。 これは、まずコンシステンシーポイントの記録のアトミックな性質のために、次に、記録操作中にシステムスナップショットを使用するために達成されます。



NetAppのスナップショットテクノロジーは非常に成功していることが実証されているため、他の多くの機能の基礎としてONTAPのあらゆる場所で使用されています。 CPには、WAFLおよびRAID によって既に処理されたデータが含まれていることを思い出させてください。 CPはスナップショットでもあり、システムメモリから内容をダンプする前に（WAFLおよびRAIDモジュールによる処理後）、ストレージシステムはユニットからシステムスナップショットを削除し、ディスクに新しいデータを追加します。その後、ストレージはデータが正常に書き込まれたことを示します。次に、NVRAMのNVLOGエントリをクリアします。 新しいデータが（常に新しい場所に）ディスクにフラッシュされる前に、システムスナップショットが作成されます。その後、データは1つのトランザクションで書き込まれるか、（事故の場合）以前に作成されたスナップショットが（ユニットレベルで）ファイルシステムの最新の作業バージョンとして使用されます。トランザクションの途中でストレージシステムが突然再起動した場合。 事故が発生し、両方のコントローラーが再起動するか電源が失われた場合、NVRAMのデータはすべての情報を復元し、コントローラーが再びオンになるとすぐにデータをドライブにリセットします。 1つのコントローラーのみがシャットダウンまたは再起動した場合、NVLOGのコピーからNVRAMへの2番目のコントローラーはすぐにデータを復元して書き留め、アプリケーションに対して透過的に行われます。 データがディスクに正常にフラッシュされると、古いルートiノード（スナップショット）に基づく最後のCPブロックは、記録された古いデータと新しいデータへのリンクを含む新しいブロックを作成します。

CP生成イベント

CPは、次のいずれかの条件で自動的に生成されるイベントです。

• 10秒が経過しました
• NVRAMの半分がいっぱいです
• ローカルMBUFがいっぱいです（最高水準点）。 これは、ホストからの1つまたは複数のコマンドがCPに対して大量のデータを生成した、たとえば、一定量の情報の繰り返しパターンを記録したという事実が原因です。
• コントローラー停止コマンド（停止）
• その他。

ところで、CPのリセット状態は、多くの場合、ストレージシステムの動作に問題があることを間接的に示すことができます。たとえば、 十分なスピンドルがない場合や破損している場合です 。 作業の詳細については、 ナレッジベースFAQ：一貫性ポイントの記事をご覧ください 。

NVRAMサイズが必ずしも重要ではないのはなぜですか？

前述したように、NVRAMはFASシステムで書き込みキャッシュではなくログレコードのストレージとして使用されるため、HDDおよびハイブリッドFASシステムのサイズは競合他社ほど大きくありません。 単にNVRAMを増やす必要はありません。 各システムは、サポートされている最大数のスピンドルを処理するのに十分なリソースを持つように設計されています。

バッテリーとフラッシュ

すでに述べたように、バッテリーはシステムメモリに電力を供給します。 ただし、コントローラにインストールされているシステムフラッシュドライブも起動します。 電源障害が発生した場合、その後、メモリの内容はシステムのフラッシュドライブに排出されるため、ストレージシステムは非常に長い時間オフのままになります。 ストレージを開始すると、コンテンツのメモリへの復元が自動的に行われます。 バッテリーは最大72時間持続するため、この時間中に電力が回復すると、コンテンツはキャッシュに残り、システムのフラッシュドライブからの回復は行われません。

SSDおよびWAFL

前述のように、WAFLは常に新しい場所に書き込みます。これは多くの理由でアーキテクチャ的に行われ、その1つはスナップショットの形式でのMBUFコンテンツのダンプです。 実際、そうでない場合、ブロックの物理的な書き換えの場合-不完全なキャッシュリセットトランザクションを使用した新しいブロック、古いブロックの上書き、これはデータ破損につながる可能性があります。 「新しい場所への書き込み」アプローチは、SSDドライブのすべてのセルを均一に廃棄する必要があるため、回転ディスクやスナップショットメカニズムだけでなく、フラッシュテクノロジーでも非常に成功していることがわかりました。

結論

NetApp FAS RAMは、読み取りおよび書き込み操作を高速化するだけでなく、そのような操作に対して高い信頼性、速度、最適化を提供するように設計されています。 豊富な機能、複数の保護レベル、およびシステムキャッシュの速度により、Aクラスのシステムは生産性の高い負荷とミッションクリティカルなタスクを定性的に区別します。



英訳

ONTAPでのメモリの仕組み：

• NVRAM / NVMEM（パート1）
• NVRAM / NVMEM＆ライトスルー（パート2）
• 書き込み割り当て、テトリス、MBUFおよびCP（パート3）

これには、後で公開されるHabraの記事へのリンクが含まれる場合があります 。

テキストのエラーに関するメッセージをLANに送ってください 。

反対の記事に関するコメント、追加、質問はコメントしてください 。