NetApp StorageGridオブジェクトストレージ

この記事では、FASストレージシステムの従来のトピックから逸​​脱し、NetApp StorageGrid WebScaleシステムのオブジェクトストレージのトピックを取り上げます。 つまり、オブジェクトストレージは、NASおよびSANに加えて3番目のタイプのストレージです。 各ファイルがデータとメタ情報（所有者、権利、変更時刻など）で構成されていると想像してください。オブジェクトストレージを使用すると、これらの部分を分離して「キー/値」の形式で保存できます。 情報ストレージへのこのアプローチは、オブジェクトクラスターのノード間のエンドユーザーの透過的なデータ移行、レプリケーション、透過的な切り替えにより、巨大なデータの分散型分散ストレージの可能性を開きます。 広い意味で、オブジェクトストレージは、特殊なSCSIコマンド（オブジェクトベースのストレージデバイスコマンド）を使用したデバイス（ハードディスク）レベルと、複数のディスクで構成されるストレージシステムへのアクセスプロトコルのレベル（順番に、彼らはまったく客観的である必要はありません）。 どちらの場合も、接続にはイーサネットが使用され、データ転送にはIPプロトコルが使用されます。 デバイスレベルでのオブジェクトストレージの実装例は、Seagate Kinetic Open Storageプラットフォームラインのハードドライブです。 クラウドストレージの例は、Microsoft Azure BLOB、Amazon S3です。 この記事では、サイトにデプロイでき、必要に応じてクラウドに接続できるオブジェクトストレージシステムに焦点を当てます。 S3、SWIFT、CDMIオブジェクトプロトコルは広く普及しており、それらはすべてHTTP経由のアドオンです。

物語

StorageGRIDは、何百万もの大小のオブジェクトを保存するために特別なソリューションが必要であったため、当初は医療用に開発されました。 シーメンス、AGFA、その他の主要なPACSシステムなどのヘルスケア機器の大手メーカーは、StorageGRIDにオブジェクトを直接送信する機能をサポートしています。 このアプローチにより、たとえば医師が過去10年間の患者データを取得する必要がある場合に、患者がミネソタからロサンゼルスに移動したときに、以前は不可能だったファイルストレージのシナリオを実装できました。 StorageGRIDは、ヘルスケア業界では依然として非常に人気がありますが、さまざまなデータを保存するためのクラウドソリューションにも用途があります。



NetApp StorageGridファミリは、2つの代表者で構成されています。

1. ネットソフトウェア、NetApp StorageGrid WebScale
2. Eシリーズに基づくNetApp StorageGridアプライアンス-SG5660。

これらのオプションは両方とも1つのクラスターに共存できます。





最初のオプションはデュアルコントローラーシステムで構成され、1つのコントローラーがストレージノードで、2番目のコントローラーがコンピュートノードです。 つまり シャーシには2つのコントローラーがありますが、これはそれ自体が高可用性システムではありません-フォールトトレランスのために、少なくとも2つのSG5660システム（4つのコントローラー）が推奨されます。 SG5600に加えて、ハードウェアソリューションでは、ゲートウェイノードと管理ノードをホストするために少なくとも2台のサーバーが必要です。

2番目のオプション（ソフトウェア）は、ESXiアプライアンスまたはDebian LinuxベースのDockerイメージとして提供できます。 このバージョンでは、2つのコントローラーと高可用性、標準OS SANtricityを備え、ストレージ、ゲートウェイ、および管理ノードを備えたこの少なくとも2つのサーバーに加えて、1つの通常のEシリーズを使用できます。 ソフトウェアバージョンでは、サーバーにストレージノード（最もリソースを要求するノード）を含める必要があるため、より多くのサーバー容量が必要です。





非構造化データの成長は着実に勢いを増しており、そのようなデータジェネレーターの例は、新興のIoT市場、前例のない解像度とフレーム品質を備えた写真およびビデオカメラ、医療機器、および市場に登場したその他のデバイスです。 これらすべてのタスクを閉じるために、StorageGridはゼロから開発されました。



Webデータリポジトリ

• トランザクション負荷が非常に高い小さなオブジェクトの場合
• 何十億ものオブジェクトを保存する

データアーカイブ

• 大きなオブジェクト、低いトランザクション負荷
• 応答速度を要求しない長期保管

メディアリポジトリ

• グローバルに分散されたラージオブジェクト
• StorageGRIDは医療に最適です
• StorageGRIDは、ビデオオンデマンド（VoD）タスクでも非常にうまく機能します。
• ストリームデータアクセス、高帯域幅

StorageGridの主な機能

地理的に分散した非構造化データを管理できます。 単一のコントロールパネルを使用して、StorageGridクラスターノードが配置されているすべてのサイトの管理ポリシーにより、データを必要な場所にプルします。 CDMI、S3、SwiftなどのテープライブラリとRESTful HTTPのようなプロトコルがサポートされており、これらを使用してシステムをクラウドプロバイダーと統合できます。 データは、オンプレミスストレージ、クラウド、テープライブラリなど、すべての層の間でシームレスに移動できます。







StorageGridプラットフォームの利点は次のとおりです。

• 最も一般的なすべてのオブジェクトプロトコルのサポート
• 最大1,000億個のオブジェクト（ノードあたり3億7,500万個）、70PiB情報（ソフト制限）までのスケーラビリティ
• 配布：最大16サイト
• データアーカイブを保存するためのレベルとしてテープライブラリを使用する機能
• ポリシーが変更されると、データライフサイクルは変更に合わせて自動的に調整されます。
• 最も高度なデータライフサイクルポリシー（ ILM ）設定の1つ：ローカルレベル（SSD、SATA、SAS、テープ、Geo-EC）、パブリッククラウド（AWS S3など）、および顧客サイト間でデータを自動的に配信します。 データの配布は、データのコスト、セキュリティのレベルの必要性、パフォーマンス、可用性、ネットワークコスト、保存されたデータの耐久性に関する情報に基づいて実行できます。

消去コーディング

ほとんどすべてのオブジェクトストレージシステムは、1つのオブジェクトの複数のコピー（レプリケーション）を格納でき、異なるノードおよびサイトでデータを複製するため、フォールトトレランスを確保できます。 Erasure Coding（EC）は、RAIDに似たメカニズムですが、ハードドライブ全体のレベルではなく、複数の部分に分割されたオブジェクトレベルで実行されます。 ECは、ストレージスペースを大幅に削減し、フォールトトレランスメカニズムを提供します。

Geo-ec

Geo Distributed Erasure Codingは、このような「RAIDグループ」を構成するオブジェクトの一部が世界のさまざまな地域にあるシステム上にあり、データの2つまたは3つのコピーを保存し、信じられない可用性インジケーターを達成できるECですが、これにより対応する量が発生します交通量と占有スペース。 ここでは、地理的に分散したErasure Coding機能が助けとなり、フォールトトレランスと可用性を悪化させず、占有スペースの量を大幅に削減します。 次のECスキームが利用可能です。

• 3つのサイトで2 + 1
• 3つのサイトで4 + 2
• 3つのサイトで6 + 3
• 4つのサイトで9 + 3
• 5つのサイトで8 + 2。

Erasure Codingはディスクスペースを節約し、チェックサムを計算してオブジェクトを復元するときにオーバーヘッドを追加します。 Geo-ECの場合、オブジェクトを読み取るときに、読み取りが2つのサイトから実行されるため、応答速度も向上します。 つまり ECは賢明に使用する必要があり、 ILM段落の後半でその方法を説明します。

階層EC

StorageGridを使用すると、耐久性とフォールトトレランスのポリシーに基づいてデータを配布できます。 階層的消去コーディングにより、これらのポリシーに基づいてローカルECおよびGeo-ECを自動的に実行できます。 階層ECは、サイト全体の障害から保護するために、少なくとも3つのサイトを持つインストールに適しています。

DDP-ローカルEC

ダイナミックディスクプール（StorageGrid WebScaleがローカルECとして使用）は、NetApp Eシリーズハードウェア機能であり、通常のRAIDグループと同様に、1つのローカルシステム上に作成される一種のRAIDです。 DDPを使用すると、1つまたは複数のディスクのローカル障害が発生した場合にパフォーマンスを失うことはありません（そうしないと、オブジェクトは他のノードまたはサイトからプルされます）。さらに、エネルギーおよびネットワーク（WAN / LAN）トラフィックが保存されます。 この機能は、Geo-ECを完全に補完します。

情報ライフサイクル管理

StorageGRIDシステムのILMでは、データライフサイクルポリシーにより、ディスクスペースを柔軟かつ効率的に使用できます。 そのため、たとえば、オブジェクトが記録された場合、または30日以内に少なくとも1つの呼び出しがあった場合、複数の異なるサイトにXコピーを保存するようにポリシーを構成できます。 30日以上アクセスされていない場合は、コピーを削除してECを介して実行します。この場合、オブジェクトの読み取り時間が長くなっても問題はありません。 オブジェクトが1年間アクセスされていない場合は、クラウドまたはテープに送信します。 上記の例は、個々のオブジェクトのレベルできめ細かく機能し、LUNやファイルボール（それぞれSANまたはNAS内）などの大きなデータセットのレベルでは機能しないことに注意することが重要です。 リソースの価格が変更された場合、ポリシーは新しい変更に応じてデータを引き締め、サイズを変更します。

長寿

データの整合性と可用性の2つの部分に分けることができます。

データの整合性は、データの書き込み、読み取り、移行、および定期的なチェック時にデジタルハッシュを使用することで保証されます。 破損したオブジェクトは、コピーから透過的に再作成されます。 地理的に分散したErasure Codingメカニズムにより、データのコピーを保存するためのスペースを経済的に使用できます。

データの可用性は、フォールトトレラントアーキテクチャ、ビジネス継続性のサポート、ソフトウェアの更新、プラットフォーム機器によって保証されます。 通常動作時と障害時の両方の負荷分散。 NetApp AutoSupportは、予防的なトラブルシューティングのためにサポートに自動的に通知できます。 ノードレベルでの消去コーディングにより、各ノードの可用性、復旧時間、パフォーマンスへの影響、およびネットワークアクティビティが向上します（ダイナミックディスクプールを備えたEシリーズプラットフォームでのみ利用可能）。

NAS

NASブリッジを使用して、CIFS / NFSプロトコルを備えたNASの機能を実装できます。 これにより、既存のインフラストラクチャを変更せずに、エンドユーザーに標準のファイルアクセスを提供できます。 StorageGridは、ライフサイクルポリシーのおかげで、メタ情報に基づいてストレージレベル間でこのデータを透過的に移動できます（たとえば、ファイルが最後に変更または作成されたとき）。 ファイルブリッジライセンスはStorageGridに含まれているため、購入する必要はありません。 Active DirectoryおよびLDAPとの統合がサポートされています。 NASブリッジは、「上から」のように、CIFS / NFSを介したアクセスを提供し、これが最も一般的なNASです。

バックエンドの下部では、同じNASブリッジがオブジェクトプロトコルを使用して接続され、ファイルをオブジェクトに変換します。その後、それらは既に通常のオブジェクトとして保存および処理されます。

安全性

各オブジェクトのエンドツーエンド暗号化とセキュアマルチテナンシーのサポート。 S3およびCDMIの認証およびセキュリティメカニズムのサポート。 単一のテナント内でユーザーを認証するために、LDAP / ADとの統合がサポートされています。

生産準備完了

これは、顧客がプログラマや管理者の軍隊を持っていない非常に重要な瞬間であり、複合体が信頼できることが重要です。 StorageGridテクノロジーはすでに14年以上前（2001年に最初のインストール）であり、バックアップ、アーカイブ、ファイル同期、コラボレーションなどの他の有名な製品との多数の統合によって成長することができました。

• NTP階層ストレージ管理サービス：ソフトウェアオブジェクトストレージとクラウドコネクタ（ファイルバキューム）
• Cteraファイルの同期と共有、コラボレーション
• ステルスMicrosoft SQL / Exchange / SharePoint統合
• PoINT階層ストレージ管理サービス
• Commvaultのバックアップとアーカイブ
• Citrix Sharefileファイルの同期と共有、コラボレーション
• Egnyteファイルの同期と共有、コラボレーション
• SoftNAS汎用NFSおよびCIFSゲートウェイ
• NetApp AltaVault（SteelStore） リンクは、次の記事の発行後に利用可能になります。
• NetApp StorageGRIDアダプタを使用したSymantec Enterprise Vault
• Amazon s3
• Amazonクラウドフロント
• ホワイトボックスでスタックスイフトを開く
• イカとインクタンクセフ
• Swift API
• OpenStack Glance統合：StorageGRID WebscaleをS3およびSwiftを介してGlanceイメージリポジトリとして活用
• NetApp OpenStack Cinderドライバー
• オープンスタックキロ
• Openstack Heatオーケストレーション
• その他。

StorageGridライセンスポリシー

製品は、ノードの数とタイプに関係なく、テラバイト単位でライセンスされています。 StorageGRIDのハードウェアとソフトウェアの実装は、同じクラスター内で共存できます。 可能なすべての機能は、基本的な配信に含まれています。

• ハードウェア実装の場合、製品はraw（RAW）テラバイト数でライセンスされます
• （ハードウェアStorageGRIDを使用せずに）ソフトウェアライセンスを購入した場合、製品は使用可能なスペースの量でライセンスされ、x1.25の係数が使用されます。

結論

StorageGRIDは、RESTful HTTPをサポートするアプリケーション向けの製品です。これは、大小のオブジェクト、高帯域幅、ストレージレベルにわたるデータのトランザクションおよび自動の透過的な移動に適しています。 ジオクラスタリングを使用すると、サイト全体の障害を隠して、非常に高い耐障害性とデータ可用性を実現できます。 ECテクノロジーは、RAIDのようなアーキテクチャを使用することにより、スペースを大幅に節約できます。 StorageGRIDは、複数のストレージ層と最も先進的なデータライフサイクル管理メカニズムの1つをサポートしています。 ILMは、1つまたは別のストレージレベルで価格が変更されると自動的にデータを移動します。これにより、リソースのより合理的な使用と、データストレージのコストの変化（クラウドやテープライブラリなど）への柔軟な対応が可能になります。 StorageGRIDは、既存のインフラストラクチャへのサポートと統合を簡素化するサードパーティソフトウェア統合の幅広いリストを備えた、確立された成熟した製品です。 オブジェクトの暗号化とLDAP / AD認証のサポートにより、データの盗難から保護されます。 StorageGRIDは、Amazon S3を完全に置き換えることができ、パブリッククラウドでデータをホストできないユーザー向けに、ストレージを複数の企業にリースし、プライベートクラウドとして機能させることができます。 また、AWS S3に追加して、データストレージのレベルとして使用し、StorageGRIDストレージのテナントのストレージのコストを計算するメカニズムを備えています。



これには、後で公開されるHabraの記事へのリンクが含まれる場合があります 。

テキストのエラーに関するメッセージをLANに送ってください 。

反対の記事に関するコメント、追加、質問はコメントしてください 。