ViPR-ソフトウェア定義のデータセンター要素
ViPRは、VMwareがサーバーセグメントに対して行ったのとほぼ同じストレージセグメントに対して実装します-リソースを抽象化し、プールを形成し、インフラストラクチャの自動化を実装する機能を作成します。 VMware APIを使用すると、EMC ViPRで作成されたストレージプールがVMware vSphereで単純なアレイとして提示されます。 さらに、ViPRは、VMware vStorage API for Storage Awareness（VASA）、vCOps、およびVMware SDDC管理およびオーケストレーションツール、vCloud Automation Center、vCenter Operations Managerとの統合を提供します。 したがって、ViPRでは、ストレージ管理は、MicrosoftおよびOpenStack仮想環境などのように見えるスタンドアロンオブジェクトとしても、VMwareソフトウェア定義のデータセンターの一部としても実行できます。
EMC ViPR開発の主な目標は、既存の異種ストレージインフラストラクチャを管理するコストを簡素化および削減すること、ならびに、たとえばhadoopクラスターやクラウド環境に基づく分散クラスターファイルシステムでシンプルなデータ管理およびデータアクセスシステムを作成することでした。
EMC ViPRの基本機能は、無料で使用でき、使用期限もありません。 ViPR ControllerおよびSolutionPack（M＆R-監視およびレポート）コンポーネントによって表されます。 オブジェクト、ブロック、およびHDFSアクセスのサポートを提供するViPR Servicesコンポーネントは、個別にライセンスされます。 基本機能を備えたViPRを展開するには、2つのプロセッサーを備えた1つのVMware ESX仮想マシンで十分です。 ViPR Solution Packには、さらに4つの仮想プロセッサーが必要です。
ViPRはEMC機器だけでなく、サードパーティのサーバーにも展開できます。 このプラットフォームは、ストレージインフラストラクチャの管理とhadoopクラスターでホストされるデータの管理の両方に使用できます。 この場合、ViPRは別のノードにエージェントとして追加で展開されます。
EMC ViPRは、クラウド環境とサービスプロバイダー、および「サービスとしてのIT」モデルに切り替えて、Webアクセスを備えた内部クラウドの作成に取り組んでいる企業顧客向けに設計されています。 ViPRは、グローバルに分散されたアーキテクチャに基づいて設計されているため、ネットワーク上で大量のデータを移動することなく実行できます。 このプラットフォームは、デバイスおよびデータボリュームの数が増えるにつれて水平スケーリングを提供し、単一障害点を排除し、完全に自律的な制御とリソース割り当てを備えた環境を構築できます。
管理レベル
ViPR Controllerソフトウェアは、ローカルおよびグローバルにストレージインフラストラクチャ管理（異種混合を含む）を簡素化するように設計されています。 ViPR Controllerと従来のストレージバーチャライザーとを比較すると、Out-Of-Bandソリューションです。これは、内部にデータを格納せず、情報をそれ自体に受け渡しせず、本質的にストレージシステムでもストレージバーチャライザーでもないためです。 ViPR Controllerは、ストレージプールと関連サービスの管理（管理）のみを扱います。 ストレージプールの作成とアプリケーションへの追加の割り当ては、セルフサービスポータルを介して行われます。
ViPR Controllerは、特に基盤となるストレージインフラストラクチャを仮想化するため、管理への害を減らすことにより、自動化機能を大幅に改善できます。 リソースの割り当てや移行などのストレージ管理機能は抽象化されているため、さまざまなストレージアレイを単一のコンソールから単一のリソースプールとして管理できます。
同時に、対応するアレイ、データ保護ツール、技術設定などが各プールに「接続」されます。 次に、各プールは特定のサービスレベルに関連付けられます。
ストレージプールを作成した後、それらはアプリケーションで使用するために共有されます。 セルフサービスポータルがこれに役立ちます。 その中で、データストレージサービスのカタログを参照し、タスクに最適なサービスリソースを選択できます。
従来のほとんどのストレージインフラストラクチャでは、EMC ViPRは、ストレージの検出、仮想ストレージプールの作成、およびこれらのプールのアプリケーションへの割り当てを実行するレベルの制御のみを提供します。 同時に、すべてのデータ交換の管理はアレイレベルのままです。
ViPR Controllerは、ブロック、ファイル、オブジェクト、およびiSCSI、NFS、RESTなどを介したhadoopクラスターへのアクセス（分散ファイルシステムに基づくデータストレージ-HDFS）のすべてのタイプのデータアクセスをサポートします。ブロックレベルでは、ViPRはSANゾーニング（SANゾーニング、Brocadeスイッチ、およびシスコ）。
ViPR Controllerの新しいバージョンには、組み込みのサポートまたはOpenStack Cinderプラグインによる標準ディスクと多数のサードパーティストレージアレイのサポートが含まれています。 ビルトインサポートの完全なリストには、EMC、Hitachi Data Systems（AMS 2100、USP-V、HUS VM、およびVSP）およびNetApp FAS（7モードのみ）ソリューション、および標準のストレージシステムが含まれます。 OpenStack Cinderをインストールする場合、ViPRはDell、HP、およびIBMアレイもサポートします。 実際、ViPRは市場で入手可能なストレージシステムのほとんどのサポートを受けました：Dell EqualLogic、HDS（HUS）、HP 3PAR（StoreServ）、HP Lefthand（StoreVirtual）、Huawei T / Dorado、IBM DS8000、IBM Storwize Family / SVC、IBM XIV、 LVM（リファレンス）、NetApp、Nexenta、Solaris（ZFS）、SolidFire、Zadara Storageなど。 ViPR 2.0の単一のダッシュボードにより、既存のストレージインフラストラクチャの管理を自動化および標準化すると同時に、新しいポリシーベースのインフラストラクチャのサポートを実装できます。
さらに、新しいバージョンでは、EMC ScaleIOに基づいた標準ディスクとブロックデータ管理サービスのサポートが追加されています。 ViPR Controller 2.0は、VCE Vblockシステムに基づいた統合インフラストラクチャのサポートを開始しました。
EMCアレイのサポートは、EMC VPLEX、EMC RecoverPoint、SRDF、およびData Domainの統合と管理の強化により拡張されました。 新しい機能には、データアクセス、整合性、および保護を提供するストレージ空間スケーリング機能のおかげで、複数のサイトでのデータ管理が含まれます。 同じ名前空間内の複数の場所にある数百のクライアントに拡張する地理的に分散したストレージシステムをサポートするためのマルチテナント機能の強化。 これは、ViPRオブジェクトデータ管理サービスが複数の場所で動作できるようになり、まったく新しいレベルの効率と生産性を提供する最も高度な空間複製および空間分布機能を提供することを意味します。 ViPRオブジェクトデータ管理サービスは、さまざまな規制当局の要件への準拠を保証する追加機能を提供するとともに、EMC Centera CAS（Content Addressable Storage）APIをサポートします。 その結果、EMC Centeraユーザーは、既存のソフトウェアを変更することなく、ViPRがサポートする任意のプラットフォーム上のアプリケーションで利用可能な独自の長期ストレージ機能を引き続き使用できます。
ViPR Controllerはパブリックドメインであるため、SRMソリューションの観点からEMCはオープン性とアクセシビリティの向上に向かっていると言えます。
イベント監視
VIPR SolutionPack（レポートおよび監視）には、多くの機能が含まれています。 そのため、たとえば、サービスレベルおよび仮想ストレージプール（VSP）によるストレージリソースのロードの傾向を、仮想アレイ（仮想ストレージアレイ-VSA）の詳細とともに視覚化できます。 また、VSAの使用傾向をサービスレベルごとに視覚化し、ストレージリソースの使用傾向をテナントごとに視覚化することもできます。 さらに、システムはVIPRイベント（警告、エラーなど）の監視と、特定の期間の表示を許可します。
データレベル
従来のファイルおよびブロックベースのワークロードの場合、EMC ViPRプラットフォームはこのインフラストラクチャでホストされるデータレイヤーの役割を「自己緩和」し、基盤となるアレイに転送します。 データセンターのアプリケーションのほとんどのワークロードはこのモデルに属し、EMCの推定によると、このようなワークロードは2016年までに約70％増加します。 しかし同時に、多くの場合、膨大な量とデータフローで動作し、数千または数百万のユーザーにサービスを提供する新しいアプリケーションワークロードが出現しています。 これらはいわゆる「サードプラットフォーム」テクノロジーであり、ビッグデータ、モバイルシステム、ソーシャルネットワーク、クラウドサービスの普及に関連しており、以前のバージョンよりも数千倍多くの情報を作成し、新しいストレージインフラストラクチャを必要とします。
これらの新しいアプリケーションの機能は、まったく新しいアーキテクチャを示唆しています。 大規模なスケーラビリティの必須要件には、ストレージインフラストラクチャへのよりシンプルなアプローチ、つまりオブジェクトストレージが必要です。 同時に、アクセス方法も変化しています。従来のプロトコル（NFSやiSCSIなど）は、Hadoopデータベースの基盤として知られているHDFSなどの新しいプロトコルに取って代わります。 これらの新しいアーキテクチャをサポートするために、EMC ViPRはオブジェクトデータサービスを提供します。
ViPRのオブジェクトデータサービスは、Amazon S3およびOpenStack Swiftと互換性のあるHDFSおよびRESTベースのAPIを介してアクセスできるため、これらのAPI用に作成されたアプリケーションは問題なく動作します。 また、既存のEMC Atmos、EMC VNX、EMC Isilonアレイを永続的な層としてサポートするほか、サードパーティのアレイや標準サーバーソリューションもサポートしています。 現時点では、このリストには約20行のストレージが含まれています。
ViPRはファイル形式でオブジェクトを「認識」します。これにより、ファイルアクセスに典型的なパフォーマンスを実現し、オブジェクトデータストレージに固有の遅延を排除できます。 さらに、ViFS HDFSデータサービスにより、異種ストレージ環境全体のローカル分析が可能になります。 その結果、異種ストレージ環境を管理するという非常に時間とリソースを消費するタスクは、それ自体ではなくなります。
このソリューションは、「第三のプラットフォーム」への移行を促進し、従来のストレージインフラストラクチャと新しいストレージインフラストラクチャの協調的かつ完全に自動化された管理の可能性を提供し、VMware、OpenStack、Microsoftが提供する高レベルの管理およびオーケストレーションツールとの統合を提供しますデータセンターのワークフローとビジネスプロセス。
ViPR HDFSデータサービス
Apache Hadoopは、数百および数千のノードのクラスターで実行される分散プログラムを開発および実行するための一連のユーティリティ、ライブラリ、およびフレームワークを提供し、いくつかのモジュールで構成されています。 Hadoop分散ファイルシステム（HDFS）-標準サーバーにデータを書き込む分散ファイルシステムで、クラスター全体の高い集約帯域幅を提供します。 Hadoop YARN（Yet Another Resource Negotiator）は、クラスター内のコンピューティングリソースの管理とユーザーアプリケーションの使用を担当するリソース管理プラットフォームです。 Hadoop MapReduceは、大量のデータを処理するためのプログラミングモデルです。 Hadoopエコシステムは、Pig、Hive、Sqoop、Flume、Oozie、Spark、HBase、ZookeeperなどのApacheプロジェクトのエコシステムであり、プロジェクトに価値を付加し、その使用を改善します。
ViPR HDFSデータサービスアーキテクチャ
HDFSの主要コンポーネントはNameNodeとDataNodeです。 1つはHDFSの中心的な要素であり、ファイルシステムのメタデータサーバーとして機能します。 HDFSは、ファイルシステムインデックスをホストする専用NameNodeサーバーと、メモリ構造のスナップショットを生成できるセカンダリNameNodeによって管理されます。これにより、ファイルシステムへの損傷を防ぎ、データ損失を削減します。 HDFSでは、個々のファイルは固定サイズのブロックに分割されます。 これらのブロックは、1つ以上のノード上のクラスターに保存され、そのリンクはDataNodeに保存されます。 DataNodeノードは、NameNodeの指示に従って読み取りおよび書き込み要求を処理するために使用されます。
Apache Hadoop YARN-このクラスター管理テクノロジーは、Hadoopの第2世代の重要な機能であり、ビッグデータを処理するアプリケーション向けの高度にスケーラブルな分散オペレーティングシステムとして特徴付けられます。 YARNは、集中リソースマネージャーを組み合わせて、アプリケーションがHadoopシステムのリソースを使用する方法をノードマネージャーエージェントと調整し、ノードマネージャーエージェントが個々のクラスターノードによる操作の処理を監視します。 YARNを使用してHDFSをMapReduceから分離すると、Hadoop環境は、バッチジョブの完了を待つことができない生産的（トランザクション）アプリケーションにより適したものになります。
Hadoopのネイティブ実装には、限られた名前空間とクラスターパフォーマンス、低いファイルシステムの信頼性、1つのプロトコルのみのサポート、高いストレージコスト、小さなファイルの非効率的な処理、古いアーキテクチャ、エンタープライズレベルの機能の欠如など、多くの制限があることに注意してくださいおよびマルチリース。 これらの制限について詳しく見ていきましょう。
HDFSファイルシステムの名前空間は1つのサーバーによって管理され、そのメモリに格納されます。 そのサイズは、NameNodeで使用可能なメモリの量によって制限され、ファイルシステムのパフォーマンスは、NameNodeのパフォーマンスによって制限されます。
Hadoop 2.xより前は、NameNodeは単一障害点でした。 NameNodeの障害により、クラスターが使用できなくなりました。 最近、HDFSに高可用性オプションが追加されましたが、制限があります。ホットスタンバイNameNodeはリクエストをアクティブに処理できません。さらに、STAND-BY NameNodeをサポートするには新しい機器が必要です。
ネイティブHDFS実装は、データにアクセスするための1つのプロトコルのみをサポートします。 オブジェクトとファイルのアクセス方法はサポートされていません。
デフォルトでは、HDFSはすべてのデータブロックを3回複製します。 これにより、ストレージコストが2倍になり、アーカイブ時などに非常に冗長になります。
HDFSは、ファイルシステム内の各ファイルのメタデータを1つのサーバーのメモリ（NameNode）に保存する必要があるため、大量の小さなファイルを処理する場合は非効率的です。 たとえば、100万個のファイルが約3 GBのRAMを消費します。
HDFSはほぼ10年前に設計されたため、信頼性の低い民生用磁気ハードドライブとレガシーネットワークインフラストラクチャ（1GbE）に重点を置いていました。 ボトルネックは、ドライブではなくネットワークであると想定されていましたが、これは現在のインフラストラクチャには当てはまりません。
HDFSファイルシステムには、地理的分布、災害復旧、一貫したスナップショット、重複排除、パラメーター制御などのエンタープライズクラスの機能がありません。さらに、多くの企業に保証されたデータ分離とパフォーマンスを提供できるマルチテナンシー機能はサポートされていません。 その結果、使用率の低い多くの分離されたクラスター。
ViPR HDFSデータサービスを使用すると、ファイルサーバーやECSにインストールされているかどうかにかかわらず、上記の制限を取り除き、hadoopクラスターを企業の要件に可能な限り近づけることができます。 このhadoop互換ファイルシステム（HCFS、Hadoop互換ファイルシステム）。これにより、Hadoop 2.2用に記述されたアプリケーションをファイルアレイおよび/またはEMC ECS（Elastic Cloud Storage）で実行し、ViPR Controllerで管理できます。 ViPR HDFSクライアントがクラスターの各ノードにインストールされると、ノードへのすべてのリクエストはViPR HDFSデータサービスクライアント（JAR）によって処理され、ネイティブコンポーネントは使用されなくなります。 ViPR HDFSデータサービスは、Hadoopの効率、パフォーマンス、および信頼性を高めながら、多くの利点を提供します。
そのため、ECSデバイスはペタバイトとエクサバイトのサイズに簡単に拡張できます。 同時に、ViPRデータサービス/ ECSアーキテクチャにより、パフォーマンスとストレージ容量を互いに独立してスケーリングできます。 ECSは、HDFSアクセスだけでなく、いくつかのAPIオブジェクトをサポートする同じプラットフォーム内のアクセスを提供します。これにより、アプリケーション開発者は楽になります。 地理的に分散したデータ保護により、サイトの誤動作や災害の場合に完全な情報セキュリティが確保されます。 データは非常に一貫性があるため、アプリケーションは、最新情報が記録された場所に関係なく、ECS Webサイトからアクセスできます。
エンコードを消去すると、データの保護やアクセスを損なうことなく、データを効率的に保存できます。 ECSストレージエンジンは、Reed Solomon 12/4コーディング消去スキームを実装します。このスキームでは、ブロックが12個のデータフラグメントと4個のコーディングフラグメントに分割されます。 結果の16個のフラグメントは、ローカルサイトのノード間で分散されます。 ストレージメカニズムは、最小12個のフラグメントからブロック全体を復元できます。 さらに、ViPRデータサービス/ ECSは、多数の小さなファイルと大きなファイルの両方を処理するように適合されています。ECSは、ボックスカートリングと呼ばれる技術を使用して、非常に短い遅延で多数のユーザートランザクションを同時に実行できます。これにより、ECSは高パフォーマンスのワークロードをサポートできます。 ECSは、非常に大きなファイルの処理にも効果的です。すべてのノードは同じオブジェクトに対する書き込み要求を同時に処理でき、各ノードは3つのディスクのセットに書き込むことができます。
また、ViPR HDFSデータサービスでは、複数のHadoopベンダーを選択し、それらを組み合わせてサービスを共有できることにも注意してください。
ソフトウェア定義ストレージ用の高度なパッケージ
重要な変更は、ソフトウェア定義のストレージシステムEMC-ViPR SRMおよびService Assurance（SA）Suiteのパッケージに影響を与えました。更新された複合体は、さまざまなサプライヤーの機器を使用した複雑な環境の最も視覚的な表現を提供します。幅広いEMCおよびサードパーティプラットフォームのサポートに加えて、ViPR SRMはViPRおよびVPLEXとの強化された統合を提供し、組織がSLAの外でIT as a Serviceモデルを実装する部門間のコスト共有の新しい機会を提供します。 ViPR SRMパッケージの強化には、ViPRコンソールからの仮想ストレージ管理の強化も含まれます。 SAS 9.3はVMware NSXと統合され、物理環境および仮想環境におけるコンピューティングとネットワークインフラストラクチャの詳細な視覚化を提供します。
ViPR製品ファミリは、リソース管理の仮想化とクラウドインフラストラクチャのデータへのアクセスの提供という2つの主な機能を実装しますが、ソリューションは主に大規模データセンターの大規模インフラストラクチャを対象としています。
タスクが仮想マシンにディスクリソースを割り当てるプロセスを自動化すること、および環境構成の変更を追跡することである場合、ViPR Controllerは、あらゆるメーカーのストレージシステムとの作業を自動化するソリューションです。仮想化環境で仮想マシンを作成すると、必要なディスクがすぐに割り当てられます。リソースの割り当てと使用は、多くのストレージメーカーのソリューションをサポートするViPR SRMを使用して一元的に監視できます。 ViPR製品は、タスクを多数の仮想マシンに並列化することにより、あらゆるサイズの環境を管理および監視できるように構築されています。データセンターの効率を高めるために、データ交換パスにある高価なハードウェアバーチャライザーが不要になり、環境に遅延が追加され、アプリケーションの速度が低下します。
ViPR Data Servicesは、ローカルディスクを備えた通常のサーバーに基づいて、あらゆるタイプのデータ（オブジェクト、ファイル、ブロック）の管理されたクラウドストレージリソースを作成する機能を提供します。このソリューションは、優れたスケーラビリティ指標を備えており、クラウドストレージリソースをリースする可能性を考慮して開発されました。
ViPR Controllerを使用すると、このタイプのストレージは、さまざまなメーカーの従来のストレージシステムが使用されるデータセンターに正常に統合できます。管理仮想化は、ローカルディスク（DAS）、ストレージエリアネットワークストレージ（SAN）、およびネットワーク接続ストレージ（NAS）を備えたサーバーから単一の統合リソース割り当てプールを作成します。
質問については、emc @ muk.uaまでお問い合わせください。モルドバ、ジョージア、アゼルバイジャン、カザフスタンで企業グループを介したEMC
ソリューションが利用できるようになったことは注目に値します。最近、これらの国で販売契約が締結されました。
MUK-Service-あらゆる種類のIT修理：保証、非保証修理、スペアパーツの販売、契約サービス