「春のパッケージ」への応答としてのアーカイブ

最近の主なニュースの1つは、いわゆる「 Springパッケージ 」の署名です。 このプログラムのハイライトは、トラフィックを最大6か月、メタデータを3年間保存する必要があることです。 この立法イニシアチブは、尊重されなければならない本格的な法律に変わりました。 実際、私たちは適切なストレージシステムの選択に関連する問題を含むさまざまな問題の解決を必要とする、絶えず更新されるアーカイブの広範な作成について話している。



トラフィックとメタデータのアーカイブは、迅速なアクセスの必要性を意味しません。 この情報は、企業の日常活動では使用されません。当局からの要求がある場合にのみ保存する必要があります。 これにより、アーカイブを作成するタスクが大幅に容易になり、アーカイブのアーキテクチャを簡素化できます。



一般に、アーカイブは5つの主な機能を実行する必要があります。

• 将来の使用のためにデータを保存します。
• 保存されたデータへの継続的なユーザーアクセスを保証します。
• アクセスの機密性を確保します。
• 静的データをアーカイブに転送することにより、稼働中のシステムの負荷を軽減します。
• ストレージポリシーの使用。

ユーザーが送信するトラフィックとメタデータは、多種多様で構造が欠けているという特徴があります。 これに加えて、大企業とサービスに特に特徴的な情報量の膨大な量と速度を追加すると、ビッグデータの古典的な定義が得られます。 つまり、法律の変更には、アーカイブシステムに常に高速で到達するビッグデータを保存するという問題に対する大規模なソリューションが必要です。 したがって、アーカイブは高性能であるだけでなく、優れた水平スケーラビリティを備えている必要があるため、必要に応じて、ストレージ容量を比較的簡単に増やすことができます。

ビッグデータのアーカイブ

EMC InfoArchiveプラットフォームは、このような問題を解決するように設計されています。 ストレージシステム（NASまたはSAN）とソフトウェアアーカイブプラットフォームの組み合わせである、柔軟で強力なエンタープライズクラスのアーカイブプラットフォームです。



InfoArchiveの利点は次のとおりです。

• オープンXMLおよびOAIS （オープンアーカイブ情報システム）標準を含む国際標準のサポート
• 保存データの高度なセキュリティ、
• 大量の構造化および非構造化データを管理する便利さ、
• 広範な設定およびスケーリング機能も備えています。

InfoArchiveは、次のコンポーネントで構成されています。

• Webアプリケーション ：システムのほとんどの設定と機能に簡単にアクセスできるメインアプリケーション。
• サーバー ：Webサーバーのアーカイブサービス。
• XMLリポジトリ（xDB） ：InfoArchive Serverのストレージサービス。 xDBデータベースはInfoArchiveディストリビューションに含まれており、カーネルの一部として自動的にインストールされます。
• シェル[オプション] ：管理タスクの実行、データの追加、オブジェクトの管理とクエリのためのコマンドラインツール。
• データを追加するためのフレームワーク（オプション） 。

高レベルInfoArchiveアーキテクチャ：







セキュリティ、ライセンス、およびその他の考慮事項に応じて、InfoArchiveは単一のホストにインストールするか、複数のホストに分散できます。 ただし、一般的に、ストレージを作成するときは、最も単純なアーキテクチャを使用することをお勧めします。これにより、データ転送の遅延を減らすことができます。



InfoArchiveの論理アーキテクチャは次のとおりです。







サーバーは、RESTサービスのさまざまな機能（データの追加、検索、管理など）で垂直に拡張したり、「特化」したりできます。 これにより、必要に応じてアーカイブを増やすことで、あらゆる程度のスケーラビリティを実装できます。 また、負荷分散は、「クラシック」HTTPバランサーを使用して簡単に実行できます。

xDB

InfoArchiveの重要なコンポーネントの1つは、自動的に展開されるxDBデータベースエンジンです。 そのプロパティは、システム全体の機能を大きく左右するため、このコンポーネントを詳しく見てみましょう。



xDBでは、XMLドキュメントおよびその他のデータは、統合されたスケーラブルで高性能なオブジェクト指向データベースに保存されます。 このDBMSはJavaで記述されており、非常に大量のデータを高速で保存および操作できます。 xDBトランザクションシステムは、 ACIDルール（原子性、一貫性、分離、および耐久性）に準拠しています。



物理的には、各データベースは1つ以上のセグメントで構成されています。 各セグメントは1つ以上のファイルに分散され、各ファイルは1つ以上のページで構成されます 。



xDBの物理構造と論理構造の関係：







いわゆるページサーバーは、xDBのバックエンドアプリケーションサーバーとして機能し、データページをフロントエンドアプリケーション（クライアントアプリケーション）に転送します。 単一のアプリケーションサーバーからデータベースにアクセスする環境では、通常、ページサーバーがアプリケーションサーバーと同じJVM内で実行されるとパフォーマンスが向上します。



ページサーバーが他のタスクを実行する場合、 内部サーバーと呼ばれます 。 また、ページサーバーに追加のタスクが割り当てられていない場合は、専用サーバーと呼ばれます。 専用サーバーとクライアントとの間のTCP / IP接続を組み合わせることで、内部サーバーと比較してスケーラビリティが向上します。 アーカイブが大きいほど、ページサーバーにアクセスするフロントエンドアプリケーションの種類が多くなり、ページサーバーを専用サーバーにするための引数が増えます。

XDBクラスタリング

xDBは、 Apache Cassandraを使用する非共有アーキテクチャを使用して、単一ノードとクラスターの両方にデプロイできます。 Cassandraを理解する必要はありませんが、その基本を理解することでクラスターの構成と管理が容易になります。



xDBのクラスタリングは、水平スケーリングを使用して行われます。水平スケーリングでは、データは複数のサーバー（データノード）に物理的に分散されます。 共通のファイルシステムはなく、ネットワークを介して相互にやり取りします。 クラスターは、クラスターの構造に関する完全な情報を含む構成ノードも使用します。



単一ノードとクラスターの両方が論理データベースコンテナーとして機能します。 ページサーバーは、ノードのデータディレクトリ（1つ以上のデータベースを含む構造）で動作します。 各ノードには独自のページサーバーが含まれており、これらのサーバーはすべて構成ノードを介してクラスター化されています。



xDBクラスタリングのおかげで、InfoArchiveユーザーはビッグデータを高速で処理できます。 これは、大規模なWebサービスおよび通信プロバイダーのユーザートラフィックの永続的な記録に特に当てはまります。単一のノードが、ディスクサブシステムのプロセッサや容量に対して休むことができます。



クラスターの例：







xDBクラスターは、3種類のコンポーネントで構成されています。

• データノード 。 情報リポジトリ。 各ノードは個別のバックエンドサーバーとして機能し、他のクラスターメンバーからの要求をリッスンして受け入れることができます。 クライアントのドライバーにより、クラスターを単一ノードで構成されているかのように表示できます。 この場合、ドライバーは構成ノードを介してのみデータノードに直接接続する必要があります。
• 構成ノード 。 データベース、セグメント、ファイル、ユーザー、グループ、ノードごとのデータ配布など、すべてのデータノードに関する情報を含むメタデータを保存します。 構成ノードに障害が発生すると、クラスターは停止します。 したがって、これらのノードの内容は複製する必要があります。
• クライアントドライバー 構成ノードの1つでブートストラップURLを使用して初期化されたリモートxDBドライバー。 アプリケーションは、たとえば、新しいデータベースの作成、ノード間の情報の移動、新しいXMLドキュメントの追加などのために、クライアントドライバーを介してクラスターと対話します。 クライアントドライバーは、構成ノードからの情報に焦点を合わせて、対応するデータノードにデータ要求を自動的に送信します。

データの分割

xDBでのデータの配布は、取り外し可能なライブラリのレベルで実行されます。 切断されたライブラリは、クラスター内で移動されるデータブロックです。 通常、パーティション化に使用されます。 各ライブラリは、常に任意の1つのデータノードに格納またはバインドされます。 同時に、ノードは他のノードにリンクされたライブラリを保存できます。



ライブラリを無効にすると、クラスターのパフォーマンスの不均衡に対処できます。 たとえば、クラスター内の一部のデータノードが過負荷になると、一部のライブラリが他のノードに転送される場合があります。



InfoArchiveでのデータパーティション分割の可能なアプリケーション：

EMC InfoArchiveにEMC Isilonを使用する

EMC IsilonをInfoArchiveのストレージシステムとして使用できます。これは、エンタープライズ全体の機能を提供し、増大するアーカイブデータを効果的に管理できる水平方向に拡張可能なネットワークストレージシステムです。 EMC Isilonの基盤となるクラスターアーキテクチャにより、使いやすさと信頼性の両方を1つのシステムに統合できるだけでなく、ボリュームの線形成長とシステムパフォーマンスを確保できます。



最初は、システムは比較的小さくてもかまいませんが、時間の経過とともにサイズが大幅に増加する可能性があります。 EMC Isilonベースのソリューションを使用すると、単一のファイルシステムで18 TBからシステムの構築を開始し、最大50 PBまで拡張できます。 ボリュームの増加に伴い、クラスター内のノードの数のみが増加します。 単一の管理ポイントと単一のファイルシステムが保存されます。 したがって、EMC Isilonは単一の統合ストレージシステムとして効果的に使用でき、情報ストレージのライフサイクル全体で使用できます。 このアプローチにより、さまざまなストレージシステムの使用が回避され、システムの実装、保守、拡張、および近代化が簡素化されます。 その結果、単一のEMC Isilonソリューションの運用と保守のコストは、いくつかの従来のシステムで構成されるソリューションのコストよりも大幅に低くなります。



このようにして、EMC IsilonストレージはInfoArchiveアーカイブプラットフォームを効果的に補完します。



主な利点：

• SmartLockソフトウェアとの統合により、データベースレベルおよびストレージレベルでの単一書き込み、複数読み取り（WORM）スキームとの互換性が提供され、データの不注意な、時期尚早または悪意のある変更または削除が防止されます。
• コスト削減とインフラストラクチャの最適化。 IsilonのスケーラブルなNASは80％以上のストレージ使用率を提供し、Isilon SmartDedupeTMソフトウェアはストレージ要件をさらに35％削減します。
• EMC Federated Business Data Lakeに基づくEMC IsilonはHDFSプロトコルをサポートしているため、InfoArchiveのすべてのデータタイプをあらゆる種類のHadoopに提供できます。
• EMC Isilonを使用すると、ダウンタイムなしでストレージリソースをすばやく追加したり、データを手動で移行したり、アプリケーションロジックを再構成したりして、貴重なITリソースを節約し、トランザクションコストを削減できます。

人生の例

記事の最後に、InfoArchiveを使用して責任あるアーカイブシステムを作成する例をいくつか示します。



例1 同社は金融取引を処理し、データは圧縮XMLで12の同時ストリームでアーカイブされ、1日あたり約2,000万回の操作（約320 GBのXML）、360万/ 56 GB /時間、1017の操作/ 16 MB秒。







データを追加するときの負荷と検索パフォーマンスは、既にアーカイブされたオブジェクトの数に依存しません。 判別要求の処理には約1秒（1結果）、非判別-4秒（200結果）かかります。



例2 別の顧客では、データはAFP文書、構造化および非構造化データの形式でアーカイブされます。



1日あたりの平均/ピーク負荷：

• 50万件/ 400万件のドキュメント
• 2,000万件のレコード
• 50,000 / 70,000の検索操作

アーカイブにデータを追加するときのシステムパフォーマンス：

• 12の同時ストリームで1時間あたり150万のドキュメント（時間の約60％がAFPからPDFへの変換に費やされます）、
• または、10の同時ストリームで1時間あたり4,500万件の構造化レコード。

これは、プロジェクトで使用されるEMC Centeraストレージシステムの理論上の最大パフォーマンスの0.5％未満を表します。

• ドキュメントの平均検索時間は0.5秒です。
• ドキュメントを受信する平均時間は1.5秒です。
• 10億レコードの構造化データの平均検索時間は2.5秒です。
• 1時間あたり最大15,000回の検索。

おわりに

「春のパッケージ」の署名は、ITおよび通信部門全体にとって難しいテストです。 それでも、多数の高速で膨大なアーカイブを作成するという困難な作業は、 EMC InfoArchiveの助けを借りて解決できます。EMCInfoArchiveは、ストレージシステムとxDB DBMSに基づくソフトウェアプラットフォームであり、拡張性と構成機能が豊富です。