非構造化データ分析とストレージの最適化

非構造化データ分析のトピック自体は新しいものではありません。 しかし、最近、「ビッグデータ」の時代に、この問題は組織により深刻に直面しています。 近年の保存データ量の倍増、そのペースの増加、保存および処理される情報の多様化により、企業データの管理タスクが大幅に複雑になっています。 一方で、問題はインフラストラクチャーの性質にあります。 そのため、IDCによると、企業のストレージの最大60％は、組織に利益をもたらさない情報で占められています（ストレージインフラストラクチャのさまざまな部分に散在する同じコピーが多数あります;誰も連絡を取っていない情報は、ある程度存在せず、何かが変わります;他の「企業のごみ」）。









一方、非効率的な情報管理は、個人データやその他の機密情報を公開されている情報リソースに保存する、不審なユーザー暗号化アーカイブの出現、重要な情報のアクセスポリシー違反など、ビジネスのリスクを高めます。



このような状況では、企業情報を定性的に分析し、ポリシーとビジネス要件の保存の不一致に迅速に対応できることが、組織の情報戦略の成熟度の重要な指標です。



ファイルデータ分析のトピックは、ファイル分析ソフトウェアの市場ガイドというタイトルで2014年9月にリリースされた別のGartnerドキュメントに捧げられています。 このドキュメントでは、分析ソフトウェアを使用するための次の典型的なシナリオを提供します。

1. ストレージの最適化。 最も典型的なシナリオ。 ファイル分析を実装する目的は、保存されているデータの量を減らし、それによってストレージの効率を高めることです。
   
   
   
   
2. ITインフラストラクチャの移行中に、不要なデータを特定して取り除きます。 多くの場合、データをクラウドに移行するプロジェクトによって開始されます。 コンテンツがスキャンされ、その結果に基づいて、ビジネスにとって重要で価値のあるデータが「クラウド」に「移動」し、残りは削除されます。
   
   
   
   
3. 分類。 このような分析プロジェクトの目的は、さまざまな基準に従ってオブジェクトをグループ化し、それらに一般的なポリシーを割り当て、保存された情報が持つ価値と潜在的なリスクを理解することです。
   
   
   
   
4. 標準および要件への準拠（準拠）。 関連部門の専門家は、重要なデータへのアクセスに関するポリシーを開発および実装できます。また、分析ソフトウェアに組み込まれた分類により、コンプライアンスを効果的に監視できます。
   
   
   
   
5. アクセスレベルを管理します。 ファイルおよびディレクトリへのユーザーアクセスのレベルとタイプに関する情報を取得することにより、個人データやその他の機密情報を不正アクセスから保護するための情報管理を実行できます。
   
   
   
   
6. 調査を自動化します。 分析ソフトウェアを使用すると、社内で進行中の調査に関連するオブジェクトをすばやく検索し、それらを特別なリポジトリに自動的かつ安全にコピーまたは移動できます。
   
   

この傾向に基づいて、Hewlett-Packardは非構造化情報の高度な分析のために、HP Storage OptimizerとHP Control Pointの2つのソフトウェアソリューションを市場に投入しました。 最初のソリューションは、主にデータストレージを担当する専門家を対象としています。 2番目のソリューションは、IT部門の専門家だけでなく、情報セキュリティ部門の従業員、コンプライアンスサービス、および組織内で情報を保存および使用する戦略を決定するマネージャーにとっても興味深いものです。



この記事では、両方の製品の技術概要を説明します。

HP Storage Optimizer：データを分析してストレージを最適化

HP Storage Optimizerは、非構造化情報のリポジトリ内のオブジェクトのメタデータを分析し、階層ストレージのポリシーを割り当てる機能を組み合わせています。





HP Storage Optimizerアーキテクチャ



HP Storage Optimizerの用語の情報源はリポジトリと呼ばれます。 さまざまなファイルシステムがリポジトリとしてサポートされ、MS Exchange、MS SharePoint、Hadoop、Lotus Notes、Documentumなどもサポートされています。 リポジトリへのコネクタの開発を注文する機会もありますが、現在製品ではサポートされていません。



HP Storage Optimizerは、独自の適切なコネクタを使用して、分析されたリポジトリにアクセスします。 コネクタからの情報は、Connector Framework Server（図では「CFS」と指定）と呼ばれるコンポーネントに送られ、さらに追加のメタデータで強化され、結果のデータがインデックス作成のために送信されます。 アプリケーションがコネクタと対話するときにフォールトトレランスと負荷分散を向上させるために、Distributed Connectorコンポーネントが使用されます。



メタデータは、HP Storage Optimizer Engine（最初の図では「SO Engine」）によってインデックス付けされ、MS SQLデータベースに配置されます。 HP Storage Optimizer Webアプリケーションを使用して、管理ポリシーの分析と割り当ての結果にアクセスします。



最適化の対象となる可能性のある情報を視覚化するために、HP Storage Optimizerは円グラフ（下図）を使用して、重複データ、めったに要求されない「不要な」データを表示します（ROT分析：冗長、廃止、自明）。 「低需要」と「不要」の基準は、各リポジトリの個別を含めて柔軟に構成できます。 円グラフに加えて、種類、追加の時間、頻度などによるデータの内訳を示すグラフを使用できます。すべての視覚化要素はインタラクティブです。 チャート（または列）の任意のカテゴリに移動して、関連データにアクセスできます。





HP Storage Optimizerのグラフィカルデータ分析



分析を実行できるメタデータのリストは非常に幅が広​​く、高精度の主題サンプルを実行できます。





HP Storage Optimizerのメタデータの例



HP Storage OptimizerおよびHP Control Point製品には、サーバーにプレビュー用の適切なアプリケーションをインストールすることなく、400を超えるさまざまなデータ形式を表示できるインデックス作成および視覚化エンジンが含まれています。 これにより、大量の多様な情報を分析するプロセスが大幅に簡素化および高速化されます。



データ分析の実行後、システム管理者には、データを削除または移動するためのポリシーを設定する機会が与えられます。 特定のデータサンプルのポリシーは、手動または自動で割り当てることができます。 HP Storage OptimizerおよびHP Control Pointに実装された強力な役割ベースの管理モデルは、リポジトリを操作し、リポジトリ内のデータを分析し、ポリシーをできるだけ柔軟に割り当てるための権限を発行する機能を提供します。

HP Control Point：データストレージのビジネスリスクを軽減する包括的な分析

実際、HP Control PointはHP Storage Optimizerの拡張バージョンであり、ストレージ最適化の問題を解決するためのツールだけでなく、企業情報のライフサイクルを保存および管理するためのポリシーを実装するためのツールも提供します。



この製品では、メタデータだけでなく、そのコンテンツによっても情報を分析できます。 さらに、データを分析し、それらと連携するポリシーを割り当てるための追加のメカニズムを実装します。





HPコントロールポイントアーキテクチャ



HP Storage Optimizerとは異なり、HP Control Pointは、HP IDOL（Intelligent Data Operating Layer）エンジン情報のインデックス作成とセマンティック分類を広範囲に使用します：視覚化、分類、タグ付けなど。分析対象のデータセットの「意味」を判断する機能に基づきます。形式、言語などに関係なく情報



特に、HP Control Pointでは、クラスターマップとスペクトログラフという2種類の情報の視覚化を追加で利用できます。 クラスターマップは、情報の「クラスター」の2次元画像です。 1つのクラスターは、同様の意味を持つ情報を組み合わせます。 したがって、クラスタマップを見ると、この情報の主要なセマンティックグループをすばやく理解できます。 クラスターマップはインタラクティブです。 特定のクラスターをクリックして、それらに含まれる情報にアクセスできるようにします。





HPコントロールポイントでのクラスターカードの外観



スペクトログラフは、さまざまな時点で取得された一連の情報クラスターであり、分析されたリポジトリ内の情報の意味が時間の経過とともにどのように変化したかをグラフィカルに追跡できます。









HPコントロールポイントでのスペクトログラムの外観



HP Control Pointには、高度な情報視覚化機能に加えて、分析された情報を分類する機能があります。 最初に、情報は自動的に分類されます-HP IDOLを使用して、システムのユーザーに意味の部分に分割されたデータの配列を提供します。 プライマリパーティションを受け取ったアナリストは、より正確な分類を行うことができます。 たとえば、特定のカテゴリに関連するアナリスト向けのファイルセットを使用して、このファイルセットのカテゴリを「トレーニング」し、より正確なカテゴリ化結果を取得します。 さらに微調整するには、ファイルの個別の重み、ファイル内のフレーズおよび個別の単語を使用して、「トレーニング済み」カテゴリのさまざまな情報単位の対応の程度を反映させることができます。 このような詳細は、たとえば、分析された情報を機密として分類するための詳細なルールを作成するために使用できます。



分析された情報を操作するためのポリシーについては、コピー、転送、削除に加えて、HPコントロールポイントでは次のオプションも利用できます。



-オブジェクトの「凍結」。 個々のオブジェクトへのアクセスをブロックして、不正な変更や削除を防止できます。



-ワークフロー（ワークフロー）の作成。 たとえば、分析対象のオブジェクトを転送または削除する前に、権限のある従業員または所有者に通知または承認を要求します。



-HP Records Manager企業記録管理システムへの安全な転送（たとえば、パブリックファイルサーバーで機密文書が不正に検出された場合）。 同時に、転送されたデータにはメタデータが付随します。メタデータは、必要なアクセス設定、プライバシーレベルなどを備えたHP Records Managerシステムでのドキュメント管理に使用されます。

おわりに

現在のレビューからわかるように、企業データの分析と管理の問題を解決するためのHP Storage OptimizerとHP Control Pointのアプリケーションの範囲は非常に広いです。 さらに、さまざまな言語（ロシア語を含む）でドキュメントを分析する可能性と、両方の製品のコンポーネントのスケーラブルなアーキテクチャにより、あらゆる規模および複雑さの組織の非構造化データ全体を分析する問題を効果的に解決できます。



投稿：Maxim Lugansky、テクニカルコンサルタント、データ保護およびアーカイブ、HP Big Data