おそらく、ビッグデータ愛好家がApache Hadoopプロジェクトについて話すのは面倒ではありません。 最近、このフレームワークは特に人気があり、Habréで頻繁に言及されているため、ごく最近、Mail.ruの専門家が検索エンジンのHadoopへの移行について話しました 。
そして、優れたソフトウェアシステムをさらに改善する方法は？ たとえば、ハードウェアコンポーネントを追加します。 これは、IntelがApache Hadoop向けIntelディストリビューションをリリースした方法とまったく同じです。IntelXeonプラットフォームでHadoopを「ローカライズ」し、管理と操作を容易にする多くの便利な機能を備えています。
図に示すように、メインのApache Hadoopアプリケーションに加えて、Intelパッケージには、Hadoopソフトウェア用のIntel Managerの追加コンポーネントが含まれており、新しいアプリケーションの展開、構成、監視を容易にします。 さらに、Apache Hadoopモジュール用のIntel Active Tunerは、システムパフォーマンスメトリックを自動的に構成します。 追加コンポーネントとして、Apache Hadoopグラフィカルレポートライブラリ用のIntel Graph Builderが利用可能です。
Intel Xeonプラットフォームのフレームワークの最適化により、2つの重要な結果が得られました。
- Intel XeonプロセッサのAES暗号化アルゴリズムのハードウェア実装により、HDFSファイルシステムのディスク操作を遅くすることなくデータ暗号化を実装。
- HadoopソフトウェアとXeon I / Oサブシステム間の最適な相互作用により、システム全体のパフォーマンスが大幅に向上します。 Intelによる内部テストの結果によると、同社の開発者は、最適化されていないバージョンと比較して、システムの5倍のオーバークロックを達成することができました。
インテルは、クラウドテクノロジーとストレージネットワークに関連するいくつかのプロジェクトを開発しています。 そのため、比較的最近、Intel Intelligent Systems Frameworkがリリースされました。これは、エンドデバイスからデータセンターに情報を収集、分析、送信するためのシステムのフレームワークです。 しかし、別のプロジェクトは旅の始まりに過ぎません。 2月末に、インテルコーポレーションとOpenStackプラットフォームのベンダーであるロシアの企業Mirantisは、ソフトウェア開発の分野での協力に関する契約に署名しました。 これは、将来的にはIntelプロセッサー向けのOpenStackの最適化も行われることを意味します。Hadoopの場合のように、これは確かに大きな利益をもたらすでしょう。