分析データベースについてシンプルで手頃な価格

ビッグデータテクノロジーへの関心は常に高まっており、用語自体の人気が高まっています。多くの人々がこのことについて話し、この分野の見通しと機会について話し合いたいと思っています。 ただし、この市場でどの企業が代表されているかを特定したり、これらの企業のソリューションを説明したり、ビッグデータソリューションの根底にある方法について話したりすることはほとんどありません。 データの保存と処理に関連する情報技術の分野は、これまでに大きな変化を遂げており、急速に成長している市場です。つまり、この分野の世界的に有名で小規模な多くの企業にとってのちょっとしたヒントです。 典型的な大企業は、アナリストがビジネス分析に必要とする会社の業務に関するデータ（取引、在庫、残高など）を格納する数十の業務データベースを持っています。 複雑で予期しないクエリは、運用データベースに予測できない負荷をかける可能性があるため、アナリストのクエリをそのようなデータベースに制限しようとしています。 さらに、アナリストは履歴データと、いくつかのソースからのデータを必要とします。 アナリストにデータへのアクセスを提供するために、企業はいわゆるデータストレージを作成および管理します。これは、レポートの準備、ビジネスプロセスの分析、意思決定システムのサポートを目的とした企業情報データベースです。 データウェアハウスは、マーケティングキャンペーンの効果を評価するためのソースとしても機能し、予測、新しい潜在的な市場や販売対象者の検索、以前の企業活動のあらゆる種類の分析を行います。 原則として、データウェアハウスは、一時的に構築されたサブジェクト指向のデータベースです。 すべてのデータの変更は経時的に監視および記録されるため、イベントのダイナミクスを追跡できます。 データストレージには長期データも保存されます-これは削除または書き換えが行われないことを意味します-新しいデータのみが入力されます。これは経時的なデータ変更のダイナミクスを調べるために必要です。 最後に、ほとんどの場合、データウェアハウスは複数のソースに統合されています。 データは複数のソースからデータウェアハウスに保存され、データウェアハウスに入る前に、このデータの整合性と信頼性がチェックされます。



2012年2月、調査およびコンサルティング会社のGartnerは、データウェアハウスの分析レポートを発表しました。 このレポートの一部として、データウェアハウスは、ウェアハウス内の1つ以上の論理データベースを管理および維持するDBMSとして定義されています。 さらに、データウェアハウスDBMSは、リレーショナルデータモデルをサポートする必要があります。また、サードパーティの分析アプリケーションがデータウェアハウスのデータを使用できるように、プログラムインターフェイスを介してデータへのアクセスを提供できる必要があります。 さらに、データウェアハウスDBMSには、異なる種類の負荷を相互に分離するメカニズムが必要です。また、同じデータインスタンス内のさまざまなユーザーアクセスパラメーターを管理する必要があります。



この分析レポートのデータウェアハウスに対するGartnerの要件の1つはリレーショナルデータモデルのサポートであったため、Apache Hadoopプラットフォームに基づくソリューションは、このレポートの検討対象の申請者リストに含まれていませんでした。 さらに、Apache Hadoopは、このレポートに示されている他のソリューションと比較して複雑な分析クエリの速度が遅いため、現代のデータウェアハウスが提唱する要件を完全には満たしておらず、明らかに、企業が提唱するタスクを果たすことができません最新のデータウェアハウス。 それにもかかわらず、Apache Hadoopプラットフォームは急速に成長しているプロジェクトであり、将来的には、このプラットフォームに基づくソリューションが他のメーカーのソリューションと一緒に代わりになるでしょう。 また、Apache Hadoopはリアルタイムデータ分析用に設計されていないことにも注意してください。これは、非構造化データを保存するためのソリューションであり、将来このデータを分析できるため、企業のデータウェアハウスのデータを迅速に分析できるという要件を満たしていません。 さらに、MapReduceパラダイムは、アナリストの前に発生するクラス全体の分析問題には適していません。 ただし、この記事で説明するほとんどのソリューションは、Apache Hadoopとの統合をサポートしています。



このレポートで行われた分析によると、ガードナーはいわゆるマジッククアドラントを編集し、この広場の分野に従って会社を配置しました。







この記事では、ガートナーのマジッククアドラントの右上隅にある企業の決定について詳しく説明します。 より正確に言うと、ソリューション自体ではなく、リードにブレークアウトしてこれらのプロパティを分析し、将来の適用可能性を評価できるソリューションのプロパティについてです。



データウェアハウジングの分野のリーダーに固有の共通機能を検討する前に、オラクルのソリューションに焦点を当てて、このソリューション全体が競合他社とは異なるため、詳しく見てみるのは理にかなっています。 データウェアハウスについては、ハードウェアプラットフォームExadata Database Machine X2-2を使用することをお勧めします。 ただし、これはハードウェア部分にすぎません。OracleDatabaseのライセンスは別途購入します。 最大のパフォーマンスとフォールトトレランスを実現するには、Oracle Real Application Clustersとパーティショニングのライセンスを個別に購入する必要があります。 Oracleは、この形式のデータストレージでは、OLTPシステムとDWソリューションの両方を同時に使用できると主張しています。 この声明は限られた数の場合に当てはまります。多くの場合、同じプラットフォーム上にさまざまなタイプの負荷が存在すると、両方の作業が最適になりません。 Exadataアーキテクチャは、2種類のサーバーへの分割を意味します。これらは、Oracle Databaseが配置されているExadata Database Server X2-2計算ノードと、データを格納するExadata Storage Serverノードです。 より正確に言うと、Exadata Storage ServerソフトウェアはExadata Storage Serverにあり、これにはいわゆる「セルサービス」が含まれています。これにより、「スマートスキャン」テクノロジーの使用が可能になります。 「スマートスキャン」は、データの単純な検索と取得のほぼすべての作業を引き受けるため、コンピューティングノードが不要な負荷から解放されます。 このアーキテクチャにより、Oracleは2種類のノード間で転送されるデータの量を減らして負荷を分散できますが、大きな欠点があるか、スケーラビリティが限られているため、Exadataプラットフォームを直線的にスケーリングできません。 これにより、特定の瞬間から新しいノードを追加しても生産性が大幅に向上することはありませんが、Oracleのハードウェアとソフトウェアは高価であるため、かなりコストのかかる操作になります。 したがって、データウェアハウジングの分野におけるOracleソリューションは、現時点では許容できるパフォーマンスを提供しているものの、企業の将来の期待に応えることはできないと結論付けることができます。 私の意見では、OracleがTeradataに次ぐ第2位であるという事実は、オラクルの積極的なマーケティングポリシーと、すでにOracleを使用している多くの顧客がデータベースをOracleハードウェアプラットフォームに統合することにより、メンテナンスコストと同時にパフォーマンスを失うことなくサポートします。 したがって、このレビューの他のリーダーが持つ機能はOracleにはありませんが、それにも関わらず、データベース開発の膨大な経験と膨大な数の顧客がリーダー部門に参加することを可能にしました。



Teradata Oracle Exadataレビューとその欠点の発見



SQL Server 2008 R2 DBMSビジネスデータウェアハウスおよびFast Trackデータウェアハウス用に販売されているMicrosoftについても同様です。 実際、これらのソリューションは競合他社に比べて十分な技術的機能を備えておらず、多くのマーケティング「チップ」を提供しています。 マイクロソフトの販売は、主にダンピングポリシー、およびこれらのソリューションに精通している多くの専門家が市場にいるというゲームに基づいています。そのトレーニングは、多くの時間、品質、メーカーサポートの可用性を必要としません。 また、Microsoftソリューションをほとんどの企業の既存のインフラストラクチャに迅速かつ効率的に統合できるという事実も重要です。 多数の顧客とパートナーおよび再販業者の発達したネットワークにより、マイクロソフトは現時点までに良好な販売を達成することができました。 それにもかかわらず、既存のマイクロソフトのソリューションは技術的に競合他社の背後にあるため、将来的に他のメーカーのソリューションと競合することはできないという考えに至ります。 これに加えて、Microsoftはその伝統を変更せず、多数のエラーを含む製品をリリースしますが、これらのエラーの修正を長時間遅らせますが、これもMicrosoft製品の配布には寄与しません。 2010年11月にリリースされたMicrosoft PDWソリューションには、産業用に使用されるシステムとしてのリコールはありません。 これは、だれもこのソリューションを多かれ少なかれ安定させ、企業の現在のニーズを提供できなかったことを示唆しています。



ただし、この記事では、他のリーダーの意思決定を先導する機能を正確に検討し、将来的に企業の増え続けるニーズを満たすことができることを望みます。



議論を始める前に、どのソリューションがソフトウェアの形で提供されており、どのソリューションが事前に構成されたハードウェアとソフトウェアの複合体の形で提供されているかを理解しておくとよいでしょう。 事前に構成されたハードウェアとソフトウェアの複合体により、セットアップと構成の手順が不要になり、実装に必要な時間が短縮されますが、コストが大幅に高くなります。 ソフトウェアの形で提供されるこのソリューションにより、ハードウェアプラットフォーム自体を選択することができ、設備に過剰な費用をかけることなく、将来新しいサーバーを追加することで生産性と容量を簡単に増やすことができます。 このリストでは、IBM Netezzaを強調表示できます。これは、IBMサーバーブレード上にある専用装置の形で提供されます。 これは、IBMから正確に言えば、製造業者の依存関係、つまり 拡張が必要な​​場合は、IBMに連絡して、追加の機器とライセンスを購入する必要があります。 さらに、IBM Netezzaの拡張プロセスは簡単ではなく、長い移行プロセスが必要です。その間、システムをダウンタイムにする必要があります。これはダウンタイムと時間の損失につながります。 ベンダー依存関係のメモは、OracleおよびTeradataソリューションにも有効です。 一部のソリューションは、ハードウェアとソフトウェアの両方で提供できます。

Dwh	ソフトウェア	ハードウェア
EMC Greenplum	X	X
HP Vertica	X
IBM InfoSphere Warehouse（DB2）	X
IBMネテッツァ		X
Microsoft SQL Server 2008 DBMS R2 BDW		X
Microsoft SQL Server 2008 DBMS R2 PDW		X
Microsoft SQL Server 2008 DBMS R2 FTDW		X
Oracle Exadata		X
Sybase IQ	X
Teradata Database 14		X

ここで、Microsoftソリューションは本質的に1つの前駆体の異なる種類である-Microsoft SQL Server 2008 DBMS R2であり、一般に、それらが提供されるハードウェアプラットフォーム（HPおよびDellとは異なるサーバー）、および一部のソフトウェアの追加のみが異なることを明確にする必要があります機能。 IBM InfoSphere Warehouseは、それぞれDPF（Database Partitioning Feature）機能を備えたDB2 10 LUW（Linux、Unix、Windows）であり、DB2 10と同じ機能を備えていますが、それらに加えて、MPPアーキテクチャーを使用してデプロイできます。

MPPアーキテクチャ

大規模並列処理（MPP）は、多くのノードで構成される並列コンピューティングシステムのクラスであり、各ノードは他のノードから独立した自律ユニットです。 この定義がデータウェアハウスの分野に適用される場合、それに対する最良の用語は「分散データベース」という用語になります。 分散データベースの各ノードは、他のノードとは独立して機能する完全なDBMSです。 分散データベース自体は、通信ネットワークで接続された独立した独立したノードの集まりです。 このようなネットワークのすべてのデータは、ノード間で均等に分散されます。 ただし、各ノードは独自の一意のデータを論理的に格納しますが、単一のデータベースを提供します。 ユーザーにとって、分散データベースは、部分データベースに分割されず、全体のように見えます。 分散DBMSにアクセスする場合、クエリはすべてのデータベースノードによって並行して実行され、独自の一意のデータでのみ検索と選択を実行します。これにより、データへのアクセス速度が大幅に向上します。 このようなアーキテクチャの利点は明白です。線形のスケーラビリティであり、安定した予測可能なパフォーマンスパラメータとシステム開発を提供します。 アーキテクチャに関するデータウェアハウスの分野では、標準ハードウェアで大量の情報を処理できるので、将来MPPアーキテクチャに基づいたソリューションしか存在しない傾向があります。 欠点も明らかです-ACIDの機能要件を満たすために、システムは各ノードから応答を受信する必要があるため、ノード間の通信ネットワークは高い帯域幅とフォールトトレランスを備えている必要があります。 実際には、最新のデータウェアハウスには現在のデータ転送標準（10ギガビット）で十分であり、100ギガビット標準の導入により、ディスクサブシステムがボトルネックになるため、ノード間の転送速度の問題は完全に解消されます（インメモリDBはRAMを使用してデータを保存します）。



データウェアハウスのMPPアーキテクチャの分野の先駆者はTeradataであり、1984年にそのようなアーキテクチャを備えた最初のシステムを導入しました。 それ以来、Teradataは長い道のりを歩んできており、この分野で多くの有用な経験を蓄積しており、当然のことながらリーダーです。 2000年代には、他のメーカーの同様のアーキテクチャを備えたソリューションが登場しました。これらは、EMC Greenplum、HP Vertica、Sybase IQ、IBM Netezza、IBM InfoSphere Warehouse、Microsoft PDWです。 MPPアーキテクチャは、何も共有せず、すべてを共有するという2つの品質で存在できることに注意する必要があります。 前者の場合、各ノードはシステムリソースを他のノードと共有せず、必要なリソースを個別に割り当てて使用します。 2番目のケースでは、ノードは共有リソースを使用し、必要なリソースを取得するメカニズムを参照します。 各アプローチには長所と短所があります-何も共有しないと、すべてのリソースを十分に効率的に使用できず、いずれかのリソースがアイドル状態のままになります。 共有すべてはリソースをより効率的に利用しますが、共有リソースを使用するときはプロセス間調整メカニズムが必要であり、リソースを割り当てるときにそのような調整に必要な余分な時間であふれます。 システムリソースとして、RAMおよびディスクサブシステムがここで動作します。 OracleとMicrosoftは、それぞれの設計でSMP（対称型マルチプロセッシング）アーキテクチャを使用して独自の方法を取りました。 このアーキテクチャの特徴は、複数のプロセスが単一のデータベースで機能することです。 データアクセスの速度を上げるために、OracleとMicrosoftは、パーティション分割を使用し、テーブルを複数の論理セクションに分割し、それによってデータを小さな断片に分割することを推奨しています。 このアプローチは、テーブル内のデータのごく一部を選択する必要がある場合に役立ちますが、データウェアハウスの従来の「スター」または「スノーフレーク」スキームである分析にテーブルに含まれるデータのほとんど（いわゆるフルスキャン）を使用する必要がある場合は無効です「必然です。 理解を深めるために、各決定の根拠となる原則について、表を示します。

Dwh	SMP	MPP
		何も共有していない	すべてを共有
EMC Greenplum		X
HP Vertica		X
IBM InfoSphere Warehouse（DB2）		X
IBMネテッツァ		X
Microsoft SQL Server 2008 DBMS R2 BDW	X
Microsoft SQL Server 2008 DBMS R2 PDW		X
Microsoft SQL Server 2008 DBMS R2 FTDW	X
Oracle Exadata	X
Sybase IQ			X
Teradata Database 14		X

表からわかるように、ほとんどのメーカーは、システムリソースの一部を利用せず、アイドル状態にできるという事実にもかかわらず、何も共有しないより効率的なバージョンを使用することを好みます。 そのMPPアーキテクチャは、線形のスケーラビリティを提供し、絶えず増大する要件に応じてデータウェアハウスの容量を増やすことができるため、データウェアハウスに最適です。 ただし、ガートナーのマジッククアドラントの右上のセクターにある多くのソリューションでは、データアクセスの速度を向上させ、アナリストにできる限り迅速に提供するのに役立つ別の特性があります。

カラム収納

, Sybase, Sybase IQ 1996 – , . , . OLTP , , (insert/update), , , . , OLTP , , . , , , 10 , , , 10 , , 7 . , , , , . , , , . DWH – Oracle, Microsoft IBM - , , - . , . , , EMC Greenplum Teradata, , .. , . , , OLTP, .. «/» .



, :

DWH	Row-oriented	Column-oriented
EMC Greenplum	X	X
HP Vertica		X
IBM InfoSphere Warehouse (DB2)	X
IBM Netezza	X
Microsoft SQL Server 2008 DBMS R2 BDW	X
Microsoft SQL Server 2008 DBMS R2 PDW	X
Microsoft SQL Server 2008 DBMS R2 FTDW	X
Oracle Exadata	X
Sybase IQ 15		X
Teradata Database 14	X	X

, Sybase IQ . Sybase IQ , , . Sybase IQ 15 , Fast Projection Default Index. , Sybase IQ, 10 . , , , , .. . , , Sybase IQ , , , . , , Sybase IQ , .



HP Vertica, (projections), , Oracle, , . HP Vertica, , , , , . , HP Vertica, , , , – , . , , , HP Vertica . , HP Vertica .



, HP Vertica, . , , HP Vertica – Write-Optimized Column Store (WOS) Read-Optimized Column Store (ROS). , ROS WOS, Tuple Mover , ROS. , , . , HP Vertica – , .. – , WOS, , Tuple Mover, ROS.



– external tables, , . Oracle Exadata, IBM InfoSphere Warehouse, IBM Netezza, EMC Greenplum Sybase IQ. EMC Greenplum , Oracle Exadata - SMP . , – IBM Netezza (Zone Maps), — Sybase IQ, IBM DB2 , , .



Microsoft SQL Server-a SQL Server Integration Services (SSIS), , , Data Transformation Services (DTS), SQL Server . , , «Integration Services Package», . DTS Microsoft SQL Server 2000, , ( «», ), .



/ , Teradata. Teradata Parallel Transporter, , / , , .

まとめ

Gartner . , . , , , , SQL. , , :



HP Vertica ,



IBM Netezza , Full Scan, , -



. , , . , , , .



, . Teradata EMC Greenplum. MPP shared nothing, ( ), . , , , , .



Teradata - Oracle Exadata, .. . Teradata , , . Teradata , Teradata , .



EMC Greenplum , - , HP Vertica IBM Netezza, , , Greenplum , HP IBM. EMC, , Greenplum , . , , . EMC Big Data, , - – Data Science Summit 2012, EMC -. EMC Big Data , , . , EMC – , , Greenplum, . , , Greenplum , , Teradata, .



Gartner DWH