10月下旬に、HP Verticaの新しいバージョンがリリースされました。 開発チームは、BigData建設機器をリリースするという輝かしい伝統を継続し、Excavatorの新しいバージョンのコード名を付けました。



このバージョンのイノベーションを研究した結果、名前が正しく選択されたと思います。HPVerticaでビッグデータを操作するために必要なものはすべて既に実装されていますが、既存のもののバランスを取り、改善する必要があります。



このドキュメントの革新の完全なリストを参照してください ： http : //my.vertica.com/docs/7.2.x/PDF/HP_Vertica_7.2.x_New_Features.pdf



私の観点から最も重要な変更点について簡単に説明します。

ライセンスポリシーが変更されました

新しいバージョンでは、ライセンスの占有データサイズを計算するアルゴリズムが変更されました。

• 表形式データの場合、計算時に数値および日付時刻フィールドの区切り記号の1バイトは考慮されません。
• フレックスゾーンのデータの場合、ライセンスサイズを計算するとき、ロードされたJSONのサイズの1/10と見なされます。

したがって、新しいバージョンにアップグレードすると、ストレージライセンスのサイズが減少します。これは、数十テラバイトを占有する大規模なデータストレージで特に顕著になります。

RHEL 7およびCentOS 7の公式サポートを追加しました

これで、Verticaクラスターを最新のLinux OSにデプロイできるようになります。これにより、システム管理者は満足するはずです。

最適化されたデータベースディレクトリストレージ

Verticaでのデータカタログの保存形式は、多くのバージョンでまったく同じです。 データベース自体のデータだけでなく、データベース内のオブジェクトの数とクラスター内のノードの数も増加しているため、負荷の高いデータウェアハウスの効率性の問題を解決できなくなりました。 新しいバージョンでは、ディレクトリのサイズを削減するために最適化が実行されました。これは、ノード間の同期とクエリ実行時の操作の速度にプラスの影響を与えました。

Apacheソリューションとの統合の改善

Apache Kafkaとの統合を追加：





このソリューションにより、Kafkaを介してリアルタイムでストリームのロードを整理できます。この製品では、JSONのストリームからデータを収集し、VerticaストレージのFlexゾーンに並行してロードします。 これらすべてにより、高価なソフトウェアや独自のETLワークロードのリソースを集中的に開発することなく、ストリーミングデータのダウンロードを簡単に作成できます。



また、Apro HDFSからAvro形式でファイルをダウンロードするためのサポートが追加されました。 これは、HDFSにデータを保存するための非常に一般的な形式であり、以前はそのサポートが本当に不足していました。



さて、VerticaとHadoopの作業は顧客の間で絶え間ない現象となっているため、VerticaにHadoopを使用した別の作業パッケージをインストールする必要がなくなり、すぐに組み込まれます。 新しいバージョンをインストールする直前に、Hadoopとの古い統合パッケージを削除することを忘れないでください！

Python用のドライバーが追加されました

Pythonには、HP Verticaによって公式にサポートされているVertica用の独自のフル機能ドライバーがあります。 以前は、Pythonの開発者はODBCドライバーに満足しなければならず、不便と追加の困難が生じました。 これで、Verticaを簡単かつ簡単に使用できます。

JDBCドライバー機能の改善

1つのセッションで複数のクエリ（複数のアクティブな結果セット）を同時に実行する機能が追加されました。 これにより、セッションは、異なるセクションで複雑な分析クエリを作成し、必要なクエリを同時に起動し、進行中にデータを返します。 セッションがまだサーバーから取得していないデータは、その側でキャッシュされます。



また、Verticaでハッシュ関数を呼び出すのと同様に、フィールド値のハッシュを計算する機能を追加しました。 これにより、データウェアハウステーブルにレコードをロードする前であっても、指定したセグメンテーションキーによって配置されるノードを計算できます。

クラスターノードの回復プロセスの管理の強化

復元されたノードの回復テーブルの優先度を設定できる機能が追加されました。 これは、クラスターの回復のバランスを自分で調整する必要がある場合に役立ちます。最初に復元するテーブルと、最後に復元するほうが適切なテーブルを決定します。

新しいバックアップエンジン機能を追加

• ローカルホストノードにバックアップできます。
• 完全バックアップまたはオブジェクトバックアップからスキーマまたはテーブルを選択的に復元できます。
• COPY_PARTITIONS_TO_TABLE関数を使用すると、同じ構造を持つ複数のテーブル間で共有するデータストレージを整理できます。 パーティションデータがテーブルからテーブルにコピーされた後、コピーされたパーティションの同じROSコンテナを物理的に参照します。 これらのパーティションテーブルに変更が加えられると、さらにそれぞれのバージョンに変更が加えられます。 これにより、テーブルパーティションのスナップショットを他のテーブルに使用して使用できるようになり、コピーされたデータをディスクに保存するコストをかけずに、元のテーブルの元のデータが高速でそのまま維持されることが保証されます。
• オブジェクトの回復では、復元されたオブジェクトが存在するときの動作を指定できます。 Verticaは、データベースにまだない場合は作成し、存在しない場合は復元せず、バックアップから再作成するか、バックアップ名テーブルの名前とその日付にプレフィックスを付けて既存のオブジェクトの隣に新しいオブジェクトを作成します。

オプティマイザーのパフォーマンスの改善

HASH JOINメソッドを使用してテーブルを結合する場合、結合された両方のテーブルに大量のレコードがあると、結合処理プロセスにかなり時間がかかる可能性があります。 実際、外部結合テーブルに値のハッシュテーブルを構築してから、内部結合テーブルをスキャンして、作成されたハッシュテーブルでハッシュを探す必要がありました。 現在、新しいバージョンでは、ハッシュテーブルのスキャンが並列化されているため、この方法を使用したテーブルの結合速度が大幅に向上するはずです。



クエリプランの場合、リクエストでスクリプトヒントを使用してクエリプランスクリプトを作成することができます：結合テーブルの明示的な順序、結合とセグメンテーションアルゴリズム、クエリの実行時に使用できる、または使用できないリストの投影を示します。 これにより、オプティマイザーからより柔軟に効果的なクエリプランを作成できます。 また、ヒントの説明を入力せずに一般的なクエリを実行するときにBIシステムがそのような最適化を利用できるように、Verticaはそのようなクエリのスクリプトを保存する機能を追加します。 テンプレートに保存されたテンプレートに一致するリクエストを実行するセッションは、すでに説明されている最適なリクエストプランを受信し、それに取り組みます。



計算フィールドまたは条件などで複数の計算を使用してクエリの実行を最適化するために、Verticaはクエリ式のJITコンパイルを追加します。 以前は、式の解釈が使用されていたため、クエリの実行速度が大幅に低下しました。たとえば、多数の類似した式が見つかりました。

拡張されたデータ整合性チェック機能

以前、Verticaは、テーブルの制限を記述するときに、データのロードおよび変更時にNOT NULL条件のみをチェックしていました。 すべてのPK、FK、およびUK制限は、単一のDML INSERTおよびUPDATEステートメント、および操作アルゴリズムがPKおよびFK制限の整合性に直接依存するMERGEステートメントでのみチェックされました。 制限に違反するレコードのリストを発行した特別な機能を使用して、すべての制限の値の整合性の違反をチェックすることができました。



これで、新しいバージョンでは、グループDMLステートメントのすべての制限のチェックと、必要なテーブルのみまたはすべてのCOPYのチェックを含めることができます。 これにより、ダウンロードしたデータの清浄度をより柔軟にチェックし、データのロード速度と整合性のチェックの容易さを選択できます。 ウェアハウス内のデータが信頼できるソースから大量に取得されたものである場合、そのようなテーブルに制限のチェックを含めないことが合理的です。 受信データの量は重要ではないが、その純度が問題である場合、ETLでそれらをチェックするメカニズムを個別に実装するよりも、チェックを有効にする方が簡単です。

非推奨の発表

残念ながら、製品開発は常に機能を追加するだけでなく、時代遅れのものも取り除きます。 Verticaのこのバージョンでは、それほど多くの陳腐化は宣言されていませんが、考慮すべき重要な広告がいくつかあります。

• Ext3ファイルシステムのサポート
• 結合前の投影サポート

両方の点は、Verticaのお客様にとって十分に重要です。 このサーバーを長期間使用している人は、古いext3 fsに簡単にクラスターを作成できます。 また、多くの人が結合前の投影法を使用して、コンステレーションのクエリを最適化することも知っています。 いずれにせよ、これらの機能のサポートの削除の明示的なバージョンは示されておらず、Verticaのクライアントは少なくとも数年はこれに備える時間があると思います。

新しいバージョンの印象をまとめる

この記事では、Verticaに追加されたものの半分しかリストしていません。 機能の拡張のボリュームは印象的ですが、すべてのデータウェアハウジングプロジェクトに関連するものだけをリストしました。 全文検索、地理位置情報、高度なセキュリティ、およびVerticaに実装されたその他のクールな機能を使用する場合、Verticaの新しいバージョンに関する記事またはドキュメントの冒頭で与えたリンク上のすべての変更を読むことができます。

https://my.vertica.com/docs/7.2.x/HTML/index.htm



私自身は、さまざまなプロジェクトで数十テラバイトのHP Verticaの大規模なデータウェアハウスを使用して、新しいバージョンの変更を非常に積極的に評価しています。 本当に欲しいものの多くを実装し、データウェアハウスの開発と保守を促進します。