HPE Vertica 8(Frontloader)を確認する

みなさんこんにちは、良い一日を。 8月30日に、HPEはVerticaの新しいバージョンのリリースを正式に発表しました。 新機能の膨大なリストの代わりに、既存の機能の拡張と最適化が最初に来るとき、製品はすでに成熟期に達していることに注意することができます。 特定の分野の製品やサービスとの緊密な統合も明確に観察されています。



どういう意味ですか?









まず、MS Azure Cloudとの統合です。 これにより、MSのクラウドでVertikを使用できるようになります。 最近、HPEとMSの間に大きな友情が見られます。 Azureに加えて、VerticaはVS Studioのサポートを拡張し、ADO.NETのドライバーの動作を改善しました。



VertikaとMSの友情は私にとって間違いなく喜ばしいことです。さらに発展することを願っています。



ジャングル









第二に、VerticaはHadoopの世界に食い込み続けています。 以前のバージョンでは、Vertikaは特定の形式のHDFSからしかデータをダウンロードできなかったため、徐々にORCやParquetなどのすべてのファイル形式で作業し、ファイルを外部テーブルとして接続し、データをROSコンテナーに直接HDFSに保存することを学びました。



新しいバージョンでは、HDFS、メタデータカタログ、およびこれらの形式の解析の処理速度が大幅に最適化されました。



VertikaはHadoop環境の一部になる可能性があるようですが、これでは十分ではありません。 バックアップのノード数と、Hadoopクラスター上に直接Verticaのクラスターを構築する機能により、新しいバージョンがVerticaの新しいタイプのライセンスを追加した理由です。



それはどのように見えますか:



画像






VerticaはHadoopクラスターで直接動作し、HDFSのデータに直接アクセスし、そのデータをHDFSに保存するという考え方です。 この場合、Verticaクラスターはノードの数ごとにライセンスされます。 HPEマネージャーは、ライセンスの価格がより良いものになると約束していますが、これまでのところ、ライセンスの価格はわかりません。 待って見てください。









Hadoopには、Sparkがあります。 新しいバージョンでは、Sparkの操作に対する完全なサポートが追加されています。 SparkからVertikaのテーブルにデータをコピーし、VerticaからSparkにデータを戻すことができます。









Apache Kafkaとの統合は、バージョン7.2からすでに追加されています。 ただし、KafkaとのVertikaコネクタの本格的な作業を妨げる多くの問題があることが判明しました。 バージョン8では、Kafkaを操作するためのライブラリの更新バージョンが投稿されています。 見つかった問題をすべて解決し、人々がケースを開くのをやめることを心から願っています。



機械学習









機械学習のサポートはバージョン7.2で登場しました。 ただし、それは「サイド」にありました-別のライブラリとして配置され、Verticaのメタデータと完全には統合されませんでした。 どうやら「トピックがなくなった」ようです。新しいバージョンでは、Machine Learningはサーバーにすぐに統合されるため、インストール後、メタデータレイヤーに完全に存在し、機能は標準の一部です。 この間違いなく有望な方向で、Vertikaがさらに発展し、研究することを願っています。



あらゆる種類のチップ









チップは驚くほど少ないです。 どうやら、Verticaのエンジニアの空想はついに枯渇しました。 楽観主義者の観点からは、これはおそらく悪いことではありません-新しいチップが少なく、バグが少ないです。



しかし、新しいバージョンには次のような興味深いことがあります:



•COPY_TABLEテーブルコピー関数。一部のテーブルから別のテーブルにデータをシャッフルできます。 興味深いことに、データを変更すると、各テーブルに異なるデータセットが設定されます。 これは、2つのテーブル間でのROSコンテナの一般的な使用により実現されます。 同様に興味深いのは、ライセンスの場合、Vertikaは、両方のテーブルのデータが物理的に1回だけ保存されている場合でも、各テーブルのボリュームを計算します。

•キーワードTABLESAMPLEがFROMセクションのSELECTに追加されました。これにより、指定された割合のデータをランダムなレコード順で返すことができます。

•IDLESESSIONTIMEOUTパラメーターを使用すると、長時間ハングし、何もしないセッションを撮影できます。 私は長い間そのようなパラメーターを夢見てきました。

•VerticaにアクセスするためのPython APIの新しいバージョンがリリースされました。 PythonのユーザーはVertikaと多くの仕事をしています。

•テキスト検索の多言語サポートが追加されました。 アジア言語でも解析をサポートすると主張している。 彼らがキリル文字を打ち負かすことを願っています。



結論として



最初に書いたように、私は記事の最後に同じことを書くことができます-進歩的な動きは主にクラウドとサービスとの統合のために観察されます。 Hadoopライセンスに関するVerticaについて詳しく知りたいと思います。 これは、主要な情報がHadoopで収集され、分析機能と機械学習を使用したさらなる作業のためにVerticaサーバーにアップロードされたタスクの興味深いオプションであるように思えます。



PS FrontLoaderの新しいバージョンの名前が、EasyLoader Vertにデータを配信するための製品の名前と一致していることは非常に喜ばしいことです。 そして、それよりも楽しいことですが、HFDSとVerticaの間のデータロードを管理するEasyLoaderを教えているとき、8番目のバージョンはHadupeでのVerticaの使用を拡張しました。 つまり、時間通りに。



All Articles