🕘 🌤️ 😝 Bagri-分散キャッシュ上に構築されたNoSQLオープンソースデータベース 🕺🏼 ⛳️ 🌊

今日は、バグリと呼ばれるオープンソースプロジェクトについてお話したいと思います。 Bagriは、分散ドキュメントデータベース、または、現在流行しているように、Javaで記述され、高可用性、フォールトトレランス、スケーラビリティ、トランザクションサポートなど、企業セクターで主に使用される要件を満たすように設計されたNoSQLデータベースです。

バグリのロゴ

Bagriを使用する意味があるのはいつですか

ワークフローがXMLに基づいている場合、まず最初にシステムを使用することをお勧めします。これらは金融、物流、保険、医療、その他の業界であり、参加者間で交換されるドキュメントの形式は企業のXSDスキームによって厳密に定義されています。このシステムでは、すべての受信ドキュメントを解析するのではなく、データベースにそのまま保存し、強力なXQuery 3.1ツールキットを使用して、保存されたドキュメントに対して効果的にクエリを実行できます。

Bagriは、Hazelcast、Coherence、Infinispanなどの分散キャッシュ製品の上に構築されています。 Bagriがすぐに企業部門の要件をサポートするのは、分散キャッシュ機能のためです。分散キャッシュは、データウェアハウスとしてだけでなく、このデータの分散処理システムとしても使用されます。これにより、大量のゆるく構造化されたデータを効率的かつ迅速に処理できます。システム内のトランザクションは、マルチバージョン同時実行制御を実装するアルゴリズムを使用して解決されます

データは、XMLまたはJSONドキュメントとしてシステムに配信されます。 Bagriに拡張機能を実装し、新しいドキュメント形式や外部ドキュメントストレージシステムで作業するためのプラグインを登録する機会もあります。補助bagri-extensionsプロジェクトには、チームが開発した拡張機能が含まれています（MongoDBへのコネクタは現在実装されています）。

XQueryはクエリ言語として使用されますが、将来的にはSQL構文もサポートする予定です。このタスクはプロジェクトgithubで利用できます。

Bagriはデータスキームの事前知識を必要としませんが、着信ドキュメントの解析中にデータの辞書（ドキュメント構造内の一意のパス）を「オンザフライ」で作成します。 T.O. Bagriは完全にスキーマレスであり、新しいタイプのドキュメントのためにテーブルを再構築する必要はありません。原則として、テーブルの作成/列の追加コマンドは必要ありません。

クライアントとサーバー間の通信用に、Bagriは2つのAPIを提供します。JSR225で宣言された標準XQJ APIと、XQJでは利用できない追加機能を提供する独自のXDM APIです。実際、XQJインターフェースは、リレーショナルデータベースを操作するときにJDBCドライバーによって提供される機能に類似しています。 XQJドライバーと一緒に、公式のXQJ TCKがシステムに付属しています。これを実行して、ドライバーがすべてのXQJテストに100％合格することを確認できます。

Bagriでの分散キャッシュ機能の使用方法

Bagriのすべてのドキュメントはスキームに保存されます。リレーショナルデータベース（RDBMS）で最も近いものはデータベースです。現在、 Hazelcastはシステムが構築される分散キャッシュとして使用され、各スキームに個別のHazelcastクラスターが割り当てられています。スキームは互いに独立して存在します。スキーム間でリソースに「闘争」はありません（Hazelcastでは、各クラスターは個別に構成され、独自のリソースプールを持っています）。

ドキュメントメタデータ（名前空間、ドキュメントタイプ、一意のパス）は適切なキャッシュに格納され、クラスターのすべてのノード間で複製されます。 T.O. 作業ノード上のメタデータを読み取るためのアクセスは可能な限り高速です。ドキュメント自体のデータはメタデータから分離され、分散キャッシュに保存されますが、1つのドキュメントに関連するデータは常に同じノードに保存されます。また、インデックス付きの値を保存するキャッシュ、コンパイルされたクエリ、トランザクションログ、およびもちろん実行されたクエリの結果用のキャッシュもあります。

Bagriクライアントは、クライアントキャッシュソフトウェアの内部メカニズムを使用してサーバーに接続します。 XQueryクライアント要求はジョブにパッケージ化され、Hazelcastプラットフォームが提供する分散ExecutorServiceを介してサーバーノードで実行されます。

結果は、専用の非同期チャネル（Hazelcastキュー）を介してクライアントに返されます

システム構成

システム構成全体は、ロールとユーザーを設定するaccess.xml、およびBagriスキームと拡張機能の設定を含むconfig.xmlの2つのファイルに保存されます。これらのファイルの形式とそれらで使用されるすべてのパラメーターの詳細な説明は、システムのインストールおよび構成の指示に記載されています。スキーマ設定は、ファイルで直接変更するか、Bagri管理サーバーにデプロイされたスキーマを管理するためのJMXインターフェイスを介して変更できます。

データの例

理論から実践に移り、JavaコードからXQJインターフェースを介してBagriを操作する方法を見てみましょう。

springコンテキスト内で、BagriXQDataSourceビンを宣言し、その4つの主要パラメーター（リモートサーバーアドレス、スキーム名、ユーザー名、パスワード）を構成します。

<bean id="xqDataSource" class="com.bagri.xqj.BagriXQDataSource"> <property name="properties"> <props> <prop key="address">${schema.address}</prop> <prop key="schema">${schema.name}</prop> <prop key="user">${schema.user}</prop> <prop key="password">${schema.password}</prop> </props> </property> </bean> <bean id="xqConnection" factory-bean="xqDataSource" factory-method="getConnection“/>

XQJ接続を取得します。

 context = new ClassPathXmlApplicationContext("spring/xqj-client-context.xml"); XQConnection xqc = context.getBean(XQConnection.class);

次に、テキストファイルを読み取り、それに基づいてBagriに新しいドキュメントを作成します。

 String content = readTextFile(fileName); String query = "declare namespace bgdm=\"http://bagridb.com/bagri-xdm\";\n" + "declare variable $uri external;\n" + "declare variable $content external;\n" + "declare variable $props external;\n" + "let $id := bgdm:store-document($uri, $content, $props)\n" + "return $id\n"; XQPreparedExpression xqpe = xqc.prepareExpression(query); xqpe.bindString(new QName("uri"), fileName, xqc.createAtomicType(XQBASETYPE_ANYURI)); xqpe.bindString(new QName("content"), content, xqc.createAtomicType(XQBASETYPE_STRING)); List<String> props = new ArrayList<>(2); props.add(“xdm.document.data.format=xml"); //can be “json” or something else.. xqpe.bindSequence(new QName("props"), xqConn.createSequence(props.iterator())); XQSequence xqs = xqpe.executeQuery(); xqs.next(); long id = xqs.getLong();

上記のリクエストは、bgdm名前空間で定義された外部ストアドキュメント関数を呼び出します。この関数は、入力として3つのパラメーターを受け入れます。uriは、ドキュメントが保存される場所、ドキュメントのテキストコンテンツ、およびドキュメントを保存する機能の追加パラメーターを定義するオプションのオプションセットです。要求はクライアント側で検証され、パラメーターとともにサーバーに送信されます。

サーバー側では、受信ドキュメントに一意の識別子が割り当てられます。さらに、ドキュメントのコンテンツはドキュメントの指定された形式に従って解析され、パス/値のペアに分割されますが、一意のパスはすべてドキュメントパスの複製ディレクトリに格納されます。解析手順の最後に、このようなペアに分割されたドキュメントのコンテンツ全体が分散システムキャッシュに格納され、サービス情報を含むドキュメントヘッダーもキャッシュされます。インデックスがスキーマに登録されている場合、すべてのインデックス値もインデックスキャッシュに保存されます。ドキュメントが正常に保存されたことの確認がクライアント側に返送されます。

ドキュメントを安全にBagriに保存したら、システムに保存されているドキュメントにリクエストを送信する方法を見てみましょう。

XQJ接続を取得します。

 XQConnection xqc = context.getBean(XQConnection.class);

XQueryクエリを準備します。

 String query = "declare namespace s=\"http://tpox-benchmark.com/security\";\n" + "declare variable $sym external;\n" + "for $sec in fn:collection(\“securities\")/s:Security\n" + "where $sec/s:Symbol=$sym\n" + "return $sec\n"; XQPreparedExpression xqpe = xqc.prepareExpression(query);

検索パラメーターの値を設定します。

 xqpe.bindString(new QName("sym"), “IBM”, null);

サーバーでリクエストを実行します。

 XQResultSequence xqs = xqpe.executeQuery();

そして結果を見てください：

 while (xqs.next()) { System.out.println(xqs.getItemAsString(null)); }

このコードが実行されたときにサーバー上で何が起こるかについて話すのは同じくらい面白いと思います。

クエリはXQueryプロセッサ（現在はSaxon ）を通過し、クエリ実行ツリー（コンパイル済みクエリ、XQueryExpression）が形成されます。次に、指定されたパスに沿って、キャッシュされたデータに対する一連の単純な要求に変換されます。

 [PathExpression [path=/ns2:Security/ns2:Symbol/text(), param=var0, docType=2, compType=EQ]], params={var0=IBM}

これらの単純な要求は、分散システムキャッシュのすべてのノードで並行して実行されます。見つかったドキュメントは、さらに処理するためにプロセッサに配信されます。可能であれば、要求されたパスにインデックスが付けられている場合、インデックスが使用されます。プロセッサによる受信ドキュメントの最終処理の後、結果は専用の非同期チャネルを介してクライアントに送信されます。

システム拡張オプション

Bagriは、システムの動作を拡張する豊富な機会を提供します。たとえば、ドキュメントの状態の変化（挿入/更新/削除の前後）にトリガーを接続し、これらのポイントで追加のビジネスロジックを実行できます。これには、システムに付属のサンプルの1つに示されているように、com.bagri.xdm.cache.api.DocumentTriggerインターフェースを実装するだけで十分です（samples / bagri-samples-extを参照）。

 public class SampleTrigger implements DocumentTrigger { private static final transient Logger logger = LoggerFactory.getLogger(SampleTrigger.class); public void beforeInsert(Document doc, SchemaRepository repo) { logger.trace("beforeInsert; doc: {}; repo: {}", doc, repo); } public void afterInsert(Document doc, SchemaRepository repo) { logger.trace("afterInsert; doc: {}; repo: {}", doc, repo); } public void beforeUpdate(Document doc, SchemaRepository repo) { logger.trace("beforeUpdate; doc: {}; repo: {}", doc, repo); } public void afterUpdate(Document doc, SchemaRepository repo) { logger.trace("afterUpdate; doc: {}; repo: {}", doc, repo); } public void beforeDelete(Document doc, SchemaRepository repo) { logger.trace("beforeDelete; doc: {}; repo: {}", doc, repo); } public void afterDelete(Document doc, SchemaRepository repo) { logger.trace("afterDelete; doc: {}; repo: {}", doc, repo); } }

そして、config.xmlファイルの回路にトリガーを登録します。

 <schema name="sample" active="true"> <version>1</version> <createdAt>2016-09-01T15:00:58.096+04:00</createdAt> <createdBy>admin</createdBy> <description>sample schema</description> <properties> ……… </properties> <collections/> <fragments/> <indexes/> <triggers> <trigger xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:type="ns2:javatrigger"> <version>1</version> <createdAt>2016-09-01T15:00:58.096+04:00</createdAt> <createdBy>admin</createdBy> <docType>/{http://tpox-benchmark.com/security}Security</docType> <synchronous>false</synchronous> <enabled>true</enabled> <index>1</index> <actions> <action order="after" scope="delete"/> <action order="before" scope="insert"/> </actions> <library>trigger_library</library> <className>com.bagri.samples.ext.SampleTrigger</className> </trigger> </triggers> </schema> </schemas> <libraries> <library name="trigger_library"> <version>1</version> <createdAt>2016-09-01T15:00:58.096+04:00</createdAt> <createdBy>admin</createdBy> <fileName>bagri-samples-ext-1.0.0-EA1.jar</fileName> <description>Sample extension trigger Library</description> <enabled>true</enabled> <functions/> </library> </libraries>

上記のように、トリガー実装を含むライブラリ（bagri-samples-ext-1.0.0-EA1.jar）を登録しました。ライブラリには、XQueryクエリから呼び出すことができるJavaで記述された追加の関数、および新しいデータ形式を処理したり、外部ドキュメントストレージシステムに接続するための拡張機能を含めることもできます。

システム導入オプション

Bagriは、次の方法で展開できます。

スタンドアロンJavaアプリ -限られたデータセットを処理する必要がある小さなアプリケーションに適しています。すべてが1つのスキームで1つのJVMのフレームワーク内で機能し、限られた（1つのJVMのメモリ）データボリュームで最大のパフォーマンスを提供します。
クライアントサーバー、分散データベース -クライアントは、XDM / XQJドライバーを介して分散ストレージシステムと通信します。メモリ内のリクエストの分散処理、無制限の量のデータをオンライン処理する機能
管理サーバー -統計を収集し、システムの作業ノードのステータスを監視するための追加機能を提供します。通常、別個のノードとしてデプロイされますが、これは必須コンポーネントではなく、システムはそれなしでも機能します。

ビジュアル管理インターフェース

Bagriの視覚的な管理インターフェイスは、現在VisualVMのプラグインとして実装されており、次のことができます。

ユーザーとロールを構成する
クエリで使用するために、外部Java関数ライブラリと追加のXQueryモジュールを接続します
スキームとそのコンポーネントの構成：コレクション、メタデータディクショナリ、インデックスとトリガー、スキームへのユーザーおよびロールアクセス
ドキュメントとコレクションを視覚的に表示する
XQueryクエリを実行し、組み込みコンソールから結果を取得します

このモジュールはまだ活発に開発されており、プラグインの機能は常に成長しています。エラーを検出した場合、および機能が欠落していることを提案する場合、プロジェクトの問題に常に含めることができます（そうすべきです！）。

管理コンソールのスクリーンショット-以下を参照

そこで、分散Bagriドキュメントデータベースの最も基本的な機能を調べました。このプロジェクトに興味を持ち、日常の仕事でそれを使ってみてください。

私の側では、近い将来、BagriをBaseX、MongoDB、Cassandraなどの他の類似製品と比較するトピック、および組み込みAPI（DataFormat APIおよびDataStore API）を使用してシステムを拡張する可能性について説明する記事をもう少し書いてみます。

Bagriは、他のオープンソースプロジェクトと同様に、このトピックに興味のあるJava開発者を必要とするため、この記事を読んでからプロジェクトに興味があれば、 Bagri Githubにようこそ、多くの興味深いタスクがあります。

Bagri-分散キャッシュ上に構築されたNoSQLオープンソースデータベース