EagleMQの概要

EagleMQは、新しい高性能キューマネージャーです。 解決すべき主なタスクは、プロセス間でのメッセージの効率的な配布、プロセス間通信、およびリアルタイム通知です。











主な問題を解決するために、キュー、ルート、およびチャネルの3つの主なプリミティブがあります。



キュー

キューは最も基本的なプリミティブです。 キューを使用すると、メッセージを保存し、到着した順にクライアントに発行できます（FIFOの原則）。



各行は、使用前に宣言する必要があります。 キューが宣言されていない場合、キューを操作するときにコマンドセット全体を使用できません。 宣言を使用すると、クライアントによるキューの使用を追跡し、誰も使用しておらず、キューの作成時にAUTODELETEフラグが指定されている場合は自動的に削除できます。



メッセージの配信を保証できます。 保証付き配信を使用するには、キューからメッセージを取得するときに、.queue_popコマンドを使用して、ゼロ以外の戻りタイムアウト（ミリ秒単位）を指定します。 次に、メッセージを受信したら、.queue_confirmコマンドで配信を確認します（メッセージの一意の識別子を使用）。 指定された時間に配信が確認されない場合、メッセージは最も古いものとしてキューに返され、できるだけ早く次のクライアントに発行されます。



メッセージの有効期限を制限することもでき、有効期限が切れると自動的に削除されます。 保持期間は、キューに送信されるメッセージの属性です。



キューは、クライアントへの着信メッセージの非同期配信をサポートしています。 非同期配信を使用するには、フラグでサブスクリプションモードを示す.queue_subscribeコマンドを使用してキューにサブスクライブする必要があります。 キューには、メッセージと通知の2つのサブスクリプションモードがあります。

メッセージモードでは、メッセージとメッセージが到着したキューの名前を含むイベントがクライアントに送信されます。 この場合、メッセージは既にクライアントに送信されているため、キューには入りません。 ROUND_ROBINフラグを使用してキューが作成された場合、メッセージはすべてではなく毎回1つのクライアントにのみ送信されます。 ラウンドロビンアルゴリズムは、クライアントにメッセージを配信するために使用されます。

通知モードでは、このモードを使用してキューにサブスクライブしたすべてのクライアントが、キュー名のみを含むメッセージを送信します。 このイベントは、メッセージが誰かに送信され、キューに入らなかった場合でも、このモードでキューのすべてのサブスクライバーに送信されます。

.queue_unsubscribeコマンドを使用して、非同期メッセージ配信の購読を解除できます。



キューを作成するときに、キューの名前、保存できるメッセージの最大数、メッセージの最大サイズとフラグが示されます。

メッセージの最大数により、制限に達するとキュー内の新しいメッセージの受信を停止できます。

最大メッセージサイズを使用すると、サイズの大きいメッセージの送信を禁止できます。 このパラメーターに2147483647を超える値を指定することはできません。



キューは、AUTODELETE、FORCE_PUSH、ROUND_ROBIN、DURABLEの4つのフラグをサポートしています。



AUTODELETEフラグは、誰にも宣言されておらず、サブスクライバーもいないキューを自動的に削除するために使用されます。



FORCE_PUSHフラグを使用すると、メッセージの最大数に達したときにメッセージをキューに送信できます。 これは、新しいメッセージを保存するために古いメッセージを削除することにより実現されます。



ROUND_ROBINフラグを使用すると、毎回1人のサブスクライバーにのみメッセージを送信できます（上記の説明を参照）。



DURABLEフラグは、キューが永続的であり、リポジトリ内のすべてのメッセージとともに保存できることを示します。



キューを操作するためのコマンドのリスト：

• .queue_create（名前、max_msg、max_msg_size、フラグ）
• .queue_declare（名前）
• .queue_exist（名前）
• .queue_list
• .queue_rename（from、to）
• .queue_size（名前）
• .queue_push（名前、メッセージ）
• .queue_get（名前）
• .queue_pop（名前、タイムアウト）
• .queue_confirm（名前、タグ）
• .queue_subscribe（名前、フラグ）
• .queue_unsubscribe（名前）
• .queue_purge（名前）
• .queue_delete（名前）

ルート

ルートは、キューを使用するための補助プリミティブです。 ルートを使用すると、キューを特定のキーに関連付けて、高速で効率的なメッセージ配信を整理できます。



キューをキーに関連付けるには、.route_bindコマンドを使用します。 コマンド.route_pushは、メッセージをルートに送信します。



キーによってメッセージをルートに送信するときに複数のキューが接続されている場合、メッセージはコピーされないため（参照カウンター）、コマンドの実行を高速化し、サーバーのメモリ消費を削減できます。



ルートは3つのフラグをサポートします：AUTODELETE、ROUND_ROBIN、DURABLE。



AUTODELETEフラグは、キーによるキューへのリンクがない場合、ルートを自動的に削除するために使用されます。



ROUND_ROBINフラグを使用すると、ルートでメッセージを受信して​​、キーで接続された1つのキューのみにメッセージを送信できます。 メッセージをキューに分散するために、ラウンドロビンアルゴリズムが使用されます。



DURABLEフラグは、ルートが永続的であり、リポジトリ内のすべてのキーとともに保存できることを示します。



ルートを操作するためのコマンドのリスト：

• .route_create（名前、フラグ）
• .route_exist（名前）
• .route_list
• .route_keys（名前）
• .route_rename（from、to）
• .route_bind（名前、キュー、キー）
• .route_unbind（名前、キュー、キー）
• .route_push（名前、キー、メッセージ）
• .route_delete（名前）

チャンネル

チャネルは、顧客にリアルタイムでメッセージを便利に配信するためのプリミティブです。



作業の原則は、クライアントが.channel_subscribeコマンドを使用して特定のトピックにサブスクライブできることです。 別のクライアントからチャネルにメッセージを送信する場合、.channel_publishチームは、このトピックにサブスクライブしているクライアントにメッセージを含むイベントを送信します。



.channel_psubscribeコマンドを使用して、テンプレートごとにトピックのグループにサブスクライブすることもできます。 テンプレートの形式は、globスタイルのパターンです。



チャネルは3つのフラグをサポートします：AUTODELETE、ROUND_ROBIN、DURABLE。



AUTODELETEフラグは、サブスクライバーがない場合にチャネルを自動的に削除するために使用されます。



ROUND_ROBINフラグを使用すると、多くのサブスクライバーの1つだけにメッセージを送信できます。 ラウンドロビンアルゴリズムは、サブスクライバー間でメッセージを配布するために使用されます。



DURABLEフラグは、チャネルが永続的であり、ストレージに保存できることを示します。



チャネルを操作するためのコマンドのリスト：

• .channel_create（名前、フラグ）
• .channel_exist（名前）
• .channel_list
• .channel_rename（from、to）
• .channel_publish（名前、トピック、メッセージ）
• .channel_subscribe（名前、トピック）
• .channel_psubscribe（名前、パターン）
• .channel_unsubscribe（名前、トピック）
• .channel_punsubscribe（名前、パターン）
• .channel_delete（名前）

ユーザー

各EagleMQクライアントは、コマンドの実行を許可されるために認証される必要があります。 認証なしでは、使用できるコマンドは.disconnectのみです。



EagleMQは多くのユーザーを持つことができ、各ユーザーは独自の権限セットを持つことができます。



ユーザー権限にはカスタマイズの柔軟性があります。 任意のコマンド（.disconnectを除く）を無効にすることができるため、プリミティブも無効にできます。



これは多くの場合に役立ちます。 たとえば、サーバーをタスクキューとして使用し、タスクを作成する多くのクライアントと、タスクを処理する多くのクライアントがあります。 この場合、タスクを作成するクライアントは、.queue_pushコマンドのみの使用を許可することをお勧めします。 クライアントハンドラーは、.queue_popコマンドに対する十分な権限のみを持ちます。 これにより、データを保存し、クライアントにシステム内の役割を明確に割り当てることができます。

また、外部ネットワークで動作するようにサーバーを設定して（たとえば、地震警報のパブリックリアルタイム送信）、ユーザーが直接接続できるようにする場合にも役立ちます（この場合、ユーザーは.channel_subscribeおよび.channel_psubscribeに対する十分な権限を持っています）。



ユーザーを操作するためのコマンドのリスト：

• .user_create（名前、パスワード、perm）
• .user_list
• .user_rename（from、to）
• .user_set_perm（名前、perm）
• .user_delete（名前）

合計で、EagleMQには現在44チームがあります。 すべてのコマンドのリストはドキュメントにあります。



性能

EagleMQのパフォーマンスはかなり高くなっています。 厳密な包括的な測定と比較テストはまだ実施されていません。 これは主に、同様のシステムの中にはタスクを微調整する機能（RabbitMQなど）があり、これらのシステムでの私の経験が客観的に評価できないことによるものです。



他のシステムとは異なり、EagleMQはパフォーマンスに影響する追加の構成をほとんど必要としません。 また、プリミティブを選択する際にミスをしたり、間違って使用したりすることはほとんどありません。



テストには、libemqのベンチマークベンチマークユーティリティが使用されました。



テストの本質は、.queue_pushコマンドを使用してメッセージをキューに送信することです。 アプリケーションは50個のスレッドを使用します。 サーバーに接続するために、ローカルTCPソケットが使用されました。



Intel Core（TM）i5-2450M CPU @ 2.50GHz

クライアント	合計メッセージ	メッセージサイズ	時間秒	要求/秒
50	1,000,000	1000	9.20	108283.71
50	1,000,000	100	8.07	123931.09
50	1,000,000	10	8.05	124300.80
50	100,000	1000	0.95	105596.62
50	100,000	100	0.85	117096.02
50	100,000	10	0.81	123304.56

Intel Core（TM）i5-3470 CPU @ 3.20GHz

クライアント	合計メッセージ	メッセージサイズ	時間秒	要求/秒
50	1,000,000	1000	5.19	192566.92
50	1,000,000	100	4.47	223613.59
50	1,000,000	10	4.40	227169.47
50	100,000	1000	0.53	189393.94
50	100,000	100	0.46	219298.25
50	100,000	10	0.45	220750.55

持続性

各EagleMQプリミティブは永続的です。 通常、この機能をサポートするには、DURABLEフラグを使用してプリミティブを作成する必要があります。 また、構成ファイルでリポジトリーへのパスを指定し、保存間隔を指定する必要があります。



すべてのデータは常にRAMに保存されます。



ストレージメカニズムの動作原理は、特定の間隔でプロセス（フォーク）のクローンを作成し、必要なすべてのデータをファイルに書き込むことです。 クライアントの要求でデータを保存するには、コマンド.saveがあります。



可能な限り、すべての保存データはliblzfライブラリによって圧縮されます。



プロトコル

EagleMQには独自のバイナリプロトコルがあります。



そのようなシステム（AMQP、ZMQ）では、ほとんど常にバイナリプロトコルが使用され、要求を処理するときに高いパフォーマンスを実現するのに役立ちます。



もちろん、欠点もあります。

1. バイナリプロトコルは人間が読める形式ではありません。
2. スクリプトプログラミング言語でクライアントライブラリを実装するのは難しい場合があります。
3. 互換性のあるクライアントを使用する必要性 バイナリプロトコルが変更される場合があります。

EagleMQプロトコルは、メジャーリリースでのみ変更できます。



ロードマップ

1. 複数のコマンドを一度に送信するための拡張パケット集約サポート。 現在、そのようなサポートはすでに利用可能ですが、パケット損失があります。
2. バイナリプロトコルのドキュメント。
3. コマンドラインを使用してEagleMQを制御するCLIを作成します。
4. サイトwww.eaglemq.comの改良とメンテナンス。
5. 大小のエンジアンアーキテクチャのサポート。
6. すべての機能をテストでカバーします。

みんなコメントやメールであなたの質問をすることができます。 喜んでお答えします。



プロジェクトリポジトリ： GitHub