ZeroMQ。第1章：はじめに

みなさんこんにちは！

「ZeroMQ。ZeroMQを使用して、さまざまなメッセージパターンを適用する方法を学びましょう」という本の無料翻訳を始めたいと思います。 多くの人がこの興味深いライブラリに対処したいと思うでしょう。



内容

• 第1章：はじめに
• 第2章：ソケットの紹介
• 第3章：ソケットトポロジの使用
• 第4章：追加のパターン

ZeroMQへようこそ！ この章はZeroMQの概要であり、読者にメッセージキューシステムとは何であるか、そして最も重要なこととしてZeroMQとは何かについての一般的な考えを提供します。 この章では、次のトピックについて説明します。

• メッセージキューを構成するものの概要
• ZeroMQを使用する理由と他のメッセージキューイングテクノロジーとの違い
• クライアント/サーバーアーキテクチャの基本
• 最初のパターンを考慮してください：要求-応答
• Cで文字列を処理する方法
• インストールされているZeroMQバージョンの確認

開始する

生涯を通じて人々は社会的に相互作用します。 プログラムはこのように動作します。 私たちはインターネットの世界に住んでいるので、プログラムは別のプログラムと通信する必要があります。 UDP、TCP、HTTP、IPX、WebSocket、およびアプリケーションを接続するための他のプロトコルがあります。

それにもかかわらず、そのような低レベルのアプローチは私たちの生活を複雑にします;私たちはもっとシンプルでより速い何かを必要とします。 高レベルの抽象化は速度と柔軟性を犠牲にしますが、低レベルの詳細を直接扱うことは容易ではありません。 ZeroMQは、ソリューションが何であるかを示し、低レベルのアプローチの速度で高レベルのメソッドを使用する便利さを提供します。

ZeroMQの理解を始める前に、まずメッセージキューイングの一般的な概念を見てみましょう。

メッセージキュー

メッセージキュー、または技術的にはFIFO（先入れ先出し）は、基本的でよく研究されたデータ構造の1つです。 優先度キューや双方向キューなど、さまざまなプロパティを持つさまざまなキューの実装がありますが、一般的な考え方は、データが表示されるか、発信者の準備が整ったときにデータがキューに追加されるということです。

ただし、メッセージキューは、何が発生してもメッセージが配信されることを保証します。 メッセージキューにより、疎結合コンポーネント間の非同期の相互作用が可能になり、厳密なキューシーケンスも提供されます。 送信されたデータをすぐに処理できないリソースが不足している場合は、それらをサーバー上のメッセージキューに入れて、クライアントの準備が整うまでデータを保存できます。







メッセージキューは、非同期通信をサポートするため、分散システムのスケーリングにおいて重要な役割を果たします。 同期システムと非同期システムの違いについて簡単に説明します。

通常の同期システムでは、タスクは一度に1つずつ処理されます。 タスクは、処理が完了するまで処理されないと見なされます。 これは、作業を整理する最も簡単な方法です。







このシステムにスレッドを実装することもできます。 この場合、各タスクの処理は並行して実行されます。







マルチスレッドモデルでは、スレッドは、単一のプロセッサまたは複数のプロセッサ/コア上のオペレーティングシステム自体によって制御されます。

非同期I / O（AIO）により、プログラムはI / O要求の処理中に実行を継続できます。 AIOは、リアルタイムアプリケーションには不可欠です。 AIOを使用すると、1つのスレッドで複数のタスクを処理できます。







これは従来のプログラミング方法であり、プロセスの開始後、その完了を待ちます。 このアプローチの欠点は、タスクの処理中にプログラムの実行をブロックすることです。 しかし、別のAIOアプローチがあります。 AIOでは、プロセスに依存しないタスクがまだ進行中です。 2番目の章では、AIOを詳しく見て、ZeroMQで使用します。

シングルスレッドまたはマルチスレッドのアプローチで、すべてのスレッドを処理するのではなく、メッセージキューを使用する必要があるのか​​疑問に思うかもしれません。 Google Imagesに似たWebアプリケーションがあり、ユーザーがいくつかのURLを入力できるようにしている状況を見てみましょう。 フォームを送信すると、アプリケーションは指定されたURLのすべての画像を表示します。 ただし：

• シングルスレッドキューを使用する場合、多数のユーザーの場合、プログラムはすべてのURLのデータを処理できません。
• キューにマルチスレッドアプローチを使用すると、アプリケーションがDDoS攻撃を受ける可能性があります
• ハードウェア障害が発生すると、すべてのURLのデータが失われます

この場合、URLデータをキューに追加して処理する必要があることがわかります。 そのため、メッセージキューシステムが必要です。

ZeroMQの概要

ここまでは、メッセージキューとは何かを検討し、それがこの本の目標、つまりZeroMQに至りました。 ZeroMQ Societyは、それを「ステロイドソケット」と定義しています。 正式には、ZeroMQは、開発者が分散および並列アプリケーションを作成するのに役立つメッセージライブラリとして定義されています。

ZeroMQについて最初に学ぶべきことは、ActiveMQ、WebSphereMQ、RabbitMQなどの従来のメッセージキューシステムではないということです。 ZeroMQは異なります。 彼女は、独自のメッセージキューシステムを作成するためのツールを提供します。 これはライブラリです。

ARMからIt​​aniumまでのさまざまなアーキテクチャで実行され、20以上のプログラミング言語でサポートされています。

シンプルさ

ZeroMQは簡単です。 非同期I / Oを実行できます。また、ZeroMQはI / Oストリームからのメッセージをキューに入れることもできます。 ZeroMQ I / Oストリームは、ネットワークトラフィックとの通信時に非同期で動作するため、残りはあなたのために行うことができます。 以前にソケットを使用したことがある場合、これは簡単ではないことを知っておく必要があります。 ただし、ZeroMQを使用すると、それらを簡単に操作できます。

性能

ZeroMQは高速です。 Second LifeのWebサイトでは、13.4マイクロ秒の連続遅延と1秒あたり最大4,100,000メッセージを取得できました。 ZeroMQは、マルチキャスト転送プロトコルを使用できます。これは、さまざまな方向にデータを送信するための効果的な方法です。

ハローワールド

メッセージキューとは何か、ZeroMQがどのようなものかを理解したら、コードの記述を開始します。 そしてもちろん、有名なHello Worldプログラムから始めます。

サーバーとクライアントがある状況を見てみましょう。 サーバーは、クライアントからhello



メッセージを受信するたびにworld



応答します。 サーバーはポート4040で実行されますが、クライアントはそれに応じて同じポートにメッセージを送信します。

以下は、 world



メッセージをクライアントに送信するサーバーコードです。

 #include <string.h> #include <stdio.h> #include <unistd.h> #include "zmq.h" int main (int argc, char const *argv[]) { void* context = zmq_ctx_new(); void* respond = zmq_socket(context, ZMQ_REP); zmq_bind(respond, "tcp://*:4040"); printf("Starting…\n"); for(;;) { zmq_msg_t request; zmq_msg_init(&request); zmq_msg_recv(&request, respond, 0); printf("Received: hello\n"); zmq_msg_close(&request); sleep(1); // sleep one second zmq_msg_t reply; zmq_msg_init_size(&reply, strlen("world")); memcpy(zmq_msg_data(&reply), "world", 5); zmq_msg_send(&reply, respond, 0); zmq_msg_close(&reply); } zmq_close(respond); zmq_ctx_destroy(context); return 0; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

以下は、 hello



メッセージをサーバーに送信するクライアントコードです。

 #include <string.h> #include <stdio.h> #include <unistd.h> #include "zmq.h" int main (int argc, char const *argv[]) { void* context = zmq_ctx_new(); printf("Client Starting….\n"); void* request = zmq_socket(context, ZMQ_REQ); zmq_connect(request, "tcp://localhost:4040"); int count = 0; for(;;) { zmq_msg_t req; zmq_msg_init_size(&req, strlen("hello")); memcpy(zmq_msg_data(&req), "hello", 5); printf("Sending: hello - %d\n", count); zmq_msg_send(&req, request, 0); zmq_msg_close(&req); zmq_msg_t reply; zmq_msg_init(&reply); zmq_msg_recv(&reply, request, 0); printf("Received: hello - %d\n", count); zmq_msg_close(&reply); count++; } // We never get here though. zmq_close(request); zmq_ctx_destroy(context); return 0; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

次の図に示すように、最初の基本アーキテクチャであるrequest-responseがあります。







コードを詳しく見て、どのように機能するかを理解しましょう。

まず、コンテキストとソケットを作成します。 zmq_ctx_new()



メソッドは新しいコンテキストを作成します。 スレッドセーフなので、コンテキストは複数のスレッドで使用できます。

zmq_socket(2)



は、特定のコンテキストで新しいソケットを作成します。 ZeroMQソケットはスレッドセーフではないため、作成されたスレッドでのみ使用する必要があります。 従来のソケットは同期ですが、ZeroMQソケットはクライアント側とサーバー側に1つのキューを作成し、非同期で要求/応答パターンを制御できます。 ZeroMQは、接続設定、再接続、切断、コンテンツ配信を自動的に整理します。 第3章では、従来のソケットとZeroMQソケットの違いをさらに詳しく調べます。

サーバーは、 ZMQ_REP



ソケットとZMQ_REP



ポートをバインドし、メッセージを受信するたびに要求の待機と応答を開始します。

この単純なhello worldプログラムは、最初の要求/応答パターンの使用例を示しています。

要求/応答パターン

要求/応答テンプレート（パターン）を使用して、クライアントから1つ以上のサーバーにメッセージを送信し、送信された各メッセージに対する応答を取得します。 これは、ZeroMQを使用する最も簡単な方法です。 回答のリクエストは適切なものでなければなりません。

答え

要求-応答パターンの応答部分は次のとおりです。

 void* context = zmq_ctx_new(); void* respond = zmq_socket(context, ZMQ_REP); zmq_bind(respond, "tcp://*:4040");
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

サーバーはZMQ_REP



ソケットを使用して、インターネットからメッセージを受信し、クライアントに応答を送信します。 fair-queue



戦略はZMQ_REP



からの着信メッセージのルーティングに有効であり、 last-peer



発信メッセージに有効です。

フェアキュー戦略

この本は完全にキュー専用です。 fair-queue



戦略について話すとき、私たちが何を意味するのかを知って驚くかもしれません。 これは、定義上公平なリソースを計画および割り当てるためのアルゴリズムです。







仕組みを理解するために、前の図のストリームはそれぞれ1秒あたり16、2、6、および8パケットを送信しますが、出力では1秒あたり12パケットしか処理できないとしましょう。 この場合、1秒あたり4パケットを送信できますが、ストリーム2は1秒あたり2パケットしか送信しません。 フェアキュールールでは、すべての出口が同時に空いていない限り、無料の出口は存在できません。 したがって、Stream 2で1秒あたり2パケットを転送し、残りの10個を残りのスレッドに分割することができます。

この着信メッセージルーティング戦略はZMQ_REP



使用しZMQ_REP



。 循環計画は、Fairキュー戦略を実装する最も簡単な方法であり、ZeroMQでも使用されます。

リクエスト

以下は、要求/応答パターンのクエリ部分です。

 void* context = zmq_ctx_new(); printf("Client Starting….\n"); void* request = zmq_socket(context, ZMQ_REQ); zmq_connect(request, "tcp://localhost:4040");
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

クライアントはZMQ_REQ



を使用してメッセージを送信し、サーバーから応答を受信します。 すべてのメッセージは、 round-robin



ルーティング戦略を使用して送信されます。 着信ルーティング戦略はlast-peer



です。

ZMQ_REQ



はメッセージをスローしません。 メッセージの送信に使用できるサービスがない場合、またはすべてのサービスがビジーの場合、 zmq_send(3)



操作が送信され、サーバーの1つがメッセージの送信に使用可能になるまでブロックされます。 ZMQ_REQ



、タイプZMQ_REP



およびZMQ_REQ



互換性があります。 第4章では、 ZMQ_ROUTER



ます。

メッセージ送信

このパートでは、リクエストとレスポンスのセクションを組み合わせて、誰かのリクエストに対するレスポンスがどのように発生し、どのようにレスポンスするかを示します。

 printf("Sending: hello - %d\n", count); zmq_msg_send(&req, request, 0); zmq_msg_close(&req);
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

クライアントは、 zmq_msg_send(3)



を使用してサーバーにメッセージを送信します。 これは別のメッセージであり、ソケットに送信します。

 int zmq_send_msg(zmq_msg_t *msg, void *socket, int flags)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

zmq_msg_send



は、メッセージ、ソケット、およびフラグの3つのパラメーターを受け入れます。

• メッセージパラメータはリクエスト中にリセットされるため、複数のソケットにメッセージを送信する場合は、コピーする必要があります。
• 成功したzmq_msg_send()
  
  
  
  リクエストは、メッセージがネットワーク経由で送信されたかどうかを示しません。
• フラグパラメータは、 ZMQ_DONTWAIT
  
  
  
  またはZMQ_SNDMORE. ZMQ_DONTWAIT
  
  
  
  いずれかZMQ_SNDMORE. ZMQ_DONTWAIT



ZMQ_SNDMORE. ZMQ_DONTWAIT
  
  
  
  は、メッセージを非同期的に送信する必要があることを示します。 ZMQ_SNDMORE
  
  
  
  は、メッセージが合成され、残りのメッセージが送信中であることを示します。

メッセージを送信した後、クライアントは応答を受信するまで待機します。 これはzmq_msg_recv(3)



を使用して行われます。

 zmq_msg_recv(&reply, request, 0); printf("Received: hello - %d\n", count); zmq_msg_close(&reply);
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

zmq_msg_recv(3)



は、 socket



パラメーターで指定されているように、ソケットからメッセージの一部を受信し、応答をmessage



パラメーターに保存します。

 int zmq_msg_recv (zmq_msg_t *msg, void *socket, int flags)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

zmq_msg_recv



は、メッセージ、ソケット、フラグの3つのパラメーターを受け入れます。

• 以前に受信したメッセージ（ある場合）は無効です
• フラグパラメーターはZMQ_DONTWAIT
  
  
  
  にすることができます。これは、操作を非同期的に実行する必要があることを示します

Cで文字列を操作する

各プログラミング言語には、文字列を処理する独自のアプローチがあります。 通常、Erlangには文字列自体はありません（文字列として表されます）。 Cプログラミング言語では、末尾がゼロの文字列。 Cの文字列は基本的に文字配列です。「\ 0」は文字列の終わりを意味します。 文字列エラーは一般的であり、多くの脆弱性が原因です。

Miller et al。（1995）によると、Unixの脆弱性の65％はゼロバイトやバッファオーバーフローなどの文字列エラーによるものであるため、Cでの文字列処理は慎重に行う必要があります。

ZeroMQを使用する場合、これはあなたの肩にかかって、他のアプリケーションが読むことができるようにメッセージが確実にフォーマットされます。 ZeroMQはメッセージのサイズのみを知っています。

通常、1つのアプリケーションで異なるプログラミング言語を使用する場合です。 行の最後にヌルバイトを追加しないプログラミング言語で書かれたアプリケーションが、何らかの方法でCで書かれたアプリケーションと通信する必要がある場合、奇妙な結果が得られます。

例のように、0バイトのworldなどのメッセージを送信できます。

 zmq_msg_init_data_(&request, "world", 6, NULL, NULL);
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ただし、Erlangでは、次のように同じメッセージを送信します。

 erlzmq:send(Request, <<"world">>)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Cで書かれたクライアントがErlangで書かれたサービスであるZeroMQに接続し、このサービスにメッセージをworld



送信するとします。 この場合、Erlangはworld



を出力しworld



。 nullバイトのメッセージを送信すると、Erlangは次の[119,111,114,108,100,0]



を出力します。 目的の行の代わりに、いくつかの数字を含むリストがありました。これらはASCIIコードです。 ただし、これは文字列として解釈されなくなりました。

ZeroMQの行は長さが固定されており、ゼロバイトなしで送信されます。 したがって、ZeroMQ文字列は、長さとともに数バイト（この例では文字列自体）として送信されます。

ZeroMQバージョンの確認

使用しているZeroMQのバージョンを知ることは非常に便利です。 場合によっては、不要な驚きを避けるために、正確なバージョンを知る必要があります。 たとえば、ZeroMQ 2.xとZeroMQ 3.xには、従来の方法を使用するなど、いくつかの違いがあります。 したがって、コンピューターにインストールされているZeroMQの正確なバージョンがわかっている場合は、廃止されたメソッドの使用を避けることができます。

 #include <stdio.h> #include "zmq.h" int main (int argc, char const *argv[]) { int major, minor, patch; zmq_version(&major, &minor, &patch); printf("Installed ZeroMQ version: %d.%d.%d\n", major, minor, patch); return 0; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

まとめ

この章では、メッセージキューとは何かを調べ、ZeroMQについても簡単に紹介しました。 ZeroMQが文字列と最初のパターン（要求/応答）を処理する方法を調べました。 また、彼らは最初のhello worldアプリも作成しました。



リンクからこの記事のリソースをダウンロードできます



ご清聴ありがとうございました！