Gearman-キューサーバー：PHPプロジェクトでの使用

少し前までは、Gearmanキューサーバーを操作する一般的な原則を説明した素晴らしい記事がありました。 私はこの資料を続けて、具体的な応用の詳細を補足したいと思います：

-インストールとサーバー管理

-キュー管理-可能なことと方法

-Gearmanと連携するためのPECLおよびPEARのPHP拡張

-サーバー監視

-コード例

-バッチでのデータ転送

-PHPでの並列コンピューティングの編成



面白い？ カットをお願いします



資料の提示を進める前に、資料の出所を説明する必要があります。 これは、いくつかのプロジェクト（すべて低速のリモートサイトでの作業に関連する）での実用的なアプリケーションからのコンパイルであり、ドキュメントとディスカッションからの抜粋、いくつかの観察と抽象的な考察です。 もちろん、不正確、物議を醸す決定、物議を醸す考えがあるかもしれません-作者はどんな批判や訂正にも感謝するでしょう。

内容

Gearmanデータライフサイクル

Gearmanのインストールと制御

サーバー状態監視



ギアマンを再起動したときのキューの運命

キュー全体をリセットし、特定のタスクのキューをリセットします

ワーカーの再起動



Gearmanと連携するためのPECLおよびREARのPHP拡張

ナシNet_Gearman

ペクルギアマン

PECL Gearmanをインストールする



最も簡単なクライアントとワーカー（+ビデオ）

クライアントとの部分的なデータ転送と追加のデータ交換（+ビデオ）

バックグラウンドタスクと優先度

Gearmanを使用したPHPでの並列コンピューティング（+ビデオ）

Gearmanデータライフサイクル

詳細に入る前に、サーバーでの作業を再度説明します。

最も単純な例。 PHPでf-andを呼び出して実行する方法：







つまらない。 同じようになりましたが、キューサーバーを使用しています。







要するに、関数の結果/アクションを必要とするスクリプト（「クライアント」）は、関数の名前とその引数をサーバーに登録（登録）します-タスク（「タスク」）がサーバー上に作成されます。



この名前の関数（「worker」）のサーバーにハンドラーが登録されており、現在ハンドラーが空いている場合、処理用のデータと関数の名前がタスク（「job」）の形式で送信されます。

そのような関数のワーカーが登録されていないか、ビジーである場合、タスクはキューに入れられ、処理を待機します。



処理後、ワーカーは返すものをGearmanに渡します。 キューサーバーは、どのクライアントが同じ名前とそのようなデータでタスクを登録したかを調べ、ワーカーの結果をそれに送信します（クライアントがタスクをバックグラウンドとして登録しなかった場合です。タスクがバックグラウンドとして登録されている場合、クライアントには何も送信されません） 。



この動作原理からすぐに何が続きますか？



1. Gearmanの操作には、クライアント、タスク、ワーカー、ジョブの 4つのオブジェクトが関係しています 。 すべてのオブジェクトの説明はオフィスにあります。 PHPサイト 。



2.送信されたデータ-クライアントからサーバーへ、およびワーカーから返された両方-これは1行のみで、1行のみです。 複数の引数を渡す必要がある場合、または文字列ではなく-たとえば配列-シリアル化が必要です。



ただし、上記のすべては短い繰り返しです。 文書および既に公開されている資料。 ニュアンス。

Gearmanのインストールと制御

大きなニーズがある場合は、WindowsでGearmanサーバーを起動できます。Javaでの実装があります。

https://launchpad.net/gearman-java



しかし、Linuxでの作業を検討します（次の例はDebian用です）。

サーバーのインストールはスムーズに実行され、機能はありません。



aptitude install gearman-job-server



インストールが正常に完了すると、サーバーはetc / init.d / gearman-job-serverからシンプルで明確なコマンドで制御されます。

{開始| 停止| 再起動| 強制リロード}

サーバーのデフォルトのホストはlocalhost、ポートは4730です

サーバー状態監視

サーバーで何が起こっているのかを常に確認する必要があります。登録されているタスク、キューにあるタスクの数、各タスクに登録されているワーカーの数。

これは、次のコマンドを使用してコンソールから実行できます。

（エコーステータス）| netcat 127.0.0.1 4730

ギアマンを再起動したときのキューの運命

すぐに問題が発生します： hara-kiriで実行中のサーバーを再起動すると、実行中のサーバーのキューはどうなりますか？

デフォルトのインストールでは、キューはメモリに保存されます。サーバーを再起動すると、クライアントがサーバーに送信したすべてのタスクがキャンセルされ、サーバー上のすべてのワーカーの登録がキャンセルされます。 同時に、ワーカーに対して「サーバーとの接続が失われました」などの例外が生成されます。

キューはデータベースに保存でき、MySQL、PostgreSQL、SQLiteがサポートされています。 そのようなキューを整理する方法は、オフィスでよく書かれています。 ウェブサイト：

http://gearman.org/index.php?id=manual:job_server#persistent_queues



キューを保存しても、サーバーの再起動時にタスクハンドラー（ワーカー）がサーバーから "脱落"するため、ワーカーを再起動するか、ワーカー自体でこのような状況を予測する必要があることに注意してください。

キュー全体をリセットし、特定のタスクのキューをリセットします

キューがデータベースに保存されていない場合、上記のようにサーバーを再起動すると、キュー全体がリセットされます。 キューがデータベースに保存されている場合、サーバーの再起動に加えて、対応するテーブルをすべてまたは選択的にクリアする必要があります。 サーバーを再起動すると、クライアントとワーカーの両方で例外がスローされることを思い出してください。



ただし、1つのタスクのみのキューをリセットする必要がある場合に状況が発生する可能性があります。 例：100のサイトを解析し、1つが応答を停止し、このサイトからデータを受信するためにキューに1,000のタスクがあり、他のすべてのサイトからのデータは問題なくキューサーバーを介して受け入れられます。 停止したサイトでのみキューを削除する必要があります。

これを行う最も簡単で最も簡単な方法は、キューサーバーに同じ名前のタスクを登録する偽のワーカーを開始することです。ただし、NULL、空の文字列、または好きなものをすばやく返します。主なことは高速です。 このワーカーはすべての保留中のタスクを許可し、キューはクリアされます。

ワーカーの再起動

なぜこれが必要なのでしょうか？ さて、労働者が凍結している疑いのない明らかな状況に加えて、もう1つ、非常に頻繁にあります。

状況：ワーカーが実行されており、サーバーにタスクを登録しました。 この時点でワーカーコードを変更すると、どれだけ保存しても、タスクが登録された時点でキューサーバーからのコードが処理されます。

コードの変更を有効にするには、つまり、サーバーのタスクを既に変更されたコードで処理するには、ワーカーを再起動する必要があります。つまり、現在のワーカーのスクリプトを停止して再実行する必要があります。 メソッドは簡単です。bashスクリプトを使用して、手動でexit_workerなどのワーカーで関数を処理し、クラウンなどから関数を起動します。

Gearmanと連携するためのPECLおよびREARのPHP拡張

PHPでGearmanキューサーバーを操作するには、 pecl gearmanとpear Net_Gearmanの 2つの拡張オプションを使用できます。



これらの拡張機能には根本的な違いがあります。

ナシNet_Gearman

pear Net_Gearmanは、いくつかのphpファイルです。 そしてそれだけです。 サーバーへのインストールは非常に簡単です。

pear install Net_Gearmanチャネル：//pear.php.net/Net_Gearman-0.2.3

サーバーにインストールすることもできません。アーカイブを解凍し、接続accを実装するだけです。 クラスとそれだけです-例えば、それを使用することができます

function __autoload($className){ //  pear Net_Gearman,  Net_Gearman_Job if(strstr($className, 'Net_Gearman_') and !strstr($className, 'Net_Gearman_Job_')){ $className = str_replace('Net_Gearman_', '', $className); include_once PATH_TO_PEAR_NET_GEARMAN.$className.'.php'; } //  pear Net_Gearman_Job if(strstr($className, 'Net_Gearman_Job_')){ $className = str_replace('Net_Gearman_Job_', '', $className); include_once PATH_TO_PEAR_NET_GEARMAN.'Job/'.$className.'.php'; } }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ちなみに、これにより、同じDenwerまたはOpenServerを使用して、PHPでGearmanを操作できます。



現在のバージョンは2009年のアルファリリースです。 しかし、これは恐ろしいことではありません。必要なファイルを編集する手間はなく、追加のコンポーネント/ライブラリは使用されません。

日付にもかかわらず、ライブラリはphp5.3で機能します*修正は不要です。



問題は、このすべての幸福がGearmanサーバーとどのように相互作用するかということです。 ソケットを介して、サーバーにコマンドを送信します（ 公式サイトのサーバーとのやり取りの説明はこちらです）



pear Net_Gearmanの重要な詳細に注意してください。ライブラリにはサーバーを監視し、（部分的に）サーバーを管理する手段があります。これにより、たとえば上記の監視用スクリプトを作成できます。

PECLギアマン

すべての利点にもかかわらず、pear Net_Gearmanライブラリのインターフェースは貧弱で、どこかに置くとやや厄介です。 さらに、IDE-たとえばphpStormにはNet_Gearmanクラスが含まれておらず（ 便利な作業のために松葉杖を締める必要があります ）、pecl gearmanは作業に適しています。

pecl gearmanとpear Net_gearmanの主な違いは、pecl gearmanはサーバーと直接対話しないことです。これはlibgearman Cライブラリのラッパーです。

PECL Gearmanをインストールする

私はこれをすぐに好きになりたいです：

PECLインストールギアマン

しかし、それはうまくいきません。 インストールの最後に、libgearmanバージョン0.21以降が必要であるというメッセージが表示されます。そのようなライブラリのアセンブリには、さらにアクションがあり、すべてが成功しない可能性があります。

インターネットでは、pecl-gearman-0.7.0ライブラリをインストールするための多くの推奨事項がありますが、バグがあります-セグメンテーションフォールトエラーでクラッシュする可能性が高くなります。

いくつかのテストにより、バージョン0.8.1をインストールする際に問題なく安定して動作することがわかりました。

サーバーから開始するdebian6 / php5.3 *「ゼロから」のインストール順序は次のとおりです（debian7 / php5.4については、 この出版物を参照してください）。

 aptitude install gearman-job-server aptitude install php5-dev aptitude install php-pear aptitude install make aptitude install libgearman-dev cd /tmp pecl download gearman-0.8.1 tar -xvf gearman-0.8.1.tgz cd gearman-0.8.1 phpize ./configure make make test make install echo 'extension=gearman.so' > /etc/php5/conf.d/gearman.ini
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これで、ライブラリのすべての美しさを実際のプロジェクトで安全に使用できます。 IDEにはpecl gearmanのクラスが含まれているため、これ以上のアクションは不要です。 以下のすべての例では、pecl gearman拡張を使用しています。

例

最も簡単なクライアントとワーカー

お客様

 <?php $client = new GearmanClient(); /* -  true   ,     .       echo(''),               */ $client->addServer('192.168.68.4'); $client->setTimeout(29000); /*true/false     */ $haveGoodServer = $client->echo(''); var_dump($haveGoodServer); $data = 'slon yooo'; /*     Gearman   */ $res = $client->do('function_revert_string_and_caps', $data); /*  ,     ,     */ echo $res;
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

労働者

 <?php $worker = new GearmanWorker(); $worker->addServer('192.168.68.4'); /*  ,    - function_revert_string_and_caps,      - 'revCaps*/ $worker->addFunction('function_revert_string_and_caps', 'revCaps'); /* .       */ $worker->work(); /*      -   */ //while($worker->work()){}; //   - ,   - - job function revCaps($job){ /*  job ,  */ $content = $job->workload(); return mb_strtoupper(strrev($content)); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

サンプル動画

クライアントとの部分的なデータ転送および追加のデータ交換

クライアントでdo操作を使用することは必ずしも便利ではありません。多くの場合、単純なコールバックfを使用して、タスクの追加とサーバーからのデータの処理を使用することをお勧めします。

さらに、データがパーツ単位で送信される場合、処理されたパーツの数を表示することは理にかなっています（たとえば、進行状況バーなど）。

お客様

 <?php $client = new GearmanClient(); $client->addServer('192.168.68.4'); $data = ''; /* .     */ $client->addTask('function_serial_send', $data); /*,  -        */ $client->setCreatedCallback('createTask'); /*   - -   */ function createTask(GearmanTask $task){ echo "Start data from ".$task->jobHandle()."\n"; } /*,  -    */ $client->setDataCallback('getData'); /* -    */ function getData(GearmanTask $task){ echo "received:".$task->data()."\n\n"; } /*,  -    Complete -    */ $client->setCompleteCallback('stopTask'); /*- -     */ function stopTask(){ echo "task Stop\n"; exit; } /*,  -      */ $client->setStatusCallback('getStatus'); /*    %*/ function getStatus(GearmanTask $task){ echo "Handled: ".$task->taskNumerator() / $task->taskDenominator()*(100)."%\n"; } /*   -    . :       - callback -      */ $client->runTasks();
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

労働者

 <?php $worker = new GearmanWorker(); $worker->addServer('192.168.68.4'); $worker->addFunction('function_serial_send', 'sendDataAndStatus'); /* -   ,  worker  */ while($worker->work()){} function sendDataAndStatus(GearmanJob $job){ $arr = array('one','two', 'three', 'four', 'five'); $i = 1; foreach ($arr as $diggo){ /*   -    1,5 2,5  ..   - Numerator,   “”,  Denumenator - “”.     ,    long*/ $job->sendStatus($i, count($arr)); /*  */ $job->sendData($diggo); echo "send data: ".$diggo, "\n"; $i++; sleep(1); } /*   -       */ $job->sendComplete(''); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

この例の実行のビデオ：

バックグラウンドタスクと優先度

タスクのステータスは通常またはバックグラウンド（同期/非同期）であり、その実行の優先度はクライアントで設定されます。 タスクがバックグラウンドとしてサーバーに追加された場合、クライアントは実際にサーバーに単純に「スロー」し、それ以上の運命には関心がありません。 タスクが正常な場合、クライアントはサーバーからの完了結果を期待します。

バックグラウンドタスクの場合、プレフィックスのバックグラウンドが使用されます。

優先順位には3つのレベルがあります-通常（プレフィックスなし）、低/高比率。 低/高、たとえばaddTaskHighBackgroundメソッド-バックグラウンドタスクを高い優先度で追加します。

これはすべてオフィスでよく描かれています。 GearmanClientのドキュメント

Gearmanを使用したPHPでの並列コンピューティング

前菜にはもちろん、一番美味しいです。

この例のコードはややボリュームがあるため、提供されていませんが、軍事的なものは何もありません。クライアントは800以上のタスクをキューサーバーに追加し、4つのワーカーがタスクを処理します。

タスク自体は、Yandex Translate APIを使用してテキストの一部を翻訳しています。タスク全体は、ゴッドファーザーの本をロシア語からウクライナ語に翻訳しています。

ビデオは次のとおりです。