接続を失わずにPHPでデーモンを再起動する

さまざまな会議で、CLIスクリプトのクラウドについて繰り返し話してきました（ ビデオレポート 、 スライド ）。 クラウドは、スケジュールまたはAPIを介してさまざまなPHPスクリプトを実行するように設計されています。 原則として、これらのスクリプトはキューを処理し、負荷は約100台のサーバーに「分散」します。 前に、制御ロジックの実装方法に注目しました。これは、非常に多くのサーバー間で負荷を均一に分散し、スケジュールに従ってタスクを生成する役割を果たします。 しかし、これに加えて、CLIでPHPスクリプトを実行し、実行のステータスを監視できるデーモンを作成する必要がありました。



もともとは、当社の他のすべての悪魔のように、Cで書かれていました。 しかし、プロセッサ時間のかなりの部分（約10％）が無駄になっているという事実に直面しました。これは、インタープリターの起動とフレームワークの「コア」のロードです。 したがって、インタープリターとフレームワークを一度だけ初期化できるようにするために、PHPでデーモンを書き直すことにしました。 これをPhp rock sydと呼びました（Phproxyd-PHP Proxy Daemon、以前のCデーモンに似ています）。 個々のクラスを実行する要求を受け入れ、各要求でfork（）を行い、各起動の実行ステータスを報告する方法も知っています。 このアーキテクチャは、すべての初期化が「ウィザード」で1回行われ、「子」がリクエストの処理にすでに関与している場合、Apache Webサーバーモデルに多くの点で似ています。 追加の「バン」として、CLIでオペコードキャッシュを有効にする機会があります。これは、すべての子がマスタープロセスと同じ共有メモリの領域を継承するため、正しく動作します。 起動要求の処理の遅延を減らすために、事前にfork（）を行うことができます（プリフォークモデル）が、今回の場合、fork（）の遅延は約1ミリ秒であり、これは適切です。



ただし、コードを頻繁に更新するため、このデーモンも頻繁に再起動する必要があります。再起動しないと、このデーモンにロードされるコードが古くなる可能性があります。 各再起動には、エンドユーザーに対するサービス拒否（デーモンはクラウドだけでなく、サイトの一部にも役立つ）など、peerによる接続リセットのタイプのエラーが多数発生するため、既に確立された接続を失うことなくデーモンを再起動する方法を探すことにしました。 デーモンに対してグレースフルリロードが行われる一般的な手法が1つあります。fork-execが行われ、リッスンソケットからの記述子が子孫に渡されます。 したがって、新しい接続はデーモンの新しいバージョンによって受け入れられますが、古い接続は古いバージョンを使用して「変更」されます。



この記事では、 グレースフルリロードの複雑なバージョンを検討します。古い接続は新しいバージョンのデーモンによって引き続き処理されますが、それ以外の場合は古いコードを実行するため、これは重要です。

理論

始めに考えてみましょう：私たちが受け取りたい可能性はありますか？ もしそうなら、これを達成する方法は？



デーモンはPOSIX互換のLinuxで実行されるため、次のオプションを使用できます。

1. 開いているファイルとソケットはすべて、開いている記述子の番号に対応する番号です。 標準入力、出力、およびエラーストリームには、それぞれ記述子0、1、および2があります。
2. 開いているファイル、ソケット、パイプの間に大きな違いはありません（たとえば、読み取り/書き込みシステムコールとsendto / recvfromを使用してソケットを操作できます）。
3. fork（）システムコールが行われると、開いているすべての記述子は、その番号と（ファイル内の）読み取り/書き込み位置が保持された状態で継承されます。
4. execve（）システムコールが実行されると、開いているすべての記述子も継承され、さらにプロセスPID、したがってその子へのバインドが保存されます。
5. オープンプロセス記述子のリストは、/ dev / fdディレクトリから入手できます。Linuxでは、このディレクトリは/ proc / self / fdにシンボリックリンクされています。

したがって、私たちの仕事は実現可能であり、多くの努力なしに信じられる理由があります。 それでは始めましょう。

PHPパッチ

残念ながら、作業を複雑にする小さな詳細が1つあります。PHPでは、ストリームのファイル記述子番号を取得し、番号でファイル記述子を開く方法がありません（代わりに、ファイル記述子のコピーが開かれます。再起動時および子プロセスの起動時にリークが発生しないように、オープン記述子を慎重に監視します）。



まず、いくつかの小さなパッチをPHPコードに追加して、ストリームからfdを取得する機能を追加し、fopen（php：// fd / <num>）が記述子のコピーを開かないようにします（2番目の変更は、現在のPHPの動作。したがって、代わりにphp：// fdraw / <num>）などの新しい「アドレス」を追加できます。





理にかなっている場合は、stream_get_meta_data（）によって返される結果にfdフィールドを追加しました（たとえば、zlibストリームの場合、fdフィールドは存在しません）。 また、渡されたファイル記述子からのdup（）呼び出しを単純なチェックに置き換えました。 残念ながら、fcntl（）呼び出しはPOSIX固有であるため、このコードはWindows用に変更しないと機能しません。そのため、完全なパッチには他のOS用の追加のコードブランチが含まれる必要があります。

再起動オプションのないデーモン

まず、JSON形式でリクエストを受信し、何らかの回答を提供できる小さなサーバーを作成します。 たとえば、リクエストに含まれる配列内の要素の数を返します。



デーモンはポート31337でリッスンします。結果は次のようになります。

 $ telnet localhost 31337 Trying 127.0.0.1... Connected to localhost. Escape character is '^]'. {"hash":1} #   "Request had 1 keys" {"hash":1,"cnt":2} #   "Request had 2 keys"
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

stream_socket_server（）を使用してポートのリッスンを開始し、stream_select（）を使用して読み取り/書き込みの準備ができている記述子を判別します。





このデーモンのコードは標準を超えていますが、実装の詳細に注意したいと思います：特定の接続を参照してすべての読み取りおよび書き込みバッファーを保存し、要求を読み取った同じ場所で直接要求を処理します。 これらの要求の1つが再起動される可能性があるため、これは重要です。この場合、次の要求の処理には至りません。 それでも、リクエストをまだ読み取っていないため、次回同じ記述子からのstream_select（）は同じ結果を返します。 したがって、コマンドハンドラーから直接再起動しても、1つの要求が失われることはありません（複数のコマンドが同じ接続で同時に送信され、これらのコマンドの1つが再起動する場合を除く）。



それでは、デーモンの再起動をどのようにして可能にしますか？

再起動および確立された接続を保存するデーモン

最も単純な例では、有用なことを行う方法がわからなかったので、最初に説明した悪魔をまだ書いてみましょう。 次のようなものを取得します（コマンドは「command_name [JSON-data]」の形式でデーモンに送信されます。答えはJSONの形式です）。

 $ telnet localhost 31337 Trying 127.0.0.1... Connected to localhost. Escape character is '^]'. #      restart #      "Restarted successfully" #    run {"hash":1,"params":[1,2,3],"class":"TestClass1"} #   {"error_text":"OK"} #     ( child TestClass1   ) restart "Restarted successfully" #   :    check {"hash":1} {"error_text":"Still running"} #  5     :  TestClass1   check {"hash":1} {"retcode":0} #     ,    free check {"hash":1} {"retcode":0} free {"hash":1} {"error_text":"OK"} restart "Restarted successfully" #   ,          restart restart {"error_text":"Restarted successfully"} bye Connection closed by foreign host.
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

再起動のアイデアは簡単です。必要なすべての情報を含むファイルを作成し、起動時にそれを読み取って、開いているファイル記述子を復元しようとします。



最初に、再起動ファイルに書き込むコードを記述します。

 echo "Creating restart file...\n"; if (!$res = $this->getFdRestartData()) { fwrite(STDERR, "Could not get restart FD data, exiting, graceful restart is not supported\n"); exit(0); } /* Close all extra file descriptors that we do not know of, including opendir() descriptor :) */ $dh = opendir("/proc/self/fd"); $fds = []; while (false !== ($file = readdir($dh))) { if ($file[0] === '.') continue; $fds[] = $file; } foreach ($fds as $fd) { if (!isset($this->known_fds[$fd])) { fclose(fopen("php://fd/" . $fd, 'r+')); } } $contents = serialize($res); if (file_put_contents(self::RESTART_DIR . self::RESTART_FILENAME, $contents) !== strlen($contents)) { fwrite(STDERR, "Could not fully write restart file\n"); unlink(self::RESTART_DIR . self::RESTART_FILENAME); }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

データ配列を取得するコード（getFdRestartData（）関数）を以下に示します。

 $res = []; foreach (self::$restart_fd_resources as $prop) { $res[$prop] = []; foreach ($this->$prop as $k => $v) { $meta = stream_get_meta_data($v); if (!isset($meta['fd'])) { fwrite(STDERR, "No fd in stream metadata for resource $v (key $k in $prop), got " . var_export($meta, true) . "\n"); return false; } $res[$prop][$k] = $meta['fd']; $this->known_fds[$meta['fd']] = true; } } foreach (self::$restart_fd_props as $prop) { $res[$prop] = $this->$prop; } return $res;
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

コードでは、2種類のプロパティがあることを考慮しています。

1. 接続されたリソースを含むプロパティ：$ restart_fd_resources = ['read'、 'write'、 'streams']。
2. 生でシリアル化できる接続に関するバッファおよびその他の情報を含むプロパティ：$ restart_fd_props = ['read_buf'、 'write_buf'、 'conn_count']。

また、再起動ファイルに保存されているすべてのfdを記憶し、他のすべて（存在する場合）を閉じます。そうしないと、ファイル記述子がリークする可能性があるためです。



次に、起動時にこのファイルをロードし、何も起こらなかったかのように、開いている記述子を引き続き使用する必要があります:)。 2つの関数（再起動ファイルの読み込みとファイル記述子に関する情報のダウンロード）のコードを以下に示します。



ファイルのダウンロード：

 if (!file_exists(self::RESTART_DIR . self::RESTART_FILENAME)) { return; } echo "Restart file found, trying to adopt it\n"; $contents = file_get_contents(self::RESTART_DIR . self::RESTART_FILENAME); unlink(self::RESTART_DIR . self::RESTART_FILENAME); if ($contents === false) { fwrite(STDERR, "Could not read restart file\n"); return; } $res = unserialize($contents); if (!$res) { fwrite(STDERR, "Could not unserialize restart file contents"); return; } foreach (self::$restart_props as $prop) { if (!array_key_exists($prop, $res)) { fwrite(STDERR, "No property $prop in restart file\n"); continue; } $this->$prop = $res[$prop]; } $this->loadFdRestartData($res);
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ファイル記述子の配列を展開して戻すloadFdRestartData（）関数：

 $fd_resources = []; foreach (self::$restart_fd_resources as $prop) { if (!isset($res[$prop])) { fwrite(STDERR, "Property '$prop' is not present in restart fd resources\n"); continue; } $pp = []; foreach ($res[$prop] as $k => $v) { if (isset($fd_resources[$v])) { $pp[$k] = $fd_resources[$v]; } else { $fp = fopen("php://fd/" . $v, 'r+'); if (!$fp) { fwrite(STDERR, "Failed to open fd = $v, exiting\n"); exit(1); } stream_set_read_buffer($fp, 0); stream_set_write_buffer($fp, 0); stream_set_blocking($fp, 0); stream_set_timeout($fp, self::CONN_TIMEOUT); $fd_resources[$v] = $fp; $pp[$k] = $fp; } } $this->$prop = $pp; } foreach (self::$restart_fd_props as $prop) { if (!isset($res[$prop])) { fwrite(STDERR, "Property '$prop' is not present in restart fd properties\n"); continue; } $this->$prop = $res[$prop]; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

オープンファイル記述子のread_bufferとwrite_bufferを再設定し、タイムアウトを構成します。 奇妙なことに、これらの操作の後、PHPはこれらのファイル記述子に対して（）を静かに受け入れ、これらがソケットであることを知らなくても、通常は読み取り/書き込みを続けます。



最後に、ワーカーの実行ステータスを起動および追跡するためのロジックを記述する必要があります。 これは記事のトピックとは関係がないため、デーモンの完全な実装はgithubリポジトリに配置されます。リンクは以下にあります。

おわりに

そのため、この記事では、JSONプロトコルを介して通信し、実行プロセスを監視しながら別のプロセスで任意のクラスを実行できるデーモンの実装について説明しました。 個々のクラスを実行するには、 fork（）モデルを使用してクエリを実行するため、リクエストを処理するために、インタープリターを再起動してフレームワークをロードする必要はなく、CLIでオペコードキャッシュを使用することが可能になります。 コードを更新するたびにデーモンを再起動する必要があるため、このデーモンをスムーズに再起動する必要があります（当社では、コードは「ホットフィックス」の形式で数分ごとに更新されることがあります）。



再起動はexecve（）システムコールを実行することにより行われ、その結果、すべての子孫は親にバインドされたままになります（プロセスのPIDはexecve（）で変更されないため）。 開いているファイル記述子もすべて保存されるため、すでに開いている接続のユーザーからの要求を引き続き処理できます。 すべてのネットワークバッファ、実行中の子に関する情報、および開いている記述子は、個別の再起動ファイルに保存され、デーモンの新しいインスタンスによって読み取られ、その後、標準イベントループで作業が続行されます。



完全な実装コードは、GitHubの次のアドレスで見ることができます： github.com/badoo/habr/tree/master/phprocksyd



質問、提案、説明を歓迎します。



よろしく

ユーリユーロックナスレッディノフ

リードPHP開発者

バドゥー