ニンジャから分散アセンブリシステムを作成する方法は？

ステージ0。問題の説明

• アセンブリグラフを読み取り、コンパイルコマンドを分離します。
• コンパイルは、前処理とコード生成の2つの段階に分けられます。 後者をリモート実行のために可能な限りマークします。
• 前処理を実行し、結果をメモリに読み込みます。
• 前処理されたファイルと、ネットワーク経由で別のホストにコードを生成するコマンドを送信します。
• コード生成コマンドを実行し、オブジェクトファイルを読み取り、ネットワーク経由で応答として提供します。
• 結果のオブジェクトファイルはディスクに保存され、コンパイラのコンソールメッセージに表示されます。

1. プロトタイプ1。プログラムはコンパイラーを模倣し、コマンドを2つに分割し、コンパイラーを個別に呼び出します。
2. プロトタイプ2。これに、ファイル自体を使用せずに、ネットワーク経由でコンパイルするコマンドの転送を追加します。
3. プロトタイプ3。壊れた可能性のあるコマンドを表示するNinjaビルドグラフを見てみましょう。

手順1.コマンドラインを解除する

#include <iostream> #include "InvocationRewriter.hpp" #include "LocalExecutor.hpp" int main(int argc, char ** argv) { StringVector args; for (int i = 1; i < argc; ++i) args.emplace_back(argv[i]); InvocationRewriter rewriter; StringVector ppArgs, ccArgs; //      . if (!rewriter.SplitInvocation(args, ppArgs, ccArgs)) { std::cerr << "Usage: -c <filename> -o <filename> \n"; return 1; } LocalExecutor localExecutor; const std::string cxxExecutable = "/usr/bin/g++"; // ,     GNU/Linux. const auto ppResult = localExecutor.Execute(cxxExecutable, ppArgs); if (!ppResult.m_result) { std::cerr << ppResult.m_output; return 1; } const auto ccResult = localExecutor.Execute(cxxExecutable, ccArgs); if (!ccResult.m_result) { std::cerr << ccResult.m_output; return 1; } //   ,    ,   . return 0; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

 #pragma once #include <string> #include <vector> #include <algorithm> using StringVector = std::vector<std::string>; class InvocationRewriter { public: bool SplitInvocation(const StringVector & original, StringVector & preprocessor, StringVector & compilation) { //     -c  -o. //  ,   -c     ,     . const auto cIter = std::find(original.cbegin(), original.cend(), "-c"); const auto oIter = std::find(original.cbegin(), original.cend(), "-o"); if (cIter == original.cend() || oIter == original.cend()) return false; const auto cIndex = cIter - original.cbegin(); const auto oIndex = oIter - original.cbegin(); preprocessor = compilation = original; const std::string & inputFilename = original[cIndex + 1]; preprocessor[oIndex + 1] = "pp_" + inputFilename; //     preprocessor[cIndex] = "-E"; //   - . compilation[cIndex + 1] = "pp_" + inputFilename; return true; } };
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

 #pragma once #include <string> #include <vector> #include <algorithm> #include <stdio.h> using StringVector = std::vector<std::string>; class LocalExecutor { public: ///   :   +  struct ExecutorResult { std::string m_output; bool m_result = false; ExecutorResult(const std::string & output = "", bool result = false) : m_output(output), m_result(result) {} }; ///     popen. ExecutorResult Execute(const std::string & executable, const StringVector & args) { std::string cmd = executable; for (const auto & arg : args) cmd += " " + arg; cmd += " 2>&1"; //  sterr  stdout. FILE * process = popen(cmd.c_str(), "r"); if (!process) return ExecutorResult("Failed to execute:" + cmd); ExecutorResult result; char buffer[1024]; while (fgets(buffer, sizeof(buffer)-1, process) != nullptr) result.m_output += std::string(buffer); result.m_result = pclose(process) == 0; return result; } };
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

• 絶対ファイル名を考慮してください。
• プロセスの操作には、Boost.Process、QProcess、またはNinja Subprocessのいずれかのライブラリーを使用します。
• MSVCのコマンド分離サポートを実装します。
• コマンドを非同期で実行するためのAPIを作成し、別のスレッドで実行を実行します。

ステージ2.ネットワークサブシステム

• socket（）関数を使用して、必要なタイプ（TCP）のソケットを作成します。
• 作成後、setsockopt（）を使用して、非ブロッキングモードなどの必要なフラグを設定します。
• getaddrinfo（）を使用して、BSDソケットに必要な形式でアドレスを取得します。
• connect（）関数を使用してTCPホストに接続し、準備されたアドレスをそこに渡します。
• 読み取りおよび書き込み用の読み取り/送信関数を呼び出します。
• 作業が終了したら、close（）を呼び出します。

• socket（）関数を使用してソケットを作成します。
• オプションを公開します。
• bind（）を呼び出して、ソケットを特定のアドレスにバインドします（getaddrinfoから取得）
• listen（）を呼び出してポートのリッスンを開始します。
• accept（）関数を使用して着信接続を受け入れます-新しいソケットを返します。
• 受信したソケットを使用して、読み取り/書き込み操作を実行します。
• 接続ソケットと盗聴ソケットを閉じる（）で閉じます。

 ///   class IDataSocket { public: using Ptr = std::shared_ptr<IDataSocket>; ///    . Success- , TryAgain -      , Fail -   . enum class WriteState { Success, TryAgain, Fail }; enum class ReadState { Success, TryAgain, Fail }; public: virtual ~IDataSocket() = default; ///     virtual bool Connect () = 0; ///   virtual void Disconnect () = 0; ///    - ;   virtual bool IsConnected () const = 0; virtual bool IsPending() const = 0; ///       virtual ReadState Read(ByteArrayHolder & buffer) = 0; ///    . virtual WriteState Write(const ByteArrayHolder & buffer, size_t maxBytes = size_t(-1)) = 0; }; ///  "".      . class IDataListener { public: using Ptr = std::shared_ptr<IDataListener>; virtual ~IDataListener() = default; ///    virtual IDataSocket::Ptr GetPendingConnection() = 0; ///   : virtual bool StartListen() = 0; };
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

 #include <TcpListener.h> #include <algorithm> #include <iostream> #include "LocalExecutor.hpp" int main() { //    . TcpConnectionParams tcpParams; tcpParams.SetPoint(6666, "localhost"); //     6666; auto listener = TcpListener::Create(tcpParams); IDataSocket::Ptr connection; //    ; while((connection = listener->GetPendingConnection()) == nullptr) ; //      . connection->Connect(); ByteArrayHolder incomingBuffer; //!<    std::vector<uint8_t>; while (connection->Read(incomingBuffer) == IDataSocket::ReadState::TryAgain) ; // ,       ,  . std::string args((const char*)(incomingBuffer.data()), incomingBuffer.size()); std::replace(args.begin(), args.end(), '\n', ' '); LocalExecutor localExecutor; const auto result = localExecutor.Execute("/usr/bin/g++", StringVector(1, args)); std::string stdOutput = result.m_output; if (stdOutput.empty()) stdOutput = "OK\n"; //   -    ,    OK. //       . ByteArrayHolder outgoingBuffer; std::copy(stdOutput.cbegin(), stdOutput.cend(), std::back_inserter(outgoingBuffer.ref())); connection->Write(outgoingBuffer); connection->Disconnect(); //    ,       . //     /      . return 0; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

 #include <iostream> #include <TcpSocket.h> #include "InvocationRewriter.hpp" #include "LocalExecutor.hpp" int main(int argc, char ** argv) { StringVector args; for (int i = 1; i < argc; ++i) args.emplace_back(argv[i]); InvocationRewriter rewriter; StringVector ppArgs, ccArgs; //      . if (!rewriter.SplitInvocation(args, ppArgs, ccArgs)) { std::cerr << "Usage: -c <filename> -o <filename> \n"; return 1; } LocalExecutor localExecutor; const std::string cxxExecutable = "/usr/bin/g++"; // ,     GNU/Linux. const auto ppResult = localExecutor.Execute(cxxExecutable, ppArgs); if (!ppResult.m_result) { std::cerr << ppResult.m_output; return 1; } //      6666 TcpConnectionParams tcpParams; tcpParams.SetPoint(6666, "localhost"); auto connection = TcpSocket::Create(tcpParams); connection->Connect(); ByteArrayHolder outgoingBuffer; for (auto arg : ccArgs) { arg += " "; //       . std::copy(arg.cbegin(), arg.cend(), std::back_inserter(outgoingBuffer.ref())); } connection->Write(outgoingBuffer); ByteArrayHolder incomingBuffer; while (connection->Read(incomingBuffer) == IDataSocket::ReadState::TryAgain) ; std::string response((const char*)(incomingBuffer.data()), incomingBuffer.size()); if (response != "OK\n") { std::cerr << response; return 1; } return 0; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

• 既存のネットワークライブラリの1つであるBoost.Asio、QTcpSocket（QtNetwork）を使用することを強くお勧めします。Protobufまたは他の同様のライブラリを使用したシリアル化も検討してください
• ネットワークを介したファイル転送を実装します。 ほとんどの場合、それらをフラグメントに分割する必要がありますが、選択するライブラリに依存します。
• 非同期メッセージの送受信APIについて考える必要があります。 さらに、抽象化し、ソケットにまったく結び付けないようにすることが望ましいです。

ステージ3.ニンジャとの統合

• ノードは単なるファイルです。 入力（ソース）、出力（オブジェクトファイル）-これらはすべてグラフのノードまたは頂点です。
• ルール-これは基本的に、引数テンプレートを使用した単なるコマンドです。 たとえば、gccの呼び出しはルールであり、その引数は$ FLAGS $ INCLUDES $ DEFINESおよびその他の一般的な引数です。
• エッジ 私には少し驚きましたが、エッジはルールを介して2つのノードではなく、複数の入力ノードと1つの出力ノードを接続します。 アセンブリシステム全体は、エッジのコマンドを実行することにより、グラフを順次走査することに基づいています。 すべてのリブが処理されると、プロジェクトが組み立てられます。
• 状態は、ビルドシステムが使用する上記のすべてを備えたコンテナです。

  // Limit number of rebuilds, to prevent infinite loops. const int kCycleLimit = 100; for (int cycle = 1; cycle <= kCycleLimit; ++cycle) { NinjaMain ninja(ninja_command, config); ManifestParser parser(&ninja.state_, &ninja.disk_interface_, options.dupe_edges_should_err ? kDupeEdgeActionError : kDupeEdgeActionWarn); string err; if (!parser.Load(options.input_file, &err)) { Error("%s", err.c_str()); return 1; } //    ,   : RewriteStateRules(&ninja.state_); //   
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

 #include "InvocationRewriter.hpp" // ,     Ninja. struct RuleReplace { const Rule* pp; const Rule* cc; std::string toolId; RuleReplace() = default; RuleReplace(const Rule* pp_, const Rule* cc_, std::string id) : pp(pp_), cc(cc_), toolId(id) {} }; void RewriteStateRules(State *state) { //   , ..    ,      . const auto rules = state->bindings_.GetRules(); std::map<const Rule*, RuleReplace> ruleReplacement; InvocationRewriter rewriter; //      for (const auto & ruleIt : rules) { const Rule * rule = ruleIt.second; const EvalString* command = rule->GetBinding("command"); if (!command) continue; //     rewriter-. std::vector<std::string> originalRule; for (const auto & strPair : command->parsed_) { std::string str = strPair.first; if (strPair.second == EvalString::SPECIAL) str = '$' + str; originalRule.push_back(str); } //   : std::vector<std::string> preprocessRule, compileRule; if (rewriter.SplitInvocation(originalRule, preprocessRule, compileRule)) { //  2  rule - rulePP  ruleCC,   bindings_   . //     ruleReplacement (ruleReplacement[rule] = ...) } } const auto paths = state->paths_; std::set<Edge*> erasedEdges; //      for (const auto & iter : paths) { Node* node = iter.second; Edge* in_egde = node->in_edge(); if (!in_egde) continue; //       . //      ,  : const Rule * in_rule = &(in_egde->rule()); auto replacementIt = ruleReplacement.find(in_rule); if (replacementIt != ruleReplacement.end()) { RuleReplace replacement = replacementIt->second; const std::string objectPath = node->path(); const std::string sourcePath = in_egde->inputs_[0]->path(); const std::string ppPath = sourcePath + ".pp"; //       . Node *pp_node = state->GetNode(ppPath, node->slash_bits()); //     Edge* edge_pp = state->AddEdge(replacement.pp); Edge* edge_cc = state->AddEdge(replacement.cc); // ...   ... //       edge_pp; //      edge_cc //     pp_node. //  ,   edge_cc,     - // ,  : edge_cc->is_remote_ = true; //   ,   . in_egde->outputs_.clear(); in_egde->inputs_.clear(); in_egde->env_ = nullptr; erasedEdges.insert(in_egde); } } //   . vector<Edge*> newEdges; for (auto * edge : state->edges_) { if (erasedEdges.find(edge) == erasedEdges.end()) newEdges.push_back(edge); } state->edges_ = newEdges; }
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

• ほとんどの場合、最初のオプションInvocationRewriterは機能しません。多くのことを考慮する必要があります。たとえば、コンパイル引数 "-c"を "-c"で指定できるという事実は、ソースファイルの前にあるとは限りません。
• 一部のファイルをマークする追加のフラグが多数ある場合があるため、「フラグではない」すべてがファイルであるとは限りません。
• 分割グラフを作成した後、「前処理とコンパイル」の2つのフェーズで正常に組み立てられた場合、ネットワーク上のリモート実行をネットワークレイヤーと統合する必要があります。 Ninjaのビルドサイクル自体は、関数Builder :: Buildのbuild.ccにあります。 あなたはそれに類推してそれに追加することができます
  
  「if（failures_allowed && command_runner _-> CanRunMore（））」および「if（pending_commands）」は、分散アセンブリの手順です。

ステージX。次は？

• すべてのモジュールの構成-ネットワークサブシステムとInvocationRewriterの両方。
• 異なるコンパイラーでのオプションの組み合わせのサポート。
• ファイル転送圧縮のサポート。
• ログ形式のさまざまな診断。
• 複数のアセンブリサーバーへの接続を処理できるコーディネーターを作成します。
• 複数のクライアントが一度にサーバーを使用するという事実を考慮に入れるバランサーを作成します（そして、それらを測定以上に過負荷にしないでください）。
• 忍者だけでなく、他のビルドシステムとの統合を記述します。

• Win、Mac、Linuxでのクロスコンパイル（Clang）機能を備えた分散アセンブリ。
• NinjaおよびMakeとの統合。