📷 👩‍⚕️ 🤞🏼 AndroidデバイスをC ++プログラムのシンUIとして使用する 🐑 👶🏾 🍏

私は過去数ヶ月間ゆっくりとやってきたプロジェクトをコミュニティと共有したいと思っています。

まえがき

多くの場合、携帯電話やタブレットからプログラムを管理したい場合がありますが、このために携帯電話で別のアプリケーションを作成することは不適切です（または不可能です）（このプロジェクトでは作業が多すぎます。）この状況は私に定期的に発生し、最終的に私はこの問題にきっぱりと対処することにしました。その結果、システムのアーキテクチャと使用方法がこの記事で説明されます。

目的

Androidデバイスに基づいたプラグインUIをC ++プログラムに実装できるシステムを作成します。同時に、サードパーティのライブラリに対するカスタムC ++コードの依存関係を最小限に抑え、データ転送プロトコルから抽象化したいと考えました。システムは、C ++ライブラリとAndroidアプリケーションの2つの部分で構成する必要があります。

システム構成

このシステムには、Androidデバイスがクライアントとして機能するクライアントサーバーアーキテクチャがあり、サーバーはユーザープログラムです。それらの間の通信は、TCP / IPソケットを使用して実行されます。通信プロトコルを実装するために、 TAUライブラリが作成されました。

ライブラリが担当する主なタスク：

サーバーとクライアント間で送信されるデータの生成と処理
クライアントで発生したさまざまなイベント（イベントUIハンドラー）に応答するためのユーザーコードへの制御の転送
サーバーとクライアント間の接続の作成と維持
クライアントに表示されるUI要素の構成を記述するために必要なデータ構造の生成

ライブラリは、次の名前空間で構成されます。

tau :: Communications_Handling-パケットを生成し、クライアントから受信したデータを解析し、ユーザーコードでハンドラーを呼び出します。クライアントを接続してから切断するまでの間に発生するすべてのことは、この名前空間のクラスコードによって制御されます。
tau :: layout_generation-ユーザーインターフェイス要素の場所と動作を記述するJSON構造を作成できる機能が含まれています。その後、このデータはクライアントに送信され、対応するUIが表示されます。
tau :: util-さまざまな補助機能が含まれています。これは、カスタムC ++プロジェクトでライブラリを使用するために必要ではありませんが、多くの場合便利です。この名前空間のクラスは、サードパーティのライブラリまたは非標準のコンパイラ拡張機能を使用できる唯一のクラスです。したがって、ここにTCP / IPソケットの操作を担当するクラスがあります-これはプラットフォーム固有のコードです。現在、boost :: asioおよびC ++ / CLIに基づく2つのネットワーク通信実装があります。 tau :: Communications_Handling以外のすべてのネットワークコールの実装を削除すると、ライブラリユーザーは必要に応じてネットワークパーツ全体を個別に書き込むことができます。
tau :: common-ライブラリの他の部分から使用されるクラスを含みます（tau :: layout_generationとtau :: Communications_Handlingの間に依存関係がないように、ここから派生します）

使用します。例＃1-こんにちは、world

ライブラリを使用するデモを簡単な例から始めます。この例では、画面にウェルカムメッセージが表示されます。この場合、カスタムコードは次のようになります。

非表示のテキスト

#include <tau/layout_generation/layout_info.h> #include <tau/util/basic_events_dispatcher.h> #include <tau/util/boost_asio_server.h> class MyEventsDispatcher : public tau::util::BasicEventsDispatcher { public: MyEventsDispatcher( tau::communications_handling::OutgiongPacketsGenerator & outgoingGeneratorToUse): tau::util::BasicEventsDispatcher(outgoingGeneratorToUse) {}; virtual void packetReceived_requestProcessingError( std::string const & layoutID, std::string const & additionalData) { std::cout << "Error received from client:\nLayouID: " << layoutID << "\nError: " << additionalData << "\n"; } virtual void onClientConnected( tau::communications_handling::ClientConnectionInfo const & connectionInfo) { std::cout << "Client connected: remoteAddr: " << connectionInfo.getRemoteAddrDump() << ", localAddr : " << connectionInfo.getLocalAddrDump() << "\n"; } void packetReceived_clientDeviceInfo( tau::communications_handling::ClientDeviceInfo const & info) { using namespace tau::layout_generation; std::cout << "Received client information packet\n"; std::string greetingMessage = "Hello, habrahabr!"; sendPacket_resetLayout(LayoutInfo().pushLayoutPage( LayoutPage(tau::common::LayoutPageID("FIRST_LAYOUT_PAGE"), LabelElement(greetingMessage))).getJson()); } }; int main(int argc, char ** argv) { boost::asio::io_service io_service; short port = 12345; tau::util::SimpleBoostAsioServer<MyEventsDispatcher>::type s(io_service, port); std::cout << "Starting server on port " << port << "...\n"; s.start(); std::cout << "Calling io_service.run()\n"; io_service.run(); return 0; }

クライアントデバイス（ MyEventsDispatcher ）と対話するすべてのユーザーロジックを含むメインクラスは、 tau :: util :: BasicEventsDispatcherから継承する必要があります。基本クラスの2つのメソッドonClientConnected（）およびpacketReceived_clientDeviceInfo（）をオーバーライドします。最初はクライアントが接続するときに呼び出されます。 2番目の方法は、サーバーへの接続後にクライアントデバイスに関する情報が来たときに実行されます（接続がクライアントによって送信された後の最初のパケット）。

この場合、最初の方法は簡単です。コンソールに情報メッセージを表示するだけです。 2番目の方法では、サーバーはクライアントにレイアウトを送信します。これは、クライアントに表示するインターフェイスに関するデータです。

ネットワークを介してデータを送信するコードはすべてmain（）にあります。この場合、 boost :: asioライブラリを使用して通信を実装します。 tau :: util名前空間には対応する抽象化があり、これによりこの例をできるだけコンパクトにします。ブーストの使用はオプションです-TCP / IPソケットの実装はライブラリと一緒に非常に簡単に使用できます。

編集

例として、コンパイルにはg ++を使用します。この場合、コマンドは次のようになります。

 g++ -lboost_system -pthread -lboost_thread -D TAU_HEADERONLY -D TAU_CPP_03_COMPATIBILITY -I $LIBRARY_LOCATION main.cpp -o demo

ご覧のとおり、いくつかの追加パラメーターがコンパイラーに渡されます。

ライブラリソースへのパスを含める（オプション-I $ LIBRARY_LOCATION ）
ブーストに必要な追加ライブラリ:: asio（オプション-lboost_system -pthread -lboost_thread ）
プロジェクトでライブラリをコンパイルする方法を示す追加マクロの宣言（ -D TAU_HEADERONLY -D TAU_CPP_03_COMPATIBILITY ）

このオプションセットは最も一般的なビルドオプションであり、最小限の労力でライブラリをプロジェクトに含めることができます。

必要に応じてそれらをすべて取り除くことができます。プロジェクト内でライブラリを使用する場合、 -I $ LIBRARY_LOCATIONおよび-D TAU_HEADERONLYを指定する必要はありません。 C ++ 11と互換性のあるコンパイラの場合、 -D TAU_CPP_03_COMPATIBILITYオプションは不要です。 boostへの依存:: asioにはネットワーク部分のみがあり、依存関係なしで非常に簡単に書き換えることができます。

コンパイルおよび起動後、サーバーはポート12345でリッスンを開始します。

電話でクライアントを起動し、接続を作成して接続し、メッセージを表示します。外観は次のとおりです（PuTTYを介してリモートコンピューターでサーバーを起動し、クライアントをエミュレーターで起動しました）。

サーバー接続の作成

この例では、クライアントとサーバー間で追加の通知を送受信することはできませんので、次の例に進みましょう。

例2-システムの機能のより詳細なデモンストレーション

この例では、サーバーにいくつかの異なる要素を追加し、それらから通知を受信する方法を学び、状態を変更し、ページを切り替えます。

サーバーコードは次のようになります。

非表示のテキスト

 #include <tau/layout_generation/layout_info.h> #include <tau/util/basic_events_dispatcher.h> #include <tau/util/boost_asio_server.h> namespace { std::string const INITIAL_TEXT_VALUE("initial text"); tau::common::LayoutID const LAYOUT_ID("SAMPLE_LAYOUT_ID"); tau::common::LayoutPageID const LAYOUT_PAGE1_ID("LAYOUT_PAGE_1"); tau::common::LayoutPageID const LAYOUT_PAGE2_ID("LAYOUT_PAGE_2"); tau::common::ElementID const BUTTON_WITH_NOTE_TO_REPLACE_ID("BUTTON_WITH_NOTE_TO_REPLACE"); tau::common::ElementID const BUTTON_TO_RESET_VALUES_ID("BUTTON_TO_RESET_NOTES"); tau::common::ElementID const BUTTON_TO_PAGE_1_ID("BUTTON_TO_PG1"); tau::common::ElementID const BUTTON_TO_PAGE_2_ID("BUTTON_TO_PG2"); tau::common::ElementID const BUTTON_1_ID("BUTTON_1"); tau::common::ElementID const BUTTON_2_ID("BUTTON_2"); tau::common::ElementID const BUTTON_3_ID("BUTTON_3"); tau::common::ElementID const BUTTON_4_ID("BUTTON_4"); tau::common::ElementID const TEXT_INPUT_ID("TEXT_INPUT"); tau::common::ElementID const BOOL_INPUT_ID("BOOL_INPUT"); tau::common::ElementID const LABEL_ON_PAGE2_ID("LABEL_ON_PAGE2"); }; class MyEventsDispatcher : public tau::util::BasicEventsDispatcher { public: MyEventsDispatcher( tau::communications_handling::OutgiongPacketsGenerator & outgoingGeneratorToUse): tau::util::BasicEventsDispatcher(outgoingGeneratorToUse) {}; virtual void packetReceived_requestProcessingError( std::string const & layoutID, std::string const & additionalData) { std::cout << "Error received from client:\nLayouID: " << layoutID << "\nError: " << additionalData << "\n"; } virtual void onClientConnected( tau::communications_handling::ClientConnectionInfo const & connectionInfo) { std::cout << "Client connected: remoteAddr: " << connectionInfo.getRemoteAddrDump() << ", localAddr : " << connectionInfo.getLocalAddrDump() << "\n"; } virtual void packetReceived_clientDeviceInfo( tau::communications_handling::ClientDeviceInfo const & info) { using namespace tau::layout_generation; std::cout << "Received client information packet\n"; LayoutInfo resultLayout; resultLayout.pushLayoutPage(LayoutPage(LAYOUT_PAGE1_ID, EvenlySplitLayoutElementsContainer(true) .push(EvenlySplitLayoutElementsContainer(false) .push(BooleanInputLayoutElement(true).note(INITIAL_TEXT_VALUE).ID(BOOL_INPUT_ID)) .push(ButtonLayoutElement().note(INITIAL_TEXT_VALUE) .ID(BUTTON_WITH_NOTE_TO_REPLACE_ID))) .push(TextInputLayoutElement().ID(TEXT_INPUT_ID).initialValue(INITIAL_TEXT_VALUE)) .push(EmptySpace()) .push(EmptySpace()) .push(EmptySpace()) .push(EvenlySplitLayoutElementsContainer(false) .push(ButtonLayoutElement().note("reset notes").ID(BUTTON_TO_RESET_VALUES_ID)) .push(EmptySpace()) .push(ButtonLayoutElement().note("go to page 2").ID(BUTTON_TO_PAGE_2_ID) .switchToAnotherLayoutPageOnClick(LAYOUT_PAGE2_ID)) ) ) ); resultLayout.pushLayoutPage(LayoutPage(LAYOUT_PAGE2_ID, EvenlySplitLayoutElementsContainer(true) .push(EvenlySplitLayoutElementsContainer(false) .push(ButtonLayoutElement().note("1").ID(BUTTON_1_ID)) .push(ButtonLayoutElement().note("2").ID(BUTTON_2_ID))) .push(EvenlySplitLayoutElementsContainer(false) .push(ButtonLayoutElement().note("3").ID(BUTTON_3_ID)) .push(ButtonLayoutElement().note("4").ID(BUTTON_4_ID))) .push(EvenlySplitLayoutElementsContainer(true) .push(LabelElement("").ID(LABEL_ON_PAGE2_ID)) .push(ButtonLayoutElement().note("back to page 1").ID(BUTTON_TO_PAGE_1_ID))) )); resultLayout.setStartLayoutPage(LAYOUT_PAGE1_ID); sendPacket_resetLayout(resultLayout.getJson()); } virtual void packetReceived_buttonClick( tau::common::ElementID const & buttonID) { std::cout << "event: buttonClick, id=" << buttonID << "\n"; if (buttonID == BUTTON_TO_RESET_VALUES_ID) { sendPacket_updateTextValue(TEXT_INPUT_ID, INITIAL_TEXT_VALUE); } else if (buttonID == BUTTON_TO_PAGE_1_ID) { sendPacket_changeShownLayoutPage(LAYOUT_PAGE1_ID); } else if (buttonID == BUTTON_1_ID) { sendPacket_changeElementNote(LABEL_ON_PAGE2_ID, "Button 1 pressed"); } else if (buttonID == BUTTON_2_ID) { sendPacket_changeElementNote(LABEL_ON_PAGE2_ID, "Button 2 pressed"); } else if (buttonID == BUTTON_3_ID) { sendPacket_changeElementNote(LABEL_ON_PAGE2_ID, "Button 3 pressed"); } else if (buttonID == BUTTON_4_ID) { sendPacket_changeElementNote(LABEL_ON_PAGE2_ID, "Button 4 pressed"); } } virtual void packetReceived_layoutPageSwitched( tau::common::LayoutPageID const & newActiveLayoutPageID) { std::cout << "event: layoutPageSwitch, id=" << newActiveLayoutPageID << "\n"; } virtual void packetReceived_boolValueUpdate( tau::common::ElementID const & inputBoxID, bool new_value, bool is_automatic_update) { std::cout << "event: boolValueUpdate, id=" << inputBoxID << ", value=" << new_value << "\n"; } virtual void packetReceived_textValueUpdate( tau::common::ElementID const & inputBoxID, std::string const & new_value, bool is_automatic_update) { std::cout << "event: textValueUpdate, id=" << inputBoxID << ",\n\tvalue=" << new_value << "\n"; sendPacket_changeElementNote(BOOL_INPUT_ID, new_value); sendPacket_changeElementNote(BUTTON_WITH_NOTE_TO_REPLACE_ID, new_value); } }; int main(int argc, char ** argv) { boost::asio::io_service io_service; short port = 12345; tau::util::SimpleBoostAsioServer<MyEventsDispatcher>::type s(io_service, port); std::cout << "Starting server on port " << port << "...\n"; s.start(); std::cout << "Calling io_service.run()\n"; io_service.run(); return 0; }

前の例からのすべての変更は、 MyEventsDispatcherクラスで行われました。次のクライアントイベントハンドラメソッドが追加されました。

packetReceived_buttonClickボタンイベントハンドラー 。ボタンIDは、パラメーターとしてメソッドに渡されます。
クライアントからサーバーに変数値を転送するパケットのハンドラー： packetReceived_boolValueUpdate、packetReceived_intValueUpdate、packetReceived_floatPointValueUpdate、packetReceived_textValueUpdate
packetReceived_layoutPageSwitched要素を持つ表示ページの変更イベントのハンドラー

さらに、接続時にクライアントに送信されるレイアウトもそれに応じて変更されました。

デモがあるので、ハンドラー内のコードは可能な限りシンプルです。イベントに関する情報をコンソールにダンプし、クライアントにさまざまなコマンドを送信します。

すべてのコマンドはpacketReceived_buttonClick（）ボタンハンドラーからクライアントに送信されます（もちろん、これはそこで行う必要はありませんが、より簡単で視覚的です）。

各コマンドは、サーバーからクライアントに送信されるパケットに対応しています。これらのパッケージの形成と送信は、 BasicEventsDispatcherで定義された特別なメソッドが呼び出されたときに発生します。

sendPacket_resetLayout（） -レイアウト全体の置換
sendPacket_requestValue（） -入力の1つで変数値を要求する
sendPacket_updateBooleanValue（）、sendPacket_updateIntValue（）、sendPacket_updateFloatPointValue、sendPacket_updateTextValue（） -入力の変数の値を変更する
sendPacket_changeElementNote（） -読み取り専用テキスト（ボタン、チェックボックス、ラベルのテキスト）を変更します
sendPacket_changeShownLayoutPage（） -要素を持つ別のページに切り替えます
sendPacket_changeElementEnabledState（） -要素のアクティブな状態を切り替えます（非アクティブな要素は表示されますが、相互作用することはできません）

この例の仕組みは次のとおりです。

UI要素を使用した作業のデモンストレーション

ご覧のとおり、クライアントデバイス上の各アクションに対して、対応するコードがサーバー上で実行されます。ユーザー入力要素の値が変更されると、サーバーはこの要素の変数の新しい値に関する通知を受け取ります。ボタンクリックハンドラでは、さまざまなパケットがサーバーからクライアントに送信されます（パケットのタイプは、どのボタンが押されたかによって異なります）。この例では、ページ切り替えの仕組みも示しています。ページングレイアウトを使用すると、機能に応じて要素をグループ化できます。クライアントの画面には常に1つのページのみが表示されるため、インターフェースの負荷が軽減されます。

例3-役に立つもの

今日の最後の例は、このプロジェクトを開始したタスクの1つの部分的な実装です。これは、Windows用の最も単純なキーボード入力エミュレーターです（ sendInput（） winapi関数を使用します）。

この例のコードは、私のgithubにあります。ここでは説明しません。2番目の例と比較して、ライブラリの使用に関する新しいことは示しません。ここでは、彼の作品のデモのみを提供します。

キーボードエミュレーション

この例のコードは、より複雑なキーボードエミュレーションタスクに簡単に拡張できます。

エピローグ

結論ではなく、コミュニティに訴えたい。同様のシステムが必要ですか？別の自転車を発明していますか？より詳細に説明する必要があるのは何ですか？どの方向にさらに発展する必要がありますか？

ここで、次の開発パスが思い浮かびます（これらはほぼ完全に直交しているため、優先順位を付けたいと思います）。

他のプラットフォーム（IOS、PC）のクライアントアプリケーションを追加する
データ転送プロトコルの機能を拡張する（接続監視用のハートビートパケット、通信制御コマンド）
新しいUI要素（ドロップダウンボックス、画像など）の追加
クライアント上の要素の外観（色、フォント、スタイル）のより深いカスタマイズ
より具体的なクライアントデバイス機能（通知、センサー、音量ボタンなど）のサポート
他のプログラミング言語用のサーバーライブラリの追加

さらに、現在の状態のライブラリのアーキテクチャと実装についての批判を聞いてうれしいです。

参照：

AndroidデバイスをC ++プログラムのシンUIとして使用する