A.
Wikiが示すように、テレプレゼンスは、物理的な場所とは異なる場所にいるという印象を与える一連のテクノロジーです。 私の意見では、テレプレゼンスの実装の曲技飛行は、タッチ、匂い、視覚、聴覚、空間内を移動する可能性に対する味覚の伝達です。 したがって、技術の意味は、環境に影響を与え、その場所に存在するユーザーが経験した感覚の形でフィードバックを受け取る可能性にあります。
ユーザーにプレゼンスの説得力のある効果を提供するには、少なくとも以下を可能にするいくつかのテクノロジーが必要です。
- ビデオストリームの送受信
- 音声の送受信
- 宇宙に移動する
- リモート環境でオブジェクトを操作する機能
私たちのロボットについて言えば、彼のテレプレゼンスはWebインターフェースを介して実装されています。 このアプローチには、クライアント側で使用されるプラットフォームからの独立性という否定できない利点があります。
映像
ロボットの側面でビデオを受信するには、Kinect RGBカメラと追加のWebカメラを使用します。この場合はラップトップに組み込まれたWebカメラですが、別のWebカメラを使用することもできます。 1つは実際に起こっているすべてを見る前部であり、もう1つは足の下で、ロボットの動作を妨げる可能性のあるすべてのオブジェクトが私たちに見える場所です。 カメラからの画像は、人間にとって便利で自然な方法でWebインターフェイスに配置されます。 足元を確認したい場合は、頭を下げます。Webインターフェイスでも同じ原理が使用されます。下の画面を見てください。
ビデオフィードバックは、クライアント側にあるウェブカメラを通じて提供されます。 結果の画像は、ロボットのディスプレイまたはモバイルプラットフォームにインストールされたラップトップに表示されます。 ビデオストリームの送信は、SIPプロトコルを介して行われます。これは、オフィスやサービスサイトでPBXとして広く使用されているSkypeプロトコルに類似しています。
音
音声を送信するには、Kinectの組み込みマイクネットワークを使用します。 これらのマイクは十分な品質であり、さまざまなノイズの発生を最小限に抑えます。 オーディオストリームを送信するには、同じSIPを使用します。
将来的には、Kinectマイクを最大限に使用し、ステレオ音声伝送を実現したいと考えています。 間違いなく、これにより、ユーザーはテレプレゼンスの効果についてさらに大きな感覚を得ることができます。
宇宙での移動
移動に関しては、ロボットのリモート制御には手動と自律の2つのオプションがあります。 私たちのロボットはすでに宇宙で独立してナビゲートする方法を知っているので、この機会をここで使わないのは愚かなことです。 人のように、ロボットにとっては空間をナビゲートする必要があり、そのために以前は感覚情報に基づいて構築された部屋の地図を使用します。
ルーム内のユーザーの向きをより便利にするためのWebインターフェイスでは、左下隅にミニマップが表示されます。これは、どの制御モードでも便利です。 私たちは常にミニマップの中心にあり、カード自体はロボットの動きに応じて回転および移動します。 そのため、ロボットがどこにあるかを正確に理解でき、ダブルクリックするとグローバルマップが展開されます。
手動制御
リアルハードコアモード。 このモードでは、矢印キーを使用してキーボードからロボットを制御し、障害物があってもどこにでも自由に移動できます。 その結果、一人称のレーシングシミュレーターのように見えますが、ワイヤーの反対側にあるのは、実際のロボットと実際の環境です。 その他、スライダー形式の速度制御も利用できます。 最初のスライダーは線形速度を担当し、2番目のスライダーはロボットの回転速度を担当します。 見かけの単純さにもかかわらず、この方法で最初に管理することは、次元の感覚の欠如のために非常に困難です。
自律航法
オフラインナビゲーションでは、ユーザーの役割を最小限に抑えます。 ユーザーが1つまたは複数の目的地点を指定することは必要かつ十分であり、ロボットは、ルートを敷設して障害物を迂回して、それらに沿って独立して移動します。 この場合、視覚と音声の両方の接触が保持されます。 必要に応じて、ユーザーは自律移動の実行を停止し、手動制御モードに切り替えることができます。 自律モードでは、対談者をフォローする機能も関連し、その実装は計画に含まれています。
機能が明らかに充実しているにもかかわらず、まだ対処すべきことがあります。 Webインターフェイスを、ロボットの構成とキャリブレーションに使用されるロボットにとって不可欠なバッテリーレベルやその他のセンサーのインジケーターを備えた一種の「コントロールパネル」にしたいと考えています。
リモート環境でアイテムを操作する
すべてのテレプレゼンスロボットがアイテム操作機能を備えているわけではありません。 これにはいくつかの理由がありますが、その1つはマニピュレータ自体のコストが高いことです。そのコストは、ロボット自体のコストとソフトウェア実装の複雑さに比例することもあります。
トッドボットは例外であり、彼はまだ手を持っています。 したがって、ソフトウェア次第です。 マニピュレータを制御する最も簡単な方法は、マニピュレータの各自由度を担当するスライダー/スクロールをWebインターフェイスパネルに配置することです。 ただ一つだけあります。そのようなコントロールで何かをつかむことは信じられないほど難しいです。 私は直接知っています-私はテーブルからマッチの箱を取ろうとしました。 このすべてに約5分を費やしました。 同時に、隣接するオブジェクトによる放牧または転覆の確率は100％になる傾向があります。 もちろん、1週間トレーニングして結果を改善することもできますが、この場合、これは最も簡単で便利な方法ではありません。
ご覧のとおり、Webインターフェースを介してマニピュレーターを制御しています。 このプロセスは可能な限り自動化する必要がありますが、ユーザーからの神経と力は必要ありません。 ユーザーは、ビデオストリームに入ったオブジェクトの選択のみに制限する必要があり、システムが残りを行います。 そのため、 前に書いたMoveItソフトウェアモジュールに手の制御を委ねました 。 現時点では、手は動いているときに周囲のオブジェクトとの衝突を避ける方法をすでに知っています。 MoveItとWebインターフェースの統合を実行して、オブジェクトのキャプチャで満足のいく結果を達成します。 現在、この方向で特定の成功を収めています。
ROSのWebインターフェースとどのようにして友達になったのですか？
テレプレゼンスのソフトウェア実装について言えば、Tod BotロボットはROSフレームワークの下で制御されていることを思い出してください。 ROSでは、すべての機能は、トピックで公開されたメッセージを介して互いに通信するソフトウェアノードに分散されます。 したがって、システムに統合された新しいソフトウェアは、そのようなROSノードとして提示する必要があります。
テレプレゼンス機能を実装するには、一方でHTMLページを生成し、POST / GETリクエストを処理できるWebサーバーが必要です。他方で、ROSからオドメトリーとナビゲーションマップデータを受信し、部屋のパトロールと移動制御コマンドを送信する必要があります。
これらの要件に基づいて、すべてのテレプレゼンス機能をROSソフトウェアノードとして設計し、ミニマリストのPython WebフレームワークであるCherryPyをWebサーバーとして使用し、データを単純なキー値形式でRedis NoSQLストレージに保存することにしました。 SIPクライアントとして、HTML5 sipML5クライアントが使用されました。これにより、ブラウザで直接オーディオ/ビデオコールを行うことができます。
どのように連携しますか？ AJAXリクエストを介したWebブラウザのオペレータは、ロボットのWebサーバーにデータを転送します。 テレプレゼンスノードのPythonスクリプトは、Webサーバーからのデータを処理し、他のROSノードに送信します。ROSノードは既にロボットで直接コマンドを実行しています。 テレプレゼンスノードから、オペレーター側も同様にHTML5 CanvasでレンダリングされたKinectからマップ、走行距離計、ビデオストリームのデータを受信します。 同時に、オーディオ/ビデオストリームは、オペレーターおよびロボットsipML5クライアントを介してブロードキャストされます。 ところで、SIPクライアントを接続するための無料のSIPサービスの品質は苦情を引き起こしません。 必要なのは、かなり広いインターネットチャネルだけです。
また、ご意見をお聞かせください。 テレプレゼンス参照システムはどのように見えるべきですか？