🍉 🍿 👨🏿‍💼 拡張現実のための自律ナビゲーションの概要 👴🏽 👩🏾‍✈️ 👨🏻‍🌾

コントローラーの助けを借りずに制御できるコンピューターシステムは、人間とコンピューターの相互作用の新しい段階です。この領域には、ジェスチャ認識、音声認識、顔認識、モーショントラッキング、環境の再構築など、物理的環境を認識する技術が含まれます。 Intel RealSense F200およびR200カメラは、この分野で多くの機能を提供します。カメラの深度を決定して撮影する機能のおかげで、F200とR200は3次元環境を構築し、環境に関連するデバイスの動きを追跡することができます。環境の再構築とモーショントラッキングにより、仮想オブジェクトが現実の世界に収まる仮想現実の機能を実現できます。

この記事の目的は、自律ナビゲーションに精通し、拡張現実アプリケーションでのアプリケーションを説明することです。開発した例では、Intel RealSense R200カメラとUnity 3Dゲームエンジンを使用しています。事前にIntel RealSense SDKおよびUnityの機能を理解しておくことをお勧めします。 Intel RealSense SDKとUnityの統合については、UnityおよびIntel RealSense 3Dカメラを使用したゲームの開発と、Intel RealSense R200を使用したUnityの拡張現実を参照してください。

Intel RealSenseカメラは、拡張現実アプリケーションにデータを提供できますが、本当に興味深い仮想世界を作成するのは開発者次第です。生活環境を作成する1つの方法は、スタンドアロンエージェントを使用することです。自律エージェントは、人工知能を使用して独立して動作するオブジェクトです。人工知能は、エージェントが従わなければならない運用パラメーターとルールを決定します。エージェントは、それが置かれている環境の状態にリアルタイムで動的に応答するため、アクションの原則が単純であっても、複雑な動作モデルを持つことができます。

自律エージェントはさまざまな形で存在できますが、この説明では、移動およびナビゲートできるエージェントに焦点を当てます。このようなエージェントには、プレイヤーが制御しないゲームキャラクター（NPC）や、アニメーションプログラムのトレーニングで群れをなす鳥が含まれます。エージェントの目標はアプリケーションによって異なりますが、移動とナビゲーションの原則はすべての場合で同じです。

自律航法

エージェントのナビゲーションは、さまざまな方法で実行できます。実装の観点とリソースの集中度の両方の点で、シンプルと複雑の両方です。最も簡単なアプローチは、エージェントがたどるパスを決定することです。ウェイポイントが選択されると、エージェントはそれに向かって直線で移動します。このアプローチは簡単に実装できますが、そのアプリケーションにはいくつかの問題があります。最も明白なのは、エージェントとウェイポイントの間に直接のパスがない場合はどうなりますか（図1）。

図1.エージェントはダイレクトパスに沿ってターゲットに向かって移動しますが、パスは障害物によってブロックされています。 ご注意 説明されている質問は、2次元空間と3次元空間の両方のナビゲーションに適用できます。 ここでは2次元空間を使用して説明します

障害物を避けるために、ウェイポイントを追加する必要があります（図2）。

図2.エージェントが障害物を回避できるように、追加のウェイポイントが追加されます

多数の障害物がある大きな地図には、より多くのウェイポイントとルートがあります。さらに、ウェイポイントの密度を上げると（図3）、より効率的なルートをレイアウトするのに役立ちます（目的地までのエージェントのパスが短くなります）。

図3.マップサイズが大きくなると、ウェイポイントと可能なルートの数が増えます。

ウェイポイントが多数ある場合、互いに隣接していない2つのウェイポイント間にルートを構築する方法が必要です。この問題は「道を見つける」と呼ばれます。パスの検索は、グラフ理論と密接に関連しており、ナビゲーションだけでなく多くの分野に適用されます。当然、この分野では多くの研究が行われており、パスを見つけるためのさまざまな問題を解決するために多くのアルゴリズムが作成されています。最もよく知られているパス検索アルゴリズムの1つはA *です。このアルゴリズムでは、隣接するウェイポイント間を目的地に向かって移動し、訪問したすべてのウェイポイントとそれらに接続されたすべてのウェイポイントのマップを作成します。宛先に到達すると、アルゴリズムは作成されたマップを使用してパスを計算します。その後、エージェントはこのパスに沿って移動できます。アルゴリズムA *は、使用可能なすべてのスペースでの検索を提供しません。したがって、構築されたパスは常に最適とは言えません。コンピューティングリソースへの負荷の観点から、このようなアルゴリズムの効率は非常に高くなっています。

図4. A *アルゴリズムがマップを走査し、ターゲットAnimation：Subh83 / CC BY 3.0へのルートを見つけようとします

アルゴリズムA *は、その性質上、障害物の追加や除去、境界の移動など、環境の変化に適応できません。拡張現実環境は本質的に動的です。そのような環境は、ユーザーと物理的空間の動きに応じて作成および変更されるためです。

動的な環境では、エージェントがリアルタイムで決定を下すことが望ましいです。そのような決定は、エージェントの環境に関する現在の知識に基づいて行われるべきです。したがって、エージェントがリアルタイムで意思決定と行動を行えるように、構造を決定する必要があります。ナビゲーションに関して、便利で一般的なアプローチは、動作の構造を3つのレベルに分割するものです。

アクションの選択は、目標を設定し、これらの目標を達成する方法を決定することで構成されます。たとえば、ウサギは餌を求めて野原を動き回りますが、捕食者が近くに現れると、ウサギは逃げます。有限状態マシン（有限状態マシン）は、エージェントの状態と状態が変化する条件を決定するため、この動作の実装に使用すると便利です。
ガイダンスは、エージェントの現在の状態に基づいた動きの計算です。たとえば、捕食者がウサギを追いかけている場合、ウサギは捕食者から逃げなければなりません。ガイダンスは、動きの大きさと方向の両方を計算します。
移動は、エージェントが移動するメカニズムです。ウサギ、男、車、宇宙船はさまざまな方法で動きます。動きは、動きの方法（たとえば、脚、車輪、ロケットエンジンの助けを借りて）と、この動きのパラメーター（たとえば、質量、最大速度、最大力など）の両方を決定します。

これらのレベルが一緒になって、エージェントの人工知能を形成します。次のセクションでは、これら3つのレベルの実装を示すUnityアプリケーションの例を示します。次に、R200カメラを使用して、拡張現実アプリケーションに自律ナビゲーションを埋め込みます。

オフラインナビゲーションの実装

このセクションでは、移動から始めて、自律ナビゲーションのためのUnityシーンの動作プラットフォームについて説明します。

ove動き

エージェントの動きは、ニュートン力学の法則に基づいています。質量に力が加えられると、加速が発生します。私たちは、あらゆる方向から力を加えることができる、均一に分布した体重を持つ単純化されたモデルを使用します。動きを制限するために、最大力と最大速度が設定されます（コードフラグメント1）。

public float mass = 1f; // Mass (kg) public float maxSpeed = 0.5f; // Maximum speed (m/s) public float maxForce = 1f; // "Maximum force (N)

スニペット1.エージェントの移動モデル

エージェントには、起動時に初期化されるrigidbodyおよびcolliderコンポーネントが必要です（コードスニペット2を参照）。モデルを単純にするために、重力は除外されていますが、オンにすることができます。

 private void Start () { // Initialize the rigidbody this.rb = GetComponent<rigidbody> (); this.rb.mass = this.mass; this.rb.useGravity = false; // Initialize the collider this.col = GetComponent<collider> (); }

コードスニペット2。rigidbodyおよびcolliderコンポーネントはStart（）で初期化されます。

エージェントは、 FixedUpdate（）ステップでリジッドボディに力を加えることで移動します（コードスニペット3を参照）。 FixedUpdate（）はUpdate（）と同様に機能しますが、 Update（）とは異なり、同じ間隔で実行されることが保証されています。 Unityエンジンは、 FixedUpdate（）ステップの完了後に物理学（ソリッドを使用した操作）を計算します。

 private void FixedUpdate () { Vector3 force = Vector3.forward; // Upper bound on force if (force.magnitude > this.maxForce) { force = force.normalized * this.maxForce; } // Apply the force rb.AddForce (force, ForceMode.Force); // Upper bound on speed if (rb.velocity.magnitude > this.maxSpeed) { rb.velocity = rb.velocity.normalized * this.maxSpeed; } }

コードスニペット3。力はFixedUpdate（）ステップで剛体に適用されます。 この例では、エージェントはZ軸に沿って移動します

力の大きさがエージェントの最大強度を超える場合、大きさの強度が最大力に等しくなるように調整されます（方向は維持されます）。 AddForce（）関数は、数値積分により力を適用します。

式1.速度の数値積分。 AddForce（）関数がこの計算を実行します。

ここで、 ν1は新しい速度、 ν0は古い速度、 fは力、 mは質量、 Δtは更新間の時間間隔です（デフォルトでは、Unityの固定時間ステップは0.02 sです）。速度値が最大エージェント速度を超える場合、最大速度と一致するように調整されます。

ガイダンス

ガイダンスは、運動モデルに与えられる力を計算します。障害物の探索、到着、回避の3つのガイダンスアルゴリズムが適用されます。

検索する

「検索」動作は、オブジェクトをできるだけ早くターゲットに向かって移動しようとします。この動作の望ましい速度は、最大速度でターゲットに直接移動することです。誘導力は、希望のエージェント速度と現在のエージェント速度の差として計算されます（図5）。

図5.「検索」ビヘイビアーはホバーパワーを適用して、現在の速度を希望の速度に変更します

実装（コードスニペット4）は、最初にエージェントとターゲット間のバイアスを正規化し、それに最大速度を掛けることにより、目的のベクトルを計算します。戻り指示力は、目的の速度から現在の剛体速度を引いたものです。

 private Vector3 Seek () { Vector3 desiredVelocity = (this.seekTarget.position - this.transform.position).normalized * this.maxSpeed; return desiredVelocity - this.rb.velocity; }

コードスニペット4.動作「検索」

エージェントは「検索」アルゴリズムを使用し、 FixedUpdate（）で力を計算するときにSeek（）を呼び出します（コードスニペット5）。

 private void FixedUpdate () { Vector3 force = Seek (); ...

コードスニペット5. FixedUpdate（）のSeek（）を呼び出す

動作中の「検索」アルゴリズムの例をビデオ1に示します。エージェントには、剛体の現在の速度を示す青い矢印と、この時間間隔でガイダンスが適用されることを示す赤い矢印が装備されています。

ビデオ1.最初は、エージェントの速度はターゲットの方向に垂直であるため、エージェントは曲線に沿って移動します

到着

「検索」アルゴリズムを使用すると、エージェントは可能な限り最高速度で移動していたため、ターゲットを逃して移動します。到着アルゴリズムは検索アルゴリズムに似ていますが、違いはターゲットで完全に停止しようとすることです。パラメーター「スローイング半径」は、エージェントがスローダウンし始めるターゲットに到達する距離を決定します。エージェントが減速半径内にある場合、望ましい速度はエージェントとターゲット間の距離に反比例します。最大力、最大速度、および減速半径によっては、この動作が完全に停止しない場合があります。

到着動作（コードスニペット6）は、最初にエージェントとターゲット間の距離を計算します。減速速度は、減速半径で割った距離まで減速した最大速度として計算されます。目的の速度は、指定された速度と最大速度の間で最小です。したがって、ターゲットまでの距離が減速半径より小さい場合、望ましい速度は減速速度です。それ以外の場合、目的の速度は最大速度です。この関数の残りの部分は、目的の速度で「検索」とまったく同じように機能します。

 // Arrive deceleration radius (m) public float decelerationRadius = 1f; private Vector3 Arrive () { // Calculate the desired speed Vector3 targetOffset = this.seekTarget.position - this.transform.position; float distance = targetOffset.magnitude; float scaledSpeed = (distance / this.decelerationRadius) * this.maxSpeed; float desiredSpeed = Mathf.Min (scaledSpeed, this.maxSpeed); // Compute the steering force Vector3 desiredVelocity = targetOffset.normalized * desiredSpeed; return desiredVelocity - this.rb.velocity; }

スニペット6.動作「到着」

ビデオ2.「到着」アルゴリズムは、目標に到達すると速度を低下させます

障害物回避

到着および検索アルゴリズムは目的地に到着するのに最適ですが、障害に対処することはできません。動的な環境では、エージェントは新たに出現する障害を回避できる必要があります。障害物回避アルゴリズムは、提案されたルートに沿ってエージェントの前のパスを分析し、回避すべき障害物があるかどうかを判断します。障害物が検出されると、アルゴリズムはエージェントが障害物と衝突しないようにエージェントの経路を変更する力を計算します（図6）。

図6.現在の軌道上で障害物が検出された場合、衝突回避力が返されます

障害物回避アルゴリズムの実装（コードフラグメント7）は、スフィアキャストを使用して衝突を検出します。この場合、球体は現在の剛体速度ベクトルに沿ってリリースされ、衝突ごとにRaycastHitが返されます。球体はエージェントの中心から移動します。その半径は、オブジェクトの衝突半径とパラメーター「回避半径」の値の合計に等しくなります。回避半径を使用して、ユーザーはエージェントの周りの空きスペースを特定できます。球体の動きの範囲は、「前方検出」パラメーターによって制限されます。

 // Avoidance radius (m). The desired amount of space between the agent and obstacles. public float avoidanceRadius = 0.03f; // Forward detection radius (m). The distance in front of the agent that is checked for obstacles. public float forwardDetection = 0.5f; private Vector3 ObstacleAvoidance () { Vector3 steeringForce = Vector3.zero; // Cast a sphere, that bounds the avoidance zone of the agent, to detect obstacles RaycastHit[] hits = Physics.SphereCastAll(this.transform.position, this.col.bounds.extents.x + this.avoidanceRadius, this.rb.velocity, this.forwardDetection); // Compute and sum the forces across all hits for(int i = 0; i < hits.Length; i++) { // Ensure that the collidier is on a different object if (hits[i].collider.gameObject.GetInstanceID () != this.gameObject.GetInstanceID ()) { if (hits[i].distance > 0) { // Scale the force inversely proportional to the distance to the target float scaledForce = ((this.forwardDetection - hits[i].distance) / this.forwardDetection) * this.maxForce; float desiredForce = Mathf.Min (scaledForce, this.maxForce); // Compute the steering force steeringForce += hits[i].normal * desiredForce; } } } return steeringForce; }

コード7のスニペット。動作「障害物からの回避」

spherecastを使用すると、 RaycastHitオブジェクトの配列が返されます。 RaycastHitオブジェクトには、衝突までの距離や、衝突が発生したサーフェスの平面の法線などの衝突情報が含まれています。法線は、平面に垂直なベクトルです。これを使用して、エージェントを衝突点から遠ざけることができます。力の大きさは、最大力を衝突までの距離に反比例させることによって決定されます。各衝突の力が合計され、結果は1つの時間間隔での合計回避力になります。

より複雑な動作を取得するには、一度に複数のアルゴリズムを使用できます（コードフラグメント8）。障害物回避アルゴリズムは、他のアルゴリズムとともに使用する場合にのみ役立ちます。この例（ビデオ3）では、「障害物の回避」が到着アルゴリズムと共に使用されています。行動のアルゴリズムは、単純に力を加算することで結合されます。ヒューリスティックなメカニズムを使用して強制優先度の重み係数を決定する、より複雑なスキームも可能です。

 private void FixedUpdate () { // Calculate the total steering force by summing the active steering behaviors Vector3 force = Arrive () + ObstacleAvoidance(); ...

コード8のスニペット。アルゴリズム「到着」と「障害物からの回避」は、力を追加することにより同時に使用されます。

ビデオ3.エージェントは、「到着」と「障害の回避」の2種類の動作を同時に使用します。

action行動の選択

アクションの選択は、エージェントによる共通の目標と意思決定の設定です。エージェントの実装には、「到着」アルゴリズムと「障害の回避」アルゴリズムの組み合わせの形でアクションを選択するための単純なモデルがすでに含まれています。エージェントはターゲットに到達しようとしますが、障害物が検出されると、そのパスが変更されます。障害物回避アルゴリズムの回避半径と前方検出パラメーターは、実行されるアクションを決定します。

R200カメラの統合

これで、エージェントは独立して移動できるようになり、拡張現実アプリケーションに含めることができます。

次の例は、Intel RealSense SDKの一部であるScene Perceptionの例に基づいています。このアプリケーションはScene Perceptionを使用して3次元モデルを作成し、ユーザーは3次元空間でターゲットを設定および移動できます。その後、エージェントは作成された3次元モデルを移動して目標を達成できます。

▍シーンマネージャー

スクリプトシーンマネージャーは、シーンを初期化し、ユーザーコントロールを処理します。唯一のコントロールはタッチ（またはデバイスがタッチをサポートしていない場合はマウスクリック）です。タッチポイントからのレイトレーシングにより、作成された3次元モデルにタッチするかどうかが決まります。最初のタッチで3次元モデルにターゲットが作成され、2番目のタッチでエージェントが作成され、その後の各タッチでターゲットの位置が移動します。制御ロジックは、ステートマシン（コードフラグメント9）によって処理されます。

 // State machine that controls the scene: // Start => SceneInitialized -> TargetInitialized -> AgentInitialized private enum SceneState {SceneInitialized, TargetInitialized, AgentInitialized}; private SceneState state = SceneState.SceneInitialized; // Initial scene state. private void Update () { // Trigger when the user "clicks" with either the mouse or a touch up gesture. if(Input.GetMouseButtonUp (0)) { TouchHandler (); } } private void TouchHandler () { RaycastHit hit; // Raycast from the point touched on the screen if (Physics.Raycast (Camera.main.ScreenPointToRay (Input.mousePosition), out hit)) { // Only register if the touch was on the generated mesh if (hit.collider.gameObject.name == "meshPrefab(Clone)") { switch (this.state) { case SceneState.SceneInitialized: SpawnTarget (hit); this.state = SceneState.TargetInitialized; break; case SceneState.TargetInitialized: SpawnAgent (hit); this.state = SceneState.AgentInitialized; break; case SceneState.AgentInitialized: MoveTarget (hit); break; default: Debug.LogError("Invalid scene state."); break; } } } }

コードスニペット9.サンプルアプリケーションのタッチハンドラーとステートマシン

Scene Perceptionコンポーネントは、多くの小さな3次元モデルを形成します。このようなモデルには、通常、30個以下の頂点があります。頂点の位置は異なる場合があり、その結果、一部のモデルは、それらが配置されているサーフェスに対してわずかに傾いています。オブジェクトがモデルの上部にある場合（たとえば、ターゲットまたはオブジェクト）、オブジェクトの向きは正しくありません。この問題を回避するには、3次元モデルの平均法線を使用します（コードスニペット10）。

 private Vector3 AverageMeshNormal(Mesh mesh) { Vector3 sum = Vector3.zero; // Sum all the normals in the mesh for (int i = 0; i < mesh.normals.Length; i++){ sum += mesh.normals[i]; } // Return the average return sum / mesh.normals.Length; }

コードの一部10. 3次元モデルの平均法線の計算

▍アセンブリアセンブリ

この例のために開発されたすべてのコードは、Github Webサイトで入手できます。

次の手順では、Scene Managerとエージェントの実装をIntel RealSenseアプリケーションに統合します。

Intel RealSense SDK RSSDK \ framework \ UnityフォルダーでRF_ScenePerceptionの例を開きます。
AutoNavAR Unityパッケージをダウンロードしてインポートします。
Assets / AutoNavAR / Scenes /フォルダーでRealSenseExampleSceneを開きます。
Intel RealSense R200カメラを搭載した互換性のあるデバイスでアプリケーションをビルドして実行します。

ビデオ4. Intel RealSense R200カメラとの統合

自律航法のさらなる開発

R200カメラを備えた拡張現実アプリケーションでのスタンドアロンエージェントを示す例を開発しました。この作業を開発し、エージェントの「合理性」とリアリズムを高めるには、いくつかの方法があります。

エージェントとして、単純化された機械モデルが、質量の均一な分布とともに、方向の動きの制限なしで使用されました。質量が不均一に分散され、身体にかかる力が制限される、より完全なモデルを開発できます（たとえば、異なる加速力と制動力を持つ車、メインエンジンとサイドシャントエンジンを持つ宇宙船）。機械モデルがより正確に実行されるほど、動きはよりリアルになります。

クレイグレイノルズは、アニメーションとゲームのコンテキストで行動ガイダンスアルゴリズムを詳細に説明した最初の人物です。この例で示したアルゴリズム「検索」、「到着」および「障害物の回避」は、彼の研究に基づいて作成されています。レイノルズは、飛行、ストーキング、放浪、調査、障害物の回避、経路の追跡など、他の行動アルゴリズムについて説明しました。考慮されるグループ行動アルゴリズムには、「分離」、「統合」、および「構築」が含まれます。別の有用なリソースは、Mat Bucklandの「ゲーム用の人工知能のプログラミング」です。動作アルゴリズムの実装と、ステートマシンやパス検索など、その他の多くの問題について説明しています。

この例では、「到着」および「障害の回避」ガイダンスアルゴリズムがエージェントに同時に適用されます。したがって、任意の数の動作アルゴリズムを組み合わせて、より複雑なモデルを取得できます。たとえば、ビヘイビアアルゴリズムは、分離、マージ、および構築に基づいています。異なる動作アルゴリズムの組み合わせにより、不自然な結果が生じる場合があります。このようなアルゴリズムのさまざまなタイプを試して、新しい機能を特定することをお勧めします。

さらに、一部のパス検索手法は、動的環境で使用するために設計されています。 D *アルゴリズムはA *に近いですが、新しい観測に基づいてパスを更新できます（つまり、障害物を追加および削除します）。 D * LiteアルゴリズムはD *と同じように機能し、実装が簡単です。パスファインディングをガイダンスとともに使用できます。ウェイポイントを設定してから、ガイダンスを使用してそれらを迂回できます。

アクションの選択については、この記事では説明していませんが、ゲーム理論で広く研究されています。ゲーム理論では、戦略と意思決定の数学的基礎が調査されます。ゲーム理論は、経済学、政治学、心理学を含む多くの分野に適用されます。自律的なエージェントの場合、ゲーム理論は、決定が行われる方法とタイミングを制御できます。ゲーム理論101：ウィリアムスパニエルによる完全なリファレンスは、 YouTubeビデオのシリーズの優れた開始リソースです。

おわりに

エージェントの動き、行動、行動を調整するためのツールがあります。オフラインナビゲーションは、拡張現実アプリケーションで作成されたIntel RealSenseカメラのような動的環境に最適です。動きとガイダンスの単純なモデルでさえ、環境に関する予備知識がなくても複雑な動作を形成できます。豊富な利用可能なモデルとアルゴリズムにより、あらゆるアプリケーションにスタンドアロンソリューションを柔軟に実装できます。

拡張現実のための自律ナビゲーションの概要