ビジョンベースのSLAM：ステレオおよび深度SLAM

短い休憩の後、SLAMチュートリアルのシリーズを続けます。 以前のリリースでは、ソフトウェア環境を準備し、 単眼SLAMも使用しました 。 Under the cut-ステレオカメラと深度カメラに基づくSLAMの使用に関するレッスン。 パッケージと機器の構成について説明し、2つのROSパッケージ（従来のRTAB-Mapと新鮮でおいしいElasticFusion）の使用に関するヒントを示します。

RTAB-Map +ステレオカメラ

動作原理

RTAB-Map（リアルタイム外観ベースのマッピング）は、クロージャー検出器に基づく視覚的なグラフSLAMアルゴリズムです。 検出器は、 bag-of-wordsアルゴリズムを使用して、新しいカメラ画像と既に訪れた場所の画像との類似度を判断します。 このようなクロージャーはそれぞれ、カメラ位置グラフに新しいエッジを追加し、その後グラフが最適化されます。 リアルタイムを達成するために、アルゴリズムはメモリを管理するために巧妙な方法を使用し、使用されるロケーションの数を制限します。 開発者向け記事では、これらすべての仕組みについて詳しく説明しています。

打ち上げ

最初のレッスンでKinectセンサーを使用してRTAB-Mapの構成を検討したため、ここではステレオカメラで使用するためにこのパッケージを構成します。 そのため、2つの通常のUSB Webカメラを使用します。

ROSでのステレオペアの構成とキャリブレーション

正しく動作させるには、2台のカメラを互いに対してしっかりと固定する必要があります（このためには、洗濯ばさみでWebカメラを使用できます:)。 カメラは同じモデルであり、焦点を手動で調整する機能を持たないことが望ましい。 この水平の「ステレオカメラ」を使用します。

ROSでカメラを構成する

usb_camパッケージを使用して、カメラからビデオストリームを受信します。 次の内容でstereo_camera.launchファイルを作成します。

<launch> <node name="left" ns="stereo" pkg="usb_cam" type="usb_cam_node" output="screen" > <param name="video_device" value="/dev/video0"/> <param name="image_width" value="640"/> <param name="image_height" value="480"/> <param name="camera_frame_id" value="camera_link"/> </node> <node name="right" ns="stereo" pkg="usb_cam" type="usb_cam_node" output="screen" > <param name="video_device" value="/dev/video1"/> <param name="image_width" value="640"/> <param name="image_height" value="480"/> <param name="camera_frame_id" value="camera_link"/> </node> </launch>
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

/ dev / video0は、左/右のカメラに対応する識別子に置き換える必要があります。

起動時にフォームのエラーが表示される場合：



[ERROR] [1455879780.737902972]: VIDIOC_STREAMON error 28, No space left on device







これは、何らかの理由でUSB帯域幅が十分でないことを意味します。 カメラを別のUSBハブに接続する必要があります。これにより、ほとんどの場合、問題が解決します。



ROSユーティリティrqt_image_viewを使用して、両方のカメラが機能することを確認できます。 ユーティリティは、トピック/ステレオ/左/ image_rawおよび/ステレオ/右/ image_rawのビデオを表示する必要があります。

キャリブレーション

ROSのcamera_calibrationユーティリティは、水平ステレオカメラのキャリブレーションをサポートしています。 開始する前に、キャリブレーションサンプルを準備する必要があります-チェスマーカーを印刷します。 ユーティリティは次のように起動されます。

 rosrun camera_calibration cameracalibrator.py --size 8x6 --square 0.054 right:=/stereo/right/image_raw left:=/stereo/left/image_raw left_camera:=/stereo/left right_camera:=/stereo/right --approximate=0.01
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

どこで

--size 8x6は、チェスパターンの内部コーナーの数を示します（8x6は9x7の黒い正方形のパターンに対応します）。

--square 0.054-チェスパターンの正方形のサイズ（側面）（メートル単位）。

--approximate = 0.01-この例では、特殊なカメラを使用しているため、カメラ間の同期解除の許容時間を秒単位で設定するパラメーターを指定する必要があります。



このユーティリティを使用してステレオペアを調整するプロセスは、 最初の記事の単一カメラを調整するプロセスと大差ありません。 キャリブレーションが完了したら、コミットボタンをクリックしてキャリブレーションデータを保存する必要があります。

ステレオ画像処理

カメラを調整した後、ステレオ画像の処理に進むことができます。 stereo_image_procパッケージは、カメラからの画像の修正を実行し、視差マップを構築します。 起動は次のとおりです。

 rosrun stereo_image_proc stereo_image_proc __ns:=stereo _approximate_sync:=true
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

健全性を確認するには、次のパラメータを使用してimage_viewユーティリティを実行できます。

 rosrun image_view stereo_view stereo:=/stereo image:=image_rect_color _approximate_sync:=true
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ステレオ画像処理アルゴリズムのパラメーターは、 dynamic_reconfigureユーティリティーを使用して構成できます。 開始するには、次のコマンドを実行する必要があります。

 rqt
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

[ プラグイン ] →[構成 ]メニューから[ 動的再 構成 ]を選択します。



stereo_image_procは、 StereoBM （高速、最初の画像）とStereoSGBM （半グローバルブロックマッチング、 高品質 、低速、2番目の画像）の2つの処理アルゴリズムをサポートしています。

RTAB-Map

カメラのキャリブレーションが正常に完了し、適切な視差マップを受け取ったら、RTAB-Mapを起動できます。 rtabmap.launch起動ファイルを準備します。





このファイルは、Bumblebeeカメラの標準RTAB-Map構成ファイルに基づいています。 グローバル座標系に対するカメラ座標系の方向を設定し、走行距離測定モジュール（この場合はstereo_odometry ）、SLAM（ rtabmap ）、および視覚化（ rtabmapvizまたはrviz ）を起動します。

起動時にエラーが表示される場合：



[FATAL] The stereo baseline (-0.177000) should be positive







次に、 stereo_camera.launchファイル内の左右のカメラを交換し、再度調整する必要があります。



RTAB-Mapを実行します（このコマンドはrtabmap.launchを含むフォルダーから実行する必要があります）：

 roslaunch rtabmap.launch
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

すべてがうまくいけば、RTAB-Mapウィンドウが表示されます。

設定と考えられる問題

RTAB-Mapは、アルゴリズムの動作を調整するための以下のパラメーターを提供します（これらは、起動ファイルで変更するか、コマンドライン経由で転送できます）。

1. 戦略 -オドメトリーアルゴリズム：0 = bag-of-words 1 =オプティカルフロー
2. フィーチャー - フィーチャー検出器タイプ：0 =サーフ1 =シフト2 = ORB 3 =ファースト/フリーク4 =ファースト/ブリーフ5 = GFTT /フリーク6 = GFTT /ブリーフ7 =ブリスク。 何よりも、私たちの意見では、ORBはそれ自体を示し、デフォルトで使用されます。
3. 推定 -オドメトリーモード：0：3D、1：2D。
4. max_depth-視差マップからの最大使用フィーチャ深度（メートル単位）。
5. inlier_distance - RANSACのフィーチャ間の最大距離（メートル）。
6. local_map-マップに保存されるフィーチャの最大数。

SLAMをステレオカメラで使用する場合

単眼のSLAMを使用した後、2つのカメラを使用できることは、マップの縮尺とローカリゼーションの決定に問題がないため、単なる祝福です。 ステレオカメラまたは少なくとも2つの同一のモノカメラがある場合は、ステレオSLAMで使用してください。 ただし、高品質のカードを実現する場合は、必ず1つのハウジングに実際のステレオカメラを取り付けてください。 スコッチテープ上の2つのWebカメラは、SLAMのレッスンを書くための「私は私の母のエンジニアです」というカテゴリからの面白いソリューションですが、実際のタスクには実際の機器が必要です。

ElasticFusion + RGB-Dカメラ

動作原理

ElasticFusionでは、 サーファー （英語の表面要素から）に基づいて、環境の密な3Dモデルを構築できます。 このアルゴリズムは、訪問した場所のグラフを使用せず、クロージャをローカライズおよび検索するときに、構築されたマップに完全に依存しています。 障害を検索するために、アルゴリズムはマップの小さな部分をランダムに選択し、その後、新しいフレームと比較します。 短絡を見つけた後、マップセクションはエラーに応じて変形されます。 他の興味深いことはすべて、 記事developerで見ることができます。 アルゴリズムはハードウェアに対して非常に要求が厳しいことに注意してください。通常の操作には、3.5 TFlOPS以上のパフォーマンスを備えたnVidiaグラフィックカードと、Intel Core i5-i7のようなCPUが必要です。

インストールと起動

ElasticFusionリポジトリーを便利なフォルダーに複製します。

 git clone https://github.com/mp3guy/ElasticFusion.git
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

プロジェクトには多くの依存関係があり、その中にCUDAがあります。 ビデオカードドライバーを既にインストールしており、これがCUDAではない場合、残念ながら、タンバリンと少し踊らなければなりません。 ダンスには、ビデオカードドライバーのブラックリストへの登録、lightdmの停止時にインストールすること、および詳細を読むことができる他のあらゆる種類の厄介なものが含まれます 。 これらすべての手順を注意深く実行し、何をしているかを理解してください。そうでなければ、システムに別れを告げることができます。



最も簡単な方法は、開発者が親切に準備したスクリプトを使用して、すべての依存関係を含むElasticFusionを一度に構築することです。 リポジトリに移動して、スクリプトを実行しましょう。

 cd ElasticFusion ./build.sh
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

魔法のスクリプトは、私たちのためにほとんどすべてを行います。 「ほぼ」-すぐに使えるため、ElasticFusionはOpenNI2ドライバーでのみ動作します。 Kinectの最初のバージョンを使用していますが、幸いなことに、OpenNI2でサポートを追加する簡単な方法があります。 これを行うには、まずlibfreenectを収集します （その隣にあるElasticFusionと同じフォルダーに複製します）：

 git clone https://github.com/OpenKinect/libfreenect.git cd libfreenect mkdir build cd build cmake .. -DBUILD_OPENNI2_DRIVER=ON make
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

次に、OpenNI2でfreenectドライバーへのリンクを追加します。

 ln -s lib/OpenNI2-FreenectDriver/libFreenectDriver.so ../../ElasticFusion/deps/OpenNI2/Bin/x64-Release/OpenNI2/Drivers/
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

Hooray、Kinectが接続されていれば、この技術の奇跡を開始できます。

 cd ElasticFusion/GUI ./ElasticFusion
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

すべてが順調であれば、次のウィンドウが表示されます。

設定と考えられる問題

このアルゴリズムは、コマンドラインで渡すことができる微調整のための一連のパラメーターを提供します（一部はGUIで直接ツイストできます）。 これまでに、デフォルト設定でElasticFusionを起動しました。 この方法でうまく機能するかどうかは、使用している深度カメラだけでなく、コンピューティングハードウェアの構成によって異なります。 アルゴリズムはリアルタイムでのみ機能します。 一般的に、あなたはそのような問題を期待するかもしれません：

1. カードをサーファーでゆっくり「埋める」。 より強力なビデオアダプターを使用して解決し、パラメーターを設定します。
   
   
   1. たとえば、デフォルトの10ではなく2に低いSurfel信頼しきい値 （ -cパラメーター）を設定します。
   2. 高速走行距離測定を有効にします（ -fo ）。
   3. プロジェクトページで表示できるオプションはいくつかありますが、使用することはお勧めしません-品質が大幅に低下します。
2. 不安定な障害の発見。 これは、クロージャー検索モジュールのパラメーターを調整することで解決されます（ -ic、-cv、-pt ）。

また、追跡が失われた場合にアルゴリズムが自動的に回復できるように、再ローカリゼーション （ -rl ）を有効にすることと、よりスムーズなカメラの動きを与えるフレーム間RGB追跡 （ -ftf ）を有効にすることをお勧めします さらに、アルゴリズムで使用される2つのトラッカーの使用率を構成する必要があります。これは、 -iパラメーターを設定することによって行われます。

ハードウェア（Core i5 + GeForce GTX Titan）および最初のバージョンのKinect'aについて、次のパラメーターを選択しました。これにより、アルゴリズムの非常に良好な動作を実現できます。

 ./ElasticFusion -c 2 -d 4 -i 5 -fo -ftf -rl -ic 1000 -cv 1e-02 -pt 150
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ここの-dパラメーターは、センサーから取得した深度値が使用されない限界をメートル単位で設定します。 その結果、私たちはオフィスの部屋の1つをまさにそのように再構築しました。

深度カメラでSLAMを使用する場合

非常に多くの場合、深度マップを使用するSLAMアルゴリズムは密なマップで機能します。 これには、必然的にコンピューティングリソースの重要な要件が伴うため、たとえば、小型ロボットでこのアプローチを使用することは困難です。 さらに、そのようなセンサーの範囲はあまり大きくありません（もちろん、高価な3D LiDARを使用しない場合）ので、範囲はまだ少し狭くなります。 コンピューティングリソースがあまり制限されておらず、屋内ナビゲーションの問題を解決する必要がある場合は、ElasticFusionなどのプロジェクトが最適です。

また、リソースをあまり消費しないアルゴリズムもあります。たとえば、同じRTAB-Mapは深度カメラで機能します。 このソリューションは妥協案であり、インテリジェントでないロボットのナビゲーションシステムに完全に適合します。

結論と使用に関する一般的な推奨事項

1. ステレオカメラまたはRGB-Dセンサーを使用すると、単眼のSLAMアルゴリズムの主な問題（地図の縮尺を決定することの根本的な不可能性）がなくなります。
2. 一般に、コンピューティングリソースのアルゴリズムの要件は、ステレオカメラを使用するか深度カメラを使用するかに依存しません。
3. 深さの大きいシーンマップ（屋外など）を構築する必要がある場合は、ステレオカメラ（またははるかに高価なLiDAR）が必要です。
4. 可能な限り、すでに1つのエンクロージャーで製造されているステレオカメラを使用してください。 これは、信頼できる視差マップを取得する唯一の通常の方法です。

これで、視覚的なSLAMチュートリアルシリーズは終了です。 明確化/質問/補足/反論/議論をお気軽に、私たちにとって常に楽しいです:)

ソースとリンク

記事1：SLAMを使用するための環境のセットアップ

記事2：単眼SLAM

開発者サイトのElasticFusionページ

RTAB-Mapウェブサイト