ビジョンベースのSLAM：単眼SLAM

視覚的なSLAMに関する一連のチュートリアル記事を続けて、単眼バリアントの操作に関するレッスンを行います。 環境のインストールと構成については既に説明し、quadrocopterナビゲーションに関する記事で一般的なレビューを実施しました。 今日は、1台のカメラを使用するさまざまなSLAMアルゴリズムがどのように機能するかを理解し、ユーザーの違いを考慮して、使用するための推奨事項を示します。







詳細のより詳細な分析のために、本日は、単眼SLAMの2つの実装ORB SLAMとLSD SLAMに限定します。 これらのアルゴリズムは、オープンソースプロジェクトのクラスで最も先進的です。 PTAMも非常に一般的ですが、たとえばORB SLAMほどクールではありません。

キャリブレーションパラメーターの取得

すべての単眼SLAMアルゴリズムには、正確なカメラキャリブレーションが必要です。 これは前回のレッスンで行いましたが、カメラの設定を抽出します。 使用するカメラモデルについては、カメラ行列（fx、fy、cx、cy）と歪み関数の5つのパラメーター（k1、k2、p1、p2、k3）を抽出する必要があります。 〜/ .ros / camera_infoディレクトリに移動し、そこにカメラ設定を含むYAMLファイルを開きます。 ファイルの内容は次のようになります（ardrone_frontの代わりに別の名前があります）。





camera_matrixフィールドとdistortion_coefficientsフィールドに興味があります。これらのフィールドには、次の形式で目的の値が含まれています。



camera_matrix:

rows: 3

cols: 3

data: [fx, 0, fy, 0, cx, cy, 0, 0, 1]



distortion_coefficients:

rows: 1

cols: 5

data: [k1, k2, p1, p2, k3]







これらの値を保存してください。これらはさらに役立ちます。

オーブスラム

動作原理

ORB SLAMアルゴリズム全体の動作原理は、他の視覚的なSLAMとあまり変わりません。 特徴は画像から抽出されます。 次に、 バンドル調整アルゴリズムを使用して、さまざまな画像の機能を3D空間に配置し、同時に撮影時のカメラの位置を設定します。 ただし、機能もあります。 すべての場合において、単一の特徴検出器が使用されます-ORB（Oriented FASTおよびRotated Brief） 。 これは非常に高速な検出器であり（GPUを使用せずにリアルタイムを実現できます）、結果のビューのORB記述子は、画角、カメラの回転、および光に対して高度に不変です。 これにより、アルゴリズムは高い精度と信頼性でサイクルクロージャを追跡でき、また再局在化中に高い信頼性を提供します。 アルゴリズムは、最終的にいわゆる機能ベースのクラスに属します。 ORB SLAMはエリアの疎なマップを作成しますが、キーフレームの画像に基づいて密なマップを作成することは可能です。 開発者による記事のアルゴリズムに精通することができます。

打ち上げ

前のレッスンではORB SLAMをインストールするプロセスについては説明していませんでしたので、ここで詳しく見ていきましょう。 すでにインストールされている環境に加えて、 Pangolinをインストールする必要があります（ROSワークスペースでリポジトリを複製しないでください）：

 git clone https://github.com/stevenlovegrove/Pangolin.git cd Pangolin mkdir build cd build cmake -DCPP11_NO_BOOST=1 .. make -j
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

次に、実際のORB SLAMをインストールします（ここでも、ワークスペースのソースを複製しないでください）。

 git clone https://github.com/raulmur/ORB_SLAM2.git ORB_SLAM2 cd ORB_SLAM2 chmod +x build.sh ./build.sh
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ROSでパッケージを使用するには、ROS_PACKAGE_PATHのバイナリへのパスを追加する必要があります（PATHをORB SLAMをインストールしたパスに置き換えます）。

 echo export ROS_PACKAGE_PATH=${ROS_PACKAGE_PATH}:PATH/ORB_SLAM2/Examples/ROS >> ~/.bashrc source ~/.bashrc
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

次に、設定ファイル自体にカメラキャリブレーションデータとORB SLAM設定を入力する必要があります。 Examples / Monocularディレクトリに移動し、ファイルTUM1.yamlをコピーします。

 cd Examples/Monocular cp TUM1.yaml our.yaml
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

コピーしたファイルour.yamlを開き、カメラキャリブレーションパラメーターを上記で取得したものに置き換え、FPSを設定します。





ファイルを保存します。 これでORB SLAMを実行できます（ターミナルの異なるタブで3つのコマンドを実行します）。

 roscore
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

 rosrun usb_cam usb_cam_node _video_device:=dev/video0 ←    
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

 rosrun ORB_SLAM2 Mono ../../Vocabulary/ORBvoc.txt our.yaml /camera/image_raw:=/usb_cam/image_raw
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

すべてがうまくいけば、2つのウィンドウが表示されるはずです。







カメラをイメージプレーン内でわずかに移動して、SLAMを初期化します。







これはすべて素晴らしいことですが、ORB SLAMはROSに依存しないパッケージとして設計されました。 実際に起動したバイナリは、ROSでアルゴリズムを使用する例にすぎません。 不明確なロジックにより、開発者はこの例にモーションパスの公開を含めず、作業の完了後にKeyFrameTrajectory.txtテキストファイルとしてのみ保存しました。 そのような出版物には数行のコードが必要です。

パラメータ設定

このアルゴリズムはチューニング用のパラメーターをほとんど提供せず、上記の起動ファイルに非常に正確に記述されています。

ORB SLAMを使用する場合

オンボードなどで動作する高速アルゴリズムが必要で、環境に大きなフラットなモノフォニックオブジェクトが含まれていない場合は、ORB SLAMが最適です。

LSDスラム

動作原理

AR.Droneのナビゲーション実験に関する記事で、LSD SLAMの原理についてはすでに簡単に触れました。 アルゴリズムのより詳細な分析は、明らかにレッスンの形式に適合しません。これについては、 開発者の記事をご覧ください 。

打ち上げ

LSD SLAMをインストールした後（前のレッスンのガイドに従って）、開始するには次を準備する必要があります。

1. Camera.cfgカメラキャリブレーションファイル
   
   〜/ ros_workspace / rosbuild / package / lsd_slam / lsd_slam_core / calibディレクトリにcamera.cfgファイルを作成します
   
   このサンプルに従ってキャリブレーションパラメーターをcamera.cfgの最初の行にコピーします（5番目の歪みパラメーターは使用されないことに注意してください）。
   
   
   
   fx fy cx cy k1 k2 p1 p2

640 360

crop

640 480


   
   
   
   
   
   次の行で、元の画像の幅と高さを設定し、最後の行は変更しないままにします。
   
   
   
   
2. Lsd_slam.launchスタートアップファイル
   
   
   
   

    <?xml version="1.0"?> <launch> <node pkg="usb_cam" type="usb_cam_node" name="camera" output="screen"> <param name="video_device" value="/dev/video0"/> </node> <node name="lsd_slam_node" type="live_slam" pkg="lsd_slam_core" args="/image:=usb_cam/image_raw _calib:=$(find lsd_slam_core)/calib/camera.cfg" output="screen"> <param name="minUseGrad" value="10" /> <param name="cameraPixelNoise" value="1"/> <param name="KFUsageWeight" value="14" /> <param name="KFDistWeight" value="14" /> <param name="useAffineLightningEstimation" value="True" /> <param name="relocalizationTH" value="0.1" /> <param name="useFabMap" value="True"/> </node> <node name="image_view_node" type="image_view" pkg="image_view" args="image:=usb_cam/image_raw" respawn="true"/> </launch>
         
         
   
           
           
           
         
   
       
           
           
           
         
         
   
           
           
           
         
   
       
        

LSD SLAMを起動します（起動ファイルのあるフォルダーから）：

 roslaunch lsd_slam.launch
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

すべてがうまくいくと、2つのウィンドウが表示されます。







（別のターミナルウィンドウで）LSD SLAM配信からポイントクラウドビューアーを起動します。

 rosrun lsd_slam_viewer viewer
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

ビューアは次のようになります。

パラメータ設定

このアルゴリズムは、調整のためのいくつかのパラメーターを提供しますが、最も重要なのは次のパラメーターです。

• minUseGrad-新しい3Dポイントを作成するための最小強度勾配。 値が低いほど、アルゴリズムはソリッドオブジェクトでより適切に機能し、マップはより密になります。 ただし、この値が低いほど、カメラの修正エラーがSLAM品質に明らかに影響します。 また、値を小さくすると、アルゴリズムのパフォーマンスが大幅に低下します。
• cameraPixelNoise-ピクセル強度値のノイズ。 離散化と補間の誤差を考慮するために、マトリックスの実際のノイズよりも大きな値を設定する必要があります。
• useAffineLightningEstimation-自動露出の問題を修正するために有効にすることができます。
• useFabMap-ループを見つけるためにopenFabMapを有効にします。

推奨事項

1. 強力なCPUでアルゴリズムを実行します。 ORB SLAMとは異なり、LSD SLAMには大きなハードウェア要件があります。 さらに、アルゴリズムはリアルタイムで動作する必要があります。そうでない場合、許容可能なSLAM品質について話すことができません。
2. カメラをできる限り正確に調整します。 LSD SLAMを含む直接法は、校正品質に非常に敏感です。
3. 可能であれば、グローバルシャッターカメラを使用します。 ローリングシャッターを使用できます（実際、このタイプのシャッターのみを使用しました）が、結果はさらに悪くなります。

LSD SLAMを使用する場合

密集した地形マップが必要な場合（たとえば、障害物マップを構築するため）、または環境に十分な機能が含まれていない場合、つまりテクスチャの粗い大きなオブジェクトが含まれており、プラットフォームが十分なコンピューティング機能を提供している場合は、LSD SLAMが適しています。

機能ベースと 直接

LSD SLAM Jacob Engelの作成者は、機能ベースの単眼アルゴリズムと、画像全体を使用するいわゆるダイレクトアルゴリズムを比較し、プレゼンテーションで次のようなテーブルを示しました（翻訳）。

Mnocular SLAMアルゴリズムの比較

機能ベース	直接
機能のみを使用する（例：コーナー）	画像全体を使用
より速く	遅い（ただし並列化は良好）
ノイズの除去が簡単（外れ値）	ノイズを除去するのはそれほど簡単ではありません
ローリングシャッターに強い	ローリングシャッターに対して不安定
画像の一部の情報を使用する	より完全な情報を使用する
複雑な初期化は不要	適切な初期化が必要
20年以上の集中的な開発	約4年間の研究

何かを追加するのは難しいです。

使用に関する一般的な推奨事項

すべての単眼アルゴリズムには、同様の要件と制限があります。

1. 正確なカメラキャリブレーションの必要性。 機能ベースのアルゴリズムにはそれほど重要ではありません。
2. 外部センサーまたはユーザーの助けなしにスケールを決定できない。
3. カメラの要件：高FPS +広視野角。 これらのパラメーターは、相互とカメラの最大速度の両方に関連しています。

そのような機能とそのようなアルゴリズムの使用経験に基づいて、次の場合に単眼SLAMを使用する必要があると判断します。

1. 1台のカメラに厳密に制限されています。
2. ローカライズの規模と外部ソースからの地図を評価する機会があります。または、規模は問題の解決には関係ありません。
3. カメラの仕様は上記の要件を満たし、画像の正確なキャリブレーションと修正を可能にします。

これで今日のレッスンは終わりです。次回は、ステレオカメラと深度カメラを使用するSLAMアルゴリズムについて説明します。

ソース

前のレッスン-環境のインストールとセットアップ

LSD SLAM開発者サイト

ORB SLAM開発者Webサイト