ROS：Raspberry Piの深度マップ「低血」

ロボットを作成するときにROSを使用する場合、おそらくステレオカメラでの作業をサポートしていることをご存知でしょう。 たとえば、空間の可視部分または点群の深度マップを作成できます。 そして、ROSでラズベリーベースのStereoPiステレオカメラを使用するのはどれほど簡単かと思いました。 以前、深度マップはOpenCVによって完全に構築されるとすでに確信していましたが、ROSを扱ったことはありません。 そして、私はそれを試してみることにしました。 解決策を見つけるための私の冒険について話したいです。

1. Raspberry PiのROSはまったく発生しますか？

最初に、Raspberry Pi用にROSを構築できるかどうかを調べることにしました。 Googleが最初に私に言ったのは、異なるバージョンのROSをRaspberry Piにインストールするための手順のリスト、つまりこのROS wikiページです



さて、すでに何かが始まります！ RaspberryでOpenCVを構築するのにかかった時間（約8時間）をよく覚えていたので、時間を節約するためにMicroSDカードの既製のイメージを探すことにしました。

2. ROS for Raspberryの既製のmicroSDカードイメージはありますか？

この問題はすでにいくつかの開発チームによって解決されていることが判明しました。 愛好家による1回限りのアセンブリを行わない場合、OSとROSの新しいバージョンのリリースで絶えず更新されるいくつかのイメージが目立ちました。



最初のオプションは、ROSbotsチームのネイティブRaspbian OSにインストールされたROSです。更新された画像リンクのあるページは次のとおりです： ready-to-use-image-raspbian-stretch-ros-opencv



2番目は、 ubuntuのUbiquiti Roboticsからの画像です。



まあ、2番目の質問もすぐに終わりました。 もっと深く潜る時間です。

3. ROSはRaspberry Piカメラとどのように連携しますか？

また、ROSでは一般にどのステレオカメラがサポートされていますか？ 私は、ROS用の既製のドライバーの利用可能性が宣言されているステレオカメラのあるページを見ました。



wiki.ros.org/Sensors



2つのセクションがありました。

2.3 3Dセンサー（距離計とRGB-Dカメラ）

2.5カメラ

最初のセクションでは、ステレオカメラだけでなく、TOFセンサー、スキャンLIDARもリストされていることがわかりました。一般に、3Dですぐに情報を提供できるすべてのものです。 そして、2番目には既にステレオカメラがあります。 いくつかのステレオカメラのドライバーを表示しようとしても、コードに真剣に没頭することを示唆していたので、私の喜びは増しませんでした。



さて、一歩戻ります。 ROSの単一のRaspberry Piカメラでどのように機能しますか？



ここでは、3つの楽しい驚きが待っていました。

• ROSには、Raspberry Piカメラを操作するための特別なraspicam_nodeノードがあることがわかりました
• ノードの種類はgithubにあり、コードは積極的に維持され、文書化されています： github.com/UbiquityRobotics/raspicam_node
• Rohan Agrawalノード（ @Rohbotics ）の著者は、Raspberry Piの既製のイメージの1つを積極的にサポートする会社で働いています

githubリポジトリraspicam_nodeを見て、問題を調べました。 そこで、ほぼ7か月前に、答えやコメントなしで、「ステレオモード」という無名の名前の未解決の問題が見つかりました。 実際、すべてのイベントはさらに発展しました。

4.ハードコアかどうか？

著者に子供の質問をしないために、私はソースコードを見て、ステレオモードの追加を脅かすものを評価することにしました。 私はここのシステム部分にもっと興味がありました： github.com/UbiquityRobotics/raspicam_node/tree/kinetic/src

まあ、みんなはドライバーをMMALレベルに突入させました。 また、ステレオモードでのラズベリーのソースコードも公開されていることを思い出しました（進化はここでラズベリーフォーラムで追跡できます ）。また、本格的なステレオドライバーを作成するタスクは解決可能ですが、大規模です。 他のカメラのドライバーの説明を見て、左右の写真を公開するだけでなく、両方のカメラのパラメーターを提供し、それぞれにキャリブレーション結果を適用し、他の多くのことを行う必要があることに気付きました。 これは1か月か2か月の実験を引き付けました。 したがって、このアプローチを並列化することにしました。つまり、ステレオサポートに関する質問を著者に書き、自分でよりシンプルで実用的なソリューションを探すことです。

5.著者との対話

githubのステレオモードに関するスレッドで、著者に質問をし、ステレオは2014年以降ラズベリーによってサポートされていることを述べ、必要に応じて、実験用のデバッグボードを送信することを提案しました。 このディストリビューションではステレオがネイティブのRaspbianのように機能することをまだ疑っています。



Rohanは驚くほど迅速に応答し、彼らのdistribはラズベリーカーネルを使用しており、すべてが機能するはずだと述べました。 そして、彼らのアセンブリの1つでそれをチェックするように頼まれました。



ラズベリーコア！ やった！ 理論的には、タンバリンとダンスせずにステレオ画像をキャプチャする必要があります！



Rohanのリンクを使用して最新の画像をダウンロードして展開し、シンプルなpythonスクリプトを実行してステレオペアをキャプチャしました。 うまくいきました！







その後、Rohanはステレオモードのドライバーコードを調べることを書き、いくつかの質問を書きました。 たとえば、ステレオモードでは接着された画像が1つ生成されるため、左右に2つに分割する必要があります。 また、各カメラのキャリブレーションパラメーターに関する2番目の質問は、その対処方法です。



最初のステップとして、カメラから独立して写真を撮ることができると言いました。 はい、それらはキャプチャ時間と設定（明るさ、コントラスト、ホワイトバランスなど）で同期されませんが、最初のステップとして、これはうまくいくかもしれません。



Rohanはすぐに、ROSから写真を撮るカメラを直接指定できるパッチを公開しました 。 私はそれをチェックしました-カメラの選択はうまくいきます、それはすでに素晴らしい結果です。

6.予期しないヘルプ

そして、Wezzoidユーザーからのコメントがスレッドに表示されます。 彼は、ラズベリー開発ボードを使用してPi Compute 3でステレオカメラをベースにしたプロジェクトを行っていたと言いました。 彼の4足歩行ロボットは、空間内のオブジェクトの位置を追跡し、カメラの位置を変更し、カメラまでの距離を維持しました（プロジェクトはhackaday.ioに投稿されています ）。







そして、彼は画像を取得するコードを共有し、Pythonの手段で半分に切り取り、左右のカメラのノードのように共有しました。

Pythonは、これらの問題に関してはあまり速くないため、320x240の低解像度と優れたライフハックを使用しました。 サイドバイサイドのステレオ画像（ステレオ画像の左側に1つのカメラ、右側に2番目のカメラ）をキャプチャする場合、Pythonは240行のそれぞれを半分にカットする必要があります。 ただし、上下の画像を作成する場合（左のカメラはフレームの上半分、右は下）、Pythonは1回の操作で配列を半分にカットします。 これは、ユーザーWezzoidによって正常に行われました。

さらに、彼は自分のpythonコードをPastebinに投稿し、この操作を行いました。 ここにあります：

7.左右のカメラのノードの公開を開始します

最初の開始時に、コードはカメラのパラメーターを持つYMLファイルへのアクセスがないことを呪いました。 ラズベリー色のV2カメラを使用し、さまざまなカメラモデルのキャリブレーション結果を含む既製のファイルがgithubのraspicam_nodeに届いたことを思い出しました： github.com/UbiquityRobotics/raspicam_node/tree/kinetic/camera_info

そのうちの1つを取り、2つのコピーを作成して、left.ymlおよびright.ymlという名前で保存し、作成者のスクリプトからカメラの解像度を書き込みました。 左のカメラで何が起こったのかを次に示します。





右側の場合、カメラ名はrightに置き換えられ、ファイル自体の名前はright.ymlになります。 ファイルの残りは同じです。



複雑なプロジェクトを作成する予定はなかったので、サブフォルダーで作成者の長いパスを繰り返さず、ファイルをPythonスクリプトの隣のホームフォルダーのルートに配置しました。 コードが正常に開始され、コンソールにステータスメッセージが表示されました。







左右のカメラで最終的に公開されたものを見るだけでした。 これを行うために、rqt_image_viewを起動しました。 ドロップダウンメニューにアイテム/ left / image_rawおよび/ right / image_rawが表示され、それらを選択すると、左右のカメラの画像が表示されました。







まあ、このことは獲得しています！ 今から楽しい部分です。

8.深度のマップを確認します。

デプスマップを表示するために、私は独自のアプローチを考え出すことなく、 ステレオパラメーターを設定するための古典的なROSマニュアルを調べました 。

そこから、Wezzoidのようにルートではなく、特定の名前空間で両方のノードを公開するのが良いことがわかりました。 その結果、フォームの古い出版ライン

 left_img_pub = rospy.Publisher('left/image_raw', Image, queue_size=1)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

このように見え始めました：

 left_img_pub = rospy.Publisher('stereo/right/image_raw', Image, queue_size=1)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

その後、stereo_image_procステレオモード処理ノードを実行します。

 ROS_NAMESPACE=stereo rosrun stereo_image_proc stereo_ige_proc
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

さて、結果も確認したいので、ウォッチャーを開始します。

 rosrun image_view stereo_view stereo:=/stereo image:=image_rect_color
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

また、深度マップのパラメーターを構成するには、構成ユーティリティを実行します。

 rosrun rqt_reconfigure rqt_reconfigure
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

その結果、記事の冒頭に写真が表示されます。 少し大きくなりました：







すべてのファイルをgithubに投稿しました： github.com/realizator/StereoPi-ROS-depth-map-test

9.即時計画

githubでのディスカッションで結果を公開した後、Rohanは「Cool！ StereoPiを取りに行く必要があります。」 私たちは彼に郵便で手紙を書き、私は彼に手数料を送った。 動作中のハードウェアが手元にあることで、ROSとRaspberry向けの本格的なステレオドライバーを簡単に仕上げてデバッグできるようになることを願っています。

10.まとめ

ROSのラズベリーのステレオ画像からの深度マップは、いくつかの方法で取得できます。 迅速な検証のために選択されたパスは、パフォーマンスの点では最適ではありませんが、アプリケーションに使用できます。 そのシンプルさの美しさと、すぐに実験を開始できる能力。



面白いことに、結果を受け取った後、解決策を提案したWezzoidが2つのステレオ写真の公開に関する質問の著者であることに気付きました。 彼は自問した、彼は決めた。