StereoPiでのOpenCVの探索：ビデオからの深度マップ

今日、Raspberry PiのOpenCV学習者向けのPythonの例、つまりデュアルチャンバーStereoPiボードを共有したいと思います。 完成したコード（およびRaspbianイメージ）を使用すると、写真のキャプチャからキャプチャしたビデオの深度マップの取得まで、すべての手順を実行できます。

入門

これらの例は、本番ソリューションではなく、トピックに心地よく浸ることを目的としていることをすぐに強調する必要があります。 あなたがOpenCVの上級ユーザーであり、ラズベリーを扱っている場合は、適切な操作のために一口でコーディングし、さらにラズベリーGPUを使用することをお勧めします。 記事の最後で、Pythonソリューションの「ボトルネック」と全体的なパフォーマンスについて詳しく説明します。

私たちは何に取り組んでいますか

アイアンとして、ここにそのようなセットアップがあります：







Raspberry Pi Compute Module 3+に搭載されたStereoPiボード。 最も簡単な2台のカメラは、Raspberry PiバージョンV1（ov5647センサー上）に接続されています。



インストールされるもの：

• Raspbian Stretch（カーネル4.14.98-v7 +）
• Python 3.5.3
• OpenCV 3.4.4（プリコンパイル済み、Python Wheelsの「pip」）
• ピカメラ1.13
• StereoVision lib 1.0.3（https://github.com/erget/StereoVision）

すべてのソフトウェアのインストールプロセスはこの記事の範囲外であり、完成したRaspbianイメージをダウンロードすることをお勧めします（記事の最後にあるgithubへのリンク）。

ステップ1：写真をキャプチャする

これを行うには、1_test.pyスクリプトを使用します



コンソールを開き、ホームフォルダーからサンプルのあるフォルダーに移動します。

cd stereopi-tutorial
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

スクリプトを実行します。

 python 1_test.py
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

開始後、ステレオ画像のプレビューが画面に表示されます。 Qボタンを押すとプロセスが中断され、最後にキャプチャされた画像が保存され、次のスクリプトのいずれかで深度マップを設定するために使用されます。



このスクリプトを使用すると、すべてのハードウェアが正常に動作していることを確認できるだけでなく、将来の使用に備えて最初の画像を取得できます。



最初のスクリプトは次のようになります。

ステップ2：キャリブレーション用の写真を収集する

真空中の球形の馬について話す場合、高品質の深度マップを取得するには、2つの完全に同一のカメラが必要です。カメラの垂直軸と光軸は完全に平行で、水平軸は一致しています。 しかし、現実の世界では、すべてのカメラはわずかに異なり、完全に配置することは不可能です。 そのため、ソフトウェアキャリブレーショントリックが考案されました。 現実世界の2台のカメラを使用して、既知のオブジェクトの多数の写真を撮影し（チェス盤のある写真があります）、特別なアルゴリズムがすべての「不完全さ」を計算し、理想に近づくように写真を修正しようとします。



このスクリプトは作業の最初の段階を実行します。つまり、キャリブレーション用の一連の写真を作成するのに役立ちます。



各写真の前に、スクリプトは5秒のカウントダウンを開始します。 今回は、原則として、ボードを新しい位置に移動し、両方のカメラでエッジをクロールしないことを確認し、その位置を固定するのに十分です（写真にブレがないように）。 デフォルトでは、バッチサイズは30枚の写真に設定されています。



打ち上げ：

 python 2_chess_cycle.py
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

プロセス：





その結果、/ scenesフォルダーに一連の写真があります。

写真をペアにカットします

3番目のスクリプト3_pairs_cut.pyは、撮影した写真を「左」と「右」の画像に切り取り、/ pairsフォルダーに保存します。 実際、このスクリプトを除外して、その場で切り取りを行うこともできますが、今後の実験では非常に役立ちます。 たとえば、さまざまなシリーズのスライスを保存したり、スクリプトを使用してこれらのペアを操作したり、他のステレオカメラでペアとして撮影した写真を手のひらで見たりすることもできます。



さらに、各画像をカットする前に、スクリプトはその画像を表示します。これにより、多くの場合、次のキャリブレーション手順の前に失敗した写真を確認し、それらを削除できます。



スクリプトを実行します。

 python 3_pairs_cut.py
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

短いビデオ：





完成した画像には、実験に使用した写真とカットペアのセットがあります。

校正

スクリプト4_calibration.pyは、すべてのペアをチェスボードで描画し、写真を修正するために必要な修正を計算します。 このスクリプトは、チェス盤が見つからなかった写真を自動的に破棄したため、写真が失敗した場合でも作業は停止しません。 30組の写真がすべてアップロードされると、計算が開始されます。 約1分半かかります。 完了後、スクリプトはステレオペアの1つを取得し、計算されたキャリブレーションパラメーターに基づいてそれらを「修正」し、修正された画像を画面に表示します。 この時点で、キャリブレーションの品質を評価できます。



コマンドで実行：

 python 4_calibration.py
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

作業中のキャリブレーションスクリプト：

デプスマップのセットアップ

5_dm_tune.pyスクリプトは、最初のスクリプトで撮影した写真とキャリブレーション結果を読み込みます。 次に、深度マップの設定を変更して変更内容を確認できるインターフェイスが表示されます。 ヒント：パラメーターを設定する前に、異なる距離（近く（30〜40センチ）、平均距離（メートルまたは2）および距離）にあるオブジェクトを同時に持つフレームを取得します。 これにより、近くのオブジェクトは赤、遠くのオブジェクトは濃い青になるパラメーターを選択できます。



画像には、深度マップ設定を含むファイルが含まれています。 「設定を読み込む」ボタンをクリックするだけで、スクリプトに設定を読み込むことができます。



以下を開始します。

 python 5_dm_tune.py
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

セットアッププロセスは次のようになります。

リアルタイム深度マップ

最後の6_dm_video.pyスクリプトは、以前のスクリプトの結果（キャリブレーションと深度マップの設定）を使用して、ビデオから深度マップを構築します。



打ち上げ：

 python 6_dm_video.py
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

実際の結果：





私たちのスクリプトがあなたの実験に役立つことを願っています！



念のため、すべてのスクリプトにキーストローク処理があり、Qボタンを押すことで作業を中断できることを追加します。たとえば、Ctrl + Cのように「大まかに」停止すると、Pythonとカメラのやり取りのプロセスが中断し、ラズベリーの再起動が必要になります。

上級者向け

• プロセスの最初のスクリプトは、フレームキャプチャ間の平均時間と、完了時に平均FPSを表示します。 これは、Pythonがまだ「窒息」していない画像パラメーターを選択するためのシンプルで便利なツールです。 それを使用して、20 FPSで1280x480を選択しました。ビデオは遅延なしでレンダリングされます。
• ステレオペアを1280x480の解像度でキャプチャし、それを640x240にスケーリングすることに気付くかもしれません。
  
  
  
  合理的な質問：なぜこれがすべてで、なぜすぐにサムネイルをキャプチャし、その削減でPythonをロードしないのですか？
  
  
  
  回答：非常に低い解像度での直接キャプチャでは、ラズベリーコアにまだ問題があります（画像が壊れます）。 したがって、解像度を大きくしてから画像を縮小します。 ここでは、ちょっとしたトリックを使用します。画像はpythonでスケーリングされませんが、GPUの助けを借りてスケーリングされるため、アームコアに負荷がかかりません。
• BGRではなくBGRA形式でビデオをキャプチャするのはなぜですか？
  
  GPUリソ​​ースを使用して画像のサイズを縮小します。サイズ変更モジュールのネイティブはBGRA形式です。 BGRAの代わりにBGRを使用する場合、2つの欠点があります。 最初は最終的なFPSよりもわずかに低い（テストでは20％）。 2番目は、コンソールでの継続的な変動です。「PiCameraAlfaStripping：アルファストリッピングを使用して非アルファ形式に変換します。 同等のアルファ形式がより速く見つかるかもしれません。 そのグーグルは、このトリックを説明するPicameraのドキュメントセクションにつながりました。
• PiRGBArrayはどこにありますか？
  
  
  
  これは、カメラを操作するためのネイティブのPicameraクラスに似ていますが、ここでは使用されていません。 テストでは、PiRGBArrayを使用するよりも「手作りの」numpy配列を使用する方がはるかに高速（1.5倍）であることが判明しています。 これは、PiRGBArrayが不良であることを意味するものではありません。これらはおそらく、私たちの曲がった手です。
• 深度マップを計算する際のパーセントはどのくらいロードされますか
  
  写真で答えましょう：
  
  
  
  
  
  
  
  プロセッサの4つのコアのうち、実際には1つだけがロードされており、それは70％です。 これは、GUIを使用して作業し、ユーザーに画像と深度マップを出力しているという事実にもかかわらずです。 これは、パフォーマンスに十分なマージンがあることを意味します。OpenMPを使用したOpenCVとCの他の機能の微調整、およびGUIなしの「戦闘」モードは非常に興味深い結果をもたらします。
• これらの設定で取得される最大FPS深度マップは何ですか？
  
  
  
  カメラから毎秒20フレームをキャプチャしたとき、私たちが達成した最大値は17 FPSでした。 デプスマップ設定の速度パラメーターに関して最も「応答性の高い」ものは、​​MinDisparityとNumOfDisparitiesです。 これは、フレームを比較するための検索ウィンドウによってアルゴリズム内で実行される「ステップ」の数を決定するため、論理的です。 2番目に反応するのはpreFilterCapで、特に深度マップの「滑らかさ」に影響します。
• プロセッサの温度はどうですか？
  
  
  
  Compute Module 3+ Lite（プロセスに鉄の「キャップ」が付いた新しいシリーズ）では、おおよそ次の結果が表示されます。
  
  
  
  
• GPUの使用方法
  
  
  
  サンプル（ ここではWebGLにあります ）、Python Pi3d 、およびProcessingプロジェクト（ ラズベリーの例 ）があるため、少なくとも、リアルタイムの画像の歪みと修正に使用できます。
  
  
  
  py-videocoreと呼ばれる中村耕一による別の興味深い開発があります。 彼との通信で、彼はStereoBMを加速するためにそのコアとOpenCVソートをCudaサポートで使用できるという考えを表明しました。 一般的に、最適化のために-彼らが言うように、手つかずのエッジ。

ご清聴ありがとうございました。 ソースへの約束されたリンクはこちらです。