😓 😫 👉🏾 Viz-OpenCVライブラリの新しい3D視覚化モジュール 📐 👽 👌🏻

こんにちは、今日のブログ投稿では、 OpenCVライブラリの 3D視覚化Vizの新しいモジュールのレビューに専念したいと思います。私は参加しました。おそらく私はここで自己紹介をしなければなりません、私の名前はアナトリー・バクシーエフです、私はItseezで働いています、私は7年間OpenCVライブラリを使用しており、同僚と一緒にそれを開発し、開発しています。

3Dビジュアライゼーションはコンピュータービジョンと何の関係があるのでしょうか？また、なぜこのようなモジュールが必要なのでしょうか？そして、コンピュータビジョンを画像で動作する領域として見ると、あなたは正しいでしょう。しかし、私たちは21世紀に生きており、コンピュータービジョンの範囲は、画像の処理、オブジェクトの境界の強調、または顔の認識をはるかに超えています。科学技術は、多かれ少なかれ許容できる品質で三次元世界を測定することをすでに学んでいます。これは、数年前に市場に安価なKinectセンサーが登場したことで促進されました。これにより、当時の精度と速度が優れたドットの3次元カラークラウドの形でシーン表現を取得でき、一連の画像からデータの3D世界を再構築し、さらには去ることさえ可能になりました統合されたジャイロスコープと加速度計により、3Dの世界でモバイルデバイスのカメラの動きを評価するタスクが大幅に簡素化され、したがってシーンの再構築の精度が向上します。

これらすべてが、3Dデータを扱うさまざまな方法とアルゴリズムの開発を促しました。 3Dセグメンテーション、3Dノイズフィルタリング、オブジェクトの3D形状認識、3D顔認識、身体ポーズの3Dトラッキング、またはジェスチャ認識用の手。 Kinect for XBoxが発売されたとき、マイクロソフトはゲーム開発者に人体の位置を判断するSDKを提供し、興味深いインターフェイスを備えた多数のゲームが登場することを知っていました-たとえば、ゲームキャラクターがKinectの前に立っているプレーヤーの動きを繰り返す場合。このような3Dアルゴリズムの結果は、何らかの形で視覚化する必要があります。これらは、3次元の軌跡、再構成されたジオメトリ、または3Dでの人間の手の計算された位置などです。また、このようなアルゴリズムはデバッグする必要があり、多くの場合、開発されたアルゴリズムの収束の過程で中間データを視覚化します。

OpenCV Vizでカメラパスを表示するさまざまな方法

したがって、開発ベクトルが3Dエリアに移行すると、 OpenCVで3Dデータを処理するアルゴリズムがますます登場します。そして、そのような傾向があるため、私たちはこのための便利なインフラストラクチャを作成するために急いでいます。 Vizモジュールは、この方向への最初のステップです。 OpenCVは常に、どのアルゴリズムとコンピュータービジョンアプリケーションが開発されたかに基づいて、非常に便利なベースを含むライブラリでした。画像とデータを操作するために最も頻繁に使用されるほとんどすべての操作が含まれているため、また長年にわたって慎重に開発され非常にコンパクトな実装が可能なAPI（コンテナー、基本タイプ、およびそれらを使用した操作）が含まれているため、機能性の両方の点で便利です開発者の時間を節約するコンピュータービジョンメソッド。 Vizがこれらすべての要件を満たしていることを願っています。

せっかちな人のために、私はこのビデオでモジュールの機能を紹介します。

Viz Philosophy

そのようなモジュールを作成するというアイデアは、限られた時間の条件下で、何らかの視覚走行距離測定アルゴリズム（ vslam ）を何らかの方法でデバッグしなければならなかったときに、そのようなモジュールがどのように役立つか、どの機能を見てみたいかを自分の肌で感じたときに思いつきました。そして同僚は、そのようなモジュールを持つことは健康であると言った。すべてが開発の始まりにつながり、 Google Summer Of Codeの学生であるOzan Tonkalと一緒に、多かれ少なかれ成熟した状態になりました。 Vizの改善に取り組んでいます。

設計のアイデアは、このウィジェットの位置と方向を渡すだけで、それぞれが3Dビジュアライザーでレンダリングできる3次元ウィジェットのシステムがあればいいということです。たとえば、Kinectに付属するポイントクラウドは、カメラの位置に関連付けられた座標系に保存されることが多く、視覚化のために、カメラのさまざまな位置から取得したすべてのポイントクラウドを何らかの種類のグローバル座標系に変換する必要がよくあります。また、グローバルシステムで毎回データを再計算するのではなく、単にこの点群の位置を設定すると便利です。したがって、OpenCV Vizでは、サポートされている各ウィジェットオブジェクトは独自の座標系で形成され、レンダリングプロセス中に既にシフトおよび方向付けされています。

しかし、1人の人にだけ良い考えは思い浮かびません。判明したように、科学データを操作および視覚化するためのVTKライブラリも同じアプローチを実装しています。そのため、タスクは、OpenCVスタイルのインターフェイスとデータ構造を使用して、 VTKのサブセットに対するリテラシーラッパーを作成し、将来このセットを拡張する機能を持つ基本的なウィジェットのセットを作成することに要約されました。説明に加えて、VTKはクロスプラットフォームの要件を満たしているため、それを使用する決定はほぼ即座に選択されました。 VTKの依存関係による多少の不便さは、将来の使いやすさと拡張性によって相殺される以上のものだと思います。

Vizでのオブジェクトの位置の表現

ユークリッド空間の位置は、回転と平行移動によって設定されます。回転は、回転行列、回転ベクトル（ロドリゲスベクトル）、またはクォータニオンとして表すことができます。変換は3次元のベクトルです。回転と平行移動は、別々の変数に保存するか、拡張された4x4アフィン変換行列に縫い付けることができます。実際、この方法は使いやすさのために提案されています。しかし...「私にとっても便利です！」と言います、「オブジェクトをレンダリングするときにそのようなマトリックスを作成するたびに！」そしてあなたは同意しますが、この形式でポーズを作成して操作するための便利な手段を提供しない場合のみです。このツールは、特別に作成されたcv :: Affine3dクラスです。ちなみに、視覚化に加えて、オドメトリーアルゴリズムの開発に使用することをお勧めします。はい、四元数愛好家は私に石を投げることができます。将来的にはそれらをサポートする予定があることを正当化します。

それでは、定義を与えましょう。 Vizの各オブジェクトの位置は、オブジェクトに関連付けられているユークリッド座標系から特定のグローバルユークリッド座標系への変換です。実際には、変換とは何であり、何が変換されているかについて、さまざまな合意があります。この場合、オブジェクトの座標系からグローバル座標系へのポイントの変換（ポイント転送）を意味します。すなわち：

ここで、P ^G 、P ^Oはグローバル座標系およびオブジェクトの座標系のポイントの座標、Mはオブジェクトの変換行列またはポーズです。オブジェクトのポーズを形成する方法を見てみましょう。

//        cv::Vec3d x_axis, y_axis, z_axis, origin; cv::Affine3d pose = cv::makeTransformToGlobal(x_axis, y_axis, z_axis, origin); //       cv::Vec3d position, view_direction, y_direction; Affine3d pose = makeCameraPose(position, view_direction, y_direction); //  ,       Affine3d pose1; Affine3d pose2 = Affine3d::Identity(); //      cv::Matx33d R; cv::Vec3d t; Affine3d pose = Affine3d(R, t); //             double rotation[9]; double translation[3]; Affine3d pose = Affine3d(cv::Matx33d(rotation), cv::Vec3d(translation));

または、視覚的なオドメトリアルゴリズムを既に開発しており、プログラムにはすでにこれらの変換行列がcv :: Mat内に格納されていますか？次に、新しい形式のポーズを簡単に取得できます。

 //   4x4  43 cv::Mat pose_in_old_format; Affine3d pose = Affine3d(pose_in_old_format); //   33    cv::Mat R, t; Affine3d pose = Affine3d(R, translation); //      cv::Vec3d rotation_vector: Affine3d pose = Affine3d(rotation_vector, translation);

このクラスでは、構築に加えて、ポーズを操作し、3次元のベクトルとポイントに適用することもできます。例：

 //   90   Oy    5  Ox. Affine3d pose = Affine3d().rotate(Vec3d(0, CV_PI/2, 0,)).translate(Vec3d(5, 0, 0)); //   cv::Vec3d a_vector; cv::Point3d a_point; cv::Vec3d transformed_vector = pose * a_vector; cv::Vec3d transformed_point = pose * a_point; //    Affine3d camera1_to_global, camera2_to_global; Affine3d camera1_to_camera2 = camera2_to_global.inv() * camera1_to_global

これは次のように読む必要があります：カメラ1の座標系の右側のポイントを乗算する場合、最初の（右）変換後にグローバルシステムのポイントを取得し、グローバルシステムから変換を反転し、カメラ2の座標系に転送しますカメラ2の座標系に対するカメラ1の姿勢を取得します。

 //        double distance = cv::norm((cam2_to_global.inv() * cam1_to_global).translation()); double rotation_angle = cv::norm((cam2_to_global.inv() * cam1_to_global).rvec());

これについては、おそらく、このクラスの可能性への遠足を完了する必要があります。誰が気に入ったのか、あなたのアルゴリズムでそれを使用することをお勧めしますコードはコンパクトで読みやすいです。 cv :: Affine3dインスタンスがスタックに割り当てられ、すべてのメソッドがインラインメソッドであるという事実は、アプリケーションのパフォーマンスを最適化する可能性を開きます。

Vizによる可視化

レンダリングを担当する最も重要なクラスは、cv :: viz :: Viz3dと呼ばれます。このクラスは、ウィンドウの作成、ウィンドウの初期化、ウィジェットの表示、ユーザー入力の管理と処理を行います。次のように使用できます。

 Viz3d viz1(“mywindow”); //     mywindow ...   ... viz1.spin(); // ;  ,

OpenCVのほとんどすべての高レベル機能と同様に、このクラスは基本的に内部実装へのリンクをカウントするスマートポインターであるため、内部データベースから自由にコピーまたは名前で取得できます。

 Viz3d viz2 = viz1; Viz3d viz3 = cv::viz::getWindowByName(“mywindow”): Viz3d viz4(“mywindow”);

要求された名前のウィンドウが既に存在する場合、結果のViz3dインスタンスはそれをポイントします。そうでない場合、その名前の新しいウィンドウが作成および登録されます。これは、アルゴリズムのデバッグを簡素化するために行われます-どこかに何かを表示する必要があるたびに、ウィンドウを呼び出しスタックの深さに渡す必要がなくなりました。 main（）関数の先頭でウィンドウを開き、コード内の任意の場所から名前でアクセスするだけで十分です。この考え方は、OpenCVの実績のあるcv :: imshow（window_name、image）関数から継承されており、コードの任意の場所にある名前付きウィンドウに画像を表示することもできます。

ウィジェットシステム

前述のように、ウィジェットシステムはさまざまなデータのレンダリングに使用されます。各ウィジェットにはいくつかのコンストラクターがあり、内部データを管理するためのメソッドもあります。各ウィジェットは、独自の座標系で形成されます。例：

 //     WLine line(Point3d(0.0, 0.0, 0.0), Point3d(1.0, 1.0, 1.0), Color::apricot()); //          WCube cube(Point3d(-1.0, -1.0, -1.0), Point3d(1.0, 1.0, 1.0), true, Color::pink());

ご覧のとおり、任意の線を指定できますが、立方体の場合、位置のみを設定でき、座標軸に対する方向は設定できません。ただし、これは制限ではなく、Vizのスタイルで考えることを教えてくれる機能です。前に説明したように、レンダリング時には、グローバル座標系でウィジェットのポーズを設定できます。したがって、座標系に単純なコンストラクタを使用してウィジェットを作成します。たとえば、この方法でキューブの寸法を設定します。そして、レンダリング時にグローバルに配置して方向付けます。

 //      (1.0, 1.0, 1.0)  3  Vec3d rvec = Vec3d(1.0, 1.0, 1.0) * (3.0/cv::norm(Vec3d(1.0, 1.0, 1.0)); Viz3d viz(“test1”); viz.showWidget(“coo”, WCoordinateSystem()); viz.showWidget(“cube”, cube, Affine3d(rvec, Vec3d::all(0))); viz.spin();

結果は次のとおりです。

ご覧のとおり、レンダリングはViz3d :: showWidget（）メソッドの呼び出しを介して行われ、オブジェクトの文字列名、作成されたウィジェットのインスタンス、グローバル座標系での位置を渡します。 3Dシーンでウィジェットを名前で追加、削除、更新できるように、文字列名が必要です。その名前のウィジェットが既に存在する場合、削除されて新しいウィジェットに置き換えられます。

Vizは、立方体と線に加えて、球体、円柱、平面、2D円、3Dと2Dの写真とテキスト、さまざまな種類のパス、カメラの位置、そしてもちろん、点群とメッシュ（無色、色付き、またはテクスチャ）。この多くのウィジェットは最終的なものではなく、拡張されます。さらに、カスタムウィジェットを作成する可能性がありますが、それについては別の機会に作成します。この機能に興味がある場合は、こちらのチュートリアルをお読みください。次に、点群を描く方法の別の例を見てみましょう。

 //     .     CV_32FC3 cv::Mat cloud = cv::viz::readCloud(“dragon.ply”); //           cv::Mat colors(cloud.size(), CV_8UC3); theRNG().fill(colors, RNG::UNIFORM, 50, 255); //         NAN -     float qnan = std::numeric_limits<float>::quiet_NaN(); cv::Mat masked_cloud = cloud.clone(); for(int i = 0; i < cloud.total(); ++i) if ( i % 16 != 0) masked_cloud.at<Vec3f>(i) = Vec3f(qnan, qnan, qnan); Viz3d viz(“dragons”); viz.showWidget(“coo”, WCoordinateSystem()); //   viz.showWidget(“red”, WCloud(cloud, Color::red()), Affine3d().translate(Vec3d(-1.0, 0.0, 0.0))); //     viz.showWidget(“colored”, WCloud(cloud, colors), Affine3d().translate(Vec3d(+1.0, 0.0, 0.0))); //           viz.showWidget(“masked”, WCloud(masked_cloud, colors), Affine3d::Identity()); // A ,       viz.showWidget(“painted”, WPaintedCloud(cloud), Affine3d().translate(Vec3d(+2.0, 0.0, 0.0))); viz.spin();

このコードの結果：

利用可能なウィジェットの詳細については、ドキュメントを参照してください。

動的に変化するシーン

多くの場合、ユーザーがオブジェクトを表示できるようにオブジェクトを表示するだけでは不十分ですが、ダイナミクスを提供する必要があります。オブジェクトは移動したり、属性を変更したりできます。 Kinectでビデオストリームがある場合、いわゆるポイントクラウドvide®を再生できます。これを行うには、次のことを実行できます。

 cv::VideoCapture capture(CV_CAP_OPENNI) Viz3d viz(“dynamic”); //...  ... //      viz.setViewerPose(Affine3d().translate(1.0, 0.0, 0.0)); while(!viz.wasStopped()) { //...  ... // ,      // ,      Kinect // ,    capture.grab(); capture.retrieve(color, CV_CAP_OPENNI_BGR_IMAGE); capture.retrieve(depth, CV_CAP_OPENNI_DEPTH_MAP); Mat cloud = computeCloud(depth); Mat display = normalizeDepth(depth); viz.showWidget("cloud", WCloud(cloud, color)); viz.showWidget("image", WImageOverlay(display, Rect(0, 0, 240, 160))); //        30  viz.spinOnce(30 /*ms*/, true /*force_redraw*/)); }

このサイクルは、ユーザーがウィンドウを閉じるまで実行されます。同時に、ループの各反復で、古いクラウドのウィジェットは新しいクラウドの新しいウィジェットに置き換えられます。

制御インターフェース

現時点では、カメラコントロールはいわゆるトラックボールカメラスタイルで作成されており、さまざまな3Dオブジェクトを表示するのに便利です。カメラの前に、このカメラがマウスとともに回転する3Dのポイントがあることを想像してください。マウスのスクローラーは、このポイントから/に近づきます。 shift / ctrlボタンとマウスを使用して、3Dワールドでこの回転点を移動できます。将来的には、大きなスペースをナビゲートするためのフリーフライモードを実装する予定です。また、Vizの実行中に「H」ホットボタンを押して、スクリーンショットの保存からアナグリフステレオモードの有効化まで、コンソールに印刷されている他のホットキーや機能に関する情報を読むことをお勧めします。

OpenCV Vizモジュールの構築方法

そして最後に、このテキストを読んだ後、このモジュールの使用を開始したい人のために、このセクションが意図されています。 Vizは、Windows、Linux、Macの3つの主要なPCプラットフォームすべてで使用できます。 VTKをインストールし、VTKサポートを使用してOpenCVをコンパイルする必要があります。 Vizモジュールを含むOpenCV自体は、2.4およびmasterブランチのGitHubリポジトリhttps://github.com/Itseez/opencvからのみダウンロードできます。だから、命令：

1. VTKインストール

Linuxでは、最も簡単な解決策は、apt-get install libvtk5-devコマンドを使用してaptリポジトリからVTKをインストールすることです。 Windowsの場合、開発者のサイトからVTKをダウンロードする必要があります。最適なバージョンは5.10です。VisualStudio用のCMakeプロジェクトを生成し、リリースおよびデバッグ構成でコンパイルします。 CMake BUILD_SHARED_LIBSのチェックを外すことをお勧めします。これにより、VTK静的ライブラリのコンパイルが行われます。この場合、コンパイル後、依存関係のないOpenCV Vizモジュールのサイズは約10 MBになります。

Macの場合、OSXバージョン10.8以前では、すべてのバージョンのVTKが適切です; 10.9 Mavericksの場合、公式リポジトリgithub.com/Kitware/VTK.gitからVTK 6.2をコンパイルできます。このブログ投稿の執筆時点では、リリース6.2はありませんでした。 Macでは、CMakeを使用してXcode用のプロジェクトを生成し、リリースおよびデバッグ構成で静的ライブラリをビルドすることもお勧めします。

2. VTKを使用したOpenCVのコンパイル

このステップはより簡単で高速です。 Linux用のコマンドを提供します。Windowsでもすべてはそれほど変わりません

git clone github.com/Itseez/opencv.git
[オプション] git checkout -b 2.4 origin / 2.4
mkdirビルド&& cdビルド
cmake -DWITH_VTK = ON -DVTK_DIR = <VTKビルドディレクトリへのパス> ../opencv

apt-get installでVTKをインストールした場合、VTKへのパスを指定する必要はありません-CMakeによって自動的に検出されます。次に、CMakeコンソールのログで、彼がVTKを見つけて接続したことを確認する必要があります。また、非互換性は報告しませんでした。たとえば、OpenCVをQt5サポート付きでコンパイルし、VTKがQt4でビルドされている場合、VTKとリンクすると、main（）関数に入る前の初期化段階でアプリケーションがクラッシュします。解決策は1つ選択することです。または、Vake for CMakeのチェックボックスをオフにして、Qt4なしでVTKをコンパイルします。または、VTK 6.1以降を使用して、Qt5サポートでビルドします。最後に、OpenCVをビルドするには、make -j 6を実行します

3.テキストの起動（オプション）

このリポジトリをgithub.com/Itseez/opencv_extra.gitからダウンロードすることもお勧めします。環境変数OPENCV_TEST_DATA_PATHにopencv_extra / testdataへのパスを記述します。 OpenCVのビルドディレクトリからopencv_test_vizファイルを実行します。このアプリケーションでは、このモジュールの現在のすべての機能に慣れることができ、そのソースを使用してAPIを学習できます。

おわりに

それで、結論に達しました。面白かったと思います。この投稿では、私の視点から見た主な傾向がコンピュータービジョンで現在どのように観察されているか、そしてOpenCVライブラリが時代とともに動いていることを示したかったのです。そして、OpenCVでは、3Dの世界で働くためのアルゴリズムが登場します。 Google Summer of Codeの学生の助けを借りて開発するか、データベースを使用して感謝しているユーザーも、OpenCVでこのようなアルゴリズムの作成と開発に参加します。

また、この開発ツール、またはこの分野の研究にも興味がありました。ところで、OpenCVの同様の開発をリードしたい場合は、大歓迎です！ GitHubを介してプルリクエストを受け入れます。手順はこちらに掲載されています。新しいうまく機能するアプローチを見ることができてうれしいです:-)

そして、現在必要な基本的な基盤は作成されていますが、将来的には新しい機能がVizに追加されると思います。たとえば、人間の手の骨格とその視覚化のモデル。または、PTAMなどのアルゴリズムからの3D世界地図。または、おそらくネットワーククライアントで、モバイルデバイスからアルゴリズムをデバッグするときに、視覚化のためにデータを送信できるようにします。興味深い場合は、次のブログ投稿で、ICPやKinect Fusionなどのアルゴリズムと、Vizを使用してデバッグおよび視覚化する方法について説明できます。

そして最後まで読んだ人のために-ボーナス。ここに、PCLライブラリでのKinect Fusionの実装の最適化された軽量のリメイクがあります。

Viz-OpenCVライブラリの新しい3D視覚化モジュール