7つの写真測量システムの比較。 どちらを選ぶのが良いですか？

こんにちは、Habr。 これは記事を翻訳する最初の試みです。 ハブラーの居住者だけでなく、元の記事を志向する考古学者にも役立つことを願っています。



写真測量は写真を使った3Dスキャンのプロセスに似ていると人々に説明するとき、彼らは私を信用していません。 想像してみてください。オブジェクトの写真をいくつか撮り、それらをアルゴリズムに送信して、テクスチャ付きの3Dモデルを取得します。 わあ！



モデルを提示した後、2番目の質問は精度の質問です。 写真からの3Dスキャンの精度はどのくらいですか？ 回答： サブミリメートル範囲 。 そして再び、私は不信の表現に驚いています。 幸いなことに、私たちのチームは、レーザースキャナーで作成されたスキャンされた3Dモデルと比較して、平均偏差が0.78 mm、つまり1ミリメートル未満である実験に関する科学記事を書きました。



レーザースキャナーの市場と同様に、写真測量でもソフトウェアをチェックするためのさまざまなオプションがあります。 それらは、プロプライエタリおよびプロプライエタリなソリューションから、オープンで無料のものまであります。 そして正確には、そのようなプログラムとソリューションの中で、少なくとも公式にはまだ答えられていない3番目の質問が出てきます。最高の写真測量ソフトウェアとは何でしょうか？



答えは状況に大きく依存するため、この質問に答えることは困難です。 しかし、これについて考えると、私が長い間取った多くのアプローチの中で、私は単純で膨大な答えを与えるような方法で答えることに決めました。

シパンLordの頭蓋骨

2016年7月、私はペルーのランバイに行きました。そこでは、シパン神の頭蓋骨と顔を合わせて会いました。 彼を分析して、私は顔の再構成の法医学的手法の助けを借りて彼の顔を復元することが可能であることに気づいた。 しかし、彼の墓で苦しんでいた長年の圧力によって頭蓋骨は壊れて歪んでおり、1987年に完全に発見され、ウォルター・アルバ博士が率いる最大の考古学的探検の1つでした。







頭蓋骨を復元するために、ASUS Zenphone 2スマートフォンで120枚の写真を撮影し、これらの写真を使用して再構築を再開しました。 このプロセスと並行して、Inca University Garcilaso de la Vega（私の旅行のスポンサー）のマーケティング部門のプロの写真家RaúlMartinは、Canon EOS 60Dカメラで96枚の写真を撮りました。 これらのうち、実験を続行するために46個の画像を選択しました。





ペルー文化省のスペシャリスト、頭蓋骨のデジタル化プロセスを開始（中央）



写真の検査の翌日、ペルー文化省は、レーザースキャンの分野の専門家を派遣し、ライカScanStation C10機器を使用してシパンpanの頭蓋骨をスキャンしました。 最終的なポイントクラウドは15日後に送信されました。つまり、レーザースキャナーからデータを受信すると、写真測量を使用して取得したすべてのモデルの準備が整いました。



装置を使用して取得したモデルがゴールドスタンダードであるため、写真測量を使用して取得したすべてのグリッドが次々と比較されるため、この間ずっと待機する必要がありました。





CloudCompareでの変換後にMeshLabにインポートされたフルポイントクラウド



スキャンの結果としてのポイントクラウドは.LASファイルと.E57ファイルにありましたが、聞いたことはありません。 フリーソフトウェアを使用してLinux上でそれらを開く方法を見つけるために、多くの調査を行う必要がありました。 .E57ファイルをインポートする機能を提供するCloudCompareでこれを行うことが決定されました。 次に、モデルを.plyとしてエクスポートして、MeshLahで開き、ポアソンアルゴリズムを使用して3Dメッシュを再構築できるようにしました。





点群から再構築された3Dメッシュ。 頂点の色（上）と1色のみの表面（下）。



上記のように、部品が配置されたテーブルのあごと表面もスキャンされました。 実験を行うために、頭蓋骨に関連する部分を分離して取り外しました。 ボリュームが異なるため、ここではこれらの詳細を扱いません。 ポイント/グリッドクラウドの重要でない部分を削除する方法を説明する他の資料をすでに書いています。



写真測量を使用したスキャンでは、次のシステムが選択されました。



1） OpenMVG （Open Multiple View Geometryライブラリ）+ OpenMVS （Open Multi-View Stereo再構築ライブラリ）：OpenMVGでは疎な点群が計算され、OpenMVSでは密な点群が計算されます。

2） OpenMVG + PMVS （パッチベースのマルチビューステレオソフトウェア）：OpenMVGでスパースポイントクラウドが計算され、PMVSを使用してデンスポイントクラウドが計算されます。

3） MVE （マルチビュー環境）：完全な写真測量システム。

4） Agisoft Photoscan ：完全で閉じた写真測量システム。

5） Autodesk Recap 360 ：完全なオンライン写真測量システム。

6） Autodesk 123D Catch ：完全なオンライン写真測量システム。

7） PPT-GUI （グラフィカルユーザーインターフェイスを備えたPython Photogrammetry Toolbox）： Bundlerによってスパースポイントクラウドが生成され、後でPMVSが密なクラウドを作成します。







上記の表には、各システムの重要な側面が含まれています。 一般に、少なくとも明らかに、他のシステムよりも際立っている単一のシステムはありません。







低雲の生成+密な雲の生成+ 3Dグリッド+テクスチャ、写真と3Dグリッドをアップロードする少しの時間（Recap 360および123D Catchの場合）。





共通点の位置合わせ





整列した頭蓋骨



すべてのグリッドはBlenderにインポートされ、レーザースキャンと組み合わされました。







上記では、すべてのグリッドが近くにあることがわかります。 3DスキャンとOpenMVG + PMVSの場合のように、一部の表面が非常に密集しているため、エッジのみに気付くことがわかります。 最初に、非常に重要な情報...スキャンされたメッシュのテクスチャは、通常、スキャンの品質に関して私たちを欺きます。したがって、この実験では、テクスチャリングの結果を無視し、3Dサーフェスに焦点を当てることにしました。 そのため、すべての元のモデルを.stl形式にエクスポートしました。これは、ご存じのとおり、テクスチャ情報がありません。







よく見ると、結果はグリッド内のユニットの密度の低い結果と一致していることがわかります。 少なくとも私の仕事では、スキャンの最終的な目標は、元のオブジェクトと一致するグリッドを取得することです。 このグリッドが単純化されている場合、実際のボリュームアスペクトと調和しているため、3Dグリッドのフェースの数が少ないとリリース時に処理が速くなるため、さらに優れています。







比較の良い指標であるファイルサイズ（テクスチャなしでエクスポートされた.stl）を見ると、OpenMVG + OpenMVSで作成されたクリーンメッシュは38.4 MBであり、Recap 360はわずか5.1 MBであることがわかります。



数年前から写真測量の作業を行った後、非常に密なグリッドに遭遇したときに行うべき最善の方法は、グリッドを単純化してリアルタイムで処理できるようにすることであることに気付きました。 これが特許取得済みのクローズドソリューションであるため、これが真実かどうかを判断するのは困難ですが、Recap 360および123D Catchは複雑なグリッドを生成するものと考えています）、できればWebGL（インターネットブラウザでのインタラクティブな3D）のサポートが必要です。



すぐに、グリッドの単純化に関連するこの状況の議論に戻り、それらを比較しましょう。

3Dグリッド比較の仕組み

すべての頭蓋骨をきれいにし、ゴールドスタンダード（レーザースキャン）に準拠させた後、CloudCompareのグリッドを比較します。 しかし、3Dメッシュ比較テクノロジーはどのように機能しますか？



説明のために、いくつかの教訓的な要素を作成しました。 それらに戻りましょう。





この教訓的な要素は、厚さがゼロの表面を持つ3つの平面を扱い（3Dモデリングで可能）、Xを形成します。







次に、オブジェクトAとオブジェクトBがあります。両側の最後の部分では、プレーンの端が1ミリメートル離れています。 交差点がある場合、距離はもちろん0 mmです。







CloudCompareの2つのグリッドを比較すると、青から赤に変わるカラースペクトルで着色されていることがわかります。 上の図は、すでに2つの着色された計画を示していますが、それらは2つの異なる要素であり、比較は2つのポイントで行われることを覚えておく必要があります。







これがどのように機能するのかが明確になりました。 基本的に、何が起こるかは次のとおりです。距離制限を設定します。この場合は5 mmです。 グリッド「from」は赤に着色され、「c」は青に着色される傾向があり、交差点、つまり同じ線上にあるものは通常緑に着色されます。







次に、この実験で採用したアプローチについて説明します。 上記を参照して、ゼロになる傾向のある中央領域を持つ要素があり、両端が+1 mmと-1 mmに設定されています。 これは画像には表示されませんが、比較に使用する要素は、シーンの中央、3Dベルのベースの領域にある単純な平面、または「見下ろしている」ときに「上に向いた」平面です。







先ほど言ったように、比較の制限を設定しました。 元々は+ 2mmと-2mmに設定されていました。 この制限を+ 1mmと-1mmに変更するとどうなりますか？ 上の図で何が起こったのか、境界を越えた部分を見てください。







視覚化を超えた部分を削除して、邪魔にならないようにすることができます。







したがって、結果として、グリッドには構造の一部のみが含まれます

3Dモデリングについてもう少し理解している人にとっては、顔ではなく頂点で比較が行われることは明らかです。 このため、エッジがギザギザになっています。

頭蓋骨の比較

+1 mmと-1 mm以内のレーザースキャナーを使用した写真測量の比較が行われました。 スペクトル外のすべてが消去されました。



OpenMVG + OpenMVS





OpenMVG + PMVS





フォトスキャン





MVE





まとめ360





123Dキャッチ





PPT-GUI









すべての系列を比較すると、エラーをゼロに減らす傾向が強いことがわかります。 7つの写真測量システムはすべて、レーザースキャンと効果的に組み合わされています！







次に、ファイルサイズの問題に移ります。 写真測量の結果の参加と比較して私を常に悩ませる1つのことは、メッシュ再構成アルゴリズムによって生成されたポリゴンを考慮することでした。 上で述べたように、これはあまり意味がありません。頭蓋骨の場合、表面を単純化できますが、人体学的検査や顔の法医学的再構成中に作業に必要な情報を保持します。



これを踏まえて、サイズとポリゴンの互換性を保ちながら、すべてのファイルを揃えることにしました。 これを行うために、123D Catchが生成する小さいファイルサイズを基にして、MeshLab Quadratic Edge Collapse Detectionフィルターを最大25000まで使用しました。これにより、それぞれ1.3 MBの7つのSTLファイルが作成されました。



この調整により、写真測量システム間で公正な比較ができます。







上記の作業の段階を視覚化できます。 オリジナルでは、頭蓋骨が整列され、最初に整列されます。 それから、 比較では対象の領域でのみ頭蓋骨を観察し、最終的にはデシメートで頭蓋骨のサイズを揃えます。 疑いを持たない読者にとって、これは隣に置かれた1つの画像のようです。







「堅実な」モデルでの比較を想像するとき、それらがすべて互換性があることを理解します。 それでは結論に行きましょう。

結論

最も明白な結論は、MVEを除くすべてのプログラムがグリッド内のより小さな定義を示し、すべての写真測量システムが非常に類似した視覚的結果を示したということです。



これは、MVEが他より劣っていることを意味しますか？



いいえ、まったく逆です。 MVEは非常に信頼性が高く実用的なシステムです。 別の実施形態では、ミリメートル品質のプロテーゼを製造する場合のその使用を提示する。 このケースに加えて、他の補綴プロジェクトでも使用されており、これは大きな精度を必要とする分野であり、成功しています。 このケースは、それを開発した研究所であるダルムシュタット大学の公式ウェブサイトにも公開されました。



どの写真測量システムが最適ですか？



多くはユーザーのスタイルに依存するため、この質問に答えることは非常に困難です。



どのシステムが初心者に最適ですか？



間違いなく、これはAutodesk Recap 360です。WebGLをサポートするインターネットブラウザーを備えたオペレーティングシステムからアクセスできるオンラインプラットフォームです。 私はすでにスマートフォンで直接テストしましたが、うまくいきました。 私が写真測量法で教えたコースでは、原則として学生が他のオプションよりもはるかに速くプロセスを理解するため、このソリューションをますます使用しました。



プロフェッショナル向けのモデリングとアニメーションに最適なシステムはどれですか？



Agisoft PhotoScanを紹介したいと思います。 これには、特に写真測量の対象領域にマスクを作成できるグラフィカルインターフェイスがあり、計算領域を制限できるため、マシンでの処理時間が大幅に短縮されます。 さらに、さまざまな形式でエクスポートし、シーンを撮影するときにカメラがどこにあったかを示す機会を提供します。



どのシステムが一番好きですか？



まあ、個人的には、特定の状況ですべてに感謝しています。 今日の私のお気に入りのミックスは、OpenMVG + OpenMVSです。 どちらも開いており、コマンドラインを使用してアクセスできます。これにより、多くのプロパティを制御し、必要に応じてスキャンプロセスを調整できます。 私はこのソリューションが本当に好きですが、まれなシーンクラウドがBlenderにインポートされたときに、モデルに対してカメラを調整しないなど、いくつかの問題があります。 この問題を解決するには、PPT-GUIを使用します。PPT-GUIは、Bundlerと対応からスパースクラウドを生成します。つまり、カメラをクラウドとより正確に位置合わせします。 OpenMVG + OpenMVSに関連するもう1つの問題は、スパースデータがすべてのカメラが揃っていることを示していても、完全に密なクラウドを作成しないことです。 この問題を解決するには、PMVSを使用します。PMVSは、OpenMVSよりも密度の低いメッシュを生成しますが、非常に信頼性が高く、ほとんどすべての場合に機能します。 オープンソースオプションのもう1つの問題は、プログラムをコンパイルする必要があることです。 すべては私のコンピューターで非常にうまく機能しますが、ソリューションを学生や興味のある人に渡す必要があるとき、それは大きな頭痛の種になります。 エンドユーザーは、一方の側で画像をダウンロードし、もう一方の側で3Dモデルを取得するソフトウェアを持つことが重要です。これにより、特許取得済みのソリューションが提供されます。 さらに、取得したモデルのライセンスはこれらのアプリケーションでより理解しやすく、たとえばPhotoScanで生成されたテンプレートを使用する場合よりも、プロのモデリングの分野で安全だと感じています。 技術的には、ライセンス料を支払い、作業中にテンプレートを使用して、必要に応じてテンプレートを生成できます。 したがって、このソリューションはオートデスクのソリューションに似ています。