💚 ❔ 🧝🏻 深度センサーとドロネー三角形分割を使用して「4Dビデオ」を撮影します 👨🏾 👩🏾‍🤝‍👩🏽 🛣️

こんにちはHabr！これは、空き時間にやった小さな趣味のプロジェクトに関するメモです。簡単なアルゴリズムを使用して深度マップから深度マップを楽しいタイプのコンテンツ-動的な3Dシーン（4Dビデオ、ボリュームキャプチャ、または自由視点ビデオとも呼ばれます）に変換する方法を説明します。この作品で私のお気に入りの部分は、ドローネ三角形分割アルゴリズムです。これにより、疎な点群を密なポリゴンメッシュに変換できます。アルゴリズム、C ++ 11の自作自転車、そしてもちろん、3次元シールについて見てみたいと思う人を招待します。

まず第一に、これはRealSense R200を使用している場合に起こります： skfb.ly/6snzt （数秒待ってからテクスチャをロードし、マウスを使用してシーンを回転させます）。カットの下にはもっとあります！

限られたレートの所有者、注意してください。この記事には、さまざまな画像やイラストがたくさんあります。

免責事項：この記事では、人工知能、ブロックチェーン、または重力波については言及しません。 これは、私が主にC ++とOpenGLを更新するために書いた小さなおもちゃです。 それだけです、期待が形成されました、行きましょう！

少し前に、3Dセンサーを備えたデバイス、つまり構造化されたライトテクノロジーを備えたGoogle Tango開発キットタブレットが手に入りました。当然のことながら、この興味深いデバイス用に何かをプログラムするために私の手がかゆみを覚えました。

ほぼ同時期に、私は初めて新しい種類のコンテンツ-4Dビデオに出会いました。「4Dビデオ」とは、時間をかけずに進化する3次元シーンを意味します。これらの動作は、骨格アニメーションやフードなどの単純なモデルでは説明できません。要するに、これに似たもの：

このようなコンテンツは私にとって非常に興味深いものでした。少し実験して、4Dビデオを生成するためのアプリケーションを作成することにしました。もちろん、Microsoft Researchのようなスタジオとリソースはありません。センサーは1つしかないため、結果ははるかに控えめになります。しかし、これはプログラミングの恋人を止めるものではありませんよね？私がしたことについては、この記事で説明します。

記事のタイトルについて

確かに、「4Dビデオ」という名前は最高ではありません。最初の質問は、「3D」ではなく「4D」である理由です。結局のところ、通常のビデオは、フラットな画像が時間とともに変化するという理由だけで、3次元と呼ばれません。実際、深刻な作品では、「自由視点ビデオ」という用語が通常使用されます。しかし、タイトルについては、これはあまりにも退屈なので、クリックベイト4Dを残すことにしました（ただし、映画はまだ11Dからは程遠い）

ほとんどの聴衆は3Dセンサーに間違いなく精通しています。このカテゴリで最も大規模なデバイスは、非常に成功したマイクロソフト製品である有名なKinectです。ただし、比較的普及しているにもかかわらず、深度センサーは多くの人にとって奇妙なままです。アプリケーションの作成を開始する前に、彼らの仕事の原理を理解しておくと役に立ちます。

Google Tangoおよびその他の構造化されたライトデバイスを使用すると、すべてが比較的明確になります。デバイスに組み込まれた赤外線スポットライトは、おおよそ次の図のように、光点の不規則なパターンをシーンに投影します。

次に、特別なソフトウェアが、IRカメラからの画像上のさまざまな形状のオブジェクトに起因するこのパターンの歪みを一連の3D測定値に変換します。画像内の各光点について、アルゴリズムは空間座標を復元し、出力で3D点群を取得します。内部では、もちろん、すべてがはるかに興味深いですが、これは別の記事全体のトピックです。

さて、実際にどのように機能するかを確認する必要があります！数晩、AndroidのTangoタブレット用の簡単なグラバーアプリケーションが膝の上に書かれました。そして今、私は最初のデータセットを手に入れました。

グラバーの最初のバージョンは非常に粗雑でしたが、主なことは達成されました：ポイントの座標はバイナリファイルに記録されました。スクリーンショットは、単一フレームのポイントクラウドがMeshlabプログラムでどのように見えるかを示しています。

さて、点群はすでに興味深いものです。ただし、最新の構造化光センサーの解像度は非常に低いため（通常は約100x100ピクセル、プラスまたはマイナス）、点群はシーンの非常に「まばらな」表現です。そして一般的に、コンピューターグラフィックスの世界では、3Dオブジェクトとシーンの別の表現、つまりポリゴンメッシュ、またはメッシュを持つことははるかによく知られています。

考えてみると、1つの3Dカメラからポイントクラウド上のメッシュを取得するタスクは非常に簡単で、3Dでの任意のメッシュ作成よりもはるかに簡単です。これを行うには、マーチングキューブやポアソン再構成は必要ありません。点は1台のIRカメラを使用して取得され、焦点面に自然に投影されることを思い出してください。

これで、Z座標についてしばらく忘れて、2Dで問題を解決できます。ポリゴンを取得するには、平面上の多くのポイントを三角化するだけです。これが完了したら、 IRカメラの内部パラメーターと各ポイントで既知の深度を使用して、頂点を3Dに投影し直します。三角形分割により、頂点間の接続性が決まります。各三角形をメッシュの面として解釈します。したがって、各フレームでシーンの実際の3Dモデルを取得し、OpenGLでレンダリングしたり、Blenderで開いたりすることができます。

そのため、各フレームのポイントの三角形分割を見つけるだけです。 2Dで多くのポイントを三角形分割する方法はたくさんありますが、基本的に三角形分割は何らかのメッシュを提供します。ただし、ポリゴンメッシュの構築には、ドロネー三角形分割という1つの方法が最適です。

この興味深いデザインはHabréで繰り返し言及されましたが、私はまだいくつかの言葉を書きます。私たち全員がボロノイ図を見てきました。点Sのセットのボロノイ図は、このような平面のセルへの分割です。各セルには、Sの要素の1つに最も近いすべての点が含まれます。

そして、ドロネー三角形分割はそのような三角形分割であり、グラフ理論の意味ではボロノイ図と二重です：

Delaunayの三角形分割には多くの素晴らしい特性がありますが、特に次の2つに興味があります。

三角形のいずれかの近くに記述された円は、三角形自体の頂点を除き、セットのポイントを含みません。
ドローネ三角形分割は、すべての三角形のすべての角度の中で最小の角度を最大化することにより、縮退した「薄い」三角形を回避します。

プロパティ＃2は＃1から十分直感的に理解できます。実際、外接円に余分な点が含まれないように、それらは可能な限り小さくする必要があります。逆に、「薄い」三角形（縮退に近い）の円半径は非常に大きくなります。したがって、Delaunayの三角形分割は、縮退にはほど遠い「良い」三角形の数を最大化します。これは、メッシュが見栄えが良いことを意味します。

すぐに言われたように、ドロネー三角形分割を書きます。多くの有名なアルゴリズムがありますが、最も単純なものはどこかで始まります

O （ n^{4} ）

$O（n ^ 4）$ 。しかし、人々はこれらの三角測量を

O （ n l o g n ）

$O（nlogn）$ 遅くすることはできません！

他の多くの同様のタスクと同様に、アルゴリズムは「分割して征服する」という原則に基づいて構築されています。 x座標とy座標でポイントを並べ替えてから、1つの大きなグラフが得られるまで、三角形分割を再帰的に生成してマージします。ここで何が起こっているのかを理解するには、このコードをここに示すだけで十分です。

const uint16_t numRight = numPoints / 2, numLeft = numPoints - numRight; EdgeIdx lle; // CCW convex hull edge starting at the leftmost vertex of left triangulation EdgeIdx lre; // CW convex hull edge starting at the rightmost vertex of left triangulation EdgeIdx rle; // CCW convex hull edge starting at the leftmost vertex of right triangulation EdgeIdx rre; // CW convex hull edge starting at the rightmost vertex of right triangulation triangulateSubset(lIdx + numLeft, numRight, rle, rre); triangulateSubset(lIdx, numLeft, lle, lre); mergeTriangulations(lle, lre, rle, rre, le, re);

原則として、すべてが分岐する可能性があります。

実際にはそうではありません。なぜなら、楽しい部分はmergeTriangulations関数で始まるからです。実際、十分な回数でセットを半分に分割すると、2つまたは3つの点の断片が残りました。

それから何？

イラストについて

以下、説明に、私のプログラムが生成したGIFアニメーション、および1つの良い記事のイラストを添付します。アルゴリズムについて説明するときは、この記事の大部分を繰り返します。質問がある場合は、彼女と安全に相談できます。

実際、それほど複雑ではありません。各再帰シートでは、すでに有効なサブタスクソリューションが提供されています。左と右のパーティションを単一の全体にマージする途中で、スタックを登る必要があります。ただし、これを慎重に行う必要があります。すべてのマージ方法でDelaunayの三角形分割が行われるわけではありません。

Gibas and Stolphiアルゴリズムは、この問題に対する非常にエレガントなソリューションを提供します。アイデアは、上記で説明したプロパティ＃1を使用することですが、最初に最初に行うことです。

まず、表記法。左の三角測量をL、右のRを呼び出しましょう。左の三角測量に属するエッジはLLと呼ばれます。左のサブセットのポイントで開始および終了します。右の三角形分割のエッジはRRと呼ばれ、図のように、左半分と右半分の間に追加するエッジはLRです。

ご覧のとおり、ここでは、最大4つの三角形全体の三角形分割の開始三角形とエッジを既に「凍結」しています。前の手順で存在したすべてのエッジはLLまたはRRとしてマークされ、すべての新しいエッジはLRとしてマークされます。マージプロセスは非常に簡単であり、アルゴリズムの機能を表示できないため、このステップではマージプロセスは表示されません。しかし、次のステップはより興味深いものになると考えてみましょう。これは、合併が始まる前のタスクの様子です。

左半分と右半分の両方の「外側」のエッジ（1-2、2-5、5-4、6-8など）がポイントのサブセットの凸包を形成することに注意してください。そのようなエッジが常にドロネー三角形分割に属し、実際に三角形分割に属することは明らかです。また、2つのばらばらのパーティションをマージする場合、結合セットの凸包を完成させるために2つの新しいエッジを常に追加する必要があることに注意してください（大まかに言うと、上下の新しいエッジでポイントを「カバー」）。素晴らしい、すでに2つの新しいLRリブがあります！そのうちの1つ、下の1つを選択し、それを「ベース」と呼びます（コードでは-ベース）。

次に、ベースに隣接する次のエッジを追加する必要があります。その一方の端はベースの端と一致し、もう一方の端はLまたはRのいずれかの点です。実際、2つのオプションのどちらが正しいかを決定する必要があります。右側から始めましょう。最初の候補は、ベースに対して右回りの角度が最小のRRエッジを持つベースの右端に関連付けられたポイントになります。次の候補は、図に示されているように、ベースの右頂点に接続されたポイントRであり、ベースに対して相対的に角度が大きくなるRRエッジを持ちます。

次に、候補者ごとに2つの条件を確認する必要があります。

ベースと候補との間の角度は180度を超えてはなりません（ベースの「上」にあるポイントにのみ関心があります）。
ベースと候補点を囲む外接円には、次の候補点が含まれていてはなりません。

頂点の構成に応じて、いくつかのオプションがあります。

両方の基準を満たす候補点がありました。まあ、それは右側の私たちの選択になります。
要件＃1（角度<180度）が満たされていない場合、すでに「トップ」に到達しているため、右側でポイントを選択する必要はありません。左三角化のみを考慮します。
最も興味深いケースは、条件2でなく条件1が満たされることです（図を参照）。この場合、ベースを候補ポイントに接続するRRエッジを削除して、再度検索を繰り返す必要があります。

当然、左半分のプロセスは完全に対称的です。

したがって、新しいLRエッジが追加されるたびに、左半分と右半分から候補点を選択します。そこに適切なポイントがなかった場合、合併を完了したので、スタックをさらに上に移動する必要があります。 1つのポイントがある場合（左側のみ、または右側のみ）、LRエッジを追加し、その中に端を追加します。点が両側で見つかった場合、円を使用してテストを繰り返します。ベースとLとRから候補点を囲む外接円を作成します。円の反対側から候補が含まれていない点を選択します。事実：4つの頂点のみが長方形を形成しない場合、そのような点は常に一意になります。この場合、任意のオプションを選択できます。

この例では、対応する円にRからの候補点が含まれていないため、Lから候補を選択します。

新しいLRエッジが追加されると、新しい「ベース」になります。凸包の上端に到達するまでベースの更新を繰り返します。

アルゴリズムが説明されたルールに注意深く従っている場合、左右の半分のマージの後、L∪Rの有効なDelaunay三角形分割が得られることがわかります。

「これについて本当に素晴らしい証拠を見つけましたが、この本の余白は彼にとって狭すぎます。」実際、たとえばエッジを削除する必要性など、すべてのステートメントがどこから来たかに興味がある場合は、数字9.2、9.3、9.4、8.3の主要な補題であるGibasとStolphiの作業を調査することをお勧めします。

それでは、すべてをまとめて、何が起こるか見てみましょう。

これは私が得たアルゴリズムの視覚化です。ここでは、ベースエッジはオレンジ色でマークされ、LL候補は緑、RR候補は青です。基準2を満たさず、削除されるリブは赤でマークされます。

アルゴリズムの説明はまだメモリに保存されていますが、実際に何をするのかを理解するのは非常に簡単です

O （ n l o g n ）

$O（nlogn）$ 。確かに、順序があります

l o g n

$logn$ 合併事業; それらのそれぞれで、一般的にすべてのエッジを削除して再構築することを強制された場合でも、アクションの数はまだ順序のままです

n

$n$ （これは任意のグラフではなく、三角形分割であるため、エッジの数はポイントの数に対して線形です）。実際、ほとんどの実際のタスクでは、速度は

O （ n l o g n ）

$O（nlogn）$ そして線形に近い; マージの各段階でアルゴリズムがゼロから三角形分割を再構築するために、特に問題のあるデータセットが必要です。

もう1つの注意点-得られた三角形分割から、対応するポイントセットの凸包とボロノイ図の両方を簡単に取得できます。素敵なボーナス。

グラフを操作するために使用したデータ構造についていくつかの言葉を言うのは興味深いです。通常、グラフはリストまたは隣接行列として表されますが、この問題では、接続性だけでなく、グラフのいくつかの幾何学的特性にも関心があります。ここに私が得たものがあります：

 struct TriEdge { uint16_t origPnt; // index of edge's origin point EdgeIdx symEdge; // index of pair edge, with same endpoints and opposite direction EdgeIdx nextCcwEdge; // next counterclockwise (CCW) edge around the origin EdgeIdx prevCcwEdge; // previous CCW edge around the origin (or next CW edge) };

これは、GibasとStolphiが提供する構造のやや切り捨てられたバージョンです。彼らが言うように、すべての独創的なことは簡単です。各エッジに対して、「原点」となるポイント、反対方向に向けられたペアのエッジのインデックス、および原点の「周囲」の前後のエッジのインデックスを保存します。実際、二重にリンクされたリストを取得しますが、端の周りのエッジの相対的な配置を維持するため、アルゴリズムの多くのステップは単純にエンコードされます。

他のいくつかの作品は、エッジではなく三角形を保存することを提案しています。このオプションを試してみましたが、コードの量が大幅に増加したと言えます。特別な場合（退化した三角形、無限遠のポイントなど）には、多くの松葉杖を導入する必要があります。このオプションにはメモリ使用量の点で潜在的な利点がありますが、二重にリンクされたエッジリストを使用することを強くお勧めします。彼らと一緒に働くことは、はるかに楽しいです。

これからは、誰かがアルゴリズムの実装の詳細に興味を持っているふりをするのをやめることができると思います。リラックスして、これらの素晴らしいアニメーションに固執することができます。

通常のグリッドはどうですか？

ここでは、ポイントはサブセットに正常に分割され、エッジをまったく削除する必要がありませんでした。しかし、これは常に起こるとは限りません。

もうおもしろい。格子の側面の点の数は奇数になり、このため、アルゴリズムはかなりの数の修正を強制されます。ドットの円はどうですか？

おもしろい！しかし、私は中心に点があるよりそれが好きです：

この時点で、記事には十分なGIFが含まれていると思います。この記事をダウンロードした後、トラフィック制限のある読者が少なくとも少しインターネットを利用できるようにするために、残りのアニメーションをビデオホスティングにアップロードしました。

1080pと60fpsに固執することをお勧めします。これはビデオの元の解像度です。 そして、全画面表示に拡大することをお勧めします。そうしないと、グラフの端がエイリアスされます。

これらのビデオに誰もが興味を持っているわけではないことを理解していますが、古いバージョンのWindowsの「パイプライン」スクリーンセーバーと同じ効果を私にもたらします。壊すのは難しいです

これらのアニメーションは、この記事が長い間書かれてきた主な理由となっています。自己への注意：次回、デバッガーとトレースを行い、デバッグの視覚化を行うのは危険です:)他のポイント構成でアルゴリズムが動作することを確認したい場合は、コメントを書いてください。喜んでアニメーションを生成します。

視覚化を楽しんでいるのは楽しかったですが、アルゴリズムが最初に作成された理由を思い出してください。深度センサーからのデータからポリゴンメッシュを生成します。さて、センサーから点群を取得し、カメラの平面に投影して、三角測量アルゴリズムを実行しましょう。

（このビデオがどれだけレンダリングされたかを聞かないでください。貧弱なffmpeg。）

すごい！この段階ではポイントとエッジのグラフしかありませんが、基本的な方法で三角形の配列を生成できます。オブジェクトの境界で発生するZ座標に引き伸ばされたfilterいポリゴンをフィルタリングし、OpenGLで単純なプレーヤーを作成するためにのみ残ります。

ここでは、グラバーの最初のバージョンが非常に未加工であったことがはっきりとわかります。これは、画像がフリーズするため、フレームの半分に記録する時間がありませんでした。要するに、ほとんど監督の傑作ではありません。しかし、それは問題ではありません-アルゴリズムがついに実現しました！私にとってそれは本当の「列車到着」でした！

その後、私はさらに2、3のビデオを撮影し、タイムフレームアニメーション形式でSketchfabリソースにアップロードしました。これはもっと面白いと思います。

WebGLのデータセット＃2

WebGLのデータセット＃3

さて、パイプラインは機能し、鉄の可能性によってさらなる開発が制限されていることが明らかになりました。実際、Tangoタブレットでは、非常に低いフレームレート（5 fps）でのみ撮影できますが、主なアイデアはシーンの動的な性質をキャプチャすることでした。もう1つの重要な制限があります。TangoはRGBカメラとIRカメラを同期しません。つまり、フレームは異なる時点で受信されます。これは、静的オブジェクトのスキャンなどでは重要ではありません。なぜなら、 Tango SDKを使用すると、高周波加速度計と魚眼カメラに基づいた組み込みの追跡機能を使用して、隣接フレームのRGBポーズとIRポーズ間の変換を見つけることができます。しかし、動いているオブジェクトでは、これはまったく役に立ちません。私にとっては、同期が取れていないため、テクスチャをメッシュに引っ張ることができませんでした。

幸いなことに、別のデバイス-Intel RealSense R200がありました。奇跡的に、R200には両方の欠点がありません。最大60（！）fpsを開発し、すべてのカメラの優れた同期を実現します。そこで、R200のグラバーアプリケーション（今回はJavaではなくC ++で）を作成し、実験を続けることにしました。

パイプラインに小さな問題があることがすぐに明らかになりました。 R200で許容される解像度と高い撮影頻度の増加により、リアルタイムですべてのフレームにメッシュを生成するにはパフォーマンスが十分ではありませんでした。プロファイリングは、ボトルネックがもちろん三角測量であることを示しました。初期バージョンは、STLを使用するなど、メモリを動的に割り当てて、かなり「リラックス」して書かれていました。さらに、最初のバージョンはfloat型の座標で動作しましたが、私のタスクでは、ポイントは常に整数座標（画像内のピクセル単位の位置）を持ちます。だから、漸近性の点で優れたアルゴリズムが私のラップトップでTango（約12,000ポイント）を使用したテストフレームで最大30ミリ秒動作したのは驚くことではありません。加速の可能性は明らかであり、私は熱心に最適化のために座った。このようなものが開発されました：

速度の祭壇で最初にしたことは、浮動小数点数です。すべてのアルゴリズム（可能な場合）が整数計算に切り替わりました。
2番目の行は、メモリの動的割り当てです。これで、アルゴリズムのすべてのメモリが「最悪の場合」に一度割り当てられ、再利用されました。（ACM ICPCの精神で）メモリ消費の観点からは最も効果的なソリューションではありませんが、大幅に加速しました。

地震の数値シミュレーションに特化したプロジェクトのサイトで、三角形の外接円内のポイントを見つけるための素晴らしいテストが見つかりました。

その実装は次のとおりです。

 FORCE_INLINE bool inCircle(int x1, int y1, int x2, int y2, int x3, int y3, int px, int py) { // reduce the computational complexity by substracting the last row of the matrix // ref: https://www.cs.cmu.edu/~quake/robust.html const int p1p_x = x1 - px; const int p1p_y = y1 - py; const int p2p_x = x2 - px; const int p2p_y = y2 - py; const int p3p_x = x3 - px; const int p3p_y = y3 - py; const int64_t p1p = p1p_x * p1p_x + p1p_y * p1p_y; const int64_t p2p = p2p_x * p2p_x + p2p_y * p2p_y; const int64_t p3p = p3p_x * p3p_x + p3p_y * p3p_y; // determinant of matrix, see paper for the reference const int64_t res = p1p_x * (p2p_y * p3p - p2p * p3p_y) - p1p_y * (p2p_x * p3p - p2p * p3p_x) + p1p * (p2p_x * p3p_y - p2p_y * p3p_x); assert(std::abs(res) < std::numeric_limits<int64>::max() / 100); return res < 0; }

これらの3つのイベントは、フレームあたり30,000マイクロ秒から6,100マイクロ秒の非常に大きな加速を提供しました。しかし、さらに加速することができました。

いくつかの小さな関数__forceinline、6100-> 5700マイクロ秒を作成しました。これは、コンパイラー自身が推測しなかったまれなケースです。
TriEdgeフレームワークの#pragma pack（push、1）を削除しました。そして、なぜ梱包が速くなると決めたのですか？ 5700-> 4800マイクロ秒。
std ::を、基数に似た自己記述ソートでポイントのソートに置き換えました。 4800-> 3700マイクロ秒。

合計で、コードをほぼ10倍高速化することが判明しましたが、これは制限ではないと思います。ちなみに、Android用のコードを収集するのは面倒ではありませんでした。同様のタスクARMでは、Tangoプロセッサはフレームあたり約10ミリ秒で動作しました。 100 fps！要するに、それは少しやり過ぎであることが判明しましたが、誰かが非常に高速な「整数」ドローネ三角形分割を必要とするなら、リポジトリへようこそ。

これで私のアルゴリズムはR200に対応しました。最初に撮影したデータセットは次のとおりです。

当然、他の人もそれに続きました。 OpenGLビューアのビデオは添付しませんが、Sketchfabをすぐに見たほうが面白いと思います： skfb.ly/6s6Ar

次のように、一度に1つのクリップのみを開くことをお勧めします。 Sketchfabは、データセットのすべてのフレームを一度にメモリにロードします。一般に、ビューアは非常に高速ではありません。ところで、約束の4D猫（Vasya）は次のとおりです。

犬トトシュカは、レーザーで輝いていることにあまり満足していませんでした。しかし、彼には選択肢がありませんでした。

Sketchfabアカウントにはさらにいくつかのクリップがあります。もちろん、センサーからのノイズを慎重にフィルタリングすれば、モデルの品質を向上させることができ、サイトのプレイヤーがそれほど遅くならないようにポイント数を減らすことができます。しかし、彼らが言うように、完璧に制限はありません。私はすでにこのペットプロジェクトに多くの時間を費やしました。

とにかく、ARとVRの攻撃的な攻撃を考えると、開発者がこれらのタスクから注意を奪うことはないと確信しています。 CGのようなWebには、より多くのボリュームコンテンツがあります。

実生活での撮影：

同意して、とても印象的です！一般に、自由視点ビデオの将来について心配する必要はありません。

最後に、このプロジェクトのために書かれたすべてのコードは、無料ライセンスの下でGithubで利用可能であると言わなければなりません。生成された4Dビデオはほとんど印象的ではありませんでしたが、アルゴリズムはさらに使用および開発される可能性があります。

この記事で説明されているアプローチの主な利点は、プレーヤー自体でリアルタイムに3Dシーンが生成されることです。このため、圧縮された形式では、ビデオが占めるスペースはごくわずかであり、実際には、同様の従来のビデオとほとんど同じです。

実際、テクスチャには通常のRGBビデオのみが必要であり、ポイントの3D座標はスパースデプスマップとして保存し、既にグレースケールのビデオファイルにエンコードすることもできます。したがって、1つのフレームを3Dでレンダリングするには、2つのビデオからのフレームといくつかのメタデータ（カメラパラメーターなど）のみが必要です。これに基づいて、拡張現実のSkypeなどのクールなアプリケーションを作成できます。対談者は深度カメラを使用し、iPhoneはリアルタイムで、ARKitを使用して話している3Dヘッドをレンダリングします。スターウォーズのホログラムのようです。

Tangoユーザーにとって便利な別のオプションがあります。実際、Tango SDKはデータを3Dのポイントクラウドの形式で提供します（上記で説明したように）が、多くのアルゴリズムでは高密度の深度マップが必要です。これを取得する最も一般的な方法は、焦点面にポイントを投影し、既知の隣接ポイント間の深度値を補間することです。したがって、ドロネー三角形分割とOpenGLの組み合わせにより、この補間を正確かつ効率的に行うことができます。 GPUでラスタライズが行われるため、スマートフォンでも高解像度で深度マップを生成できます。

しかし、これはすべての歌詞です。これまでのところ、この記事を追加できたことを非常に嬉しく思います。意見やフィードバックがある場合は、コメントで議論することをお勧めします。

深度センサーとドロネー三角形分割を使用して「4Dビデオ」を撮影します

画像クレジット

More articles: