Intel RealSenseを使用した3Dスキャン

最近リリースされたIntel RealSense F200カメラSDKには3Dスキャンが含まれています 。 これは、開発者とコンピューターグラフィックスペシャリストが実際のオブジェクトをスキャンしてプロジェクトに適用できるようにする素晴らしい機能です。 このテクノロジーの使用の一例は、Unityゲームエンジンで使用するために実際のオブジェクトをスキャンすることです。 この記事では、このプロセスの詳細を紹介します。



何が必要ですか？

• SDKがインストールされた第4世代Intel Coreプロセッサー以上のIntel RealSenseカメラ（SDKは無料）
• Intel RealSenseテクノロジーを使用してスキャンされ、PLYファイルに変換されたオブジェクト（無料のMeshLabプログラムを使用）
• Blender（フリーウェア）

Intel RealSense SDKを使用したスキャン

Intel RealSense SDKをインストールします。 Windowsでエクスプレスボタンバーを開き、RealSenseを見つけます。 リストに、RealSense SDKサンプルブラウザーが表示されます。 それを右クリックして、「管理者として実行」を選択します。







サンプルブラウザに、[共通サンプル]タブが表示されます。 これらは、F200とR200の両方で機能する例です。 3D Scan（C ++）と呼ばれる例を見つけます。







3Dスキャン時に知っておくべきこと

• この例は、オブジェクトがカメラの前で回転するときに空間内の剛体の3次元オブジェクトをトレースするように設計されているため、さまざまな角度からオブジェクトをスキャンできます。
• オブジェクトの一部が回転し、もう一方が回転しない場合、トレースが複雑になり、低品質のスキャンが作成されます。 たとえば、頭をスキャンする場合、首に対して回転させないでください。そうしないと、スキャンの品質が低下します。 代わりに、胴体全体を回転させて、カメラが胴体を1つのオブジェクトとして認識できるようにします。
• 前後に体を傾け、胴体を左右に回して、完全な回転を行うことができます。 時間が経つにつれて、オブジェクトを360度回転させてスキャンする方法を学習できます。
• 均一な光でオブジェクトをスキャンします。 影や光の反射も3Dテクスチャに含まれるため、影は避けてください。

スキャンの段階。



サンプルブラウザで、[実行]を選択します。

• カメラの前にオブジェクトを配置すると、スキャナーにその表示が表示されます。 2番目のウィンドウが表示されるまで待ちます。
• 2番目のウィンドウが表示されたらすぐに、オブジェクトを一方の方向に回転させ、次にもう一方の方向に回転させ、360度回転させます。 その後、オブジェクトを後ろに傾け、次に前に傾けてから、元の位置に保持します。 顔をスキャンする場合は、最後の数秒間、カメラの前で自分の前を直接見て、目が1つの位置に固定されるようにする必要があります。
• スキャンが完了すると、Webブラウザーウィンドウが開き、結果の画像を移動および回転できます。 画像は、3Dscan.objという名前でDocumentsフォルダーに保存されます。
• この例を何度でも使用して、アプリケーションやゲームで変更して使用できる高品質のスキャンを作成できます。

ファイルをPLY形式に変換する

スキャン時に、ファイルはデフォルトでOBJ形式で保存されます。 無料のMeshLabツールを使用して、ファイルをPLY形式に変換できます。



MeshLab（無料）をダウンロードしてインストールします。



[ファイル]メニューから[インポート]を選択します。 Documentsフォルダーのルートにある3Dscan.objファイルを選択します。







インポートしたオブジェクトを横に回転させることができます。 オブジェクトの下部を左クリックしてドラッグすると、オブジェクトを回転して表示できます。 色付きのテクスチャのグリッドが表示されます。 色情報は頂点色形式で保存されます。つまり、各頂点は、スキャン中にカメラが受け取ったRGB色のピクセルでペイントされます。







[ファイル]メニューから、[メッシュをエクスポート]を選択します。

ダイアログボックスで、Stanford Polygon File Format（* .ply）を選択します。







保存するときに、検索できるパスを指定します。

これで、Blenderで作業できるようになりました。そこで、グリッドをきれいにし、頂点の色をUVカード形式に変換できます。

Blenderの頂点カラーとUVマップ

ポイントは、3次元モデルファイルをインポートし、そのコピーを作成することです。 次に、コピーを消去し、モデルの新しいバージョンで頂点の色をUVマップとして使用する必要があります。



Blenderで新しいプロジェクトを作成し、Import PLYを選択して、MeshLabからエクスポートされたPLYファイルを選択します。







インポート後、テクスチャがないことがわかります。







テクスチャビューに切り替えると、スキャンしたモデルのRGBカラーがテクスチャモードにマップされていることがわかります。







色を正しく表示するには、マテリアルビューに移動します。 右側のペインで、材料アイコンを選択します。 新しいマテリアルを作成します。 パネルエディタで、ShadingをShadelessに設定し、Optionsセクションで、Vertex Color Paintチェックボックスを選択します。 頂点の色は、オブジェクトのマテリアルに割り当てられます。







ご覧のとおり、このようなモデルを使用することはできません。 穴がいっぱいで、ポリゴンの数が目的の数をはるかに超えています。 このモデルのバージョンを作成する必要があります。これは、UVマップとして頂点の色でテクスチャをきれいにし、提示することができます。 このバージョンをUnityにインポートしています。







モデルを複製する



[オブジェクト]メニューに移動します。 [メッシュの複製]を選択し、Enterキーを押します。 マウスポインターを動かさないでください。







[オブジェクト]メニューに移動し、[レイヤーに移動]を選択して、右側のボックスを選択します。







リソースブラウザに移動し、モデルの名前を変更します。 たとえば、最初のモデルを「元のモデル」、2番目のモデルを「2番目のモデル」と呼びます。 これは順序を維持するのに役立ちます。

2番目のモデルを選択し、表示するレベルを選択して、モードをソリッドレンダリングに切り替えます。

次に、ツールレンチアイコンをクリックして、修飾子を追加します。 2番目のモデルのポリゴンの数を変更して、よりきれいにします。

「ツール」メニューから「リメッシュ」を選択します。 Remeshツールボックスで、Oct Treeパラメーターに7〜8の値を指定します。 スムーズモードを選択し、[スムーズシェーディング]ボックスをオンにします。 これは、マテリアルと比較して消えます。







適用をクリックします。 これで、頂点とUVMapを適用できるよりクリーンなモデルができました。







この2番目のモデルの編集モードに切り替えます。 [選択]メニューから[すべて選択]を選択します。







新しいウィンドウを作成し、UVマップモードに設定してUVMapを表示します。







3Dウィンドウで、メッシュメニューに移動し、UVを選択します。







UVマップウィンドウで、新規を選択してテクスチャを作成します。 [アルファ]ボックスをオフにします。 テクスチャ用にエクスポートされるモデルの名前を指定します。

オブジェクトモードに切り替えます。 黒いモデルと黒いUVマップが表示されます。 これは正常です。

次に、Shiftキーを使用して両方のレイヤーを有効にします。







リソースエクスプローラーで、元のモデルを選択します。

カメラのアイコンをクリックします。

[ベイク]領域で、[アクティブに選択]チェックボックスをオンにします。 [頂点にベイク]チェックボックスがオフになっていることを確認します。







[シーン]セクションで、[色の管理]を[なし]に設定します。







[アセット]メニューから、最初に元のモデルを選択します。 次に、Shiftキーを押しながら、2番目のモデルを選択します。 （正確にこの順序で。）両方のレイヤーは、目とカメラのアイコンをオンにして表示されるはずです。

カメラのアイコンをクリックします。 [ベイク]セクションで、[ベイク]をクリックします。







これで、テクスチャがマップと一致するはずです。 これを確認するには、最初のレイヤーを無効にして、2番目のモデルを持つレイヤーのみが残るようにします。 テクスチャビューに移動すると、UVマップがテクスチャとしてオーバーレイされるモデルが表示されます。







モデルの欠落部分の画像の不安定性に注意してください。







テクスチャペイントモードに切り替えて、これらの欠陥を修正できます。 また、スカルプトモードに切り替えて、不足している場所を埋めたり、モデルをきれいにしたり、新しい要素を追加したりできます。 これでモデルの準備ができました。エクスポートできます。 そして、最後に留意すること。

• UVMapマップが同じ名前を持ち、モデルと同じフォルダーにあることを確認してください。
• UVMapウィンドウに移動し、ImageメニューからSave Asを選択し、モデルを保存するフォルダーを選択します。
• 次に、[ファイル]メニューに移動して、ファイルを.FBX形式にエクスポートし、UVマップと同じ名前を付けます。

これで、この3DモデルをUnityにインポートする準備ができました。

Unityにファイルをインポートする

前のパートの手順を完了すると、UVテクスチャマップを含む.FBX形式のモデルが得られます。



Unityを開きます（Unity 5は無料でダウンロードできます）。

新しいプロジェクトとシーンを作成します。







[アセット]メニューから[新しいアセットをインポート]を選択します。 Blenderからエクスポートした.FBX形式のモデルを選択します。



オブジェクトをインポートするとき、そのテクスチャがインポートされない可能性は十分にあります。

この場合、グリッドのライトグレーバージョンが表示されます。 これは正常です。 次に、テクスチャマップを追加します。







[マテリアル]フォルダーを選択し、右クリックして[アセットのインポート]を選択します。 Blenderで保存したPNGファイルを選択してインポートします。



灰色の素材の横にテクスチャマップが表示されます。 ボールの形の灰色のマテリアルを右クリックします。この名前はグリッドの名前と一致し、マテリアルを削除します。









Assetsフォルダーに戻り、インポートしたグリッドを右クリックします。 再インポートを選択します。







再インポート後、マテリアルが正しく作成され、目的のテクスチャでグリッドが表示されます。







モデルがビューポートにピンク色で表示されている場合は、カメラなどの別のオブジェクトを選択してから、グリッドを再度選択します。 これで正しく表示されるはずです。







これで、オブジェクトを使用する準備ができました。 オブジェクトをシーンにドラッグします。 拡大してカメラを調整し、目的のビューを取得できます。



カメラを移動すると、Unityでオブジェクトが正しく表示されます。







最後に、テクスチャを編集したい場合（たとえば、多少光沢を持たせるため）、Materialsフォルダーに移動して、テクスチャの球状バージョンを選択します。 [インスペクター]ウィンドウでは、反射の程度と滑らかさを編集して、テクスチャの希望の外観を得ることができます。



幸運とあなたのコメントを楽しみにしています！ Twitterで私を見つけることもできます：@bobduffy。