PythonでOpenCVを使用したKinect v2キャリブレーション

少し前に、レンジチャネルを備えた光学システムを必要とするいくつかのプロジェクトを開始し、そのためにKinect v2を使用することにしました。 プロジェクトはPythonで実装されているため、最初にKinectをPythonで動作させてから調整する必要がありました。



それ以前は、コンピュータービジョン、OpenCV、Kinectを扱ったことがありませんでした。 また、このすべての経済をどのように扱うかについての包括的な指示を見つけることができなかったため、最終的には秩序をいじらなければなりませんでした。 そして、この記事で得た経験を体系化することは間違いではないと判断しました。 おそらく、それは一部の患者にとって有用であることが判明するでしょう。また、レポート作成の目盛りとして人気のある記事も必要です。







最小システム要件 ：Windows 8以降、Kinect SDK 2.0、USB 3.0。



表I. Kinect v2の機能：

解像度RGBカメラ、pix。	1920 x 1080
解像度赤外線（IR）カメラ、pix。	512 x 424
RGBカメラの視野角、º	84.1 x 53.8
IRカメラの視野角、º	70.6 x 60.0
範囲の測定範囲、m。	0.6-8.0 1
RGBカメラの撮影周波数、Hz	30
IRカメラの撮影周波数、Hz	30

したがって、次のタスクがありました。

1. PythonでKinectを取得します。
2. RGBおよびIRカメラを較正します。
3. RGBフレームとIRフレームを組み合わせる機能を実現します。
4. 深度チャネルを較正します。

次に、各ポイントについて詳しく説明します。

1. Kinect v2およびPython

前にも言ったように、私はコンピュータービジョンを扱うビジネスはありませんでしたが、OpenCVライブラリがなければどこにも存在しないという噂がありました。 また、カメラのキャリブレーション用のモジュール全体を備えているため、最初に行ったのは、Windows 8.1でPython 3をサポートするOpenCVをビルドすることでした。 通常、Windowsでのオープンソースプロジェクトのアセンブリに伴うトラブルはありませんでしたが、開発者からの指示の一部として、すべてが特別な驚きなしで行われました。

Kinectでは、もう少しいじらなければなりませんでした。 公式SDKは、C＃、C ++、およびJavaScriptのインターフェイスのみをサポートしています。 反対側から行くと、OpenCVが3Dカメラからの入力をサポートしていることがわかりますが、カメラはOpenNIライブラリと互換性がある必要があります。 OpenNIはKinectをサポートしていますが、比較的最近のKinect v2はサポートしていません。 しかし、親切な人々がOpenNIでKinect v2のドライバーを作成しました。 動作し、NiViewerのデバイスのチャンネルからビデオを鑑賞することもできますが、OpenCVで使用するとエラーが発生してクラッシュします。 ただし、他の優秀な人々は、公式SDKのPythonラッパーを作成しました。 止まった。

2.カメラのキャリブレーション

カメラは完璧ではなく、画像を歪め、キャリブレーションが必要です。 Kinectを測定に使用するには、RGBカメラと深度センサーの両方でこれらの幾何学的な歪みを除去するとよいでしょう。 IRカメラは深度センサーの受信機でもあるため、キャリブレーションにIRフレームを使用し、キャリブレーション結果を使用して深度フレームから歪みを除去できます。



カメラのキャリブレーションは、カメラの内部パラメーター、つまりカメラマトリックスと歪み係数を見つけるために実行されます。







カメラ行列は、次の形式の行列です。



どこで



（ with _u 、c _v ）-主点の座標（光軸と画像平面との交点、理想的なカメラでは、画像の中心に正確に配置されますが、実際には中心からわずかにオフセットされます）;



f _u 、f _v-焦点距離f 、ピクセルの幅と高さで測定。



歪みには、放射状歪みと接線歪みの2つの主な種類があります。



放射状の歪み -レンズの放物線形状の不完全性の結果としての画像の歪み。 放射状の歪みによって引き起こされる歪みは、センサーの光学中心で0であり、端に向かって増加します。 通常、放射状の歪みは、画像の歪みに最も寄与します。



接線方向の歪み -レンズの取り付けにおけるエラーが画像平面に平行に発生することによる画像の歪み。







歪みをなくすために、次の式を使用してピクセルの座標をカウントできます。







ここで、（ u、v ）は初期ピクセル位置です。

（ u _修正 、v _修正 ）-幾何学的歪みを除去した後のピクセルの位置、

k ₁ 、k ₂ 、k _3-放射状歪み係数、

p ₁ 、p _2-接線歪み係数、

r ² = u ² + v ² 。



カメラパラメーター（歪み係数、カメラマトリックス）の測定精度は、再投影誤差（ ReEr、再投影誤差 ）の平均値によって決まります。 ReErは、オブジェクトの表面上の点Pの画像平面上の投影P 'と、カメラパラメーターを使用して歪みを除去した後に構築される同じ点Pの投影P' 'との間の距離（ピクセル単位）です。







標準のカメラキャリブレーション手順は、次の手順で構成されます。



1）チェス盤の既知のジオメトリを使用して 、 オブジェクトの異なる位置で20〜30枚の写真を撮ります。







2）画像内のオブジェクトのキーポイントを決定します。

found, corners = cv2.findChessboardCorners(img, # PATTERN_SIZE,#  ,    6x8 flags)#  
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

3） ReErを最小化するような歪み係数を見つけます。

 ReEr, camera_matrix, dist_coefs, rvecs, tvecs = cv2.calibrateCamera(obj_points,#       #(', y', z'=0) img_points,#    (u,v) (w, h),#  None,#      None, #      criteria = criteria,#   ReEr flags = flags)#     
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

この場合、RGBカメラの平均ReEr値は0.3ピクセルで、IRカメラの平均は0.15です。 歪み除去の結果：

 img = cv2.undistort(img, camera_matrix, dist_coefs)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

3. 2台のカメラのフレームを結合する

ピクセルの深度（Z座標）と色の両方を取得するには、まず深度フレームのピクセル座標からIRカメラの3次元座標に切り替える必要があります[2]：







ここで、（ x ₁ 、y ₁ 、z ₁ ）は、IRカメラの座標系のポイントの座標です。

z ₁は深度センサーから返された結果です。

（ u ₁ 、v ₁ ）-フレーム深度上のピクセルの座標、

c _1、u 、c _1、v -IRカメラの光学中心の座標、

f _1、u 、f _1、v -IRカメラの焦点距離の投影。



次に、IRカメラの座標系からRGBカメラの座標系に移動する必要があります。 これを行うには、伝達ベクトルTを使用して原点を移動し、回転行列Rを使用して座標系を回転する必要があります。







次に、RGBカメラの3次元座標系からRGBフレームのピクセル座標に移動する必要があります。







したがって、これらすべての変換の後、深度フレームのピクセル（ u ₁ 、v ₁ ）に対して、RGBフレーム（ u ₂ 、v ₂ ）の対応するピクセルのカラー値を取得できます。







結果の画像でわかるように、画像は場所によって2倍になります。 公式SDKのCoordinateMapperクラスを使用すると、同じ効果が見られます。 ただし、画像に関心があるのが人物だけの場合は、 bodyIndexFrame （どのピクセルが人物に属し、どのピクセルが背景にあるかを知るKinectストリーム）を使用して、関心領域を強調表示し、ゴーストを除去できます。







回転行列Rと伝達ベクトルTを決定するには、2つのチャンバーのジョイントキャリブレーションを実行する必要があります。 これを行うには、RGBカメラとIRカメラの両方の異なる位置で既知のジオメトリを持つオブジェクトの20から30枚の写真を撮る必要があります。異なるカメラによる撮影フレーム間での変位の可能性を排除するために、オブジェクトを手に持たない方が良いです。 次に、OpenCVライブラリのstereoCalibrate関数を使用する必要があります。 この関数は、キャリブレーションオブジェクトに対する各カメラの位置を決定し、ReErを最小化する最初のカメラの座標系から2番目のカメラの座標系への変換を検出します。

 retval, cameraMatrix1, distCoeffs1, cameraMatrix2, distCoeffs2, R, T, E, F = cv2.stereoCalibrate(pattern_points, #  #     (', y', z'=0) ir_img_points,#     (u1, v1) rgb_img_points, #   RGB  (u2, v2) irCamera['camera_matrix'],#   (  calibrateCamera), irCamera['dist_coefs'], #. .   (  calibrateCamera) rgbCamera['camera_matrix'], # RGB  (  calibrateCamera) rgbCamera['dist_coefs'], #. . RGB  (  calibrateCamera) image_size) #    ( )
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

そして最終的に、 ReEr = 0.23になりました。

4.深度チャネルのキャリブレーション

Kinect深度センサーは、深度（つまり、深度ではなく、距離ではなくZ座標）をmmで返します。 しかし、これらの値はどれほど正確ですか？ 出版物[2]から判断すると、誤差は距離に応じて0.5〜3 cmになる可能性があるため、深度チャネルを較正することは理にかなっています。



この手順は、オブジェクトまでの距離に応じて、Kinectのシステマティックエラー（基準深度とセンサーによって生成された深度の差）を見つけることです。 このためには、参照深度を知る必要があります。 最も明白な方法は、カメラの平面に平行に平らなオブジェクトを配置し、定規でその距離を測定することです。 オブジェクトを徐々に移動し、各距離で一連の測定を行うことにより、各距離の平均誤差を見つけることができます。 しかし、第一に、それはあまり便利ではなく、第二に、一見すると思われるよりも、比較的大きなサイズの完全に平らなオブジェクトを見つけて、カメラの平面に平行にすることを保証することがより困難です。 したがって、エラーの計算基準として、オブジェクトの既知のジオメトリによって決定される深さを取ることにしました。



オブジェクトのジオメトリ（チェス盤のセルのサイズなど）を把握し、カメラの平面に厳密に平行に配置すると、次のようにオブジェクトの深さを決定できます。







ここで、 fは焦点距離

dは、カメラマトリックス上のキーポイントの投影間の距離です。

Dはオブジェクトのキーポイント間の距離です。

Zは、カメラの投影の中心からオブジェクトまでの距離です。







オブジェクトが厳密に平行ではなく、カメラの平面に対して特定の角度で配置されている場合、奥行きは、遠近法n点（PnP）問題の解に基づいて決定できます[3]。 OpenCVライブラリに実装されている多くのアルゴリズムは、この問題の解決に専念しています。これにより、変換を見つけることができます。 R、T | キャリブレーションオブジェクトの座標系とカメラ座標系の間で、したがって、カメラパラメーターに正確な深度を決定します。

 retval, R, T = cv2.solvePnP(obj_points[:, [0, 5, 42, 47]],#     img_points[:, [0, 5, 42, 47]], #     rgbCameraMatrix,#  rgbDistortion,#  flags= cv2.SOLVEPNP_UPNP)#  PnP R, jacobian = cv2.Rodrigues(R)#       for j in range(0, numberOfPoints): #     point = numpy.dot(rgb_obj_points[j], RT) + TT # !       , #      , ,      computedDistance[j] = point[0][2] * 1000 # Z-  
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

深度チャネルをキャリブレーションするために、キャリブレーションオブジェクトの一連の調査を、〜7 cmのステップで〜0.7-2.6 mの距離で実行しました。 キャリブレーションオブジェクトは、可能な限り「目で」カメラの平面に平行なフレームの中心に配置されました。 各距離で、RGBカメラで1ショット、深度センサーで100ショットを撮影しました。 センサーからのデータは平均化され、RGBフレームに基づいてオブジェクトのジオメトリによって決定される距離が標準として採用されました。 特定の距離でKinectセンサーの深さを決定する際の平均誤差は、次のように決定されました。







ここで、 z _i ^RGBはジオメトリのi番目のキーポイントまでの距離です。

z _i ^深度 -深度センサーに従って、i番目のキーポイントまでの100フレームで平均化された距離、

Nは、オブジェクト上のキーポイントの数です（この例では48）。



次に、結果を補間することにより、距離から誤差関数を得ました。







以下の図は、キャリブレーションフレームの修正前後の誤差の分布を示しています。 合計120,000の測定値が取得されました（25の距離、それぞれに100の深度フレーム、オブジェクト上の48のキーポイント）。 修正前の誤差は17±9.95 mm（平均±標準偏差）であり、-0.45±8.16 mmの後でした。







次に、さまざまな位置でのキャリブレーションオブジェクトの25のテストフレーム（RGBおよび深度）が作成されました。 合計1200の測定（25フレーム、それぞれに48のキーポイント）。 修正前の誤差は7.41±6.32 mm（平均±標準偏差）で、-3.12±5.50 mmの後でした。 次の図は、テストフレームの修正前後のエラーの分布を示しています。

おわりに

したがって、RGBカメラと深度センサーの幾何学的な歪みを除去し、フレームを組み合わせる方法を学び、深度を決定する精度を改善しました。 このプロジェクトのコードはこちらにあります 。 私はそれが有用であることが判明することを願っています。



この研究は、ロシア科学財団（プロジェクト番号15-19-30012）からの助成金で実施されました

ソースのリスト

1. Kramer J. Hacking the Kinect / Apress。 2012. P. 130

2. Lachat E. et al。 近距離3DモデリングのためのKinect V2センサーの最初の経験//写真測量、リモートセンシング、および空間情報科学の国際アーカイブ。 2015年。

3. Gao XS et al。 視点3点問題の完全なソリューション分類//パターン分析とマシンインテリジェンスに関するIEEEトランザクション。 巻 25. N 8.2003。P.930-943。