🛩️ 🤭 🐣 Movidius Neural Compute Stickを使用してビデオの顔を検出する 🙋🏼 👈🏻 🔑

少し前まで、USBインターフェイスを備えたニューラルネットワーク用のハードウェアアクセラレータであるMovidius Neural Compute Stick（NCS）デバイスがリリースされました。私はロボット工学の分野でのデバイスの潜在的な使用に興味があったので、私はそれを買って、ある種のニューラルネットワークを立ち上げることに決めました。ただし、NCSの既存の例のほとんどは画像分類の問題を解決するので、他の何か、つまり顔検出を試してみたかったです。この出版物では、このような実験中に得られた経験を共有したいと思います。

すべてのコードはGitHubにあります。

NCSの詳細

Neural Compute Stickは、推論段階でニューラルネットワーク（主に畳み込み）を高速化するように設計されたデバイスです。 NCSをロボットまたはドローンに接続し、これに十分なコンピューティングリソースがない場所でニューラルネットワークを実行できるという考え方です。たとえば、NCSはRaspberry Piに接続できます。

このデバイスのフレームワーク（別名NCSDK ）には、PythonおよびC ++のAPIに加えて、ニューラルネットワークをNCSが理解できる形式にコンパイルし、各レイヤーでの計算にかかる時間を測定し、ネットワークが機能していることを確認できる便利なユーティリティが含まれています。 CaffeまたはTensorFlow形式の事前学習済みのニューラルネットワークを初期データとして使用できます。

モデル選択

さて、顔検出の問題を解決したいと思います。発見タスクには、Fast-RCNN / Faster-RCNNとYOLOという2つの非常に一般的なニューラルネットワークアーキテクチャがあります。この段階でモデルをトレーニングしたくなかったので、完成したモデルを探すことにしました。

難点は、NCSDKがCaffeおよびTensorFlowで利用可能なすべての機能をサポートしていないため、任意のアーキテクチャが単にコンパイルされない可能性があることです。たとえば、すべてのタイプのレイヤーがサポートされているわけではなく、アーキテクチャーには入力レイヤーが1つだけ必要です（Caffeの制限およびサポートされているレイヤーの完全なリストについては、こちらを参照してください）。私が見つけた最初の顔検出モデル（Faster-RCNN）は、両方の要件を満たしていませんでした。

それから、 YOLOアーキテクチャの訓練されたモデルに出会いました。唯一の問題は、アーキテクチャ自体がNCSに適しているように見えたものの、ニューラルネットワークがDarknet形式であったため、ニューラルネットワークをCaffe形式に変換するというアイデアが浮上しました。

モデル変換

モデルを変換するために、このプロジェクトを使用することにしました。これにより、Darknet、Pytorch、およびCaffe形式を切り替えることができます。

コンバーターをDockerコンテナーで実行します。これは、NCSDKによってインストールされたCaffeのバージョンがコンバーターを好まなかったために現れたトリックであり、システム構成には触れたくありませんでした。

sudo docker run -v `pwd`:/workspace/data \ -u `id -u` -ti dlconverter:latest bash -c \ "python ./pytorch-caffe-darknet-convert/darknet2caffe.py \ ./data/yolo-face.cfg ./data/yolo-face_final.weights \ ./data/yolo-face.prototxt ./data/yolo-face.caffemodel"

モデルは変換されていますが、Crop、Dropout、Detectionなどのレイヤーが認識されないという警告が表示されるため、コンバーターはそれらをスキップします。これらのレイヤーを省くことができますか？それはあなたができることが判明しました。 Darknet コードをよく見ると、次のことがわかります。

クロップのようなレイヤーは、トレーニング段階でのみ必要です。彼は、画像をランダムな角度で回転させ、そこからランダムな断片を切り取って、選択範囲を広げることに取り組んでいます。アプリケーションの段階では、必須ではありません。

ドロップアウトはもう少し面白いです。ドロップアウトレイヤーは、主にトレーニング段階でも必要です（ドロップアウトレイヤーは、ニューロンの出力を確率でリセットします

$p$ ）再トレーニングを回避し、モデルの一般化能力を高めるため。適用段階では、これを削除できますが、次の層の入力での値の期待値が変わらないようにニューロンの出力をスケーリングする必要があります。そのため、モデルの動作は保持されます（分割

$1-p$ ） Darknetコードを見ると、ドロップアウトレイヤーが一部の出力をリセットするだけでなく、他のすべての出力をスケーリングするため、ドロップアウトレイヤーを安全に削除できることがわかります。

検出層については、最後の層であり、最後から2番目の層からの出力をより読みやすい形式に変換し、トレーニング段階での損失関数も考慮します。損失関数を考慮する必要はありませんが、結果を読み取り可能な形式に変換すると便利です。最終的には、Darknetの最後のレイヤー（わずかに編集した）の関数を使用することにし、そこからNMS（非最大抑制-過剰な境界ボックスの削除）の関数を使用しました。それらはdetection_layer.cおよびdetection_layer.hファイルにあります。

ここでは、最後から2番目のレイヤーの機能についてコメントする価値があります。 YOLOアーキテクチャ（一度だけ見る）では、画像はサイズのグリッドによってブロックに分割されます

回

$n \回n$ （この場合

$n = 11$ ）、および各ブロックについて予測されます

$inline$ 値

$m = 2$ -各ブロックの境界ボックスの数、および

$c = 1$ -クラスの数。値自体は次のとおりです。それぞれの座標、幅、高さ、および信頼値

$m$ フレーム（つまり、5つの値のみ）、および各クラスのこのブロックでオブジェクトを見つける確率。わかった

（ ）

$n \ times n \ times（5m + c）= 1331$ 値。検出レイヤーは、異なるデータ型のみを分離し、構造化された方法でそれらをもたらします。

1つの問題が残っています。コンバーターは、NCSDKが解析できない入力レイヤー形式の.prototxtファイルを生成します。違いはもっぱら装飾的なものです。コンバーターは、入力レイヤーのサイズを次の形式で記録します。

 input_dim: x input_dim: y input_dim: z input_dim: w

そして、ニューラルネットワークを理解可能なNCSファイルにコンパイルする必要があるmvNCCompileユーティリティは、フォーマットを表示したいと考えています。

 input_shape { dim: x dim: y dim: z dim: w }

Pythonスクリプトutils / fix_proto_input_format.pyは、この問題を解決するように設計されています（自分で実行するのではありません）。

モデルのコンパイル

モデルがCaffe形式に変換されたので、コンパイルできます。これは非常に簡単に行われます：

 mvNCCompile -s 12 -o graph -w yolo-face.caffemodel yolo-face-fix.prototxt

このコマンドは、NCSが理解できる形式の計算グラフであるバイナリグラフファイルを生成する必要があります。

画像の前処理

計算グラフに読み込む前に、画像の処理を適切に整理することが重要です。そうしないと、ニューラルネットワークが意図したとおりに機能しません。ニューラルネットワークのデータとして、OpenCVを使用して取得したWebカメラのフレームを使用します。

Darknetのデモコードから判断すると、画像をアップロードする前に、サイズに圧縮する必要があります

回

$448 \回448$ （比率を心配することなく）、セグメントに正規化する

$[0,1]$ 各ピクセルとチャネルの順序をBGRからRGBに反転します。一般に、CaffeとOpenCVでは、BGRオプションが標準と見なされ、Darknet-RGBでは、コンバーターはこれについて何も認識していないため、チャネルを反転する必要があります。

NCSへのアクセスとデータのロード

ロボット工学でのデバイスの使用に焦点を当てており、C ++ではより高い速度を達成できると考えているため、PythonではなくC ++を使用していることは注目に値します。このため、追加の問題が発生します。計算グラフは入力を受け取り、fp16形式（16ビット浮動小数点数）でデータを出力します。この実装はデフォルトではC ++では使用できません。 NCSDKの例では、この問題はNumpyからプルされたfloattofp16およびfp16tofloat関数を使用して解決されるため、同じソリューションを使用します。

NCSとの対話を開始するには、いくつかのアクションを実行する必要があります。

mvncGetDeviceNameを呼び出して、NCS名を取得します
mvncOpenDeviceを使用して名前でデバイスを開く
グラフファイルの内容をバッファにロードします（このための特別な機能はありません。独自の機能を使用する必要があります）
mvncAllocateGraphを使用して計算グラフを配置する

データをロードして結果を取得するには、それぞれmvncLoadTensor関数とmvncGetResult関数が使用されます。この場合、データと結果をfp16に、またはその逆に変換することを覚えておく必要があります。

NCSでの作業を停止するには、計算グラフに割り当てられたリソースを解放し（mvncDeallocateGraph）、デバイスを閉じます（mvncCloseDevice）。

NCSとやり取りするには非常に多くのアクションが必要なため、（コンストラクターとデストラクターに加えて）2つの関数のみを持つラッパークラスを作成しました：デバイスとグラフを初期化するload_fileと、データをロードして結果を取得するload_tensorです。

プロファイラー

NCSDKには、各レイヤーのパフォーマンスを評価するだけでなく、各要素の特性を示す計算グラフ図を作成できる便利なユーティリティがあります（ところで、レイヤーの重み自体を転送する必要はありません）。

 mvNCProfile yolo-face-fix.prototxt -w yolo-face.caffemodel -s 12

結果として何が起こったのか

最終結果は次のとおりです。

コンバーターを使用して、元のモデル（.cfgおよび.weights）はCaffe形式（.prototxtおよび.caffemodel）に変換され、入力形式はPythonスクリプトを使用して.prototxtファイルで修正されます。その後、モデルはグラフファイルにコンパイルされます。メイクファイル。

プログラム自体では、受信フレームごとに、前処理、fp16形式への変換、および計算グラフへのロードが実行されます。結果はfp16からfloat形式に変換され、最後の検出レイヤーの動作をシミュレートする関数に渡されます。次に、非最大抑制が適用されます。

デモは誇らしげに1秒あたり4.5フレームを生成します-これは十分ではありません。問題は、明らかに、このアーキテクチャは、速度よりも正確さを重視したタイプであることです。 Tiny YOLOのような「モバイル」アーキテクチャを使用すると、作業の速度を大幅に上げることができます。そのためには、新しいモデルを探すか、独自のトレーニングを行う必要があります。ただし、この例は、Darknet形式のニューラルネットワークをコンパイルし、Neural Compute Stickで実行できることを示しています。

Movidius Neural Compute Stickを使用してビデオの顔を検出する