🎱 🤴🏼 🤹🏽 非接触嘘発見器への経路、またはハッカソンを最高速度で配置する方法 🦐 💹 😉

かつて、スティーブジョブズとスティーブウォズニアックはガレージで閉店し、最初のMacを展開しました。常にガレージのプログラマーを閉じて、MVPを大きな可能性で手に入れることができれば素晴らしいと思います。ただし、ユーザーエクスペリエンスを評価し、革新的なものを探す準備ができているプログラマーに数人を追加すると、成功の可能性が高まります。

5人で構成されるチームには特定のアイデアがありました。 ~~世界を引き継ぐ~~ うんちする。

MVPの説明

HRマネージャー向けのアプリケーション。これにより、応募者の心理タイプと行動パターンを判別できます。

必須コンポーネント：

質問のデータベース、反応のタイプ、およびこれらのことをサイコタイプにするシステム
AUの症状に基づく人間の感情の定義-顔の筋肉の特定の動き。
非接触心拍数
視線の方向を決定する
点滅速度の検出
上記の回復可能なデータをストレスチャートおよびその他の有用なメタデータに集約するシステム。

私たちにとってのMVPは、アイデア自体と大規模なAnneプロジェクトの間のセキュリティの島であり、現在進行中です。

どうでしたか

開発中の気晴らしを回避するために、最寄りのリゾート都市にアパートを借りて食事をすることが決定されました。日曜日にそこに到着し、私たちの仕事を手配して、私たちはすぐに議論のために座った。最初の夜に、間違いなく最終MVPに含まれるブロックが決定されました。そして、彼らはアイデアを磨き、人事マネージャーとの協議のために街に出かけましたが、開発者（私を含む）はすでに財団を準備していました。

技術部

感情の決定は、 FACSを介して厳密に行われることが決定されました。これは、この方法は、たとえばこのような粗雑なアプローチと比較して十分な科学的正当性があるためです。したがって、タスクは

68の顔のランドマークを予測するトレーニングネットワーク
顔画像の正規化/フィルタリング
ダイナミクスで顔の動きを検出するアルゴリズム

ちなみに、トレーニングはPlaidMLを使用してRadeon RX580で行われました。これについては、以前の記事で既に説明しました。ここに感謝します。画像とそのポイント（この場合はランドマーク）にアフィン変換を同時に適用できるimgaugライブラリを言う必要があります。

いくつかの拡張画像：

視線の方向を決定するために、アルゴリズムは最初に古典的なコンピュータービジョンで使用され、HOGの目の領域で瞳孔を探しました。しかし、すぐに瞳孔が見えないことが多く、視線の方向は彼だけでなくまぶたの位置によっても説明できることがわかりました。これらの困難により、ソリューションはニューラルネットワークアプローチに移行しました。日付をカットしてマークし、最初のアルゴリズムを実行してから、エラーの場所を手動で修正しました。

最初の開発は夏に始まり、汚いPythonスクリプトとして存在しました。

まばたきの目印の収束と見下ろす方向という、上記の2つのアルゴリズムの一部の集合から、まばたきの頻度を決定しました。

ビデオストリームによるパルスの決定は、血液粒子によって光の緑色成分を吸収するという考えに基づいており、関心のある領域（皮膚）を追跡および抽出するためのアルゴリズムによって補完されました。

もちろん、不気味なマスクが出てきます：

実際、上記のブリックの作成は、特定の場合に精度を改善する改善を伴う最新のアルゴリズムの実装に帰着しました。幸いなことに、 arxiv.orgがあります。

顔画像を正規化するためのロジックと、受信したデータを評価するためのアルゴリズムを作成するときに問題が発生しました。たとえば、顔を認識するとき、アクティブな外観モデルがアクティブに使用されます-顔は、顔の一般的なテクスチャで見つかったポイントによって引っ張られます。しかし、ポイントの相互配置は私たちにとって重要です！オプションとして-回転しすぎる面をフィルターするか、筋肉の動きを反映しないキーポイント（たとえば、鼻のブリッジ上のポイントや顔のエッジ）だけでテクスチャをプルします。現在、この問題は主要な問題の1つであり、顔が回転しすぎると信頼できるデータを取得できません（回転角度もカウントできます！）。今日の許容範囲は、両方の軸で+ -20°です。それ以外の場合、顔は単に処理されていません。

もちろん、他にも問題があります：

眼鏡をかけている人の目印の定義
人が顔をゆがめている場合のベースラインの抽出
明滅する光での心拍数検出

ああ、ベースラインとは何ですか？ FACSメソッドを使用した感情処理の基本概念。ベースライン抽出アルゴリズムは、おそらく、ハッカソンの結果に基づいた最も重要なノウハウの1つです。

アルゴリズムに加えて、忘れてはならないもう1つの重要なポイントがあります-パフォーマンス。さらに、パフォーマンスの上限はPCでさえなく、普通のラップトップです。その結果、すべてのアルゴリズムは可能な限り軽量になり、ネットワークは、許容可能な精度を維持しながら、サイズの反復的な削減を受けました。

結果は、Intel i5で15〜20 fpsで30〜40％です。追加のモジュールが追加されると消える一定のマージンがあることは明らかです。

計画は以下を決定します。

喉の渇き
顔色の変化
呼吸数
体動強度
人間のポーズパターン
震える声

他に何ができますか？

コンピュータービジョンとMLのファンとして、私たちのソフトウェアで使用されているアルゴリズムについて少しお話ししました。しかし、その不完全性のため、このアプリケーションでは、上記の機能はむしろ快適な追加機能です。最も重要な部分は、人の心理タイプを判断するために開発されたシステムです。ポイントは何ですか？残念ながら、これは私の同僚（友人！）によって行われました。そして、何から、どこから来たのかを説明することはできません。ただし、最小限の理解のために、結果のソフトウェアを操作する手順を検討できます。