PythonとNode.jsで99.38％の精度でオフラインの顔認識を作成する

これは、顔認識技術またはQRコードを使用して招待された人だけを承認/承認するイベントの主催者を支援するために設計された無料のオフラインのリアルタイムオープンソースアプリケーションを作成した方法に関する私の話です。



コードに直接アクセスするのを待つことができない場合は、ここに私のリポジトリがあります 。



はい、顔認識はアプリケーションの一部であり、最も難しい部分です。 コーヒーを注いで、私の話を楽しんでください（私は試しました）。



多くの場合、Pythonにはディープラーニングプロジェクトがありますが、Node.jsはありません。 その理由は、Pythonでは、効率的なコンピューティングのためのライブラリがはるかに多いためです。たとえば、Numpy、Pandas、tensorflowなどです。 そして、ギャップは十分に大きいです。 私はNode.jsを知っています。まあ、少し知っています。機械学習で運転している間、よりよく学ぶために、プロジェクトでそれを使用したかったです。



それはすべて、AzureML API（顔の表情の定義）を操作することに関する質問であったオンラインコンテスト中に始まりました。 顔認識用のAPIもありますが、いくつかの制限があります。 さらに、最初に画像をサービスにアップロードする必要があります。次に、結果を計算して、私に送信します。 私には遅すぎる。 私は彼と一緒にプレーしたかったのですが、当時は私の国ではこのサービスを利用できませんでした。 だから、私は何か違うことをするアイデアをくれた開発者たちに感謝したい。 それまでは、他の人がすでにやったことだけを勉強していました。 セキュリティの観点から疑問がありましたが、バックアップ機能が必要でした。 さらに、上司が新しい言語を学ぶことについての記事を読みました 。 そして、私の知識をまったく新しいプロジェクトに応用する絶好の機会だと思いました。



さて、次は何ですか？ 電源コードをMacbookに接続しました。これは長い作業になることを実感したためです。Googleの友人を連れて、プロジェクトを開始するためのちょっとしたヒントを探し回っていました。 人々はすでにネットワーク上で、私が計画したものを実装できるかどうかを尋ねていたことが判明しましたが、賢明な答えはありませんでした。 当時、私はこのタスクに1対1で対応していました。 それから私はAdam Gaitgayによる素晴らしいシリーズの出版物に出会いました 。 私は以前彼のブログを読んでいましたが、どういうわけか他のことに夢中になりました。 そして、Adamのすばらしい記事に出会い 、彼がPythonでface_recognitionパッケージを作成したことを知りました。 私はそれをダウンロードしてテストしました。 まあ、彼は私たちが望むほどスムーズに動作しませんでした。











これは、私がdlibをインストールしたときの感じです 。 理由はわかりませんが、最後の段階でインストールに問題がありました。 私はその理由を解明するために何時間も費やしましたが、その日はジムにも行きませんでした。









私はプロジェクトを放棄する寸前でした。 しかし、その後、彼は、Pythonパッケージanacondaのパス、またはそのようなものが原因で、競合が原因であることを発見しました。 私はまだ生態系を研究していたので、アナコンダを去ってプロジェクトを放棄するか、「蛇」を取り除くかを決めなければなりませんでした。 最終的に、anacondaを完全に削除し、システムバージョンのみを残して、異なるパッケージによってダウンロードされた異なるバージョンのPythonの完全な削除を完了するのに1日を費やしました。 次に、Homebrewを使用して、Python3を正しくダウンロードし、dlibをインストールし、その日のうちにそれを開始することができました。



新しい問題が発生しました：ライブラリをNode.jsに統合する方法は？ 繰り返しになりますが、私はジレンマに直面しました。Django、FlaskなどのPythonフレームワークを研究すること、プロジェクトの作業を続けること、解決できない可能性のある潜在的に無限のタスクに関与することです。 このフレーズを読んで、頭に浮かびました：



数学のルール：単純に見える場合、それは間違っています。



フレーズはシェフの記事とともに私にインスピレーションを与えたので、いくつかのWebプロジェクトについて少し知っていたNode.jsを続けることにしました。



そこで、私は再びPythonとNode.jsを統合する方法を探し始めました。 Node.jsの子プロセスについて学びました。 しかし、私の状況は次のように見えました。









わずかな例でドキュメントを読んでください。 私はブログを読みましたが、どこでも同じでした。 しかし、今回は、（インターンシップの助けを借りて読んで）任意のコストでプロジェクトを完了するつもりでした。 インターンシップシーズンの始まりが近づいていたので、できるだけ早く準備を完了する必要がありました。 さらに、来年の夏にこのようなプロジェクトを作成するのに十分な時間を必要としましたが、Googleを単独で使用して自分自身で作成しました。 機械学習に少し精通しているなら、これはあなたに近いでしょう：



学習速度が遅すぎる場合、最適値に到達するまでに時間がかかるか、ローカルミニマムで立ち往生します。 速度が高すぎる場合、見逃す可能性があります。 ただし、速度が正しい場合、または条件に応じて調整されている場合、アルゴリズムは最適なポイントをすばやく見つけます。



私にとって、アルゴリズムに関しては、インターンシップは正しい学習率でした。 そのため、プロジェクトを完了する必要がありました。









だから私は一生懸命働きました、時々朝の5.45まで働きました。 それは素晴らしい時間でした、私は多くの愚かな間違いを犯しました。 サーバーのコードを変更したときにタブを更新しませんでした。 クライアントのコードを数回変更しましたが、ウィンドウを更新しませんでした。 理由はわかりませんが、快適なベッドで摂氏22度の快適な温度で眠すぎたのかもしれません。 Stackoverflowで不要な論理エラーを検索するなど、いくつかの驚くべき瞬間がありましたが、後でタブを更新するだけで修正しました。



最後に、PythonとNode.jsで友達を作ることができました。









AzureMLでの事件の後、私はインターネットなしですべてを実行できる完全にオフラインのWebアプリケーションを作成することに夢中になりました。 代わりのAPIを見つけるか、自分でやらなければなりませんでした。 おそらくご存知のように、コンピューターサイエンスでは、これは物事の順序です。 時間は空間に反比例します 。 そのため、特定の作業を確実に行うために費やす時間を最小限にしようとしました。 写真/動画をクラウドサービスに送信するには時間とチャネルが必要です。つまり、占有スペースを増やす必要がありました。 クラウドサービスの方がはるかに便利ですが、興味のあることをすれば、たくさんのコードを書くのが好きです。 これを受け入れるには、リポジトリのインストール手順を読んでください 。



私は多くのパッケージを見つけ、一つ一つ試し、それを動作させ、時々落とし、再び見ました。 たとえば、顔認識に失敗した場合のフォールバックとしてQRコードの認識を統合する必要がありました。 コードを生成するための多くのパッケージがありますが、それらをスキャンするためではありません。 最後に、Instascanパッケージを見つけました。 彼の悩みに苦しんだ。 実際、Pythonでの顔認識にOpenCV3を使用し、同じカメラ（ラップトップでは唯一のカメラ）でQRコードをスキャンしました。 スキャンには小さなビデオフレームが必要でしたが、顔認識用のビデオのサイズも変更されました。 まあ、それは問題のように思われませんでした。 認識プロセスを停止し、QRコードをスキャンして、やり直すことができます。 とても簡単ですね。 しかし、注意深く読むと、次の2つの点に気づきました。

• これが単純に見える場合、それは間違っています。
• 時間を最小限にしようとしています（主な理由は、APIが利用可能になるのを待つことではありません）。

したがって、この問題を解決するには、パッケージのコードとそれらが実行するプロセスを調査する必要がありました。

ライブラリ解析

はい、私はこのタスクに3回乗り出しました。あらゆる種類の困難に対処するためにライブラリを分析しました。 少なくとも私にとっての困難。

1. face_recognitionパッケージの動作を研究して、自分の目的に合わせて調整しました。 同時に他の人を助けました。
2. Instascanを少し勉強して、カメラでどのように機能するか、およびWebアプリケーションでカメラを一般的に使用する方法を理解しました。 処理する必要がある多くのケースがあります：ユーザーが何らかの方法でカメラを停止した場合、たとえば、モーダルウィンドウを過ぎてクリックするか、完全に閉じることによって。 コードを変更して何度も実行し、そのたびにいくつかのバグを見つけました。 ある日、私のMacがメモリ不足になりそうになり、数秒間ハングしました。 繰り返し試みた後、私は最終的に成功しましたが、再び別のバグを見つけました。
3. 今回は、マテリアライズフレームワークのモーダルウィンドウにバグがありました。 コールバックは機能しません。 グーグル、GithubとStackoverflowで大騒ぎ-ソリューションを見つけることができませんでした。 バグの原因となるコードを計算し、それを見つけ出し、console.log（）式で数回実行し、何が起こっているのかを理解しようとして、バグに近づき、コードを部分的に分離しました（パスワードをバイパスするハッカーのように感じました）。 このフレームワークのフォームもあまり良くないと聞いたので、別のWebアプリケーションで遊んでみます。

イベント++

これはjQueryによる驚くべきバグです。 イベントの数は、クリックするたびに増加します：1、2、3、4、5、6、7、8 ...リアルタイム通知は、表示された右の列全体を完全にブロックしました。 jQueryでは、クリック（）の代わりにon（）を使用し、ハンドラーの外部でsocket.on（）イベントも使用することが判明しました。

最後に、長い闘争の後、サーバー部分はクライアントとうまく機能し始めました。









私はすべてが準備ができていると思った。 しかし、ここでは、ユーザーがCRUD操作を実行できるようにデータベースサポートを追加するとどうなるのかというアイデアが訪れました。 ユーザーが使用するものはSQLまたはNoSQLの裁量に任せたいと思いました。 私はサポートを追加すると思っていましたが、これでお金を稼ぐことができます（ほとんど成功しなかったので、雲の中を早めにさまよい始めることができます）。 もう少し、着信/発信ビジターの自動登録のための本格的な機能（顔認識、QRコードスキャン、API制限の欠如、3段階認証）があります。 しかし：

1. オープンソースコミュニティからすべてを学びました。
2. さまざまな会社をノックして製品を販売できるとは思いません。 私はそれが面倒です。 もっと似たような製品を開発したいと思います。
3. 映画「ソーシャルネットワーク」のシーンを紹介しました。マークは、Microsoftから購入の申し出があったにも関わらず、Markがアプリケーションを作成し、無料でアクセスできるようにしました。一から書きました。

MongoDBの統合に少し慣れたので、MongoDBを統合してみました。また、大学でSQLをまだ勉強していません。 次の学期のみになります。 そのため、この機能の実装を別のプロジェクトに任せ、おそらくフォークまたは移植しました。

一般に、開発、統合、研究、適用、デバッグなどに数日間を費やしました。



最後に、私はこれを見ました：









フロントエンド、バックエンド、およびデータベースは連携して動作します。 もちろん、中央にあるのはサーバー部分です（PythonとNode.jsのパワーを組み合わせています）。 OpenCV3（これにはバイナリのインストールが必要です）、face_recognition、numpy、pandasをデータセットに統合し、結果を.csv形式で私のPythonプロセスに保存できたため、たとえばモデルをトレーニングするなど、他のタスクを解決できます。 したがって、適切なハードウェアがあれば、私のプロジェクトに基づいてまったく異なることを行うことができます。



フロントエンドがGIFにあり、データベースが誰であるかはあなたの裁量で任せます。



Signing.Off（）;



* * *

プロジェクトへのリンク 。



コードベースはそれほど大きくないのに、なぜこのテキストを書いたのですか？ 何が悪いの？ まあ、多くの人にとってこれはほんの数百行のコードですが、私にとっては、すべての部分を統合し、体系的に研究し、既存の知識を更新し、この無制限のプロジェクトでデータベースを個別に修正することは（私にとって）すべてがまだ誰もしていないタスクです解決済み（PythonおよびNode.jsの機械学習）。 まあ、多分私はひどく見ていました。 一般的に、私にとってこれは大きなプロジェクトです。 誰かがそれを役に立つと思うことを願っています。 さらに、この投稿は、何かが壊れたときや働いたときのフラストレーションと一時的な幸福の瞬間を思い出させるために書きました。 それが人生です。