将来のコンピュータービジョンシステムのテクノロジーとモデルは、当社のさまざまなプロジェクト（メール、クラウド、検索）で徐々に作成および改善されました。 良いチーズやコニャックのように熟します。 ニューラルネットワークが優れた認識結果を示していることに気づき、それらを単一のb2b製品（ビジョン）に統合することを決定しました。



今日、Mail.Ru Cloud Solutionsプラットフォームのコンピュータービジョンテクノロジーは正常に機能し、非常に複雑な実際的な問題を解決します。 これは、データセットでトレーニングされ、適用された問題の解決に特化した多数のニューラルネットワークに基づいています。 すべてのサービスは、サーバー容量で回転しています。 パブリックVision APIをアプリケーションに統合すると、サービスのすべての機能を利用できます。 APIは高速です-サーバーGPUのおかげで、ネットワーク内の平均応答時間は100ミリ秒です。



カットの下に来て、詳細な物語とビジョンの多くの例があります。



前述の顔認識技術を使用するサービスの例として、 イベントを引用できます 。 そのコンポーネントの1つは、さまざまな会議で使用したVisionフォトスタンドです。 そのような写真スタンドに行って、内蔵カメラで写真を撮ってメールを入力すると、システムは、通常の会議カメラマンがあなたを撮影した写真の配列の中からすぐに見つけ、必要に応じて、見つかった写真をメールで送信します。 そして、それは段階的なポートレートショットではありません-観客の群衆の背景でもあなたを認識しています。 もちろん、彼らは写真スタンド自体によって認識されず、単に内蔵カメラでゲストを撮影し、すべての認識の魔法が発生するサーバーに情報を送信する美しいコースターのタブレットにすぎません。 そして、画像認識の専門家の間でさえ、この技術の有効性がどれほど驚くべきものであるかを繰り返し観察してきました。 以下にいくつかの例について説明します。

1.顔認識モデル

1.1。 ニューラルネットワークと処理速度

認識のために、ResNet 101ニューラルネットワークモデルの修正を使用し、ArcFaceで行われたのと同様に、最後の平均プーリングを完全に接続されたレイヤーに置き換えます。 ただし、ベクトル表現のサイズは512ではなく128です。トレーニングサンプルには、273,593人の約1,000万枚の写真が含まれています。



慎重に選択されたサーバー構成アーキテクチャとGPUコンピューティングにより、モデルは非常に高速に動作します。 内部ネットワークのAPIから応答を取得するのに100ミリ秒かかります。これには、顔検出（写真での顔検出）、API応答でのPersonIDの認識および返送が含まれます。 大量の受信データ（写真やビデオ）を使用すると、データをサービスに転送して応答を受信するのにさらに時間がかかります。

1.2。 モデルの有効性の評価

しかし、ニューラルネットワークの効率を判断することは、非常に複雑な作業です。 作業の品質は、モデルがトレーニングされたデータセットと、特定のデータを処理するために最適化されたかどうかによって異なります。



人気のあるLFW検証テストでモデルの精度を評価し始めましたが、それは小さすぎて単純です。 99.8％の精度に達した後、それはもはや有用ではありません。 認識モデルを評価するためのよい競争があります-Megafaceは徐々に82％ランク1に達しました。Megafaceテストは100万枚の写真-ディストラクター-から成り、モデルは有名人の数千枚の写真をDistractorsからFacescrubデータセットから十分に区別できるはずです。 ただし、Megafaceテストのエラーをクリアした結果、クリーンバージョンでは98％ランク1の精度が得られることがわかりました（有名人の写真は一般的に非常に具体的です）。 そのため、Megafaceに似た別の識別テストを作成しましたが、「普通の」人々の写真を使用しました。 データセットの認識精度をさらに向上させ、さらに前進しました。 さらに、数千枚の写真で構成されるクラスタリング品質テストを使用します。 ユーザーのクラウド内の顔のマークアップをシミュレートします。 この場合、クラスターは類似した個人のグループであり、認識可能な各人のグループです。 実際のグループの作業の品質をチェックしました（true）。



もちろん、どのモデルにも認識エラーがあります。 ただし、このような状況は、特定の条件のしきい値を微調整することで解決されることがよくあります（すべての会議で同じしきい値を使用します。たとえば、ACSでは、誤検知が少なくなるようにしきい値を大幅に増やす必要があります）。 会議の参加者の大部分は、Visionの写真スタンドで正しく認識されました。 時々誰かがトリミングされたプレビューを見て、「あなたのシステムは間違っていた、それは私ではない」と言った。 その後、写真全体を開いたところ、この訪問者は実際に写真の中にいたことがわかりました。彼らはそれを撮影しませんでしたが、他の人は、単にぼかしゾーンの背景に誤って男が現れただけです。 さらに、ニューラルネットワークは、顔の一部が見えない場合や、人が横顔で立っている場合、または顔の半分でさえ立っている場合でも、多くの場合正しく認識します。 このシステムは、広角レンズで撮影する場合など、人が光学的な歪みの分野に陥った場合でも、人を認識することができます。

1.3。 困難な状況でのテスト例

以下は、ニューラルネットワークの動作の例です。 入り口で写真が提出され、彼女はPersonID（人物の一意の識別子）でマークする必要があります。 複数の画像の識別子が同じ場合、モデルによると、これらの写真には1人の人物が描かれています。



すぐに、テスト中に特定の結果を達成するために構成できるモデルのさまざまなパラメーターとしきい値にアクセスできることに注意してください。 パブリックAPIは、一般的なケースで最大限の精度が得られるように最適化されています。



顔の顔認識を使用した最も単純なものから始めましょう。







まあ、それはあまりにも簡単でした。 私たちは仕事を複雑にし、あごひげと数年を追加します。







どちらの場合も顔全体が見えるため、アルゴリズムには顔に関する多くの情報があるため、これもそれほど難しくないと言う人もいます。 さて、プロフィールでトム・ハーディを回してください。 このタスクははるかに複雑であり、低レベルのエラーを維持しながらその成功したソリューションに多大な努力を費やしました。トレーニングセットを選択し、ニューラルネットワークのアーキテクチャを検討し、損失関数を磨き、写真の予備処理を改善しました。







彼に帽子をかぶらせましょう：







ちなみに、これは特に難しい状況の一例です。ここでは顔が非常に覆われており、下の写真には目を隠す深い影もあります。 実際の生活では、人々は非常に頻繁に黒眼鏡の助けを借りて外見を変えます。 トムにも同じことをしてください。







さて、さまざまな年齢の写真をアップロードしてみましょう。今回は別の俳優に経験を積んでいきます。 年齢に関連した変化が特に顕著である場合、もっと複雑な例を取り上げましょう。 この状況は決して大げさなものではなく、パスポートの写真と持ち主の顔を比較する必要がある場合に常に起こります。 結局のところ、最初の写真は所有者が20歳のときにパスポートに接着され、45人の人々によって大きく変わる可能性があります。







不可能なミッションのメインスペシャルは、年齢によって大きく変わっていないと思いますか？ 数人の人々でさえ、上の写真と下の写真を組み合わせると思いますが、少年は長年にわたって大きく変わってきました。







ニューラルネットワークは、より頻繁に外観の変化に直面しています。 たとえば、女性は化粧品の助けを借りてイメージを大きく変えることができる場合があります。







次に、タスクをさらに複雑にしましょう。顔のさまざまな部分をさまざまな写真で覆います。 このような場合、アルゴリズムはサンプル全体を比較できません。 ただし、Visionはこれらの状況をうまく処理します。







ところで、写真には多くの顔があります。たとえば、100人以上がホールの一般的な写真に収まります。 これはニューラルネットワークにとって困難な状況です。なぜなら、多くの顔は、シャープネスゾーンの外側にいる誰かが異なって照らされる可能性があるからです。 ただし、写真が十分な解像度と品質（顔を覆う正方形あたり少なくとも75ピクセル）で撮影された場合、Visionはそれを識別および認識できます。







監視カメラから写真や画像を報告することの特異性は、人々がシャープネスのフィールドから外れていたり、その瞬間動いていたために、しばしばぼやけていることです。







また、照明の強度は画像ごとに大きく異なります。 これはしばしばつまずきにもなります。多くのアルゴリズムでは、正確な比較は言うまでもなく、暗すぎたり明るすぎたりする画像を正しく処理することは非常に困難です。 このような結果を得るには、特定の方法でしきい値を設定する必要がありますが、この可能性はまだ公開されていません。 すべてのクライアントに対して、同じニューラルネットワークを使用します。これには、ほとんどの実用的なタスクに適したしきい値があります。







最近、アジアの顔を高精度で認識する新しいバージョンのモデルをリリースしました。 以前は、これは大きな問題であり、「機械学習の人種差別」（または「ニューラルネットワーク」）と呼ばれていました。 ヨーロッパとアメリカのニューラルネットワークはコーカソイドの顔をよく認識しており、モンゴロイドとネグロロイドのものでは事態はさらに悪化しました。 おそらく同じ中国では、状況はまったく逆でした。 それはすべて、特定の国の支配的なタイプの人々を反映するトレーニングデータセットに関するものです。 しかし、状況は変化しています。今日、この問題はそれほど深刻なものではありません。 ビジョンは、さまざまな人種の代表者にとって問題ありません。







顔認識は当社のテクノロジーの多くのアプリケーションの1つにすぎません。Visionは何でも認識するように教えることができます。 たとえば、アルゴリズムにとって困難な条件を含む車の番号：鋭角、汚い、読みにくい番号。

2.実用的なユースケース

2.1。 物理的アクセス制御：2つが同じパスにある場合

ビジョンの助けを借りて、従業員の出入国のための会計システムを実装することが可能です。 電子バッジに基づく従来のシステムには明らかな欠点があります。たとえば、2つのバッジを一緒に使用することができます。 アクセスシステム（ACS）がVisionによって補完されている場合、誰がいつ出入りしたかを正直に記録します。

2.2。 時間の追跡

Visionのこのユースケースは、以前のユースケースと密接に関連しています。 顔認識サービスでアクセス制御システムを補完する場合、アクセス制御の違反に気付くだけでなく、建物または施設での従業員の実際の滞在を記録することもできます。 言い換えれば、Visionは、同僚が上司の前で彼を覆ったとしても、誰がどのくらい働いて彼女と一緒に去り、誰がスキップしたかを正直に考えるのに役立ちます。

2.3。 ビデオ分析：人の追跡とセキュリティ

Visionを使用して人々を追跡することで、ショッピングエリア、駅、交差点、道路、その他の多くの公共の場所の実際の開通性を正確に評価できます。 また、トラッキングは、たとえば倉庫やその他の重要なオフィス施設へのアクセスを制御する上で非常に役立ちます。 そしてもちろん、人と顔を追跡することはセキュリティ問題の解決に役立ちます。 あなたの店から盗まれた人を見つけましたか？ ビデオ分析ソフトウェアのブラックリストで、Visionを返したPersonIDに追加します。次回このタイプが再び表示される場合、システムはすぐにセキュリティに警告します。

2.4。 取引中

小売およびさまざまなサービス企業は、キュー認識に関心を持っています。 Visionを使用すると、これはランダムな群衆ではなく、むしろキューであると認識し、その長さを決定できます。 そして、システムは状況を理解するためにキューの担当者に通知します：これは訪問者の流入であり、追加の従業員を呼び出す必要があるか、誰かが仕事の責任でハッキングしています。



もう1つの興味深いタスクは、ホール内の従業員を訪問者から分離することです。 通常、システムは、特定の服（ドレスコード）のオブジェクトまたは特徴的な機能（署名スカーフ、胸のバッジなど）でオブジェクトを分離することを学習します。 これは、出席をより正確に評価するのに役立ちます（そのため、従業員だけがホールの人々の統計を「終わらせない」）。



顔認識を使用して、聴衆を評価できます。訪問者の忠誠心とは何ですか、つまり、何人の人々があなたの施設にどのくらいの頻度で戻るかです。 1か月にユニークビジターが何人来たかを計算します。 誘致と維持のコストを最適化するために、曜日や時刻に応じて出席の変化を調べることができます。



フランチャイザーとネットワーク会社は、写真からさまざまな小売店のブランドの品質の評価を注文できます。ロゴ、サイン、ポスター、バナーなどの存在です。

2.5。 輸送中

ビデオ分析によるセキュリティの別の例は、空港や駅のホールに残っているアイテムを識別することです。 ビジョンは、家具、バッグ、スーツケース、傘、さまざまな種類の衣類、ボトルなど、数百のクラスのオブジェクトを認識するようにトレーニングできます。 ビデオ分析システムが所有者のないオブジェクトを検出し、Visionを使用してそれを認識すると、セキュリティサービスに信号を送信します。 同様のタスクは、公共の場での非標準的な状況の自動検出に関連しています：誰かが病気になったり、誰かが間違った場所で喫煙したり、人がレールに落ちたりなど-ビデオ分析システムのこれらのパターンはすべて、API Visionを通じて認識できます。

2.6。 ワークフロー

現在開発中のVisionのもう1つの興味深い将来のアプリケーションは、ドキュメントの認識とデータベースへの自動解析です。 無限のシリーズ、番号、発行日、口座番号、銀行口座の詳細、生年月日、生年月日やその他の多くの正式なデータを手動で入力する（またはさらに悪いことに書き込む）代わりに、ドキュメントをスキャンし、APIを介して安全なチャネル経由で自動的に送信できますシステムがオンザフライで実行されるクラウドでは、これらのドキュメントが認識され、解析され、データベースへの自動入力に必要な形式のデータとともに回答が返されます。 今日、Visionは文書（PDFを含む）の分類方法をすでに知っています。パスポート、SNILS、TIN、出生証明書、結婚証明書などを区別します。



もちろん、これらすべての状況では、ニューラルネットワークはそのままでは処理できません。 いずれの場合も、特定の顧客向けに新しいモデルが作成され、多くの要因、ニュアンス、要件が考慮され、データセットが選択され、トレーニングテスト設定が繰り返されます。

3. APIワークフロー

ユーザー向けのVisionの「入口ゲート」はREST APIです。 入り口で、彼は写真、ビデオファイル、およびネットワークカメラからのブロードキャスト（RTSPストリーム）を撮ることができます。



Visionを使用するには、Mail.ru Cloud Solutionsに登録し 、アクセストークン（client_id + client_secret）を取得する必要があります。 ユーザー認証は、OAuthプロトコルを使用して実行されます。 POSTリクエストの本文にあるソースデータがAPIに送信されます。 そして、応答として、クライアントはJSON形式でAPIから認識結果を受け取り、応答は構造化されます。これには、見つかったオブジェクトとその座標に関する情報が含まれます。









答えには興味深いパラメーターがあります。これは写真の顔の条件付き「クールネス」であり、シーケンスから最良の顔ショットを選択します。 ソーシャルネットワーク上で画像が似ている可能性を予測するために、ニューラルネットワークをトレーニングしました。 絵が良く、顔が滑らかであればあるほど、恐ろしさが増します。



Vision APIは、スペースなどの概念を使用します。 これは、さまざまな面のセットを作成するためのツールです。 スペースの例としては、ブラックリスト、ホワイトリスト、訪問者、従業員、顧客などのリストがあります。Visionの各トークンについて、最大10個のスペースを作成でき、各スペースは最大5万人のPersonIDを持つことができます。 。 さらに、アカウントごとのトークンの数は制限されていません。



現在、APIは次の検出および認識方法をサポートしています。

• 認識/設定-顔の定義と認識。 一意の各顔にPersonIDを自動的に割り当て、検出された顔のPersonIDと座標を返します。
  
  
• 削除-特定のPersonIDを個人データベースから削除します。
  
  
• 切り捨て-PersonIDからスペース全体をクリアします。これがテストとして使用され、実動用にベースをリセットする必要がある場合に役立ちます。
  
  
• 検出-オブジェクト、シーン、ナンバープレート、アトラクション、キューなどの定義。見つかったオブジェクトのクラスとその座標を返します。
  
  
• 文書の検出-ロシア連邦の特定の種類の文書を検出します（パスポート、snls、旅館などを識別します）。
  
  

また、間もなくOCR、性別、年齢、感情の判定、商品化の課題の解決、つまり店舗での商品の表示を自動的に制御する方法の作業を終了します。 完全なAPIドキュメントは、 https ： //mcs.mail.ru/help/vision-apiにあります。

4.結論

パブリックAPIを介して、写真やビデオの顔認識にアクセスできるようになり、さまざまなオブジェクト、車の番号、アトラクション、ドキュメント、シーン全体の定義をサポートします。 アプリケーションシナリオ-海。 さあ、私たちのサービスをテストして、最もトリッキーなタスクを設定してください。 最初の5,000トランザクションは無料です。 それはあなたのプロジェクトの「欠けている成分」かもしれません。



Visionへの登録および接続時に、APIへのアクセスを即座に取得できます。 すべてのHabraユーザー-追加取引のプロモーションコード。 アカウントが登録された個人のメールアドレスを記入してください！