感情認識市場調査

科学者は長年にわたり精力的に働いており、強力なコンピューティングシステムが顔の表情を適切にキャプチャして識別することができます。 今日、大きな成功があり、ポイントは提案された方法とアルゴリズムの完成だけでなく、より新しいものの開発でもあります。 すでに多くの企業が独自のソフトウェアを提供しているため、人の顔の感情を認識するために提供されている製品について詳しく知りたいと思いました。

カットの下にたくさんのテキストと写真。



感情の認識は科学の大きな層の一部であり、「パターン認識」と「視覚情報の処理」という名前で組み合わされています。 今日では、認識技術にはもはやアクセスできなくなり、発見されたオブジェクトとその兆候の識別と処理の方法に関心のあるすべての人々を伴う新しいトレンドが形成されています。 ファンタジーの世界から現実の世界へとスムーズに流れます。

既存の感情認識システム

感情認識システム（感情認識システム）の市場にある商用ソリューションの中で、オランダの企業であるNoldus Information TechnologyのFaceReaderは、感情を認識するタスクのコンテキストで検討するのに最も完璧で興味深いものです。

1. FaceReader

•会社開発者： Noldus Information Technology（オランダ）

• 製品紹介情報

•現在のバージョン：4.0







このプログラムは、図に示すように、「幸せ」、「悲しい」、「怒り」、「驚いた」、「怖い」、「不満」、「中立」などの表情を正しく解釈できます。 さらに、FaceReaderは、人々の顔から年齢、性別、民族を判断できます。 FaceReaderは、トレーニングや追加の構成を必要としません。

このプログラムは、コンピュータービジョンテクノロジーを実装しています。 特に、これはActive Templateメソッドです。これは、変形可能なテンプレートを顔画像に重ね合わせることで構成されます。







また、Active Appearance Modelメソッドが実装されています。これを使用すると、制御点と表面の詳細を考慮して人工顔モデルを作成し、メモリに保存されているサンプルと比較できます。

分類は、2,000枚の写真のトレーニングセットを使用したニューラルネットワーク手法を使用して実行されます。

プログラムの特徴：

•感情認識の平均割合は89％です。 感情によっては、より高いものもあれば、低いものもあります。

•顔の傾きは平面内で任意であり、彼のシステムが検出します。

•このプログラムは、MPEG1、MPEG2、XviD、DivX4、DivX5、DivX6、DV-AVI、および非圧縮AVIのコーデック形式でダウンロード可能なビデオで動作し、ビデオ全体を見るときにフレームごとまたは完全に感情を判別できます。 また、FaceReaderは静的な画像を操作でき、ユーザーがWebカメラを接続している場合はリアルタイムで操作できます。

•プログラムは完全に視覚化されています：ヒストグラム、チャート、表現された感情の割合をいつでも見ることができます。 また、タイムラインでは、特定の期間における微小発現の兆候が表示されます。

•FaceReaderは2つのテキストファイルを生成します。1つは感情の発現のログ、もう1つは静的で、このプログラムに関連して同じ会社が開発した視覚データ管理システムThe Observer XT用です。

プログラムの欠点：

•FaceReaderは、5歳未満の子供を認識するように訓練されていません。

•人が眼鏡をかけている場合、感情の認識が不正確であるか、分類が行われません。

•肌の色が異なる人々は、システムによって異なって認識されます。プログラムは完全に適合していません。

•回転した顔は検出されません。

2. eMotionソフトウェアとGladOrSad

•会社開発者： 視覚認識（オランダ）

• 製品紹介情報

•現在のバージョン：不明



EMotion Softwareは、創業者がモナリザの絵画の感情を認識することで知られています。 その結果、83％が幸せ、9％が嫌悪感、6％が恐怖、そして怒ったのは2％だけでした。

そして、このシステムは、実際には、これが最初の商用有料「ボックス化」ソリューションであるという事実で知られています。 このソリューションに加えて、開発チームはGladOrSad.comを立ち上げました。それに応じて、視覚認識がオンライン感情認識専用のWebリソースをオープンすることを主導しました。







eMotion Softwareの最初の知られているユーザーはUnileverで、アイスクリーム販売機に認識システムを導入しました-Unilever Share Happy 。 自動販売機で人々は笑顔になり、自動販売機は笑顔のために無料のアイスクリームを提供します！



人が感情、笑顔、しかめ面、しかめっ面を見せた場合、何千もの小さな顔の筋肉が働いています。 感情認識システム、またはERS（感情認識システム）は、3D-顔のモデルを作成し、目の角や口角などの12の重要な領域を識別します。

これらのプログラムでは、トラッキングアルゴリズムが同じ感情を識別します。怒り、悲しみ、恐怖、驚き、嫌悪、幸福の6つがあり、7つ目はそれらの混合です。

ソフトウェアは、コンピューターで技術仕様を特に要求しません。 アルゴリズムの実装の詳細は不明です。なぜなら、 技術は秘密にされており、残念ながら説明付きのパンフレットも見つかりませんでした。

3. MMER_FEASy-FacE分析システム

•会社-開発者： MMER-Systems（ドイツ）

• 製品紹介情報

•現在のバージョン：不明



繰り返しますが、開発では、特定の変形可能なマスクを顔に適用する方法、アクティブな外観モデルの方法を使用しました。これにより、必要なパラメータをリアルタイムで計算できます。 マスクを使用した作業を次の図に示します。







システムは、MMER_Lab、MMER_GPU、MMER_Locateの3つのプラグインを使用します。

MMER_Locateは顔が画像内にあることを確認し、MMER_Labは画像の一部の機能を分類し、MMER_GPUはシステム全体の効果的な操作を確認します。







このプログラムは、6つの基本的な感情を認識し、年齢、性別、民族の人々を見つけるためのサービスも提供します。 また、システムは、参照写真がデータベースにアップロードされる前に同時に人物を識別します。

このプログラムの追加機能には、リモートアシスタント、ドライバーアシスタント、マーケティング調査、ホームマルチメディアサービスのモジュールとして他のプログラムに接続することが含まれます。

このプログラムの欠点は、ダウンロードされたデータが完全に網羅されていないことです。 Webカメラでのみ作業できます。 データのアップロードの結果が悪い。ユーザーの「アバター」のみが表示されます。 マスクの代わりに、同じ顔が置換されますが、表情が異なります。

4. FaceSecurity

•会社開発者： Cognitec（ドイツ）

• 製品紹介情報

•現在のバージョン：4.6



この製品は、 FaceVACS SDKに基づいて製造されたいくつかのコンポーネントで構成されています 。 これは：

• Examinerを使用したFaceVACS-DBScan

• FaceVACS-PortraitAcquisition

• FaceVACS-VideoScan

Examinerを使用したFaceVACS-DBScan：

開発は、従業員など、あらゆるカテゴリの人々のユニークなデータベースとデータバンクを処理することを目的としています。

この製品は、ベースからのサンプルの標準に基づく生体認証の実施形態です。

プログラムの新しいバージョンでは、システムは、定義された類似性を改善するために設計された古い比較アルゴリズムB5T8と古いA14T8を使用します。

さらに、新しいExaminerコンポーネントにより、ギャラリーで比較するための自動画像変換が可能になります。 これにより、開発者は潜在的なパートナーのリストを確認しながら、プロセスの各ステップの完全な監査を維持できます。

また、この開発により、捜査官は機関のリポジトリ内の人物の画像を照合することにより、写真やビデオ監視によって犯罪現場の人物を特定することができます。

FaceVACS-Examinerはまた、検査がタイムリーに人を特定するのに役立つツールのセットを提供します。これにより、捜査官は、犯罪の委託後、最短時間で検索結果を追跡できます。

機能：

•数百万人のデータベース処理のためのクラスター構成。

•柔軟で便利なリスト管理。並べ替え、表示、フィルタリングができます。

•バッチおよびインタラクティブなトレーニング、識別。

•関連データの深く柔軟な管理。

•カスタマイズ可能なログ。

•データベースの再生成（つまり、結果を出力する前の予備のクイック事前設定）。

•データベースには、さまざまな検索サンプルが用意されています。

FaceVACS-PortraitAcquisition：

IDドキュメントのデジタルポートレートの作成と評価。 コンポーネントの操作を図に示します。







このコンポーネントにより、パスポート写真、運転免許証、および顔認識に適したその他のドキュメントの高品質なポートレートの作成が簡単になります。

製品のグラフィカルユーザーインターフェイスは、正面姿勢、均一な照明、メガネ、目を細めた目などの些細なことの処理の視覚制御と操作に特に適しています。 ソフトウェアは、イメージがフロントイメージタイプISO 19794-5標準の必須要件とベストプラクティスに準拠しているかどうかを評価するために特に調整されています。 このプログラムは、Webサービス（SOAP）による統合をサポートして、ドキュメントの発行を促進します。

機能：

•ISO 19794-5規格への完全準拠。

•情報を収集する信頼性の高い自動化されたプロセス。

•正面の姿勢、メガネの存在、均一な照明、頭のサイズ、画像サイズ、口を開け、頭を回して、色付きの窓、赤目、正面の目、露出、肌の色、ホットスポット、シャープネスを確認します。

•便利なグラフィカルユーザーインターフェイス。

•設定可能なパラメーターとしきい値。

•Nikon（D5000）およびCanon（EOS 1000Dおよび1100D EOS）のデジタル一眼レフカメラのフォーマットをサポート。

•必要に応じて、柔軟なプルーニング。

•プレビュー時のカスタマイズ可能な画像（サイズ、画像タイプ、画像形式）。

•Webサービスとの柔軟な統合。

FaceVACS-VideoScan：

新世代のコンピュータビデオ監視は、着信ビデオストリームを自動的にスキャンし、複数の顔を検出し、「チェックリスト」で一致する可能性があるものをチェックします。 一致が見つかった場合、オペレータはリアルタイムの通知を受け取ります。

このアプリケーションには、公共の場での不要な人の識別だけでなく、上位の顧客の識別も含まれます。

機能：

•複数のビデオストリームでの自動リアルタイム顔追跡。

•リアルタイムで、顔は「チェックリスト」の基準と比較されます。

•手動および自動モードでの静止画像またはライブビデオストリームへの登録。

•C ++ APIおよびWebサービスAPIの適用。

•「チェックリスト」内のスケーラビリティ：サイズ、ビデオストリームの数、および画像内の目に見える顔の数。

Cognitecソフトウェアの機能：

•サンプルによる比較の非常に高い処理（平均プロセッサパワーでデータベースで毎秒900,000回の比較）。

•Webカメラ、http-カメラ、デジタルカメラ、ビデオカメラとの統合、および一般的な形式の画像のサポート。

•大規模データベース、Oracle、IBM DB2、MSSQL Serverとの統合。

短所：

•ほとんどすべてのコンポーネントでの計算は、正面にいる人にのみ適用されます（15度の偏差は可能ですが、それ以上ではありません）。

•光は大きな役割を果たします-たとえば、コンポーネントは影の中の顔の画像を認識しません。



FaceVACS-SDKおよびFaceVACS-DBScan、 MyHeritage.comポータルに基づくセンセーショナルなWebベースのソリューションに言及することはできません。ここでは、顔認識に基づいて家系図を構築し、有名人と比較し、顔のモーフを作成し、認識および識別できます写真の中の自分。

Cognitecは、Webアプリケーションに加えて、ターゲットオーディエンス向けに広告を表示するためのデジタルビルボード用のAPIを提供します。

前述のように、Cognitecは機械工学にも関与しており、同社のシステムは自動車で使用されており、たとえば、頭の位置の検出、迷い目の検出、閉じた目の検出など、ドライバーや仲間の顔、および安全性を分析しています。

Cognitecの他の企業のハイライトは、携帯電話向けの独自のSDKの入手可能性です。

5. Affective Computing Research Group製品

•会社開発者： Affectiva（米国）

• 製品紹介情報

•現在のアプリケーションソフトウェアバージョン：1.0



Rosalinda Picardの会社であるAffectivaは、主にウェアラブルQセンサーバイオセンサーで知られています。 しかし、これは会社で豊富なだけではありません。 1995年以来、アフェクティブコンピューティング、または感情的なコンピューティングシステムの開発に多くの技術を導入してきました。 多くのプロジェクトがあります。 これは、これらの技術に関与する開発者の最も古いグループです。

たとえば、ID Software Quake 3製品に基づいたAffQuakeプロジェクトがあります。ポイントは、プレイヤーの感情的な信号にゲームを反応させることです。 ゲーマーにはセンサーが並んでおり、怖がっている場合、変更されたQuakeはユーザーの「生理学的信号」を受信し、プレイヤーの仮想化を同じように恐れさせます-それは恐れて後退します。

または、たとえば、玩具「感情の虎」（ Affective Tigger ）を開発しました。 このロボットは、遊んでいる子供の5つの感情状態を識別し、それに応じて感情を表現できます。 子供がジャンプして、おもちゃを優しく絞ってキスすると、感情認識システムと「虎」感覚システムがこの身体的効果を記録し、その後、幸福が実証されます。感情的なティガーは笑って笑います。

Webには面白いソリューションがあります。 これは、Affectivaの革新的な製品であり、World Wide Web Affdexの人々の感情状態に関するデータのコレクションです。 ほとんどの場合、マーケティング調査に使用されます。

これらの開発の顔によって感情状態を認識する方法の1つは、後続のコンピューター分析でリアルタイムに記録することです-埋め込みサンプル（SURFおよびSIFT記述子に基づく）との比較方法、およびウェーブレット法。 これらの方法の作業は、生徒の行動と感情状態を評価するPupeteerなどのプログラムで使用されます。 プログラムのデモンストレーション：







この方法を使用した実験中、コンピューターは96パーセントの精度で6つの基本的な感情を判断します。

このソリューションは、感情とともに、うなずきやスイングなどの頭の動き、および左右の動きを認識するという点でも注目に値します。 ベイジアン機械学習プロセスは、感情を分類するために使用されるだけでなく、どの特定の感情が支配的であるかを正確に表現できない場合に統計を計算し、混合状態を計算するために使用されます。

技術が閉じられているため、ソフトウェア自体についてはあまり言えません。 C ++、iPhone用Objective-Cで開発が進行中です。 次の図に示すように、タイムライン（またはタイムライン）、グラフ、チャートなどの従来のツールを使用してグラフィカルに描画されます。







機能の中で、すべてのソリューションがよく描かれ、顧客に適応していることに気付くことができます。最大の欠点は、おそらくアプリケーションで快適に作業できる強力なプロセッサ（Core i5以上）を搭載したコンピューターの存在です。

企業と小計の比較

このビジネスのほんの数人のプレーヤーのソリューションが考慮されます。 残りの企業は、わずかに異なるタスク用に設計された製品を提供していますが、彼らが開発するシステムは、感情認識のレベルまで簡単に改善できるため、何らかの形で興味深いものです。 これらは、次のようなタスクを実行するプログラムとソリューションです。

• 顔認証（セキュリティおよびアクセス制御システム）。

• 顔の追跡と追跡（ビデオ監視システム）。

• イメージ内の人々と自分の肖像の比較（検索システム）。

• 顔のアニメーションとその変換（モーフィングシステム）。

• 3Dでの顔の変形-モデル（モデリングシステム）。

• 人種、年齢、性別の決定（性別分類システム）。

• はるかに。



さらに、これらのプログラムを開発しているほとんどの企業は、独自のツール（SDK-Software Development Kit）を開発者に提供しています。

このような製品を使用するための重要な基準は、提供されるSDKのコストと同様に、それらのコストです。 範囲は5ドルから2,000ドルです。 最も高価な製品は、この種の開発が会社全体の仕事の条件ではない小さな会社で使用される可能性は低いです。

以下の表では、このようなプログラムとプログラムコンプレックスのリストを示します。 もちろん、リストは時間の経過とともに拡大しますが、2011年11月の時点では関連しています。





Web開発とテクノロジーに焦点を当てた企業の活動は関連しています。 これらは、Google、Twitter、FaceBookなどです。 Google Inc. 顔と感情の認識技術を使用してよりスマートな検索を行い、Twitterはオンラインブログで書いている人々の気分を評価します.FaceBookは最近、ソーシャルネットワークユーザーの友人の顔を自動的に認識、メモ、および署名するTaggerと呼ばれる新しい機能（改善）をコミュニティに導入しました。

Face.com開発者は、デザインだけでなく、PhotoTaggerが使用する独自のJavaScript SDKでも知られています。

最近、この会社は、インターネットサイトで公開されている写真で人を特定できる技術を導入しました。 PhotoFinderプログラムは、グローバルネットワークのページにあるデジタル画像を分析し、それらを希望の人物の参照画像と比較します。 標準を処理するために、顔のさまざまな部分（目、鼻、口）の一意の位置に基づくアルゴリズムが使用されます。 目新しいものではないようですが、このようなソフトウェアを使用すると、インターネットユーザーの巨大なデータベースを構築できます。 このテクノロジーはウィジェットの形式で実装され、Webポータルの作成者が自分のサイトに埋め込むことができます。 検索は、写真とビデオの両方で行われます。 このサービスは、FlickrやYouTubeなどの企業によって既に評価されています。 技術の支持者は、開発により検索と識別が簡単になると考えています。 ただし、違反できないプライバシーポリシーがあります。

デジタルカメラやカムコーダーなどの製品にこれらの革新を提示する企業は、後退していません。 リコー、富士フイルム、キヤノン、ニコンなど、そのような会社はたくさんあります。



企業の多くの製品は分解されており、ソフトウェア会社の長所と短所があります。 この情報に基づいて、認識の主な基準である特定の基準に一致する製品の表を作成し、そのような感情認識モジュールの長所と短所を見つけることにしました。

結論

一部の企業は、顔の感情を読み取るための製品が最も正しいと主張していますが、今日は技術があるという事実に注意することが重要ですが、彼らはこの表情に固有で最も適した機能のみを認識します。 しかし、人が本当にそのような気持ちを感じているのか、それとも訓練された笑顔だけなのかを言うことは、常に可能なことではありません。 外部表現がプログラムのユーザーの内部感情と一致するように結果を達成したい場合、私の意見では、参加者が自分の感情を内側から表現して顔に見せることが本当に便利で快適であることを確認することが重要です。 これは、特定の人の会話中の感情認識、表情認識、音声およびイントネーション認識、ライティングおよびコンピューター通信中の意味的負荷および感情的経験の決定など、あらゆるテクノロジーを使用して達成されます。これらはすべて最終結果に大きく影響します。 センサーを使用することもできます。

このレビューからわかるように、製品は多くの企業からさまざまな方法で提示されています。箱入りソフトウェアバージョンから、SaaS（Software as a Service）モデルに基づくWebソリューションやさまざまなタイプのアプリケーションまで。 特定された機能と欠点。

財政的に、サービスの範囲は大きく異なりますが、多機能ソリューションの大部分は高価です。 ただし、このようなシステムの需要は高まっています。



ご清聴ありがとうございました！ 著者をあまり蹴りすぎないでください、これはHabrに関する私の最初のトピックです...しかし続けられます。