検出および認識システムの市場：感情と「感情コンピューティング」

最近では、認識テクノロジーにアクセスできなくなりました。 感情の認識と「感情計算」は、科学の大きなレイヤーの一部であり、パターン認識や視覚情報の処理などの基本概念も含まれています。 この投稿では、Habréでブログを開き、感情認識システムの市場で提示されているソリューションの簡単なレビューを行いたいと思います。このセグメントでどの企業が働いており、正確に何をしているのか見てみましょう。



/ Flickr / britt selvitelle / cc

感情認識システム（EDRS）

感情を検出および認識するシステム（EDRS）の市場は活発に発展しています。 一部の専門家によると 、それは27.4％の平均年間成長を示し、2022年までに291億ドルのレベルに達します。 感情を認識するためのソフトウェアでは、行動パターン、生理学的パラメーター、およびユーザーの気分の変化を分析しながら、ウェブカメラまたは専用の機器を使用していつでもユーザーの状態を判断できるため、こうした数値は非常に正当化されます。



感情的な性質のデータを読み取り、送信し、認識するシステムは、反応判定のタイプに応じてグループに分けることができます：生理学的指標、顔の表情、ボディランゲージおよび動き、ならびに音声によって。



人間の感情に関する情報源としての生理学は、多くの場合、臨床試験で利用されています。 たとえば、感情を検出するこの方法は、臨床プロトコルで決定された生理学的パラメーターの現在の値（心電図、心拍数、電気皮膚活動（EAC）など）で患者のコンピューター画面に戻ると、バイオフィードバック方法に組み込まれました。 。



同様の手法が他の分野にも応用されています。 たとえば、生理学データから感情を感知することは、頭の上に装着されて統合された脳活動センサーをトリガーするNeuroSkyのMindWave Mobileの重要な機能です。 人の集中、リラクゼーション、または不安の度合いをキャプチャし、1から100のスケールで評価します。MindWaveMobileは、科学研究で採用されているEEGの登録方法を採用しています。 この場合にのみ、システムには、数が10を超える実験施設とは異なり、1つの電極しか装備されていません。



表情による感情的な反応の検出の例は、オランダの会社Noldus Information TechnologyのFaceReader サービスです 。 このプログラムは、顔の微小表現を解釈して、喜び、悲しみ、怒り、驚き、恐怖、嫌悪感、中立という7つの主要なカテゴリに分類します。 さらに、FaceReaderは、顔によって人の年齢と性別を正確に判断できます。



プログラムの原則は、コンピュータービジョンテクノロジーに基づいています。 特に、顔画像に変形可能なテンプレートを重ね合わせるActive Templateメソッドと、表面の詳細を考慮したコントロールポイントを使用して人工的な顔モデルを作成できるActive Appearance Modelメソッドについて説明しています。 開発者によると、分類は1万枚の写真のトレーニングビルディングを使用してニューラルネットワークを通じて行われます。



大企業はこの分野で知られています。 たとえば、MicrosoftはProject Oxfordと呼ばれる独自のプロジェクトを開発しています。これは、マシンビジョンアルゴリズム（だけでなく）を実装する既製のREST APIセットです。 このソフトウェアは 、怒り、軽empt、嫌悪、恐怖、幸福、悲しみ、驚きなどの感情を区別し、視覚的に表現された感情がないことをユーザーに通知します。



ロシア企業も感情認識システムに取り組んでいるという事実に注意することが重要です。 たとえば、EDRシステムEmoDetect が市場に出回っています。 ソリューションソフトウェアは、選択した画像（またはビデオ）から人の精神情動状態を判断できます。 分類子は6つの基本的な感情を識別します-喜び、驚き、悲しみ、怒り、恐れ、嫌悪感はすでに上で述べました。



認識は、個人の精神的感情状態（ASM）を特徴付ける20の有益な局所顔の特徴に基づいています。 また、運動単位の計算と、顔の動きをコード化するシステム P. Ekman（FACS Action Units）による分類。 さらに、このソリューションは、時間の経過に伴う被験者の感情の強さの動的な変化のグラフを作成し、ビデオ処理の結果に関するレポートを生成します。



さらに、この投稿の枠組みの中で、眼球運動に応じて感情を追跡するトピックを無視することはできません。眼球運動の主なパラメーターは凝視とサッカードです。 それらを記録するための最も一般的な方法は、ビデオ眼球記録法（または視線追跡、英語の用語からより馴染みのあるトレーシングペーパー）と呼ばれ、その原理は目の動きのビデオを高頻度で記録することです。 Videooculographyには独自のツールもあります-さまざまなタイプの実験研究に関与するアイトラッカー



そのため、Neurodata Lab社は、Ocutri開発チームとともに Eye Catcher 0.1ソフトウェアトラッカーのプロトタイプを作成しました。これにより、通常のカメラで記録されたビデオファイルから目と頭の動きのデータを抽出できます。 この技術は、in vivoでの人間の眼球運動の研究に新しい視野を開き、研究能力を大幅に拡大します。 また、SR Research（EyeLink）、Tobii、SMI（最近Appleに買収された）、GazeTracker、Eyezag、Stickyなど、世界的に重要な企業がIT追跡デバイスのラインをリリースしています。後者の主な作業ツールもWebカメラです。



これまで、ビデオ眼球運動は 、科学、ゲーム業界、オンラインマーケティング（ニューロマーケティング）の両方で使用されています。 オンラインストアで購入する際の重要な要素は、コンバージョンを促進する製品情報の場所です。 バナーやその他の視覚広告の位置を慎重に検討する必要があります。



たとえば、GoogleはITトラッキングを使用して発行ページの表示面の設計に取り組んでおり、広告主にとって最も効果的なオファーを生成しています。 Oculographyは、有効で正しい分析方法を提供します。これは、Webデザイナーに重要な実用的な支援を提供し、ユーザーがスクロールせずに見える範囲の情報をよりよく認識できるようにします。

アフェクティブコンピューティング-「エモーショナルコンピューティング」

人間の生活に導入された新しい情報技術の開発における重要なベクトルは、人間とコンピューターの相互作用- 人間とコンピューターの相互作用 （HCI）の改善です。 EDRシステムの出現は、感情的なコンピューティング、または確立された英語の用語によると、感情的なコンピューティングのようなものの出現をもたらしました。 アフェクティブコンピューティングは、顔の表情、姿勢、 ジェスチャー 、 発話特性 、さらには体温によって決定される、ユーザーの感情や感情をデバイスが適切に検出して応答できるHCIの一種です。 この点で興味深いのは、皮下血流に適用される決定です（カナダのスタートアップNuraLogixが行うように）。



研究と資金の量は、この分野が非常に有望であることを示唆しています。 marketandmarkets.comによると 、情緒的なコンピューティング市場は、2016年の122億ドルから2021年には540億ドルに成長し、年間平均成長率は34.7％になります。 Apple、IBM、Google、Facebook、Microsoftなど）。



エモーショナルコンピューティングのステータスが独立した研究分野として認識され、この分野への関心が高まっているのは、2000年頃にロザリンドピカードがシンボリック名「Affective Computing」で本を出版したときからです。 。 その後、他の国の科学者が彼らに加わりました。



脳内の情報は感情的に事前に決定されており、特定の感情的衝動の影響下で単純に決定を下すことがよくあります。 そのため、Picardは本の中で、人間の感情に直接関係し、さらには感情に影響を与えることのできる機械を構築するというアイデアを提示しました。



感情的なコンピューティングアプリケーションを作成するために最も話題になっている一般的なアプローチは、感情の認知モデルを構築することです。 システムは、信号と感情のペアの厳密なセットではなく、一連の原則[感情形成]に基づいて感情状態と対応する表現を生成します。 また、多くの場合、顔、体、肌などに現れる兆候や信号に焦点を当てた感情状態認識技術と組み合わせられます。以下の画像は、表情チャンネルによって分類されるいくつかの感情を示しています。







感情：怒り、恐怖、嫌悪、驚き、幸福、悲しみ（ ソース ）



感情は定義されたプロセスと見なされます。 したがって、アフェクティブコンピューティングのタスクは、日常の人間のコミュニケーションに近い方法でユーザーとの対話を実現することです。マシンはユーザーの感情状態に適応し、ユーザーに影響を与える必要があります。 このアプローチでは、アメリカの研究者であるOrtony、Clore、Collins（Ortony、Clore、Collins）によってルールが策定されました。







OCCモデルのルール（ ソース ）



「エモーショナルコンピューティング」システムの関連する例の中で、 Rosalind Picardと彼女の同僚の仕事は強調する価値があります。 学生の学習の効果を高めるために、科学者はラッセルの循環モデルに基づいて構築された独自の感情モデルを提案しています 。 最終的に、彼らは学生の感情状態を追跡し、新しい知識を習得するプロセスで支援が必要かどうかを判断する電子コンパニオンを作成したかったのです。







ラッセルの巡回モデル（ ソース ）



MITのPicardグループによって開発されたソフトウェアソリューションの興味深いアプリケーションは、自閉症の子供たちに自分の感情や周りの人々の感情状態を判断することを教えることです。 これらすべてがEmpatica社の出現のインセンティブとなり、同社はEmbraceブランドの下で消費者（てんかん患者を含む）ウェアラブルブレスレットを提供します。これにより、皮膚ガルバニック反射（GSR）を記録し、睡眠の質とストレスや身体活動のレベルをリアルタイムで監視できます。



ロザリンド・ピカードとMITの大学院生であるラナ・エル・カリウビーを起源とする別の会社は、Affectivaと呼ばれています。 同社の開発者はUnityプラットフォームにSDKを投稿し 、あらゆる種類のマイクロプロジェクトの実験、テスト、実装のためにサードパーティの開発者にアクセスできるようにしました。 同社は現在、世界最大の分析された個人のデータベースを持っています-500万部以上、多くの業界の先駆者の経験、感情を認識するための技術は実際には考慮されていませんでしたが、分析はまだ6つの基本内でのみ行われています感情と1つのチャネル（顔の微小表現）。



今日、多くの研究所やスタートアップがこの方向に発展しています。 たとえば、Sentio Solutionsは、日中の人の感情に関するデータを追跡、認識、収集するフィールリストバンドを開発しています。 同時に、モバイルアプリケーションは、感情的な観点から、ユーザーの習慣をプラスにする推奨事項を提供します。 ブレスレットに組み込まれたセンサーは、脈拍、皮膚電気反応、皮膚温度、システムアルゴリズムなど、いくつかの生理学的信号を一度に監視し、生体信号を感情の「言語」に変換します。



Emteq社に言及する価値があります。 Faceteqプラットフォームは、ドライバーの状態[疲労] を監視できるだけでなく、医療目的にも使用されます。特殊なアプリケーションは、顔面麻痺に苦しむ人々に実用的な支援を提供します。 VRヘルメットがアバターに対するユーザーの感情的な反応を投影できるようにするソリューションを仮想現実の領域に導入する作業も進行中です。

未来

今日、2017年の「エモーショナルコンピューティング」およびEDRSの分野における研究の戦略目標は、モノまたはバイチャネルロジックの狭いフレームワークを超えることです。これにより、厳密に宣言されるのではなく、現実に近づくことができます（仮に、マイクロエクスプレッションとウェアラブルバイオセンサーまたはライトトラッキングを機械的に組み合わせる） ）、複雑なマルチモーダルテクノロジーと感情状態を認識する方法。



ニューロデータラボは、感情を認識し、EDRSテクノロジーを経済のさまざまなセクター（大規模市場プロジェクト、IoT（モノのインターネット）、ロボティクス、エンターテイメント産業、インテリジェント輸送システム、デジタル医療）に実装するための高度にインテリジェントな技術ソリューションの開発を専門としています。



同時に、静的な写真や画像の分析から、オーディオビデオストリームのダイナミクスや、さまざまな形での通信環境へのスムーズな移行があります。 これらのタスクはすべて自明ではなく、業界の多くの重要な問題を解決し、綿密な研究、膨大なデータの収集、および人体の反応の包括的な解釈（言語的および非言語的）を必要とします。



人々は感情的な戻りや反応がない非感情的なエージェントとのコミュニケーションに興味がありません。 科学者は状況を根本的に変えるために多大な努力をしますが、彼らは特定の困難に直面しています。 それらの1つは、コンピューターシステムにニューロンが存在しないことです。 このようなシステムの内部にはアルゴリズムのみがあり、これは客観的な事実です。



人類は、特定の心理現象がどのように形成されてコンピューターシステム内で再現されるかを理解しようとしています。 たとえば、米国政府は、神経生物学の原理に基づいたTrueNorth アーキテクチャを開発することでこれを実現しています。 プロセッサは非古典的なアーキテクチャを備えています。つまり、フォンノイマンアーキテクチャに準拠していませんが、仕事の新皮質モデル（Kurzweilがテキストで詳細に説明している）に触発されています。



将来的に（そして一見するとそう遠くないかもしれませんが）そのような技術の進歩により、プログラミングを必要としない自己学習システムを構築することが可能になります。 彼らは完全に異なる教育技術を使用する必要があります。 そして、結果として、コンピューター技術の開発が全く異なる方向に進むことを否定することはできません。

---

PS後続の資料では、音声認識や顔認識などのトピックに触れ、感情の認識に対する生理学的特性の影響と現代の神経系が解決するタスクについて話します。 お見逃しなく、私たちのブログを購読してください！