感情の科学：スマートテクノロジーが人々を理解する方法

Digital Evaの作者であるValentina Evtyukhina、およびプロジェクト会社とR＆DラボのNeurodata Labの専門家（特にNetologyブログ用）は、感情認識の分野でテクノロジーがどのように発展しているかについての記事を作成しました。



感情の科学はそれほど昔に普及しませんでしたが、主にアメリカの心理学者であり、「心理学の嘘」の著者であり、この本に基づいた人気のテレビシリーズ「Lie to Me」のコンサルタントであるポールエクマンに感謝します。





ポール・エクマンとティム・ロス-テレビシリーズ「Lie to Me」に出演、そのキャラクターはエクマン自身からコピー



このシリーズは2009年に開始され、同時に、感情認識のトピックに対する公共の関心が大幅に高まっています。 スタートアップ環境のブームは2015年から2016年に発生し、マイクロソフトとGoogleの2つのテクノロジージャイアントが、感情科学を扱うパイロットプロジェクトで一般ユーザーにすぐに利用可能になりました。





感情認識、マイクロソフトが開始したサービス

2015年に



これは、感情認識技術に基づいたさまざまなアプリケーションとアルゴリズムの作成の推進力でした。 たとえば、Text Analytics APIは、Microsoft Cognitive Servicesパッケージのサービスの1つであり、開発者が既製のスマートアルゴリズムを製品に統合できるようにします。 パッケージの他のサービスの中で：画像、顔、音声、および他の多くの認識のためのツール。 感情は、テキスト、音声、写真、さらにはビデオで特定できます。

Gartner Agency は 、2021-2022年のスマートフォンは友人や親relativeよりも私たちのことをよく知っており、微妙な感情レベルで私たちとやり取りすると主張しています。

感情認識技術市場-それは何ですか？

彼はそうですが、彼は若いです、彼はまだすべてを先に持っています。

現在、感情検出市場は活況を呈しており、西洋の専門家によると、さまざまな推定によると、2021年までに190億ドルから370億ドルに成長するでしょう。

したがって、影響力のある代理店MarketsandMarketsによると、2016年の感情の世界市場は67億2000万ドルに達し、 2020年代半ばまでに推定されています。 感情的な技術の市場は独占されていません。 企業、研究所、およびスタートアップのための場所があります。 さらに、それは通常の市場慣行です。企業は小規模企業の経験を意思決定に統合します。



感情的および行動的テクノロジーは、医療を含むさまざまな分野で需要があります。



外国の経験に目を向けると、数週間前に、ロザリンド・ピカード率いるエンパティカが、臨床データ（FDAクリアリング）を担当する米国の監督当局から許可を得て、生理学的データをキャプチャするだけでなく、所有者の状態についてだけでなく、彼の感情的背景を評価し、身体の複雑な状況の可能性を予測します。 これは、自閉症スペクトラム障害、うつ病、および神経学と医学の複雑な場合に役立つことができます。



イスラエルの会社Beyond Verbalとメイヨークリニックは、感情だけでなく、大動脈冠動脈疾患、パーキンソン病、アルツハイマー病を予測する可能性も秘めている声のバイオマーカーを探します。



テクノロジーの適用可能性について話すと、B2B分野は主にインテリジェント輸送、小売、広告、HR、IoT、ゲームなどの分野に関与しています。



しかし、B2Cには需要もあります：EaaS（Emotion as a Service）またはクラウドベースの分析ソリューション（Humanデータ分析）により、すべてのユーザーがビデオファイルをアップロードし、レコードの各フラグメントについてすべての感情統計および行動統計を受信できます。



大統領の選挙前の議論（ロシアか米国か）について話している場合、アルゴリズムから隠すことはほとんどありません。 さらに、数年以内に、感情認識技術はすべてのスマートフォンに搭載されるでしょう。

技術と科学の積み重ね

AIブームは 2025〜2027年に予測されました。



トレンドは、人間の感情を認識するためのスマートインターフェイスの作成です。このソフトウェアにより、従来のWebカメラを使用して、いつでもユーザーの状態を判断できます。



人間の感情の定義は商業目的に使用できるため、これは有望なニッチです。ビデオおよびオーディオコンテンツの認識の分析から刑事事件の調査まで。



一方、これらはエンターテインメント業界の無限の可能性です。 たとえば、新しいiPhone XにはFace IDテクノロジーが統合されており、電話のロックを解除するだけでなく、顔の表情で絵文字を作成することもできます。





感情科学の分野における新製品の大半は、7つの基本的な感情と顔の微妙な表現に基づいており、脳の制御を超えたレベルでの感情を反映しています。 私たちは意識的に笑顔を抑えることができますが、唇の角のわずかなけいれんが残り、これは感情認識技術のシグナルになります。



また、音声、音声、および視線の分析に特化した技術のブロックもあります。 精神医学または犯罪歴管理でこれらの方法を使用すると、表情や体の動きのわずかな変化に関する情報のおかげで、人の感情状態と彼の本当の気分に関する最大値を見つけることができます。



現在、企業および個々のチームは、感情の認識に関するオープンな科学データを使用し、それらをテクノロジーとスタックで使用して、感情コンピューティング（感情コンピューティング）の領域を形成できます。



5人のFAANG（ Facebook 、 Apple 、 Amazon 、 Netflix 、 Google ）とIBMのような技術の巨人は、感情的な技術の市場の発展に多大な貢献をしました。

感情認識技術と法律

感情的な技術に対する直接的な立法上の障壁はなく、業界自体はかなり弱く正確に規制されています。 予想される障壁と懸念があります。まず、プライバシーと個人データの保護の問題です。

感情とは、個人、個人の状態、感情、刺激に対する反応、人々と環境、思考と意図に関する個人的なデータであり、時には完全に合理的に理解されていないこともあります。

同時に、普遍的なデジタル化、あらゆる種類のガジェットとデバイスの配布、画像とビデオのユビキタスな使用（毎日数十億のビデオがネットワークに送られます）、ソーシャルネットワークでの宣伝により、一般的なストリームから感情データを効果的に抽出し、それを使用して商品の消費者として分析できますおよびサービス、およびユーザーとして。 そして、これらはすべて法的分野で、正しく倫理的に行われるべきです。



個人データ保護に関する新しい欧州規制 （GDPR）は、いくつかの制限を暗示しています。トレーニングおよびトレーニング機械学習アルゴリズムのデータは、以下の場合に自由に使用できます。

• それらは非個人化されたままです。つまり、バイオセンサーのデータは生体認証（人の識別）から分離されています。
• グループ形式が尊重される場合（群衆の分析、単一のエンティティではなく、多数の人々）。
• 調査が実施されている場合、その人はそれについて知っており、同意しなければなりません。そうでなければ、それは規制違反となり、責任を伴います。

ロシアの規範的規制の歴史がどのように展開するか、時間はわかります。

今後数年間で感情の認識が必要になる場所

健康と健康技術

医療業界では、患者やユーザーに関するデータを収集および分析するための最先端の方法を積極的に導入しています。これは、マシンアルゴリズムが数百および数千の類似したケースを使用して症状を特定するためです。



写真とテキストで心理的感情の状態を分析するモバイルアプリケーションがすでにあり、プログラムとのコミュニケーションが多いほど、学習が良くなり、プログラムを「理解」し、正確な治療予測を提供します。



デバイスが単にそのレベルで気分を「把握」し、それに応じて音楽をオンにし、光を調整し、コーヒーを作るとき、それは一つのことです。 もう1つは、外見で疲労の程度を評価するか、標準からの逸脱を判断するときです。 または病気。 たとえば、アルツハイマー病またはパーキンソン病。



その症状が現れるずっと以前に、この病気は顔の筋肉、目の速度、そして一見すると知覚できない音声と微動の変化に影響を与え始めます。

法医学

シリーズ「Lie to Me」は2009年にリリースされ、すぐに世界的な人気を得ました。 主人公のライトマン博士は、ミクロの表情に関する真実を読むことができます。 これが彼の「超大国」であり、殺人者を見つけ、複雑な犯罪のネットワークを発見するのに役立ちます。



ニューロインターフェースは同じことを、より良く、より良く、より速く行うことができます。 尋問室で人を削除してから、怒り、恐怖、苦味、resみなど、顔の感情の割合を予測する特別なプログラムをビデオに適用できます。 これらのデータは、調査がどの時点で人が何かを欺くか同意しないかを理解するのに役立ちます。

社会活動モニタリング

インターネットは感情を伝えないと信じられていますが、そうではありません。 Facebookの一連のツイートまたは投稿から、ユーザーが書いた瞬間の気分や状態を高精度で判断することができます。



テキストのスタイルに従って心理的感情の状態を判断する最も簡単な例は、人がメッセージの終わりに終止符を打ち始めたときのよく知られた状況であり、彼の対話者はこれを会話で何かがうまくいかなかったというシグナルとして知覚します。



全体的に、機械学習を使用すると、怒りの発生、メッセージの助けや恐れの要求を追跡し、それらに応答するシステムを作成できます。たとえば、緊急サービスに信号を送信します。

広告

すでに、グローバルな小売チェーンは可能な限りオンラインとオフラインを統合し、顧客が何を望んでいて、彼が何を購入する可能性が高いかを見つけようとしています。 ニューラルインターフェイスが感情の高感度で正確な認識レベルに達すると、ショッピングセンターのウィンドウ内の広告は、一瞬で通り過ぎる人々の気分に適応します。 同様のテクノロジーは、マイノリティレポートやブレードランナー2049などのSF映画で取り上げられています。





映画「ブレードランナー2049」からのショット、ここでホログラフィック広告

ガイノイドは主人公の顔の感情に反応します。



約1年前、2017年4月に、サンフランシスコの研究チームがテキストの感情的な要素をより正確に認識するためにLSTMニューラルネットワークを教えました。 現在、このマシンはAmazonの顧客レビューとRotten Tomatoesの映画レビューの雰囲気をほぼ間違いなく認識しています。これは、サービスを改善し、ユーザー間の製品の人気を予測するのに役立ちます。

ゲーム産業

Google Glassメガネの最初のモデルが登場したとき、ジェスチャーコントロールが新しいレベルに達すると想定されていました-レンズの内側のテキストを読むためには、上から下に目を向けるだけで十分で、システムは既にこの段落を読んでいることを理解し、次を表示できます。 ガジェット自体がプロトタイプの範囲を超えていなかったという事実にもかかわらず、眼球運動の研究の物語は新しい分野、ゲーム分野に移りました。



ゲーム開発者は、プレーヤーがどのように、どの時点で感じるか、特殊効果やゲーム障害がどのように彼に作用するかを理解することが非常に重要です。 感情認識技術を開発したAffectivaは、Nevermindゲームの作成を支援しました。Nevermindゲームでは、複雑さはプレイヤーの緊張のレベルに依存し、プロットはストレスや落ち着きの状態に調整されます。

そして、ロシアはどうですか？ ニューロデータラボエクスペリエンス

2016年の初め以降、 Envirtue Capitalファンドチームは、多くの点で感情認識技術の観点からロシアの既存のベンチャー市場が投資家の期待を満たしていないという結論に達しました。R＆D研究所内でプロジェクトを開発することが決定されました。ソース。 そこで、Neurodata Lab LLC社が誕生しました。



「2016年9月、私たちのチームは、自然科学と認知科学の専門家と、コンピュータービジョン、機械学習、データサイエンスの分野で能力とバックグラウンドを持つ技術専門家の両方を含む科学研究者を含むようになりました。 感情研究の学際的な性質により、私たちの選択は混合チームに有利になりました。これにより、さまざまな観点から問題を解決することを考えることができ、純粋に技術的な部分と生物学、精神生理学、神経言語学の見解とアイデアの両方を1つの回路に組み合わせることができます。」

ジョージ・プリエフ

Neurodata Labのマネージングパートナー



Neurodata Labは、音声の分離、音声ストリーム内の話者の音声のレイヤーごとの分析と識別、身体と腕の動きの複雑な追跡、検出と検出の技術を含む、感情と音声とビデオによる認識の研究の幅広い分野をカバーするソリューションを開発していますビデオストリーム内のキーポイントと顔の筋肉の動きをリアルタイムで認識します。



これらのプロジェクトの1つは、通常のカメラで記録されたビデオファイルから目と頭の動きのデータを抽出できるEyeCatcherソフトウェアのプロトタイプの開発です 。 この技術は、実験室ではなく自然な条件での人間の目の動きの研究に新しい視野を開き、研究能力を大幅に拡大します-今、人が絵を見る方法、音に反応する方法、色、味、彼が幸せまたは驚いたときの目の動きを知ることができます。 これらのデータは、人間の感情を認識するためのより高度な技術を作成するための基礎として使用されます。



「私たちの目標は、柔軟なプラットフォームを設計し、ニッチを含むさまざまな業界の個人および企業のクライアントが要求するテクノロジーを開発することです。 感情を検出して認識するとき、人間の感情は非常に多様で「わかりにくい」エンティティであり、人から人へ、社会から社会へとしばしば変化することを考慮することが重要です。 民族、年齢、性別、社会文化的な違いがあります。 パターンを特定するには、品質データの非常に大きなサンプルでアルゴリズムをトレーニングする必要があります。 これは、私たちの研究チームが現在注力しているフェーズです。」

ジョージ・プリエフ

Neurodata Labのマネージングパートナー



感情を研究する際に研究グループが直面する主な問題の1つは、自然環境で感情を操作するための限られた「うるさい」データ、または知覚をゆがめる実験参加者の感情状態を追跡するために不快なウェアラブルデバイスを使用する必要があることです。 したがって、Neurodala Labチームは最初のプロジェクトの1つとして、ロシア語のマルチモーダルデータセットRAMAS（ロシアの行動マルチモーダル効果セット）を収集しました。これは、音声、ビデオ、ITトラッカー、ウェアラブルモーションセンサーなどの12チャンネルの並列記録を含む、経験された感情に関する包括的なデータセットです。対人関係の各状況について。 VGIKのアクターはデータセットの作成に参加し、日常のコミュニケーションのさまざまな状況を再現しました。 今日、マルチモーダルRAMASデータベースへのアクセスは、学術機関、大学、研究所に無料で提供されています。







幅広いデータベースの存在は、感情を伴う高品質の研究作業の重要な要因の1つですが、実験室やゲームのシミュレーションでは、そのようなデータベースを蓄積することはできません。 このよく知られた問題を解決するために、Neurodata Labの専門家は、感情データを収集、マーキング、分析、処理するための独自のプラットフォームEmotion Minerを開発して立ち上げ、30か国以上から2万人以上のアノテーター参加者を収集しました。 今日、 Emotion Miner Data Corpusは、世界最大のラベル付きマルチモーダル感情ビデオデータセットの1つです。



ニューロデータラボの開始以来、研究所のスタッフは、アメリカ、ヨーロッパ、ロシアの学術機関、大学、研究所、専門能力センターと協力し、InterspeechやECEMを含む大規模な外国会議に積極的に参加し、学術論文を発表しています。 同社はMITとAffectivaが共同で推進する感情的人工知能に関するサミットに参加し、2018年3月にNRU ITMOと共同で最初のロシア会議「Emotion AI：科学と教育の新たな課題、新しいビジネスチャンス」を開催しました。 計画は、ロシアのエモーションAI協会を設立し、科学の専門家、研究所、スタートアップのコミュニティを統合することです。



「感情を認識する技術が成熟に達すると、エコシステム全体、テクノスフィア全体に大きな影響を与え、人々がガジェットを使用して、人間とコンピューターのインターフェースを備えた急速に成長している機械の世界と、より良く、より深く、より完全にコミュニケーションできるようになります。 この技術は、相互理解と共感の発展の可能性を秘め、障害を持つ人々（自閉症など）の問題を解決し、社会的に重大な病気を緩和するための鍵を見つけます。 同時に、技術だけでなく、人々がそれをどのように使用するかも重要です。 私たちは倫理的義務を完全に共有し、立法制度を含むチェックとバランスのシステムが感情認識の技術を完全な制御の技術に変えないという事実から進んでいます。 その使命は、人の自由、権利、個人的なスペースを制限することなく人を助けることです。 もちろん、個々の異常は避けられませんが、除去できます。

ジョージ・プリエフ

Neurodata Labのマネージングパートナー

編集者から

トピックに関するNetologyコース：

• フルタイムコース「 データサイエンティスト 」、モスクワ。
  
  
• フルタイムコース「 マネージャー向け分析 」、モスクワ。
  
  
• オンラインプログラム「 ビッグデータ：大規模なデータセットの操作の基本 」;
  
  
• オンライン職業「 Python開発者 」