ビデオ拡張機能を音声認識システムに統合する実験

導入する代わりに

私は、大学で数ヶ月勉強し、卒業後最初の数ヶ月間費やした研究活動に関する一連の報告を続けています。 仕事の全期間にわたって、私が開発したシステムの多くの要素が再評価され、仕事のベクトル全体が大きく変わりました。 私たちの以前の経験を見て、これまでに一度も公開されたことのない資料を新しいコメントで公開することは、さらに興味深いものでした。

内容：

1. 指定されたクラスの画像上に目立つオブジェクトを構築するのに最適な色空間の検索と分析

2. 分類の主要な特徴の定義と、表情の数学的モデルの開発

3. 最適な顔認識アルゴリズムの合成

4. 顔認識アルゴリズムの実装とテスト

5. さまざまな状態のユーザーの唇の画像のテストデータベースを作成して、システムの精度を向上させる

6. オープンソースの音声認識に基づいて最適な音声認識システムを検索する

7. 統合のためのオープンAPIを備えた最適なクローズドソースオーディオ音声認識システムを検索する

8. テストレポートを使用して、ビデオ拡張機能を音声認識システムに統合する実験

目的：

以前の研究で得られた経験に基づいて、音声認識システムへのビデオ拡張のテスト統合を実行し、テストレポートを実施し、結論を導きます。

タスク：

ビデオ拡張機能を音声認識プログラムと統合する方法を詳細に検討し、オーディオビデオ同期自体の原理を探り、開発されたビデオ拡張機能を音声認識システムにテスト統合し、開発中のソリューションを評価します。

はじめに

以前の研究の過程で、私たちの目標と目的のためにオープンソースコードとクローズドソースコードに基づいて音声認識オーディオシステムを使用することの妥当性について結論が出されました。 決定したとおり、独自の音声認識システムの実装は非常に複雑で、時間とリソースを消費するタスクであり、この作業のフレームワーク内で達成することは困難です。 そのため、提示されたビデオ識別技術を音声認識システムに統合することを決定しました。音声認識システムはこのための特別な機能を備えています。 クローズドソースの音声認識システムはより効率的に実装されており、語彙の容量が多いために音声認識の精度が高くなるため、ビデオ開発の仕事への統合は、オープンソースデータベース。 しかし、クローズドソースの音声認識システムには、ライセンス契約に基づいてシステムの使用に重大な制限があるサードパーティのソリューションを仕事に統合する可能性に関する複雑なドキュメントがあることが多いという事実を念頭に置く必要があります。ライセンサーが提供する音声技術の使用ライセンス。



まず、実験として、開発したビデオ拡張機能の働きにより、Google Speech Recognition API音声認識システムの音声認識の品質を改善することを決定しました。 テストの時点では、Chromeブラウザーに基づくGoogle Speech APIにはまだGoogle連続音声認識機能がありませんでした。この機能は、Android OSに基づくSpeech Input連続音声認識テクノロジーに既に組み込まれていました。



ビデオ処理として、ユーザーの唇の動きを分析するためのソリューションと、音声処理とともに対象オブジェクトの点の動きの位相を修正するためのアルゴリズムが基礎として採用されています。 最終的には以下のようになります。

音声認識システムのパフォーマンスを改善するための口唇運動アナライザーのロジック

提示されたビデオ拡張機能で音声認識の精度を高めるタスクで追加の視覚化を使用することは、次の技術的特徴にあります。



ユーザーの唇の動きの並列処理とスピーカーの音声周波数の分析により、提示されたビデオ拡張機能は、実際のユーザーの音声に直接関連する音声ストリームをより正確に決定します。 これを行うために、開発中のソフトウェアは、音声信号とユーザーの唇の動きを常に分析しています。 ただし、ユーザーのスピーチを決定するための信号の記録、スピーカーのスピーチの一時停止、および音声認識システムのデータベースでのオーディオ信号の後続の送信と処理に必要なその他の状況の強調表示は、いくつかの理由が発生した後に行われます。 それらをより詳細に検討しましょう。



•ソリューションは、システムのマイクに入る音声周波数を記録し、その後処理します。 ただし、ユーザーがこれらの音の振動と一緒に唇のアクティブな動きを行わない場合、システムは後続の認識タスクのために音声の録音を開始しません。 図1は、ユーザーの唇の動きと、アクティブな音の振動がなく、ユーザーがアクティブな唇の動きをしていない期間に記録された音波を分析するプロセスを示しています。 現時点では、システムは音声フラグメントを記録しません。音声フラグメントは、後続の音声認識のタスクのために記録する必要があります。



図1.ユーザーの唇のアクティブな動きと音声波のアクティブな変動がダイナミクスで観察されない場合のシステムの例-したがって、後続の認識タスクでは音声録音は実行されません。



•また、拡張機能は、ユーザーがマイクをオフにするかノイズに敏感でない間、つまりアクティブな音の振動がない間、ユーザーが唇をアクティブに動かしたときに音の周波数を記録および処理しません。 この場合、システムはダイナミクスのデータの分析を開始します。 ユーザの唇の動きがそれ以上音の振動に追随しない場合、したがって、本発明は、その後の認識のタスクのためにこの音声ストリームを記録すべきではない。 図2は、ユーザーが唇の動きを変更した場合の、このような可能な例を示していますが、このプロセスの後に、時間的ダイナミクスのアクティブな音の振動が続きませんでした。



図2.唇のアクティブな動きが記録されているシステムの例（提示されている場合、ユーザーは笑います）が、時間的ダイナミクスではサウンド周波数のアクティブな変動はありませんでした。したがって、その後の認識のために音声録音は実行されません。



•また、提示されたソリューションは、音の振動がある場合、認識タスクのためにオーディオ信号を記録および後処理しませんが、時間のダイナミクスで追跡できる特定のユーザーの唇のアクティブな動きはありません。 図3は、これらの可能な例の1つを示しています：ユーザーの唇は閉じられており、ダイナミクスの位置はアクティブに変化せず、同時に特定の音の振動があります-したがって、この場合、デバイスは後続の認識タスクのオーディオトラックを記録しません。



図3.時間的ダイナミクスにおけるユーザーの唇のアクティブな動きが固定されていないシステムの例、同時に音の周波数にいくつかのアクティブな変動がある（提示されたケースでは音楽がオンになっている）-したがって、音声はその後の認識のために録音されません。



•デバイスのカメラがオンになって適切に構成されているように、ユーザーのマイクがオンになって適切に構成されている場合、デバイスの操作がオンになります。 音声信号の録音とその後の処理は、アクティブな音の振動がユーザーの唇のアクティブな動きと一致し始めた後にのみ開始されます。 次の点に留意する必要があります。

a）唇の活発な動き、ユーザーは原則として、活発な音の振動よりも少し早く発音し始めます。 この場合、提示されたソリューションは、ユーザーの唇の動きと時間的ダイナミクスのアクティブな音の振動に注目します。 ユーザーの唇のさらなるアクティブな動きが音の周波数のアクティブな変動と一致し始めた場合、唇の動きのアクティブな位相の開始と音の周波数が可能な限り一致する場所で、提示されたソリューションは、データベースでのさらなる処理と認識のためにユーザーの音声の記録を開始します音声認識システム。 ユーザーの唇のアクティブな動きの始まりと、それに続くアクティブな音の振動の例を図4に示します。



図4.サウンドトラックの開始位置の例。さらに分析するために音声認識システムのデータベースに送信するために記録する必要があります。 ご覧のように、システムはユーザーの唇の活発な動きを記録しましたが、これはやがて動的な動きが活発な音の振動と一致しました。 ユーザーの唇の音の振動と動きが最も活発になった場所で、録音のための音声の始まりが決定されました。



b）ただし、共同調音の結果として、後続の音の調音特性が前の音全体に課せられ、さまざまな理由でユーザーの唇の動きがアナウンサーが前の部分で一時停止した瞬間に完全に閉じる時間がない場合がありますスピーチ。 これは、開いた状態では、ユーザーの唇がユーザーの音声スピーチストリームと連動して動きを作成するために費やす時間と労力が少なくて済むという事実によるものです。 この場合、スピーチの録音の開始は、ユーザーの唇の最もアクティブな動きが、タイムダイナミクスでオーディオビデオストリームを分析する際のサウンド周波数のアクティブな変動と一致する瞬間に確実になります。 この原則は、話者の発言が停止した瞬間にも関係しますが、この場合のみ、話者の唇の動きとその周波数の変動のアクティブな位相が停止し始めます。 ユーザースピーチのこれらのインジケータのアクティブフェーズの最大同時終了の場所で、提示されたソリューションはユーザーのスピーチの記録を停止し、対応する認識の実装のためにスピーチ認識システムのデータベースに記録されたフラグメントを送信します。 この状況のシステムの例を図5に示します。



図5は、ユーザーの唇が開いた状態の例を示していますが、やがてアクティブな音の振動が始まりました。 この場合、唇の動きとユーザーの声の周波数の変動の最もアクティブな期間が観察された時点で、システムは後続の認識タスクのために音声を記録し始めます。 図からわかるように、音声のアクティブな位相は、その後の認識のために固定されており、スピーチのアクティブな音響振動が始まるよりも少し前に本発明によって決定された。 凝視の瞬間は、唇の動きと、最も関連性の高い平均値に基づく時間のダイナミクスにおけるユーザーの声の周波数の並列分析により正確に決定されました。



後続の処理タスクのための音声録音の終了は、ユーザーが口唇の活発な動きと音の周波数の変動を行うのを止めた瞬間に決定されます。 この瞬間は、時空間での分析のために考慮されます。 利便性のために、システム自体は、ユーザーの音声を一時停止とマイクロ一時停止に分割します。これは、最も正しい音声フラグメントを選択するという原則によって導かれます。これは、さらなる認識タスクのために記録されるべきではないストリームから分離する必要があり、時間空間で高速かつ高品質のデータ処理の原則と同様です。



したがって、システム自体は特定のユーザーの話し方に適応します。 ユーザーがスピーチをすばやく行う場合、この場合、提示されたシステムはスピーチの一時停止を修正して個々のスピーチの断片を強調表示し始めます。それは個々の表現または文のいずれかです。 ユーザーがスピーチをはっきりと明確にすると、この場合、システムは話者のスピーチに短いスピーチの断片を記録し始めます。それは、表現、文、または個々の単語などです。 必要に応じて、時間空間での視聴覚フローの分析の強度と、特定のユーザーの発話の一時停止を自動的に決定するシステムの機能を調整できます。



後続の認識のタスクのためにユーザーのスピーチの開始を修正する場合のように、ユーザーの唇の動きは、原則として、音声の変動より少し遅れて終了するという事実によって導かれる必要があります。 したがって、発話停止を最も正確に決定するために、システムは、アクティブな音の振動の終了がユーザーの唇の動きのアクティブな終了と一致する瞬間の平均値に基づいて、ユーザーの発話の終了を検出します。 図6は、ユーザーが唇を完全に閉じ、システムが後続の認識タスクのために音声の録音を停止した瞬間を示しています。



図6.さらなる認識タスクのためにユーザーの音声録音が終了する可能性のある例。



また、開発中のシステムは、ユーザーの唇のアクティブな動きとタイムラインでのユーザーのアクティブな音の振動の並列分析に基づいて、後続の認識タスクのオーディオストリームの処理に焦点を合わせていることに留意する必要があります。 同時に、開発されたシステムは、ユーザーの唇のアクティブな動きの組み合わせまたは組み合わせの終了が音波の振動とともに発生する最も関連性が高く、最も正確な瞬間をキャプチャします。



しかし、一般に、開発されたシステムは、ユーザーの唇の動きの決定と分析に重点を置いています。 これは、実際のユーザーの音声の音声認識手段に加えて、ビデオ識別システムが、ユーザーの音声の音声データの処理に主に焦点を当てている他のシステムと比較して、（ビデオ情報の追加ソースのため）より信頼性の高いシステムであるという事実によるものです。 したがって、開発されたシステムが音声のアクティブな音の振動を決定し始め、このプロセスの後に時間空間でユーザーの唇のアクティブな動きが続かない場合、これは、私たちが関係のない音声周波数について話していることを意味しますユーザーの発言-したがって、処理する必要はありません。 同じことがスピーチ終了の瞬間にも当てはまります-ユーザーが唇の動きのアクティブなフェーズを停止し、静的な位置で一定期間固定した場合、したがって、開発されたシステムは、視覚化ソリューションにより、音声の記録を停止しますが、いくつかのアクティブな音の振動。

テストビデオ

テストレポート

長所

したがって、時間のダイナミクスでの彼の声の周波数の分析と併せてユーザーの唇の動きの並列処理により、提示されたビデオ拡張機能は、リアルタイムでの音声データの単なる予備的な視覚処理により、音声認識システムの精度を向上させます：

•開発中のシステムは、ユーザーの音声とは関係のない音声周波数を処理しません。したがって、これらの音声データは、後続の認識タスクのために音声認識システムのデータベースに入力されません。

•開発中のシステムは、ユーザーの音声ビデオ音声ストリームの並列処理により、特定のユーザーの音声の開始と終了をより正確に自動的に決定できます。システムはこの音声ファイルを修正した後、音声認識システムのデータベースに後続の認識タスクのために送信します。

•開発中のシステムは、ユーザーの音声スタイルに適合しています。 一時停止とマイクロ一時停止をより確実に固定するために、開発中のシステムは、タイムダイナミクスで提示されたスピーカーの音声情報に基づいて、後続の認識タスクの音声録音を開始または停止できるギャップを識別します。 必要に応じて、特定のユーザー向けにこの分析プロセスを調整できます。

•開発中のシステムは、常に音声録音を生成します。 すなわち、視聴覚音声記録が実行されるデバイスは、音声認識プロセス全体の間、その作業を停止せず、本発明のユーザーは、デバイス自体に気を取られることなく彼の音声を継続的に認識する能力を有する。

•適切な認識プロセスを通過した後の結果データは、自動モードでユーザーのデバイスに表示されます。

•提示されたシステムは、時間的ダイナミクスにおけるユーザーの唇の動き、およびユーザーの唇の動きのアクティブフェーズと彼の声の周波数を組み合わせるアクティブフェーズの組み合わせに重点を置いています。 これは、唇の動きが、音声情報のみを使用するよりも、このシステムの実際のユーザーと彼の発話について、より有益なアイデアを与えるという事実によるものです。

•実際のユーザーの唇の動きの決定に基づいたオーディオストリームの予備処理と、彼の声の周波数の分析により、データ処理の全体的な速度が低下します。 一方で、話者のスピーチとは無関係の無関係なオーディオストリームは、スピーチ認識システムのデータベースには入りません。 一方、音声認識システムのデータベースでは、予備の視聴覚処理の後、ユーザーの発話頻度は、一般的な発話ストリームではなく、個別の小さな構造化された断片になります。

•実際、追加の情報源を使用することにより、音声認識の品質が向上します。

短所

•不自然。 プログラムで唇の動きを修正するには、被写体が常にフレーム内にある必要があります。これは、ほとんどの潜在的なユーザーにとって不自然であり、プログラムを不快にします。 これは、音声認識システムの主な利点=自由の効果であり、デバイスとそのキーボードから切り離されています。

•画質に対する感度。 通常、システムにはアーティファクトのない背景が必要です。 被写体の外部の雑多なレビュー、または背景に干渉が多い暗い、明るい、対照的な、または他の部屋は、システムの品質に悪影響を及ぼす可能性があります。

•カメラに対する感度。 システムが機能するためには、原則として、ワイドスクリーンカメラが必要です。これは、ビデオから可能な限り効率的に情報を読み取る必要があります。

•デバイスに対する感度。 システムを正しく動作させるには、リアルタイムでデータを計算し、毎秒25フレームの頻度でビデオの情報を計算できるデバイスが必要です。

•距離。 プログラムが適切に機能するためには、カメラと被写体の間の従属性を観察する必要があります。 このプログラムでは、カメラの前で顔全体を顔全体で見ることができる必要があります。 同時に、唇からの情報を可能な限り効率的に読み取ることができるように、距離は十分でなければなりません。

•行動機能。 フレーム内の人は落ち着いて行動する必要があります。通信するときは、不必要なジェスチャーなどを使用しないでください。システムに干渉する可能性があります。

•人の顔に干渉がある。 人の顔の画像からの情報はよく読み上げられるべきです-あごひげや異物などがあってはならないので、システムの作業で関心のある対象をカバーしてください。

•提示された条件に違反すると、音声認識の品質が向上するだけでなく、悪化する可能性もあります。

おわりに

したがって、最も一般的なクローズドソースの音声認識システムを検討した結果、Googleの音声ツールを使用することにしました。この音声ツールは、計算能力が高く、1日あたりの音声リクエスト数に制限がないため、より正確で高速です。

提示された研究作業におけるこれらの状況を考慮して、Google Speech Recognition APIに基づいて、開発したビデオ拡張機能を既存の音声認識システムにテスト統合することができました。 ビデオ（つまり、音声認識中のユーザーの唇の分析器）が追加の情報源になりうることを実験的に証明することができました。ただし、提示されたソリューションは、現在調査可能ではなく、スピーチテクノロジーの主な利点である「デバイスからの自由の効果」と矛盾するため、ユーザーによる実装にはほど遠いものです。さらに、私たちの経験に基づいて、システムのアーキテクチャを修正し、ビデオを音声認識システムの精度を向上させる改良ツール、一般的なストリームからの話者の音声を迅速に検証する手段、および音声ビデオの識別とユーザー認証の優れたソリューションを使用することを計画していますキーボード。

続く