音声障害のある人々を支援するためのコンピューティングシステムの音声インターフェイスの概念

はじめに

現在、障害者と障害者のためのアクセスしやすい環境を作ることに多くの注意が払われています。 アクセシビリティを確保し、障害のある人々の生活の質、社会的相互作用、社会への統合を改善する重要な手段は、コンピューター施設と専門的な情報システムです。 文献の分析により、コンピューターシステムを管理するための音声インターフェイスの開発など、人間とコンピューターの相互作用を促進するためのさまざまな開発が現在進行中であることが示されました。 ただし、これらの開発は、ビッグデータでトレーニングされ、音声機能にさまざまな違反がある人によるコンピューターへのコマンドの発音の特殊性を考慮しない、スピーカーに依存しないシステムの作成によって導かれます。



研究作業の目的は、機械学習法に基づいてコンピューターシステムを管理するための話者依存の音声インターフェイスを設計することです。



作業で解決されたタスク：

1. 音声インターフェイスと、それらを使用してコンピューティングシステムを制御する方法のレビューを実施します。
2. コンピューターシステムの音声制御をパーソナライズする方法を探ります。
3. コンピューターシステムを管理するための音声インターフェイスの数学モデルを開発する。
4. ソフトウェア実装アルゴリズムを開発します。

解決方法。 タスクを解決するには、システム分析、数学的モデリング、機械学習の方法が使用されます。

コンピューティングシステムを制御する方法としての音声インターフェイス

音声認識システムの作成は非常に難しい作業です。 多くの機能を備えたロシア語を認識することは特に困難です。 すべての音声認識システムは、2つのクラスに分類できます。



話者依存システム -学習プロセスで話者の発話に合わせて調整されます。 別のスピーカーを使用するには、このようなシステムを完全に再構成する必要があります。



スピーカーに依存しないシステム -その動作はスピーカーに依存しません 。 このようなシステムは事前のトレーニングを必要とせず、どのスピーカーのスピーチも認識できます。



最初に、最初のタイプのシステムが市場に登場しました。 それらでは、チームの音像は不可欠な標準の形で保存されていました。 未知の発音と標準チームを比較するために、動的プログラミングの方法を使用しました。 これらのシステムは、10〜30チームの小さなセットを認識し、1人の話者のみを理解したときにうまく機能しました。 別のスピーカーを使用するには、これらのシステムを完全に再構成する必要がありました。

連続的なスピーチを理解するためには、数十から数十万語のはるかに大きなサイズの辞書に行く必要がありました。 第1種のシステムで使用される方法は、このような多数の単語の標準を作成することは単に不可能であるため、この問題の解決には適していませんでした。



連続的なスピーチを理解するためには、数十から数十万語のはるかに大きなサイズの辞書に行く必要がありました。 第1種のシステムで使用される方法は、このような多数の単語の標準を作成することは単に不可能であるため、この問題の解決には適していませんでした。



さらに、システムをアナウンサーから独立させたいという要望がありました。 これは非常に困難な作業です。なぜなら、それぞれの人が個別の話し方をしているからです：会話のペース、声の音色、発音の特徴。 このような違いは、音声の可変性と呼ばれます。 それを考慮するために、主に隠れマルコフモデル（SMM）または人工神経回路網の数学的装置に基づいて、新しい統計的手法が提案されました。 これら2つの方法を組み合わせることで、最良の結果が得られました。 各単語のパターンを作成する代わりに、単語を構成する個々の音のパターン、いわゆる音響モデルが作成されます。 音響モデルは、数百人の音声記録を含む大規模な音声データベースの統計処理によって形成されます。 既存の音声認識システムは、根本的に異なる2つのアプローチを使用しています。



音声タグ認識-事前に記録されたパターンによる音声の断片の認識。 このアプローチは、録音済みの音声コマンドを実行するように設計された比較的単純なシステムで広く使用されています。



字句要素の認識 -音素や異音など、最も単純な字句要素の音声からの分離。 このアプローチは、発音された音をテキストに完全に変換するテキストディクテーションシステムの作成に適しています。



さまざまなインターネットソースを確認すると、音声認識の問題とその主な特徴を解決する次のソフトウェア製品を強調できます。



Gorynych PROF 3.0は、ロシア語をサポートするディクテーションを使用して、話し言葉を認識し、タイピングするための使いやすいプログラムです。 これは、音声認識の分野におけるロシアの開発に基づいています。



特徴：

• スピーカー依存。
• 言語依存（ロシア語と英語）;
• 認識精度は、American Dragon Dictateシステムのコアに依存します。
• オペレーティングシステム、テキストエディタ、およびアプリケーションプログラムの特定の機能に音声制御を提供します。
• トレーニングが必要です。

VoiceNavigatorは、コンタクトセンター向けのハイテクソリューションで、Voice Self-Service Systems（GHS）を構築するために設計されています。 VoiceNavigatorを使用すると、合成および音声認識技術を使用して自動的に通話を処理できます。



特徴：

• スピーカーの独立。
• 環境ノイズおよび電話チャネルの干渉に対する耐性。
• ロシア語の音声認識は、97％（100語の辞書）の信頼性で動作します。

Speereo音声認識 -音声認識はサーバー上ではなくデバイス上で直接行われるため、開発者によると、これは重要な利点です。



特徴：

• ロシア語の音声認識は、約95％の信頼性で機能します。
• スピーカーの独立。
• 約15万語の語彙。
• 複数の言語の同時サポート。
• コンパクトなエンジンサイズSakrament ASR Engine（Sacramentにより開発）

Sakrament ASR Engine- （Sacramentが開発）-音声認識技術は、音声管理ツールの作成に使用されます-音声コマンドを使用してコンピューターまたはその他の電子デバイスの動作を制御するプログラム、および電話ヘルプと情報サービスを編成します。



特徴：

• スピーカーの独立。
• 言語の独立;
• 認識精度は95〜98％に達します。
• 表現および小さな文の形での音声認識;
• 学習の機会はありません。

Google音声検索 -最近、Googleの音声検索がGoogle Chromeブラウザに統合され、さまざまなプラットフォームでこのサービスを使用できるようになりました。



特徴：

• ロシア語のサポート。
• Webリソースに音声認識を埋め込む機能。
• 音声コマンド、フレーズ;
• 動作するには、インターネットへの常時接続が必要です。

Dragon NaturallySpeaking- （Nuance Company）人間の音声認識ソフトウェアの世界的リーダー。 新しいドキュメントの作成、電子メールの送信、一般的なブラウザおよびさまざまなアプリケーションの音声コマンドによる管理。



特徴：

• ロシア語のサポートの欠如;
• 最大99％の認識精度。

ViaVoice- （IBM）は、ハードウェア実装用のソフトウェア製品です。 このコアに基づいて、ProVox TechnologiesはVoxReports放射線科医の報告を口述するためのシステムを作成しました。



特徴：

• 認識精度は95〜98％に達します。
• スピーカーの独立。
• システム辞書は特定の用語のセットに制限されています。

Sphinxは、今日の有名で効率的なオープンソースの音声認識ソフトウェアです。 開発はカーネギーメロン大学で行われ、バークリーソフトウェアディストリビューション（BSD）の下でライセンスされており、商用および非商用の両方で利用できます。



特徴：

• スピーカーの独立。
• 連続音声認識;
• 学習能力;
• 組み込みシステムのバージョンの入手可能性-Pocket Sphinx。

したがって、調査では、多数のユーザーを対象としたソフトウェア製品が市場で普及しており、原則として話者に依存せず、独自のライセンスを持っていることが示されました。 スマートホーム、外骨格などの専用ツールの音声制御システムは、普遍的ではありません。 ただし、新しい技術への関心が高まっており、モバイル通信、Bluetooth技術を介してさまざまなデバイスを制御する機会があります。 家電製品を含む。 特定のユーザーに焦点を当てた音声制御技術を使用すると、障害者の日常生活の質と社会的適応が向上します。

話者の状態とその特徴を認識するための数学的装置

作業で提起された問題を解決するために、システムの要件を分析します。



システムは次のとおりです。

1. スピーカーに依存。
2. 特定のユーザーの特定の発音に従って学習します。
3. 特定の数の音声タグを認識し、それらを制御コマンドに変換します。

音声インターフェイスは次のとおりである必要があります：音声依存、限られた語彙セット。



音声コマンドは音波です。 音波は、それに含まれる周波数のスペクトルとして表すことができます。 デジタルサウンドは、振幅の離散的な数値を通じて電気信号を表す方法です。 メインメモリ内のオーディオファイルは、音声インターフェイスが機能するための入力情報として機能します。ファイルがニューラルネットワークに送信されると、プログラムは対応する結果を返します。



デジタル化とは、特定の時間間隔での信号振幅の固定と、得られた振幅値の丸められたデジタル値の登録です。 信号のデジタル化には、サンプリングプロセスと量子化プロセスの2つのプロセスが含まれます。



サンプリングプロセスは、特定の時間ステップで変換される信号値を取得するプロセスです。このステップはサンプリングステップと呼ばれます。 1秒間に実行される信号の大きさの測定回数は、サンプリング周波数またはサンプリング周波数、またはサンプリング周波数と呼ばれます。 サンプリングステップが小さいほど、サンプリング周波数が高くなり、取得する信号の表現がより正確になります。



量子化は、信号振幅の実際の値をある程度の精度で近似値に置き換えるプロセスです。 2Nの可能な各レベルは量子化レベルと呼ばれ、2つの最も近い量子化レベル間の距離は量子化ステップと呼ばれます。 振幅スケールが線形にレベルに分割される場合、量子化は線形または均一と呼ばれます。



記録された信号振幅値はサンプルと呼ばれます。 サンプリングレートが高く、量子化レベルが高いほど、信号のデジタル表現はより正確になります。



特徴を区別する問題を解決するための数学的装置として、必要な記号を学習して自動的に選択できるニューラルネットワークを使用することをお勧めします。 これにより、特定のユーザーの音声コマンドの特定の発音についてシステムをトレーニングできます。 さまざまなニューラルネットワークのメカニズムを比較して、最適な2つを選択しました。 これは、コスコとコホーケンのネットワークです。



Kohonenの自己組織化マップは、教師なしで学習を行うニューラルネットワークであり、視覚化とクラスタリングのタスクを実行します。 これは、多次元空間を低次元（ほとんどの場合、2次元）の空間に投影する方法であり、モデリングの解決、問題の予測、独立した特徴のセットの識別、大規模なデータセットのパターンの検索、コンピューターゲームの開発にも使用されます。 Kohonenニューラルネットワークのバージョンの1つです。



Kohonenネットワークは、適切なネットワークです。このネットワークは、トレーニングサンプルをクラスターに自動的に分割できるため、クラスターの数はユーザーが設定します。 ネットワークをトレーニングした後、入力例が属するクラスターを計算し、対応する結果を出力できます。



Coscoニューラルネットワークまたは双方向連想メモリ（DAP）は、Stefan Grosbergの適応共鳴理論とHopfieldの自動連想メモリという2つのアイデアに基づく単層フィードバックニューラルネットワークです。 DAPはヘテロアソシエイティブです。入力ベクトルはニューロンの1つのセットに到達し、対応する出力ベクトルはニューロンの別のセットで生成されます。 ホップフィールドネットワークと同様に、DAPは一般化が可能であり、入力が歪んでいるにも関わらず適切な反応を生成します。 さらに、WCTの適応バージョンを実装して、ノイズの多いインスタンスからの参照画像を強調表示することができます。 これらの機能は、人間の思考プロセスに非常に似ており、人工ニューラルネットワークが脳のモデリングの方向に一歩踏み出すことを可能にします。



このネットワークの利点は、適応共鳴理論の離散ニューラルネットワークに基づいて、ニューラルネットワークを再トレーニングせずに新しい情報を保存できる新しい双方向連想メモリが開発されることです。 これにより、ユーザーは必要に応じて音声タグの在庫を補充できます。

設計

ソフトウェア実装の概念には、人間工学に基づいたグラフィカルインターフェイスを持つ1つのソフトウェア製品に実装される3つの段階が含まれます。



トレーニング例のコレクション。



ニューラルネットワークをトレーニングするために、ユーザーは準備された音声タグを数回言うように求められます。 記録されたフレーズは1つの単語で構成されているため、ファイルサイズは重要ではありません。 さらに処理するために、サウンドはWAV形式で記録されます。 これはPCMロスレス記録形式です。 これは、 python_speech_features Pythonライブラリを使用したサウンド処理の標準です。 ニューラルネットワークのさらなるトレーニング（対応するコマンド）に必要な「値」は、オーディオファイルに添付する必要があります。



ニューラルネットワークトレーニング。



このプログラムは、オーディオファイルを読み取り、オーディオトラックの長さを変更したり、音声のピッチ、音量、トーンを変更したりして、新しいオーディオファイルを生成します。 これは、トレーニングサンプルのサンプル数を増やすために必要です。これにより、ニューラルネットワークによる認識の品質が向上します。 プログラムでは、ユーザーは以前に録音された音声タグでネットワークをトレーニングするよう求められます。 ユーザーはトレーニング音声タグでベースを補完し、後でニューラルネットワークを再トレーニングすることもできます。



プログラムを使用します。



指定された単語でプログラムをトレーニングした後、ユーザーは仕事に取りかかるか、トレーニングに新しい音声タグを追加できます。 訓練されたニューラルネットワークは、配信されたオーディオファイルを認識できます。

おわりに

したがって、研究作業では、音声インターフェースの現代市場とその使用のレビューが行われます。 このタイプのソフトウェアは、システムでの音声に依存しない音声制御の使用に焦点を当てており、ユーザーの個々の特性を考慮に入れていないことが示されています。



音声障害のある人を支援するためのコンピューターシステムの音声制御インターフェイスの要件が定義されています。



この概念を実装するのに適した数学的装置について説明します。 音声インターフェイスのソフトウェア実装のアルゴリズムがコンパイルされます。



さらなる開発には、障害者による家電製品、コンピューター、ロボット機器（外骨格）の制御など、さまざまなタスクに使用できるプロトタイプの音声制御インターフェイスを実装するための便利なグラフィカルインターフェイスを備えたプログラムの開発が含まれます。