音声によるシンプルなコンピューター制御

固定された人が外の世界と通信するためにコンピューターを管理するのを助ける方法に興味があるなら、ここにいます。 ケプストラム係数とニューラルネットワークがこれにどのように関係しているかに興味がある場合は、こちらもご覧ください。

パートI.音声を使用してコンピューターを制御するプログラム

私は、声でコンピューターのマウスを制御できるプログラムを書くように頼まれた人からアプローチされました。 それから、頭を回すことさえできないが、話すことしかできない、ほぼ完全に麻痺した人が、活発な活動を展開し、自分や他の人が活動的な生活を送り、新しい知識とスキルを獲得し、仕事をし、お金を稼ぐことができるとは想像できませんでした、世界中の他の人とコミュニケーションを取り、ソーシャルプロジェクトのコンテストに参加します。



サイトへのリンクを2つ紹介します。著者および/またはイデオロギーのインスピレーターは、この人物です-ベラルーシ、ボリソフ市のAlexander Makarchuk：

	「At Owl」は、障害を持つ人々のための遠隔教育学校です。 sova.by
	「制限なし」 -bezogranicheniy.ruの手なしでコンピューターで作業する必要がある人のためのヒント

アレクサンダーはコンピューターで作業するために、ワシントン大学の学生が開発し、国立科学財団（NSF）が資金提供したVocal Joystickプログラムを使用しました。 melodi.ee.washington.edu/vjをご覧ください





このプログラムは2005年から2009年に作成され、Windows XPでうまく機能しました。 Windowsの最近のバージョンでは、プログラムがフリーズする場合があります。これは、椅子から出て再起動できない人には受け入れられません。 したがって、プログラムをやり直す必要がありました。



ソーステキストはありません。それが基にしている技術を明らかにしている個々の出版物しかありません（MFCC、MLP-これについては第2部で読んでください）。



新しいプログラムがイメージと肖像で書かれました（約3か月）。



実際に、 ここでどのように機能するかを見ることができます ：







プログラムをダウンロードするか、ソースコードを参照してください 。



プログラムをインストールするために特別なアクションを実行する必要はありません。クリックして実行するだけです。 場合によっては、管理者として実行する必要があります（たとえば、「Comfort Keys Pro」仮想キーボードを使用する場合）。







おそらく、ここで、手なしでコンピューターを制御できるようにするために以前行った他のことについて言及する価値があります。



頭を回す機会があれば、頭に取り付けられたジャイロスコープがeViacamの代替として役立ちます。 高速で正確なカーソル位置と光の独立性が得られます。



詳細はこちら 。



目の瞳孔のみを移動できる場合は、視線方向トラッカーとそのためのプログラムを使用できます（メガネをかけている場合は困難な場合があります）。



詳細はこちら 。

パートII どのように機能しますか？

Vocal Joystickプログラムに関する公開資料から、次のように機能することがわかっています。

1. サウンドストリームを10ミリ秒のオーバーラップで25ミリ秒のフレームにカットする
2. 各フレームの13ケプストラル係数（MFCC）を取得します
3. 多層パーセプトロン（MLP）を使用して、6つの記憶音（4つの母音と2つの子音）の1つが発音されることを確認する
4. 動き/マウスクリックで見つかった音の具体化

最初のタスクは、それをリアルタイムで解決するために、マイクからのデータの読み取り、サウンドの処理、およびサウンドカードを介したサウンドの再生が非同期で発生するため、プログラムに3つの追加ストリームを導入する必要があるため、注目に値します。



最後のタスクは、単にSendInput関数を使用して実装されます。



2番目と3番目のタスクが最大の関心事であるように思えます。 だから。

タスク番号2。 13ケプストラル係数の取得

誰かがトピックに含まれていない場合、コンピューターによる音の認識の主な問題は次のとおりです。2つの音を比較することは困難です。



そして、音声認識に携わっている人たちの間で、「哲学者の石」-音波を明確に分類する機能のセット-の検索があります。



一般に利用可能であり、教科書に記載されている兆候の中で、最も広く使用されているのは、いわゆるメロ周波数ケプストラム係数（MFCC）です。



彼らの話は、元々はまったく異なるもの、つまり信号のエコーを抑えることを意図していたものです（オッペンハイムとシェーファーへのこの主題に関する有益な記事を書いた、これらの高貴な夫の家に喜びがあるかもしれません。AVオッペンハイムとRWシェーファーを参照してください。」周波数からQuefrencyへ：ケプストラムの歴史 ''）。



しかし、人は自分が最もよく知っていることを使う傾向があるように構成されています。 そして、音声信号に従事している人々は、MFCCの形で信号の既製のコンパクトな表現を使用することが起こりました。 一般に、それが機能することが判明しました。 （換気システムの専門家である私の知り合いの一人が、夏の家の作り方を尋ねたとき、換気ダクトの使用を提案しました。他の建築材料よりもよく知っていたからです）。



MFCCは音の良い分類器ですか？ 私は言いません。 異なるマイクに向かって発声した同じ音がMFCC係数の空間の異なる領域に分類され、理想的な分類器がそれらを並べて描画します。 したがって、特に、マイクを変更するときは、プログラムを再トレーニングする必要があります。







これは、13次元MFCC空間の3次元への投影の1つにすぎませんが、私が意味することも示しています-赤、紫、青のポイントは、異なるマイクから取得されます：（Plantronix、内蔵マイクアレイ、Jabra）音は単独で発音されました。



ただし、これ以上良いものを提供できないため、MFCC係数の計算という標準的な手法も使用します。



実装に間違えられないように、プログラムの最初のバージョンでは、よく知られているCMU Sphinxプログラムのコードがベースとして使用されました。より正確には、Carnegie Mellon Universityで開発されたpocketsphinxと呼ばれるCでの実装です（両方とも平安あれ！（）Hottabych ）



pocketsphinxのソースコードは公開されていますが、それは不運です-それらを使用する場合は、特に以下を含むプログラム（ソースと実行可能モジュールの両方）にテキストを記述する必要があります。

* This work was supported in part by funding from the Defense Advanced * Research Projects Agency and the National Science Foundation of the * United States of America, and the CMU Sphinx Speech Consortium.
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

これは私には受け入れられないように思えたので、コードを書き直さなければなりませんでした。 これは、プログラムの速度に影響を及ぼしました（ところで、コードの「読みやすさ」は少し低下しましたが、良いことですが）。 主に「Intel Performance Primitives」ライブラリの使用によるものですが、MELフィルターなどの最適化も行いました。 それにもかかわらず、テストデータの検証では、取得されたMFCC係数は、たとえばsphinx_feユーティリティを使用して取得されたものと完全に類似していることが示されました。



sphinxbaseプログラムでは、MFCC係数の計算は次の手順で実行されます。

ステップ	Sphinxbase関数	操作の本質
1	fe_pre_emphasis	現在のカウントから、以前のカウントの大部分が減算されます（たとえば、値から0.97）。 プリミティブローパスフィルター。
2	fe_hamming_window	ハミングウィンドウ-フレームの最初と最後に減衰を導入します
3	fe_fft_real	高速フーリエ変換
4	fe_spec2magnitude	通常のスペクトルからパワースペクトルを取得し、位相を失います
5	fe_mel_spec	MELスケールとウェイトを使用して、スペクトルの周波数（たとえば256個）を40のヒープにグループ化します。
6	fe_mel_cep	対数を取り、DCT2変換を前のステップの40個の値に適用します。 結果の最初の13個の値を残します。 DCT2にはいくつかのバリアント（HTK、レガシー、クラシック）があり、それらは取得した係数を分割する定数とゼロ係数の特別な定数が異なります。 任意のオプションを選択できますが、これにより本質は変わりません。

fe_track_snr、fe_vad_hangoverなどの機能は、信号をノイズと無音から分離できるようにするこれらのステップにも組み込まれていますが、それらは必要ないので、気が散ることはありません。



MFCC係数を取得する手順の代わりに、次の置換が行われました。

ステップ	Sphinxbase関数	変更
1	fe_pre_emphasis	cas_pre_emphasis （フレーム[i]経由=フレーム[i-1] * pre_emphasis_alpha;）
2	fe_hamming_window	for（i = 0; i <MM_SOUND_BUFFER_LEN; i ++） buf_in [i] * =（0.53836-0.46164 * cos（2 * 3.14159 * i /（MM_SOUND_BUFFER_LEN-1））））;
3	fe_fft_real	ippsDFTFwd_RToCCS_32f
4	fe_spec2magnitude	for（i = 0; i <= DFT_SIZE / 2; i ++） buf_ipp [i] = buf_ipp [i * 2] * buf_ipp [i * 2] + buf_ipp [i * 2 + 1] * buf_ipp [i * 2 + 1];
5	fe_mel_spec	cas_mel_spec （事前計算されたテーブルを介して）
6	fe_mel_cep	CS_mel_cep （対数+ ippsDCTFwd_32f_I経由）

次は？ 13次元の空間ベクトルがあります。 どの音を指しているのかを判断する方法は？

タスク番号3。 6つの記憶された音の1つが発音されることを確認する

オリジナルのVocal Joystickプログラムでは、多層パーセプトロン（MLP）、新しい絡み合ったwithoutやwithoutのないニューラルネットワークが分類に使用されました。



ニューラルネットワークの使用がどのように正当化されるかを見てみましょう。



ニューロンが人工ニューラルネットワークで行うことを思い出してください。



ニューロンにN個の入力がある場合、ニューロンはN次元空間を半分に分割します。 超平面でスイープします。 さらに、スペースの半分では機能し（肯定的な答えを与えます）、もう一方では機能しません。



[実際]最も簡単なオプション、つまり2つの入力を持つニューロンを見てみましょう。 当然、彼は二次元空間を半分にします。



値X1とX2を入力に供給し、ニューロンが重みW1とW2を乗算し、自由項Cを追加します。









ニューロンの出力（Yで表します）では、次のようになります：



Y = X1 * W1 + X2 * W2 + C



（ここではシグモイド関数に関する微妙な点は省略しましょう）



Y> 0のときにニューロンがトリガーされると信じています。 方程式0 = X1 * W1 + X2 * W2 + Cで定義される線は、スペースを単にY> 0の部分とY <0の部分に分割します。



具体的な数字で言われたことを説明します。



W1 = 1、W2 = 1、C = -5;







ここで、相対的に言えば特定の空間の領域で動作するニューラルネットワークを編成する方法を見てみましょう。スポットは、他のすべての場所では機能しません。



図から、2次元空間の領域の輪郭を描くために、少なくとも3本の線、つまりそれらに関連付けられた3つのニューロンが必要であることがわかります。







これら3つのニューロンを別のレイヤーの助けを借りて組み合わせて、多層ニューラルネットワーク（MLP）を取得します。







また、2つの空間領域で動作するニューラルネットワークが必要な場合、少なくとも3つのニューロンが必要です（図では4,5,6）。





そして、ここでは、3番目のレイヤーなしではできません。





そして、3番目の層はほとんどディープラーニングです...







ここで、別の例に助けを求めます。 ニューラルネットワークで、赤い点に肯定的な答えを、青い点に否定的な答えを与えるようにします。







直線から青色から赤色をカットするように求められたら、次のようにします：







しかし、先験的にニューラルネットワークは、必要な直接（ニューロン）の数を知りません。 このパラメータは、ネットワークをトレーニングする前に設定する必要があります。 そして、人はこれに基づいて...直観または試行錯誤を行います。



最初のレイヤーで選択するニューロンが少なすぎる場合（たとえば3つ）、多くのエラーを与えるようなカットを取得できます（エラー領域は影付きです）。







しかし、トレーニングの結果としてニューロンの数が十分であっても、エラー率が高い場合、ネットワークは「収束しない」、つまり、最適とはほど遠い安定状態を達成する場合があります。 このように、上部のクロスバーは2つのこぶの上に置かれ、どこにも残されません。 そしてその下には、エラーを生成する大きな領域があります。







繰り返しますが、そのような場合の可能性は、トレーニングの初期条件とトレーニングのシーケンス、つまりランダムな要因に依存します。

-その車輪は、もしそれが起こったとしても、モスクワに届くと思いますか？

-そして、あなたはエンタニューラルネットワークが収束するか、収束しないと思いますか？

ニューラルネットワークに関連する別の不快な瞬間があります。 彼らの「忘れっぽさ」。



青いドットだけをネットに供給し始め、赤いドットの供給を停止すると、彼女は簡単に赤い領域をつかんで、境界線をそこに移動できます。







ニューラルネットワークに多くの欠点があり、人がニューラルネットワークよりもはるかに効率的に境界を描画できる場合、なぜそれらを使用するのでしょうか。



そして、小さな、しかし非常に重要な詳細が1つあります。



2次元空間の線分によって、赤いハートと青い背景を非常にうまく分離できます。



金星の像を周囲の3次元空間から分離するのに良い仕事ができます。



しかし、4次元の空間では何もできません。ごめんなさい。 そして13次元で-さらにそうです。



しかし、ニューラルネットワークの場合、空間の次元は障害ではありません。 私は小さな次元の空間で彼女を笑ったが、普通を超えた途端に彼女は私に簡単に支払った。



それでも、問題は未解決のままです。この特定のタスクでニューラルネットワークを使用することは、ニューラルネットワークの上記の欠点を考えると、どの程度正当化されるのでしょうか。



MFCC係数が13次元空間にあることを少し忘れて、2次元、つまり平面上の点であることを想像してください。 この場合、ある音を別の音からどのように分離できますか？



サウンド1のMFCCポイントの標準偏差をR1とします。これは、[大体]平均から大きく離れていないポイント、最も特徴的なポイントが半径R1の円の中にあることを意味します。 同様に、サウンド2で信頼するポイントは、半径R2の円の内側にあります。







注意、問題は、サウンド1とサウンド2を分離するのに最適な線をどこに引くかです。



答えは次のとおりです。円の境界の中間。 異議はありますか？ 異論はありません。

修正：プログラムでは、この境界は円の中心を結ぶセグメントを比率R1：R2で分割します。これはより正確です。







次に、3つの音があると想像してください。 この場合、サウンドの各ペアの間に線を引きます。







最後に、空間のどこかにポイントがあることを忘れないでください。これは、MFCCスペースの完全な沈黙の表現です。 いいえ、13個のゼロではありません。 これは、標準偏差を持つことができない1つのポイントです。 そして、3つの音から切り取る線は、円の境界に沿って直接描画できます。







次の図では、各音はその色の空間の一部に対応しており、この音または空間のその点（またはいずれにも当てはまらない）をいつでも言うことができます。







さて、スペースは13次元であることを思い出してください。紙に描くのが良かったのは、人間の脳に収まらないものであることが判明しました。



はい、そうではありません。 幸いなことに、あらゆる次元の空間には、点、線、[超]平面、[超]球体などの概念が残ります。



13次元空間ですべて同じアクションを繰り返します。分散を見つけ、[ハイパー]球体の半径を決定し、中心を直線で接続し、[ハイパー]球体の境界から等しく離れた点で[ハイパー]平面で切断します。



ニューラルネットワークでは、ある音と別の音をより正確に分離することはできません。



ただし、ここでは予約が必要です。 音の情報がすべての方向で平均から等しく外れている点の雲である場合、つまり超球にうまく適合する場合、これはすべて真実です。 この雲が複雑な形状の図形、たとえば13次元の湾曲したソーセージである場合、上記のすべての議論は当てはまりません。 そしておそらく、適切なトレーニングを行えば、ニューラルネットワークはその強みをここで示すことができます。



しかし、私は危険を冒しません。 そして、たとえば、正規分布セット（GMM）を適用します（ちなみに、これはCMU Sphinxで行われました）。 どの特定のアルゴリズムが結果につながったかを理解するとき、それは常に良いです。 ニューラルネットワークのようではありません。オラクルは、トレーニングのためにデータからブロスを調理する多くの時間に基づいて、要求されたサウンドがサウンドNo. （車の制御をニューラルネットワークに任せようとすると特にイライラします。非標準的な状況で、車が左に曲がって右に曲がらない理由を理解する方法は？全能のニューロンが命じたのですか？）



しかし、正規分布のセットは別の大きなトピックであり、この記事の範囲を超えています。



記事が参考になり、そして/またはあなたの脳がきしみ音を立てることを願っています。