音声ユーザー識別

音声認識のトピックを続けて、私はかつて商用製品をもたらすことを望んでいた古い卒業証書を共有したいと思いますが、その後、このプロジェクトを離れて、他の学生を喜ばせるネットワークに置きました。 おそらく、このトピックは学問的な精神だけでなく、一般的な発展にとっても興味深いでしょう。



私の論文のテーマは、「音声のスペクトル特性のニューラルネットワーク分析に基づく不正アクセスに対する保護のためのCADサブシステムの開発」でした。 もちろん、卒業証書自体には結核や経済学などのように多くの水がありますが、数学的および実用的な部分、および既存の同様のソリューションの分析もあります。 最後に、プログラムと卒業証書自体をレイアウトします。他の誰かが役に立つかもしれません。



では、なぜそれが必要なのでしょうか？

ユーザーをパーソナライズする主な方法は、ユーザーのネットワーク名とパスワードを示すことです。 パスワードの使用に関連する危険性はよく知られています。パスワードは忘れられ、間違った場所に保存され、最終的には単に盗まれる可能性があります。 一部のユーザーはパスワードを紙に書き留め、これらのメモをワークステーションの近くに保管します。 多くの企業の情報技術グループによると、サポートサービスへの呼び出しのほとんどは、忘れたパスワードまたは期限切れのパスワードに関連付けられています。



既存のシステムの運用方法。

ほとんどのバイオメトリックセキュリティシステムは次のように動作します。デジタル指紋、虹彩、または音声がシステムのデータベースに保存されます。 マイク、指紋スキャナー、またはその他のデバイスを使用してコンピューターネットワークにアクセスしようとしている人が、自分に関する情報をシステムに入力します。 受信したデータは、データベースに保存されているサンプルと比較されます。



サンプルが認識されると、プロセスが実行されます。その最初のステップは、分析できるように処理されたボリュームを減らすための入力情報の初期変換です。 次のステップは、フーリエ変換によって得られた音声のスペクトル表現です。 スペクトル表示は、広周波数記録分析を使用して実現されます。



音声のスペクトル表現は非常に便利ですが、研究対象の信号は非常に多様であることを覚えておく必要があります。

多様性は、次のような多くの理由で発生します。

-人間の声の違い;

-話者のスピーチのレベル;

-発音のバリエーション。

-咬合器（舌、唇、顎、口蓋）の動きの通常の変化。



次に、音声を変化させるための最終出力パラメータが決定され、正規化が実行されてパラメータのスケールが編集され、音声の状況レベルが決定されます。 上記の変更されたパラメーターは、テンプレートの作成に使用されます。 テンプレートは辞書に含まれており、このシステムを使用してスピーカーに情報を送信する際の音の発音を特徴付けます。 さらに、新しい音声パターン（すでに正規化され、パラメータを受け取っている）を認識するプロセスで、これらのパターンは、動的歪みおよび同様のメトリック測定を使用して、データベースに既にあるパターンと比較されます。



ニューラルネットワークを使用して音声認識システムを構築する機能

任意の音声信号は、あるパラメトリック空間でベクトルとして表現でき、このベクトルはニューラルネットワークに格納できます。 教師なしで学習するニューラルネットワークのモデルの1つは、自己組織化Kohonen特性マップです。 その中で、多くの入力信号に対して、これらの信号を表す神経集団が形成されます。 このアルゴリズムは、統計的な平均化が可能です。 音声のばらつきに関する問題は解決されました。 他の多くのニューラルネットワークアルゴリズムと同様に、情報の並列処理を実行します。 すべてのニューロンが同時に機能します。 これにより、認識速度の問題が解決されます。通常、ニューラルネットワークの動作時間は複数回繰り返されます。



使用したアルゴリズムの実際の仕事



サンプルを比較するプロセスは、次の手順で構成されます。

-ノイズフィルタリング;

-スペクトル信号変換;

-スペクトルポストフィルタリング;

-リフティング;

-カイザーウィンドウのオーバーレイ。

-比較。



ノイズフィルタリング

図にスペクトルが示されているものと同様に、全周波数範囲の振動によって形成される音は、ノイズと呼ばれます。





音の明確なスペクトル特性を得るには、余分なノイズを取り除く必要があります。

入力ディスクリートオーディオ信号は、式によって録音中に発生する干渉を取り除くために、フィルターによって処理されます。



Xiは、音声信号の離散値のセットです。

処理後、信号は録音の開始と終了を検索します。ノイズはすでにフィルタリングされているため、X0で見ると、フラグメントの開始は信号のバーストによって特徴付けられます。 したがって、Xnから見下ろすと、バーストがフラグメントの終わりを特徴付けます。 したがって、離散信号値の配列でフラグメントの始まりと終わりを取得します。 非数学的な形式では、これはユーザーがマイクで言った単語を見つけたことを意味します。これは音声の他の特性と平均化する必要があります。

ピッチに加えて、人は音の別の特徴であるボリュームを感じます。 音量に最も密接に対応する物理量は、衝撃圧（空気中の音の場合）と振幅（音のデジタル表現または電子表現の場合）です。



デジタル化された信号について言えば、振幅はサンプルの値です。 同じ音のレベルの何百万もの離散値を分析すると、ピーク振幅、つまり、得られた音レベルの離散値の最大値の絶対値について言えます。 音声のデジタル録音中の信号制限の歪みによって引き起こされる歪みを回避するには（ピーク歪みがデータ保存形式で定義された制限を超える場合にこの歪みが発生します）、ピーク振幅に注意する必要があります。 この場合、S / N比を最大到達レベルに維持する必要があります。

音量が異なる主な理由は、耳にかかる圧力の違いです。 圧力波には異なる出力レベルがあると言えます。 より大きな力でより多くの力を運ぶ波は、耳のメカニズムに影響を与えます。 ワイヤを通る電気信号も電力を伝送します。 ワイヤを介して、音は通常、交流電圧の形で送信され、この音の瞬時電力は電圧の二乗に比例します。 一定期間の合計電力を決定するには、この期間の瞬時電力のすべての値を合計する必要があります。

数学の言語では、これは積分によって記述されます どこで 特定の時点での電圧です。



離散値で表される音を使用しているため、積分を取る必要はありません。 サンプルの正方形を追加するだけです。 離散値の二乗の平均値は、平均電力に比例します。



瞬時電力は瞬時振幅の2乗に依存するため、同様の方法で平均振幅と平均電力を接続する同様の関係を選択することは理にかなっています。 これを行う方法は、平均振幅（RMS）を決定することです。 振幅自体の平均値を計算する代わりに、最初に取得した値を二乗し、結果のセットの平均値を計算してから、そこからルートを抽出します。 急速に変化する値の平均を計算する必要がある場合、RMSメソッドが使用されます。 代数的に、これは次のoorazで表されます。N個の値を持ち、x（i）はi番目の離散値の振幅です。 次に、RMS振幅=



電力は、離散値の2乗値に比例します。 つまり、有効電力に変換するには、この値に特定の係数を掛ける必要があります。 これは正確な電力データを必要としないため、実際には、正確な数値ではなく、相対的な電力に関心があります。



相対電力は白で測定され、デシベルでより頻繁に測定されます（dB、デシベル、これは白の10分の1です）。 2つの音を比較するために、それらのパワーの比が取られます。 この関係の10進数の対数は、白の差です。 結果の数値に10を掛けると、デシベル単位の値が得られます。 たとえば、ある信号のパワーが別の信号のパワーの2倍である場合、最初の信号は10log10（2）= 3.01 dBだけ大きくなります。



スペクトル信号変換



音はすべて正弦波に分解されるため、音の周波数スペクトルを構築できます。 音波の周波数スペクトルは、振幅対周波数のグラフです。



位相の変化は、多くの場合、時間の遅れにより発生します。 たとえば、1000 Hzの各信号サイクルには1/1000秒かかります。 信号を1/2000秒（半周期）保持すると、180度の位相シフトが生じます。 この効果は、周波数と時間遅延の関係に基づいていることに注意してください。 250 Hzの信号が同じ1/2000秒遅延すると、45度の位相シフトが実現します。



同じ周波数の2つの正弦波を加算すると、同じ周波数の新しい正弦波が得られます。 これは、2つのソース信号の振幅と位相が異なる場合にも当てはまります。 たとえば、Asin（2 Pi ft）とBcos（2 Pi ft）は振幅と位相が異なる2つの正弦波ですが、周波数は同じです。



1つの周波数の振幅を測定するには、既存の信号に同じ周波数の正弦波を掛けて、取得したサンプルを追加する必要があります。

これを記号形式で記録するために、サンプルの値がs0、s1、...、st、...であるとします。 変数tは参照時間を表します（これは時間値を置き換えます）。 周波数fの振幅は、次の合計を計算するときに、最初の近似として測定されます。



tとfの値は、時間と周波数の精度と一致しません。 さらに、fは整数であり、調査対象の実際の周波数は、サンプリング周波数にf / Nを掛けたものです。 同様に、tは整数の参照番号です。 さらに、合計は振幅の直接的な値ではなく、振幅に比例する数値のみを提供します。



fの異なる値に対してこれらの計算を繰り返すと、信号内のすべての周波数の振幅を測定できます。 Nより小さい整数fの場合、fの値は簡単に決定されます。これは、対応する周波数の振幅を全信号の一部として表します。 これらの値は、同じ式を使用して計算できます。





Afの値がわかっていれば、サンプルを復元できます。 信号を復元するには、異なる周波数のすべての値を追加する必要があります。 正確な逆フーリエ変換を実行するには、振幅と周波数に加えて、各周波数の位相を測定する必要があります。



これには複素数が必要です。 2次元の結果が得られるように、前述の計算方法を変更できます。 単純な複素数は2次元の値であるため、振幅と位相の両方を同時に表します。

このアプローチでは、位相部分が暗黙的に計算されます。 振幅と位相の代わりに、異なる位相に対応する2つの振幅が測定されます。 これらのフェーズの1つはコサイン（cos（））で表され、もう1つのフェーズはサインsin（））で表されます。

複素数を使用すると、正弦部分に-iを掛けて同時に測定できます。



Afの各値は複素数で表されるようになりました。 実数部と虚数部は、位相の異なる2つの正弦波の振幅を指定します。



高速フーリエ変換の主なアイデアは、2番目のサンプルごとにスペクトルの半分を取得できることです。 正式には、これは、離散フーリエ変換の式が2つの合計として表現できることを意味します。 最初はオリジナルのすべての偶数コンポーネントを含み、2番目はすべて奇数を含む





スペクトルフィルタリング。

信号のスペクトル表現を受け取ったら、ノイズを除去する必要があります。 人間の声には既知の特性があるため、音声の特性になり得ない領域は返済する必要があります。 これを行うには、「カイザーウィンドウ」と呼ばれる関数を適用します





スペクトルをフィルタリングした後、ハニングウィンドウを適用します





データベース内の参照サンプルとの比較

識別に使用される主なパラメーターは、2つのサウンドフラグメントの類似性の尺度です。 計算するには、これらのフラグメントのスペクトログラムを比較する必要があります。 この場合、別のウィンドウで取得されたスペクトルが最初に比較され、次に計算値が平均されます。



2つのフラグメントを比較するために、次のアプローチが使用されました。

X [1..N]およびY [1..N]は、それぞれ第1および第2フラグメントのスペクトルパワーを含む同じサイズNの数値の配列であると仮定します。 次に、それらの間の類似性の尺度は、次の式によって計算されます。



ここで、MxおよびMyは、それぞれ配列X []およびY []の数学的期待値であり、次の式で計算されます。



スペクトルの形で提示された2つのフラグメントの類似度を計算するこの方法は、音声で人を識別するタスクに最も最適です。



単純なパーセプトロンニューラルネットワークの比較



ニューラルネットワークにはさまざまなオプションがありますが、それらにはすべて共通の機能があります。 したがって、それらはすべて、人間の脳のように、相互接続された同じタイプの多数の要素で構成されています-脳のニューロンを模倣するニューロン。 図はニューロン回路を示しています。



図から、生きているニューロンのような人工ニューロンは、ニューロンの入力を核に接続するシナプスで構成されていることがわかります。 入力信号を処理するニューロンの核と、ニューロンを次の層のニューロンに接続する軸索。 各シナプスには、ニューロンの対応する入力がその状態にどの程度影響するかを決定する重みがあります。 ニューロンの状態は、式によって決定されます



ここで、nはニューロン入力の数、xiはi番目のニューロン入力の値、wiはi番目のシナプスの重みです

次に、ニューロンの軸索の値は次の式で決定されます。Y = f（S）ここで、fは活性化と呼ばれる特定の関数です。 ほとんどの場合、次の形式のいわゆるシグモイドがアクティベーション関数として使用されます。



この関数の主な利点は、横軸全体で微分可能であり、非常に単純な導関数があることです。



パラメーターαを小さくすると、シグモイドはより穏やかになり、α= 0で0.5のレベルで水平線に退化します。 aを大きくすると、シグモイドは1回のジャンプの機能にますます近づきます。



ネットワークトレーニング

システムの自動機能のために、教師なしでネットワークを教える方法が選択されました。 教師なしで学習することは、生物学的システムでの学習のより妥当なモデルです。 Kohonenおよび他の多くによって開発されたこのモジュールは、出力にターゲットベクトルを必要としないため、あらかじめ決められた理想的な答えとの比較を必要としません。 トレーニングセットは、入力ベクトルのみで構成されます。 トレーニングアルゴリズムは、一貫性のある出力ベクトルが得られるようにネットワークの重みを調整します。つまり、十分に近い入力ベクトルを提示すると同じ出力が得られます。

パーセプトロンは、多くの画像を一度に1つずつその入力に送信し、すべての画像に対して必要な出力が得られるまで重みを調整することにより訓練されます。 入力画像がデモカードにあると仮定します。 各カードは正方形に分割され、入力はパーセプトロンから各正方形に送られます。 正方形に線がある場合、そこから単位が供給され、そうでない場合はゼロです。 したがって、マップ上の正方形のセットは、ゼロと1のセットを定義し、パーセプトロンの入力に供給されます。 目標は、奇数を指定する多くの入力に適用するときにインジケーターをオンにするようにパーセプトロンに教えることであり、偶数の場合に含めることではありません。

ネットワークをトレーニングするために、Xのイメージが入力され、Uの出力が計算されますUが正しい場合、何も変わりません。 ただし、出力が正しくない場合は、入力に付加された重みがエラー結果を改善するために修正されます。

スペクトルのさまざまな部分の情報内容は同じではありません。低周波数領域には、高周波数領域よりも多くの情報が含まれています。 したがって、ニューラルネットワークの入力が過剰に消費されるのを防ぐには、高周波領域から情報を受け取る要素の数を減らすか、同じことですが、周波数空間でスペクトルの高周波領域を圧縮する必要があります。

最も一般的な方法は対数圧縮です。



ここで、 fはHzのスペクトルの周波数、 mは新しい圧縮周波数空間の周波数です。



このような変換は、ニューラルネットワークNIの入力の要素数がスペクトルNSの要素数より少ない場合にのみ意味があります。

正規化と圧縮の後、スペクトルはニューラルネットワークの入力に重畳されます。 ニューラルネットワークの入力は、スペクトル内の対応する周波数のレベルが割り当てられる要素の線形に配列された配列です。 これらの要素は重要な機能を実行せず、信号をニューラルネットワークに送信するだけです。 入力ベクトルのサイズが小さいと認識に重要な情報が失われ、サイズが大きいと計算の複雑さが大幅に増加するため、入力数の選択は難しいタスクです（PCでモデリングする場合、実際のニューラルネットワークではすべての要素が並行して動作するため、これは当てはまりません）。

入力の高解像度（数）により、音声の調波構造を分離し、その結果、音声のピッチを決定することができます。 入力の解像度（数）が低い場合、フォルマント構造の決定のみが可能です。



この問題のさらなる研究が示したように、フォルマント構造に関する情報のみで十分です。 実際、人は通常の音声音声とささやき声を等しく認識しますが、後者には音声ソースがありません。 ( ), . , 50~100.

, . , . , .





8 . , , , .

6 2 . , . , . , …



, . . . , , , . . .



. . , . , .





















, .

, ,