独立成分の分析でANNを訓練するための幾何学的アルゴリズムの最適化

こんにちは、ハブロビテス。 おそらくあなたの多くは、「メインアルゴリズムの説明はどこにあるのでしょうか？」

そのため、ソースへのリンクを以下に示しますが、メインアルゴリズムは書き換えません。

すぐに説明します。 この記事は私の研究活動の結果であり、後で私の卒業証書のトピックについてです。

しかし、十分な導入語。 行こう！

1.人工ニューラルネットワーク

ANNは、生物の神経系で発生するプロセスを使用して、新しい情報技術を作成しようとする試みです。

神経系の主要な要素は神経細胞であり、ニューロンと略されます。 他の細胞と同様に、ニューロンにはナマズと呼ばれる体があり、その中に核があり、多数の突起が現れます-細く、密に枝分かれした樹状突起と、端でより厚い軸索分裂（図1）。





図1 単純化された生体神経細胞構造



入力信号はシナプスを介して細胞に入り、出力信号は軸索によってその神経終末（側副）を介して他のニューロンのシナプスに伝達されます。シナプスは樹状突起上または細胞体上に直接配置できます。

2.多層パーセプトロン

それを直接分布の多層NSの主な使用モデルとして考えてみましょう。 多層ネットワークは、入力層と出力層に加えて、少なくとも1つの中間（非表示）層がある場合に、異なるレベルに位置するニューロンで構成されます。 2層NSの一般化された構造を（図2）に示します。





図 2. 2層NSの一般化された構造（1つの隠れ層を持つ）



隠れ層のi番目のニューロンの出力信号は、次のように記述できます。



および出力信号





信号混合に含まれるソースS（t）の信号を分離するために、HeroltとJuttenによって80年代に提案された単層ANN（図3）に基づく適応フィルター構造を使用します（Xは式に従って形成された観測信号のベクトルの行列です（ 1）未知の混合行列Aを使用して、Wはニューラルネットワークの重みの行列です。



X = AS (1)









図 3. ANNの適応フィルターのブロック図

3. ANNをトレーニングするための幾何学的アルゴリズムの使用

したがって、ご存じのとおり、どのニューラルネットワークでもトレーニングが必要です。

教師なし、教師なし、組み合わせたさまざまな学習アルゴリズムがあります。

この論文では、ANNをトレーニングするためのかなり珍しいアルゴリズムである幾何学を検討しました。

まず、主な違いを検討してください。

• 直感的で明確
• 高速データ処理
• 非正方混合行列に使用する可能性（超ガウス分布の場合のみ）
• 簡単なプログラミング

この作業では、次の状況が調査されました。

さまざまな信号の混合が入力に到着します（信号の数は既にわかっていることを事前に強調します）。

最大の精度で混合物から信号を分離できるニューラルネットワークをトレーニングするためのこのようなアルゴリズムを開発する必要がありました。



図4aはソース信号を示しています。 2つの独立したコンポーネントが明確に区別されており、それぞれが信号を表していることがわかります。

図4bは、信号の混合を示しています。 信号は互いに相関しており、それらを区別することは非常に困難になります（ある画像を別の画像に重ね合わせてみてください）。





図4 行列Aによる乗算の幾何学的解釈

（a）-発生源の信号、b）-混合物の信号）



（1）から、ソース信号に混合行列Aを乗算した結果として信号混合が得られることが明らかです。

、

次に、回転行列として表されます。

。



このかなり単純なアイデアから、ANNをトレーニングするための幾何学的アルゴリズムhistGEOが生まれました。

4.超ガウス分布の場合のhistGEOアルゴリズム。

混合行列の回復段階のタスクは、見つけることです

回転行列の角度α1およびα2。 一般に、角度の数は独立したコンポーネントの数に等しく、

ミキシングに関与。

histGEOの処理機能の概要図

スーパーガウス信号は次のように説明できます。

• 行列Xの成分の散布図が作成されます。
• 確率密度分布は、角度φの関数として計算されます。f = f（φ）;
• 結果の分布は、極値の位置を維持しながら、取得した関数の表面を滑らかにする平均化ソフトウェアフィルターを使用して処理されます。
• 関数g = -f（φ）の最小値の可能な位置の場所を大まかに決定します。ここで、f（φ）は「平滑化された」g（φ）です。
• 勾配降下アルゴリズムを使用して、角度φiの座標が洗練されます（図5）

図5 勾配降下を使用して角度φiを検索します。

• 再構成行列Mの係数が計算されます
  
  
  
  ここで、nは混合物の独立成分の数です。
• アルゴリズムのテスト段階で、得られた角度φの値。 散乱図にプロットし、αと比較（図6.1-6.2）

図6.1。 2xオーディオ信号のミキシングマトリックス評価結果

（a-ジオイカ、b -fastgeo、c-histgeo）





図 6.2。 3つのオーディオ信号のミキシングマトリックスの評価結果。

オーバーフローベースケース

（a-ジオイカ、b-fastgeo、c-histgeo）

オーディオ処理

考慮されたアルゴリズムの作業の実用的な研究がシステムで実施されました

拡張パックを使用したMatlab 7.5の数学的モデリング

fastICA、geoICA、ICALab（トレーニング用の拡張機能。

作業は2つの部分に分割され、分離の複雑さが増しました。

1. 正方行列問題のミキシング行列、Sソースの信号-音声、ノイズ、音楽の評価（図7.1-7.4）
2. 混雑した基底、Sソース信号-スピーチ、ノイズ、音楽の問題におけるミキシングマトリックスの推定

図7.1。 ソース信号の特性：ソース信号の形状





図7.2。 元の信号の特性：周波数スペクトル





図7.3。 元の信号の特性：確率分布





図7.4。 元の信号の特性：散布図

5.サブガウス分布の場合のhistGEOアルゴリズム。

頻繁に発生する超ガウス分布（オーディオ信号、画像、ビデオ信号など）に加えて、

いわゆる サブガウス信号（さまざまな種類のノイズ、統計値、自然界の同じ種の個体の競合）。

また、このタイプの信号を分離することは想像を絶するほど難しい場合があります。 それらは暗黙の形式で提示され、配布パターンを大幅に複雑にします。

奇妙なことに、かなり単純な幾何学的アルゴリズムでこの問題を解決できました。

独立したコンポーネントを特徴付ける適切な幾何学的特性を選択するだけで十分です。



ANN出力の信号は次のようになります



Y=WX (2)







つまり 線形フィルタリングの問題は、係数の正しい値を見つけることに帰着します

ニューラルネットワークの重みWの行列



線源の散乱パターンと結果の混合物Xの比較から

（図8）混合行列Aによる乗算は等価であると結論付けることができます

x1Ox2平面内のいくつかの角度α1およびα2による独立成分の回転。





図8 混合行列Aによる乗算の幾何学的解釈

（a-ソースの信号、b-混合物の信号）



データを便利なビューに変換するには、必要でした

一連の信号に対して相関除去手順を実行します（「ホワイトニング」）。

共同相関行列をに変換します

対角形、その要素はこれらの分散です

信号（図9）。 そして、正方形の対角線が望ましい幾何学的特徴であることが判明しました。





図9 装飾（「ブリーチ」）信号X1およびX2。

（a-適切な幾何学的特徴の検索、b-分布ヒストグラムの構築）



円のセクターに入るポイントの条件-明らかに大きい

分析された分布の面積よりも面積が大きい（図9b）-

セクター内のポイントの密度の分布は次のように計算されました。

角度φの関数（図10）：





図10 histgeoアルゴリズムで角度φiを見つける



f=f(φ)





g(φ)=f*(φ)



、

ここで、f *（φ）-f（φ）、フィルターを使用して「平滑化」。



エラーを減らすために、元の対角線（45 ^° 、135 ^° 、225°、315°）に対する4つの対角線すべての偏差値の配列が形成され（図11）、偏差の平均値が見つかりました。





図11 指定された角度からの対角線の偏差角度を検索します。



対角線が回転する角度と、対角線が正方形の中心で交差するという事実がわかっているので、この角度で対応する対角線に向かってこの中心を基準にすべてのポイントを回転できます。 これを行うには、回復マトリックスを計算する必要があります。



結果の分布は、元の分布とグラフィカルに一致します。

図12に明確に示されています。





図12 S（a）と縮小されたY（b）の参照分布の比較。



混合行列A 'を見つけるには、以下を使用する必要があります

非相関の反対。 結果の行列

形式は次のとおりです。





行列AとA 'の相互影響の誤差：





表1.行列S、X、Yの尖度係数の値：

	S	X	Y
kurt1	-0.8365	-0.7582	-0.8379
kurt2	-0.8429	-0.8341	-0.8465

尖度比：

6.結論

• histGEO幾何学的アルゴリズムをサブガウス分布のクラスに適用する可能性をテストします。
• 見かけの単純さにもかかわらず、幾何学的アルゴリズムは、適応フィルタリング問題でANNをトレーニングするための効果的なメカニズムを表しています。
• histGEOアルゴリズムの開発された最適化バージョンは、スーパーガウスおよびサブガウスタイプの信号に適用できます。
• 混合物に含まれるソースの数が増えると、正しいマトリックス推定を行うことがより困難になります。 関数g（φ）の極値はあまり目立たなくなり、解が極小値のいずれかに該当する可能性があります。
• 過密な基底（非正方形ミキシングマトリックスのバリアント）で信号を分離する場合のアルゴリズムの有効性には、追加の調査が必要です。

この段階では、アルゴリズムが普遍的であり、あらゆるクラスの分布の非正方形混合行列の場合に適用可能であるとは言えませんが、正方形行列の場合、このアルゴリズムはそのタスクに対処することを確信を持って注意できます。



参照：

1. Khaikin S.ニューラルネットワーク：フルコース/ S。Khaikin。 -M .:ウィリアムズ出版社、2006。-1104 p。
2. Bormontov E.N.、Klyukin V.I.、Tyurikov D.A. 独立成分分析の問題における幾何学学習アルゴリズム/ E. N.ボルモントフ、V。I.クルーキン、D。A.トゥリコフ-Vestnik VGTU、t.6、No。7 -ヴォロネジ：VSTU、2010年。
3. A.ユング、FJタイス、CGプントネットEWラング。 Fastgeo-線形幾何ICAへのヒストグラムベースのアプローチ。 手続き ICA 2001、pp。 418-423、2001。
4. FJ Theis。 過完備線形ICAの幾何学的アルゴリズム。 B.ガンスルマイヤー、J。ケラー、KFレンク、グラディエルテンコレッグのワークショップレポートI.、67〜76ページ、ウィンドバーグ、ドイツ、2001年。
5. G.F. Malykhina、A.V. Merkusheva信号の混合物を分離するためのロバストな方法とノイズの多いデータを含む独立成分の分析/ G.F. Malykhina、A.V. Merkusheva SCIENTIFIC INSTRUMENT、2011、volume 21、No. 1、p。 114〜127
6. XIX国際科学技術会議「レーダー、航法、通信」（RLNC-2013）セクション1.独立成分の分析でANNをトレーニングするための幾何学的アルゴリズムの最適化。 E.N.ボルモントフ、V.I。クルーキン、DAトゥリコフ-2013