線形活性化関数を持つ単層直接分配ネットワークの非反復トレーニングの方法

この記事にはコードは1行もありません。過去半年間開発してきたニューラルネットワークのトレーニング方法の理論があります。 次の記事でこのメソッドを実装する予定です。



ニューラルネットワークの非反復トレーニングの可能性は非常に大きく、これが潜在的にNSを学習する最速の方法です。 最も単純な場合（単純化する場所がない場合）から、非反復トレーニングの作業サイクルを開始したいと思います。 すなわち、線形活性化機能を備えた単層直接分配ネットワークでは、加重加算器です。 1つのニューロンのエラー関数は次のように定義されます。

$$

$$f_ {los}（W）= \ sum_ {i = 1} ^ n [y ^ i-（\ sum ^ m_ {j = 1} w_j \ cdot x ^ i_j）] ^ 2$$

どこで $$$W = \ {w_1、... w_k \};$ 、mはニューラルネットワークの入力数、nはトレーニングサンプルのパワーです。これは、各ニューロンの理想的な出力値「y」と入力ベクトル「x」のペアで構成されます。 また、各ニューロンを個別にトレーニングできることも注目に値します。



ネットワークは次の場合にトレーニングされます。 $$$f_ {los}（W）\右矢印min$ 、つまり エラーが最小の場合。



活性化関数が線形であり、誤差関数の方程式が二次関数である場合、そのような関数には最大値がなく、したがって、 $$$\ frac {\ partial f_ {los}（W）} {\ partial w_i} = 0$ 最小条件です。 最初にこの導関数を定義し、それを0と同等にしましょう。

$$

$$\ frac {\ partial f_ {los}（W）} {\ partial w_k} = -2 \ cdot \ sum_ {i = 1} ^ {n}（y ^ i- \ sum _ {j = 1} ^ mw_j \ cdot x_j ^ i）x_k ^ i = 0;$$

一連の変換の後、次のようになります。

$$

$$\ sum_ {j = 1} ^ m（w_j \ cdot \ sum_ {i = 1} ^ {n} x_j ^ i \ cdot x ^ i_k）=-\ sum_ {i = 1} ^ {n} x_k ^ i \ cdot y ^ i;$$

ここで、kはシステム内の方程式の数です。



トレーニングを完了するには、重みベクトルWを計算する必要があります。最後の式が各方程式について記述されている場合、Wに関するSLAEであることに気付くのは難しくありません。 。 各ニューロンの重みは次のように記述できます。

$$

$$\\ w_j = \ frac {det（A_j）} {det（A）}; \\ A = \ begin {pmatrix} a_ {11} ..... .... a_ {1m} \\ ..... .... \\ .. ... .. .. \\ a_ {m1} ..... .... a_ {mm} \ end {pmatrix}; \\ B = \ begin {pmatrix} b_1 \\ .. \\ .. \\ b_m \ end {pmatrix}; \\ a_ {kj} = \ sum_ {i = 1} ^ nx_j ^ i \ cdot x ^ i_k; \\ b_k =-\ sum_ {i = 1} ^ ny ^ i \ cdot x ^ i_k;$$

これが行列です $$$A_j$ これは、j番目の列がベクトルBで置き換えられた行列「A」です。これは、ニューロンが何らかの方法で接続されていないという事実のため、1つのニューロンのトレーニングです。



PS記事にコメントがあれば、書いてください。建設的な批判にいつも満足しています。