機械学習-4:移動平均

「機械学習」の2つの基本操作は回帰と分類であると一般に受け入れられています。 回帰は、データ系列xyの間の依存関係y(x)のパラメーターを特定するツールであるだけでなく(これについては既にいくつかの記事を取り上げています )、それらを平滑化する手法の特殊なケースでもあります。 この例では、さらに進んで、依存関係y(x)の形式が事前にわからない場合に平滑化する方法と、大幅に異なる時間特性を持つ異なる効果によって制御されるデータをフィルター処理する方法を検討します。



特に取引所取引で使用される最も人気のある平滑化アルゴリズムの1つは移動平均です(機械学習に関する一連の記事にある程度の範囲で含まれています)。 移動平均を過去数週間にわたるドルの変動の例として考えてください(これもMathcadを使用した研究ツールとして)。 計算自体はここにあります









上記のチャートは、1時間間隔でのルーブルに対するドルの交換価値を示しています。 初期データは青い曲線で表され、平滑化されたデータは赤い曲線で表されます。 肉眼でも、為替レートの変動にはいくつかの特徴的な頻度があることがわかります。これは、技術市場分析の分野の1つの主題です。



移動平均による平滑化

「移動平均」に基づく平滑化の原則(MA-英語の「移動平均」から)は、引数y iの各値について、隣接するwデータから平均値を計算することにあります。







数値wは移動平均のウィンドウと呼ばれます。それが大きいほど、それぞれ、平均の計算により多くのデータが関与し、曲線が滑らかになります。 上の図では、ウィンドウはw = 50ですが、w = 200で移動平均は次のようになります。







移動平均でデータのフーリエスペクトルはどのように変化しますか?

明らかに、wが小さい場合、平滑化された曲線は実際にデータの変更を繰り返し、wが大きい場合は、緩やかな変動の規則性のみを反映します。 これは、データフィルタリングの典型的な例です。 依存関係y(x i )の成分の1つを削除します。 ほとんどの場合、フィルタリングの目的は、通常ノイズによって引き起こされるy(x i )の高速変動を抑制することです。 その結果、急速に振動する依存性y(x i )から、低周波成分が支配的な別の平滑化された依存性が得られます。



これらの考慮事項により、スムーズにスペクトルの用語に導かれました。 ソースデータのフーリエ変換( 「フーリエスペクトル」 )のグラフを作成してみましょう。







そして、移動平均のスペクトルがそれから高周波数をカットすることを確認してください(約0.005 Hzから開始):







説明:サインとそのMAの和のフーリエスペクトル

フーリエスペクトルの計算の原理を説明するために、(ランダムな)ソースデータの代わりに、いくつかの決定論的な信号(異なる周波数と振幅を持つ正弦波)と擬似ランダムノイズの合計の単純なモデルを考えます。







以下に、この合計とそのMA(同じウィンドウw = 200)のグラフを示します。







フーリエスペクトルと同様に:







移動平均により、0.005 Hzの周波数から開始して、信号から高周波がカットされることがわかります。 これは、スペクトルの低周波領域の拡大図でよく見られます。







したがって、適切なウィンドウを選択すると、抑圧された周波数の領域を右方向にシフトできます(wが多いほど、この境界は左にさらにシフトします)。



バンドパスフィルタリング

ストック分析に戻り、ソースデータから目的の周波数帯域をカットする非常に簡単な方法を示しましょう。 つまり、ノイズ(高周波成分)の抑制とは対照的に、反対の問題がしばしば考慮されます-ゆっくり変化する変動の除去(この問題はトレンド除去 、またはトレンド除去とも呼ばれます )。 移動平均を使用すると、その実装は非常に単純です-信号からMAを減算することにより(選択されたウィンドウで):







また、より速い変動とより遅い変動の両方を抑制することにより、中規模の変動を区別するという混合問題も興味深い。 ソリューションの可能性の1つは、次のように実装される「バンドパスフィルタリング」の使用に関連しています。

1.信号yからの高周波成分の除去。たとえば、小さなウィンドウ(たとえば、w = 200)で移動平均することにより、平滑化された中間信号を取得します。

2.たとえば、大きなウィンドウwで平均化を移動することによる、中間信号からの低周波成分の分離。

3.信号の中間トレンドからの減算が遅いため、元の信号yの中規模コンポーネントが強調表示されます。



興味のある読者には、 Mathcad Expressでバンドパスフィルタリングを実装する機会を残します (無料版のMatkadではフーリエスペクトルを計算するためのFFTアルゴリズムが無効になっているため、使用できません)。 計算自体はここにあります



参照:

1. Kiryanov D.V.、Kiryanova E.N. 計算物理学( PDF 、第1章、p。6および7)。 M .: Polybuk Multimedia、2006年。

2.地球物理学におけるBat M.スペクトル分析。 M.、サイエンス、1980。



All Articles