信号とデータの分析はよく研究されたトピックであり、何百回も話されてきたように思われるかもしれません。 しかし、それにはいくつかの失敗があります。 近年、「エントロピー」という言葉は、誰もが話していることをはっきりと理解せずに、あらゆる人によって急いでいます。 カオス-はい、無秩序-はい、それは熱力学で使用されます-はいのように、信号に関しても-ここでははい。 少なくともこの点を少し明確にし、エントロピーについてもう少し学びたい人に指示を与えたいと思います。 エントロピーデータ分析について説明しましょう。
ロシア語の情報源では、この主題に関する文献はほとんどありません。 そして、完全な写真を撮ることはほとんど不可能です。 幸いなことに、私の科学顧問は、エントロピー分析の鑑識家であり、すべてが「前後に」描かれた新鮮なモノグラフ[1]の著者であることが判明しました。 幸い、制限はありませんでした。このテーマに関する私の考えをより多くの聴衆に伝えようと決めたので、モノグラフからの抜粋をいくつか取り、研究を補足します。 たぶん誰かが役に立つでしょう。
それでは、最初から始めましょう。 1963年、シャノンは、個々の結果の確率を考慮に入れたテストの平均情報量（結果の予測不能性）の尺度の概念を提案しました（彼の前にハートレーがいましたが、これは省略されています）。 エントロピーをビット単位で測定し、2を底とすると、 シャノンのエントロピーの式が得られます
ここで、Piはi番目の結果の確率です。
つまり、この場合、エントロピーはイベントの発生の「予期せぬ」に直接関係しています。 そして、このことから、その有益性がわかります-イベントの予測可能性が高いほど、有益性は低くなります。 そのため、そのエントロピーは低くなります。 情報の特性、エントロピーの特性、およびそのさまざまな推定値の特性の間の関係についての疑問は未解決のままです。 私たちがほとんどの場合に対処するのは正確に見積もりです。 調査できるのは、プロセスのプロパティの制御された変化に関するエントロピーのさまざまなインデックスの情報コンテンツ、つまり 本質的に、特定の応用問題を解決するための有用性。
何らかの方法（つまり、決定論的）で記述された信号のエントロピーはゼロになる傾向があります。 ランダムプロセスの場合、エントロピーは「予測不可能性」のレベルが高くなるほど増加します。 おそらく、エントロピーのこのような一連の解釈から、 確率->予測不可能性->情報性が「ランダム性」の概念を暗示するのは、それがむしろ曖昧で曖昧（その人気を妨げない）であるからです。 エントロピーの識別とプロセスの複雑さもあります。 しかし、これも同じことではありません。
さらに進んでいます。
エントロピーは異なる
- 熱力学
- アルゴリズムの
- 情報提供
- 微分
- トポロジカル
それらはすべて一方では異なり、他方では共通の基盤を持っています。 もちろん、特定の問題を解決するために各タイプが使用されます。 そして、残念なことに、深刻な作業であっても、計算結果の解釈に誤りがあります。 これはすべて、実際には90％のケースで、エントロピーの推定に大きな影響を与える連続的な性質の信号の離散表現を扱っているという事実によるものです（実際、補正係数は式に現れますが、通常は無視されます）。
エントロピーのデータ分析への適用を簡単に説明するために、モノグラフ[1]からの小さな応用問題を考えます（これはデジタル形式ではなく、おそらくそうではありません）。
100クロックサイクルごとにいくつかの状態を切り替え、信号x（図1.5）を生成するシステムがあり、その特性は遷移時に変化します。 しかし、私たちはどれを知りません。
xを100個のサンプルの実装に分割することにより、経験的な分布密度を構築し、そこからシャノンエントロピー値を計算できます。 レベルごとに「間隔」の値を取得します（図1.6）。
ご覧のとおり、状態間の遷移がはっきりと観察されます。 しかし、移行時間がわからない場合はどうすればよいですか？ 結局のところ、スライディングウィンドウによる計算が役立ち、エントロピーもレベルに「広がり」ます。実際の研究では、この効果を使用してEEG信号を分析しました（次に、多色の画像が表示されます）。
ここで、エントロピーのもう1つの興味深い特性について説明します 。これにより、複数のプロセスの接続性の程度を評価できます。 それらが同じソースを持っている場合、プロセスは接続されていると言います（たとえば、地震が地球上のさまざまなポイントで記録されている場合、センサーの信号の主成分は共通です）。 このような場合、通常は相関分析が使用されますが、線形関係の検出にのみ有効です。 非線形の場合（たとえば、時間遅延によって生成される）、エントロピーを使用することをお勧めします。
5つの隠れ変数（そのエントロピーは下の図の左に示されています）と、右のスキームに従ってタイムシフトで取得された隠れ変数の線形和として生成される3つのオブザーバブルのモデルを考えます。 数値は、係数および時間シフト（サンプル単位）です。
そのため、接続が強化されると、接続されたプロセスのエントロピーが収束するというトリックがあります。 くそー、なんて美しいんだ！
このような喜びは、ほとんどすべての最も奇妙で混chaとした信号から追加情報を抽出することを可能にします（特に経済学と分析に役立ちます）。 現在ファッショナブルなサンプルエントロピーを考慮して、脳波からそれらを取り出しました。これらは私たちが得た写真です。
エントロピーのジャンプは、実験の段階の変化に対応していることがわかります。 このテーマに関する記事がいくつかあり、修士論文はすでに保護されているため、詳細に興味がある人がいれば、喜んで共有します。 そのため、世界中で、脳波エントロピーは、麻酔、睡眠、アルツハイマー病、パーキンソン病の段階、てんかんの治療の有効性など、さまざまなものを長い間探していました。 しかし、繰り返しますが、多くの場合、補正係数を考慮せずに計算が実行されます。これは悲しいことです。研究の再現性は大きな問題であるためです（科学にとっては重要です）。
要約すると、落とし穴を考慮してすべてにアプローチする場合、エントロピー装置の普遍性とその実際の有効性について説明します。 本を読んだ後、エントロピーの偉大で力強い力に敬意を払う種ができることを願っています。
PS興味があれば、エントロピーを計算するためのアルゴリズムと、シャノンのエントロピーが最近の方法によってシフトされた理由について、次回詳しく説明することができます。
PPS Continuation for local-rank coding、 こちらをご覧ください
文学
1.ツヴェトコフOV 物理学、生物学、技術におけるエントロピーデータ分析。 SPb。：SPbGETU「LETI」の出版社、2015.202 p。 www.polytechnics.ru/shop/product-details/370-cvetkov-ov-entropijnyj-analiz-dannyx-v-fizike-biologii-i-texnike.html
2.AbásoloD.、Hornero R.、Espino P.アルツハイマー病患者の脳波バックグラウンド活動のエントロピー分析//生理学的測定。 2006. Vol。 27（3）。 P. 241-253。epubs.surrey.ac.uk/39603/6/Abasolo_et_al_PhysiolMeas_final_version_2006.pdf
3. 28.ブルースユージーンN、ブルースマーガレットC、ベネラガンティS.サンプルエントロピーは、睡眠状態と加齢に伴うEEGパワースペクトルの変化を追跡します// Journal of Clinical Neurophysiology。 2009. Vol。 26（4）。 P. 257-266。www.ncbi.nlm.nih.gov/pubmed/19590434
4.現実の（均質な）社会的グループの非仮説的検索の方法としてのエントロピー分析（O. I. Shkaratan、G。A. Yastrebov）
5.エントロピーおよびその他の体系的法則：複雑なシステムの管理の問題。 Prangishvili I.V. apolov-oleg.narod.ru/olderfiles/1/Prangishvili_I.V_JEntropiinye_i_dr-88665.pdf