いわゆる機械学習は驚くことではありませんが、数学者にとって、成功の理由はまだ完全には理解されていません。
数年前、私が招待された夕食会で、微分幾何学の分野の優れたスペシャリストであるユージェニオ・カラビは、純粋数学と応用数学の信奉者の違いに関する非常に皮肉な理論の微妙さに私を捧げてくれました。 そのため、研究で立ち止まって、純粋数学の支持者はしばしば問題を絞り込み、そのような方法で障害を回避しようとします。 そして応用数学を専門とする彼らの同僚は、現在の状況はより効果的なツールを作成するために数学を勉強し続ける必要性を示しているという結論に達します。
私はいつもこのアプローチが好きでした。 彼のおかげで、応用数学者は常に新しい概念と構造を使用できることが明らかになるので、それらは時々基礎数学の枠組みに現れます。 今日、アジェンダが「ビッグデータ」の研究である場合-従来のデータ処理方法だけでは理解できない大きすぎるまたは複雑な情報ブロック-トレンドはその関連性を失っていません。
現在のビッグデータ革命の中で重要である多くの方法の解釈に対する現代の数学的アプローチは、せいぜい十分ではありません。 Google、Facebook、Appleなどの企業が、精度の点で人間のパフォーマンスに可能な限り近い音声または画像認識技術を作成するために使用した、教師による指導の最も単純な例を考えてみましょう。 このようなシステムの開発は、統計パターンを定義するディープニューラルネットワークを形成するために使用される膨大な数のトレーニングサンプル（数百万または数十億の画像と音声録音）の準備から始まります。 機械学習の他の分野と同様に、研究者はコンピューターがタスクを「研究」するのに十分なデータを処理できることを望んでいます。この場合、機械は詳細な意思決定スキーム用にプログラムされていません。 彼女にはさまざまなアルゴリズムを順守する機会が与えられ、そのおかげで関連するサンプルに集中することができます。
数学の言語で言えば、そのような教師との訓練システムは、刺激と対応する反応の大きなセットを提供します。 コンピューターは、新しい着信信号が発生した場合に確実に正しい結果を保証する機能をマスターするようにタスクを設定します。 このために、コンピューターはタスクをいくつかの未知のシグモイド関数に分解する必要があります。 これらのS字型の機能は、道路から歩道への上昇に似ています。これは、あるレベルから別のレベルへのスムーズな移行であり、移行レベルの初期レベル、ステップの高さ、および幅は事前に決定されていません。
シグモイド関数の最初のレベルに到達する入力信号に応じて、シグモイド関数の2番目のレベルに移動する前に結合できる結果が生成されます。 したがって、プロセスはレベルからレベルへと続きます。 機能の動作中に取得されたデータは、神経系の「ネットワーク」を形成します。 「深い」ニューラルネットワークは、多くの層で構成されています。
数十年前、研究者はそのようなネットワークが普遍的であることを証明しました。つまり、可能なすべての機能を生成できるということです。 他の科学者は後に、ネットワークとそれが生成する機能との間のユニークな接続の存在について理論的な結論に達しました。 確かに、そのような研究の結果は、信じられないほどの数の層から成り、各層内で機能の交差点を多く持つ潜在的なネットワークに関するものでした。 実際には、ニューラルネットワークには約2〜20層が含まれます*。 この制限により、古典的な理論では、ニューラルネットワークとディープニューラルネットワークによる学習が非常に効果的である理由を説明できませんでした。
そして、ここに最も適用された数学者の信条があります：数学の原理が本当にうまく機能するなら、すべてに対して優れた数学的な説明があるはずであり、私たちはそれを見つけなければなりません。 この場合、これまでのところ、これらすべてに対処するための適切な数学的基礎さえないことが判明する場合があります（または、ある場合は、純粋な数学の枠組みで作成された可能性があり、アプローチは他の数学の分野に拡張されませんでした）。
機械学習で使用される別の方法-教師なしの学習は、情報の大きなブロック内の隠れた接続を識別するために使用されます。 たとえば、あなたが人の性格タイプを詳細に研究したい研究者だとしましょう。 かなりの助成金を受け取りました。おかげで、実験の200,000人の参加者に対して500問の性格テストを実施できるようになりました。 回答は1〜10のスケールで異なります。その結果、200,000のデータ処理結果が500の仮想「次元」になります-テストの最初の質問ごとに1つの測定。 総合すると、これらの結果は500次元空間で1次元および2次元のセクションを形成します。 山への単純な登山は、3次元空間の2次元モデルに対応しているようです。
あなたにとって、研究者としては、実験に参加した200,000人の参加者の人格のポートレートを基本的な特性に引き下げるために、言及された1次元および2次元のモデルを決定することが重要です-これは、2つの変数で特定の山脈内のポイントを識別するのに十分であることを見つける方法です。 おそらく、性格テストは、変数間の関係を記述する単純な関数で設定することもできます。変数の総数は500未満です。この種の関数を使用すると、データに隠された構造を表示できます。
過去15年間、研究者は隠れた構造のジオメトリを分析するためのいくつかのツールを作成しました。 たとえば、サーフェスのモデルを作成し、以前はさまざまなポイントにズームインしていました。 各ポイントで、仮想インクのドロップを適用し、それがどのように広がるかを確認します。 特定の点への表面の曲がり具合に応じて、インクはある方向または別の方向に広がります/広がりません。 すべてのインクスポットを組み合わせることで、表面が全体としてどのように見えるかについてかなり明確なアイデアを得ることができます。 この情報を使用すると、単なるデータ処理結果のセットではありません。 あなたの前に、あなたの目は表面で利用可能な接続、興味深いループ、折り目、よじれを開きます。 そしてそれは、受け取った情報をどのように調査できるかを理解することを意味します。
上記の方法のおかげで、多くの興味深い有用な発見がなされましたが、追加のツールが必要になります。 応用数学者は一生懸命働く必要があります。 しかし、そのような困難な課題に直面しても、彼らは「純粋な」同僚の多くが客観的であり、進行中のプロジェクトに参加し続け、さまざまな数学的構造間のつながりを発見するのに役立つと信じています。 そして、おそらく、彼らはまったく新しいものを作成するでしょう。
*この記事の元のバージョンでは、実用的なニューラルネットワークは2つまたは3つのレベルしか使用しないと述べています。 現在、革新的なシステムのこの指標は10レベル以上です。 ImageNet大規模視覚認識チャレンジの最終段階であるGoogleの画像認識アルゴリズムの勝者は、22のレベルに関与しました。