機械学習のための数学的訓練のロードマップ、パート1

序文の代わりに



夕方、暖かい椅子に座って、「うーん、なぜモデルのハイパーパラメーターがランダムに選択されるのか、なぜそれがすべて機能するのかわからないのか?」



これは滑りやすい斜面です。「ディープラーニング」の章をゆっくりと読んだり、さまざまなMOOCの5分間のYouTubeクリップを読んだりして、2、3晩は十分だと思います。 実際、その幻想ではなく理解を生み出すには、かなりの時間が必要です(まあ、間違いなく、最も狂信的な人にとっては6か月以上)。 しかし、最も悲しいことは、このイベントからの利益が明白ではないことです-幸いなことに(または残念なことに)、世界は数学の法則に従って配置されておらず、あなたが物理学の医師である場合、いくつかのモデルはあなたが投入した場合にのみうまく機能します彼らはより多くの前処理データを持っているか、巨大なアンサンブルを構築しています。



これは曲線の道であり、数学への投資が望みどおりにすぐに完済しない可能性があることを警告するのは私の義務だと思います。 しかし、数学は、それがどんな用途であっても興味深いものです。 さらに、興味がある場合、およびハイパーパラメータを使用してこのブラックボックスで何が起こるかは、数学はほとんど無関心ではないことを意味します。



私の推奨事項に関する他のこと:私は数学の文献が好きではありません。数学の文献は、インデックス、「3つのアンダースコアと共役帽子を持つa_ijk」などの真珠でいっぱいです。 厳密な結論よりもアイデアの方が重要だと思います。 同時に、アイデアは「手」に滑り込むべきではなく、すべてが厳密でなければなりません。 ブルバキやクヌートのような本は好きではありません。 私の意見では、これらの本はあらゆるものを対象としていますが、本を読んだり研究したりすることは目的としていません。 リンクとして、また百科事典としても適しています。



最後に、バートランドラッセルから何かを引用します。

ユークリッドはプラトンが導入した実用的なユーティリティを軽spしました。 彼らは、ある学生が証拠を聞いた後、幾何学を勉強することで何を獲得したかを尋ねたと言います。 それからユークリッドは奴隷を呼んで言った:「彼は勉強することから確実に利益を得なければならないので、若い男にペニーを与えなさい。」
次に、主要部分に進みます。



前提条件



  1. 私はあなたが数学の学校のコースに多かれ少なかれ指向していると思います。
  2. 多くの優れた文学やコースがその言語で書かれ、ナレーションが付けられているので、あなたは完全に「あなた」と英語ではないことを前提としています。 数学英語は、一般的な英語ほど怖くない。 それは、標準的な構成の文章を備えたかなり限られた語彙であり、時間をつぶすことなく、色の暴動などもありません。
  3. 椅子につなぐことができるロープがあると思います。


難易度



多くの文学が各数学の分野で書かれていることは秘密ではありません、そして時々正しい本の単純な選択さえ問題になります。 どこで邪魔をし、どこまで登る必要があるか(またはこれまでのところ)(または詳細については何に頼ることができるか)を知っている文献の複雑さのいくつかのレベルを強調します。



  1. それをもたらす -主な働き者; これらは「必携」と呼ばれる本です。
  2. 私をたくさん傷つけます -レベルが高いと、鳥瞰図からレベル1を見ることができ、知識を体系化し、さまざまな知識の領域を組み合わせます。
  3. 悪夢 -数学と象牙の塔の愛好家のための強い精神、mehmatのレベル。


ロードマップ







特定のコースに進みます。



分析、彼は微積分学



彼はロシアの大学で非常に興味深い教えを受けています。彼らのほとんどは、コース終了後数年たってから、そこにあるいくつかの不可欠なものだけを漠然と覚えています。 そして、これは分析が規律であるという事実にもかかわらず、実際、数学一般の基本の一つです。 原則として、理論から実践への橋はありません。このコースは、飛行島のように頭のどこかに浮かんでおり、実際の生活から完全に離婚しています。 さらに、数学の分野からだけでなく、「実生活」からの何かが望ましいという問題を解決することによってこれを克服する必要があります。



分析から知っておくべきことは何ですか?



必要な主なものは、制限、連続性、導関数、多くの変数の関数、勾配、積分、変数の上限を伴う積分、多次元積分*の概念です。



文学



それをもたらす :ここですべてが多かれ少なかれ標準です-Piskunov / Fichtenholtz

私をたくさん傷つけてくださいZorich、Volume 1 。 私はこの本が大好きです。 これは教科書ではなく、数式の小説であり、ユージン・オネーギンのようなものです。 残念ながら、その中の多くのものがより一般的に与えられているという事実のために、標準分析コースよりも複雑であり、それに慣れる必要があります。 しかし、このコミュニティのために、多くの異なるものがリンクされています(ベースの同じ制限を参照)。

悪夢Zorich Volume 1 + Volume 2、Rudin「数学分析の基礎」、Lviv「数学分析の講義」、Ramanan「グローバル計算」。



一般に、ここでの要約はこれです。ロシア語でさえ分析文献はいっぱいです。 教科書は純粋に数学的な傾向があります。 レベル2〜3の教科書に加えて、いくつかのコースをアドバイスできます。





私はMIPT講堂の分析に関するコースを見ていませんでしたが、完全を期すために以下も提供します。





練習する



習得した知識を実践し、適用することは「オプション」であるだけでなく、厳密に義務付けられています。



次のオプションを検討することを提案します。Demidovich、MITコースの問題セット (https://ocw.mit.edu/courses/mathematics/18-01sc-single-variable-calculus-fall-2010/index.htm)



線形代数



データサイエンスおよび一般的な科学のための毎日のパン。 残念ながら、人々は線形方程式とそのシステムのみをうまく解くことを学んでいます。 次数2以上の方程式には、あらゆる種類の非常に自明でない理論(可換代数、代数幾何学、およびそれらに似た他のもの)があります。 したがって、データ分析では、線形モデルが主に使用されます(またはロジスティック回帰、パーセプトロンなどの一般化された線形モデル)。



ロシア語には線形代数に関する本がたくさんあります。 問題は、それらが数学者向けに書かれているか、圧倒的に多くのインデックスを持っていることです(そして木の後ろに見える森林はありません)。 多くの場合、大学のコースの重点はヨルダン形式にあります。 他の標準形式はしばしば言及されていません。 Gaussと愚かなKramerがいますが、LU、SVDについてはほとんどありません。



線形代数から知っておくべきことは何ですか?



ベクトルとベクトル空間の概念; 線形演算子の概念; 演算子と行列の通信。 マトリックス分解(LU、少なくともSVD); 固有ベクトルと固有値; 直交ユニタリー演算子。 対称およびエルミート演算子。 二次形式、主軸への縮小。



文学



もたらす線形代数に関するギルバート・ストラングのOCW-MITコース+彼の本

ocw.mit.edu/courses/mathematics/18-06-linear-algebra-spring-2010/index.htm



このコースの一番の長所は、線形代数、あらゆる種類の双対空間、本の多くの問題、実践指向のアプローチ(「それは何でなく」、「それを計算する方法」)の「複雑」でかなりバカな定理がないことです。 線形代数の説明コースはまだ会っていません。



私をたくさん傷つけてくださいアクスラー「線形代数は正しく行われました」。 ゲルファンド「線形代数の講義 」。 MIPTコースlectoriy.mipt.ru/course/LinearAlgebra ; コストリキン「代数入門、パート2」、ティルティシニコフ「行列解析と線形代数」。



このレベルの複雑さの本やコースの問題は、理論的に指向していることです。 線形汎関数と双対空間がありますが、部分空間への射影行列と固有値を計算する実用的な方法はありません。 ほとんどの場合、このレベルのコースには強力な練習を追加する必要があります。 たとえば、線形代数の数値的手法による。



最後の本については別途。 私の意見では、これは練習からあまり離婚していないという意味で、線形代数に関する最も成功したロシア語の本の一つです。 同時に、あらゆる種類の「高度な」トピックが含まれています。 ある程度までは、Strangの講義に完全に取って代わることができますが、「手を満たす」ための簡単なタスクで補足する必要があります。 この本には問題がありますが、非常に深刻です。



悪夢コストリキン・マニン「線形代数と幾何学」、シャファレヴィッチ・レミゾフ「線形代数と幾何学」。



一般的に、ロシア語には多くの優れた文献がありますが、特に最後のレベルでは、非常に複雑です。



練習する



最初の場合と同様に、練習が必要です。 Go SVD-画像圧縮について学びます。 行列の乗算を行う-高速フーリエ変換、Strassenアルゴリズムを学びます。 多くの問題を解決します(たとえば、 KostrikinやProskuryakovの問題集から)。 LU分解を書いてください、ガウス。 最も永続的なものとして、 Trefethen、Bau "NUMERICAL LINEAR ALGEBRA"などの線形代数の数値手法に関する素晴らしい本を提供できます ホーン、ジョンソン「マトリックス分析」 。 これらの本は、まず、手を詰めるのに役立ちます。 第二に、多くの理論的方法が生命の散文(機械の精度、方法の不安定性、疎行列の処理)についてチップに分割されることがすぐに明らかになります。



離散数学



現代のCSの別のクジラ。 ここでは、主に組み合わせ論とグラフ理論の基礎に興味があります。



組み合わせ論とグラフ理論から知っておくべきことは何ですか?



二項係数、それらの漸近性; グラフ; 木々 深さおよび幅の検索。 再発関係とその解決策。



文学



それをもたらすアンダーソンJ.「離散数学と組み合わせ論」; Haggarti、Schliff J.、Whitesides S.「プログラマーのための離散数学」、Ore O.「グラフとその応用」



最初の2冊-離散数学の優れたTalmudsは、あなたが知る必要があるほとんどすべての質問をカバーします。



私をたくさん傷つけてくださいグラハム、クヌート、パタシニク「コンクリート数学」、ハラリ「グラフ理論」、鉱石「グラフ理論」。



悪夢サチコフ「離散数学の組み合わせ法入門」、オメルチェンコ「グラフ理論」。



練習する



原則として、組み合わせ論の教科書には多くの問題が含まれています。 彼らは解決する必要があります。 実際、すべての組み合わせ論は、単一の理論ではなく、さまざまな問題を解決する技術です。



All Articles