近年のディープラーニングは、機械学習の研究の重要な分野となっています。 ディープニューラルネットワークを効果的にトレーニングできるようになったアーキテクチャのブレークスルーから始まり、他のサブドメインに広がり始め、問題を解決するには複雑な関数の近似が必要な一連の効果的なツールを提供しました。
多くの最新の研究記事では、ベイジアン形式をディープニューラルネットワークと組み合わせて積極的に使用し、興味深い結果を生み出しています。 BayesGroupの研究グループは、 Skoltechの友人の助けを借りて、ハイバースクールオブエコノミクス、Sberbank、Yandex、Kaspersky Lab、JetBrains、nVidiaの支援を受けて、経験を共有し、ベイジアンメソッドに関するサマースクールを深層学習で準備することを決定しました;ベイジアン手法とは何か、詳細に説明する場所、それらをディープラーニングと組み合わせる方法、およびそれから何ができるか。
学校の選択は非常に困難な仕事であることが判明しました-強力な候補者から300件以上の申請書を受け取りましたが、100人しか収容できませんでした（参加者の中には、モスクワとサンクトペテルブルクの住民だけでなく、地域の学生とロシア語を話すゲストもいたのは素晴らしいことですボーダー）。 多くの有力な候補者を拒否する必要があったため、この残念な事実を緩和するために、我々はhabrausersと共有したい資料を最大限利用できるようにすることにしました。
1日目
初日は完全に入門講義で構成されていました-学校の生徒は異なる背景を持っているため、「平準化」講義が必要でした。 少なくとも、一般的な用語を設定します。
2日目
2日目の主な内容は、隠れ変数の問題におけるベイジアン推論と、複雑な問題へのスケーリングです。
3日目
3日目には、強化学習をベイジアンの観点から見て、注意メカニズムへのさまざまなアプローチを検討しました。 さらに、リカレントニューラルネットワークの強力な装置のさまざまなタスクへの適用と、何も機能しないトリックについても説明しました。 悲しいかな、技術的な問題のため、この講義は記録されませんでした。
4日目
4日目のテーマは、従来はハイパーパラメーターの検索に使用されていたガウス過程、スケーリング、ベイズ最適化でした。 さらに、変分推論に代わるものとして、スケーラブルなモンテカルロ法を検討しました。
5日目
5番目の締めくくり日には、最も興味深い-暗黙モデルのベイズ法、生成的競合ネットワークと変分オートコーダーの交差、ニューラルネットワークの不確実性の推定、および変分ドロップアウトを使用したニューラルネットワークの自動希釈があります。
結論として、これはサマースクールを実施する最初の経験であり、予備的なフィードバックから判断すると成功しました。多くの生徒が来年の学校の再編成を支援することに関心を示しました。 ニュースに遅れないようにしたい場合は、Twitter @deepbayes_ruで私たちのチャンネルを購読し（そして@bayesgroupも購読できます）、アナウンスに従ってください。