機械学習 正月休みをお得に過ごしたい人のためのYandexのコース

正月休みは、リラックスするだけでなく、独学にも適しています。 日常のタスクから逃れ、数年間、一年中（そし​​ておそらく1つではない）役立つ新しい何かを学ぶことに専念できます。 そのため、今週末は、データ分析学部の最初の学期に一連の講義コースを公開することにしました。



今日は最も重要なことです。 それなしで現代のデータ分析を想像することは不可能です。 コースの一部として、先例による学習の主な目的が考慮されます：分類、クラスタリング、回帰、次元の低下。 過去10〜15年にわたって作成された、古典的および新規の両方のソリューションの方法を研究しています。 重点は、検討中のメソッドの数学的基礎、相互接続、利点および制限の深い理解にあります。 別の定理が証明付きで与えられます。







講義コースKonstantin Vyacheslavovich Vorontsov、ロシア科学アカデミーコンピューティングセンター主任研究員。 CJSC Forexis科学副局長。 部門「インテリジェントシステム」FUPM MIPTの副部長。 「予測の数学的手法」VMiK MSU部門の准教授。 Yandexのエキスパート。 物理科学および数理科学の博士。

講義1.適用される問題の基本概念と例

• 前例による学習目標の設定。 オブジェクトと標識。 スケールのタイプ：バイナリ、名目、順序、定量。
• タスクの種類：分類、回帰、予測、クラスタリング。
• 基本概念：アルゴリズムのモデル、トレーニング方法、損失関数および品質関数、経験的リスクを最小化する原理、能力の一般化、制御の移動。
• 適用されたタスクの例。

講義2.ベイジアン分類アルゴリズム、ノンパラメトリック手法

• 分類問題の確率的ステートメント。 重要な概念：事前確率、事後確率、クラス尤度関数。
• 中リスクの機能。 IおよびIIの種類のエラー。
• 最適ベイズ分類器。
• 分布密度の推定：3つの主なアプローチ。
• 単純ベイズ分類器。
• Parzen-Rosenblattによる分布密度のノンパラメトリック推定。 カーネル機能の選択。 ウィンドウ幅の選択、可変ウィンドウ幅。 Parzenovskyウィンドウメソッド。
• ノンパラメトリックナイーブベイズ分類器。
• 堅牢な密度推定。 サンプルの検閲（放出オブジェクトのスクリーニング）。

講義3.パラメトリック手法、通常の判別分析

• 多次元正規分布：幾何学的解釈、サンプルパラメーター推定：数学的期待ベクトルと共分散行列。
• 二次判別式。 分割面のタイプ。 置換アルゴリズム、その欠点、およびそれらを除去する方法。
• フィッシャー線形判別。
• 多重共線性と再訓練の問題。 共分散行列の正則化。
• 次元削減方法。
• 分布ミックスモデル。
• EMアルゴリズム：基本的な考え方、隠れた変数の概念、Eステップ、Mステップ。 Mステップ式の構成的導出（収束の正当化なし）。

講義4. EMアルゴリズムと動径基底関数のネットワーク

• 停止基準、初期近似の選択、コンポーネント数の選択。
• 確率的EMアルゴリズム。
• 多次元正規分布の混合。 放射基底関数ネットワーク（RBF）と、それを構成するEMアルゴリズムのアプリケーション。
• 最近傍法（kNN）とその一般化。
• 移動制御の基準に従った数kの選択。

講義5.メトリック分類アルゴリズム

• 一般化されたメトリック分類子、インデントの概念。
• 潜在的な機能の方法、勾配アルゴリズム。
• 参照オブジェクトの選択。 擬似コード：STOLPアルゴリズム。
• 競合アフィニティ機能、FRiS-STOLPアルゴリズム。
• 生体ニューロン、マッカロックピッツモデル。
• 線形分類器、インデントの概念、しきい値損失関数の連続近似。

講義6.線形分類アルゴリズム

• 二次損失関数、最小二乗法、フィッシャー線形判別式との接続。
• 確率的勾配法と特別な場合：適応線形要素ADALINE、Rosenblattパーセプトロン、Habbルール。
• 確率的勾配法の欠点とその除去方法。 収束の加速、ローカルミニマムの「ノックアウト」。 再訓練の問題、体重減少（体重減少）。
• クラスの尤度関数の指数仮説。
• ベイズ最適分類器の線形定理。
• シグモイド活性化関数を使用した事後クラス確率の推定。
• ロジスティック回帰。 尤度最大原理と対数損失関数。
• 確率的勾配法、Habbルールとの類推。

講義7.サポートベクターの方法（SVM）

• 最適な分割超平面。 クラス間のギャップの概念（マージン）。 線形分離可能性と線形分離可能性の欠如の場合。
• 正規化された経験的リスクの最小化との関係。 区分線形損失関数。
• 二次計画問題と二重問題。 サポートベクターの概念。
• 定数Cを選択するための推奨事項
• カーネル関数、整流空間、マーサーの定理。
• 核の建設的構築の方法。 コアの例。
• SVMとガウスコアおよびRBFネットワークの比較。

講義8.線形分類法：一般化とレビュー

• さまざまな連続損失関数とさまざまな正則化の理論的実証。
• ベイジアンアプローチ。 データとモデルの最大結合尤度の原理。
• 実際に使用されるいくつかの種類のレギュラー。 二次（L2）正則化。 L1-およびL0-レギュラーと、文字の選択との関係。
• 関連するベクトルの方法。
• 複雑さのアプローチ。 Rademacherの複雑さとそのプロパティの一部。 線形分類器のエラー確率の上限。

講義9.回帰回復法

• 回帰回復問題、最小二乗法。
• 1次元ノンパラメトリック回帰（平滑化）：Nadara-Watson推定、カーネルの選択、平滑化ウィンドウ幅。
• 多次元線形回帰。 特異分解。
• 正則化：リッジ回帰と投げ縄Tibshirani。
• 主成分法と相関関係のないカルネン・レーエフ変換。
• ロバスト回帰：単純なLOWESS放出スクリーニングアルゴリズム。

講義10.時系列予測

• 加法および乗法の時系列モデル。 トレンド、季節性、カレンダー効果。
• 適応モデル：指数平滑法、Holt-WintersおよびTheil-Wageモデル。
• スライディングパイロットとTrigg-Lichモデル。
• 予測モデルの適応的な選択と構成。
• 適用されるタスクの例：トラフィック予測、訪問数、販売量。

講義11.ニューラルネットワーク

• 多層ニューラルネットワークの構造。 アクティベーション機能。
• 完全性の問題。 排他的ORのタスク。 ブール関数の空間における2層ネットワークの完全性。
• エラー逆伝播アルゴリズム。 初期近似の形成。 ネットワーク麻痺の問題。
• ネットワーク構造最適化方法。 隠れ層の層数とニューロン数の選択。 ネットワークの緩やかな合併症。 最適なネットワークの間引き（最適な脳損傷）。

講義12.クラスタリングアルゴリズム

• クラスター化問題ステートメント。 クラスター構造のタイプ。
• グラフクラスタリング手法：接続されたコンポーネントを識別するアルゴリズム、FORELアルゴリズム、クラスタリング品質機能。
• 階層クラスタリング（分類）：凝集階層クラスタリング、樹状図および単調性のプロパティ、圧縮、拡張、および還元性のプロパティ。
• 統計的クラスタリング手法：EMアルゴリズム、k-means法。

講義13.部分学習法

• 単純な発見的方法：SSLタスクの機能、自己訓練方法、分類アルゴリズムの構成。
• クラスタリング手法の変更：最適化アプローチ、制限付きクラスタリング。
• 分類方法の変更：変換SVM、ロジスティック回帰、期待正則化。

講義14-15。 分類子の構成。 ブースティング（ パート1 、 パート2 ）

• 分類子の構成：学習構成の問題、古典的なAdaBoostアルゴリズム、勾配ブースティング。
• バギングおよび委員会の方法：バギングおよびランダム部分空間法、単純でバランスの取れた投票、年功序列投票。
• アルゴリズムの混合物：能力の分野の考え方、混合物を学習し、混合物を順次構築する反復的な方法

講義16.一般化能力の評価

• 教育方法を選択するためのタスクと基準：モデルまたは教育方法を選択するためのタスク、移動制御の経験的推定、分析的推定および正則化基準。
• 一般化能力の理論：再訓練の確率とVC理論、Occamの剃刀、再訓練の組み合わせ理論。
• 特性選択方法：徹底的な検索と貪欲なアルゴリズム、深さおよび幅の検索、確率的検索。

講義17.機能を選択する方法。 機能の選択

• 機能を選択するタスクの複雑さ。 完全な検索。
• 追加および削除の方法、段階的回帰。
• 深さ、枝と境界線の方法で検索します。
• 切り捨てられた幅優先の検索、MSUA複数行反復アルゴリズム。
• 遺伝的アルゴリズム、MGUAとの類似性。
• ランダム検索および適応付きランダム検索（SPA）。

講義18.論理分類アルゴリズム

• 規則性と情報コンテンツの概念：定義と指定、解釈可能性、情報コンテンツ。
• 有益なパターンを検索する方法：貪欲なアルゴリズム、標識の選択に基づくアルゴリズム、データの二値化。
• パターンの構成：決定的なリスト、決定的な木、投票パターン、決定的な森林。

講義19.論理分類アルゴリズム。 決定的な木

• 決定的なリスト。 欲張りリスト合成アルゴリズム。
• 決定的なツリー。 擬似コード：貪欲なID3アルゴリズム。 アルゴリズムの欠点とそれらを除去する方法。 再訓練の問題。
• 決定木削減：事前削減と事後削減。
• 決定木を決定リストに変換します。
• LISTBBアルゴリズム。
• 交互決定木。
• 不注意な決定木。
• 決定的な森と決定的な木を後押しします。 TreeNetアルゴリズム。

講義20。論理分類アルゴリズム。 加重投票

• 結合パターンの合成方法。 擬似コード：CORAアルゴリズム、TEMPアルゴリズム。
• パターンの多様性と有用性を提供するヒューリスティック。 パレート最適パターンの構築。 インデント分布の整列。
• パターンに適用されるAdaBoostブースティングアルゴリズム。 ブースティングの情報基準。
• 適用されるタスクの例：クレジットスコアリング、カスタマーケアの予測。

講義21.連想ルールの検索

• 結合パターンの合成方法。 擬似コード：CORAアルゴリズム、TEMPアルゴリズム。
• パターンの多様性と有用性を提供するヒューリスティック。 パレート最適パターンの構築。 インデント分布の整列。
• パターンに適用されるAdaBoostブースティングアルゴリズム。 ブースティングの情報基準。
• 適用されるタスクの例：クレジットスコアリング、カスタマーケアの予測。

講義22.共同イテレーション

• 問題とアプリケーションの声明。
• データストレージに基づく相関モデルでは、欠損値を回復するタスクが近接関数です。
• 潜在モデル：二重クラスター化とマトリックス分解、確率的潜在モデル、Yandexデータからの実験。

講義23-24。 テーマ別モデリング（ パート1 、 パート2 ）

• テーマモデリングタスク：確率的テーマモデル、ユニグラムモデル。
• テーマモデルPLSAおよびLDA：確率的潜在セマンティックモデル、潜在ディリクレ配置、テーマモデルの品質の経験的評価。
• ロバストな確率論的テーマモデル：バックグラウンドおよびノイズ成分を含むモデル、ロバストモデルのEMアルゴリズム、ロバストモデルのスパース性。

講義25.強化トレーニング

• 多腕バンディット：問題、貪欲および半欲張りの戦略、適応戦略の簡単な説明。
• 動的プログラミング：問題の完全な記述、ベルマン方程式。
• 時差の方法。

更新： 機械学習コースのすべての講義は、Yandex.Diskの開いているフォルダーの形式で行われます 。