深層学習コースの概要

こんにちは、Habr！ 最近、人工知能の分野での成果は、ディープラーニングツールまたはディープラーニングに関連付けられています。 この分野の専門家になるために必要なスキルをどこで学ぶことができるかを見つけることにしました。

1. Googleによる「深層学習」

講師： Vincent Vanhoucke、Googleリーダー、Google Brainプロジェクトテクノロジーリーダー

プラットフォーム： Udacity

費用：無料

言語：英語

期間：約3か月（自分のペースで歩くことができます）

日程：無料の進行中のコース

コースへのリンク： www.udacity.com/course/deep-learning--ud730



プログラム



機械学習：機械学習、ロジスティック回帰、確率的最適化、データの読み込みと前処理、パラメーターの選択、相互検証、品質評価の基礎。



ディープニューラルネットワーク：ニューラルネットワークの紹介、ディープニューラルネットワークのアーキテクチャ、ハイパーパラメーターの選択、正則化。



畳み込みニューラルネットワーク：動作の概要と基本原理、畳み込みニューラルネットワークのアーキテクチャ、パラメーターの正則化と選択、画像処理などのアプリケーション。



テキストを操作するためのディープニューラルネットワーク：機械学習、ワードバッグ、word2vec、リカレントニューラルネットワーク、LSTM、正則化におけるワードプロセッシングの基本的なアプローチ。



メリット

• TensorFlowディープラーニングライブラリを広範に活用するGoogle業界のリーダーによるコース-急速に成長し、現在利用可能な最高のツールの1つ。
• iPythonノートブック形式+コースプロジェクトでの多数のインタラクティブな調査と興味深い実用的なタスク：電話のカメラからの画像上の数字をリアルタイムで認識するモバイルアプリケーションの開発。
• アクティブなコースフォーラム、教師や他の学生と課題を話し合う機会。
• このプログラムは過負荷ではなく、ニューラルネットワークの一般理論と、深層学習で使用される主なタイプである畳み込みおよび反復の両方をカバーしています。

短所

• コースは英語です。
• かなり高度な複雑性：高度な上級コースであり、機械学習の基本的なトピックの一部のみをカバーする入門部分が限られています。数学とPythonの基本は含まれていません。
• 実際のタスクでは、画像認識とワードプロセッシングの標準的な教育タスクが使用されました。タスクのビジネス上の問題に対する研究されたモデルの実際のアプリケーションは存在せず、コースでは説明されません。
• 無料版では、すべての実用的なタスクは、モデルの結果と品質指標に基づいて生徒自身によってチェックされ、教師または他の生徒からのコメントの受信は提供されません。

2.トロント大学の機械学習用ニューラルネットワーク

講師：ジェフリーヒントン、トロント大学教授、イギリスの有名なコンピューター科学者であり、認知神経心理学者で、人工ニューラルネットワークの理論に多大な貢献をした。

プラットフォーム： Coursera

費用：無料

言語：英語

期間： 4か月

日付： 2012年以降の休憩後に再開

コースへのリンク： www.coursera.org/learn/neural-networks



プログラム



はじめに、パーセプトロントレーニング、エラーバック伝播手順、単語の特徴ベクトルの取得、ニューラルネットワークを使用したオブジェクト認識、最適化：学習プロセスの加速、リカレントニューラルネットワーク、ニューラルネットワークの一般化能力の向上、ニューラルネットワーク、ホップフィールドネットワーク、ボルツマンマシンの組み合わせ、制限付きボルツマンマシン、Deep Beliefニューラルネットワーク、生成的事前トレーニングを備えたディープニューラルネットワーク、階層構造のモデリング、ディープニューラルネットワークの新しいアプリケーション 亭。



メリット

• コースの著者は、優れた科学者であり、人工ニューラルネットワークの分野の先駆者の1人です。
• このコースでは、ニューラルネットワークの構築と操作の一般原則と、音声認識と視覚オブジェクト、画像セグメンテーション、自然言語と人間の動きのモデリングなどへの応用によるディープラーニングによる最新の開発の両方を扱います。 ニューラルネットワークはここで非常に深く研究されており、他のコースの多くのトピックは考慮されていません。
• 各アルゴリズムを確認した後、機械学習の問題を解決し、アーキテクチャを構築し、パラメータを選択するためのアプリケーションに関する実用的なアドバイスが提供されます。
• 実験室のタスクとテストが利用可能です。
• このコースには非常に多くの学生がおり、初めてではありません。質問をしたり、タスクについて話し合ったりできる広範なフォーラムがあります。

短所

• 高度な複雑性：多くの数学、独立した仕事のための非常に複雑なタスク、広範な理論的部分、豊富なプログラム。
• タスクはPythonではなくOctaveで実行され、最新の深層学習ライブラリは使用されません。
• 高い入場閾値：コースを受講するには数学の知識が十分である必要がありますが、このコースの前に、同じプラットフォームでAndrew Ngの機械学習コースを最初に受講することをお勧めします。

3.バイオインフォマティクス研究所の「ニューラルネットワーク」

講師：サンクトペテルブルク州立大学総合心理学科の大学院生アナトリー・カルポフは、バイオインフォマティクス研究所の生物学者向けに、数理統計学とデータ分析のコースをRで提供しています。 Arseny Moskvichev、研究エンジニア、サンクトペテルブルク州立大学生物学部卒業。 アナスタシアミラー、数学および機械学部、サンクトペテルブルク州立大学、JetBrains。

プラットフォーム： Stepik

費用：無料

言語：ロシア語

期間：約3か月（自分のペースで歩くことができます）

日付：コースは完了しましたが、資料への無料アクセスは保持されます

コースへのリンク： stepik.org/course/ Neural-ネットワーク-401



プログラム



線形代数、パーセプトロンおよび勾配降下の基礎、エラー逆伝播アルゴリズム、ネットワークステータスモニタリング、結論。



メリット

• コースはロシア語です。
• それほど複雑ではありませんが、技術的および物理的数学の専門分野の卒業生だけでなく、学童にも明らかです。
• 低い入場閾値：Pythonと学校の数学の知識のみが必要です。
• 講義には多数の実用的なタスクとテストが組み込まれています。コースには、iPython Notebook形式の本格的な実用的なタスクも多数含まれています。

短所

• 最新のライブラリとディープラーニングフレームワークは使用されません。
• 入門コース：ディープラーニングの基礎となる適切なニューラルネットワークに専念しますが、ディープラーニングで使用される特定のタイプのニューラルネットワークはなく、その応用はコースプログラムにはありません。
• このコースは、学童や学生を含む学界を対象としており、ビジネスへの応用については議論されていません。

4.スタンフォードによる「視覚認識のための畳み込みニューラルネットワーク」

講師：スタンフォード大学Fei-Fei Li教授および彼女の学生Justin JohnsonおよびAndrej Karpathy（PhD学生）のコンピュータービジョンおよび人工知能研究所の教授および校長

プラットフォーム：スタンフォード大学

費用：無料

言語：英語

期間：約3か月（自分のペースで歩くことができます）

日付：無料

コースへのリンク： cs231n.stanford.edu



プログラム



コンピュータービジョンの紹介、画像の線形分類、最適化、確率的勾配降下、ニューラルネットワークの紹介、ニューラルネットワークのトレーニング、畳み込みニューラルネットワークの紹介、オブジェクトをローカライズする畳み込みニューラルネットワーク、畳み込みニューラルネットワークと画像構築の可視化、リカレントニューラルネットワーク、ロングショートメモリネットワーク、ディープラーニングライブラリの概要、ネットワークトレーニングの実践：マルチプロセッシング、GPU / CPUの使用、効果的な畳み込み、コースプロジェクト。



メリット

• 大学の高い学術的評判。
• プログラムの完全性：このプログラムは、ニューラルネットワークの操作とそのトレーニングの一般原則、およびコンピュータービジョンだけでなくディープラーニング全般で使用される主要な種類のニューラルネットワークの両方を対象としています。
• GPU / CPUでニューラルネットワークをトレーニングする実際的な問題、最新のディープラーニングライブラリについて説明します。
• redditの外部コース参加者用のコミュニティが作成されました。ここでは、課題について議論したり質問したりできます。

短所

• コースは英語です。
• 高度な複雑性、アカデミックコミュニティに焦点を当てる：これはスタンフォード大学の学生向けのオリジナルコースです。
• 理論は実践よりも多く、理論部分よりも特定のライブラリとソフトウェアの実装に費やされる時間が短く、コースは特定のライブラリに関連付けられていません。
• 高い入学要件：数学、機械学習、Python、およびそのライブラリに関する強力な知識が必要です。
• これは大規模なオンラインコースではなく、公開されている大学のコース資料です。

5.スタンフォードによる「自然言語処理のための深層学習」

講師：リチャード・ソッチャー、スタンフォード大学の教授、Salesforceの主要な研究者。

プラットフォーム：スタンフォード大学

費用：無料

言語：英語

期間：約3か月（自分のペースで歩くことができます）

日付：無料ですが、すべての講義が

コースへのリンク： cs224d.stanford.edu



プログラム



自然言語処理とディープラーニングの概要、単語の単純なベクトル表現：word2vec、GloVe、単語の高度なベクトル表現、名前付きエンティティを認識するニューラルネットワーク、ネットワーク設計の実用的な問題、トレーニングとパラメーター選択、TensorFlowの紹介、リカレントニューラルネットワーク、GRUネットワークおよびLSTMと、機械翻訳での使用、再帰的ニューラルネットワーク、解析およびトーン分析での応用、テキスト分類での畳み込みニューラルネットワーク、音声認識、機械翻訳 Euodia、seq2seqモデル、自然言語処理のためのニューラルネットワークの未来：動的メモリネットワークコースのプロジェクト。



メリット

• 大学の高い学術的評判。
• プログラムの完全性：有望なテキストや開発中のテキストなど、テキストの分析のために深層学習で使用されるすべての基本モデルとニューラルネットワークのタイプが網羅されています。
• 最新のTensorFlow深層学習ライブラリが使用され、ネットワークのトレーニング、アーキテクチャの構築、およびパラメーターの選択の実際的な問題がカバーされています。
• このコースには、Piazzaプラットフォーム上に個別のフォーラムがあり、そこでタスクを議論したり質問したりできます。

短所

• コースは英語です。
• 高度な複雑性、アカデミックコミュニティに焦点を当てる：これはスタンフォード大学の学生向けのオリジナルコースです。
• 実践よりも理論の方が、理論部分よりも特定のライブラリとソフトウェアの実装に費やされる時間が短くなります。
• 高い入学要件：数学、機械学習、Python、およびそのライブラリに関する強力な知識が必要です。
• これは大規模なオンラインコースではなく、公開されている大学のコース資料です。

6.レイジープログラマーによる「データサイエンス：Pythonでのディープラーニング」

コース作成者：幅広い学術経験（コロンビア大学、NYU、ハンバーカレッジ、ニュースクールで数学解析、統計、機械学習、アルゴリズム、コンピューターグラフィックス、物理学を教えた）とオンラインでの作業経験を持つデータアナリスト、開発者、ビッグデータエンジニアLazy Programmerという名前で隠れている広告とデジタルメディア。 このコースに加えて、彼は多くの深層教育コースを実施しています。

プラットフォーム： Udemy

コスト： 120 $

言語：英語

期間：指定なし、コースには37の講義が含まれ、7つのセクションに分かれています

日程：無料の通常コース

コースへのリンク： www.udemy.com/data-science-deep-learning-in-python



プログラム



ニューラルネットワークの紹介、マルチクラス分類、ニューラルネットワークのトレーニング、ハイパーパラメーターの設定、相互検証、正則化、TensorFlowの操作、プロジェクト：表情認識およびサイトユーザーの行動の予測。



メリット

• 2つのコースプロジェクトを含む、多数のテストと実際のタスク。
• 低エントリーしきい値：高度な数学とPythonの基礎からの知識のみが必要です。
• 数学と複雑な理論にあふれているのではなく、必要なすべての理論的情報を含む実践指向のコース。
• このコースでは、ニューラルネットワークの理論の基礎と、ディープラーニングで使用される特定の種類のニューラルネットワークの両方を扱います。
• このコースは、ビジネスでの実用的なアプリケーションに焦点を当てており、学生がオンラインストアのウェブサイトでのユーザーの行動を予測する分野のコースプロジェクトを含んでいます。
• TensorFlowを含む、最新のデータ分析とディープラーニングのライブラリが使用されます。

短所

• コースは英語です。
• 無料ではなく、オンラインコースの価格はかなり高くなっています。
• 限定プログラム：コースはディープラーニングの主要トピックの一部のみを対象としています。たとえば、ワードプロセッシングとリカレントニューラルネットワークはこのコースの範囲外ですが、著者の他のコースで見つけることができます。

7.ジョージア工科大学による「強化学習」

講師：チャールズL.イスベル、ジョージア工科大学、教授、人工知能の専門家。 マイケルL.リットマン、ブラウン大学、教授、強化学習の専門家。

プラットフォーム： Udacity

費用：無料

言語：英語

期間：約4か月（自分のペースで歩くことができます）

日程：無料の進行中のコース

コースへのリンク： www.udacity.com/course/reinforcement-learning--ud600



プログラム（不完全）



強化学習入門、マルコフ意思決定プロセス、含む。 一般化され、部分的に観察可能な、報酬とそのシーケンス、ポリシーとその検索、行動構造、ポリシーとエージェントの評価、TDトレーニング（時間差）、Qトレーニング、収束、高度なアルゴリズム分析、研究（インテリジェンス）戦略、ゲーム理論機械学習との接続。



メリット

• このコースは、強化トレーニングの分野の主要な研究者によって準備されました。
• ゲーム理論などの関連分野を含むトピックの非常に広い範囲。
• 多数の興味深い実用的なタスク。
• 強化を伴うディープラーニングの分野では、優れた結果が得られたという事実にもかかわらず（たとえば、Google DeepMindのAlphaGo）、この方向性は非常に有望であり、このレビューで紹介する他のコースでは、強化を伴う学習のトピックは開示されていません。

短所

• コースは英語です。
• 高い入学基準：機械学習と数学の知識は、西部大学の卒業生のレベルで必要です。 また、Java言語を知っている必要があります;コースにはJavaの紹介はありません。
• 高度な複雑性：多くの数学、広範な理論的部分。
• 人工知能の分野で使用される機械学習のかなり具体的な方向をカバーする方向は1つだけです。
• コースのすべてのセクションがディープラーニング専用ではありません。 深層強化トレーニングでは、バークリーコースの深層強化学習の教材をさらに使用できます。
• コースは学術コミュニティに焦点を当てており、ビジネスアプリケーションは考慮されていません。

他のオンラインディープラーニングコースのリストは、 Eclass.cc コンピレーションにあり ます。



TL：DR一番下の行は、ほとんどのオンラインコースの利点は、コスト、利便性（いつでもどこからでも勉強できる）、理論的なトピックの良いカバレッジであるということです。 主な欠点：学界へのオリエンテーションと実用的な問題への十分な注意、ほとんどの英語プログラム。



最近、データサイエンスウィークで、フルタイムの深層学習プログラムを発表しました。

New Professions Labの「ディープラーニング」

講師： Grigory Sapunov、CTOであり、Yandex.Newsサービス開発の元ヘッドであるIntentoの共同設立者。 彼は20年以上プログラミングを行っており、そのうち約15年はデータ分析、人工知能、機械学習に従事しており、2011年からディープラーニングに従事し、RoadARプロジェクト（道路上のオブジェクトのニューラルネットワーク認識）、Icon8（ニューラルネットワークフィルター）などのプロジェクトに参加しています。

サイト：モスクワ、メトロクラスノプレスネンスカヤ

費用： 6万ルーブル。

言語：ロシア語

期間：フルタイム+実験室作業+フルタイム

日付： 11月26日から12月3日まで

コースリンク



プログラム



1日目

ニューラルネットワークの最新機能の概要

ニューラルネットワークの基本

画像分類の原則。 畳み込みネットワーク（CNN）

ケーススタディ。 有名なモデルの分析：LeNet、AlexNet、...

練習：Caffeライブラリ。 独自のニューラルネットワーク分類子をゼロから作成する

他のタスク（スタイル転送、検出/セグメンテーション、テキスト分類など）に畳み込みネットワークを使用する

ケーススタディ：イメージスタイルの転送。 Prismaなどのサービスの背後にあるアルゴリズムの仕組み

画像の分類に関する毎週の実験室作業。



2日目

実験室作業の分析と受賞者の報酬

リカレントネットワークの基礎（RNN）

ニューラルネットワークを使用したテキストの分類。 Word2vec、doc2vec。 完全に接続されたネットワーク、畳み込みネットワーク、分類用の再発ネットワーク

練習：Keras / Theano Library。 RNNを使用したテキストの感情分析に関する作業

シーケンス学習とseq2seqパラダイム。 seq2seqで解決されるタスクの例：翻訳、テキスト生成、音声認識、...

ケーススタディ：「チャットボットの作成」。 ダイアログでのテキスト生成

マルチモーダル学習。 通信畳み込みおよびリカレントネットワーク。 ケーススタディ：画像の説明の生成

ビジネスにおけるディープラーニングのマスタークラス

プログラムの特徴：

• 実用的な問題の解決に焦点を当てる
• ビジネスケーススタディ
• 理論は深層学習の専門家になり始めるのに十分です
• クラウドで発行されたGPUマシンのラボ作業
• 先生に質問する可能性
• リモート参加なし（現在）
• 理論的な問題は、オンラインコースと同じ注意を払っていません。

プログラムの詳細についてはこちらをご覧ください 。HABR-DLコードにより（マネージャーに伝える必要があります）、10％の割引が適用されます。



コメントや質問を歓迎します。