このプログラムは1.5年前からすでに市場に存在し、さまざまな角度からテストおよび開発されていますが、技術が静止していないという事実のために重要な変更があります。
1. Apache Spark 2.x
推奨システムの開発専用のプログラムの2番目のモジュール全体は、Apache Sparkに基づいて実行されます。 最初のセットでは、バージョン1.3を使用しました。 比較的短時間で、Sparkは、不明な理由で絶えず落ちるツールから、多くの企業が活動の主要なものとして実装しているソリューションに移行することができました 。 常に最新の状態に保ち、クラスターで最新バージョンのSparkを使用します。 新しいバージョンには、ツール自体の操作の分野で多くの改善と変更が加えられているため、これはプログラムで強調されます。
2. Spark Streaming WorkshopおよびWorkshop
これらの2つのクラスは、以前のセットでは実験的でした。 練習は、それが観客にとって非常に興味深く有用であることを示しました。 マスタークラスは、パートナーであるE-Contentaの卒業生およびデータエンジニアによって提供されます。 彼は、オンライン動画コンテンツの推奨のためにSpark Streamingをどのように使用するかについて語っています。 セミナーでは、リアルタイムでツイートの内容を分析するなど、いくつかの実用的なケースを分析します。
3.ディープラーニングワークショップ
このレッスンは、最後のセットでも実験的でした。 特定のトピックに関する特別なリクエストがある場合は、生徒に会います。 前回、多くの人がディープラーニングについて知りたいと思っていました。それは何であるか、どのような現代の成果、内部にあるのか、このツールの背後に隠されている直感などです。 このマスタークラスは、ディープニューラルネットワークを操作する実用的なスキルを提供しません。 このようなニーズがある場合は、このトピックに関する特別な短いプログラムを使用することをお勧めします。このプログラムは、Data Science Week 2016で発表しました。リンクによるプレゼンテーション。
このレッスンの成績は非常に高かったので、プログラムに残しておくことにしました。
4. Slackのチャットボット
プログラム中の主なコミュニケーションプラットフォームはSlackです。 その中で、生徒は互いに効果的にコミュニケーションをとったり、教師とコミュニケーションをとったり、オンラインブロードキャスト中に質問したり、もちろん主催者に質問したりすることができます。
主催者への質問のほとんどは、主に自宅で行われる実験作業に関連しています。 奇妙なものがあり、時には何かが機能していないようです 質問の約80％は聴衆の間で、あるセットから別のセットへと繰り返されるため、最新のテクノロジーを使用してこれを最適化することは論理的です。 今回はSlackのチャットボットを使用します。これにより、コーディネーターと技術チームの負荷がわずかに軽減されます。
奨学金について
マイクロソフトは、New Professions Labのビッグデータ教育パートナーです。 このパートナーシップにより、Microsoftクラウドデータテクノロジーの全範囲がカリキュラムに導入されます。
奨学金は、トレーニング費用の半分（18万ルーブルのうち9万ルーブル）をカバーしています。 合計で、3つの奨学金が提供されます。 奨学金申請者は、少なくとも1年間の実務経験があり、同時にビッグデータ分野をマスターする意欲がなければなりません。
奨学金を受け取るには、次のことを行う必要があります。
a）申請時に28歳以上であること。
b）動機付けの手紙を書く。 その中に、あなたの教育、仕事の経験、あなたが取り組んだプロジェクト（製品リンクまたはプログラムコードの断片によって補足）、今後3-5年間のキャリアプランに関する情報を必ず含めてください。
c） 競争課題を解決する
d）完了したタスク、履歴書、および手紙を9月26日までにinfo@newprolab.ruに送信します。
結果は、締め切り後1週間以内に発表されます。
さあ、それは面白いでしょう！ そして、もちろん、私たちはあなたの質問にお答えさせていただきます。