2014年以降、モスクワ州立大学。 MV Lomonosovには、Mail.Ru Groupからのデータマイニングと情報検索の分野での教育プログラムがあります。 彼女の学生はこの分野でさまざまな分野を研究し、会社の関連部門、および2014年秋に開設したモスクワ州立大学の研究室でインターンシップを行っています。 テクノスフィアについては、 こことここですでに説明しましたが、この記事では、トレーニングプログラム、その結果、大学内の研究室の活動、およびプログラムのインターンからの短いインタビューについて詳しく説明します。

テクノスフィアプログラム

現在、このプログラムは4学期と10の学科で構成されており、そのうちのいくつかは毎年行われています（2学期が進行中です）。 各分野では、練習が重視され、学生はプロジェクトを個別にまたはグループで実施します。 当初、テクノスフィアプログラムは毎年行われていましたが、すぐにこの時間では不十分であることに気付き、2年に延長することを決定し、一部の分野の研究期間を延長しました。 「データ分析入門」という1つの分野のみを追加しました。これにより、数学と統計の分野からいくつかの必要な側面と、使用するツール（プログラミング言語、ライブラリなど）の主要トピックが明らかになりました。 このコースの講義は、 YouTubeチャンネルでご覧いただけます 。 私たちが拡大した他の分野。 特に、C ++の詳細な研究の一部がC ++のマルチスレッドプログラミングに追加され、情報検索のブロックが重要になりました。



また、中核でない学部から来た人を助けるために、準備コース「アルゴリズムとデータ構造」を追加しました。 このコースでは、さまざまな基本アルゴリズムを分析し、特定のタスクのデータ構造を合理的に選択する方法を学びます。 これらの講義は、対応するYouTube プレイリストでも利用できます。

開発中の教育プロジェクト（いくつかの興味深い例）

データ分析の紹介。 学期中、学生はオープンデータに基づいて再現可能な研究を完了する必要があります。 作業は4〜6人のグループで行われ、各チームには独自のテーマがあります。 この調査はProject Jupyterで実施され、Python、R、Javaの言語を使用できます。 研究の段階を定義するCRISP-DMと同様の方法論に基づいている必要があります。



初期データセットとして、子にはいくつかのオプションが提供されます（米国政府からのオープンデータ、米国社会サービスからのデータ、国連データ、欧州連合オープンデータポータル）。また、別のデータセットを自分で見つけることもできます。



大量のデータを知的処理するためのアルゴリズム。 ソーシャルネットワークTwitterのユーザーを分類するタスクは解決中です。 学生には入力としてユーザーIDのリストが与えられ、一部のユーザーにはユーザーが属するカテゴリーが与えられます。 カテゴリの例としては、コンピューターゲームへの情熱（中毒/関与なし）があります。 プロジェクトの目標は、与えられていないユーザーのカテゴリを最も正確に予測するアルゴリズムを作成することです。 コース中、学生はオープンWebサービスAPIを使用して独自にデータを収集し、機能の構築と選択のためのさまざまなアルゴリズムと機械学習アルゴリズムを実装および適用します。



大量のデータを処理する方法。 最終学期のプロジェクトは、細胞内の変異の存在を判定することに専念しています。 このために、 p53 Mutantsデータセットが使用されました。その特徴は、ラベルのシフト分布です：陽性サンプルの1％未満。 作業は任意のプログラミング言語で実行できますが、ほとんどの場合、人はPythonとC ++を使用します。



子供の2年のトレーニングは学期を完了し、チームでの卒業プロジェクトの開発に専念します。 来年の春、第4学期の前に生徒たちが勉強を終えるときに私たちはあなたに教えます。

学生はどこでインターンしますか？

テクノスフィア内で学生が受ける知識とスキルは、広告テクノロジー（広告のターゲティング、ニュースの分類）、Mail.Ru Search、アンチスパムなど、さまざまな部門に適用できます。 現在、テクノスフィアの23人の卒業生のうち、12人がプロジェクトTarantool、My World、Mailなどの研修生です。 印象を共有するように依頼しました。



スヴィアトスラフ・フェルドシェロフ



-あなたはどのユニットで働いていますか？



-私はタランツール部門で約3か月働いています。 チームが何をしているのかを多かれ少なかれ想像していたので、私はそれを選びました。そして、私は内部の雰囲気が好きでした。 さらに、リーダーのコンスタンチン・オシポフは、テクノスフィアの学期コースを教えました。それは彼自身のやり方では難しく、刺激的でした。



-どのようなタスクを解決しますか？



-私は、大規模で大容量のタスク、つまりTarantoolでのSQLサポートの実装に取り​​組んでいます。 私に加えて、彼女はテクノスフィアの別の卒業生に従事しています。 実際、現在Tarantoolとの通信はLua言語で行われており、SQLを使用する可能性を実装しています。 主なアイデアは、より多くのユーザーがシステムで作業できることです。 主にCおよびC ++で記述します。



-作業結果はどこに適用されますか？



-まだ適用されません。 プロトタイプを作成してから、リファクタリング段階と、経験豊富な参加者による結果の大規模な処理を行います。 一般的に、私たちにはまだ長い道のりがあります。



-開発計画はどのようなものですか？どのユニットで働きたいですか？



「私は今やっていることが好きです。」 すべてがうまくいき、これが私のものだと理解できたら、この分野を掘り下げたいと思います。 しかし、時には記事を読んで仲間と話をし、本当にすべてをgiveめ、データ分析に携わり続けたいと思うことがあります（これはテクノスフィアの主な研究分野でした）。 しかし、それがどうなるかはまだ完全には不明です。 時間はわかります。



ミハイル・ガルコフ



-どのユニットで印象として働いていますか？



-私は推薦システムの部門で働いていますが、検索で働くことを期待していました。 推薦システムについてはほとんど知らなかったので、テクノスフィアの講義でしか会ったことがなかったので、初めて知識に追いつき、そのトピックに関する多くの科学記事を読む必要がありましたが、十分な動機付けがありました。 講義で話されたことから、ほとんどすべてが何らかの方法で確認されました。 ビッグデータは本当に大きいです。 処理のためのアルゴリズムとツールを理解することは大いに役立ち、データ/アルゴリズムを操作するための時間の配分はほぼ正しいことが判明しました。私にとっては、約70〜30です。



-インターンシップの最初にどのような課題を解決しましたか？



-最初は、さまざまなアルゴリズムで記事を分析し、その機能を調査し、さまざまなメトリックを使用してそれらを比較しました。



-現在、どのようなタスクを解決していますか？



-主に、私たちのユニバーサルレコメンダーシステムのアルゴリズムを構築し、データを準備しています。



-作業結果はどこに適用されますか？



-クラスメートとメイン検索で。



-開発計画はどのようなものですか？どのユニットで働きたいですか？



-今のところ、私は引き続き推奨事項に対処したいのですが、取得した知識を検索自体に適用することは興味深いでしょう。



-メンターの印象は？



-ドミトリー・ソロヴィエフが私の指導者であったことは非常に幸運でした。 目標とその成果を設定する際に役立つコメントと支援に加えて、新しいアイデアの交換と新しいことに挑戦する意欲を特に感謝しています。

学生のためのテクノスフィア研究室

テクノスフィアの立ち上げからわずか6か月後の2014年の秋に、プロジェクトの学生が会社の部署の実際のタスクに取り組むことができる独自の研究所を開設することにしました。 タスクの委任に最も関心のある学生は、オーディエンスセグメンテーションに従事する広告テクノロジー部門の部門の1つであることが判明しました。 このユニットの責任者であるアーサー・カドゥリンにいくつか質問をしました。 以下のインタビューをご覧ください。



-研究室を設計するときに、チームの前にどのようなタスクが設定されていましたか？



-当初、私たちは子供たちにさまざまなタスクを与えることを計画しました-研究と応用の両方。 しかし、ビジネスとしての私たちにとって、学生が会社の壁の外でタスクの一部をリモートで実行できるとすぐに信じることは困難でした。なぜなら、タスクが完了しただけでなく、 タイムリーに完了したことが重要だからです。 同時に、学生と一緒に仕事をしたかったので、学部が解決したすべてのタスクの中で、リモートワークに最も適したものを選択しました-広告セクションのカタログ内のカテゴリを更新しました。 システムのユーザー（広告主は広告予算をより効率的に使用できるように適切なターゲットオーディエンスを選択することに関心があります）と、広告システムを実行しているサイトへの訪問者の両方にとって重要です。



-そして、誰が研究室で働いていますか？



-実験室の作成時に、2人の従業員がすでに私たちのユニットで働いていました-MSTU imからTechnoparkを卒業しました。 したがって、バウマンは最初、実験室を設計するときに、すべての教育プログラムから約10人の実験室アシスタントを募集する計画がありました。 しかし、提案されたタスクは非常に具体的であり、準備が必要なため、テクノスフィアのみから人材を募集することにしました。



ある時点で、約8人が研究室で働いています。 残念ながら、細流があります。 このプログラムは毎年行われ、テクノスフィアを卒業した後、彼らは会社の部署に移りました。 このプログラムは2年間続いているため、状況は改善されました。



-ラボはどのようなタスクを解決しますか？



-現在、基本的に異なる種類のタスクがいくつかあります。 作業の必須部分は、実際には、アクセサリーのマークアップです。 ユーザーがテーマのサイトやページを収集し、正規表現を記述したり、キーワードを選択したりすることで、ユーザーの興味をより正確に理解したり、興味が変わったりします。 さらに、彼ら自身が同僚の作業の品質を評価し、匿名化されたデータでシステムがページを正しくレイアウトしているかどうかをチェックし、エラーを修正します。 おそらく、この作業には最も時間がかかります。



ただし、マークアッププロセスの大部分は何らかの方法で自動化されており、スタッフはこの自動化の大部分を行っています。 サイトツリーを処理するためのスクリプトを記述し、キーワードを収集し、正規表現を記述するためのデータを準備し、正規表現のコンパイルを自動化します。



明らかに、私たちは膨大な数のドメインとさらに膨大な数のページで作業しているため、収集されたデータは多くの場合、Hadoopツールを使用して保存および処理する必要があり、その後、ユーザーはMapReduceタスクを自分で作成してトレーニングクラスターで実行します。



作業の一部、つまり専門家の評価を自動化できない場合があります。 そして、私たちにとって実験助手の仕事の主な価値は、この非常に「人間的な」検査です。 最初は、トピックのカタログを年に一度完全に更新する時間があればいいと思っていましたが、今では、実験室のアシスタントが提供する自動化のおかげで、4-6か月に収まり、おそらく加速するでしょう。



テーマカタログに直接関連するタスクに加えて、昨年末から研究室で研究を行うことにしました。 いずれにせよビジネスから来ているので、おそらくこれらは完全な意味での科学的な仕事ではありませんが、それでもこれらは研究であり、KPIは会議で記事とスピーチを持っています。 このために、研究室の「プロダクション」部門から2人の男と、私たちのキュレーターである私の従業員であるLarisa Markeevaを選びました。 これまでのところ、重要な結果を自慢することはできませんが、彼らがすでにやったことは勇気づけられると言えます。



- 実験室の構造は何ですか？



-私に加えて、彼らはモスクワ州立大学のセルゲイ・ストプニコフの同僚によって監督されています。 セルゲイは、2008年からVMKの教員に勤務しており、ロシア科学アカデミーの情報問題研究所の上級研究員でもあります。 テクノスフィアの研究室では、彼は毎週連中の仕事を監督し、会社から大学へのタスクの委任を保証しています。



研究所の内部タスクについて、学芸員のセルゲイ・ストプニコフに尋ねました 。



-科学的な問題ではなく、ビジネス上の問題の定式化と解決に違いはありますか？



-ビジネスでは、多くの場合、文献で適切なソリューションを見つけて、それを会社のニーズに適合させるだけで十分です。 もちろん、同時に、効率を向上させるために、実装を工業レベルに引き上げる必要があります。 科学的課題の場合、新しいアイデアの出現とそのプロトタイピングが特徴的です。



-実験室用に最初に設定されたタスクについて教えてください。



-研究室はテクノスフィアの一部門であり、プロジェクトの学生を結び付け、純粋に実用的な問題とタスクの両方を科学的要素で解決し、その報酬を受け取ることを可能にします。 私の責任には、インターンシップの調整、データ分析部門と研究教育部門への報告が含まれます。 科学的な部分には、いくつかの興味深いタスクがあります。 そのうちのいくつかは、Giraphフレームワークに接続されています。Giraphフレームワークは、反復グラフ分析の計算モデルを実装しています。 さまざまな興味深いアルゴリズムを実装できます。 現在、深層学習の側面に重点が置かれています。 この方法には多くの見込みがあり、会社の従業員もこれに関与しています。



-研究室での作業は、学生の研究活動にどのように役立ちますか？



-もちろん、最近、私たちは適用されたタスクにもっと従事しています。 しかし、仕事は、経営陣やチームとしてのコミュニケーションの経験など、さまざまなスキルを身に付けるのに役立ちます。 将来的には、彼らの仕事の科学的な結果がもたらされることを願っています。



研究室での作業のいくつかのコンポーネントを強調できます。 最も重要なことは、新しいアイデアを生成する能力と欲求です。これは、適用された用語でも科学的な用語でも、最初は小さいかもしれません。 実践的なスキルも強調することができます。

• 科学的要素を伴うタスクには、英語を含む科学論文の読解と分析が含まれます。
• タスク（プログラムアルゴリズム）のプロトタイプを作成し、その効果を示すことができる必要があります。
• 結果を提示し、レポート、記事の形式で作成できる必要があります。

-いつ行うのが良いですか？



-研究室では、時間、自己規律を投資する必要があります。 実験室での作業では、さまざまな分野にスプレーすることはできません（学生が専門分野だけでなく生計を立てていることが多い場合）が、データ分析という1つのことに集中できます。 テクノスフィアで勉強する学生には、大学での基礎研究、テクノスフィアでの研究の課題があり、これら2つの分野ですべてを行う場合は、研究室でさらに仕事をすることをお勧めします。



-生徒たちに何を望みますか？



-私は彼らが彼らの人生に従事する活動の興味深い分野を選択することを望みます。 大学が勉強する能力に加えて、あなたの知識とスキルの興味深い応用を見つけることができるさまざまなビジネス分野に精通する機会を提供するために。 MSUの学生にこのような機会が与えられてうれしいです。



実験室インターンのアントンゴイとミラスアミールも、実験室で働いている印象を共有しました。



アントン・ゴイ



-インターンシップに何を期待し、どのような印象を持ちましたか？



-お互いに近くで勉強し、自宅で仕事をしているのは素晴らしいことです。 作業中に、多くの方法を見つけました。 さらに多くの世界的な課題がありました。 メンターは2人います。 論争の多い問題の解決に役立ちます。それは素晴らしいことです。



-あなたの仕事の結果はどこに適用されますか？



-ターゲット広告。 ユーザーの過去の行動に基づいて広告を表示します。 カタログに含まれているサイトを訪問した人は、これを理解し、他に興味があるかもしれないものを表示します。



-仕事中に面白い話はありましたか？



-さまざまなトピックに出会いましたが、そのうちのいくつかはおもしろかったです。 仕事のおかげで、今ではあらゆる種類のアルコール飲料を理解し、クレジットシステムについてすべてを知っています。 時々、面白いサイト名もあります。



-科学活動における仕事はどのように役立ちますか？



-今、私は神経生理学のプロジェクトに取り組んでいます-画像によって相互接続されている脳の領域の決定。 大量のデータがあり、それらを正しく処理する必要があります。 この作業では、テクノスフィアと研究室で得た知識を使用します。



-何をしたいですか？



-機械学習、データ分析。 次の学年度から、適切な仕事がある会社のある部門のオフィスに移動する予定です。



ミラス・アミール



-実験室で働くことの印象はどうですか？



-最近、1か月も経たないうちに研究室で働いています。 2週間で、いくつかの新しいことを学び、仲間と話をし、結果として大きく成長しました。 メンターは私たちに実際的なタスクを設定しますが、これは大学でのタスクとは大きく異なります。 すぐに問題を別様に見て、専門的に開発します。



-科学活動における仕事はどのように役立ちますか？



-実験室での活動は、MMP部門のカリキュラムの分野と密接に関連しているため、それらを組み合わせることは、パフォーマンスと自己啓発にプラスの効果をもたらすと思います。ビジネスに対してより責任あるアプローチを取り、質の高い方法で時間を配分するのに役立ちます。



-あなたの開発はどうですか？



-最近、データ分析の欠員が目を引きました。ここで経験を積むと、会社でのより深刻な職に応募すると思います。



-まだ勉強していて、まだ働いていない人たちに何を望みますか？



「仕事を早く始められるような方法で時間を整理してほしい。」 チームで働くスキルが発達するため、経験が蓄積されます。







1年間の実験室作業の後、データ分析の分野で基本的なトレーニングを受けていない請負業者や従業員と比較した男たちのパフォーマンスをまとめて計算しました。 みんなが素晴らしい仕事をしたことがわかった。 彼らは、モスクワ州立大学の研究室指導者であるセルゲイ・スタプニコフが設定したタスクを実行するだけでなく、これらのタスク用に自動化ツールを独自に開発および提供しました。 それらのいくつかは、会社のビジネスプロセスでわずかに補足され、実装されました。



2015年の秋、研究室内で2番目の方向である研究が開始されました。 これらの問題は、社内での時間も与えられます。 特に、ビジネスタスクでニューラルネットワークを使用する可能性を積極的に調査していますが、残念ながら、「戦い」でそれらをテストする準備がまだできていません：仕事を確保するには膨大なリソースが必要であり、新しい方法の使用はまだ明らかではありません。



それにもかかわらず、作業は進行中であり、インターンを研究所から彼らのソリューションに接続しました。 現在、実験室の6人のインターンのうち2人が科学研究に従事しています。



彼らはMCLアルゴリズムを担当していました。 グラフでクラスタリングを行うことを目指しています。



2016年3月、ラリサマルキーバが監督になりました。 アーサー・カドゥリンと一緒に、彼らは科学者たちに科学的な課題を課しました。



研修生は、RBMアルゴリズム（制限付きボルツマンマシン）の基本的な解釈を理解し、Giraphフレームワークで実装する必要がありました。 したがって、彼らは、Pregelアーキテクチャに基づいたグラフ上の分散コンピューティングシステムを構築する必要があります。



この手法により、ニューラルネットワークを事前にトレーニングできます。 また、クラスターで学習できるニューラルネットワークは、たとえば、広告のCTRを最適化するために将来使用できます。



すでに述べたように、今のところ、実験ではニューラルネットワークを使用します。 おそらく、この稼働時間はオープンソースで計画されるでしょう。



インターンシップの科学的方向性の一部として、さまざまなテクノロジー（Java、Hadoop）を使用することが提案されています。 視覚化とプロトタイピングには、Python、ノートブックが使用されます。 Apache Sparkの使用も計画しています。 潜在的に、研修生が研究開発するアルゴリズムは、学士または修士の仕事の基礎となります。



インターンの1人であるPavel Kovalenkoに、研究室の科学ユニットでの仕事について尋ねました。



-研究室の印象はどうですか？



-昨年2月に研究室で働くよう招待されました。 私にとって、これはこのチームワークの最初の経験です。 研究室の形式は、研究と組み合わせるのに非常に適しています。自宅で仕事をし、さらに週に一度大学でミーティングを行います。



-最初にどのようなタスクを解決しましたか？



-最初は、審査員のような仕事をしていました。 正規表現では、大規模なサイトのページをコンテンツの主題（車、不動産、衣服など）でマークする必要がありました。 トレーニングサンプルのセットは、トピックごとのページの自動分類の問題を解決するための最初のステップです。トピックのページでは、ラボの複数の学生が現在作業しています。



-現在、どのようなタスクを解決していますか？



-今年の初めに、私と同僚のアレクサンダー・シェチェルバコフは、Apache Giraph（グラフの分散処理のためのHadoopのアドオン）の操作、つまり、限定されたボルツマンマシンの分散バージョンの作成という新しい興味深いタスクを提供されました。 彼らは、Mail.Ru Groupの誰かがBoltzmannマシンを本当に大きなデータに適用する必要があると言っています。



-Technosphereは、科学活動、研究においてどのように役立ちますか？



-私にとって、テクノスフィアは不可欠な経験になりました。 多分私は少し早くそこに行きました-2年目の初めに。 多くの瞬間は私には理解できませんでした。 特に、データマイニングコースでは確率論に関する十分な知識が必要ですが、当時はまったくありませんでした。 テクノスフィアは、VMKでの学部の選択に影響を与えました-データマイニングコースと機械学習自体のアイデアが本当に好きだったので、実際には機械学習に従事している数学的予測学科に行きました。 実験室での作業には、Hadoop Technosphereコースが非常に役立ちます。 実際のクラスターで作業するための実用的なスキルは他にどこで得られますか？



実験室で行う作業は、学部での研究と密接に関連しているため、一方が他方に干渉するのではなく、補完することがありました。 講義で得られた知識を実際に使用すると、アルゴリズムの動作原理をよりよく理解できます。



-開発計画は何ですか？



-私はまだとても楽しみにしたくありません。 私は、大学ではほとんどの場合、研究と科学研究に専念すべきだと考えています。 したがって、研究室形式は非常に便利です。勉強することなく、都合の良い時間に仕事をすることができ、遠くまで旅する必要はありません。



-メンターの印象は？



-新しいタスクにより、新しいメンター、Larisa Markeevaがいます。 彼女はこの分野（HadoopとGiraph）に非常に精通しており、常にコミュニケーションに対してオープンであり、困難を解決し、実装に関するアドバイスを提供するため、彼女と仕事をすることは非常に楽しいです。 この点で、面白い話が最近起こりました。 作業には、Hive（SQLに似たコマンドを使用した分散データ処理用のHadoopのアドオン）が必要でした。 Hiveはトレーニングクラスタにインストールされましたが、構成が正しくないため、まったく機能しませんでした。 ラリサは、クラスターの管理を担当していた会社の誰かに手紙を書き、すぐにそれを理解することを約束しました。 翌日、彼はMail.Ru Groupを終了しました。 これが私たちが彼にもたらしたものではないことを願っています。 :)

データサイエンスチャンピオンシップMail.Ruグループ

Mail.Ru Groupは、大量のデータの分野でのトレーニングに加えて、子供たちが手を試すことができる2つの大規模なチャンピオンシップを開催しています。 ロシアAIカップとMLブートキャンプです。



ロシアのAIカップは、例としてゲーム戦略を使用した毎年恒例の人工知能プログラミング選手権です。



連続して4年になります。 タスクが異なるたびに。 今年、参加者はレーシングカーの動作をプログラムし、障害物をうまく回避し、トラックの壁にぶつからないようにし、他の参加者の車を撃ちました。



チャンピオンシップの勝者は伝統的に貴重な贈り物を受け取り、賞金プールは約百万ルーブルですが、最も重要なことは、絶対にすべての参加者が人工知能プログラミングのスキルを向上させたことです。 競争の結果によると、ロシアAIカップ2015の勝者はMail.Ru Groupに就職し、現在、同社のゲームプロジェクトのために人工知能を開発しています。



ML Boot Campは、Mail.Ru Groupの新しい機械学習開発者トレーニングイニシアチブです。 プラットフォームでは、参加者は機械学習とデータ分析の問題を解決する方法を学び、コンテストに参加して貴重な賞品を獲得する機会があります。 希望する人は、競技の間で練習し、トレーニング資料を習得し、テスト問題を解決することができます。 最高の機械学習のスペシャリストを紹介するために、2週間のコンテストが定期的に開催され、賞が与えられます。







***



研究室の最初の科学結果をすぐに公開できることを願っていますが、現時点では、データ研究に関連し、テクノスフィアプロジェクトの一環としてリリースされた資料に精通することをお勧めします。

1. HadoopによるStepicのコース
2. マルチスレッドC ++コース
3. YouTubeでの講義