MERC-2017コンテストの結果について：受賞者とのインタビュー

Datacombats会場でのNeurodata Labの MERC-2017コンテストの勝者とファイナリストは、単なる非人格的なリーダーボードラインではありません。 これらは、さまざまな専門的および研究的関心、背景、および能力を備えた若い専門家です。 最初のコンテストの歴史の最後の仕上げとして、インタビューをすることにしました。 ブログの読者にとって、この資料がコンテストの主催者として私たちに出てきたように、反省の源になることを願っています。





ファイナリストの構成に予期せぬ変更があったことをすぐにお知らせしたいと思います。1位と2位は同じままで、3位の勝者は以前はリーダーボードの4位だった参加者でした。 最初に3位になった参加者は、ルールで指定された時間内に賞品の支払いに必要なデータを提供しませんでした。 はい、はい、私たちも驚きました。



したがって、最後のTOP-3：



1位 -（tEarth）Denis Vorotyntsev

2位 -（10011000）Pavel Ostyakov、Alexei Kharlamov



•Alexey：基本的なパイプラインの作成、仮説、反復レイヤーとフレームワークの実装のテスト、ハイパーパラメーターの選択、レベル2モデルのトレーニング。

•Pavel：パイプライン最適化、モデルトレーニング、データ処理アプローチのテスト。



3位 -（FedotovD）ドミトリー・フェドトフ



受賞者に教育、将来の計画、決定の詳細について尋ね、また新しいコンテストのアイデアを共有するように求めました。



1.あなたの教育について教えてください。大学や専門分野の選択に影響を与えたものは何ですか？ どのようにして機械学習とデータ分析の分野に来ましたか？



Denis Vorotyntsev（MPEI、ラッペーンランタ工科大学） ：私の母校であるモスクワ電力工学研究所は、長い間、ラッペーンランタ工科大学を含む多くの教育機関との協力プログラムを持っています。 フィンランドの関連分野で勉強し、卒業証書を書く優秀な学生が選ばれます。 私の意見では、このような実践は、新しい経験、知人、知識の面で学生にとっても、国際協力や教育と科学の分野での経験の交換の面でも大学にとって良いことです。 これは、発見と改善の余地がある再生可能エネルギーのような画期的な分野にとって特に重要です。

科学とビジネスの交差点で興味深い問題を解決したいという願望に基づいて、私は高等教育機関を選びました。 6年前のMPEIでの再生可能エネルギー分野の人材育成は国内で最高であり、時間が経つにつれて品質が向上するだけでした。 私の部門である水力発電と再生可能エネルギー源の部門は、科学的な仕事と技術的な競争や会議への参加の機会を提供しました。 これらの会議の1つで、先週の太陽光発電の生産を予測する分野で行われた作業に関する報告と、これが発電所の所有者および電力システム全体にとってどれほど重要であるかについて報告しました。 提示されたソリューションは非常にシンプルでしたが、それでも優れた精度を提供しました。 その瞬間、私はより良いことができるように思えましたが、私の知識はハブに関するいくつかの記事に限定されていました 彼は記事、書籍、トレーナーの講座、edxの研究を開始し、Open Data Science（ODS）コミュニティに参加しました。 1か月後、「機械学習」の最初のモデルを受け取りました。線形回帰は完全にmatlabで記述されています。 ハハ

その後、咳や類似のプラットフォームでの機械学習に関する多くのコンテストに参加しました。 平凡な結果は、ますますやる気になりました。 各コンペティションから新しいことを学び、次のコンペティションで使用するために、リーダーボードトップと競争するために、matlabからRに、次にPythonに切り替えて、新しいライブラリとテクノロジースタックを試して、機械学習トレーニングとオンラインコースを見る必要がありました本や記事を読む。 彼らが言うように、じっと立つためには、あなたは素早く前進する必要があります。



Pavel / Alexey（HSEコンピュータサイエンス学部） ：HSEは革新的な大学であり、優れた効果をもたらす技術と古い教育方法の優れた組み合わせを備えています。 また、機動性の向上、つまり留学する能力、および追加のノンコア教育（マイナー）を取得する可能性にも注目する価値があります。



ドミトリー（シベリア州立大学、ウルム大学） ：現在、シベリア州立大学（シベリア州立科学技術大学、学者M.F.レシェトネフ、クラスノヤルスクにちなんで）の大学院生であり、私は現在ウルム大学と一緒に博士論文に取り組んでいます研究助成金）。 ロシアの大学の専門分野-システム分析; ドイツ語では、通信技術：インタラクティブシステム。 彼はクラスノヤルスクで自分の好み、プロのトレンド、友人のアドバイスに基づいて方向を選びました。 2年目からは、進化したアルゴリズムとニューラルネットワークテクノロジーの分野で科学的研究を行い、得られた知識をデータ分析の実際の問題に適用しました。 2015年に、彼はウルム大学の研究チームと協力して感情を認識するタスクに取り組み始めました。



2.競争についてどのように知りましたか？ 何に惹かれましたか？



Denis ：ODS slackのコンテストについて読みました。 コンテストの説明は次のようなものでした：ビデオによる感情の認識。 それから非常に複雑に思えました-ビデオの処理、顔の検出、顔からの特徴の抽出、モデルの構築という長いパイプラインを考え出す必要があります。 このような難しいタスクに取り組みながら、多くの興味深いことを学ぶことができます！ 正直なところ、トレーニングデータに匿名化された変数があり、ビデオファイルのセットは見られなかったので、少し怒っていました。 しかし、まだ創造的な仕事の余地がありました。 興味深い問題を解決し、多くのことを学んだので、結果に満足しています。



Pavel / Alexey ：彼らはサイトmltrainings.ruから学んだ。 私は、標準ではない設定、複数のモダリティと同時に作業する能力、新しいプラットフォームで他の参加者と競争するという興味深いタスクに魅了されました。



Dmitry ：AVEC（Audio / Visual Emotion Challenge）コンテストに関する情報を見て見つけました。 コンテストでは、私に非常に近いトピックと、いくつかの不安定なモダリティと異なるサンプリングステップを持つデータで問題なく動作できるシステムを開発するという形での緊急のタスクに魅了されました。



3.コンテスト中にうまくいかなかったアプローチやアイデアはありますか？ 結果を改善することは可能だと思いますか？



Denis ：事情や怠、公共のリーダーボードでの自分の地位など、私が望むすべてを試す時間はありませんでした。 ビジネスで同様の問題を解決するために、PCA（またはRandomForestを使用して重要な属性を選択するなど、ディメンションを縮小する別の方法）と組み合わせてLTSMを試してみます。 たたみ込みネットワーク。 確かに、いくつかの異なるモデル（およびデータ処理への異なるアプローチ）をスタックすると、精度は向上しますが、実稼働環境でのモデルの使用は複雑になります。



Pavel / Aleksey ：結果は間違いなく改善されます。 さまざまな繰り返しセルとアーキテクチャを試すことができます。 また、予測を確率で平均するだけでなく、第2レベルのモデルを作成することもできます。 このアイデアは良いですが、データがない場合は、再トレーニングを克服するのに十分な時間を費やす必要があります。



ドミトリー ：競争の枠組みで解決したいが、時間がなかった根本的に異なるアプローチ-いいえ。 結果を改善できると確信しており、この方向で作業することは確かです。 データが欠落している感情のマルチモーダル認識の実験は、私の論文の一部であり、主催者が提供するデータベースがこの基礎として使用されます。



4.なぜデータギャップの問題にほとんど注意が払われなかったのか、それを解決しようとする他の方法は何ですか。



Denis（平均値による置換） ：競争の初めに、2つのアプローチを検討しました：1つは、すべてのデータを単一のデータフレームで送信し、ギャップまたはある値で置き換えてモデルをトレーニングすることでした（平均はクロス検証で最高の結果を出しました） 。

2番目のアプローチは、モダリティごとに独自のモデルを作成し、すべてのモデルを第2レベルのモデルと組み合わせることです。 ロジスティック回帰が最高の第2レベルモデルになると思われました。 ただし、1つではなく複数のモデルを作成する必要があります（省略の可能性のある組み合わせに基づいて、そのようなモデルの理論では2 ^ 4-1 = 15でなければなりません）。 エレガントなソリューションではないように思えたので、長い引き出しに入れました。

最初の方法はリーダーボード上で良い位置を与えたので、私は2番目の方法を試しませんでした。



Pavel / Aleksey（ゼロで置き換える） ：ソリューションの作成中にいくつかの基本的なアプローチがテストされました（平均値、より高い値、より低い値など）。ただし、ゼロの入力は速度の点でモデルにとって最適であることが判明しました。 そして最終品質で。



Dmitry（ゼロで置き換える） ：不足しているデータの置き換えと処理の問題に多くの時間を費やし、提出物の約半分を費やしました。 このような些細で興味のない方法の選択は、明らかな利点と一貫性にもかかわらず、他のすべてのオプションが精度を向上させなかったという事実によって説明されます。 欠落データのアカウンティングのオプションのほとんどは、各モダリティの予測が受信された後、データの後処理の段階でアプリケーションが見つかりました。 たとえば、最終予測の計算時には、データが利用できないモダリティのみが考慮されました。 使用されたフレームの何パーセントがゼロでないかに応じて、計量予測も適用されました。 たとえば、LSTMモデルで15個の前のフレームを使用する場合、最初の5つはゼロです。 この場合、最終決定を計算するときに予測に0.66の重みが割り当てられます。 ゼロ以外のデータでのみ、または重みを使用してモデルをトレーニングする方法がテストされました（後処理オプションと同様）。 説明されたオプションとそれに近いオプションはいずれも、テストサンプルの公開部分で改善を示していません。 それにもかかわらず、このような処理オプションを使用すると、データが欠落しているモデルの精度が向上すると確信しており、提供されたデータベースで機能する方法を引き続き検索します。



5. TOP-3のすべての参加者が、いわゆる決定木（XGBoostなど）またはLSTMを優先して選択したことに驚きました。 何があなたの選択を決めましたか？



Denis（LightXGB） ：勾配ブースティング法は、数年前のSVMのような機械学習の現代的な「黄金のハンマー」であると言えます。 ニューラルネットワークと比較して、「すぐに使える」使いやすいので、データの前処理について考える必要はありません。欠損値の入力とカテゴリ変数の操作です。 しかし、彼らが言うように、無料のランチはありません。優れた結果を達成するには、多くのオプションを試す必要があります。 この競争では、最大の結果は、選択したトレーニングモデルではなく、結果のデータの前処理および後処理（予測確率の平滑化）の戦略に関連付けられていました。



Pavel / Aleksey（LSTMモデルのアンサンブル） ：リカレントニューラルネットワークを選択したのは、類似したコンテンツのデータシーケンスを操作するための最も強力なツールだからです。 もちろん、データセットにビデオからの正直な画像が含まれている場合、畳み込みLSTMネットワークを使用すると、はるかに良い結果を得ることができます。



Dmitry（少数のパラメーターを持つlstm） ：正直なところ、このコンテストのフレームワークでは、さまざまなモデルのテストではなく、データ処理に焦点を当てました。 最初の提出は、以前に使用したLSTMモデルを使用して行われ、それぞれ24層と12層の2つのLSTMブロックが使用されました。 このモデルの結果は0.537852で、すぐに2位になりました。 その後の提出では、2つのモデル変更のみを行いました。リカレントニューラルネットワークのサイズを2倍（12-6ブロックに）縮小し、レイヤーを双方向にしました。 モデルではなく、データの前処理と後処理の精度を高める大きな可能性を見出しました。



6.このコンペティションから何か役に立つ/面白いことを学びましたか？ どの方向に進む予定ですか？



デニス ：間違いなくはい。 データを視覚化し、次元を減らすためにさまざまなアプローチを試みました。 彼らは結果を改善する助けにはなりませんでしたが、さらなる仕事に必要な思考とかけがえのない経験のために食物を提供しました。 現在、私はすべての競技で剣闘士として戦い、コンピュータービジョンタスクを優先したいと考えています。



Pavel / Aleksey ：はい、競争は、反復モデルの再訓練との戦いで得られた大量の経験の形で非常に有用であることが判明しました。また、訓練のための不十分なデータの条件でレベル2モデルを構築するためのさらなる使用もありました。



Dmitry ：欠落したデータをマルチモダリティで扱うための経験とアイデアを確かに引き出しました。 実際の条件でデータを収集する場合は常に発生しますが、データの欠落の問題にはほとんど時間がかかりません。 たとえば、最近、同僚と私は感情を認識するためのプロジェクトのデータを収集しました。モダリティの1つは目の動きと視線の方向でした。 これらの目的のために特別に設計されたこのデバイスは、照明の急激な変化や明るい日光に照らされたときにデータを収集する機能を失いました。 他のセンサーも短期的な中断を引き起こしました（主に放出の形で）。 この場合、コンペティションで提示された状況と同様の状況があるため、取得した知識は実用的な観点で非常に有用であると思います。

将来的には、欠落データにもっと注意を払いながら、感情認識システムの開発に取り組み続けます。



7.次のコンテストのいずれかで音声処理に焦点を合わせる可能性を排除しません。 この分野のどのような問題を解決したいですか？ コンテストやコンテストに興味がある他のトピックは何ですか？



デニス ：感情に関連するものはすべて興味深い仕事ですが、それに対する競争はほとんどありません。 音声処理は一般的に爆弾です！



Pavel / Aleksey ：1）スピーチによる人の気質の判定、2）スピーチによる人のパニック状態の判定、3）嘘発見器。



Dmitry ：音声処理のトピックは私にはあまり似ていないので、この質問に答えるのは難しいです。 感情認識コンテストに興味があります。 特に、ソーシャルネットワークからのデータ（テキスト、写真、ビデオ）に基づいて、実際の条件に近いタスクを確認したいと思います。



音声処理の面に横たわる、または感情や行動の認識に関連するコンテストの独自のアイデアもある場合は、コメントで共有してください。



投稿者：

Alexandra Smirnova、クラウドソーシングプロジェクトと外部関係の専門家Neurodata Lab