最初のストリーミングトラックの推奨。 Yandexでの講義

データサイエンスゲームは現在進行中です 。これはデータ分析の国際学生コンテストです。 モスクワ州立大学のメンバーが予選ステージで優勝し、機械学習トレーニングの1つで彼らの決定について話しました。





カットの下-デコードとほとんどのスライド。

---

Vsevolod Vikulin：

-皆さんこんにちは。 Data Science Gameと呼ばれる国際競争の予選段階についてお話します。 私たちのチームはモスクワ州立大学を代表し、ダリア、私と他の2人で構成されていました。



彼らはすでに定期的に競技会を開催しようとしています。 予選ステージについてお話します。 決勝は9月に開催されます。 私たちはそこで1位になりました そして、メダルを獲得した上位1位のグリッドにロシアチームがいることは特に素晴らしいことです。 そのため、ロシアのデータサイエンスは誰にとっても屈辱的です。



タスクのステートメントに渡します。 音楽を聴くことができる特定のDeezerサイトがあります。 推奨システムFlowがあり、ユーザーが何らかの歌を聴くことができます。







ユーザーに関する既知の統計があります。彼が聞いたときに聞いたこと、そしてあるユーザーに曲を勧めるFlowのイベントがあります。 タスクは、彼がそれを聞いているかどうかを調べることです。 かなりおかしいです。 「聞く」という用語は、彼が30秒間彼女の話を聞いたかどうかを意味します。 30秒間聞いてスキップすると、聞くことを意味します。 私たちは、ShADで行われる超ファッショナブルな回路で、ある種の協調フィルタリング、フィルタリングマシンを使って解決しようと思いました。 実際、これはすべて必要ではなく、すべて不要です。 XGBoostを取得し、分類の問題を考慮する必要があります。 これが最も簡単なソリューションです。 彼らはフィーチャーを採掘し、XGBoostに詰め込み、何らかのスコアを得ました。 レポート全体は、優れた機能の構築で構成されています。



箱から取り出して装着したので、私たちはモデルにあまり気にしませんでしたし、調整さえしませんでした。







データセットにシームレスに移動します。 750万のユーザーとメディアのペア、つまり、あるID、ある機能、およびターゲット変数を持つ人物とトラックがあり、30秒間以上曲を聴いたかどうか。



Flowが推奨する曲だけではないことが重要です。 ユーザー自身がオンラインラジオで聴いたり突いたりした曲がまだありました。 そして、それが推奨事項であるかどうかを示す特別な機能がありました。 同時に、3万ペアからなるテストセット自体では、システムによって推奨されたユーザーに対してのみ1または0を決定する必要がありました。



id関連の機能に進みます。 性別、年齢。 しかし、それだけではないことを知っています。



音楽、その持続時間、アーティストID、ジャンルに関する機能-すべても重要ではありません。











聞いていたID ...私たちはまだ彼らのAPIを解析しました-それはコンペティションのルールによって許可されていました-そしてアーティストに関連するいくつかの機能を得ました：彼の名前、彼が演じるジャンル、ファンの数。 しかし、アルバムの機能のように、これらすべてはあまり再生されませんでした。







そのような問題を解決したすべての人は、これが彼らに影響を与えないことを知っています。 曲のタイトルは、聴くかどうかには影響しません。 影響を与える最も重要なことの1つは、この曲を聞いたり、似たキャラクターの曲​​を聞いたりした場合、もう一度聞くことです。 ビヨンセを聴くことを好むなら、エミネムを聴くことはまずありません。 したがって、動作機能を実行する必要があります。 彼らは最も影響力があり、最も決定的なものです。 それらについてお話します。







最初の適切な場所は、距離行列を作成することです。 ユーザーの類似度を測定できます。 推奨事項の標準的なアプローチ：ユーザー数あたりのユーザー数のサイズの巨大なマトリックスがあり、ユーザーAがユーザーBにどのように見えるかを確認します。これを行う方法 両方のユーザーが聞いたすべての曲を愚かに取り、そこにどんな距離があるのか​​を見ることができます。 すべてをすばやくカウントするのが好きな人は、すばやくカウントするため、距離の余弦を計算します。 膨大なマトリックスをすばやく把握できます。 私たちは数千人しかないので、あなたは（聞き取れない-およそエド。）さえできます。 そして、クラスター化、クラスター化が可能です。 理論的には、ロシアのラップのファンの集団をとると...非常に悲しい集団ですが、そうなります。 そして、あなたがロシアのラップのファンのクラスターを持っている場合、ユーザーはビヨンセの歌を聞くことは明らかです？ ありそうもない。 この機能は非常に論理的であり、これが推奨タスクで作業するときに頭に浮かぶ最初のものです。







2番目のアイデア：私たちはすべて、LSA、潜在セマンティック分析を知っています。これは多くの場合、テキスト分解に組み込まれています。 なぜこのような埋め込みを試してみませんか？ マトリックスAがあります-マトリックス、行内の同じユーザー数、列内の曲数です。 1-聞いている場合、0-聞いていない場合。 SVD分解を行い、k個のコンポーネントを取得できます。 そして、k個のコンポーネントがユーザーを歌の空間に埋め込んでいるだけだと考えてください。 それでは、本文でもそうしませんか？ さらに、サイズは非常に健全で、歌は45万種類になります。 マトリックスは、条件付きで5 x 45万でした。それは非常に健康的で、当然、スパーです。 簡単に分解して、ユーザーを曲に埋め込むことができます。 それらをクラスター化し、ロシアのラップのファンを探し、この埋め込みの平均ベクトルを計算し、これを機能として使用できます。







最後の部分はuser2vecです。 そのような冗談、私自身の言葉。 word2vecは高速で動作するため、私たちは皆愛しています。 同じ用語とアーキテクチャを使用して曲を予測してみませんか？ スキップグラムアーキテクチャの場合は、入力に下限を設定し、コンテキストを予測します。 または、CBOWの場合は、単語を入力してコンテキストを予測します。 同じシンプルなアイデアを使って、曲を推薦するタスクに使用してみませんか？ ユーザーがいるので、それを何らかの合理的なベクトルに分解します。 ユーザーがどの曲を聞いているかを知っています。 非常に迅速に構成され、ユーザーに関する何らかの入力（ロングショットなど）を与える1つの隠された条件を持つ単純なニューロンを作成します。出力では、彼が彼のために歌を予測し、損失関数、ある種のソフトマックスをここに入れます。すべてのユーザーを追い払うだけです。 数時間以内に、各ユーザーに対してオープンタームの提出を取得するのはかなり面白いです。 ユーザーが曲ごとにどのようにレイアウトされているかを知りたい場合は、入力を通過させて、隠れた状態の意味を調べます。 128次元がある場合、歌空間に128次元のベクトルを取得します。 また、それらをクラスター化し、平均を計算することもできます。 そして、行動機能として使用します。



そして、私たちを最初の場所に導いた超複雑な決定をどのように行うかについて、魅力的なダリアは彼女にその言葉を伝えます。



ダリア・ソボレバ：

-皆さんこんにちは。 私の名前はソボレヴァ・ダリアです。モスクワ州立大学MMP学部海軍部の3年生です。 はい、チームには4人がいました。 VsevolodとNikita Shapovalovの2人が機能エンジニアリングに従事し、APIを解析してスマート機能を生成し、私と別の人であるNikolai Popovがモデル自体を構築しました。







どのような追加機能がありますが、私たちが生成したものほどスマートではありません。 通常、競合から競合へと常に使用します。 カテゴリ属性がある場合は、常にカテゴリKのサイズ、各カテゴリ内のターゲット変数の平均値を考慮してください。 さらに、ターゲット変数を何らかの方法で使用するという事実により、これは簡単に再トレーニングにつながる可能性があります。 たとえば、カテゴリが小さすぎて1つの値のみで構成されている場合、このカテゴリ内のターゲット変数の平均値は、このターゲット変数と単純に一致します。 つまり、再訓練します。



よく知られた手法は、ターゲット変数の平滑化された平均であり、これはStas Semenovによってナレーションされました。 これは式です。 ネットワーク全体でターゲット変数のグローバル平均を計算し、平滑化された比率を取りましょう。つまり、カテゴリごとのターゲット変数の平均値をカテゴリのサイズで報告し、グローバル平均時間にマジック番号10を加算します。実際、アルファパラメータはここにあるはずです このパラメーターは相互検証のために調整する必要があるため、あまり時間はなく、実際に影響することもなかったので、10だけを置くことにし、正常に動作しました。



この式は、カテゴリサイズが小さすぎる場合（たとえば、Kがゼロになる傾向がある場合）、この式が単純にグローバル平均に変わることを示しています。 つまり、再トレーニングが少なくなります。



機能エンジニアリングと、生成したこのような単純な基本機能の後、ソリューションを提出し、すぐにトップ2に入りました。







次に、いくつかの機能を追加することにしました。 私はこのテクニックをいくつかの競技に続けて使用しています。 これは、ターゲット変数を使用すると、必然的に何らかの形で再トレーニングされるという事実に基づいています。 それでは、ターゲット変数なしで、監視されていない同様の何かを考えてみましょう。 ランダムフォレストを構築し、そこから機能の重要性を取得し、上位Kのマテリアル属性を取得します。 同じことだと思います。 このマテリアル属性がターゲット変数だと思います。 それらの統計を検討します。



それはどうですか？ まず、バイナリ分類のタスクがある場合、ターゲット変数は単純に0と1であり、平均または平滑化平均を除いて、カテゴリに適したものはありません。 ランダムフォレストによると、ターゲットまたはそのようなものと相関する適切なマテリアル属性がある場合、さまざまな統計を計算して、より多くの機能を生成できます。 たとえば、最大値、中央値、平均値、最小値、あらゆる種類の変位値を取りました。 これはすべて詰め込むことができ、いくつかの追加の症状があります。



これらの属性を追加すると、モデルはほとんどすぐになりました...品質指標は「Ukrok」であり、特にロシアのチームでは長い間、スコアを隠していたことに注意してください。 つまり、彼らは1マイナススコアを取り、誰もそれがどのように機能するかを見ませんでした。 このようなコンテストに参加する際には、これを念頭に置くことができます。 最終スコアはプライベートリーダーボードでのみ認識されましたが、それまではほとんど見られませんでした。



検証方法について疑問が生じました。 かなり自然にそれをすることにしました。 テストには、トレーニングセットにあるトラックよりも後でユーザーに提供されたトラックがあるため、各ユーザーの最後のトラックをタイムスタンプごとに検証にプッシュすることにしました。



すべての大会で、私は3つのことで品質を評価しようとします：列車、検証、リーダーボードです。 そして、それらが何らかの形で相関することが望ましい。 そのため、次のように検証を作成することにしました。 ターゲット変数によって考慮されたすべての統計...現時点で将来を見据えなければなりません。 これを行うには、列車に乗り、各ユーザーから1つのトラックを摘み取り、テストサンプルに入れ、ターゲット変数とmerdzhilのトレーニングサンプルの統計を新しいテストオブジェクトで読み取ります。



この5トラック前に検証を行い、5トラック前に検証を行いました。 Sevaが言ったように、そこには750万のオブジェクトがあったので、歴史を通して勉強することは非常に困難でした。







記憶力が非常に少なかったため、すべてを適切に行いました。 電車の中で各ユーザーから最後のトラックを摘むとき、電車から実際にそれを削除し、検証を追加し、電車の統計をカウントします。 まあ、もちろん、ある時点でこれがバグにつながり、それがトップ1に飛びました。



5つのトラックを取り出し、各ユーザーのこれら5つのトラックのトレーニングセットに関するすべての統計を計算し、1つのモデルを形成したとします。 彼女は勉強し、トップ2を獲得しました。 その後、彼らは同じスクリプトを再び開始しました。そこでは、各ユーザーの最後の6つのトラックが既に列車にありません。 彼らは同じモデルを教え、同じことを予測しましたが、彼女だけがすでに各ユーザーから7番目、8番目、そして12番目のトラックまでの方法を学びました。 訓練を受け、彼女はトップ2を与えました。 そして彼らの平均はトップ1を与えました。 これはおそらく論理的です。 さまざまな間隔でユーザーの関心を考慮しました。 したがって、ほとんどの場合、決定は急上昇しました。



私たちは競争も本当に好きだったので、その完成後、他の何かを試すことにしました。 私たちはトップ1になりましたが、同時に改善したいという要望もありました。



ターゲット変数の統計を計算することにしました。 単一のカテゴリ、カテゴリのペア（聞き取れない-約Ed。）で検討しましたが、さらに3つカウントすることにしました。 大きな改善は見られませんでした。すでに1,500の兆候があり、モデルは非常に複雑で、アンサンブルXGBoostです。 したがって、この考えは通じませんでした。



別のアイデアが渡されました。 ニコライ・ポポフは曲を修正することを決めた（録音失敗-約編）。 ユーザーが聞く2つの連続したトラックを使用し、盗聴の間に「ディッ」時間を取ります。 トラックの継続時間に収まる場合は、同じ継続時間で分割します。 そして、曲の評価のようなものを取得します。それ以外の場合は、元のターゲットを置くだけです。



すべてを同じように訓練したが、変換されたターゲットの統計をカウントした後、最初のターゲットと変換されたターゲットでカウントされたモデルを平均し、決定トップ1を破りました。 以上です。