求人サイトの推奨事項を作成します。 Yandexでの講義

最近、私たちは主に参加者の観点からそれらを考慮して、機械学習競技について多くを書きます。 しかし、競争を正しく組織し、実施することも困難な課題です。 企業は間違いから学び、次回は競争の構造を変えます。 たとえば、過去数年の経験を考慮したRecSys Challenge 2017は、2つの連続した段階で実施されました。 AvitoのAndrey Ostapetsが、これらの段階、ユーザーの行動の履歴に基づくさまざまな機能、および問題を解決するために常に複雑なモデルを使用する必要があるかどうかについて語っています。 AndreiのチームはRecSys Challengeで7位になりました。





-みなさん、こんにちは！ 私の名前はアンドレイです。私はAvitoで働いています。今日は、RecSys Challenge 2017コンテストへのチームの参加についてお話します。



最初に、コンテスト自体とどのタスクが解決されたかについて説明します。 次に、チームの決定について、そして最終的には結果についてお話します。



RecSys Challengeは、RecSys Conferenceの一環として開催されるコンテストです。 これは大きな会議であり、今年は11回目の開催となります。 会議には多くの科学報告がありますが、主催者は当初から勧告に関する競争を開催する伝統がありました。 毎年、企業がコンテストを開催し、さまざまなチームが参加します。 その結果、全員がワークショップに来て、自分の決定について話します。 これは、Kaggleと比較してプラスです。アルゴリズムについて話し、会議のワークショップ専用の別の雑誌に記事を公開し、コンテスト主催者から詳細を調べ、他の参加者が使用したソリューションを確認できます。



昨年だけでなく、今年も、コンテストはXINGによって開催されました。 これは、ドイツのLinkedInに対応するものであり、仕事の推奨に専念しています。 昨年、AvitoチームもRecSys Challengeに参加しました。私たちは7位になり、ShADのトレーニングセッションでこれについて話しました。 ここに私たちの物語へのリンクがあります。



昨年、かなり標準的なタスクが与えられました。 年間を通してやり取りが行われ、サイトのユーザーがクリックする空席を予測する必要がありました。 かなり良い結果が得られ、分解マシンを使用し、すべてが十分でしたが、オーガナイザーにもいくつかの問題がありました。



まず、これらのアルゴリズムはうまく機能し、XINGプラットフォームが推奨するものの中から最適な空室を選択しました。 既知の事実：推奨事項はユーザーの行動に影響します。 したがって、アルゴリズムはうまく機能し、プラットフォームが何を示すかを予測しようとし、これに基づいてランクが配置されました。 一方で、これは悪いことではありませんが、そのようなアルゴリズムを実稼働環境で実装しようとすると、そのアルゴリズムが本質的に別のアルゴリズムに依存しているときに問題が発生します。



2番目の問題は、ユーザーが頻繁にクリックを繰り返すことでした。 クリックの約30％が繰り返し発生しました。 そして、それはかなり強力な機能でした。 ユーザーが特定の空室をクリックしたことがある場合は、再度空室を推奨します。 これはそれほど大きな問題ではないかもしれませんが、推奨事項のユーザーが既にクリックしたアイテムのみを見たいとは考えにくいでしょう。 おそらく、彼らは何か新しいものを見たいと思っています。



2017年、XINGはこれらの問題を修正しました。 最初の問題を解決するために、彼らは2段階の競争を組織しました。 オフライン-すべてが標準で、トレーニングセットが提供され、テストセットが過去のものであるため、ソリューションを送信し、ユーザーがどのようにクリックしたかを推測する必要があります。 これはすべて履歴データに基づいています。



2番目のステージはオンラインステージで、各チームに個別のトラフィックセクションが与えられ、チームの推奨事項のみが表示されます。 したがって、すべてのトラフィックはチームに完全に依存し、すべてのクリックはチームが提示した推奨事項に依存していました。



繰り返しクリックの問題を解決するために、主催者は空席に関するコールドスタートのタスクに焦点を合わせました。 レイアウトされた空席はすべて新しいものでした。 それらのクリック履歴はありませんでした。欠員の内容のみに依存することができました。



オンラインステージの推進に関心がある可能性のあるユーザーを特定する必要がありました。 チームがソリューションを送信した後、ユーザーは、アプリケーションがインストールされている場合、プッシュを受信しました。 彼らはこの欠員をクリックすることができます。



指定された空席の適切な候補者であるユーザーを識別する必要がありました。 これについては後で詳しく説明します。



2つのステージでは、ほぼ同じメトリックとデータセットが使用されました。 オフラインステージは、競争の第2ステージでのチームの選択としてのみ機能しました。 上位を占めたチームは第2段階に進み、推奨事項を送信できるトラフィックのセクションが既に割り当てられていました。 第2段階は5週間続きました。 毎日、推奨事項を送信する必要がありました。 最終結果は、最高の2週間の合計です。



推奨事項の使用方法



オフライン段階では、すべてが明確であり、これは履歴データです。 ソリューションと共にファイルを送信すると、すぐに結果が得られます。 唯一の制限：空席について推奨できるユーザーは100人までです。 オンライン段階では、すべてがより興味深いものです。 オーガナイザーは、ターゲットユーザーにターゲットの空席をレイアウトしました。これらのユーザーと空席を含む提出ファイルを準備するのに24時間かかりました。 空席ごとに、255人以下のユーザーのリストを提供できます。 これは、すべての推奨事項がこの空室に行ったときに一部の空室が歪まないようにするためです。 ユーザーが推奨事項に飽きないように、ユーザーに負担をかけないように、ユーザーは1日に1回だけプッシュを受け取ることができます。



推奨事項には4つの異なる配信方法がありました。 最初は推奨事項のリストです。 これはデスクトップ版です。 ユーザーがモバイル版をインストールしていた場合、ユーザーはプッシュされ、リンクをたどって、すぐに自分に推奨されている求人を見つけました。 デスクトップバージョンがあれば、ジョブリンクがありました。 新しい推奨事項が来ると、これらすべてがサイト上で更新され、ユーザーは新しい欠員を見ることができました。



さらに推奨事項がホームページに表示されました。 ユーザーがサイトにアクセスすると、ニュースが表示され、その中に推奨事項が表示されます。



3番目のオプションは電子メールです。 主催者は、ユーザーがサイトにアクセスしなかったことに気付いた場合、新しい欠員が推奨されることを知らせるメールを彼に送信しました。 興味がある場合は、リンクをたどってください。



4番目の部分は非常に興味深いものです。 これは採用担当者の推奨シートです。 XINGはユーザーだけでなくリクルーターにも向けられているため、空席ごとに、XINGが提供する推奨事項をリクルーターが確認できる個別のページがあります。 XINGによると、この欠員に適したユーザーが含まれます。 ここでは、リクルーターが彼がこの欠員に適していると考える場合、各人について、彼の現在の仕事、以前の仕事、およびその人に連絡する能力が示されます。







スライドには、参加者に提供されたデータがあります。







ユーザーの場合、データは主にアンケートから取得されました。 興味深いのは、主催者がユーザーの現在またはおそらく以前の作品からキーワードを提供したが、彼ら自身がテキストを処理し、データが自然数のリストの形式で提供されたことです。 これにより、テキストの作業範囲が縮小されました。 多くのことを適用できましたが、ここでは元の単語がわからず、これらの数字が元の単語なのかバイグラム、トライグラムなどなのかわかりませんでした。



現在のキャリアレベルも提供されました。1〜6の自然数です。高いほど、キャリアレベルは高くなります。 規律、産業、地理など



オフラインステージに興味深い機能が提供されました-転職への関心。 しかし、彼女はもう第二段階ではありませんでした。 ユーザーはプレミアムであり、XINGのお金を支払うことができます。 これは機能と品質に影響します。







空室については、同様の属性が提供されました。 違いは、キーワードが空席ヘッダーと会社説明から取得されたことです。 他のすべての兆候は似ています。 また、空室は有償または無料です。







インタラクションファイルには、どのユーザーがどの空室をクリックしたか、いつ、どのタイプのインタラクションであったかという4つのフィールドのみが含まれていました。 全部で6種類ありました。 最初はショーです：ユーザーはこの空席を示されました。 2つ目はブックマークするオプションです。ユーザーは後で戻るために空室を予約しました。 第三に、彼は「リクルーターに連絡する」ボタンをクリックしました。 第四に、彼は欠員を削除し、私はもはや興味がないと言った、私はもうそれを見たくない。 最後の1つは採用担当者の関心です。採用担当者は自分のページからこのユーザーのプロフィールに切り替えました。



小さな統計については、オンラインステージでのトレーニングサンプルの分布が表示されます。 トレーニングには、100万人のユーザー、75万人の空席、約9,000万のインプレッション、約400万のインタラクションがありました。 つまり、ユーザーがクリックする頻度は少なく、ほとんどのインタラクションはクリックです。 2番目は、推奨事項の削除です。 ユーザーは頻繁に推奨事項を削除し、それ以上見たくないと言います。 残りのタイプは少なかった。







どの品質機能が使用されましたか？ 彼はかなり普通ではなかった。 参加者は、各欠員に対する推奨事項のリストを提供する必要がありました。 決定が受け取った合計金額は、すべての空室について考慮されました。 また、各欠員の評価は2つの部分に分けられました。ユーザーの成功（ユーザーにとっての成功度を決定する）とアイテムの成功-この推奨リストがこの欠員に対して成功したかどうかです。



ユーザーの成功はシンプルだと考えられていました。 一部のユーザーが空室をクリックすると、1ポイントが取得されました。 [ブックマークに追加]または[返信]ボタン-5ポイントをクリックし、両方のアクションを実行すると、5ポイントだけが追加されます。 リクルーターが彼に興味を示した場合、20ポイントがスコアに追加されました。 ユーザーが欠員を削除した場合-マイナス10ポイント。 また、ユーザーがプレミアムでXINGのお金を支払った場合、このすべての金額に2が掛けられます。



アイテムの成功により、物事はもう少し興味深いものになります。 空席ごとにユーザーのリストが提供され、少なくとも1人のユーザーに対して推奨が成功した場合、アイテムが支払われた場合は50ポイント、無料の場合は25ポイントとなります。空室の候補が成功しなかった場合、 1人がクリックせず、0を超える金額を受け取っていない場合、見積もりに0が追加されたため、何も受け取りませんでした。



問題はすぐに発生する可能性があります。この機能に基づいて、1つのユーザーと空席のペアに対してどのような最大スコアを取得できますか？ 102.欠員をクリックします-プラス1、ブックマークに追加-プラス5、リクルーターは興味を示しました-プラス20、プレミアムユーザー-2を掛けます。 52を取得し、このユーザーは、この空室の成功した推奨事項です。 アイテムが支払われた場合、合計50ポイント、合計102ポイントを獲得します。



明らかに、推奨事項の最小値は1ポイントのみです。 これは、ユーザーが空室をクリックしたばかりで、この空室ですでに成功しているアイテムがある場合です。



主催者からの課題は何ですか？



ユーザーと採用担当者の利益のバランスは、高品質の機能に基づいています。 ユーザーのクリックは何の意味もありません。リクルーターが彼に興味を示した場合、それははるかに有益です。



2番目の課題は、関連性と収益のバランスです。 示されているように、スコアは、ユーザーとアイテムがプレミアムかどうか、XINGプラットフォームがそれらからお金を受け取るかどうかに大きく依存していました。



3番目はコールドスタートの問題です。 すべての空席には履歴がありません。広告のコンテンツのみを使用できるため、これはより困難な作業です。



4番目-スマートプッシュパッケージ。 プッシュするユーザー、プッシュしないユーザー、プッシュするユーザーを決定する必要があります。 それについては後で。







当初、主催者は、多くの競技会と同様に、ベースラインを提供しました。 彼は非常にシンプルでしたが、良い結果を示しました。 その中には6つの兆候しかありませんでしたが、そのうち5つはバイナリでした。ユーザーのタイトルと空席の一致数、自然数、そして規律、キャリアレベル、産業、国、地域の単純な一致です。 トレーニングには、相​​互作用のみが使用されました。 ユーザーが欠員を削除した場合、ターゲット変数はゼロであることが判明し、ユーザーが肯定的なアクションを実行した場合-1。 XGBoostでトレーニングし、リーダーボードで10,000を獲得しました。 かなりいい。







オフラインの段階ですべてのジョブに対して最もアクティブな上位100人のユーザーを単に推奨する場合、結果519が得られます。



サンプルサイズは？ 合計3億のインタラクション、推奨事項を作成する必要があった7500万のターゲットユーザー、および約5万のターゲット空室。



すぐに見ることができるデータセットの機能の1つ：相互作用には膨大な数の完全な複製が含まれています。 それらをきれいにすれば、2億2,000万のインタラクションが既に得られ、アルゴリズムを高速化することができました。 相互作用についてのみ学習します。 やり取りは少なく、わずか600万人です。トレーニングサンプルは600万人です。



プロセスを高速化するために、ペアの予測は、ヘッダーに交差がある場合にのみ行われました。 その結果、XGBoostが予測を構築するサンプルは約5,000万です。このベースラインを再現しようとすると、XGBoostがサーバー上で機能しないという問題に遭遇し、それを2に書き直しましたが、これはソリューションに大きな影響を与えませんでした。







論理的なことは、このベースラインに新しい機能を単純に追加することだと思われます。 5つのバイナリ機能は良い結果をもたらすので、機能をスローしてより良い結果を取得しましょう。



さらに19を追加して25を得た後、結果をわずかに改善することができました。 彼は約1万1千人になりましたが、それ以上の改善は機能しませんでした。 最後に、さまざまな実験が行われました：トレーニングサンプルを異なる方法で構成し、異なるイベントに異なる重みを与えるために、削除の重みよりも肯定的なアクションよりも小さい小さな重みでビューを追加するだけです。 しかし、これらすべてにより、最終的に5000を引いた結果が得られるまで、スコアが低下するという事実に至りました。







なぜこれが起こったのですか？ おそらく2つの問題があります。 まず、ネガティブサンプリングを設定できませんでした。 私がちょうどビューを投げたとき、アルゴリズムは単純なビューについて多くの予測を与え始めました。



2番目の問題は、XGBoostの標準偏差を最適化したことです。これはおそらく悪いことです。 機能はお金に焦点を当てており、RMSEを最適化します。 しかし、これで何かをしなければなりませんでした。



明らかに、追加された属性は論理的であり、スコアを改善するはずです。 そこで、簡単なアルゴリズムを使用して属性の品質をチェックすることにしました。 ユーザーと空室のペアのグレードを計算するために、3つのタイプの合計を使用しましたが、これも妥当です。 ユーザープロファイルと空室プロファイルの近接性—それらの間で一致するコンテンツのみを調べます。



次に、ユーザーの履歴に基づいて、パラメーターにさまざまな関心を構築します。 ユーザープロファイルは一切使用せず、クリックしたものと削除したもののみを確認します。



オフラインステージに関連する3番目の部分：一部のアイテムとユーザーについては、以前の相互作用が示されました。 それらの数は少なかったが、それでも彼らは少しスコアを上げることを許した。



5万人のユーザーと5万人の空席がある場合、すべてをスキャンすることはできません。 適切なセットを選択する必要があります。 予測の量を減らすために、次のヒューリスティックが使用されました：ペアでは、空席ヘッダーとユーザープロフィールに交差がある場合、またはユーザーが空席と交差する広告を表示している場合にのみ、見積もりを計算します。 たとえば、ユーザーは自分がアナリストであり、かつてデータサイエンティストを1回クリックしただけだと言います。 推奨される候補は、「アナリスト」、「データサイエンティスト」という言葉を含む欠員です。それだけです。 明らかに、これは最良のヒューリスティックではありませんが、予測を構築する必要があるサンプルのサイズを大幅に削減できます。







さまざまな近接性はどのように考慮されましたか？ 例として、空席見出しへのキーワードの近接性を検討します。 主なアイデアは、特定のIDFアナログを3つの辞書で使用できるということです。つまり、ユーザープロファイルとアイテムタイトル、およびアイテムタグからの単語があります。 彼らのためにIDFアナログが計算されました。 トークンの発生に対する一意のトークンの数の対数を単純に取得し、トークンが発生する頻度が少ないほど、受け取る重みが大きくなります。 プロファイルによる近接性を考慮する場合、一意のユーザーキーワードの数に単純に正規化します。 彼が持っているキーワードが少ないほど、この量の重みは大きくなります。



アフィニティの各タイプについて、重みWを選択します。その結果、ユーザーと空席のペアの最終評価は、これらの重みを持つ空席ヘッダーからのユーザーのキーワードのすべてのリストの合計として計算されます。 このような金額は、ユーザープロファイルと空室で指定されたすべての可能なオプションについて計算されました。 すでに多くの兆候があります。







テキストをカウントする別のオプションは、空いているヘッダーからのキーワード、キーワードの完全なネストです。 これは、たとえば、ユーザーが「アナリスト」と言い、空席が「銀行のアナリスト」である場合にも論理的に見えます。 これもおそらくシグナルです。 しかし、ここでの特徴は、ストップワードを削除したかどうかに関係なく、主催者がこれらのキーワードをどのように受け取ったかがわからないことです。 したがって、かなり標準的なアプローチが使用され、非常にうまく機能しました。







他の特性によって近接性はどのように考慮されましたか？ キャリアレベルでは、すべてが非常に単純でした。1から6でした。したがって、プロファイルによって、違いを簡単に考慮することができます。 差が小さい場合-重量を増やし、大きい場合-減らします。 学生であることを示したユーザーが、会社の取締役が必要な求人を時々見たこともあります。 , , - . , . — . .



, . . : , 1, .



, , . , , . , . , . , , , , . , 95% , . .







. . , score, — : , , . . , , - , — .



, : , . , . - , , . , - VIP. .



? . -, , , , . . , .



, P , . — , .



. « », , . : -. - , . , user success, - . , . 70% . , . , , . — - .



-, , , , . .







. 20 ., 32 . score , .







. , , 30 19 ., .



, , — , , , , . . , , — IDF. , . , , .







-20 . , , 18 , -.







- : XING , . XING , , 24 . 24 . , . 24 , .



. 7 , , - , 8 — . .







, . 11 . , , , , , . , , score .



, score . .







. , : , , 10 , .







, , , score . 4800, 3800, . , , , , 50 . , 10 . . , 50 . — . , , — .



Avito, : . , . LCE, Avito Data Science meetup — .



, 8%, . , .



, score .







: score . 5 . , 2 . , , , , , . . , - , , score . , 21 , . , , , score , .



, , , . , , , , score. score — .







score , 300 . , , .







8700 . — 11 . . , . — 9700, 8700, . 1700 . , , , , , , . , score. ? , .



: , , - , , , 18 . , 18 .







, , , .



?



— . , 1 , 50. , , - , , , . — score -. .



— . , , — , . -, - , . , score . . , -, score.



— -. . /-: 50 . , , , — , , , 25 . . . score , , . , , .



, , — , , , score 7 . , 7 . : .



— . , — — - . score , . , , , .