Yandex Data FactoryのWorld of Tanksからのプレイヤーの流出の予測。 Small ShAD向けレクチャー

Yandexの最も重要な専門知識は機械学習です。 これは、多くの人に知られているMatrixnetテクノロジーを開発したランキングの検索ニーズから生まれました。 2014年、Yandexは自社のサービス以外でMLの分野で知識を活用し始めました-Yandex Data Factoryが登場しました 。 これは、他社の複雑な数学的問題を解決する国際的な方向です。



彼のプロジェクトの1つは、World of Tanksプレイヤーの流出予測です。 Ilya Trofimovは、Small ShADの学生に、Wargamingを使用したプロジェクトだけでなく、一般的な機械学習とビジネスに役立つタスクについても話しました。 生徒は、数学とコンピューターサイエンスに興味のある高校生です。







イリヤ自身は2007年にモスクワ州立大学の物理学科を卒業し、理論物理学の学位を取得しました。 2011年-データ分析の学位を持つデータ分析学部。 Yandexでは、広告インプレッションを最適化するために機械学習を使用していましたが、現在はYandex Data Factoryで大量のデータを分析するタスクを解決しています。 彼はShADでトピック「ビッグデータに関する機械学習」について講義します。









World of Tanksをプレイしているのは何人ですか？ 1、2、3、4。 どうやらシャイ。 実際、みんなが遊んでいます。 素晴らしい。 そして一般的に誰がオンラインゲームをプレイしますか？ 約70パーセントです。 World of Tanksとは何ですか？ これは、Wargaming社の素晴らしいベラルーシ人によって開発された、このようなオンライングッズです。 彼らにはまだWorld of WarplanesとWorld of Warshipsがあります。 ゲーム自体は無料で、マルチプレイヤーであり、誰でもプレイでき、それをすべて知っています。 いくつかの有料要素があります。いわゆる「ゴールド」を実際のお金で購入できます。



統計によると、ゲームには100万を超えるアカウントがあり、これは非常に多くのことです。 そして、ここでは、例えば、とても興味深い数字があります。2014年1月19日には、オンラインのプレイヤーが100万人を超え、World of Tanksでプレイしました。 ゲームに従事しているこれらの企業が現時点で非常に強力である、つまり興味深いのは興味深いことです。 同じWargaming 4000人の従業員。 Yandexでは、私の意見では、6000、つまり おもちゃのように見えますが、実際には非常に強力なビジネスであり、彼らは仕事で数学などを使うように努力しています。これが今日の講義の目的です。



私はそのような言葉を言った-流出。 流出とは何ですか？ 彼はどんなビジネスにも絶対に参加できます。 これらは、銀行、携帯電話会社、インターネットプロバイダー、ケーブルテレビプロバイダー、保険会社、同じオンラインゲームなどです。 あなたが銀行のクライアントまたは携帯電話会社であり、あなたがそれを辞めることにした場合、これは流出と呼ばれます。 私には大胆な携帯電話事業者がいます。特に、このタスクは彼らに関連しています。

なぜ流出をする必要があると思いますか？ なぜそれを予測する必要があるのですか？

• 予測する。
• 統計を作成します。
• 遅らせるために。

この流出を調べる必要があります。どのグループが去り、どのグループが去っていないかですが、最も重要なのは、これらの人々を維持することです。 具体的には、携帯電話会社。 2つの主なタスクがあります-流出の予測、退去するクライアントの予測、防止、保留。 たとえば、私はインターネット上で「過去数年にわたる米国の携帯電話会社のシェア」という写真を見つけました。 彼らには主な事業者であるVerizon、AT＆T、Sprint Mobileがあり、ご覧の通り、他にもいくつかあります。 割合がどれだけ変化しないかを見てください。 非常に競争の激しい市場です。 また、たとえば、顧客の1％の流出を防ぐ場合、これはすでにかなりクールです。 そして、毎年1％の流出を防ぐ場合、それは蓄積され、ビジネスで非常に顕著になります。 樽からの漏れのようなアナロジーを描くことができます。 樽があり、水が少しずつ流れ出します。 少しかもしれませんが、一年で多くが蓄積します。この穴を塞ぐと、バレルはいっぱいになります。 流出を予測し、ビジネスへの影響の観点からそれを防ぐ努力は非常に重要です。 正直に、さまざまな料金プラン、顧客を維持するためのいくつかのチップを思いつくか、単に流出を防ぐことができます。 別の観察結果は、この分野が特にモバイルオペレーター向けに積極的に開発している理由です。 MTSがあり、メガホンと交換することにしました。 あなたは何をします：1枚のSIMカードを入手し、別のSIMカードを挿入します、そしてそれだけです。 個人アカウントに登録している場合は、電子メールでのみ可能です。 しかし、そうではないことは明らかです。 つまり モバイルオペレータの場合、タスクは次のとおりです。どのクライアントが退出したいかを予測する必要があります。彼は退社しませんが、電話をかけ、SMSを送信し、拒否できない種類のオファーを行い、どうにかして試してください彼を抑えます。 一般的に、すべての最大のロシアのオペレーターがこれを行っています。 いくつかの紹介を行う必要があります。



機械学習とは誰のことですか？ まあ、半分はすでに聞いたが、半分はそうではなかった。 まず、これを明確にする必要があります。 見て、何かを予測したい。 哀れみを表現する-未来を予測します。 たとえば、ある人がオンラインストアで製品を購入すると予測し、どのような製品になるかを予測します。 たとえば、Twitterのツイートが多くのリツイートを受け取ると予測することができます。 そして、Yandexを含め、人々はそのような予測を行います。 治療が効果的または非効果的であると予測でき、最も効果的な治療法を選択できます。 たとえば、男と女が良いカップルになると予測できます。 なぜだ。 来週の株価を予測できます。 そして、取引所で取引する多くの人々は、これを専門的に行います。 この講義のトピックは、プレーヤーがオンラインゲームのプレイを停止することを予測することです。 そして、さらにいくつかのタスクがあります。それらは予測に関するものではありませんが、私が言うことと非常に似ています。 たとえば、写真の人物を認識するため、または、たとえば、手書きのテキストを認識してコンピューターに入力するためです。 これらのタスクのうち、機械学習の助けを借りて解決できると思うものはどれですか？ Facebookは、あなたの友達の写真をサインすることを提案しています。 手書きのテキストは非常に古いタスクであり、解決されています。



人がオンラインストアで商品を購入すること。 そうです、すべてのオンラインストアには、「購入することをお勧めします」、「この製品で購入する」などの推奨ブロックがあります。 それはすべてあなたが購入するものの予測に基づいています。 そのツイートは多くのリツイートを受け取ります。 私はすでに彼らがそれをし、あなたがそれをできると言った。 どの治療が効果的ですか？ いいえ、できません。 多くの情報を収集すれば、ほとんどすべてを予測できます。 ポイントは、男と女が良いカップルを作るということです。 たとえば、あなたがどのような動物なのかなど、どれほど科学的かはわかりません。 これはどんな技術にも基づいているとは思いません。 それにもかかわらず、すべてが情報の総量に依存するという一般的な観察がありました。 そして、男と女が良いカップルを作るという最後のポイントがあります。 大量の情報を収集すると、ランダムに推測するよりも予測しやすくなります。 これは本当です。 カップルを一致させるために機械学習を使用する外国の出会い系サービスがあります。 何でも予測できますが、情報量にすべて依存するという発言があり、適切な方法を使用する必要があります。 機械学習とは何ですか？



機械学習とは、機械（これはコンピューターです）またはコンピューターのクラスターを訓練して、人々が簡単に行える問題を解決しようとすることです。 たとえば、写真や手書きのテキストを認識したり、人々が行う方法がわからないものを認識するために、たとえば、ツイートが多くのリツイートを受け取ることや、来週の株価を予測すること、コンピューターが両方を行うことができます。 過去数年にわたって写真に写っている人の認識は良好なレベルに達し、人のレベルをわずかに上回りました。 今、コンピュータは写真の中の人を普通の人よりもよく認識しています-これはとても興味深い観察です。 Small ShADには機械学習に関する講義があります。誰かがそれを見ていない場合、つまりそれを見ることができます。 私たちはコンピューターを学びます。 コンピュータートレーニングはどのように構築されますか？ コンピューターは例によって学習します。 トレーニングのサンプルなどが必要です。 最も一般的な形式では、このタスクは次のようになります。入力があり、答えがあります。入力データから答えを予測することを彼自身が学習できるように、多くの例を示す必要があります。 正式な観点から、入力データは通常ベクトルXで示されます-これはいくつかの数値のベクトルです。 答えは通常Yで示され、2つの主なオプションがあります：Yが有限集合のベクトルである場合、タスクを分類問題と呼び、YがRが実数のセットである場合、タスクを回帰タスクと呼び、数学的な観点から、 XとYを表示する関数を作成して、トレーニングセットのエラーをできるだけ少なくします。 これらのタスクXにあるものとYにあるものを考えてみましょう。たとえば、ある人がオンラインストアで商品を購入することを予測する方法は？ Xには何があり、Yには何がありますか？ 製品はYで、Xは人に関する情報です。つまり、彼が誰であるか、どのくらい購入するか、何に興味があるか、そのサイトでどのように行動するかです。 Yは最終製品です。 Yから1つのアイテムを選択する必要があります。



そのツイートは多くのリツイートを受け取ります。 ここでは、リツイートの数を予測する必要があります。 これは回帰問題とみなされ、クラスではなく特定の数を予測したいと考えています。 入力として何を使用できますか？ 以前のツイートの平均リツイート数、コンテンツを使用できます、一部のトピックはより人気があり、一部は人気が低く、ハッシュタグ、サブスクライバーの数、それらに関する情報を使用でき、ツイートが作成された時間も使用できます。 TwitterでPRを行う広告代理店があります。いつツイートするかを通知する特別なサービスがあり、スターや製品を宣伝するために、より多くのリツイートを収集します。



来週の株価。 ここにあるXと、ここにあるYとは何ですか？ Yは株式の合計価格、Xは取引所のステータスです。 それは分類または回帰ですか？ 株価は実数であり、予測する必要があります。 為替レートの予測は回帰です。Xは、為替に関する情報、株式の売却に関する情報、現在のレート、昨日のレート、1週間前などです。



写真の人物を認識することは分類であり、Yはその中から1人を選択する必要のある多くの人々です。Xは写真そのものです。ソーシャルネットワークからの写真であれば、知り合いのサークルの人々がいます。これは基本的にタスクを簡素化します。写真自体を使用する、すなわち 写真はピクセルで構成され、各ピクセルには一般に独自の色があります-これはSmall ShADの個別のトピックであり、ニューラルネットワーク、独自の個別の科学を使用します。

プレイヤーがオンラインゲームのプレイを停止すると予測する方法 それから、去るかどうかを分類するタスクです。 彼が去った後、これも行うことができます。このプロジェクトではそれをしませんでしたが、その後は回帰タスクとなり、そこではすべてが異なります、他の方法。 Xはプレイヤー情報です。



機械は例によって学習します。 これが機械学習の魅力です。これまで見てきたように、あらゆる分野で働くことができます。 あなたは医学の何も理解できず、治療の効果を予測できません。オンラインゲームの何も理解できず、プレイヤーの流出などを予測できません。 アルキメデスが言ったように：「私に足場を与えて、私は世界を回します。」 ここではすべてが少し異なります。このシリーズ-入力データ、回答、入力データ、回答を教えてください。主題領域を理解することなく、実際に回答を予測する方法を学習します。 これはとても興味深いことです。

プレイヤーの流出に戻りましょう。 理論から実践にジャンプします。 ここで何ができますか？ 時間軸を取ります。 現在の瞬間があり、過去があり、過去からいくつかの要因、いくつかのパラメータを抽出できます。 たとえば、このタスクでは、過去6か月間にメンテナンスを使用しました。 その後、将来、特定の制御間隔（たとえば、1か月）を修正し、今月にプレイヤーが1つのゲームをプレイしていなかった場合、1つのバトルと戦っていない場合、彼は去ったと言います。 少なくとも1つの戦闘があった場合、彼は去らなかった。 これは分類の問題です。



入力、このプロジェクトで使用したもの：破壊された戦車の数、戦闘の数、クランの戦闘の数、勝利のシェア、無料のゴールドエクスペリエンス、プレミアムアカウントかどうか、一般的に、私はタンク内のすべてをモデルに引き込もうとしました。 ここでは、実際のタスクで好きなものを詰め込む必要があるという興味深い点があります。コンピューターは、人にはまったく明らかではないパターンを引き出すことができるからです。 直観に頼るのではなく、数学に頼る必要がありますが、これはしばしば失敗します。



他に何が面白いことができますか？ これらすべてのパラメーターを異なる深さで見ることができます。 これが株価の例での様子です。 1日前、1週間前、1か月前の株価を見ることができます。 最大深さ6か月のすべてのパラメーターを使用しました。 24週間。 そして、各プレーヤーの合計は501パラメーターです。 501のパラメーターを使用して手と目で作業したり、Excelで視覚化したりしないことは明らかです。 人々は2次元の空間を知覚し、コンピューター上で既に3次元を描くのは非常に難しく、どんな形であれ501次元です。 数学が必要です。 この問題の答えはバイナリ変数です（プレイヤーが残っているか残っていないか）。 何らかの理由で、+ 1と-1を示す方が便利です。



見てください。各行がプレーヤーであり、XとYがわかっているような巨大なテーブルであることがわかります。XはなくなっているのではなくXがあり、Yは501属性のパラメーターのパラメーターです。 スライドのすべてのパラメーターを適合させることはできませんでしたが、Excelで目で操作できないシートは次のとおりです。これはビッグデータと呼ばれることもあります。

そのようなシートを渡されたらどうしますか？ 残っていることが知られている各プレイヤーについて、たくさんのプレイヤーが去りませんでした。そして、501番目のプレイヤーはどうしますか？ 情報を分析します。 最初のアイデアは次のとおりです。月ごとのゲーム時間数を見て、グラフを描き、このグラフが落ちたら、その人が去ると予測します。 たとえば、外挿して線を引き、それが0になった場合、その人は去ります。 これは完全に通常のアプローチであり、唯一の要因である1か月あたりのゲームの時間数のみを使用するという欠点があります。 プレミアムアカウントについてはアイデアがありましたが、使用方法の特定のアルゴリズムを理解していませんでした。 あなたはまだ成長していないインジケータを使用することができます、経験は成長しません、殺人の割合。 ゲームでの戦闘数と時間数が減少したことがわかった場合、優先順位を使用できます。たとえば、10ポイントの仮想ポイントです。長い間お金を入金していない場合-これは+20仮想ポイントであり、ポイントを蓄積します。 ポイントが多いほど、人が去る可能性が高くなります。



たとえば、プレミアムアカウントを持っている人は、勝利のシェア、殺人のシェア、経験が伸びない、ゲームに満足していない、彼が去るなど、彼が去る可能性は低いという仮説があります。 これはすべて通常の人間のアプローチですが、私は何をしたいのですか？ 501個すべてのパラメーターを取得して、コンピューター自体がそのようなパターンの集まりを見つけられるようにしたいのです。人々が推測できないパターンでも。



他に何ができますか？ たとえば、X軸にプレミアムアカウントがあります。 2つのオプションがあります。ここにはプレミアムアカウントがあります。 来月に出発する確率を計算します。 プレミアムでは、同志が提案したアイデアを説明するために、ブルドーザーの数字を使用します。 プレミアムなし、プレミアムなし-10,000人。来月の出来事を見ていきます。 いくつになりましたか？ 保険料から100がかかり、2000が保険料を免除しなかったとしましょう。退職する確率はどのくらいですか？ ここでは10％、プレミアムなし-20％です。 これはかなり架空の例です。実際の数字が何なのか正確には覚えていません。 そのようなことを行うことができ、各パラメーターについて、それがどの程度影響するかを見ることができます。

これ以上発明された例を紹介したくありません。 よくやった、あなたは多くのアイデアを投げましたが、私たちの仕事はコンピューターでそのような仮説を生成することです。 彼はより効率的にそれらを生成できます。 ポイントについては、多くの要因を同時に考慮することができるため、これも良いアイデアです。 そのような方法があり、ロジスティック回帰と呼ばれ、実際にこれを行います。



私はまだ数学のスライドを持っています。 分類エラーとは何かを理解する必要があります。 いくつかのサンプル、いくつかのサンプルを取り、予測を数えます。 予測は、関数fの結果です。



予測が現実と一致する場合、エラーは0になり、一致しない場合、エラーは1になります。すべての例のすべてのエラーを加算します。 この分類エラー、つまり 推測しなかったケースの数。 機械学習では、固定サンプルの誤差がゼロである関数fの構築に問題がないという観察があります。 , , , .

– -. X, Y. , X Y, .



? , , , , . , X Y. - , , . Y. , .



これに対処する方法は？ . XY, : «», «». f(x) , , .. , , . , , f Y, , — .



, f , . , , - , . .



– 1000 . , 500 3 , . 500 , . : 33000 — , 17000 — .



. . . 10, , , 100 – , . 10, — 100, , . — ? . , , 501 .



. . , , . , , . , .



? , , . , . — , Y — . , , , , . - . , , .



, ? , . , , . , - , , .



. . – , , , – , .

. e-mail – - . , , , .



? , ID3 . 彼はどのように働いていますか？ . U. U , . , , - . , , . : – , – .



, , , . , , , .. . , . .



, : . : – , – . , , .



, 100 , , , 10. , ? , , 10 . , U0 U1 1 : . , , .



, . 100 , 10 , 90 . , 90, , 5, . 0, , 5, . – , 5 . – , 0. .. , 10, , 5. , . .



. , . , . , , , – . , .

-. N , , .



ID3. , . , , . , , . 1000 . . , . . – . . , .



. . , 1%. , , . 1% , . . , . . これは何ですか。 – , , 1 %. , % .



, 6% , , , , . - 1 % . 10% , - , , .

. . , , , .



? , , : – , – . , . , , - , , 10% - , , - , , . , , , 10% , , – . .



, , – ? , , - , ? e-mail, , - .. . . .