Odnoklassnikiモデレーターのターゲティング

Odnoklassnikiソーシャルネットワークは、ユーザーがコンテンツをダウンロードできる他のインターネットリソースと同様に、ロシア連邦の法律およびサイト自体のライセンス契約に違反する画像をフィルタリングするタスクを持っています。 ソーシャルネットワーク上のそのようなコンテンツは、パブリックドメインのポルノ、暴力、残虐行為、その他の恐ろしい写真のシーンと見なされます。

毎日2,000万枚以上の写真がソーシャルネットワークにアップロードされています。 それらをテストするために、ニューラルネットワークに基づいたツールは、特定のカテゴリの画像を自動的にフィルタリングします。 ただし、画像に禁止コンテンツがあるかどうかを明確に判断できるのは常にニューラルモデルではないため、手動マークアップによってコンテンツの一部をスキップします。 境界線コンテンツの私たちのお気に入りの例は、「一見」ソファです。

内部モデレーションに加えて、私たちはOdnoklassniki Moderatorゲームアプリケーションを作成しました。このアプリケーションでは、あらゆるソーシャルネットワークユーザーが画像ストリームを処理し、写真を禁止コンテンツとソーシャルネットワークのルールに準拠する「良い」に分割できます。 正しい決定ごとに、モデレーターはポイントを受け取り、Odnoklassnikiの内部有料サービスの購入に費やすことができます。 もちろん、アプリケーションではユーザーに公開画像と公開画像のみが表示されます。 以下は、アプリケーションのスクリーンショットの例です。

アプリケーションからのマークアップは、さらにニューラルモデルのトレーニングに使用されます。 また、画像のマークアップをどのようにゲーミファイしたかについて誰かが興味をお持ちの場合は、これについて別の記事を作成します。 :)

挑戦する

Odnoklassniki ModeratorアプリケーションのDAU（毎日アクティブなユーザー-1日あたりのユニークユーザー数）は控えめです：約4万。 これにより、1日あたり300〜400万枚の写真をマークできます。 以下で説明するタスクは、DAUを増やすことでした。 結局、より多くのユーザーがプレイするほど、より多くの写真がマークされます。

さらに、結果としてそれほど多くの新規ユーザーを引き付けないが、同時に1日あたりのマークアップ画像の数が大幅に増加する場合、この結果もプラスになることに同意しました。 このタスクに対処するために、機械学習法を使用することにしました。 以下で説明するすべての分類子は、scikit-learnを使用してPythonで構築されました。

モデル作成の最初のステップ

したがって、バイナリユーザー分類のタスクに直面しています。 それらをアプリケーションが好きな人と、おそらく興味がない人に分けてください。 トレーニングサンプルを準備することから始めましょう。 アプリケーションのユーザーに関する統計情報があるため（アプリケーションは2014年から機能しています）、トレーニングオブジェクトとして選択します。 次の2つのことを決めましょう。

1. ユーザーを興味のあるクラスと興味のないクラスの2つのクラスに分ける方法。
2. ユーザーのトレーニングの兆候。

ユーザーがアプリケーションを気に入った場合、繰り返しプレイすると想定するのは論理的です。 逆に、アプリケーションが好かれていない場合、ユーザーが最初のゲームの後に戻る可能性は低いです。 次のように、この属性でユーザーを分割することにしました。

1. 最初のゲームの7日後にアプリケーションをプレイし続ける人は興味があると見なされます。
2. 一度プレイしたことがあり、決して戻らなかった人は、無関心であると見なされます。

その結果、次のトレーニングサンプルサイズがあります：約133,000人の関心と約262,700人の無関心なユーザー。

戦いの半分が終わったので、今度は兆候を選択します。

まず、性別や年齢などの通常の兆候を取りました。 次に、禁止されているコンテンツをモデレートするためにユーザーを動機付けることができる理由は何ですか？ おそらく、これはパブリックドメインで彼に反対する人々のカテゴリです。 このようなユーザーは、他のユーザーよりも頻繁に[レポート]ボタンをクリックします。 そのため、次の兆候として、コンテンツに関する苦情の数を取り上げました。

「明るい」目標に加えて、人は小さな利己的な関心を持っている場合があります。写真をマークアップするための無料の有料サービスを取得することです。 そのため、Odnoklassnikiサービスの購入に関連する標識を追加しました。 そしてもちろん、ユーザーがOdnoklassnikiで起動した他のアプリケーションを疑問に思わずにはいられませんでした。 カイ2乗検定（カイ2乗検定の特徴フィルタリング法）を使用して、分類に最も関連するアプリケーションを選択し、これが最後の特徴になりました。

その結果、49個の属性を持つ約396,000人のユーザーのデータセットを取得しました。 データセットは、トレーニングサンプルとテストサンプルに分割されました。 最初のサンプルはトレーニングに使用され、2番目のサンプルは、kNN、SVM、AdaBoost、RandomForest、DecisionTree、LogisticRegression、GradientBoostingClassifierの比較に使用されました。

分類子には独自の初期パラメーター（たとえば、kNNの近傍の数）があり、これは品質に依存します。 このようなパラメーターは、相互検証を使用して、トレーニングセットの各分類子に対して選択されました。 これには、scikit-learnのGridSearchとStratified KFoldが使用されました。 選択されたパラメーターを持つ訓練された分類器について、ROC曲線（受信者動作特性）がテストサンプルで作成されました。 その後、分類子は、対応するROC曲線のAUCスコア（ROC曲線の下の領域、ROC曲線の下の領域）によって比較されました。 この指標が高ければ高いほど、分類器が考慮されます。 その結果、AUCによるとGradientBoostingClassifierが最高でした。 以下に、学習成果に応じたROC曲線を示します。

最初のモデルのフィールドテスト

結果の分類子を500,000人のランダムユーザーでテストしました。 その後、ソーシャルネットワークでのアクティビティ、年齢（アプリケーションの評価は18歳以上）、3949人の候補者が受信されました。 Odnoklassniki内の候補者は、私たちのアプリケーションを試すための招待状で押し子に送られました。

プッシュリストから1週間で、59人だけが応募しました（候補者総数の1.5％）。 結果は、控えめに言っても、望みとはほど遠いものでした。

それでも、59人の新規ユーザーが1週間で約19,000枚の画像を処理したため、絶望することなく2回目の試行を行うことにしました。

モデル作成の第二段階

2回目の試みで、ユーザーを2つのクラスに分割するアプローチを変更することにしました。 主な重点は、処理される画像の数を増やすことでした。 この基準に基づいて、週に6,000枚以上の画像を常にタグ付けしてタグ付けする興味のあるユーザーを特定しました。

今週のデータをアップロードし、新しいトレーニングサンプルサイズを受け取りました：約4400人の関心のあるユーザー、約7740人の無関心（タグ付き画像が5個未満）、5〜6000個の画像をチェックした約106 630人のユーザー。

データセットに新しい兆候が追加されました：プロファイル（婚status状態、学校、大学、職場）に記入するという事実、ユーザーのカルマ：ブラックリストに追加された、コンテンツ、およびソーシャルネットワークでのアクティビティに関する不満：投稿の作成、「クラス」 、他のユーザーのコンテンツに関するコメント。

また、ユーザーが先月に開いたアプリケーションに関する情報も追加しました（結局、ユーザーの好みは変わる可能性がありますが、現在の状況に関心があります）。

新しいデータセットを収集したので、最も重要な兆候を調べることにしました。 それらのいくつかは疑わしいほど良かった。 たとえば、ユーザーカテゴリ間の「写真評価」属性の分布は次のとおりです。

X軸に沿ったグラフ-週あたりの写真の評価数、およびY軸-Xに評価を与えた対応するカテゴリーのユーザーの割合。 実際、アプリケーションのインターフェイス（スクリーンショットの右側の評価列）では、プレーヤーは解析中にチェックされている写真を評価することができます。これにより、結果のスケジュールが説明されます。

この点で、サンプルからこの疑わしい兆候を削除することにしました。 しかし、たとえば年齢によって、より興味深い画像が得られたため（下のグラフを参照）、年齢基準は残されました。

グラフのX軸に沿ってユーザーの年齢が表示され、Y軸に沿って、対応するカテゴリの年齢Xのユーザーフィールドの割合が表示されます。 新しいデータセットでトレーニングを繰り返して、最適な分類子について次のROC曲線を取得しました。

最初の実行と比較して、AUCはすでにより魅力的に見え、フィールドトライアルに移行しました。

2番目のモデルのフィールドテスト

今回は、アクティビティと年齢でフィルタリングされたユーザーのランダムサブセットから、60,000人の潜在的な候補者を選択しました。 さらに、比較統計を取得するために、さらに60,000人のユーザーがランダムに選択されました。

その結果、アプリケーションのテストを提案する通知が、60,000人のモデル候補と60,000人のランダムユーザーに送信されました。 1週間後、統計により、5056人がアプリケーションに参加したことがわかりました。つまり、プッシュの120,000人の受信者の約4％です。 それらのどれが分類器によって選択され、誰が全能のランダムに感謝したかを見てみましょう：

2番目のモデルは、ランダム分布の2倍のユーザーを引き付けました。 状況は、処理された画像の数とまったく同じです。モデルに惹かれたユーザーは、2〜2.5倍の写真をマークアップしました。

また、モデルによって選択された一部のユーザーは毎日プレイを開始しましたが、ランダムサンプリングのユーザーは週の終わりまでにゲームへの参加をほぼ停止しました。

まとめ

モデルの作成とテストに基づいて、私たち自身が作成したもの：

1. 分類器のトレーニングの最初の結果は、常に正とは限りません。 しかし、それは学習の停止につながるべきではありませんが、反対に、その後の実験のために食物を提供します。
2. データセットの機能を選択するときは、各機能が結果にどのように影響するかを理解する必要があります。 統計を使用して各特性の選択を強化することをお勧めします。
3. よく訓練されたモデルは成功の一部にすぎません。 他の要因が最終結果に影響します。
   
   
   • ユーザーが広告を受け取る方法。 たとえば、ポータルのモバイルバージョンとWebバージョンでユーザーがプッシュをクリックする頻度のサインを追加できます。
   • プッシュ自体のテキストは非常に重要です。 ユーザーは、通常のテキストよりもバイラルテキストに反応する可能性が高くなります。 たとえば、「無料でOK、プレイして勝ちます！」というテキストが表示されたプッシュのクリック数は、「アプリを試してみる」プッシュのクリック数よりも多くなります。 バイラルテキストがバイラルピクチャによってサポートされている場合、効果は大きくなります。
   • プッシュする価値は何時ですか。 たとえば、水文気象センターの予測によれば、データセットのユーザーの大部分がモスクワに住んでいる場合、次の雨の日を見て、それを配布の日として定義します。 計算では、雨の中で人々は散歩に出かけず、ソーシャルネットワークに座ります。 そのため、送信後すぐにプッシュが表示される可能性が高くなります。
   • 配信時間にも同じことが当てはまります。ユーザーが主にウラジオストクに住んでいる場合、モスクワ時間の午前8時から7〜8時間後にのみ配信を読み取ります。 この間、他のユーザープッシュの間でプッシュが失われる可能性があります。