暗黙的なユーザー設定の分析。 Yandexでの科学技術セミナー

クリック数とページビュー数で表される暗黙的なユーザー設定の分析は、検索結果でのドキュメントのランク付けや、広告の表示やニュースの推奨などで最も重要な要素です。 クリック分析アルゴリズムはよく理解されています。 しかし、サイトでの彼の行動に関する詳細情報を使用して、個人の好みについて何か他のものを見つけることは可能ですか？ マウストラジェクトリを使用すると、表示されたドキュメントのどのフラグメントがユーザーの興味を引くかを見つけることができます。



この問題は、エモリー大学のエモリーインテリジェントインフォメーションアクセスラボで、ドミトリーラグーンとユージンアギスタインとともに、 ミハイルアゲエフによって行われた研究の主題でした。









マウスの動きによるユーザーの行動を分析するためのデータ収集方法とアルゴリズム、およびこれらの方法を実際に適用する可能性を研究しました。 検索結果のドキュメントのスニペット（注釈）の形成を大幅に改善できます。 これらのアルゴリズムの説明に関する作業は、2013年の国際会議ACM SIGIRで「Best Paper Shortlisted Nominee」の卒業証書を授与されました。 その後、Yandexでの科学技術セミナーの枠組みで行われた作業の結果に関するレポートを発表しました。 カットの下に彼の要約があります。



スニペットは、検索エンジンの重要な部分です。 ユーザーが情報を検索するのに役立ち、検索エンジンの使いやすさはユーザーの品質に依存します。 優れたスニペットは読みやすく、ユーザーのリクエストに一致するドキュメントの一部を表示する必要があります。 理想的には、スニペットには、ユーザーの質問に対する直接的な回答、または回答がドキュメントに含まれていることを示す情報を含める必要があります。







一般的な原則は、リクエストのテキストがドキュメントのテキストと比較されることです。ドキュメントのテキストでは、クエリまたはクエリ拡張の単語を含む最も関連性の高い文が強調表示されます。 最も関連性の高いフラグメントを計算する式では、クエリとの一致が考慮されます。 テキストの密度、テキストの場所、ドキュメントの構造を考慮します。 ただし、検索結果の上部に表示される関連性の高いドキュメントの場合、テキストの要素では不十分なことがよくあります。 クエリからの単語はテキスト内で繰り返し発生する可能性があり、テキスト情報のみに基づいてテキストのどの部分がユーザーの質問に答えているかを判断することは不可能です。 したがって、追加の要素が必要です。



ページを表示すると、ユーザーの注意は不均等に分散されます。 主な注意は、必要な情報を含むフラグメントに向けられています。



瞳孔の動きを数十ピクセルの精度で追跡する装置を使用して実験を行いました。 以下は、保証付きで交換できるようにiPad 3にいくつのデッドピクセルが必要かという質問に対する答えを探していたユーザーの瞳孔の軌跡のヒートマップの分布の例です。 彼はクエリ（ipad 3がデッドピクセルをいくつ置き換えるか）を入力し、同様の質問でApple Community Forumsページに移動します。 ページでは、クエリからの単語が何度も見つかりますが、ユーザーは、ヒートマップに表示される回答を実際に含むフラグメントに注目します。







多数のユーザーの生徒の動きを追跡して分析できる場合、これらのデータに基づいてさまざまなクエリに最適なスニペットのみを選択できます。 問題は、ユーザーに視線追跡用のツールがインストールされていないため、必要な情報を取得する他の方法を探す必要があることです。



Webドキュメントを表示するとき、ユーザーは通常、マウスを動かしてページをスクロールします。 2010年の記事で、K。GuoとE. Agisteinは、軌跡に沿って、150ピクセルの精度と70％の充満度で瞳孔の動きを予測することが可能であることに注目しています。







以下は、クエリで見つかったドキュメントを表示したときのマウスの動きのヒートマップです（米国で最悪の干ばつ）。 米国で最も深刻な干ばつに関する情報を含む断片で、ほとんどのアクティビティが正確にトレースされていることがわかります。それから、完璧なスニペットを形成できます。







私たちの研究のアイデアは、ほとんどのブラウザで動作するJavaScript APIを使用して、マウスの動きに関するデータを収集できるということです。 ユーザーの行動に応じて、どのフラグメントにリクエストに関連する情報が含まれているかを予測し、このデータを使用してスニペットの品質を向上させることができます。 このアイデアを実装してテストするには、いくつかの問題を解決する必要があります。 最初に、検索結果ページの背後にあるユーザーの行動に関する現実的でかなり大規模なデータを収集する方法を理解する必要があります。 次に、マウスの動きを使用して、ユーザーに最も関心のあるフラグメントを識別する方法を学習する必要があります。 ユーザーにはさまざまな習慣があります。読みやすいテキストを強調表示したり、カーソルを合わせたり、ドキュメントを開いて上から下に読んだり、ときどきめくったりすることがあります。 同時に、ユーザーは異なるブラウザーと入力デバイスを持つことができます。 さらに、マウスの動きに関するデータの量は、クリックに関するデータの量よりも2桁大きくなります。 また、タスクは、行動要因を従来のテキストの要因と結合することです。

データを収集する方法

データを収集するために、2011年に開発したインフラストラクチャを使用しました。主なアイデアは、Yandex Search Cupに似たゲームを作成することです。 プレーヤーは、検索エンジンを使用してインターネット上の質問に対する答えを見つけるために、限られた時間の目標を設定します。 プレイヤーは答えを見つけて、それが見つかったページのURLとともにそれを私たちに送ります。 参加者は、Amazon Mechanical Turkを通じて選択されます。 各ゲームは12の質問で構成されています。 約40分間のゲームへの参加に対して、保証された1ドルの支払いが想定されます。 別の1ドルで最高のプレイヤーの25％を獲得できます。 これは、データを収集するかなり安価な方法であり、同時に世界中のさまざまなユーザーに提供されます。 質問はWiki.answers.com、Yahoo！ 回答など。 主な条件は、これらのサイト自体に既製の回答がないことです。 同時に、質問は単純すぎないはずでしたが、インターネット上で見つけることができる明確な短い答えがあったはずです。 ロボットと不s慎な参加者を遮断するには、結果の品質をチェックするいくつかの段階を実施する必要がありました。 まず、システムの入り口にキャプチャがあります。2番目に、ユーザーは1〜2の簡単な質問に答える必要があります。3番目に、ユーザーはプロキシサーバーを使用してタスクを完了する必要があります。検索エンジンに質問し、回答ページにアクセスしました。



Apache HTTPサーバーmod_proxy_htmlおよびmod_sedの標準モジュールを使用して、検索サービスへのすべての呼び出しのプロキシを実装しました。 ユーザーが私たちのページにアクセスし、使い慣れた検索エンジンインターフェイスを見ましたが、そこにあるすべてのリンクは私たちのものに置き換えられました。 このようなリンクをたどることにより、ユーザーは目的のページに移動しましたが、JavaScriptコードが既にそのページに組み込まれており、動作を監視しています。



ログを記録するとき、小さな問題が発生します。マウスの位置はブラウザウィンドウ内の座標で表され、その中のテキストの座標は画面の解像度、バージョン、設定によって異なります。 テキストへの正確なバインドが必要です。 したがって、クライアント上の各単語の座標を計算し、この情報をサーバーに保存する必要があります。



実験の結果は以下のデータでした：







統計の観点から見ると、データは次のとおりです。







コードと収集されたデータは、このリンクで自由に利用できます。

ユーザーにとって関心のあるフラグメントの予測

スニペットを強調するために、テキストは5つの単語の断片に分割されています。 各フラグメントについて、6つの行動要因が区別されます。

• フラグメント上のカーソルの持続時間。
• フラグメントの隣のカーソルの持続時間（±100px）。
• フラグメント上でのマウスの平均速度。
• フラグメントの横のマウスの平均速度。
• フラグメントが表示ウィンドウ（スクロールバー）の可視部分に表示された時間。
• ビューポートの中央にフラグメントが表示された時間。

機械学習の助けを借りて、これらの6つの要素はすべて1つの数値に集約されます。これは、フラグメントが関心を持つ確率です。 ただし、最初に学習セットを作成する必要があります。 同時に、読者が本当に興味を持っているもの、読んだもの、答えを見つけた場所はわかりません。 しかし、肯定的な例として、ユーザーの応答と交差するフラグメントを、否定的な例として、他のすべてのフラグメントを取ることができます。 このトレーニングセットは不正確で不完全ですが、アルゴリズムを学習してスニペットの品質を改善するには十分です。



最初の実験は、モデルの妥当性を検証することです。 あるページセットのフラグメントの関心を予測し、それを別のセットに適用するアルゴリズムをトレーニングしました。 x軸に沿ったグラフは、フラグメントの関心の予測確率を示し、y軸は、フラグメントとユーザーの応答の交差の測定値の平均値を示します。







アルゴリズムがフラグメントが良好であることをかなり確信している場合、このフラグメントはユーザーの応答と大きな交差点を持つことがわかります。



機械学習メソッドを構築する際の最も重要な要因は、DispMiddleTime（画面上にテキストが表示されていた時間）とMouseOverTime（マウスカーソルがテキスト上にあった時間）でした。

改善された動作分析スニペット

そのため、ユーザーが興味を持っているフラグメントを判別できます。 これを使用してスニペットを改善するにはどうすればよいですか？ 出発点として、Yahoo！の研究者によって公開された最新のスニペット生成アルゴリズムを実装しました。 2008年。 各文について、テキスト要因のセットが計算され、機械学習法が構築されて、{0,1}の評価者を使用してスニペットを強調表示する観点からフラグメントの品質を予測します。 次に、いくつかの機械学習方法を比較します： SVM 、 ランキングSVM、およびGBDT 。 さらに要因を追加し、評価尺度を{0,1,2,3,4,5}に拡大しました。 スニペットを形成するには、最高のセットから1〜4個の文が選択されます。 フラグメントは、貪欲アルゴリズムを使用して選択されます。このアルゴリズムは、最適な合計重みを持つフラグメントを収集します。



次のテキスト要素のセットを使用します。

• 完全一致;
• 見つかったクエリワードと同義語の数（3つの要因）。
• BM25のような（4つの要因）;
• クエリの単語間の距離（3つの要因）;
• オファーの長さ;
• 文書内の位置。
• 読みやすさ：句読点、見出し語、さまざまな単語の数（9要素）。

テキストの関連性の観点からフラグメントの重みを取得したので、ユーザーの行動によって計算されたフラグメントの関心因子と組み合わせる必要があります。 単純な因子の線形結合を使用し、フラグメント品質計算式の重みλは動作の重みです。







正しい重みλを選択する必要があります。 2つの極端な例があります：λの値が小さすぎる場合、動作は考慮されず、スニペットはベースラインとは異なります。λの値が大きすぎる場合、スニペットとして失われるリスクがあります。 λを選択するために、ゼロから1までの5つの値{0.1,0.3,0.5,0.7.7.9}を選択して実験を行います。 実験を比較するために、スニペットを3つの基準でペアで比較した評価者を採点しました。

• 代表性：どのスニペットがドキュメントのリクエストへのコンプライアンスをよりよく反映していますか？ 質問に答える前にドキュメントを読む必要があります。
• 読みやすさ：読みやすく読みやすいスニペットはどれですか？
• 判断可能性：関連する回答を見つけてリンクをクリックするかどうかを判断するのに役立つスニペットはどれですか？

以下のグラフは、3つの基準と5つのλ値について、動作アルゴリズムが品質の改善を示したスニペットのペアの割合を示しています。 λの各値について、評価者は異なる数の推定値を与え、異なる数のスニペットは品質が異なります。 したがって、各λの信頼区間は多少異なります。 λ= 0.7の場合、各基準のスニペットの品質が統計的に有意に改善されることがわかります。 これらのスニペットのカバレッジも非常に大きく、動作を伴うスニペットの40％はベースラインとは異なります。

考慮されるアプローチの主要な仮定と制限

最初に、ユーザーがドキュメント内の回答のテキストを検索するときに、情報の問題について実験が行われました。 ただし、ユーザーの意図には他の種類があります。たとえば、コマーシャル、ナビゲーションです。 このような要求の場合、行動要因が干渉したり、別のアカウンティング方法を必要とする場合があります。 第二に、実験を設定することにより、ページビューは情報のニーズによってグループ化されていると仮定します。 実験では、各ドキュメントリクエストペアのすべてのユーザーが同じものを検索しました。 したがって、すべてのユーザーのデータを集計し、すべてのユーザーのフラグメントの重みの平均値を計算します。 現実の世界では、ユーザーは同じクエリを要求し、異なる目的で同じドキュメントを表示できます。 また、これらのメソッドを適用して動作データを集計できるように、各リクエストに対してユーザーを意図別にグループ化する必要があります。 そして第三に、このテクノロジーを実際のシステムに実装するには、ユーザーの行動に関するデータを収集する方法を見つける必要があります。 ブラウザープラグイン、広告ネットワーク、およびユーザークリックに関するデータを収集するヒットカウンターが既にあります。 それらの機能は、マウスの動きに関するデータを収集する機能を追加することで拡張できます。



このメソッドの他のアプリケーションには、次のものがあります。

• Pを予測することでクリックモデルを改善しました（調査|クリック= 0）。 クリックのみを追跡する場合、ユーザーが検索結果のリンクをクリックしなかった理由を確実に言うことはできません。 彼はスニペットを読んで、文書が無関係であると判断するか、単に文書を見なかっただけです。 マウストラッキングを使用すると、この問題はなくなり、ドキュメントの関連性の予測を大幅に改善できます。
• モバイルデバイスでのユーザーの行動。
• 意図によるマウスの動きの分類。 モデルが複雑になった場合、ユーザーがカーソルで読むのを本当に助けたときに、マウスのランダムな動きを意図的な動きと区別することを学ぶことができます。 さらに、フラグメントの関心の追加の兆候の1つとして、非活動の瞬間を考慮することができます。

報告の後、Q＆Aセッションが行われ、 ビデオで見ることができます。