検索サービスのカスタマイズ

この作業では、情報検索の検索結果の形成において、ユーザーの心理的特性を考慮したパーソナライゼーションテクノロジーを適用する原則の概要を説明します。

この技術の目的は、一般的にインターネット上に個人用の快適なスペースを作成し、特に検索サービスとのやり取りを積極的に体験することです。 その結果、検索サービスはリソースの使用を最適化するツールを受け取ります。



現在、各ユーザーの情報要求に対して、検索エンジンは何千ものリソースを見つけます。 他のすべてのリソースの中でより高いランクを割り当てるために、どの特定のリソースがユーザーの関心を引くかを決定する方法は？ 情報要求のリリースの関連性を解決することは、検索サービスの優先タスクの1つであり、ユーザーの時間を節約するためではなく、リソースを集中的に使用するプロセスのためです。 現在のシステムでは、インターネット上のすべてのページを定期的にスキャンしてインデックスを作成し、ユーザーの検索クエリを参照して人気を判断し、すべてのユーザーのすべてのクエリに関する情報を保存する必要があるため、クエリ履歴を確認できるように、リソースの使用を最適化するという問題が非常に重要になります。

最適化オプションの1つは、ユーザーが問題のページをめくったり、新しいページを「プルアップ」するのに時間を費やす必要がないように設計されたパーソナライズ検索です。

最近まで、個人検索では、ユーザーの特定のデータ（短期または長期の検索履歴、興味、またはその他）を使用して、検索の関連性を高めたり、使用しませんでした。

この技術は、インターネット活動のさまざまな分野で使用するために普遍的であり、「人間-デジタル情報」という2つの概念によって結ばれています。 これには、紹介システム、広告、情報検索などが含まれます。

説明されているパーソナライゼーションの技術は、2つの基本原則に基づいています。 最初に-人のニーズは、意識または無意識の彼の活動（言い換えれば、行動）のベクトルを決定します。 例外はいくつかの精神障害ですが、それらは考慮されません。 2番目の原則は、精神の反応性です。つまり、刺激が暴露されると、精神は特定の明確な反応を示します。

インターネット上の人間の行動に関して、これらの原則は連鎖を形成します-「関連情報の検索-情報の消費」。 （最初の-この場合、「関連する」という言葉は現象の状況的性質を反映していることに注意してください。人は多くのニーズを持ち、そのうちの1つ以上が状況の行動ベクトルを決定します。2番目-人がコミュニケーションのためにインターネットにアクセスしても、これは変わりません本質-特定のニーズが満たされ、コミュニケーション自体が結果を達成する方法として機能します）。 言い換えると、ユーザーは意図的にインターネットサーフィン（ページからページへの一連の遷移ですが、実際には検索）を実行し、精神は各コンテンツユニットに肯定的（適切）または否定的（不適切）に応答します。 肯定的な反応が発生した場合、サーフィンが中断され、「コンテンツの消費」が発生します。

最初は、パーソナライズド検索の問題は、心理学と情報技術という2つの科学分野の接点にあります。 この場合、心理学は質問に答える必要があります-コンテンツの要素は正確に何であり、情報要求の発行を形成する際にどのように考慮する必要があるので、発行はパーソナライズされた、つまりこのユーザーのニーズを個人的に満たすことができます。 情報技術は、これらの要素の分離と解釈のためのツール（アルゴリズム）を提供する必要があります。

提案されたアプローチは、ユーザーの精神のモデルを構築することです。これにより、コンテンツの提案されたユニットに対するユーザーの反応を予測する可能性が高くなります。 （この場合、「高確率」は80％以上の確率を意味します）。



特定のユーザーのプシュケモデルの構築は、次のアルゴリズムに従って実行されます。

1）コンテンツ単位へのユーザー応答の登録。 肯定的な反応として、リンクをクリックしたという事実（またはユーザー自身によるブラウザーアドレスバーのリソースの表示）とページで費やされた時間の両方が考慮されます。

2）リンクとその説明（リンクがある場合）またはリソースの主題（ブラウザのアドレスバーの使用がある場合）の選択（ユーザーの精神が反応する可能性のある意味単位（以下、「意味単位」といいます）。 。 この目的のために、外界の特定の現象と、人間の内部（精神）平面におけるそれらの反射との関係を記述するセマンティックネットワークが開発されました。これは、このような反射のバリアントを決定する個体発生時に固有または形成される個人特性の識別までです。

3）特定のコンテンツ要素への反応によって直接決定されるカテゴリだけでなく、基本的に、基礎となる人格特性（生得、個体発生中に獲得）、および[カテゴリ]に関連するモデルの構築関連する文化および情報スペース（受け入れられた社会的規範、1つまたは別の社会的クラスに属するなど）。



しかし、実際に判明したように、適用された問題を解決するためにこの形式の心理モデルを使用することは困難でした。 したがって、検索動作に重要な限られた数のセマンティック単位に対する彼の応答を反映する多くのユーザー特性を含むユーザープロファイルを形成することが提案されました。 ユーザープロファイルは、適用された問題を解決するために簡単に適用できるプシュケモデルの単純化されたバージョンです。

Yandexが無料アクセスのために提供するユーザーの検索アクティビティのクエリを（競合のため）エキスパートメソッドを使用して分析した結果、指示の要求、インターネットでの受信、選択など、9つの主要なクエリグループを特定することができました。

分析では、与えられたアイデアの表現形式を無視して、リクエストの「アイデア」を考慮しました。

各グループについて、専門家による方法が用語集をまとめました。 さまざまなクエリグループの用語集の単語は重複していませんでした。 この用語集を使用すると、クエリキーワードによってグループを自動的に決定できます。

また、各グループに対して、専門家の方法が特定のスケールシステムを開発しました。 これらのスケールは、このグループに関連するクエリへの応答に含まれる情報の重要な特性の不変性を反映しています。 たとえば、「指示の要求」グループでは、次の尺度が決定されました：知性のレベル、理論の実践、深層の深さ、画像、ランダム性の構造性など。 異なるグループには、異なる数のスケールが含まれます。

各ユーザーは、個人的な特性により、リクエストへの応答から特定の期待を形成します。つまり、各ユーザーは、特定の特性セットを持つ情報を「期待」します。 新しいスマートフォンのリクエストの例は、若い女の子がそのようなリクエストを行った場合、スマートフォンはファッショナブルであるため、デザイン、配色などを評価するために、高い確率で多くの写真を含むリソースを見ると予想する場合です。アクセサリー。 この要求がオタクによって行われた場合、彼は新製品の機能を評価し、もしあればアナログと比較するために、技術計画からの情報を期待します。

例外は、検索システムを電卓、スライドルール、またはその他のデバイスの類似物として使用する場合で、その出力は解釈に関して最大​​限に統一され、通常は記号（数字および/または従来の記号）の形で作成されます。

上記に基づいて、2つのポイントを強調します。まず、スケールは情報の特性を反映します。 第二-ユーザーの個人的な特性が彼の期待を決定します。

したがって、実際には、個人検索は、特定のユーザーの期待を判断し、必要な特性を備えた情報を提供することに要約されます。 この手順は、検索の対象には影響しません。

提案されたパーソナライゼーションテクノロジーにより、特定のユーザーの期待を判断することができます。 この目的のために、ユーザーのクエリ履歴が分析され、プロファイルが形成されます。ここでは、クエリの各グループのこのユーザーに関連するすべてのスケールが表示されます。 一方、テクノロジーは情報を特徴付けるツールを提供します。

最初のユーザープロファイルの形成とその後の再計算、および情報特性の決定の両方をオフラインで実行できます。これにより、ユーザープロファイル内の[必要な]クエリグループの現在のインデックスの計算と、計算されたインデックスへの最大対応に応じたリソースのランキングへの操作がリアルタイムで削減されます。



パーソナライズされた検索に提案された技術を使用する可能性を評価するために、実験が行われました。 作業仮説として、検索サービスでこのパーソナライゼーションテクノロジーを使用すると、情報リクエストの検索結果の関連性が高まるという仮定が選択されました。つまり、ユーザーが選択したリソースのランクは低くなります。



サンプルの説明

実験は、パーソナライズされたネットワーク検索（Personalized Wed Search Challenge）の公開競争の一環として、Yandexによるパブリックアクセス用に提供されたデータのサンプルで実施されました。 この「ベース」には、検索アクティビティに関する情報が含まれています。 60日間のユーザー。 以下のデータが提案されました。

-ユーザーID

-リクエストID

-ユーザー検索クエリテキスト

-統一された検索エンジンクエリテキスト

-課題の最初のページのリソースのリスト（または最初の10リソース）および対応するランク

-ユーザーがクリックしたリソースのランク

生産能力が限られているため、サンプルはシステムによってランダムに選択された4 500人に削減されました。

その結果、サンプリングパラメータは次のようになりました。

-ユーザー数-4 500人。

-活動の会計期間-60日間（19-09-13から17-11-13まで）

-リクエストの総数-1 104 347



実験の説明

実験を行うための方法として、修正されたA / Bテストが選択されました。 変更は、実験群と対照群への分割が被験者間ではなく対象間で行われたという事実から成っていました。 つまり、ユーザー自身ではなく、ユーザーの検索アクティビティがグループに分割されました。 これは、このアプローチが各ユーザーの個人特性を備えたプロファイルの形成を意味するという事実によるものでした。

実験の第1段階で、システムはクエリを分類しました。つまり、上記の9つのグループのいずれかにクエリを割り当てました。

サンプルでは、​​選択したグループがすべてのリクエストの48.7％（538,441）をカバーしました。 残りの51.3％（565,906）には、文法エラー、音訳の使用、およびどの用語集にも含まれていない単語の使用のためにシステムが識別できなかったクエリが含まれていました。

第2段階では、サンプルのユーザーの個人プロファイルを作成する可能性について評価が行われました。 提案されたアプローチのフレームワーク内で機能プロファイルを形成するユーザー検索アクティビティ（この例では40クエリ）には下限があるため、システムはこの基準を満たさないユーザーとクエリを破棄しました。 その結果、サンプルは3,826人に減少しました。 リクエストの総数-523 007。

この段階は、限られたデータのみによるものです。 検索サービスにはこの問題はないはずです。

第3段階では、要求は実験グループと制御グループに分けられました。

80:20の比率でグループに分割することが決定されました。つまり、各ユーザーのアクティビティの80％が実験グループ、20％に分類されます。

その結果、実験グループでは418,406件のクエリが、コントロールでは104,601件のクエリが受信されました。

4番目の段階では、実験グループからのリクエスト（418,406リクエスト）がスキームに従ってシステムによって処理されました。リクエストグループの決定->ユーザーが選択したリソースの重要なスケールの重大度の評価。

クエリグループは、クエリキーワードとクエリグループの用語集を比較して定義されました。 次に、システムはこのクエリグループの重要なスケールを決定し、その重大度を評価しました。 この情報は企業秘密であるため、重大度を評価するための原則とメカニズムを開示することはできませんが、機械学習からアクセスできると言えます。

実験グループのリクエスト処理の結果によれば、ユーザープロファイルが形成されました。 各クエリグループのプロファイルでは、ユーザーにとって重要なスケールの名前と計算された係数（ユーザーの優先度）が示されました。

設計容量が限られているため、システムはユーザーが選択した特定のリソースページではなく、リソース全体を処理したことに注意してください。 たとえば、ユーザーがslovo.ws/resh/007を選択した場合、システムはslovo.wsを分析しました 。 この事実は、第一に、ソーシャルネットワークやYoutubeなどのすべてのコンテンツアグリゲーターが、コンテンツが多種多様であるために処理から脱落したという事実につながりました。 第二に、これは、劣化の方向での実験結果に影響を与える可能性があります。

第5段階では、制御グループからのリクエスト（104 601リクエスト）が次のスキームに従ってシステムによって処理されました：リクエストグループの決定->重要なスケールの重大度の決定->個人プロファイルへのコンプライアンスインデックスの計算->対応インデックスによる検索結果のリソースのランク付け->リソースのランクの決定ユーザーが選択します。

前のステップと同様に、リクエストキーワードをリクエストグループの用語集と比較して、リクエストグループを決定しました。 次に、システムはこのクエリグループの重要なスケールを決定し、その重大度を評価しました。 その後、検索結果（最初の10リソース）から各リソースの対応インデックスが計算されました。 このインデックスは、スケール自体と出力内のリソースの重大度が、個人プロファイル内のこの要求グループのユーザーにとって重要なスケールに対応する度合いを反映していました。 計算されたコンプライアンスインデックスに基づいて、システムは検索結果のリソースのランク付けされたリストをコンパイルし、ユーザーが選択したリソースのランクを決定しました。

最終段階では、情報コンテンツの基準によるリクエストの分析が行われました。 情報量の少ないクエリを除外した後、選択したリソースの平均ランクが計算され、検索エンジンの結果と個人通信インデックスによってランク付けされたリストで比較されました。

情報コンテンツに関するクエリを分析する際に、以下が排除されました。

a）ユーザーが検索結果でリソースを厳密にランクシーケンスで選択したときのリクエスト（例：（resource ranks）1 * ; 1、2; 1、2、3; 1、2、3、4; 1、2、3、4、5など-私たちが信じているように、そのような行動は個人的な好みを反映するのではなく、ランク付けされた情報のステレオタイプ認識の結果であるため-最も重要な（上）からより重要でない（より低いリストへ）。 この場合、最後のリソースがユーザーに最も関連していると想定することができます（それを読んだ後、ユーザーはこのリクエストの検索アクティビティを停止/変更しました）。 この場合、次の時間パラメーターを分析（比較）する必要がありました-検索結果の表示とユーザーの最初の選択の間の時間、コンテンツとの対話の時間、次の要求の時間-コンテンツの一意性、-ばらばらな情報の存在、表示スタイルなど。検索サービスが提供するオープンアクセス用のデータベースには時間パラメータがなく、コンテンツの一意性の分析も行われなかったため、かなりの計算リソースが必要でしたが、実行しませんでした。 ursですが、時間データなしでは役に立ちませんでした。

* -ユーザーが期待に応えるためにリソースNo.1を選択したこと（つまり、ユーザーの個人的な特性が選択を決定したこと）を決定し、これがテンプレートアクションではないことを判断するには、検索結果を表示してからリンクをクリックするまでの時間を分析する必要があります。 №1 ( -, , ) №2. , , , .

.

) , . , , , , , , .

) , . , , .

74 279 (~71% ). 3,6. , , 2,9. ~19,4%, ( , ) ~16,1%.





, , , . ~16,1%.

. , , ( – ), , , – . , , . , ó , , . , , , , ( , .).

, , . -, . -, , , , / .

( ). , , / , , , «» , .



: , .