Webサービスの開発における効果的なオンライン品質評価。 ヤンデックス講義

現在、サービスの開発は、その品質の評価に基づいています。 ユーザーと製品との相互作用を評価するために、オンライン実験が実施され、その後のみ起動と更新に関する決定が行われます。 たとえば、2015年にGoogleは毎日最大1,000件のこのような実験を実施しました。 ABテストを使用する小規模企業の数も増えています。 次回のYandex Inside会議で、開発者兼研究者のAlexei Drutsaは、オンライン評価のプラットフォームの基礎となる最新の数学的手法を検討しました。





-私のレポートは、Webサービスの効果的な開発のためのオンライン品質評価に関するものです。 まず、私たちのチームについて、私たちが何をしているかについてお話します。





科学研究部門の私たちは、コンピューターサイエンスのさまざまな分野に携わっています。 このデータ分析、および機械学習、自然なテキスト処理、コンピュータービジョン、および情報検索の理論的基礎、およびオークションやゲーム理論をうまく処理することもあります。







私たちの小さな部門は、NIPS、ICML、KDD、CVPR、ACLなど、これらの分野の主要な会議で絶えず公開されています。



ここに、過去数年にわたって公開された記事のみを示します。











今日のレポートでは、私たちが近年非常に集中している分野の1つについてお話します。 これは、Webサービスの品質のオンライン評価です。



過去5年間、同僚と私はこのトピックの開発に多大な貢献をすることができ、主要な会議で14の記事を発表しました。 そのうちの1人は、2015年の情報検索に関する主要会議で最優秀賞を受賞しました。



Webサービスまたは製品の開発プロセスにおけるオンライン品質評価は、新しい機能を起動するかどうかを決定する上で重要な役割を果たします。 Yandexでこのプロセスがどのように機能するかを見てみましょう。







あらゆる瞬間に何十もの実験が行われます。 このスライドには実験例が示されています。 同じ検索クエリを発行するための2つのオプションがあります。 右手の結果の隣にミニチュアの写真があります。



あなたは正しい選択肢が左側よりも優れていて、サービスを改善すると思いますか？ 後で正解を言います。







スライドには、同じ検索クエリを発行するための2つのオプションが再び示されています。 右側には、ファクトイドはありません。



適切なバージョンのサービスは左のバージョンよりも優れていると思いますか？ 後で正解を言います。







私の要求に対する答えは、「改善する」という概念に何を入れたかに大きく依存しています。 したがって、ABテストの裏側にあるものを把握しましょう。



このプロセスの重要なサポートポイントを覚えておく価値があります。 各実験に対して、この実験に参加するユーザーの特定のセットが割り当てられます。 さらに、このセットはランダムに2つのグループに分けられます。 たとえば、等しく。 グループAのユーザーの半分とグループBの半分を定義します。



その後、これらの各グループには、サイト、Webサービス、または製品の独自のバージョンが表示されます。 たとえば、グループAには、ほとんどのユーザーに表示される製品の現在の作業バージョンを表示し、グループBには、テストする新しい機能など、保護されている製品の新しい実験バージョンを表示します。



しばらくしてから、たとえば1〜2週間で実験を完了し、すべてのユーザーからいくつかの統計、ユーザーの行動に関する情報を収集します。 たとえば、ユーザーごとに1つの番号にすることができます。 この数-たとえば、実験中のサイトでのユーザーセッションの数-はキーメトリックと呼ばれます。 これらの数値を各グループのすべてのユーザー間で集計し、各グループの数値を取得します。 これは、集約されたメトリックまたは評価基準と呼ばれることもあります。 したがって、グループごとに1つの番号を取得します。 この例では、これは各グループのユーザーごとのセッションの平均数です。







これらの2つの数値を取得し、それらの差を取得し、この差をゼロと比較して、メトリックが正または負の方向に変化したかどうかを理解し、この差がどれほど大きかったかを思い出します。



しかし、これはあなたが知るには十分ではありません。 ユーザーのグループへの分割はランダムであり、ユーザーの動作もランダムプロセスに完全に従属するため、違いを観察することはランダム変数であることがわかっています。 または、ランダム変数の実装。



観測された差がデータのノイズと異なるかどうかを理解するために、統計的検定を使用します。 たとえば、有名なスチューデントT検定などです。



その後、観察している変更がテストしている新しい機能の結果であるかどうかを判断します。 または、この観察結果はデー​​タの単なるノイズですが、実際には、少なくともこのメトリックの観点からは、新しい機能がユーザーに影響を与えることはありませんでした。



これらの2つのプロセスにより、メトリックが持つべき2つの主要なプロパティまたはメトリックの定義につながります。 これら2つのプロパティを詳しく見てみましょう。



実際、バージョンAとバージョンBのメトリックXの平均値で観測された差は、影響の平均効果の不偏推定値であり、これも差ですが、バージョンAとバージョンBのメトリックXの数学的期待値です。



したがって、観測されたデルタはランダム変数の実現であることを常に覚えておく必要があります。 実験の結果、ユーザーあたりのセッション数が1％増加したのと同じデルタが得られたと想像してみましょう。 それはたくさんですか、それとも少しですか？ 画面では、これは大きなセグメントとして示されます。 これはおそらく非常に大量です。







しかし、これを理解するには、サービスバージョンが区別できない場合にそのようなデルタを観察できるかどうかを調べる必要があります。 平均効果はゼロです。



多くの場合、この条件は帰無仮説とも呼ばれます。 ここでは、すべてがこれがどのような分布であるかに大きく依存しています。 画面には、2つの可能な分布が表示されます。 そして、青の分布を扱っている場合、このデルタを観測する確率は、緑の分布を扱っている場合よりも帰無仮説ではるかに低いことがわかります。



その観測または観測された変化の重要性を理解または確認するために、帰無仮説の条件下でこのデルタ以上を観測する確率を計算します。



この確率を計算するには、原則として、T統計に基づいた有名なスチューデントT検定を使用します。







以下にその式を示します。分子はデルタ、分母はさらに2つの量です。 最初の値は、各グループのメトリックXの分散です。 2番目は、各グループのサンプルサイズです。 T統計モジュールが高いほど、観測されたデルタの変化がより確実になります。







T統計モジュールが大きくなる条件を詳しく見てみましょう。 T統計の式を検討してください。 3つの量に依存します。 実験でメトリックが大幅に変更された場合、分子が大きいほどこのT統計モジュールが高くなることは明らかです。 この条件の下でのみ、分子は大きくなります。 たとえば、実験でメトリックを10％、20％、30％シフトした場合。 さらに大きな数字を想像できますか？



しかし、サービスが長年にわたって開発および改善されてきた場合、これは非常にまれです。 さらに、実験の変更のサイズは、実験自体、テストしている機能によって異なります。 ユーザーにほとんど影響を与えない機能をテストする場合、デルタは非常に小さくなります。 したがって、分子は私たちの対象ではありません。 したがって、T統計量を増やしたい場合、分母のみが私たちに依存し、変更できるのは私たちだけです。



最も簡単な方法は、実験で使用するユーザーの数を増やすことです。 しかし、この方法は、実験プラットフォームのスループットを低下させるため、効果的ではないため、良くありません。



別の方法は、メトリックの分散を減らすことです。 したがって、メトリック感度の概念に徐々に近づきます。 簡単にするために、これがすべての実験のT統計の平均モジュールであると想定します。 感度が高いほど、実験で気付くことができる変化が弱くなります。 または、実験でより少ないユーザーを使用して、以前に観察したのと同じ変化を観察することもできますが、元のユーザー数と同じ重要度です。







感度を上げる主な鍵は、前述のように、メトリックの分散を減らすことです。







2番目の概念である指向性メトリックに移りましょう。



実験中のユーザーあたりのクリック数とユーザーあたりのセッション数の2つの指標を検討してください。 この例では、ユーザーあたりのクリック数が増加しており、これがプラスの効果を示していることがわかります。 訪問者はSERPをより有効に活用します。



さらに、ユーザーあたりのセッション数も増加しました。 これは、ユーザーが日常のタスクを解決するために頻繁にサイトに戻ってきたことを意味します。







2番目の例では、クリック数の増加も観察されます。これは、正しいバージョンの結果には、ユーザーが要求したリクエストのファクトイドがないためです。 したがって、彼らはこの答えを探してサイトにアクセスし、クリックを増やす必要があります。 それにもかかわらず、factoroidのない適切なバージョンのサービスは、ユーザーあたりのセッション数の減少につながります。 また、この例では、ユーザーアクティビティのクリック指標がユーザーのロイヤリティを測定する長期的な指標と競合するため、緊急目標により適していることがわかります。



最後に、何がありますか？ 実験でクリック数が増加し、セッション数が減少しました。



簡単に要約すると、その変化または方向の方向を明確に解釈できる適切なメトリックを呼び出します。 そして、これはメトリックを選択する際の重要な基準です。 このプロパティがないと、分析者がテスト済みの更新または機能の成功または失敗について正しい結論を出し、正しい決定を下すことは非常に困難です。







例として、あるクラスのユーザーエンゲージメントメトリックを検討してください。 原則として、このメトリックグループには、2つのメトリックグループが含まれます。 最初のグループは、ユーザーごとのセッション数、不在時間などのロイヤリティメトリックです。2番目のグループはアクティビティメトリックで構成されます。 これらは、ユーザーのクリック数、ユーザーのリクエスト数、サイトで費やした時間などの指標です。

メトリックの最初のカテゴリは非常に重要です。 その変化の解釈は非常に透明であり、原則として、長期的な存在と発展のために、会社の長期目標と相関しています。







さらに、これらのメトリックの感度は非常に低くなっています。 私たちの実験では、このような指標を移動することは非常に難しく、ユーザーの忠誠心を大幅に向上させる新しい機能や、サービスを通じて日常生活で解決するタスクの数を発明することは非常に困難です。







それどころか、アクティビティメトリックの方向は混乱していますが、同時に非常に高い感度を持っています。 移動が非常に簡単です。 設計に変更または影響を与える機能を導入する実験は、すぐにメトリックの変更につながります。ユーザーがこの新しい機能が気に入らない場合は、調査する必要があります。 それを試して、彼女に何が起こるか見てください。 その結果、他のアクションに気を取られた場合、クリック数が増減します。重要なタスクは、ロイヤルティメトリックスの感度を上げることですが、フォーカスを維持します。



要約すると、次のタスクがあります。主要なメトリックの感度を改善するが、その焦点を維持することです。 感度。これは、メトリックの弱い変更を明らかにするだけでなく、使用するユーザーの数を減らすためです。 それと別の両方が、実験を実行するためのプラットフォームの効率または生産性を向上させます。 また、システムの品質の変化について正しい結論を引き出すために、焦点を維持する必要があります。



次に、Yandexで使用されているメトリックの感度を高める方法の1つと、2016年のKDD会議で記事を公開した方法について説明します。



この手法は、メトリック自体からメトリック値の予測を減算して、その分散を減らすことに基づいています。







実験が行われる期間と、この実験の前の一定の期間について、2つのサブインターバルに概略的に分割された期間を見てみましょう。 実験中にこのユーザーがサイトで費やしたセッションの数を主要な指標として考慮すると仮定します。



また、特定のインジケーターセット、ユーザーを特徴付ける機能もあります。 たとえば、このユーザーが実験前の期間に費やしたセッションの数。 同様に、この期間に測定した他のメトリックは機能として使用できます。 さらに、利用可能な場合は、性別、年齢、その他のデータなど、ユーザーの統計特性を使用できます。



最後に、これらの指標に基づいて重要な指標を予測する予測子を用意します。 たとえば、単純な線形モデルにすることができます。 たとえば、最も簡単で最適な予測変数は、実験前の期間が実験の期間と等しい場合に、ユーザーが実験前の期間に費やしたセッションの数です。







この手法の本質は次のアプローチです：メトリックXを使用する代わりに、メトリックXからメトリックXの予測値を引いたメトリックYを使用します。この例では、これは、実験のセッション数ではなく、セッション数の変化が、予測に基づいて予想した量と比較されます。







この手法が機能する理由を見てみましょう。 実際、当社の技術に関する次の理論的保証を証明できます。 まず、予測子が、テストまたはテストしている実験出力から独立している場合。 たとえば、実験の開始後にユーザーから収集した要因を使用しないという事実のため。 この場合、次のステートメントを受け取ることが保証されます。新しいメトリックの平均効果は、正確には古いメトリックの平均効果です。 これは、測定されたメトリックYの変化が元のメトリックXの不偏推定値になることを意味します。したがって、メトリックYがメトリックXと同じ方向を持つことを保証します。







次に、感度の問題について考えてみましょう。 スカラー量の乗算に関して閉じている機械学習モデルの中で最適な予測子を使用しているとします。 次に、メトリックYの分散がメトリックXの分散よりも小さいことが保証されることを証明するのは簡単です。これは、メトリックYが分散を正確に減少させるか、またはわかったように感度を増加させることを意味します。



したがって、方向を保持し、一般的に感度を潜在的に高めることができる新しいメトリックを取得したため、必要な目標をほぼ達成しました。 または、分散を下げます。



どれだけ下げることができるかを理解しましょう。



スカラー値の追加に関して閉じているモデルのクラス間で予測子が最適であることをさらに必要とする場合、メトリックYの分散は予測子の標準偏差と正確に等しくなります。 これは非常に強力で重要な結果です。 したがって、分散を下げる度合いは、予測変数を改善する度合いとまったく同じです。 モデルまたは要因のいずれかにより、予測子を適切に作成すればするほど、メトリックの分散が低下し、感度が向上します。







まとめると。 新しいメトリックは、メトリックXと同方向であることが判明しました。新しいメトリックYは、メトリックXの分散を減らすか、感度を高めます。さらに、元のメトリックXの予測品質を改善することにより、感度の増加の程度を制御できます。







これにどのような仮定を使用しましたか？ 第一に、実験からの予測子の独立性、第二に、定数の乗算と加算に関して閉じられたモデルのクラスの標準偏差に関して予測子が最適であるという事実。



実際、線形モデルと、 勾配ブースティングによって構築される広く使用されている決定木には、この特性があります。







セッションの数を重要な指標と見なし、ユーザーに関する51の要因、特に実験前期間のセッション数、およびユーザーが最初に実験に参加した時間を使用して、実験またはむしろ研究を実施しました。 さらに、161 ABテストをサンプルとして使用して、アプローチのパフォーマンス指標を計算しました。



その結果、以下の結果を達成することができました。 元のロイヤルティメトリックの分散を63％削減しました。これは、元のメトリックと同じレベルのT統計を取得するために実験で必要なユーザー数を3倍削減することに相当します。



最後に、2倍の実験で、統計的に有意な変化が見られました。 , 2016 .







, , . — , , , . , , . .



, , , , . , , , .







, -, -, WWW, The Web Conference. , , , , ( , QR- — . .).







ホールの全員がチュートリアルにアクセスできるわけではないため、Courstraのオンラインコースを準備中です。このコースは、ほぼ夏にリリースされます。また、オンライン品質評価のトピックも幅広く取り上げられることを期待しています。ご清聴ありがとうございました。