こんにちは同僚。 Moustache and Claws社での典型的なオンライン実験を考えてみましょう。 彼女は、角の丸い長方形の赤いボタンがあるWebサイトを持っています。 ユーザーがこのボタンをクリックすると、世界のどこかで子猫がうれしくなります。 会社の目標は、ゴロゴロを最大限にすることです。 ボタンの形状と、それがインプレッションからクリック音への変換にどのように影響するかを熱心に調査するマーケティング部門もあります。 同社の予算のほぼすべてを独自の研究に費やしたため、マーケティング部門は4つの派warに分かれました。 各グループには、ボタンがどのように見えるかについての独創的なアイデアがあります。 一般に、ボタンの形状に反対する人はいませんが、赤色はすべてのマーケティング担当者を困らせ、最終的に、4つの代替オプションが提案されました。 実際、どのようなオプションであるかはそれほど重要ではありません。 マーケティングはA / B / nテストの実施を申し出ていますが、私たちは同意しません。したがって、これらの疑わしい研究にお金が投資されています。 できるだけ多くの子猫を幸せにし、交通量を節約してみましょう。 テストに許可されるトラフィックを最適化するために、ベイジアンの多腕バンディットのギャングを使用します。 進む。

A / B / nテスト

クリックはランダム変数であると仮定します $$$k$ 値をとる $$$1$ または $$$0$ 確率で $$$\シータ$ そして $$$1-\シータ$ それに応じて。 この数量には、パラメーターを持つベルヌーイ分布があります $$$\シータ$ ：

$$

$$\ large \ begin {array} {rcl} k＆\ sim＆\ text {Bernoulli} \ left（\ theta \ right）\\ p \ left（k \ right）＆=＆\ theta ^ k \ left（1- \ theta \ right）^ {1-k} \ end {array}$$

ベルヌーイ分布の平均値は $$$\ mu = \ theta$ 、分散は $$$\ sigma ^ 2 = \ theta \ left（1-\ theta \ right）$ 。

最初に、通常のA / B / n検定を使用して問題を解決してみましょう。ここで、nは2つの仮説ではなく、いくつかの仮説が検定されることを意味します。 私たちの場合、これらは5つの仮説です。 ただし、最初に古いソリューションを新しいソリューションに対してテストする状況を検討してから、5つのケースすべてに一般化しています。 バイナリの場合、2つの仮説があります。

• 帰無仮説 $$$H_0：\ theta_c = \ theta_t$ 古いボタンをクリックする確率に違いがないという事実にあります $$$\ theta_c$ または新しい $$$\ theta_t$ ;
• 対立仮説 $$$H_1：\ theta_c <\ theta_t$ 古いボタンをクリックする確率が $$$\ theta_c$ 新品より少ない $$$\ theta_t$ ;
• 確率 $$$\ theta_c$ そして $$$\ theta_t$ コントロールグループと実験/テストグループ（処理）でのクリックとインプレッションの比率をそれぞれ推定します。

コンバージョンの真価を知ることはできません $$$\ theta_c$ 現在のボタンのバリエーション（赤）についてですが、評価することができます。 このために、連携する2つのメカニズムがあります。 まず、これは大きな数の法則であり、ランダム変数の分布が何であれ、十分な数のサンプルと平均をサンプリングすると、この推定値は平均分布値の真の値に近くなります（ここではインデックスを省略します） $$$c$ 明確にするために）：

$$

$$\ large \ begin {array} {rcl} \ overline {\ theta} _n＆=＆\ frac {1} {n} \ sum_ {i = 1} ^ n k_i \\ \ forall \ epsilon \ in \ mathbb { R}：\ lim_ {n \ rightarrow \ infty}＆=＆P \ left（\ left | \ overline {\ theta} _n-\ mu \ right | <\ epsilon \ right）= 1 \ end {array}$$

第二に、これは中心極限定理であり、次のことを述べています：独立した同一分布のランダム変数の無限級数があると仮定します $$$k_1、k_2、\ ldots$ 、真の期待を込めて $$$\ mu$ および分散 $$$\シグマ^ 2$ 。 最終的な金額は $$$S_n = \ sum_ {i} ^ n k_i$ それから

$$

$$\ large \ frac {S_n-\ mu n} {\ sigma \ sqrt {n}} \ rightarrow \ mathcal {N} \ left（0、1 \ right）\ text {at} n \ rightarrow \ infty$$

または同等に、十分に大きいサンプルの場合、平均値の推定値は、 $$$\ mu$ および分散 $$$\ frac {\ sigma ^ 2} {n}$ ：

$$

$$\大\上線{\ theta} \ sim \ mathcal {N} \左（\ mu、\ frac {\ sigma ^ 2} {n} \右）$$

どうやらそれを取り、2つのテストを実行します。トラフィックを2つの部分に分け、数日待ってから、最初のメカニズムでクリックの平均値を比較します。 2番目のメカニズムでは、 t検定を使用して、サンプルの平均値の差の統計的有意性を評価できます（平均推定値には正規分布があるため）。 サンプルサイズを増やすだけでなく $$$n$ 、平均スコアの分散を減らして、信頼性を高めます。 しかし、1つの重要な質問が残っています。各ボタンのバリエーションにどれだけのトラフィック（ユーザー）を乗せるか？ 統計によれば、差がゼロでない場合、値が等しくないという意味ではありません。 たぶん運が悪くて、最初の $$$70 \％$ ユーザーはある色をひどく嫌っていたので、別の色を待つ必要があります。 そして、違いがある場合にそれが重要であることを確認するために、ボタンの各バリエーションに使用するユーザーの数が問題になります。 これを行うには、マーケティング部門と再度会っていくつかの質問をする必要があります。おそらく、第1種と第2種のエラーとは何かを説明する必要があります。 一般的に、これはテスト全体で最も困難な場合があります。 それでは、これらのミスの種類を思い出し、バリエーションごとのトラフィック量を推定するためにマーケティング部門が尋ねるべき質問を決定しましょう。 最終的には、どのボタンの色を残すかを最終的に決定するのはマーケティングです。

		真の仮説
		$$$H_0$	$$$H_1$
テスト回答	$$$H_0$	$$$H_0$ 受け入れた	$$$H_0$ 誤って受け入れられた （II種のエラー）
	$$$H_1$	$$$H_0$ 間違って拒否されました （第一種のエラー）	$$$H_0$ 拒否されました

さらにいくつかの概念を紹介します。 第一種のエラーの確率を $$$\ alpha = P \ left（H_1 \ mid H_0 \ right）$ 、つまり 帰無仮説が実際に真であるという条件で、対立仮説を採用する確率。 この値は統計的有意性と呼ばれます。 また、第2種のエラーの確率を導入する必要があります $$$\ beta = P \ left（H_0 \ mid H_1 \ right）$ 。 価値 $$$1-\ベータ$ 統計的検出力と呼ばれます。

統計的有意性と検出力の意味を説明するために、以下の画像を検討してください。 制御グループ内のランダム変数の平均分布が $$$\ mu_c$ 、テスト中 $$$\ mu_t$ 。 いくつかの重要なしきい値を選択します $$$H_0$ 拒否されました（垂直の緑色の線）。 次に、値がしきい値の右側にあるが、コントロールグループの分布からのものである場合、誤ってテストグループの分布に起因するものとします。 それは第一種の間違いであり、価値 $$$\ alpha$ 領域は赤で網掛けされています。 したがって、青色で網掛けされた領域の面積は $$$\ベータ$ 。 価値 $$$1-\ベータ$ 実際、統計的検出力と呼ばれる、対立仮説に実際に帰属する対立仮説に対応する値の数を示しています。 上記を説明します。

#     mu_c = 0.1 mu_t = 0.6 #    s_c = 0.25 s_t = 0.3 # :       , #       c = 1.3*(mu_c + mu_t)/2
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

このしきい値を文字で示します $$$c$ 。 ランダム変数に正規分布がある場合、次の等式が当てはまります。

$$

$$\大c = \ mu + t \ frac {\ sigma} {\ sqrt {n}}$$

どこで $$$t = P \左（X \ leq t \右）、X \ sim \ mathcal {N} \左（0、1 \右）$ 分位関数です。

この場合、次の2つの方程式のシステムを書くことができます。 $$$\ alpha$ そして $$$\ベータ$ したがって：

$$

$$\ large \ left \ {{c = \ theta_c + t _ {\ alpha} \ sqrt {\ frac {\ theta_c \ left（1-\ theta_c \ right）} {n}} \ atop c = \ theta_t + t_ { \ beta} \ sqrt {\ frac {\ theta_t \ left（1-\ theta_t \ right）} {n}}} \ right。$$

このシステムを決定した $$$n$ 、特定の統計的有意性と検出力を得るために各実験に誘導する必要がある十分な量のトラフィックの推定値を取得します。

$$

$$\ large \ begin {array} {rcl} \ theta_c + t _ {\ alpha} \ sqrt {\ frac {\ theta_c \ left（1-\ theta_c \ right）} {n}}＆=＆\ theta_t + t_ { \ beta} \ sqrt {\ frac {\ theta_t \ left（1-\ theta_t \ right）} {n}} \\ \ theta_c \ sqrt {n} + t _ {\ alpha} \ sqrt {\ theta_c \ left（1 -\ theta_c \ right）}＆=＆\ theta_t \ sqrt {n} + t _ {\ beta} \ sqrt {\ theta_t \ left（1-\ theta_t \ right）} \\ n＆=＆\ left（\ frac {t _ {\ beta} \ sqrt {\ theta_t \ left（1-\ theta_t \ right）}-t _ {\ alpha} \ sqrt {\ theta_c \ left（1-\ theta_c \ right）}} {\ theta_c-\ theta_t} \右）^ 2 \ end {array}$$

たとえば、実際のコンバージョン値 $$$0.001$ 、そして新しい $$$0.0011$ それから $$$\ alpha = \ beta = 0.01$ 各バリエーションで2,269,319人のユーザーを誘導する必要があります。 コンバージョンが超えた場合、新しいバリエーションが受け入れられます $$$0.00104$ 。 これをチェックしてください。

 def get_size(theta_c, theta_t, alpha, beta): #     t_alpha = stats.norm.ppf(1 - alpha, loc=0, scale=1) t_beta = stats.norm.ppf(beta, loc=0, scale=1) #    n n = t_alpha*np.sqrt(theta_t*(1 - theta_t)) n -= t_beta*np.sqrt(theta_c*(1 - theta_c)) n /= theta_c - theta_t return int(np.ceil(n*n)) n_max = get_size(0.001, 0.0011, 0.01, 0.01) print n_max #  ,    H_0 print 0.001 + stats.norm.ppf(1 - 0.01, loc=0, scale=1)*np.sqrt(0.001*(1 - 0.001)/n_max) >>>2269319 >>>0.00104881009215
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

したがって、有効なサンプルサイズを計算するには、マーケティング部門または別のビジネス部門に行って、次のことを確認する必要があります。

• コンバージョン値は何ですか $$$\ theta_t$ 新しいバリエーションでは、ビジネスがコンバージョンのある古いバージョンのボタンから切り替えることを決定することがわかります $$$\ theta_c$ 新しいものに。 新しいものが古いものよりも大きい場合、それを導入する十分な理由がすでにあると仮定するのは自然ですが、少なくともテストのためにオーバーヘッドを忘れないでください。差が小さいほど、テストに費やす必要があるトラフィックが多くなり、これが利益の損失であるためです（同時にテストが失敗するリスク）;
• 許容できる有意水準は何ですか $$$\ alpha$ そして力 $$$\ベータ$ 必要です（おそらく、ビジネスにこれが何を意味するのかを説明する方法がまだあります）。

受け取ったこと $$$n$ しきい値を簡単に計算できます $$$c$ 。 これは、収集する場合 $$$n$ 各変動の観測値、および実験グループではクリック推定値 $$$\ theta_t$ 閾値以上 $$$c$ それから拒否します $$$H_0$ 対立仮説を受け入れます $$$H_1$ 新しいバリエーションの方が優れていることを紹介します。 この場合、次のようになります $$$\ alpha \ cdot 100 \％$ 第一種のオッズ、すなわち 誤って古いボタンを新しいボタンに置​​き換えることにしました。 そして $$$\左（1-\ベータ\右）\ cdot 100 \％$ 可能性としては、新しいバリエーションが優れている場合、正しいことを実行して実装しました。 しかし、最も悲しいことは、実験後にトラフィックを2つのバリエーションに分けて運転した場合、 $$$\ theta_t <c$ 、古いボタンを放棄する理由はないと考えています。 正確には理由はなく、新しいボタンの方が悪いことを証明しませんでした。 そのようなこと。

正直なところ、前の段落で描かれた結論はあまり説得力がなく、一般的にあなただけでなく混乱させる可能性があるように思えます。 マーケティング部門が新しいボタンの形状に関する独自の研究に数百万ルーブルを費やし、「それが良いと信じる理由はない」と言ったと想像してください。 ちなみに、理由は次のとおりです。サンプルサイズに関して方程式がどのように解かれるか、およびサンプルサイズの増加に伴って平均値の推定値の分布がどのように変化するかを説明しましょう。 アニメーションでは、サンプルサイズが増加するにつれて、平均推定値の分布範囲がどのように減少するかを観察できます。 推定値の分散が減少します。これは、この評価に自信をもって識別されます。 実際、以下の画像は少し不正です。分布が減少すると、高さも増加します。 面積は一定のままでなければなりません。

不正行為のアニメーション：

実際のアニメーション：

A / B / nテストに関するセクションの最後で、nについて話しましょう。 冒頭で、現在の変動に加えて、4つの対立仮説があると述べました。 上記の実験のデザインは、n個のバリエーションに簡単にスケーリングできます。この場合、5個しかありません。トラフィックを5つの部分に分割し、少なくとも1つがクリティカルしきい値を超える偏差を調べることを除いて、何も変わりません $$$c$ 。 しかし、私たちは皆、最良の選択肢はただ一つの選択肢であることを確実に知っています。 $$$n \ frac {k-1} {k} = n \ frac {4} {5}$ （どこ $$$k$ -バリエーションの数）を明らかに悪いバリエーションに変更しますが、どれが悪いかはまだわかりません。 そして、悪いバリエーションを狙った各ユーザーは、良いバリエーションを狙ったユーザーよりも利益が少なくなります。 次のセクションでは、オンラインテストで非常に効果的な代替実験計画法を検討します。

さて、A / B / n検定の実施の難しさを最終的に解決するために、多重仮説検定の結果の有意性の可能な修正の1つを検討します。 たとえば、 $$$\ alpha = 0.05$ 、そして実験には5つのテストがあります。

$$

$$\ large \ begin {array} {rcl} P \ left（\ text {少なくとも1つの重要な結果} \ right）＆=＆1-P \ left（\ text {すべての結果は重要ではない} \ right）\\＆= ＆1-\左（1-0.05 \右）^ 5 \\＆=＆1-0.95 ^ 5 \\＆\約＆0.2262 \ end {array}$$

すべてのテストが重要ではない場合でも、とにかく $$$22.62 \％$ 意味のある結果を誤って取得する可能性。 意外とそうですか？ それを理解してみましょう。 私たちが持っているとしましょう $$$n$ 1つの実験でテストします。 それぞれに独自のp値があります。 $$$p_i$ （誤って拒否する確率 $$$H_0$ 、これは私たちの $$$\ alpha$ ） で有意水準を下げるとどうなりますか $$$n$ 回：

$$

$$\ large \ begin {align} P \ left（{\ bigcup_ {i = 1} ^ {n} \ left（p_i <\ frac {\ alpha} {n} \ right）} \ right）および\ le \ sum_ {i = 1} ^ {n} P \左（p_i <\ frac {\ alpha} {n} \右）\\＆\ le \ sum_ {i = 1} ^ {n} \ frac {\ alpha} { n} \\＆= n \ frac {\ alpha} {n} \\＆= \ alpha \ end {align}$$

次に、少なくとも1つの結果が重要である確率が初期値になります $$$\ alpha = 0.05$ 。 チェック：

$$

$$\ large \ begin {array} {rcl} P \ left（\ text {少なくとも1つの重要な結果} \ right）＆=＆1-P \ left（\ text {すべての結果は重要ではない} \ right）\\＆= ＆1-\左（1-0.01 \右）^ 5 \\＆=＆1-0.99 ^ 5 \\＆\約＆0.0491 \ end {array}$$

このトリックは、Bonferonni Hill Amendmentと呼ばれます。 したがって、仮説が多いほど、必要な有意水準が低くなり、各テストでより多くのユーザーをキャッチする必要があります。 前の例に戻ると、 2,269,319人のユーザーが必要でしたが、修正により、各バリエーションに2,525,873人のユーザーが必要でした 。 そして、これ、一分間、ほとんど $$$26 \％$ 実験全体のトラフィックが増加します。 すべての可能な修正を掘り下げると、統計に関する小さな本を入手できます。 そのようなこと。

ベイジアン多腕バンディット

盗賊はA / Bテストの普遍的な代替品ではありませんが、特定の領域では優れた代替品であることに注意してください。 A / Bテストは1世紀以上前に登場し、医学、農業、経済学などのさまざまな分野で仮説をテストするために常に使用されてきました。これらすべての分野には、いくつかの共通要因があります。

• 1つの実験のコストは大きいです（恐ろしい病気の新しい治療法を想像してください：それを生産することに加えて、薬かプラセボかを知らずにピルを服用することに同意する人々を見つける必要もあります）;
• 間違いは非常に高価です（繰り返しますが、医学からの事実：10年の研究の後に、製薬会社が市場で機能しない製品を発売した場合、この農場会社とそれを信頼する人々はおそらく終了します）。

A / Bテストは、古典的な実験に最適です。 これにより、テストのサンプルサイズを見積もることができ、事前に予算を見積もることもできます。 また、必要なエラーレベルを設定することもできます。たとえば、医師は非常に小さな $$$\ alpha$ そして $$$\ベータ$ 一方、他の人は権力についてそれほど心配していないが、重要性について心配している。 たとえば、新しいハンバーガーレシピをテストする場合、古いものよりも本当に悪い場合は新しいものを提出したくありません。 しかし、他の方法でミスをした場合、つまり 新しいレシピは優れていますが、受け入れませんでした。簡単に生き残ることができます。 今日まで、私たちは何とかこれと一緒に暮らし、壊れませんでした。 問題は、実験に費やす準備ができている予算だけにかかっています。それが私たちに無限であれば、もちろん、両方のしきい値をゼロにして数百万の実験を追い出すのが簡単です。

しかし、オンライン実験の世界では、すべてが古典的な実験ほど重要ではありません。 エラー価格はゼロに近く、実験価格もゼロに近いです。 はい、これはA / Bテストを使用する可能性を排除しません。 しかし、仮説をテストして答えを出すだけでなく、おそらくどちらが優れているかだけでなく、どのバリエーションが優れているかの見積もりを動的に変更し、最終的にこのまたはそのバリエーションに送信するトラフィックの量を決定するより良いオプションがあります与えられた時間に。

一般に、これは機械学習で共存しなければならない多くの妥協の1つです。この場合は、他のオプションと最良の悪用の比較です（探索と悪用のトレードオフ）。 2つ以上の仮説（ボタンのバリエーション）をテストするプロセスでは、意図的に誤ったオプションに大量のトラフィックを送信したくありません（A / Bテストの場合、各バリエーションに等しいシェアを送信します）。 しかし、同時に、他のバリエーションをフォローしたいと思います。最初に運が悪かった場合、またはモードがボタンの色に変わった場合、これを感じて状況を修正できました。 ベイジアンの盗賊が私たちを助けます。 ここにあります。

説明されているデザインは、カジノに来たときの状況に非常に似ており、目の前には「ワンアームバンディット」などのスロットマシンがたくさんあります。 お金と時間に限りがあり、できるだけ費用をかけずに、すぐに最適なマシンを見つけたいと考えています。 この問題の声明は、多腕バンディット問題と呼ばれます。 このタスクには多くのアプローチがあり、単純なものから $$$\イプシロン$ 可能性がある場合の貪欲な戦略 $$$\イプシロン$ 現在の瞬間にあなたに最大の利益をもたらしたペンを引き出し、確率で $$$1-\イプシロン$ ランダムな手を引く（スロットマシンのレバーを意味する）。 最適でないハンドでプレーするときの損失の分析に基づいた、より複雑な方法があります。 しかし、 トンプソンサンプリングとベイズの定理に基づく別の方法を検討します。 この方法はそれほど新しいものではありませんが（1933）、オンライン実験の時代にのみ普及しました。 Yahooは、この方法を使用して2010年代初頭にニュースフィードをパーソナライズした最初の企業の1つでした。 その後、Microsoftは盗賊を使ってBing検索結果のCTRバナーを最適化し始めました。 原則として、現代のオンライン調査に関する記事の大部分は彼らによって書かれています。 ところで、問題のステートメントは強化トレーニングに非常に似ていますが、1つの例外があります：盗賊の問題のステートメントでは、エージェントは環境を変更できず、一般的な強化トレーニングでは、エージェントが環境に影響を与える可能性があります。

ギャングスターのタスクを正式化します。 時間までに $$$t$ 一連の報酬を観察します $$$\ vec {y} _t = \左（y_1、y_2、\ ldots、y_t \右）$ 。 実行されたアクションを示します $$$t$ どうやって $$$a_t$ （バンディットインデックス、ボタンの色）。 また、それぞれ $$$y_t$ ギャングの報酬の何らかの分布から独立して生成された $$$f_ {a_t} \左（y \ mid \ vec {\ theta} \右）$ どこで $$$\ vec {\ theta}$ パラメータのベクトルです。 クリック分析の場合、報酬はバイナリであるという事実によってタスクが単純化されます $$$y_t \ in \左\ {0、1 \右\}$ 、およびパラメーターベクトルは、各バリエーションのベルヌーイ分布パラメーターです。

その後、盗賊の予想報酬 $$$a$ なります $$$\ mu_a \ left（\ vec {\ theta} \ right）= \ mathbb {E} \ left [y_t \ mid \ vec {\ theta}、a_t = a \ right]$ 。 分布パラメーターがわかっていれば、予想される報酬を簡単に計算し、常に最大の報酬を持つオプションを選択するだけです。 しかし、残念ながら、分布の真のパラメーターは不明です。 また、クリックの場合 $$$f_a \ left（y \ mid \ theta_a \ right）= \ theta_a ^ y \ left（1-\ theta_a \ right）^ {1-y}$ 、および予想される報酬 $$$\ mu_a = \ theta_a$ 。 この場合、ベルヌーイ分布パラメーターにアプリオリ分布を導入し、各アクションの後、報酬を観察して、バンディットの「信仰」を更新できます $$$a$ ベイズの定理を使用します。 ベータ配布は 、次の3つの理由から理想的です。

• ベータ分布は、ベルヌーイ分布のアプリオリ共役です 。 事後分布もベータ分布の形をしていますが、パラメーターは異なります。

$$

$$\ large \ begin {array} {lcr} p \ left（\ theta \ mid y \ right）＆\ propto＆p \ left（\ theta \ right）\ cdot p \ left（y \ mid \ theta \ right）\ \＆\ propto＆\ frac {1} {\ text {B} \ left（\ alpha、\ beta \ right）} \ theta ^ {\ alpha-1} \ left（1-\ theta \ right）^ {\ beta -1} \ cdot \ theta ^ y \ left（1-\ theta \ right）^ {1-y} \\＆\ propto＆\ theta ^ {\ alpha-1 + y} \ left（1-\ theta \ right ）^ {\ beta-1 + 1-y} \ end {array}$$

$$

$$\ large \ begin {array} {lcr} \ text {Beta} \ left（\ alpha + y、\ beta + 1-y \ right）＆=＆\ text {Beta} \ left（\ theta \ mid \ alpha 、\ beta \ right）\ cdot \ text {Bernoulli} \ left（y \ mid \ theta \ right）\ end {array}$$

• で $$$\ alpha = \ beta = 1$ ベータ分布は均一分布の形を取ります。 完全に不確実な状況で使用するのが自然なもの（たとえば、テストの最初）; 盗賊の収益性に関する我々の期待がより確実になるほど、分布はより面白くなる（左は収益性のある盗賊ではなく、右は収益性がある）。
• モデルの解釈は簡単です $$$\ alpha$ 成功したトライアルの数、および $$$\ベータ$ -失敗した試行の数。 平均値は $$$\ frac {\ alpha} {\ alpha + \ beta}$ 。

さまざまなベータ分布パラメーターの密度関数を見てみましょう。

$$

$$\ large \ begin {array} {lcr} f \ left（\ theta、\ alpha、\ beta \ right）＆=＆\ frac {1} {\ text {B} \ left（\ alpha、\ beta \ right ）} \ theta ^ {\ alpha-1} \ cdot \ left（1-\ theta \ right）^ {\ beta-1} \ end {array}$$

 support = np.linspace(0, 1, 1000) fig, ax = plt.subplots() for a, b in [(1, 1), (5, 5), (5, 10), (5, 25), (1, 7), (7, 1)]: ax.plot(support, stats.beta.pdf(support, a, b), label='a=%i, b=%i' % (a, b)) ax.legend(loc='upper right', prop={'size': 20}) ax.set_title('Beta PDFs', fontsize=20)
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

, , . -. , :

$$

$$\large\begin{array}{lcr} \theta_i &\sim& \text{Beta}\left(\alpha_i, \beta_i\right) \\ y_i &\sim& \text{Bernoulli}\left(\theta_i\right) \end{array}$$

, : ( ) ( ) , . , , , :

• - $$$\forall i, \alpha_i = \beta_i = 1$ ;
• $$$t = 1, 2, \ldots$
  
  
  • $$$\theta_i \sim \text{Beta}\left(\alpha_i, \beta_i\right)$ ;
  • $$$k = \arg\max_{i} \theta_i$ ;
  • $$$k$ - $$$y \in \left\{0, 1\right\}$ ( , );
  • ( batch mode, , ):
  • $$$\alpha_i := \alpha_i + y$
    
    
  • $$$\beta_i := \beta_i + 1 - y$
    
    

, . Beta-Bernoulli , .. で $$$t \rightarrow \infty$ , , . , :

• $$$\theta^*$ , , $$$\theta^*$ ; , , , ;

• ( -), , ;
• , , , , , CTR, .

実験

. , , . , A/B/n-, .

 #   n_variations = 5 #     n_switches = 5 #  n_period_len      n_period_len = 2000 #       # ,   ,      ,  n_period_len p_true_periods = np.array([ [1, 2, 3, 4, 5], [2, 3, 4, 5, 1], [3, 4, 5, 2, 1], [4, 5, 3, 2, 1], [5, 4, 3, 2, 1]], dtype=np.float32).T**3 p_true_periods /= p_true_periods.sum(axis=0) #    ax = sns.heatmap(p_true_periods) ax.set(xlabel='Periods', ylabel='Variations', title='Probabilities of variations') plt.show()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

: , . , n_period_len



.

( ). , — ( ). , ( / — ); , . ( ), , , , . : , ( ) . . , ( , .. — ). .

:

 Winner is 4 4 1953 3 19 2 12 1 8 0 8 dtype: int64
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

:

 Winner is 4 3 1397 4 593 1 6 2 3 0 1 dtype: int64
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

:

 Winner is 4 2 1064 3 675 4 255 1 3 0 3 dtype: int64
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

:

 Winner is 4 1 983 2 695 4 144 3 134 0 44 dtype: int64
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

:

 Winner is 4 1 1109 0 888 4 2 2 1 dtype: int64
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

, .

 df = [] for pid in actionspp.keys(): for vid in actionspp[pid].keys(): df.append({ 'Period': pid, 'Variation': vid, 'Probapility': actionspp[pid][vid]/1000.0 }) df = pd.DataFrame(df) ax = sns.barplot(x="Period", y="Probapility", hue="Variation", data=df) ax.set(title="Ratio of traffic used for variations per period") plt.show()
      
      

        
        
        
      

    
        
        
        
      
      

        
        
        
      

    
     

.

おわりに

, -:

• ;
• , , , $$$\alpha = \beta = 1$ $$$\alpha = 10, \beta = 5$ ;
• , , , .

: , ? .

bauchgefuehl , arseny_info yorko .