Popcorn Metricsのメンバーは、A / Bテストでこの間違いを犯しました。 そして、他の人がトラブルに巻き込まれないように、彼らはそれについての記事を書きました。 そして、このエラーに対して警告するためにすぐに翻訳しました！
状況を想像しましょう
あなたはサイトのA / Bテストを行います 。 元のバージョンとテストバージョンの2つのバージョンがあります。 テストの結果、次の結果が得られます。元のページでの登録への変換-2.3％、テストバージョンでは3.2％。 これらのページのどれが実験に勝ちましたか？
もちろん、テストページの方が効率的です。 この段階でこれに反対することはできません。 なんで？ 数字が嘘をつかないからです。 2.3％以上3.2％。
そして、ここから楽しみが始まります。 人々がA / Bテストを行うとき、彼らはセールスファネルの1つのステージのみに焦点を合わせます。 この例では-登録への変換について。
問題は何ですか？ A / B実験を作成するときに特定の目標を選択し、その結果を評価するように常に教えられます。 しかし、実際には、もっと深く、もっと見る必要があると言っているわけではありません。
結局のところ、販売目標到達プロセスには他の段階があります。 あなたの場合、より多くのユーザーがテスト版に登録されました。 これはすごい。 しかし、彼らは次にどのように進みましたか？ 彼らはどのように有料ユーザーに転換しましたか？ この質問ははるかに重要です。
これが問題です。 このテストで改善を試みた最初の段階から始まり、最後の段階で終わる、たとえば購入など、販売ファネル全体に対するA / B実験の効果を評価する人はほとんどいません。
では、この実験を続けましょう。 ページのテストバージョンの登録でのコンバージョン数が増加したという事実にもかかわらず、元のバージョンでの販売数は増加しました。 今ではそれほど明白ではありませんか？ テスト版がA / B実験に勝ったという事実には、すでに異議を唱えることができます。
あなたにとってより重要なことは、販売目標到達プロセスの最初の段階でコンバージョン数を増やすか、より多くのユーザーが最終目標を達成できるように販売目標到達プロセス全体を改善することです。
関連記事-A / Bテストの10の最も一般的な間違い
注意！ A / Bテストを実施する目標が、特定の1段階、たとえば登録段階のみでコンバージョンを増やすことである場合、これが販売ファネル全体と収入にどのように影響するかに関係なく、さらに読むことはできません。
「さらに」見て、正しい、効果的なA / Bテストを行いたい場合は、私たちと一緒にいて、Popcorn Metricsのメンバーが犯した間違いを教えて表示します。 おそらくあなたは今それをやっていて、それについてさえ知らないのでしょう。
会社Popcornmetricsの場合
ポップコーンメトリックプロジェクトの販売目標到達プロセスを見てみましょう。 サービスへの登録（登録）からコードの配置（公開）までの5つの段階があり、ある段階から別の段階への変換率を確認できます。 この場合の主なタスクは、潜在的な顧客がトラッキングコードを自分のWebサイトに配置する最後の段階に導くことです。
関連記事-A / Bテストケース10件
見込み顧客がPopcorn Metricsのメインページにアクセスすると、サイトへのリンクを入力するように求められました。 リンクを挿入して[今すぐ試す]ボタンをクリックすると、ビジュアルエディター（プレイモード）が開きます。 このビジュアルエディタでは、登録しなくてもサービスがどのように機能するかを確認できます。 これは、潜在的なクライアントの登録を強制せずに、サービスの利点をできるだけ迅速に示すために行われます。 まず、価値、そしてコミットメント-製品の試用版の登録。
この機能の有効性は、以前の実験でテストされています。 2分間のビデオを表示する機能を追加するために、実験とテストオプションを継続することが決定されました。
最初のバージョンでは、ビデオがメインページに直接追加されました。 2番目-ビデオへのテキストリンク。
」
Google Analyticsを使用して実験が開始されました。 主な目標として、「登録」が選ばれました-セールスファネルの第一段階。
実験の後、ビデオを挿入した最初のテストバージョン（Variaton 1-Playmode＆Video Image）では、登録への変換が3.20％であることが判明しました。 そして、3つのバージョンすべての中で最高の指標でした。
したがって、この実験の勝者は最初のテストケースです。 彼のコンバージョンは、他の2つのケースよりも40％高かった。 そして、これは最大の間違いが隠されている場所です。
じょうごのすべての段階で実験の結果を確認します。
Googleアナリティクスで実験を行う場合、確立されたすべての目標について実験の結果を見ることができます。 つまり 販売目標到達プロセスの最初の段階である「登録」を主な目標として選択した場合でも、他の目標に対する実験の効果を追跡することもできます。
関連記事- 分割テストの実行方法：13の必須手順
Popcorn Metricsのスタッフは、実験を分析するためのもう1つの目標であるコードの公開を追加しました。 突然忘れた場合、これが販売目標到達プロセスの最終目標です。 そして、最終的には、この目標に対して私たちの疑似勝者（バリエーション1）のコンバージョン率が最も低いことがわかりました。 そして、ページの元のバージョンが最高です。
したがって、ページにビデオがあるテスト版では、ほとんどの場合、ユーザーは登録しましたが、同時に販売ファネルの終わりに達した頻度はほぼ2.5倍も少なくなりました。
なぜこれが起こったのですか？
潜在的なクライアントがビジュアルエディターを介してサービスに精通すると、それだけで特定のユーザーエクスペリエンスが形成されます。 ビデオを介して、別の経験。 後続のアクションはこれに依存します。
分析の助けを借りて、別の興味深い結論も出されました。 最初にビデオを視聴した人は、ビジュアルエディターをほとんどテストしませんでした（ケースの9.62％）。
ビデオは非常に明快であり、ユーザーがそれを視聴したという事実にもかかわらず、ビジュアルエディターのように彼らを魅了しませんでした。その結果、彼らは販売ファネルの次の段階に変換されませんでした。
この事例からどのような教訓を学ぶべきでしょうか？
A / B実験を実施し、1つの目標のみを分析し、販売目標到達プロセス全体に注意を払わないことは非常に危険です。 間違った結論を出すことができますが、これは一見正しく見えるでしょう。 そして、もっと深く見ると、すべてが違ったものになるでしょう。
想像してみてください。 あなたは実験を行い、この間違いを犯し、このテストの結果に応じて、サイトの他の要素のテストを続けました。 それ以上の実験はあなたをさらに誤解させ、何が間違っていたのか、なぜ最初の段階でのコンバージョンが増加し、収入が減少するのかを理解するのが難しいことがわかります。
これで、A / Bテストの最大の間違いについて多くの人が今でも知っており、気づいてさえいません。 賢く、正しくテストしてください！
Boosta.ruブログおよびChangeagain.meプロジェクトにより作成
他の人気記事もご覧ください。
1. コンバージョンのすべての「キラー」を見つけるのに役立ちます -Google アナリティクスの10個のレポート （5000ビュー以上）
2. A / Bテストのための100のアイデア。 パート1 （2000以上のビュー）
A / Bテストの 3.100のアイデア：パート2 （1000以上のビュー）
4. A / Bテストのアイデアを見つける方法：ヒートマップとポーリング （1000ビュー以上）