テストを受ける
プロダクトマネージャーのスキルをテストしたいですか？ 投稿を読む前に、 「登録プロセスを削減する」テスト（約30分）を受けてください。
クリスティーナの仮説
Christina Lucyは、登録プロセスから2つのステップを削除し、製品自体に情報を追加することでそれらを置き換えることを提案しました。 彼女は、この動きにより新規ユーザーのタスクが簡素化され、フローが増加することを提案しました。
元の登録プロセス
アイデアはとてもシンプルでした。 人が登録プロセスを通過するとき、彼は実際に製品自体を見ていません。 写真を追加するか、いくつかのグループに参加するように頼むと、ユーザーがどう思うか想像できます。 ユーザーが製品に精通した後にこれを行うように要求した場合、彼はおそらくそうするでしょう。 さらに、登録プロセスを少し簡略化して、中断することなくより多くのユーザーが登録プロセスを実行できるようにしました。
これらの考えで、Christineはテストを構成しました。
オプション1
登録プロセスから「写真を追加」ステップを削除し、メインページにバナーを追加して、ユーザーに写真の追加を求めます。
製品ページに写真を追加するリクエスト
オプション2
登録プロセスから「グループへの参加」ステップを削除し、左側のナビゲーションリンクに「推奨グループ」セクションを追加します。
ナビゲーションリンクセクションの推奨グループ
オプション3
これらの手順の両方を登録プロセスから外します。
元の登録プロセスは次のとおりです：（1）ユーザーがプロファイルの情報を入力する、（2）ユーザーが同僚にサブスクライブまたは招待する、（3）ユーザーが既存のグループに参加する、（4）ユーザーが写真をアップロードする
試験結果
ここで完全な結果を参照してください。
意図したとおりにすべてがうまくいきませんでした...
テストグループの新規ユーザーの場合、投稿の頻度が減少し、毎日引き付けられるユーザーが少なくなりました。
クリスティンは何を決めましたか？
テスト結果に基づいて、Kristinaは写真を製品にアップロードするためのバナーを追加しました。 彼女は、提案グループモジュールを追加せず、登録プロセスから1つのステップを削減しませんでした。
なぜ彼女はそれをしたのですか？
登録プロセスから手順を削除する理由は、製品により多くのユーザーを引き付けるためです。 2つのオプションがこれを達成しているという事実（グループへの参加の削除と両方のステップの削除）にもかかわらず、クリスティーナは、新しいユーザーを維持することがはるかに難しくなっていることに気付きました。 1週間あたりのユーザー数はわずかに改善されましたが、これはもちろん非常に重要ですが、ユーザーアクティビティにとっては悪い結果となりました。投稿頻度は4％減少し、写真のアップロードは34％減少しました。
説明：ユーザーが簡略化された登録プロセスを完了した後、テスターは写真やグループなしで製品に慣れ始めました。 彼らは、元の登録プロセスを経たグループよりもYammerに関与していなかったため、Yammerが彼らにとって価値があるかどうか理解できず、何かを投稿して製品をさらに使いたくありませんでした。
しかし、招待状の送信の増加はどうですか？
いい質問です。 Christinaとアナリストは、データを分析して、新しいユーザーの招待が保持容量の低下を相殺するかどうかを確認しました。 彼らはこれが事実ではないことを発見し、登録プロセスを短縮しないことに決めました。
写真にバナーを追加したのはなぜですか？
写真をアップロードした既存のユーザーの数は約9％で、これは理解できました。 彼らはすでに登録プロセスを行っているので、私たちは彼らの保持について心配する必要はありませんでした。 ちょっとしたボーナスとして、既存のユーザーから招待された人の数が増えていることがわかりました。
確かに、小さな問題がありました-作成されたグループの数は6％減少しました。 グループを作成することはYammerネットワークにとってそれほど重要ではないため、Kristinaはこれを受け入れました。私たちの直感では、ユーザーを製品にとどめるためにプロファイル写真が重要であると示唆しました。
説明：写真を追加するためのバナーは大きく、左列全体から自分自身にすべての注意を引きます。そのため、ユーザーは、グループの作成など、一部のメニュー項目に気付きません。
質問：
あなたが言及しなかったメトリクス/結果はどうですか？
それらが重要であるとは考えなかったか、P値が大きすぎて統計的に有意ではありませんでした。 テストで述べたように、通常、P値が0.3を超える結果は無視しますが、P値が0.2を超えるインジケーターには懐疑的です。 科学者は通常、P値が0.05を超えるものをすべて無視するため、私たちはまだ非常に人道的です。
ChristineがSuggested Groupsモジュールを導入しなかったのはなぜですか？
この関数は、正反対のタスクを実行しました。 ユーザーのグループへの参加頻度は18.5％減少しました。 それにもかかわらず、投稿数の奇妙な増加が現れましたが、これを補うほどの大きさではありませんでした。
まとめ
登録プロセスからステップを削除することは、どうすれば悪い考えですか？ この実験から、登録プロセスは、ユーザーが実際に見ていなくても、ユーザーを製品に引き込むのに最適な場所であることがわかりました。 これは直感に反しますが、多くの場合、ユーザーの行動はそれだけです。
この投稿では、A / Bテストが41色の青から選択するのに役立つだけではないことも示しています。 A / Bテストは、危険な製品の変更を確認するのに役立ちます。
この投稿が気に入ったら、 Drew Dillonの投稿を読んでください。 なぜ統計が敵ではないのか、なぜそれを恐れてはいけないのかについて。