これは、Basecamp.comに何百万ドルもかかる変更を加えた方法、この状況から抜け出した方法、プロセスで学んだことに関するストーリーです。
どうした
すべてが2014年2月に始まり、正式にBasecampになりました。 これは大きな変化でした-ブランド変更、一部の製品のサポート拒否、他の製品の販売など。 その過程で、basecamp.comサイト（これは当社のマーケティングサイト）のデザインを変更して、すでにBasecamp製品サイトではなく、Basecampのサイトであるという事実を反映することにしました。
変更は非常に重要でした-コンテンツと視覚の両方で。 再設計は、ランディングページ（ サイトの前後に表示されます ）だけでなく、サイトのメインページにも触れました。
大きな変更の1つは、ホームページからログインフォームが消えたことです。 この決定は特に考慮されたものではなく、試用版のサービスに参加するために必要なステップ数がユーザビリティにどのように影響するかについて徹底的な調査は行いませんでした。 何年もの間、「よく考えられた」ログインシステム（登録数は少なくなりますが、関心のあるユーザーのみが参加し、そのほとんどが将来支払われる）と比較して、サービスに迅速に「ログイン」する能力（より多くの人々を引き付ける）の比較価値について議論しました） しかし、私が知る限り、より遅い「エントリ」システムに切り替えるという特別な決定はしていません。 これは、「Basecampへの変換」の解決策の1つにすぎませんでした。
サイトのA / Bテストを実施しなかった多くの理由がありました。 新しいサイトの非常に異なるバージョンを準備するのに忙しかったので、変更中に全員に一貫したイメージを提示したかったため、結果として気に入ったものです。
マーケティングサイトでの変更の直後に、コンバージョンが低下したことがわかりました。サービスの試用版に登録した訪問者が少なかったのです。 効果は予想外のものではありませんでした。37signals.comからすべてのトラフィックをリダイレクトし、プレスで私たちについて書いてくれました。 それらの絶対数は同じレベルのままでした。
この後最初の数か月で、サブスクリプションの数は年の初めと比較して減少し始めました。 これも私たちに何の懸念も引き起こしませんでした-1月に最も多くの訪問者が訪れます。夏にはすべてが遅くなり、秋には通常に戻ります。 Basecampの要求は通常のビジネスサイクルに依存しているため、その多くは年の初めに新しいプロジェクトを開始するため、季節性はかなり高いと感じています。
理解するまでに時間がかかりました。2014年の夏に観測されたサブスクリプションの減少は、季節的な変動よりも深刻でした。 秋に数字が上がらなかったとき、何かがおかしいことが明らかになりました。 2014年の社内使用に関する作業のレビューで、次のように書きました。
2015年上半期には状況は改善せず、変更を加えることなくこれらの問題について定期的に議論しました。 最後に、7月にA / Bテストを開始しました。これにより、サブスクリプションフォームがホームページに戻り、結果はすぐに返されました。 フォームがページにあったとき、サブスクリプションの数は16％増加しました。 そのため、テストと設計変更が完了すると、明らかな効果が見られました。
もちろん、私たちは良い結果を喜んで返します-私たちの場合、これらの改善は何百万ドルもの利益をもたらしました。 効率が低かった期間、悪いことは何も起こりませんでした（2014年が最も収益性の高い年であり、2015年は彼を打ち負かすことを約束します）が、損害は生じました。
何がうまくいかず、これから何が起こるのでしょうか？
教訓は明らかです-私たちと一緒に仕事をする前に旅行をできるだけ簡単にすれば、より多くの有料顧客を獲得できます。 Basecampの新しいバージョンの新しいマーケティングサイトが間もなく立ち上げられ、ホームページにサブスクリプションフォームがありますが、これはレッスンから学ぶべき唯一のことではありません。
残りのレッスンでは開発プロセスについて説明しますが、指摘したい2つの重要なポイントがあります。
1.正確に何が機能するかわかりません
変更のA / Bテストを実施しなかったため、何が起こったかを理解するのに長い時間がかかりました。 そのようなテストは、おそらく数週間で再設計のパフォーマンス低下をキャッチするでしょう。 A / Bテストでは、季節性、訪問者のソースなど、多くの外部要因が一定のままです。 したがって、変更とサブスクリプションの数との間に明確な関係を構築できます。
再設計をテストしなかったため、長期間にわたる比較に満足する必要がありました。 そして、季節性やその他の外部の影響を考えると、何が起こったのかがサブスクリプションの数にどのような影響を与えたのかを正確に理解することは非常に困難です。
変更をテストすることを拒否するのは簡単です-あなたは忙しいです、あなたはすでにあなたが彼らがより良くなることをすでに知っていると思います、あなたはそのようなテストを行うときに常に存在するリスクを望んでいません。 将来的には、マーケティングサイトの再設計をテストするための時間と労力の無駄を正当化するのが簡単になります-かなり厳しい方法でレッスンを学びました。
そして、私たちは同じ間違いを犯すことはまずありませんが、検討する価値はあります。他のどこで同じ間違いを犯すことができ、気付かないかもしれません。 当社の製品に、ビジネスや顧客の成功に大きな影響を及ぼす可能性のある未検証の仮定を行った他の領域はありますか？ これらの仮定は数値的に検証できますか？
2.コミュニケーションが効果的ではなかった
当社は小規模であるため、サブスクリプションフォームの配置場所など、多くの小さな決定は、詳細な議論なしに個人または小グループによって行われます。 この場合、議論により、ホームページから購読ページを削除するリスクについて懸念が生じる可能性があります。 おそらく別の決定をしたでしょう。
また、何が起こっているのかを理解したとしても、迅速な決定を下して迅速に行動することはできませんでした。 問題を発見してから解決するまで、6か月以上が経過しました。
当社はプロジェクトに焦点を当てています。 限られた数の事柄に常に焦点を当て、積極的に取り組んでいます。 再設計の瞬間から現在の瞬間まで、さまざまなプロジェクトに協力しました。 The Distanceを立ち上げ、Basecampに多くの機能を追加し、サードパーティのプロジェクトに取り組み、近日公開されるBasecampの次のバージョンの完成を続けました。 マーケティングサイトなどで働いていたデザイナーをAndroidで働き、広告やスポンサーシップなどのさまざまなマーケティングアイデアを試しました。
これはすべて、マーケティングサイトについて適切に考えなかったという事実につながり、テストと改善の速度に影響しました。 2014年には、前年のA / Bテストの3分の1を実施し、サイトリポジトリへのコミットははるかに少なくなりました。 したがって、私たちは非常にゆっくりと反応しました-このサイトで進行中のプロジェクトがない場合、私たちは単にそれについて考えず、それに時間を費やしませんでした。
データアナリストとしてより多くのことをしなければなりませんでした-再設計のA / Bテストを実施する必要があることはわかっていました。 自分の見解を証明する機会を見つけられなかったか、説得力があるほど十分に証明できなかった。 後知恵、私はテーブルをもっと強く打たなければならないことを理解しています。
これらは困難で非常に高価な教訓であり、事業の基盤が実存的な危機に陥らないように十分に強固であったことは幸運でした。 これを経て、私たちはより良い会社になりました。私たちは将来、そのようなまたは同様のsimilarに陥らないことを望みます。