Mail.Ru Mailを改善する過程で、私たちは常に新しい機能を展開しています。 今日は、複雑で興味深いタスク-メールの再設計の例として、何百万人ものユーザーが製品を更新する方法の複雑さを皆さんと共有したいと思います。 将来に向けて、実装前に大規模で複雑な機能が通過するテストの段階をリストします。
- 小グループ（通常は開発者自身）
- UXラボ
- 会社の同僚
- ベータ版ユーザー
- 自分で更新を有効にしたユーザー
- スプリット
- すべてのメールユーザー
新しいデザインのメール-内部では「セプティマ」と呼ばれていますが、これらのすべての段階を正常に完了する必要がありました。
開発方法を選択するとき、2つのオプションを検討しました。製品を並べてプログラムするか、古いコードを更新します。 すべてをゼロから書きたいという誘惑は素晴らしかったが、セプティムをできるだけ早く第1段階と第2段階に送ることが重要だった。結局のところ、デザインの更新とユーザーエクスペリエンスの変更に関するアイデアは実際にテストする必要があり、私たちの場合の唯一の実践はメールボックスの毎日の使用です。 開発をゼロから選択した場合、古いコードを変更したバージョンよりもずっと後からテストを開始します。 これを考慮して、2番目の方法に決めました。 古いコードの上に新しいメールを開発することで、新しいデザインに基本的な機能を迅速に実装できたため、すぐに使用を開始できました。
開発者のセプティマ（プロトタイプ）
設計エラーを修正するコストは、毎週増加することを理解することが重要です。 誰も使用していない製品を6か月間作成する場合、リスクはすでに人月になります（開発者が複数いる場合は人年になります）。 また、重要なことを別の方法で行う必要があることを理解するために6か月後、競争の半年遅れに相当します。
Septimaでは、ツールバーの外観と動作を変更し、新しいツールバーを使用してメールをできるだけ早く取得し、動作をテストすることに焦点を合わせました。
結論：プロトタイプを受け取ったので、以前はモックアップにのみ存在していたものを感じることができました。 これは、さらなる意思決定にとって重要です。
UXラボ
プロトタイプをテストしている間、開発者は盲目的な外観で彼を見ます。結局のところ、彼は新しい変更を試みる前に知っています。 ユーザーは見た目が新鮮なので、 ラボでテストを実施し、更新に対する反応を確認することが重要でした。
テストのために、メールの主な機能（手紙を書く、開く、返信するなど）を選択し、ユーザーにこれらのアクションを完了するように依頼しました。 ユーザーにとって、これらのアクションが以前と同じようにシンプルで直感的なままであることを確認することが重要でした。 変更が混乱することはありませんでした。 さらに、彼らは毎日の活動を容易にする義務がありました。
結論： UXラボは、方向が正しく選択されていることを確認するのに役立ちました。
法人ユーザー
テストに関しては、他の部門の同僚と他のユーザーの違いはそれほど大きくありません。彼らにとっては、変更も予想外です。 唯一の基本的な違いは、同僚が問題をすばやく報告したり、フィードバックを残したりできることです。 重要なポイント。 重要な機能ごとに、投票とこの機能に関するフィードバックを残す機能を備えたフォームを展開します。 75％以上の肯定的な投票の指標を検討します。
ボトムライン：同僚への展開は、2つの問題を解決するのに役立ちました。最初の大量レビューを取得し、製品の欠陥をチェックします。 レビューは肯定的なもの以上であることが判明し、修復された欠陥を排除しました。 先に進むことができます。
ベータ版ユーザー
Mail.Ru Mail全体を更新することはテストにとって大きな負担です。自動テストはまだ書かれておらず、手動テストは短時間で数倍のサイズに拡大することはできません。 このような状況では、ベータユーザーが必要です。 それらを正しく選択することは非常に重要です。 ベータテストに参加するには、申し出を恐れないかなり上級のユーザーが必要であり、発生した問題を明確に説明できる必要があると判断しました（少なくとも「ブラウザ」、「バージョン」、「OS」などの単語を知っていること。 .p。）。 さらに、彼らは私たちのインターフェースに慣れている非常に忠実なユーザーでなければなりません。 「前進」のための次の基準を思いつきました。
- ChromeまたはFirefoxを使用します
- Mailに3つ以上のフォルダーを作成した
- モバイルアプリケーションを使用する
上記の基準をすべて満たした人たちは、ベータ版ユーザーにサインアップするための提案で死ぬことを示しました。 無効にする機能を備えた新しい設計のテストに招待しました。 結果として、問題の質の高いレポートを使用したメールのさらに多くのレビューと包括的なテストが行われました。 興味深いことに、一部のレポートにはすぐにコンソールのスクリーンショットが含まれていました。 そして、あるプロジェクトには、プロジェクトに追加することが提案されたCSSコードがありました。
ボトムライン：レビューで、ユーザーは古いバージョンのメールのいくつかの機能を思い出しましたが、新しいバージョンでは見失っていました。 そして投票により、人々は新製品が好きであることをもう一度確認しました。
自己包含
次の段階では、「スマート」レターを作成しました。 ユーザーがMail.Ru Mail Webインターフェースに入るとすぐに、セプティマの説明と「有効にする」ボタンが記載された手紙を受け取りました。 ユーザーがセプティマでレターを開いた場合、レターのボタンは「フィードバックを残す」に変更されました。 平均して、手紙を読んだ人の30％が入れ替わりました。これは、他の制限とともに、聴衆全体の11％を占めました。
興味深い事実：実験のために、新しいインターフェイスに切り替えるための2つのボタンを作成しました：「Update」と「Update to version 7.0」。 最初のクリック率は5％高くなりました。
この時点で、ユーザーの応答を理解することが重要でした。 ユーザー数（90,000票）とレビュー（52,000、すべてのレビューが読まれて処理された）により、すでに正確な統計を収集することができました。 嬉しいことに、投票した人のわずか2％が新しいデザインに反対しました。
このような段階はチームにとって困難でした。これは、このような数のユーザーがシステムのまれな構成を表示し始めるためです（私は余談です：構成には、オペレーティングシステム、特定のバージョンのブラウザー、ブラウザープラグイン、ウイルス対策、ネットワーク環境などが含まれます。これらの各項目、およびそれらの組み合わせは、製品に問題を引き起こす可能性があります）。 したがって、視聴者のかなりの割合にロールアウトするには、いくつかの条件に準拠する必要があります。これは週の初めに行う必要があります。すべての主要な開発者が病気で休暇をとっていないことを確認する必要があります。 忙しい日が数日先にあります：ユーザーは問題を報告し始めます。ユーザーが気にしない場合は、サーバーのログ、ブラウザーからのレポート、個別のログ、さらにはTeam Viewerでさえ、それらを特定するためにツールの武器全体を使用する必要があります。
結論：私たちの場合、主な問題は、古いサイトレイアウトに頼っていたサードパーティのブラウザープラグインによってもたらされました。 たとえば、NCHツールバーはMailのスクロールを壊し、WebBarsは文字を壊しました。 プラグインの全ファミリ（ExSmile、SmileEx、MegaSmiles）の代表者は、Mailの表示を破壊することに加えて、ユーザーのコンピューターとブラウザーを違法に侵入したトロイの木馬であることが判明しました。
すべての問題が修正された後、次のステップに進む準備ができました。
保持を測定する
レビューはレビューですが、多くの人を切り替える前に、少なくとも古いデザインよりも悪くない新しいデザインが機能することを確認する必要があり、切り替えたユーザーを失うことはありません。 この場合の良い指標は、ユーザー維持率です。 それを評価するために、ユーザーをすべての点で同一の3つのグループに分けました。 最初のグループのユーザー向けに、インターフェイスを切り替えて、セプティマについてのチュートリアルを示しました。このチュートリアルでは、メールの主な変更点について話し、使い慣れたインターフェイスが変わるという事実に心構えをしました。 2番目のグループは単にインターフェイスを切り替え、3番目のグループではすべてが同じままでした。 最も高い収益率は、ユーザーの最初のグループで見つかりました。
結論：新しいインターフェイスは、古いユーザーを怖がらせるだけでなく、メールへのリターンを増やすことも確認しました。
すべてのユーザー
現在の機能への変更を開始した場合、最大の敵は「すべてを元に戻す、なぜすべてを変更したのですか？！」であることがわかります。私が読んだ私のお気に入りのレビューは「サイトから手を離せ！」更新の結果、クリック数を5回から2回に減らしました。ユーザーにとっては、これらはネイティブの5回のクリックであり、慣れています。
誰もが同じインターフェースを作り始めた同じ年に新しいインターフェースを展開したかったのです。 そして、あらゆる面で準備ができていました。 すべての監視指標（ダウンロード速度、送受信されたメールの数、メールへの返信）は、古いメールと同じかそれよりも高かった。 それはもう1つの指標を測定するために残りました-新しいインターフェースがどれほどユーザーにとって心地よいものだったか。 当時、Septimは98％肯定的でしたが、これは自分が切り替えることにしたユーザーの意見であるということを考慮しなければなりませんでした。 私たちは「スイッチを引いた」-全員を切り替えた-そして、再び「賛成」と「反対」の比率を測定した。
結論：現時点では、セプティマが好きな人の割合は93％です。これは私たちにとって新しい記録です。
大規模な更新の経験がある場合は、コメントでそれを聞いてうれしいです：新しいバージョンへの移行に関連するユーザーのストレスを最小限に抑えようとしますか、更新をどのようにテストしますか、更新を展開する段階は何ですか？