指標と経験

この出版物は、FacebookのプロダクトデザイナーであるJulie Zhuoによる記事の無料翻訳です。 良い読書をしてください。



数十年前に何かユニークなことをしたい場合は、座って深呼吸し、目を閉じて「直感」と呼ばれる神託に祈ります。



しかし、先祖がかつて火の力を使いこなしたように、メトリックと分析の機能を使用することを学びました。 「これらのメールを2日ごとに送信しているのを読んでいる人はいるだろうか？」 私たち全員が創造する未来が始まる前に、この時点までにこの質問に対する答えを見つけようとした人がどれだけいるかにも興味があります。 結局のところ、今は数字の宝庫に飛び込んで、そこから答えを探し出すだけです。



悲しいかな、私たちが獲得した光にもかかわらず、実存する影は隅に残ります。 オフィスホールでの議論の中で彼らが仕事の後にガラス越しにつぶやいているのを聞いた。私はネットワークをさまようスタイルの議論のスレッドで大文字で見た。



「メトリックを取得するためにこれを行っているだけですか？」

「どうすれば数字のバランスを取り、価値のあることを行うことができますか？」

私のお気に入り：「データ管理者はユーザーとUXを本当に気にかけていますか？」



ああ！ 強い言葉と燃えるような非難！



たぶん、あなたは測定基準と前向きな経験について生産的に話したいですか？ それは私が知っていることです。

メトリックとエクスペリエンススタイルのフレームを作成しないでください

スーパーヒーローについての大予算の大ヒット作のファンのようであり、何かがより良いという声明で会話を始めると、あなたは間違っています。



メトリックと経験の比較は、「炭水化物と健康食品」の比較と同じです。 健康的な食事に関する議論を始めたい場合は、このような比較を使用しないでください。



測定機能により、製品で人々が何をしているかについての洞察が得られます。 運命を望んで生きたくないなら、多くの情報を所有するのは良いことです。 もちろん、どの情報が重要でどれが重要でないかを区別できるはずですが、より多くの情報にアクセスできるという単なる事実は不正確で不当であるという主張です。 メトリックは悪ではありません。



さらに、人々が価値があると思う何かをするなら、あなたの行動は製品の成長と成功に反映するべきです。 あなたの製品の使用が変わっていなければ、あなたの更新がより良いものをもたらしたと主張することはできません。 逆に、視聴者の減少につながる変更を行った場合、かなり混乱した事実や証拠を混乱させることはできません。



最後に、測定基準が非常に重要な3番目の理由は、明確で具体的なものについてチームを結集し、人々が自分の結果を確認できるようにすることです。 純粋に材料と技術の観点からすると、「クールなものを作らなければならない！」というインスタレーションで50人を管理することは困難です。 もちろん、誰もが戦いの後に拳を振って「はい！ 素晴らしいことをしました！ しかし、それが月曜日の朝になり、チームAがオフィスに現れて自分自身を叫び始めたとき、チームBは次のような反応をすることができます。「ええ、いや、本当にたわごとです。」 何が起こっているの？ この「クールなもの」とは何かを明確に定義するには？



この問題を解決する1つの方法は、チーム内に階層的なはしごを構築することです。 会社の特定の人物（または人物のリスト）を指定して、「審査員」、何が「かっこいい」、何がそうでないかを決めることができます。 階層なしで作業する場合、使用可能な別の方法は、測定可能な目標の定義です。 「製品の超高品質は、ユーザーの50％が1週間以内に再びこの機能を使用することを意味します。」 これで、チームAとチームBは、日々何をしているのか、この目標にどれだけ近いのかを正確に把握します。



要約すると、このアプローチでは、UXとメトリックの両方が有用であり、相互の永遠の闘争に限定されないということができます。 そして、あなたが同様の視点を持っていることを確認してください。

「パフォーマンスの向上」という名の下に悪い決断が下されます

ドーナツを食べすぎて炭水化物を「悪い」と呼ぶのと同じように、悪い判断を正当化するために統計を使用できます。 これは、測定できるものすべてを測定する価値があるわけではないためです。 これは、ダイナミクスに精通しておらず、単一期間の統計値を確認していないためにも発生する可能性があります。 多くの場合、何が起こっているのかを完全に把握するには、一連のメトリックが必要です。



誤って間違ったオブジェクトを選択してメトリックを取得した場合、それに基づいて製品を進めて開発することになり、最終的にはUXの点で本当に「有害」なものを取得できます。 いくつかの例を見てみましょう。



a）「当初、この機能のクリック率は2％でした。 変更すると、評価が5％に上がりました！ 万歳！」



ここで問題は何ですか？ 機能のクリック数が増えても、UXが実際に改善されたことはわかりません。 しかし、サイト上のすべてのリンクを「ここをクリックして250ドルを稼ぐ」に変更した場合はどうなりますか？ くそー、クリックは本当に忍び寄るでしょう！ しかし、最終的に、人々は私がこれらの250ドルを彼らに本当に与えないことに気づき、私に腹を立てます。 リンクのフォローを停止し、アプリケーションをアンインストールして、「FUUUUUU」と刻印されたストアで1つ星を叩きます。 はい、大文字です。 私のビジネスは台無しになり、私の人生はたわごとに変わります。 終わり。



b）人々は私のアプリケーションに5分を費やすことに慣れています。 今、導入された最後の機能の発売後、彼らはわずか3分を費やし始めました。 あ、何してるの？



問題は何ですか？ アプリケーションで費やした時間は、追跡する価値のある重要な指標ですか？ すべては相対的です。 ターゲット製品がコンテンツである場合、はい、ユーザーが製品を使用する時間を増やす理由があります。ユーザーが読む/見る/聞く回数が増え、より多くの時間を費やすようになるため、自分自身に何か面白いと便利。 しかし、アプリケーションがドキュメントの電子署名を目的としている場合、このアプローチは正しくありません。 他の指標、たとえばアプリケーションの機能の実際の使用回数などを追跡する方がよいでしょう。なぜなら、文書にすばやく署名できるからです。 そして実際、もし人が彼の仕事のこの部分を素早く完了（文書に署名）できれば、彼は明らかにそれを好きになるでしょう。 時間の経過とともに実行される操作の数を維持しながら、アプリケーションの使用時間を短縮すると、製品にプラスの影響があります。



c）「当初、イリノイ州では猫の写真とミームを使用したアプリがより多く使用されていましたが、今ではオハイオ州にユーザーが増えています。」



それで問題は何ですか？ 具体的には、これは重要ではなく、そのような情報は、注意を払って何らかの形で影響を与えようとするメトリックにはなり得ません。

もちろん、簡単かつ正確に測定できない重要なことがあります。

ユーザーの心を読み取ることができれば、理論的には完璧なUXを設計できます。 残念ながら、私たちはジーナ・グレイ（ Xメン宇宙からのテレパス、約 ）ではないので、できることはすべて測定し、人々が必要とするものについて合理的な仮定を構築するためにあらゆることをしなければなりません。 しかし、測定データの量には限界があり、これを覚えておくことが重要です。 製品で人々がしていることの統計だけでは、次のようなことについて何も言えません。

• 特定の特定の機能による製品への忠誠心、憎悪、または無関心の度合い。
• 統計情報の収集により、製品に対する人々の信頼が長期的に向上するか、低下するか。
• あなたの製品がユーザーにどのくらいシンプルで簡単に感じられるか。
• 市場での同様のオファーと比較した場合の人々の製品の見方。
• ユーザーが変更、追加、またはそのままにしておきたいもの。
• あなたの製品に対する時間の経過に伴う関心のレベルはどうなりますか。

質の高い調査、調査、インタビューを行うことで、上記の質問のいくつかに対する答えを得ることができますが、これらのツールはどれも完璧ではありません（Brexitについての予測を含む投票を覚えていますか？）。 また、大衆の意見を正確に測定できる場合（ブランドに対する信頼度など）でも、どのようなアクションや変更がそのような反応につながったのかを正確に理解することは困難です（ロゴが理由だったのでしょうか？私のブランドの人々は改善されましたか？）。



上記の位置を正確に測定することができないため、これらの場合のメトリックは失敗します。 次のことに注意してください。



複雑さのコストを理解する：アプリケーションに新しい関数を追加するたびに、追跡しているメトリックがポジティブなダイナミクスを示している可能性があります（結局、その瞬間まで、X機能を使用した人はいませんが、今ではすべてがますます多くの人々が彼に目を向けていますが、これはYまたはZ機能の使用の減少につながらないようですので、一般的には勝利のようです）。 ただし、新しい機能を追加し続けると、ある時点で製品が肥大化します。 その後、突然、観客の一部に好かれるQ機能を使用できるようになるため、競合他社は垂直に上向きになります。 これは、認知努力の選択とコストの矛盾です。 そして、私たちはそれを正確に測定する方法を理解していませんでした。



ブランドの力を理解する：AppleやNikeが市場で新製品を発売するとき、多くの人は、過去に良い経験をしたという理由だけで、分析することすらせずに購入する傾向があります。与えられたブランド。 しかし、「Pear」（pear）または「Sike」というブランド名で同等の製品を販売している新興企業が存在する場合、同じことは機能しません。 一般的なレベルでは、私たちは皆これを知っており、理解しています。 ただし、ブランドの強さを評価し、それを毎日追跡できる数値に変えることは困難です。 何千もの行動のどれが会社のイメージに影響を与えるか、決定の採用から得られる利益と損失は何かを理解することは困難です。



ゲームの大きな力（ビッグベットの力）：いいえ、メトリックは、将来勝つためにあなたが取る必要がある大胆な行動を教えてくれません。 スマートフォンが登場し始めた2008年を想像してください。 サイトのメトリックを見ると、モバイルデバイスからのトラフィックのごく一部が表示されます。 おそらく、モバイルデバイスの最適化に投資する価値はないという結論に達するでしょう。これは視聴者の一部としては少なすぎるからです。 今日、私たちは特にモバイルセグメントに依存しており、現在栄誉を獲得している人々の先見性を理解しています。 現在のユーザーの行動を専門的に調べることで、どの方法で「ジャンプ」する必要があるかを正確に判断できません。 戦略的で長期的な計画には、常に同じことが必要です。つまり、勇気を信頼することです。

クリーンメトリックのいくつかのルール

ここで、検索中に学んだ私の最大の教訓をいくつか示します。これにより、測定の正しい目標を設定するための、多少なりとも統制のとれた戦術を構築できます。



人々が市場で何かを選ぶとき、彼らは現れて見ます。 製品や特定の機能の助けを借りて膨大な数の人々にリーチしようとしないでください（積極的なプロモーションによって結果が歪む可能性があります）。 あなたの製品が価値のあるものと相関しているかどうかを調べる方が良いでしょう。なぜなら、これは、あなたがやり直そうと再び使用するために、あなたが好きな人があなたの仕事の結果に本当に興味を持っているかどうかをあなたに伝えるからです。



成長を最適化するには、「目標到達プロセス」を理解する必要があります（ 明らかに販売目標到達プロセスを意味します ）。 人々があなたの製品の常連ユーザーになるためには、多くの障害を乗り越えなければなりません。 まず、彼らはあなたの製品を知っている必要があります。 第二に、彼らはそれを試してみるのに十分に興味があるはずです。 第三に、彼らは変換を受ける必要があります（アプリケーションをダウンロードし、フォームに記入し、メールアドレスを確認するなど）。 第4に、彼らはあなたの製品でどれだけ価値があるかを理解するのに十分な行動を取る必要があります。 第五に、彼らは戻るためにそれを覚えていなければなりません。 これらの各段階で、ユーザーが失われます。 それぞれの損失を追跡して測定できる場合は、漏斗の漏れを少なくすることに努力を集中する機会があります。 どの指標が本当に重要であるかを見つけ、それらに焦点を合わせることができます。 はい、できる限りすべてを追跡することは（機会があるので）非常に魅力的です。 数字のあるパネルがあり、それらすべてを「グリーン」にしたいと考えています。 しかし、これらのデータの大部分は重要ではなく、ほんの一部だけが本当に重要であることを認めなければなりません。 いくつかの本当に重要な指標が上下しているという事実を無視して、重要でないことについて話す時間を無駄にしないでください。



マジックワンドトリックを使用して、最適なトラッキングメトリックを見つけます。 「自分の魔法の杖を振って、聴衆について何も知らないようにしたら、アプリケーションを成功させるためにまず何を知りたいですか」と自問してみてください。 あなたの答えが測定可能なものではない場合でも、それは有用であり、作業の出発点を作成します。



それらを理解することなく、目標の指標を取得しないでください。 あなたとあなたのチームにとって重要な目標は、魅力的です。 名目上のタスクを設定しないでください。 それらに特定の意味を入れて、彼らが何を動機づけるかを想像してください。 良い解決策がメトリックに影響しないような状況があります。 一方で、指標が成長している状況もありますが、決定は本当に良かったですか？ もしそうなら、メトリック（またはそれらのセット）は実際に本当に必要なものを追跡する仕事をしますか？



「カウンターメトリック」と呼ばれるデータもあります。 良い結果を示す数字を見たら、「これらの結果が見た目ほど良くないことを確信させるために他にどんな情報を得ることができますか？」と自問してください。 そして、この情報はカウンターメトリックスと呼ばれ、成功したすべてのメトリックスはそれを持つべきです。 たとえば、クリック率とリバウンドの速さを見てください。 または、販売数と返品またはキャンセルの数。 エラーをすばやくキャッチし、独自の戦略を調整できるため、データの解釈に関しては偏執的になる方がはるかに優れています。 自分の期待を確認するために信号を探しているだけのバイアスのtrapに陥らないでください。



質の高い調査を使用して回答を得てください。 アプリで人々が何をしたかを示す定量的データを使用し、人間の感情や感情のアイデアを提供する質の高い調査と組み合わせてください。 ユーザビリティテストを実施し、フォーカスグループを使用し、ポーリングを実行し、観察した動作の背後にあるものを見つけます。