製品に必要なエンゲージメントの種類と、それをより正確に測定する方法

ユーザーエンゲージメントは収益化に直接関係すると考えられています。 モバイルアプリケーションの作成者は、多くの場合、数字を測定して議論します。 そして、誰もが同じ方法でそれを模索しているようです。 実際、すべてがはるかに興味深いものです。



非常に長い記事で、モバイルアプリケーションユーザーの関与に関する研究のアプローチ、方法、結果の概要を説明しています。 DAU、MAU、ARPUなどの増加を保証するためのシンプルで迅速な「トップ10」のヒントはありません。代わりに、関与のタイプを分析し、何をいつ測定するのが適切で、何を測定するのが意味がないかを理解します。 難しい瞬間を「指で」分析します。 さらに、ピアレビューされたジャーナルからエンゲージメントを測定するためのいくつかの翻訳された方法を検討します。



この記事は、モバイルアプリケーションの作成者、製品管理者、アナリスト、研究者、UX専門家に役立つ場合があります。



私は結論を最初に持って行くことにしました。



記事からの最短の結論



1.何を探求しますか？

1）ユーザーが製品/ブランドにどのように関連するか：マーケティングマーケティングの取り組み。

2）ユーザーがアプリケーションの使用にどの程度関与しているか：ユーザーエンゲージメントを調査します。

2.エンゲージメントの決定方法： 表1 。

3.関与を調べる際に使用する表2 。

4.エンゲージメントのレベルを測定する方法： 表3 。

5.さまざまなタイプのアプリケーションとエンゲージメントのために何を調査するか： 表4 。

6.製品開発のさまざまな段階で方法を選択する方法： 表6 。

7.研究者が使用するアンケート：付録を参照してください。



そして今、私はそれがどのように生まれたかを書きます。

それには理由があります。 2年以上前、私は採用と評価の自動化のためのSAASサービスのアイデアを思いつきました。投資家を見つけ、会社がパートナーシップでサービスを作成し、それを開始しました。 とりわけ、マーケティング、調査に従事し、ユーザーが製品をどのように認識して購入するかを監視しました。 前の記事でこれらの研究の1つについて書きました。



マーケティングの動きをテストするには、時間とお金がかかりました。 需要の変化を監視し、マーケティングの努力と顧客の要求に対する製品の改善が、顧客の行動の変化に特に影響を与えないことに気付き始めました。 これらの変更による需要と関与の世界的な増加はありませんでした。 そして、メトリックとマーケティングから離れ、ユーザビリティの変更をやめ、他に顧客の行動に影響を与えるものを理解し始めました。 ここで、使用したメトリックはユーザーが必要とするものを理解するのに役立たず、分析による大騒ぎに注意をそらすことになりました。



現在、プロの能力を評価するためのモバイルアプリを開発しています。 再び時間を無駄にしないために、モバイルアプリケーションでエンゲージメントがどのように測定され、どのように増加できるかを最初から把握しようと決めました。 記事では、主にDAU、MAU、保持、ARPUなどのメトリックについて説明しています。 しかし、これらの指標が何かを教えてくれるまで、多くの時間が費やされます。

だから私は真剣にエンゲージメントを測定することを考え、科学記事と新しい研究に身を包み、その中にある種のシステムを見つけようとしました。 この記事では、このシステムをどのように再構築し、最終的には方法を選択するために3種類の関与、3つのアプリケーショングループ、および5つのテーブルを得た方法を示します。

1.エンゲージメントとは何ですか？

ここでは、エンゲージメントの決定方法について説明します。 その後、困難に直面し、良いニュースを見つけます。 定義の複雑さに興味がない場合は、このセクションをスキップできます。 しかし、その場合、関与がどのように異なって定義されているのか、そしてどの2つのタイプの関与がすべて降りてくるのかがわかりません。



確かに、婚約とは何ですか？ 誰もが直感的に理解しています。 そして、彼らは積極的にそれを模索しています。 しかし、定義が与えられることはめったにありません。 そしてそれは混乱を引き起こします。 関与は、アプリケーションの使用中の特別な条件、または製品に対する一般的な忠誠心、または積極的に製品と対話し、他の人に推奨する意思、または他の何かですか？



コンピテンシー評価アプリケーションの場合、ユーザーエンゲージメントと見なされるものは何ですか？ メトリックを適用する前に、ユーザーに正確に何が欲しいのか、アプリケーションの成功を検討するのかを把握したいと思います。



エンゲージメントの研究について話しているので、概念化の段階（特定の製品の観点からそれが何であるかを決定する）の段階をスキップすることはできません。 ですから、少し面倒で辞書を扱うことになります。



多くの場合、研究では、エンゲージメントの概念は、ユーザーが会社の製品またはブランドで経験する感情にのみ絞り込まれます。 時々、それはユーザーの実際の行動の研究だけです。 プレーヤーの関与の研究では、没入感、心理的吸収、 流れの状態、解離が言及されています[21]。 M. Lamasらによるレビューは、ポジティブな感情、集中的な注意、到達可能性と制御、新規性などの分析を通じて、エンゲージメントの研究へのアプローチをリストします。[1]いくつかの定義を見つけ、実行可能な翻訳を作成し、オリジナルを添付しました。 以下、翻訳を改善するための推奨事項がある場合は、コメントでそれらを聞いてうれしいです。



表1.ユーザーエンゲージメント定義のオプション。





したがって、関与へのアプローチは、 結果として（ユーザーが関与し、クリック/推奨/追加購入を開始）、 プロセスとして（ユーザーは現時点で関与しており、彼の注意はアプリケーションに吸収されます）分割されます。 最初のケースでは、保持、リターン、およびユーザーの忠誠心の概念との共通点がよく見られます。



セクションの要約



ユーザーエンゲージメントは、さまざまな調査で次のように理解されています。



-ポジティブな感情、楽しみ、

-好奇心、関心、

-態度、態度、

-好み

-モチベーション

-行動

-習慣

-注意の集中、

-解離、

-吸収

-フローの状態。



単一の定義がないことは朗報です。 これで、研究タスク、アプリケーションのタイプ、そして最終的には製品開発の段階に便利な定義を選択できます。



2つのタイプの関与がすでにはっきりと見えています。



ユーザーエンゲージメント -アプリケーションのアクティビティへの関与：ユーザーがアプリケーションとのやり取りに夢中になり、このやり取りを楽しんでいる状態。

マーケティングエンゲージメント -ブランドエンゲージメント：製品に対する消費者の関心の強さ。



指で分析します。







図1.指への関与の種類。

これをアプリケーションに適用する方法は？

ユーザーが自分のアプリケーションでどれだけ優れているか、プロセスが好きかどうか、快適かどうかを理解する必要がある場合は、ユーザーエンゲージメントを調べます。 ユーザーがアプリケーションをどのように認識するか、ブランドにどのように反応するか、ブランドについてどれだけ知っているか、ブランドに忠実であるかに興味がある場合、マーケティングエンゲージメントを調べます。

次に、各タイプのエンゲージメントを測定する方法、アプリケーションのタイプに対してエンゲージメントを選択する方法、および3番目のタイプのエンゲージメントがどのように見えるかを示します。

2.エンゲージメントの運用方法

ここでは、運用化について説明します。つまり、特定の測定可能な兆候を調査することができます。 アプリケーションのセッションの継続時間が予期しない角度から見えたときに2つのストーリーを学習します。 その結果、エンゲージメントのタイプごとに何を測定する必要があるかが明らかになります。 3番目のタイプのエンゲージメント（アクティビティ）は、このセクションではまだ明らかにされていません。 あなたがそれだけを探しているなら、続けてください。



ユーザーがアプリケーションに頻繁にアクセスすることがわかった場合。 または、彼らが長い間そこにとどまっていることがわかります。 これらの良い指標はありますか？ そうそうです。 どちらが良いですか？ しかし、アプリケーションが開いているときにユーザーが何もしないとわかったらどうなりますか？これは、関与という意味で何を意味しますか？



私は文献で、エンゲージメントの運用化への2つのアプローチを見つけました：

1.ユーザー状態としての関与。

2.製品メトリックとしてのエンゲージメント。



1.ユーザー状態としてのエンゲージメント

ここでは、研究者はエンゲージメントの根底にある内的力を理解し、ユーザーの関心、忠誠心、行動を促進しようとしています。



M. Lamasによるレビューでは、エンゲージメントを運用するための次の方法がリストされています[1]。



1. 集中的な注意。 参加するには、ユーザーはできるだけ集中する必要があります。 焦点と関与を測定するために、時間の主観的知覚に障害が使用されます。

2. ポジティブな感情。 ユーザーが経験する感情は、内部の動機付けです。 感情的な「フック」は、アプリケーションを理解し、提案された活動に参加したいという欲求を引き起こす可能性があります。

3. 美学。 タッチ、インターフェイスの視覚的なデザインはユーザーを刺激し、注意を集中させます。

4. 耐久性。 人々は快適でやりがいのある経験を覚えており、それを繰り返したいと思っています。 特性は、他の人に製品を推薦する人々の意欲で表されます。

5. ノベルティ。 特徴は、ユーザーの好奇心に関係し、目新しさ、珍しさを求めています。 ノベルティは好奇心をそそり、繰り返し関与します。

6. 可用性と制御。 アクセシビリティはユーザーアクティビティの増加を提供し、ユーザーが到達できるアクティビティのレベルはコントロールが責任を負います。

7. 評判、信頼、期待。 信頼はユーザーを引き付けるための前提条件です。 ユーザーと製品の間には、技術的な要件を超える暗黙の契約があります。

8. 動機、興味、インセンティブ、および報酬。



2.製品メトリックとしてのエンゲージメント。



ここでは、ユーザーの動機と状態を詳しく調べる人はいません。 製品に関する動作のみが評価されます（新規ユーザーの数、DAU、WAU、MAU、リターン、「静的要因」など）。



製品側のユーザーエンゲージメントを測定するために、Forresterは2008年に「4I」アプローチを説明しました[cit。 1]。



関与 ユーザーの存在。 訪問数、セッション時間などによって測定されます。

相互作用 ユーザーアクティビティ。 CTR、オンラインアクション、アップロードされた写真とビデオによって測定されます。

親密さ ユーザーの魅力または嫌悪感。 満足度評価、ブログのセンチメント分析、コメント、投票によって測定されます。

影響力 ユーザーがプロモーターになる可能性。 再投稿によって測定された、友人に送信された招待状の数。



AppLiftとLocalyticsは、エンゲージメントを1つのメトリックで測定します。これは、ユーザーが1か月にわたってアプリで費やした平均時間（ASL）です。 彼らの推定によると、年々成長を続けている最大のエンゲージメントには、平均セッション時間が6分、月間平均時間が90分（2015年）のニュースアプリケーションがあります。 2位は娯楽で、それぞれ8分と77分でした[2]。



セッションの期間を通してのエンゲージメントの評価は、ゲームの分析でよく見られます。 たとえば、開発者とユーザーが作成したアドオンがプレーヤーエンゲージメントに与える影響に関する最近の大規模な研究（2017）[9]。 しかし、セッションの期間では、すべてがそれほど透明ではなく、いくつかの興味深い点があります。



セッションの継続時間がどのように失敗したかについての2つのストーリー 。



歴史1：ユーザビリティーの有効性とUXの関与の違い。

一方では、ユーザーがアプリケーションを好きになればなるほど、アプリケーションに費やす時間が長くなります。 一方、ユーザーが問題を迅速に解決する必要がある場合、アプリケーションでの作業の継続時間は、逆に、失敗、機能を理解していない、インターフェイスで混乱するなどについて話します



問題は、どのケースで収益化に長いセッション期間が必要か、そしてどのセッションが短いかです。 そして、例えば、ストアアプリケーションで何をすべきか：買い手がアプリケーションで多くの時間を費やす場合、それは良いですか悪いですか？ 彼は関与していますか、それとも混乱していますか？

フランス、2017 [19]。

デジタルカメラユーザーの研究で、研究者は興味深い観察結果を思いつきました。 ユーザーがタスクに対処する時間が長ければ長いほど、実用的なニーズを満たすためにカメラのスケールを低く評価しました。 しかし、興味深いことに、彼らはそれを喜びを刺激するオブジェクトとして評価しました。 つまり、ユーザーは問題を解決し、機能を理解することに興味がありましたが、失われたタスクの有効性の観点からはそうでした。

歴史2.真の関与と正式な関与の違い。

セッション期間メトリックの失敗の2番目の例は、ユーザーとの実際の対話がない場合のユーザーの正式な存在です。 これは、ユーザーがエンゲージメントの仕組みを「クラック」し、実際にプロセスに関与することなくそれらを使用する場合に発生します。

ポルトガル、2015 [16]。

ミニクリップゲームアナリストR.ウラジミロは、ゲーム分析（レース）が一般的に良好なレベルのプレイヤーリターンを示した状況について説明しましたが、セッションの期間は彼に警告しました。 彼は2つのグループのプレイヤーを見つけました。最初のグループは1日3〜4回ゲームに戻り、平均6分間プレイし、2番目のグループは1日平均1回ゲームに参加しましたが、数時間アプリケーションを終了しませんでした。 彼はプレイヤーの行動を分析し始め、2番目のプレイヤーは単に受動的に通貨を蓄積して車を更新するが、レースには参加しないことに気付いた。 つまり、本質的に彼らはプレーしません。 記事では、エンゲージメントは論理的にリテンションを高めるが、プレイヤーのリテンションが高いということは、必ずしもエンゲージメントがゲームの喜びであり、意味のあるインタラクションがなければ喜びはない、と書いている。

セッション（クリック、クリック、訪問）の期間を評価する前に、高いエンゲージメント率が製品の欠陥またはそれとの望ましくない相互作用を示す可能性のあるユーザーシナリオをよく理解する必要があることがわかりました。



セクションの要約



1. 2種類のエンゲージメントの運用化は、2種類のエンゲージメントの決定にほぼ完全に対応します。マーケティングエンゲージメントは、ほとんどの場合、製品メトリックを介して測定され、ユーザーエンゲージメントはユーザー状態を介して測定されます。 交差点があります。次のセクションでそれらについて説明します。



2.一部のアプリケーションの従来の分析メトリックは、相互作用シナリオの違反（ユーザーの問題、正式な関与、規則違反など）により、矛盾する結果をもたらす可能性があります。



3.エンゲージメントの測定を混同しないように、アプリケーションでユーザーが持つ可能性のあるシナリオを熟考し、これらのシナリオを最もよく反映する動作例を選択する必要があります。 その後、不適切なメトリックの使用による誤った結論を回避することが可能になります。



表2.ユーザーエンゲージメントの運用化のオプション。







指で分析します







図2.指の操作化のタイプ。

これをアプリケーションに適用する方法は？

これで、アプリケーションのマーケティングとユーザーエンゲージメントを測定するための指標がわかりました。 私はよく尋ねました：セッションの期間と頻度を長くするのは良いことですか？ 今、私は仮定することができます：ユーザーが私のアプリケーションの能力を評価するのに長い時間がかかる場合、彼は情熱的であるか、または困難です。 これを理解するために、完了したタスクの有効性（評価を最後まで完了して結果を取得するユーザーの数）を確認できます。 彼が頻繁に来る場合、彼はしばしばインタビューを行うか、またはしばしば自分自身をテストし、インタビューの準備をします。 これを評価するには、ユーザーがアプリケーションにログインする時刻を分析します。

しかし、私はまだ混乱しています。指標が多すぎます。 どれを選ぶべきか、なぜ他のものよりも優れているのか？ これを理解するために、先に進みましょう。

4.エンゲージメントのレベル

学習する指標を選択することはできませんが、一貫して使用して、レベルごとの関与を測定することができます。 ここでは、マーケティングとユーザーエンゲージメントのレベルを確認します。 そして、それらの測定値がまだ交差する場所を確立します。



一部の研究者は、エンゲージメントの概念を1つ選択せず、その異なるタイプを状態の階層として提示します。



例えば、LC Vieira et al。（2016）、[12]はレベルを区別します：



-関与

-吸収

-浸漬。



そして最後のレベル-没入-のみがフローの真の状態を考慮し、マイクロフローの以前の状態を呼び出します（図3）。





図3. LC Vieira等によるプレーヤーの関与と感情のレベル[12]。



マーケティングでは、次のレベルのエンゲージメントが使用されます。-



製品/ブランドの認識、

- 製品/ブランドに対する満足度、-製品/ブランド

への忠誠心、-製品/ブランド

への関与。



最後のレベルでは、ブランドとの積極的な対話（製品の共同作成）、ソーシャルインクルージョン（他の人を製品に引き付け、その情報を広める）があります。エンゲージメント



セクションの簡単な要約は、



レベルごとに測定できます。

操作化オプションと関与レベルを組み合わせてみましょう（表3）。メトリックの選択がより明確になりました。表では、エンゲージメントのレベルと運用化のオプションを関連付け、それらのメソッドが交差する場合は斜体で強調表示しています。



表3：マーケティングおよびユーザーエンゲージメントの各レベルの運用オプション。







もう一度指で言いましょう。





図4.「指先での」マーケティングとユーザーエンゲージメントのレベル。

?

, , , , . , .

: , ? , , . , , .

4. .

ここでは、個々のユーザーの違いがアプリケーション分析にどのように影響し、すべてのカードを混乱させたかについて4つのストーリーを学びます。



一般的にユーザーを調査し、ユーザーをセグメント化せずにインジケーターをグループに分割せずに製品分析を収集すると、不快で混乱したバイアスを得ることができます。これについては4つの物語があります。



履歴1.不満なマキシマイザー。

マーケティングには部門がありますマキシマイザーと満足者のバイヤー。最初のものは選択し、特性を研究し、長い間レビューを読みます。後者は単純に最適なオプションを見つけ、多くの時間を費やすことなく購入します。分析の観点から見ると、マキシマイザーの動作は優れたデータを示します。多くの場合、それらは来てすぐに戻り、アプリケーションで多くの時間を費やします。しかし、ビジネス目標に関しては、これらのメトリックは無意味です。このようなユーザーの場合、最終的にアプリケーションに費やすお金を測定することのみが適切です。

アメリカ、2013 [18]。

これらのグループの行動と満足度に関する研究は、アプリケーションの使用期間が大きな収入に関連していないことを示しました。サティスファイアーはすぐに選択して購入し、最大化者は何度も戻って長い間選択することができますが、最終的には何も購入しないか、購入を返品しません。マキシマイザーは、より多くの場合、若い年齢の人々、およびより多くのお金とより多くの力を持つ人々です。さらに、マキシマイザーは、購入品の返品と否定的なレビューの作成にかなり多くの時間を費やすことができます[18]。

歴史2.常に内向的。

フィットネス機器の使用への関与は、個人的、人口統計学的および文化的特性と関連していますか？フィットネスアプリケーションの分析をより正確に検討するために、どのユーザーセグメントを区別できますか？

, 2017 [10].

700 . Fitbit Charge HR .



: , , , , , , , , , , . , « » ( ).



, :



1) ,

2) ,

3) ,

4) ,

5) .



, , , , . , , . , , , , .

歴史3.ブレスレットのない女性。



前の研究で性別とフィットネスブレスレットの使用への関与との関係が示されなかった場合、2017年に実施された別の研究では、性別の違いがまだあることが示されました。おそらく、違いは異なる方法によるものでした。以前の研究が縦断的で、ウェアラブルデバイスを使用してハードウェアに関与が記録された場合、この研究では、調査を使用して関与を評価しました。

イギリス、2017 [8]。

AE Whitehead et al。578人の成人男性と女性にインタビューしました。女性はフィットネス機器を使用する可能性がはるかに低く、それらを使用する理由があると考える可能性が低いことが判明しました。

歴史4.寛大な殺人者。



ゲームでのエンゲージメントの個人差は明確に表示されます。ゲーム内の行動に応じてプレーヤーをセグメント化し、特性メトリックを追跡できます。

ロシア、2015 [17]。Bartleのパーソナリティ

へのプレーヤーの最も一般的な区分では、プレーヤーのタイプに応じてエンゲージメントメトリックに大きな違いが見られます。「ソーシャル」プレーヤーは、ゲームに費やす時間は最短ですが、友人を他のプレーヤーよりも多くゲームに参加させます（彼らは高い社会的比率-アトラクション率を持っています）。彼らはゲームに最もお金をもたらす「キラー」を連れてくることができます。支出による2位は、「キャリア」です。「研究者」の最大の「28日目の保持」は、彼らが最も献身的であるということですが、彼らは他のプレイヤーよりもゲームに少ないお金をもたらします。

セクションの簡単な要約



人によって行動が異なります。大規模なユーザーグループは、動作が異なる場合があります。したがって、単純な分析は失敗する可能性があります。それらを減らすために、ユーザーをセグメント化できます（ユーザーの行動やニーズに応じて異なるグループを選択し、ユーザーに名前を付けます）。



指で分析します。





図5.さまざまなタイプのユーザーの「指での」動作の違い。

?

, , . , , - , . , / , . .

5. .

ここでは、ファッショナブルな仕掛けの仕事に取り掛かり、かつては忘れられていましたが、今では活動理論を思い出しています。最後に、3番目のタイプのエンゲージメントについて話しましょう。そして、すべてのアプリケーションを3つのグループに分割して、どのようなエンゲージメントを探る必要があるかを理解する方法を見つけます。



エンゲージメントをより正確に調査し、ユーザーを正しくセグメント化するには、アプリケーションの使用の背後にあるアクティビティの種類を理解する必要があります。アプリケーションは、ユーザーによく知られているアクティビティのツールである仲介者ですか、アクティビティの新しい目的と動機が含まれていますか。そして、ここで行われるジョブズアプローチと、より広い意味では、 A。レオンチェフのアクティビティアプローチとアクティビティの理論はかなりよく適合しています。



したがって、モバイルデバイスユーザーの関与要因と、これらのデバイスが提供するアクティビティへの関与要因を調査する価値があります。つまり、ソーシャルネットワークアプリケーションのユーザーの関与は、ソーシャルネットワークでのコミュニケーションへの関与に直接関係し、オンラインストアのユーザーの関与は、ショッピングへの関与に関係しています。



基本的に、目標とアクティビティに応じて、すべてのアプリケーションを3つのタイプに分けることができます。私はそれらを呼び出しました：セルフタスクアプリケーション、プロセスの仲介、および結果の仲介。詳細な説明は表4にあります。



表4.アプリケーションの種類と関与。







指のアプリケーションの種類を分析しましょう。







図6.指上のアプリケーションの種類。

?

, , , , .



, . . . , . , .



. , : . , . , ( , , ). , , ( ). , , , . , , .



Jobs-to-be-done , , .

, , . , ? .

6. .

推論があり、分類はありません。このセクションは、私たちを長い間避けてきた3番目のタイプのエンゲージメントに当てられています。長期的な関与が人間関係のようなものである理由について話しましょう。そして、アプリケーションへの関与がアクティビティへの関与を殺すことができる場合についてもう少し学びます。



アプリケーションへの関与の個別の分析は、その背後にあるアクティビティを分析せずに、アプリケーションの美学、ゲーミフィケーション、ユーザビリティ、およびその他の外部兆候を評価しますが、ユーザーの動機およびアプリケーションの背後にあるアクティビティへの彼の関与についてはあまり語りません。木の後ろには森が見えません。



アプリケーションが仲介として機能する場合、そのデザインの品質は、ユーザーを惹きつけて怖がらせないために必要かつ十分な条件になります。そして、その後の動機は、ユーザーがアクティビティにどれだけ興味を持てているかによって異なります。

それは、快適なハンドルを備えたんハンマーのようなかものです。ツールの設計は必要十分条件です。便利なハンドルがあるため、より長く使用します。しかし、ペンのためだけに私たちは彼と仕事しません-その使用の基礎は活動（建設、修理、創造性）ですそして、この活動が私たちを十分に魅了するのであれば、便利なハンマーから選択しますしかし、あなたが夢中になら.. なければ、はんまーのはんどんの便利さは私たちに修理



アプリへのエンゲージメントによる再エンゲージメントはありますか？



品質規定のゲームメカニックがゲーミフィケーション、ポジティブフィードバック、競争、有用なコンテンツ、コミュニティへの参加、認識などを通じてアクティビティに繰り返し従事できる場合があります。この品質は、社会的に有用なアプリケーションの開発に使用されます。現在、このようなアプリケーションは、トレーニングやフィットネスだけでなく、医学、行動修正、ダイエットなどにも使用され始めています。



アプリケーションのエンゲージメント戦略が優れているため、ユーザーをオフラインアクティビティに参加させることは困難な作業です。おそらく、特定のタイプのアクティビティにのみ実行可能です（ユーザーがナビゲーターの利便性のためだけに旅行を開始する可能性は低いですが、Uberなどのキャリアの方法やBookingなどの予約サービスがここにも示されていますオプション）。



アプリケーションの継続使用への関与の研究では、関係心理学の分野の理論が最もよく使用されます。それらの1つ-関係の投資モデル-は、最も経験的な証拠を受けています（Rusbult、Drigotas、およびVerette 1994）。このモデルによると、ユーザーが次のことを感知すると、長期的な関係への関与が強化されます。



1）インタラクションの利点の増加（たとえば、有用な情報やエンターテイメントから）、

2）個人費用の減少、

3）システムへの個人投資の増加、

4）価値のある代替手段の数の減少。



再エンゲージメント戦略が開発されるとき、エンゲージメントメカニックスは、彼らが関与しているアクティビティに関連しており、正式ではないことが重要です。言い換えれば、オンラインストアに関与する場合、アプリケーションを使用せずに購買活動に直接関係する動機について考える必要があります。



アプリケーションの「外部」モチベーションがアクティビティの「内部」モチベーションを殺さないこと、および動機が目標（アクティビティの理論からの用語）に移行しないことが重要です。



そのような例の1つ-レースでコインを受け取ったプレイヤーについて-すでにセクション2で説明しました。ここでは、A。Weston [11]の記事で言及されている2つの例について説明します。

イギリス、米国、2007年

。ベーカーらによるゲーミフィケーション有効性研究。時々、子供たちは、ゾンビ部門などの数学を教えるために作成されたゲームをすることを学ぶことがあり、ゲームで良い成功を示しますが、数学をよく理解し始めないことを示しました（図2）。

図2：Zombie Divisionゲームのショット（ソース）

, 2010 [20].

T. Bickmore - (. 3). . , , . , . .



– – , ( ). , , , , . , [20].

図3：T. Bickmore Researchの仮想アシスタント[20]。「仲介者」などのアプリケーションへの関与の



概要は、



アプリケーション以外のアクティビティへの関与と相互に関連しています。アクティビティへの関与は、アプリケーションへの関与を強化および弱体化できます。ただし、アプリケーションへの関与は、アクティビティへの関与を増やしたり弱めたりする可能性があります。



ユーザーエンゲージメントメカニックを作成する場合、ユーザーがアプリケーションに引き込まれ、コアビジネスから気をそらされるときに「目標への動機付け」を防ぐことが重要です。





図7.「指による」外部と内部の動機の違い。

?



. , (, , , , ). , , . , , , . , « » . , . , . .



, , ( , )? , - -. .



, . .

7.

そして今、定義、運用化、関与のタイプが得られたら、その研究方法を選択できます。いくつかのアプローチをより詳細に説明し、例を見て、メソッド選択アルゴリズムに非常に近づきます。



アプリ内/ Web分析



ユーザーエンゲージメントに関するほとんどの記事は、この研究セグメントについて書かれています。分析は、アプリケーション内のユーザーの目に見える行動のみを評価し、大規模なサンプルの情報を提供するのに役立ちます。メトリックは、ユーザーがこのように行動する理由を理解するのに役立ちませんが、ダイナミクスでユーザーの行動を研究するとき、および類似の製品を比較するときに、迅速かつ安価なフィードバックを提供できます。



分析を使用する場合、セッション内およびセッション間について話します関与[1]。 1つ目は、1つのセッション（セッションの期間）中に製品がユーザーを保持できる時間を示しています。 2つ目は、ユーザーの返品（セッション数、返品のダイナミクス）を通じて推定され、最終的にはライフタイム値（「ライフタイム顧客価値」、顧客が製品を使用している間ずっと会社が顧客から受け取る純利益の量）で測定できます。

, , 2012 [3].



J. Lehman , -. . . :

( , , ).

( , , ).

( , , , , ).

表5.さまざまなタイプのサービスのユーザーエンゲージメントモデル（J. Lehman et al。による）







自己申告調査



これらの方法は、ユーザーの態度、アプリケーションに関する知識、期待、偏見、意識的な感情、特定の行動に対する準備の評価に役立ちます。ここでは、アンケート、インタビュー、日記の方法、およびユーザーストーリーに基づくその他の調査が使用されます。

, 2017 [5].

A. Tarute . (, ) .

1. . , ?

2. . , , ?

3. . , - , , .

4. . , , ?



, , , . , , .



1. ( : , , , , , , .).

2. ( , , , ).

3. (, , (), , , ).

4. ( , ).



. 25 , 42.5% 57.5% . , , , .



27 (. , № 4). , , . , 4 1 . , .



(61,3%) , (Facebook Messenger, Instagram, Viber, WhatsApp). , (Trafi, Busas Kaunas, Here WeGo Maps), (Swedbank, DNB bank, SEB bank), (Duolingo, Todoist, MyStudyLife) (eg Endomondo Sports tracker, Noom Walk, WaterDrink). 14,1% .



, . . .

この調査では、前提条件が結果に大きな影響を与えました。最も使用されるアプリケーションを選択します。それらはソーシャルネットワークのアプリケーションであることがほとんどであるため、アプリケーションの評価が一般にアプリケーションに関連する場所と、ソーシャルネットワークに関連する場所を区別することは困難になりました。

アメリカ、2013 [4]。

YH Kimらは、モバイルデバイスユーザー（MoEN）を引き付けるための理論モデルを提案しました（図4）。

図8：YH Kim等によって合意されたモバイルユーザーエンゲージメントモデル

彼らは態度としての関与（社会的状況、行動に影響する信念の種類）を研究し、さらに3つの側面への分割を使用しました：認知、情緒的（感情的）および共生的（行動的）。



さらに、YHキムと同僚は、モバイルデバイスユーザーのモチベーション構造を導入し、3つのグループに分けました。



-機能的（効率、使いやすさ、時間の節約）、

-快楽主義（喜び、喜び、心地よい感情）、

-ソーシャル（つながり、感情や情報を他の人と共有したいという願望）。



このモデルは、製品の使用段階ごとにユーザーの動機付けとユーザーエンゲージメントの相互作用を調査します。デートの段階-認知段階-ユーザーは功利主義的な動機によって駆動され、アプリケーションの知覚価値、快楽主義の動機と満足度が感情的な段階で結び付けられ、社会的な動機が認知的な段階と感情的な段階の間で明らかになり、最後に、行動段階では、ユーザーエンゲージメントが有効になります。



モデルをテストするために、研究者はアンケートを作成しました（付録、No。3を参照）。 主な研究には、297人の学生が参加しました（男性の50.3％、女性の49.3％）。 モデルはより詳細に確認されました：[4]。

スペイン、2017 [13]。

この研究では、使いやすさから関与までのすべてのパラメーターをアンケートで測定しました（追加資料、No。6を参照）。 この調査には、750人のスペイン人学生（16〜35歳）が参加しました。 著者は、無料アクセス、使いやすさ、コンテンツの種類がサービスの満足度にどのように影響するかをテストしたいと考えていました。 そして、満足度がロイヤルティ、エンゲージメント、インタラクション、およびサービスを推奨する欲求にどのように影響するか。

使いやすさだけが満足感に関連していることが判明しました。 そして、満足度は忠誠心とエンゲージメントに関連しており、より少ない-推奨と相互作用への欲求と関連していることが判明しました（図9）。

図9.満足度とエンゲージメントに対するアプリケーションの品質の影響のモデル。



実験

イタリア、2015 [11]。

この研究では、アプリケーションは、ユーザーをコントロールグループと実験グループにランダムに分割する機能をプログラムしました。 対照群は、研究の開始時と終了時に健康的なライフスタイルテストを受けるように求められました。 また、調査時の実験グループは、高度なテストにアクセスし、電子メールで通知をプッシュしました。これには、テストに合格し、資料に精通することが含まれていました。 著者は、さまざまな程度の成功で同数のテスト問題を完了した2人の研究参加者（29人中）のみのエンゲージメントの違いの証拠を構築しましたが、実験的エンゲージメント研究の方法は注目に値します。



著者は、2つの方法で関与を意図的に測定しました。1）アプリケーションへの関与-完了したテスト質問の数、2）問題への関与-学習曲線（テストのエラー数）。

婚約実験は時々生体内で行われます。 また、友人の自宅での実験のように、関与の兆候も自然になります（図10）。

ロシア、2017年。

おそらく、保存されたdump子は、より深いレベルの関与の指標になるでしょう。

図10.人生、ウォッカ、女性に関する私の友人の投稿。



複合研究



このアプローチでは、いくつかの方法を一度に使用します。分析方法と質問方法を組み合わせたり、生理学的方法と質問方法を使用したり、特別な技術を使用したりします。 さまざまな角度から仮説をテストすることを含め、方法の組み合わせにより主題のより包括的な全体像が得られることが一般に受け入れられています。

アメリカ、2017 [6]。

D. LedgerとD. McCaffreyは、フィットネスデバイスの分析を行い、長期的なユーザーエンゲージメントを保証する要因を特定しました。 著者は、単にデバイスの使用期間としてエンゲージメントを測定しますが、それでもその発生の心理的状態に注意を喚起しました。 エンゲージメントを生み出すための9つの技術的条件と3つの心理的条件に従ってデバイスを比較しました。 著者によると、1つの条件が満たされない場合でも、関与は行われない可能性があります。 3心理的状態は、デバイスの目的に直接関連しており、限られたアプリケーショングループにのみ適用できます。 フィットネス機器の場合、関与の心理的要因は次のとおりです。習慣の形成、社会的動機付け、目標の強化。 写真は、8台のデバイスを比較した結果を示しています。



残念ながら、各条件にポイントを割り当てるための方法論を見つけることができませんでした（おそらく、これは専門家にインタビューする方法でした）。 それでも、グラフィカルな比較は奇妙に見え、各条件の詳細な説明と例で補完されます（図7）。 このレポートは、インターネットで公開されています[6]。

図11.長期的なユーザーエンゲージメントの要因によるフィットネスデバイスの比較。

アメリカ、2017 [7]。

S. Asimakopoulosと同僚は、フィットネス機器のユーザーの関与を研究し続け、自己決定の動機と理論に変わりました。 彼らは、ユーザーの自己効力感が動機付けと長期的な関与にどのように関連しているかを明らかにすることにしました。



方法



-オンラインの日記を4週間にわたって週に2回記入する（付録5を参照）

-7段階のリッカート尺度（「強く同意しない」から「強く同意する」まで）を備えた医療技術自己効力感（HTSE）自己効力感アンケート、

-参加者は、モチベーションを高めるモバイルアプリケーションインターフェイスの写真を研究者に送りました。



サンプリング：フィットネストラッカーFitbitおよびJawboneの34ユーザー。 この調査では、データ、ゲーミフィケーション、コンテンツという3つの側面がユーザーのモチベーションによって最も影響を受けることが示されました。

非ユーザーメソッド



ユーザーなしでエンゲージメントを調査することはエキゾチックなアプローチのように思えますが、最も頻繁に使用されるアプローチです。

多くの場合、アプリケーションの作成者は自分ですべてを決定します。ユーザーについて質問するときは、G。Fordの声明を参照します（「自分が欲しいものを尋ねたら、より速い馬を求めます」）、S。Jobsグループ、本当に難しい。 たいていの場合、人々は自分が本当に必要なものを自分自身に示すまで理解しません」とA.レベデフ（「通りから来た1人の愚か者の答えは誰も気にしません。 ）

原則として、すべてが真実です。アイデアを作成する段階で、どのようなフォーカスグループを配置できますか？ ここでは、まったく異なる方法が必要です。 また、ユーザーの介入のないメソッドのグループは、ほんの一部です。

このグループには、アイデアとブレーンストーミングを生成するためのさまざまな方法、専門家の調査オプション、ベンチマーク、およびデザイナーヒューリスティックの使用が含まれます。 そして、一般的に、巧みな使用で、彼らは良い結果を与えることができます。



生理学的測定



注意、関心、感情などの変化に関するプロセスユーザーエンゲージメントの研究でそれらを使用することは論理的です。一方で、生理学的手法は、プレーヤーの状態の変化に関するより客観的で直接的なデータを提供します。 一方、それらの使用は、多くの場合、これらの非常に感情に影響を与える可能性がある追加の測定機器の使用に関連付けられています。



ユーザー調査でこのような方法を検討するには、別の記事が必要です。 それまでの間、ソースのリストから英語のレビューを見ることができます[1、12、13]。

ポルトガル、2017 [21]。

研究者は、コンピューターゲームプレーヤーの関与の研究において、感情を認識するための適切なプログラムをテストすることにしました。 機器はプレーヤーの顔を撮影するカメラとソフトウェアでした。AffectivaのUnity for Affdex SDKを使用してErgo VR Laboratoryが作成したスクリプトです。

検証に成功しました。 プログラムによって認識される感情は、プレイヤーが表現したものに対応しており、ゲーム中に一部のユーザーが経験した困難をよく反映しています（図12）。

図12.同じゲーム状況での2人のプレイヤーの感情の違い。

これをアプリケーションに適用する方法は？

ほとんどの場合、方法を選択して研究を行う際にこれらの例を見ていきます。 しかし、今はプロトタイプアプリケーションのみを作成しています。 メトリックを収集して実験を実施するのは時期尚早です。 そして、できるだけ早くユーザーを理解する必要があります。 私はすでに何かを研究すべきですか？ そして、どのような方法を使用できますか？ この質問に対する答えを見つけました。

7.製品開発のさまざまな段階で方法を選択する方法。

それだけです、旅は終わります。 ここでは、研究方法を選択する別のアプローチ、製品開発の段階の観点からのアプローチについて説明します。 私たちはほとんど話をしません-すべての結論が提示されているテーブルにすぐに行きます。



前に説明したことはすべて、既製のアプリケーションの研究に関するものでした。 そして、アイデアを探したり、プロトタイプをテストしたりする段階で、関与をどのように予測するのでしょうか？ このために、別のテーブルをコンパイルしました。



製品開発の次の段階を使用しました：アイデアの検索-プロトタイプの評価-MVP（最小の実行可能な製品）の評価-フルバージョンの評価-アップデートの評価。 そして、彼女は製品開発の各段階で使用するのに適切な方法を指摘しました。



表6.製品開発のさまざまな段階とアプリケーションの種類に対する研究方法の選択。





もう一度、最も一般的な研究方法を指で分析します。





図13.「指で」製品開発のさまざまな段階で最も一般的な研究方法。

これをアプリケーションに適用する方法は？

アイデアの開発段階を経て、設計ヒューリスティックとベンチマークを使用しました。 これで、アプリケーションの開発の各段階に対応した一連のメソッドができました。

記事の冒頭で結論を逃した場合：



記事からの最短の結論



1.何を探求しますか？

1）ユーザーが製品/ブランドにどのように関連するか：マーケティングエンゲージメントの調査。

2）ユーザーがアプリケーションの使用にどの程度関与しているか：ユーザーエンゲージメントを調査します。

2.エンゲージメントの決定方法： 表1 。

3.関与を調べる際に使用する表2 。

4.エンゲージメントのレベルを測定する方法： 表3 。

5.さまざまなタイプのアプリケーションとエンゲージメントのために何を調査するか： 表4 。

6.製品開発のさまざまな段階で方法を選択する方法： 表6 。

7.研究者が使用するアンケート：付録を参照



私の調査と発明された分類が、関与の理解と調査に役立つことを願っています。 あなたの追加を喜んでいます。







8.アプリケーション。 いくつかの翻訳されたテクニック。

これらの手法が例示的なものではない。 それらのほとんどは、第2を除き、編集者なしでは応募できません。 上記のように、それらの使用に基づいて研究を議論したように、私はそれらをデートのために投稿します。



1. PANAS（正および負の影響スケジュール）感情評価尺度

各単語が現時点でのあなたの感情をどれだけ反映しているか（1 =完全に反映しない; 2 =わずかに反映する; 3 =適度に反映する; 4 =非常に正確に反映する; 5 =正確に反映する）。 アイテムは順不同で与えることをお勧めします。



ポジティブな点：興味、興奮、確かに、私は熱意、誇り、インスピレーション、アクティブ、注意深い、用心深く、決定的だと感じています。



ネガティブなポイント：動揺、動揺、罪悪感、恐れ、敵意、恥ずかしさ、緊張、恐怖、パニックに陥りやすい、いらいらを感じる。



2.感情の自己評価のテクニック自己評価マネキン（SAM） [15]。

かなり古いテクニック（1994）。 感情を視覚的に評価するのに役立ちます。 研究参加者は、各行で1枚のカードを選択して、自分が経験している感情をより詳しく説明します。1列-感情のモダリティ、2列-興奮のレベル、3列-優位性、感情の強さ。 この手法は、言語の障壁を回避し、子供やさまざまな文化の代表者と研究を行うことができるという点で優れています。



さらに、方法の著者が行ったように、測定結果を数値にエンコードし、定量的測定値に変換し、その測定値を意味差の測定値と比較することができます[15]。







1.モバイルデバイスユーザーの関与を測定するためのアンケート [4]。

質問は、5段階のリッカートスケールで参加者によって評価されます。



功利主義の動機

（1-まったく重要ではない/ 5-非常に重要）

モバイルテクノロジーを使用する次の理由の重要性を評価してください。

1.モバイル技術を使用する新しい方法を探求する。

2.情報と最新ニュースを受信する。

3.知識とスキルを向上させます。

4.もっと整理する（メール、スケジュール、計画などを確認する）

5.時間を節約し、より効率的に使用します。

6.さまざまな方法を使用して他の人と通信する（音声、対面、またはテキストメッセージを使用）。



快楽主義の動機

（1-まったく重要ではない/ 5-非常に重要）

7.休息とリラックス。

8.さまざまなコンテンツ（メール、アプリケーション、天気など）をお楽しみください。

9.テクノロジーの使用をお楽しみください。



社会的動機

（1-まったく重要ではない/ 5-非常に重要）

10.ニュースの最新情報を入手し、イベントに関する情報を友人や親relativeと共有する。

11.同様の関心を持つ人々と出会い、チャットする。

12.学んだことを友人や家族に伝える。



知覚価値

（1-まったく重要ではない/ 5-非常に重要）

13.モバイル技術を使用することは私に喜びを与えます。

14.モバイルテクノロジーを使用することで大きな恩恵を受けます。

15.モバイルテクノロジーは、時間とお金を正しく使用するのに役立ちます。



満足度

（1-まったく満足していない/ 5-非常に満足している）

16.すべての支払いを考えると、モバイルテクノロジーを使用して支払うことにどの程度満足していますか。

17.あなたが時間を費やすすべての活動を考えると、モバイル技術の使用にどの程度満足していますか？

18.モバイルテクノロジーの使用にどの程度満足していますか。



関与の確率

（1-まったくありそうにない/ 5-非常に可能性が高い）

19.モバイルテクノロジーを使用する可能性はどのくらい高くなりますか？

20.誰かがモバイルテクノロジーをより頻繁に使用することを推奨する可能性はどのくらいありますか？



2.ユーザーエンゲージメントとモバイルアプリケーションの品質の関係を測定するためのアンケート [5]。



質問は、5段階のリッカートスケールで参加者によって評価されます（「まったく同意しない」から「完全に同意する」まで、「まったく重要でない」から「非常に重要」まで）。



機能性

1.すぐに購入できる機能。

2.オンライン支払いを行う機能。

3.タッチスクリーンを使用した機能の拡張。



デザイン（美学）

4.アプリケーションには便利なインターフェイスがあるため、必要なものをすばやく見つけることができます。

5.アプリケーションには使いやすいインターフェイスがあるため、簡単にナビゲートできます。

6.アプリケーションの視覚的なデザインは私にとって重要です。

7.アプリケーションの設計は私にとって重要です。



情報の質

8.モバイルアプリケーションは有益である必要があります。

9.モバイルアプリケーションでは、さまざまな情報を見つけることができます。

10.モバイルアプリケーションは非常に興味深いはずです。



インタラクション（ユーザーおよびコンテンツと）

11.他のユーザーのアクションを追跡する機能。

12.ソーシャルネットワークへの招待を受信する機能。

13.写真やコメントに自分と友達をタグ付けする機能。

14.モバイルアプリケーションでは、写真またはビデオをアップロードできます。

15.モバイルアプリケーションを使用して、友人と情報を共有できます。

16.モバイルアプリケーションを使用している他の人をサブスクライブする機能。



ユーザーエンゲージメント

17.モバイルアプリケーションを使用する必要がある場合、通常はこのモバイルアプリケーションを使用します。

18.このモバイルアプリケーションに満足しています。

19.私はこのモバイルアプリケーションが本当に好きです。

20.このモバイルアプリケーションを使用することは非常にうれしいです。

21.このモバイルアプリケーションを使用することを誇りに思います。



使い続けるつもり

22.今後、このモバイルアプリケーションを使用すると思います。

23.このモバイルアプリケーションを使用するのが好きです。

24.このモバイルアプリケーションに関する肯定的なフィードバックを残す準備ができています。

25.このアプリケーションは似たようなものの中で最高だと思います。

26.今後、このアプリケーションを使用したいと思います。

27.私はこのアプリケーションを家族や友人に勧めます。



3.日記研究に関する質問 [7]。

1.過去48時間、何をしていましたか？

歩いた-訓練した-走った-ハイキング-チームゲームをした-自転車に乗った-何もない（忙しすぎた）-ヨガをした-その他（具体的に記入してください）。

2.今日、アプリケーションを検討しましたか？

はいいいえ

3.過去48時間にアプリケーションデータをどのように受け取りましたか？

モバイルデバイス（電話/タブレット）経由-コンピューター経由-モバイルデバイス経由とコンピューター経由の両方。

4.別のフィットネストラッカーを使用したことがありますか？

はい-いいえ-その他（具体的に

記入してください）5.インストールしたアプリケーションのバージョンを知っていますか？ （書いてください）。

6.以前にどのアプリケーションをインストールしましたか？

古いバージョンまたは別のバージョンはその他です（指定してください）。

7.過去48時間のアプリケーションデータを見ると、次のように感じます。

非常にやる気-やややややや-ややややややややややや強い。

8.過去48時間で特に動機付けたものは何ですか？

自分のスコアが増加するのを見る（他の人と比較して）-目標を達成する-ヒントとコツ-その他（具体的に記入してください）

9.アプリのアクティビティを監視することで、前回使用したときからフィットネスアクティビティが変わりましたか？

はい-いいえ-わからない

10.過去48時間のアプリケーションのデータに対する一般的な態度を説明してください：

良い-無関心-悪い-その他（具体的に記入してください）。

11.このアプリをどのくらい使用していますか？

1〜3か月-4〜6か月-7〜12か月-13〜24か月-2年以上。



4. アプリケーションの品質とユーザーの満足度の関係を測定するアンケート、忠誠心、関与、友人にアプリケーションを推薦する意欲[13]。

質問は、参加者によって5段階（「強く同意しない」から「強く同意する」まで）のリッカートスケールで評価されます。

コンテンツ

1.提供され、アクセス可能なコンテンツが関連しています。

2.提案されたコンテンツは多様で完全です。

3.提案されたコンテンツは、私が開発に遅れないようにするのに役立ちます。

無料アクセス

4.企業は、デジタル製品へのアクセス料金を削減または削除する必要があります。

5.購読料ではなく、デジタル製品への無料アクセスを希望します。

使いやすさ

6.デジタル技術は非常に使いやすいです。

7.デジタル技術を簡単に習得して使用できます。

満足度

8.デジタル技術を使用して得た経験に満足しています。

9.私が使用するデジタル技術は、私のニーズと期待に応えます。

ロイヤリティ

10.私は引き続きデジタル製品を使用し、ダウンロードします。

11.デジタル製品の使用は今後も続くと思います。

エンゲージメント

12.デジタル技術を使用するとき、私は通常この活動に完全に夢中になります。

13.デジタル技術を使用するとき、私はそれらに完全に集中します。

14.デジタル技術を使用している間、私は活動に深く関わっています。

口コミ

15.友人や家族に好きなデジタル製品をよく勧めます。

16.友人や親relativeに自分の好きな製品を勧める可能性が非常に高いです。

相互作用

17.私は情報を共有し、デジタル製品に関するオンラインコメントを残します。

18.デジタル製品を使用している間、ソーシャルネットワーク上の他のユーザーと体験を比較し、共有したいです。



5.ユーザーエンゲージメントアンケート [14]。

中間アプリケーションの評価に適しています。

質問は、参加者によって5段階（「強く同意しない」から「強く同意する」まで）のリッカートスケールで評価されます。反転した質問には*のマークが付いています。

1.この買い物で迷子になりました。

2.ショッピングに非常に熱心だったため、時間の監視を停止しました。

3.このサイトで買い物をしているとき、私は自分の周りに何も気づきませんでした。

4.買い物をしているとき、私は自分の周りのイベントの制御を停止しました。

5.買い物に費やした時間がすぐに過ぎました。

6.私は完全に買い物に夢中になりました。

7.私は買い物に関与していると感じました。

8.この買い物は私に喜びを与えました。

9.私は好奇心からこのサイトで買い物を続けました。

10.このサイトのコンテンツは私の好奇心をそそりました。

11.ショッピングに興味があります。

12.このサイトでの買い物は価値がありました。

13.ショッピング体験は成功したと思います。

14.このショッピング体験は、私が計画した通りにはいきませんでした（*）。

15.私の買い物の経験は役に立ちました。

16.友達や家族にこのサイトで買い物をすることをお勧めします。

17.このサイトには自分自身があります。

18.このサイトは審美的に楽しいです。

19.このサイトのグラフィックとビデオが気に入りました。

20.このサイトは視覚に影響を与えました。

21.このサイトのデザインは視覚的に楽しいものでした。

22.このサイトにアクセスしたときにイライラしました（*）。

23.このサイトは使いにくいと思われます（*）。

24.このサイトにいる間、イライラしました（*）。

25.このサイトで購入したときに無力感を感じました（*）。

26.このサイトを使用することは道徳的に面倒でした（*）。

27.このショッピング体験には、私からの努力が必要でした（*）。

28.私は買い物の管理下にあると感じました。

29.このサイトで実行する必要があるアクションの一部を実行できませんでした（*）。