アンケートエラー。 2間違い：アンケートの文言。 調査における誤解と改ざんの13件（一部）

アンケート調査での間違いや発見の経験を共有し続けます。 最初の記事では、関連する回答者を惹きつけ、記入済みのアンケートの返品を増やす方法について説明しました。



最初の記事「 アンケートエラー」をご覧ください。 1エラー：サンプリングバイアス。 適切な回答者を引き付ける8つの方法











この記事では、調査参加者に対するアンケートの理解度の問題が、一見思われるよりもはるかに重要である理由を説明します。 また、回答者の意見を操作したり、調査結果を偽造したり、マーケティング目的で調査を使用したりする例を考えてみましょう。



アンケートの利点-大きなカバレッジと迅速な結果-も主な欠点になります。 最終回答者とのコミュニケーションの可能性を失うと、 「すべての回答者がアンケートの意味を理解し、正しく記入する」という高価な仮定を強いられます。 この仮定を立てれば、関連する事実や意見と同様に、調査の結果に息を吹き込んで作業することができます。 そして、そのような仮定がなされない場合、研究は一連のクロスチェックと承認に変わり、最終的に完全に麻痺する可能性があります。



正直に言うと、回答者を惹きつけてアンケートを返すという困難を乗り越えて、研究者が望んでいることは、アンケートが正しく記入されていることを疑うことです。 しかし、さらに悲しいことは、指導の参加者または質問の誤解によりアンケートが破損していることを認識することです。 そして、これらの疑いから自分自身と顧客を守るために、研究の信頼性を大幅に高める多くの準備段階を観察することができます。 これらの手順については、次の記事で説明します。 最初に、理解の難しさがどこにあるのか、そしてそれが何につながるのかを理解します。



誤解が生じる可能性がある場合、アンケート調査の少なくとも次の部分を区別できます。

1.言葉と特別な用語の誤解。

2.指示の誤解。

3.調査の焦点の誤解。

4.質問の文言の誤解。

5.評価基準の誤解。

1.言葉と特別な用語の誤解

ここではすべてが簡単です。 実際、回答者はしばしば、研究者にとって自明な言葉の意味を理解していない。 そして、これはプロのスラングには必ずしも当てはまりません。 時々、ロシア語の通常の単語が調査参加者に困難を引き起こすように思われるかもしれませんが、実験者がそれについて学ぶ機会はめったにありません。









写真：サイトで公開されたアンケート調査に対するユーザーのコメント（出典：pikabu.ru）

例：さまざまな社会的地位およびさまざまな年齢層の人々の調査を実施しました。 研究方法の中で、T。Learyテストが使用されました。これは、ロシア語を話す回答者に適合した信頼できる心理テストで、数十年にわたって人格と関係を評価するために使用されていました。 ロシアでは、このテストを使用して何千もの研究が行われています。 私たちが名門大学の学生にインタビューするために来たとき、数百人がすでに私たちの研究に参加しました。 生徒は教室で直接アンケートに記入しました。 数分後、彼らは手を挙げ始め、テストからのいくつかの単語の意味を理解しなかったと言い始めました。 これらの単語のリストは次のとおりです。ソフトボディ、自己批判、暴君、うぬぼれ、柔軟、簡単に見つけられ、つまずきやすい。 私たちにとっては啓示でした。 この年齢と地位の一部の回答者にとって、古典的な信頼できるテストの適応はすでに時代遅れであることが判明しました。 それまでに他の年齢やステータスの回答者から収集された何百ものアンケートも疑わしいものでした。人々は言葉の意味を明確にしていませんでした。つまり、理解したり、ランダムに尋ねたり答えたりするのが恥ずかしかったのです。

2番目の脅威は、アンケートでのスラングの使用に起因します。スラングは、参加者に理解されないか、参加者を困らせる可能性があります。 これは、研究者がターゲットオーディエンスといちゃつくことを試み、この文化のキャリアではなく、アンケートでスラングを使用する場合に発生する可能性があります。

例2：あるIT企業の部門間のコミュニケーションを調査したとき、その開発者の数人は、人事部長が内部調査を行ったり、ニュースレターを送信したり、言語の特徴をコピーして英語を挿入したりすることに非常に怒っているとインタビューで語っていました 開発者自身がしばしばこれを罪にしたが、彼らは彼らの仕事の文脈に含まれていない従業員がこのスラングを採用したときに悩まされた。

2.誤解された指示

指示を誤解することは、この記事で最も明らかな点であり、役に立たないように思われます。 ほとんどすべての研究者は、アンケートの概要で、研究の目的とフォームへの記入方法を明確にします。 ほぼすべての回答者は、ある種のアンケートに参加した経験があり、約8年前に「プラス記号やチェックマークをボックスに入れる必要がありますか？」「思いが変わったら答えを消すことができますか？」 ？」







写真：応募者への不正確な指示を含むアンケート（出典：pikabu.ru）。



通常の回答者の経験にもかかわらず、研究者が新しいフォーム（たとえば、非自明な指示や回答を見逃すことができないモバイルデバイスでのオンライン調査やアンケート）を試して、「1つの回答オプション/複数の回答オプション」オプションを忘れると、ユーザビリティアンケートが再び発生します、または難しい質問（たとえば、ランキング付きの質問やペアワイズ比較）に正しい指示を与えるのを忘れています。 また、下の写真の例のように、研究者にとって参加者の難しさを知ることは大成功です。









写真：サイトで公開されたアンケート調査に対するユーザーのコメント（出典：pikabu.ru）



研究者と回答者のほとんどにとって明らかなことは、経験の浅い参加者にとっては難しいかもしれません。









写真：アンケート参加者に適合していない、不正確な指示を含むアンケート（ソース：adme.ru）。

例1：小都市や町に支社を持つ会社の従業員の調査を実施しました。 支部の代表者が首都で勉強するために集まったので、研修後に全員にインタビューするのは良い考えのように思えました。 従業員と話をし、指示を出し、アンケートを配布し、結果を各参加者に電子メールで送信するか、翌日に持参することを約束しました。 アンケートは非常に大きく、人々は無言で記入しました。 最初の参加者が記入済みの申請書を提出するとすぐに、女性が部屋の端で起きてドアに向かいました。 彼女のプロフィールはどこにあるのかと尋ねると、彼女は次のように答えました。「私はメールが何であるか理解できず、どこに何を送りたいのかわからない。 行ったほうがいいです。」 彼女は私たちの言葉を理解しなかったので、彼女は30分以上座っていたことが判明しましたが、彼女は指示を明確にするのに恥ずかしがり屋でした。 私たちにとって、これは露骨なケースでした。命令の誤解がどこまで及ぶかを学びました。 そして、リモートおよびオンライン調査では、研究者は通常、何が間違っていたかを理解する機会がありません。アンケートは戻らないか、間違って記入されます。



例2.心理学的アンケートを使用してさまざまな年齢の人々の大規模なテストを編成した後、これには嘘の尺度が含まれていました。 そのようなテストの規則によれば、嘘インジケータが設定されたしきい値を超えた場合、結果を解釈することは禁止されています。 参加者の1人が嘘の尺度で批判的なスコアを受け取り、結果の分析を拒否したとき、彼女は常に真実を語ろうとし、心理テストに嘘をつかないと言って非常に驚いた。 私たちは彼女との答えを分析することを約束しました。例えば、「私は常に青信号への道を渡ります」、「私は常に真実を語ります」、そして社会的望ましさに対する他の明白な質問です。 彼女全員に「はい」と答えました。 それから私は尋ねた：



「まあ、それについて考えてみると、あなたの人生全体で絶対に赤への道を渡ったことはありませんか？」

-もちろんです。 しかし、私は行動するのではなく、行動するのが正しいと思うので答えようとしました。 そして-人生でさまざまなことが起こります。



それにもかかわらず、テストのための詳細で明確な指示は、彼女自身の方法で女性によって理解されたことが判明しました。



例3：エンタープライズディレクター間の公式な関係における行動のスタイルの研究中、いつものように、私たちはより多くの女性を引き付けることができ、サンプルに強いバイアスがあったため、男性、大規模なディレクターからのいくつかのアンケートを知ったとき、私たちは非常に幸せでした状態 組織。 翌日、処理を開始する準備ができていましたが、夕方、ディレクターの一人が私に電話をしました。 彼は、複数のディレクターにアンケートを記入し、回答オプションの選択について議論があったため、テストのいくつかの状況について明確にしたいと喜んで言った。 専門能力開発に到着したディレクターは、コミュニケーションを組み合わせて興味深いテストを完了することを決定し、ホテルの部屋でプロファイルを一緒に記入し始め、各状況を活発に議論し、互いに議論し、説得しました。 個人的な行動スタイルの個別の研究がグループの意思決定に変わり、すべてのアンケートに同じように記入され、研究のすべての価値が失われました。

3.質問の文言の誤解

アンケートの作成、またはインタビューの計画には、 「質問はほとんど答えです」というルールが1つあります。 有益な答えは、非常によく考えられた質問でのみ得られます。 このような質問を作成するために、多くの準備作業が実行されます（記事の次の部分では、この準備の段階について説明します）。



しかし、研究者との経験から、このようなトレーニングに注意を払う人はほとんどいないことがわかります。 多くの場合、回答に対する責任は回答者に割り当てられます。回答者は、私たちの問題について定式化された意見を持ち、それを本当に表現したいと考えています。 多くの場合、これは完全に誤った仮定です。 研究者の問題だけでなく、質問の言語が回答者によって認識されないことがよくあります。









写真上：映画「ヒッチハイカーの銀河へのガイド」からのショット。



ウィキペディア：「人生、宇宙、そしてすべてのことに関する最大の質問に対する最終回答（...）：「42。」 反応はこれでした：

「42！」 スクイールド・ランクーオール。 「そして、750万年の仕事の後にあなたが言えることはそれだけですか？」

「私はすべてを非常に慎重にチェックしました」とコンピューターは言いました。「確実にこれが答えだと断言します。」 あなたがあなたに絶対に正直であるべきなら、全体のポイントはあなた自身が質問が何であるかを知らなかったということです。

「しかし、これは素晴らしい質問です！」 生命、宇宙、その他すべての最後の質問です！ -Lunkkuoolがほとばしった。

「はい」コンピュータは被害者の声で言って、丸馬鹿を啓発した。 「そして、この質問は何ですか？」

例1：かつて私と一緒に、制作会社のトップマネージャーが研究のアイデアを共有しました。 その瞬間、彼女はMBA研究を終え、職場の労働者の動機を研究することに興味を持つようになりました。 動機付けの研究は複雑なトピックであり、どの方法を使用するかを尋ねました。 「ここではどのような方法が必要ですか？ -彼女は驚いた。 「私は彼らに「何があなたをやる気にさせますか？」という質問を紙片に渡します。そして答えを集めます。」 彼女とのコミュニケーションが継続しなかったことは残念であり、工場労働者がどのようにアンケートを取り、彼女がそのような研究の結果をどのように使用したかはわかりませんでした。

例2：研究アンケートの言語と本番から記入する人々の言語との不一致の 2番目の例。 大規模な産業持株会社の人事部長は、数年以内にスタッフの関与を12％（！）増やすことができたという個人的な会話の中で、かつて自慢していました。 労働者と中間レベルの植物管理は特定の研究グループです。 彼はどのように彼らの関与を研究しましたか？ ギャラップ社からのアンケートであることが判明しました。



ここで明確にする必要があります。 アンケートを使用することの最大の欠点は、専門職の人々に対する質問の曖昧で不適合な文言（たとえば、質問番号5、6、8）ではなく、エンゲージメントの整数数値指標の計算によるテストとしての使用です。 言い換えれば、参加者がアンケートの文言を理解していなくても、研究者は回答を個別に分析せず、排出量を追跡せず、合計指標を計算します。 アンケートのテキストは写真に示されています。

写真：Gallupからのスタッフ関与アンケートのロシア語翻訳のオプションの1つ（出典：antropos.ru）。



Gallupアンケート（翻訳方法を使用する場合の必須手順）の適合と検証を含む出版物へのリンクを見つけることができませんでした。 それにもかかわらず、無料翻訳のいくつかのオプション、ビジネス出版物での使用に関する多くの推奨事項、およびスタッフの関与を測定するための唯一のツールとして12の未検証および未適応の質問を使用するコンサルティング会社からのさらなるオファーを見つけることができます。



当然のことながら、クライアントがレポートでエンゲージメントの一般化された指標と、さらに良いことにそのような指標の成長のみを見るとき、彼はそれらが得られた方法についてめったに尋ねません。

4.調査の焦点の誤解

問題の方向性を誤解することは、アンケート調査におけるはるかに複雑で広範囲にわたる間違いです。 人が一見明確に定式化された質問をどのように解釈できるかを推測することが不可能な場合があります。



この問題にはエレガントな解決策があります。これについては次のパートで説明します。 それまでの間、研究者が質問の真の意味を故意に隠したり、言い回しを混同して希望する答えを得たりする場合について話すことができます。



選択の錯覚。 社会的操作の実践には、そのような動きがあります。対話者に選択の幻想を提供します。その幻想では、彼の答えはマニピュレーターにとって有益です。 ファーストフードチェーンレストランを販売から選択するという幻想の典型的な例：顧客がコーヒーを注文すると、ウェイターは「コーヒーのマフィンまたはパイを取りますか？」（「コーヒーの何かが欲しいですか？」という質問は、販売の観点からはあまり効果的ではないと考えられます） ） このような動きは、調査の主催者が特定の回答に関心がある場合にアンケートでよく使用されます。

例：数年前、当社は有名な工場の中間管理職とトップ管理職向けに企業向けゲームを組織しました。 この少し前に、この工場の支配権はドイツ企業に買収され、すぐに企業行動基準の実施を開始しました。 ロシア語のこれらの基準は、ロシア語のメンタリティを完全に正確に翻訳するものではなく、必ずしも明確なものではない一連のルールを表しています。 ゲームには数時間しか割り当てられていませんでしたが、すぐに行動パターンを形成することは不可能であり、外国の規範の受け入れと受け入れさえもできないと説明しました。 彼らは、ゲームの目標は新しい基準によって引き起こされる感情的なストレスを軽減することであることに同意しました。 そのため、エンゲージメント、グループワーク、ポジティブな感情に焦点を当てた、各ルールとの相互作用に基づいたゲームとコンテストを開発しました。



ゲームは順調に進み、すべてのリーダーが関与し、分散して満足した。 そして数日後、会社の人事部は、経営陣に報告するために、ゲームに対する満足度の調査を行うように依頼しました。 私たちは、新しい規範が従業員に採用されず、さらに習慣にならないことを理解しました。 しかし、私たちの目標-ストレスを軽減する-は達成しました。 したがって、私たちのプロフィールは、試合後のポジティブな感情のみに焦点を合わせました（図を参照）。

写真：ゲームの参加者に対するフィードバックアンケートの断片。



質問5、6、および9は、選択の錯覚を伴う質問です。 彼らはかなりいっぱいに見えます。 しかし、よく見ると、答えは肯定的な評価を反映するか、記入した責任に責任を移します（「悪いゲームではなかった-私はまだ数か月間私に説明されている行動の基準を理解していません」、または「私はすでに標準の本質をよく理解しています」）。



最後の質問は、選択の錯覚を伴う質問の例です。 そのオプションはすべて肯定的です。 それを定式化して、レポートで結果がどのように見えるか、アンケートで事前に設定した肯定的な効果が図でどのように見えるか、マネージャーがそれらを検討するのがどれほど楽しいかを知っていました。 人がそのようなレポートを見るとき、彼はめったに否定的な答えがアンケートによって提供されたかどうかの問題を提起しません。

アクセント

調査の顧客がアンケートのソーステキストに興味がなく、参加者に提供されたオプションを指定していない場合、主催者は強調して結果の意味を置き換えることができます。

例：ロシア人の世論に関する研究の結果の最近の発表は、インターネット上で白熱した議論を引き起こしました（図を参照）。 基本的に、議論は「満足」という用語を中心に展開します。 そして、私たちの記事では、ロシア語の単語の再生により、調査の結果が記事のタイトルにどのように変換されたかが興味深いです。 見出しには「ロシア人の半分が国の経済に満足している」と書かれていますが、記事の書き起こしでは、経済を肯定的に評価したのはわずか6％でした。 レポートに「実質的な」結果のみが表示され、肯定的な評価のオプションが欠落している場合、言語の意味の豊富さのおかげで、「満足」という概念は非常に良い投票結果として認識されます（「3点」マークとしてではありません）。

写真：世論調査の結果に関するニュースの断片（ソース： www.solidarnost.org ）。

例2：強調の別の楽しい例。 検索エンジンに「ロシア人のほぼ半分が警察を信頼していない」というフレーズを入力すると、ソースvedomosti.ru、rbc.ru、echo.msk.ruなどへのリンクが表示されます。「ロシア人のほぼ半分が警察を信頼する」と入力すると、riaへのリンクが発行されます。 ru、news.sputnik.ru、 www.business-gazeta.ru 、ridus.ru（最後のソースは、スクリーンショットとは対照的に驚くべきものです）。

写真：ニュースフィードのスクリーンショット-さまざまな出版物による強調（ソース：joyreactor.cc）



概念の代替。 実際、生データとその収集方法を最初に調べることなく、顧客だけで研究結果を保護するという慣行は、データを改ざんし、改ざんせずに結果を操作するための巨大な分野を残しています。 このような場合、結果を分析する前に、アンケートのロジックと質問の焦点に注意を払うことが重要です。



したがって、トレーニングおよびコンサルティング会社の提案は、スタッフトレーニングまたは実装された実装の効果を評価し、顧客に投資利益率に関するレポートを提供するために、特に独自に面白いように見えます。 フィードバックアンケートでは、請負業者は従業員に何を質問するのではなく、最終レポートで概念を置き換えるよう依頼する場合があります。 しかし、顧客は非常に権威があり、内部サービスからの努力を必要としないため、通常、こうしたレポートを容易に受け入れます。

例：最近、PRサービスを提供する会社が紹介されました。 彼らは、この会社がKPI（主要業績評価指標）の活動に関するパーセントでの明確なレポートを提供する業界で数少ない会社の1つであることを誇らしげに説明しました。 実際、マーケティングおよびPRキャンペーンの効果を評価し、影響力のあるすべての市場状況から測定値をクリアすることは容易ではありません。 技術に興味があります。 そして、PR活動効率の測定方法と割合の計算方法を尋ねると、計画が測定単位として使用され（たとえば、「業界出版物に10件の記事を書く」）、レポートがこのボードの実装の計算に使用されることがわかりました（この会社のロジックによれば、9つの記事が書かれている場合、PRのKPIは90％完了しています）。 もちろん、プロセスと実際のKPIには区別があり、プロセスの正確な実行が重要なビジネスもあります。 しかし、これは、結果が達成されない場合にプロセスが重要でない領域には適用されません。 また、PRキャンペーンの効果に関する数値レポートを顧客に提供することで、これらの請負業者は概念を大まかに置き換えたのではないかと疑っています。

挑発的な言葉遣い。 アンケートの質問の調性、またはそのオリエンテーションは、参加者を特定の回答に導くことができます。 このような回答からの研究オーガナイザーの利点は、自分の立場を確認することです（たとえば、理論を偽造するとき、または経営上の決定を正当化するとき）。

例：この効果は、知的費用の節約に関するA. TverskyとD. Kahnemanによる「見込みの理論」でよく説明されています（人々が行った決定の非合理的な性質を研究したことでノーベル賞を受賞しました）。



「アジア病」として知られる提供された情報の文脈に応じて、ある調査研究で、参加者は問題を解決するよう求められました。「アメリカ合衆国が未知の600人が死にます。 この病気と闘うために、2つの代替プログラムが提案されています。 どちらを選ぶべきですか？」次に、同じ情報が異なる2つのグループの参加者に報告されましたが、フォーミュラは異なります（ポジティブフォーカスとネガティブフォーカス）。 実験の著者は、意思決定の労力を節約するために、人々は直観、過去の経験、より単純でより楽観的なオプションに依存することを好むことを証明しました。

写真：「アジア病」実験の「プログラム」の文言と参加者による回答の好み。



D.カーネマンの調査からのもう1つの一般的な例：被験者のグループが1つ尋ねられた場合：「ガンジーは114歳まで生きましたか？ 彼は何歳で死にましたか？」そしてもう1つ：「ガンジーは35歳まで生きましたか？ 彼は何歳で亡くなりましたか？」、最初のグループは、ガンジーの人生を2番目のグループよりもはるかに長く評価します。



そのため、アンケートの質問をうまく作成するか、肯定的な選択肢に焦点を当てるか、暗示的な数値を使用することで、研究者は「拘束効果」を生み出し、参加者の回答を操作できます。



2つ目のオプションは 、定式化のガイドの手法が適用され、アンケートを使用して研究参加者の信念を徐々に変更することです。 この場合、アウトラインが質問ごとに作成され、回答者は特定の方法で回答することを強制され、新しいアイデアと同様に回答に遭遇し、徐々に視点を変えます。 この方法の続きは、ニーズを作成する質問です（次の段落を参照）。

例：かつて私自身が厳密な操作調査の被害者になった。 評判の良い組織によって実施され、世界中の人々にオンラインで質問することを申し出ました。 この研究は、「あなたがどれだけ食べたかを評価する」という装いで行われました。 アンケートの開始は標準で、さまざまな製品について質問が行われましたが、徐々にアンケートは肉に関する質問（肉を食べるか、週に何回かなど）に絞り込まれました。 , , , . : «, , - ?» « , , , ?». : . , , « , ». . , , , - .

ニーズを生み出す調査。正しく定式化された質問の助けを借りて参加者に必要なニーズを作り出すことは、操作と販売のもう1つの戦術です。また、このイベントのアンケートは、販売会社に良いサポートを提供します。



「皮膚を適切にケアしますか？」または「身体の洗浄についてすべて知っていますか？」というスタイルの疑似社会学的な世論調査にだまされることはありません。3番目の質問が表示された後：「N社の製品に精通していますか？」約10年前、私たちの国では、これらの世論調査は非常に人気がありました。



ニーズを作成するための戦術がより巧妙に使用されるようになりました。最初のオプションは、企業の品揃えと新製品に関するアンケートを使用して参加者に密かに通知することです。これにより、意識が高まり、好奇心を呼び起こします（図を参照）。









写真：青少年による薬物使用のリスクグループを決定するために厚生省が推奨するアンケートの断片。質問の中には、「これが起こった場合、「異常な感覚」を得るために、接着剤、エアロゾル、ガソリンなどの吸入剤を何回嗅ぎましたか？」 10〜13歳の子供にアンケートを配布するよう申し出たが、それが両親の怒りの嵐を引き起こした。 （出典：Ridus.ru、RG.ru）。 ニーズ



を作成するための2番目のオプションは、クライアントにアンケートを提供することです。これは、クライアントが実際に必要とするサービス（製品）の種類を整理するのに役立つと考えられます。これは、これが明確な「悪の政策」であると言うことではありません。実際、このようなアンケートはクライアントのニーズを明確にするのに役立ちますが、販売には非常に役立ちます。



売却の本質は、調査を装ってのことです：



a）回答者は、何かを持っていない、または何かが非効率的に使用されている（不安を感じる）という考えに導かれる、

b）問題を解決するのに役立つ新しいサービス（製品、オプション）について通知する（彼は知らなかった）調査前）。



ニーズを作成するアンケートの近似アルゴリズム：



1.トピック「アイスブレーカー」に関する入門的な中立的な質問。

2.回答者の現在の状態に関する質問。これにより、彼は何かを失っている、または何かが古くなっているという考えに徐々につながります。

3.回答者がこの不足の結果が何であるかを理解しているかどうか、そしてそれが彼または彼のビジネスにとって個人的にどうなるかを明らかにする質問。

4。回答者がいくつかの決定（商品、サービス、技術）に精通しているかどうかに関する質問。

5.回答者にこれらの解決策が彼の問題にどのように役立つかを正確に知らせる質問。

6.購入を示唆する質問（価格、割引、条件に関する情報）。

7.このソリューションを購入すると、回答者の問題が解決され、追加の特典を受けることを確認する質問。

例：アンケートを使用してこの記事を販売したい場合 , , ( ). , , , . , - , - , , . , - . , , , , , , . , . , , , , -, , , , .

この例では、販売の「白い糸」が依然としてはっきりと見えますが、回答者がクライアントのステータスに近づき（たとえば、製品のWebサイトでアンケートに記入する）、購入に近ければ近いほど、彼らはそのようなアンケートをよりよく認識し、増加しやすくなります追加の販売による彼の購入量。



3番目のオプション現在、非常に人気のあるニーズプロファイルの作成は、楽しいテストです。インターネットユーザーは、「コンピューターゲームが得意ですか？」（特定の会社のゲームの革新をリストするいくつかの質問をうっかり追加できる）、「時間を管理する方法を知っていますか？」（ここでは、販売したいモバイルアプリなど）そのようなテストは、広告の性質が明らかである場合でも、時にはプロフェッショナルに見え、肯定的な感情をもたらします。

: «». « », , . , . , , .



- , , :



– , !

– , , : « , U. , , – . , – ».



マーケティングのトリックと操作について多くを知っていたので、私たちはまだこのテストを積極的に受け、コンテンツのプレゼンテーションと有用性がテスト主催者の真の目標に関する知識を超えたため、会社に興味を持ちました。



テストの質問の1つが図に示されています。

写真：イタリアチーズの知識のテストの質問の1つ（ソース）。



オフセットポーリング。隠された動機を持つこの世論調査のリストとは別に、偏った目的を持つ世論調査は、主に操作のためではなく、回答者の動機のよりエレガントな研究のために使用されるため、直接的な質問の助けを借りてこれを行うことが不可能な場合に使用されます

例： , . . ( ) . , , , . , , . , ( ), , . , «, , ». , , , . , , ( – , ).

5.評価基準の誤解

研究者は、評価基準が参加者にとって直感的であることを期待して常に評価基準を明確にするわけではありません。

例：従来、調査のために送られてきた数十のアンケートのうち、約30％に1〜5ポイントのパラメーター（サービス、製品）を評価する質問が含まれていますが、値のデコード、または少なくとも正の極の兆候は含まれていません。オーガナイザーが回答者の格付けの直径の違いに注意を払って、ランキングの「1位」であると仮定して一部の回答者が「1」を入れ、他の回答者が「1」を最低スコアとして置くことに気付いた場合、研究全体が消えることがあります。

そのような状況から抜け出す方法として、より詳細な表現を含むリッカート尺度（Lakert、Likert）を評価に使用するのが慣例です（例えば、「私は完全に嫌いです」から「とても好きです」、または「決して」から「非常に頻繁に」）。さまざまな質問のために、このスケールの多くの定式化を見つけるか、思い付くことができます。しかし、このスケールには欠点もあります。たとえば、さまざまな人の一部のアクションの頻度についての主観的な理解が異なる場合があるためです。また、頻度についての意見ではなく、ある程度正確な指標を知ることが重要な場合は、そのような回答オプションを正確な間隔で指定することをお勧めします（例：「1年に1回未満」-「...」-「1日に数回」）。









写真：ウェブサイトで公開されたアンケート調査に対する参加者のコメント（出典：pikabu.ru）



回答オプションの開発は、アンケートを使用して複雑で主観的に重要なパラメーターを評価する場合に特に重要になります。このような場合、回答者は「メンタルセービング」を行いやすく、質問を考えずにオブジェクトの一般的な考え方に対応する評価オプションを選択します（たとえば、「私は一般的にゲームが好きで、どこにでも4と5を置きます-それは問題ではありません。 、またはプレイヤーからのフィードバックのレベル "）。



このような平均推定値は、360度法を使用して従業員を評価するときによく見られます。同僚を評価するとき、評価するパラメーターに関係なく、「愛する人」にプラスのスコアを、「愛する人」にニュートラルまたはネガティブのスコアを与える傾向がありますこれらの指標でも高得点を得るために上昇しません」。その結果、このような評価は、会社の従業員の間で実際の問題点を特定することを可能にしないため、研究の主催者にとってはまったく役に立たないことが判明しました。



IT製品を使用してユーザーエクスペリエンスを評価する場合、状況はまったく同じです。ユーザーが一般にサイトまたは会社を好む場合、一般的に「誰も怒らせない」ために高い評価を与える傾向があります。そして、このような調査は、開発者が製品を改善するのに役立ちません。

例： , «». , . . , . , ( ) , . « ? !» – . , «», , , , , ., .

このような場合、研究者の曲技飛行は、人の行動（または製品を評価するとき-特にユーザーとの相互作用）の質の発現の例を記述する「行動」応答オプションの開発です。行動の選択肢によれば、どちらがポジティブでどれがネガティブかを明確に決定することは不可能であり、回答者は現実に最も近いオプションを選択する必要があります。

: : « » ( ) – « , , ; , » ( ). , .

: « » 360 . , , , ( ).



行動評価オプションの開発は難しいステップです。実際の動作（または製品とのユーザーインタラクション）でどのように表示されるかが完全に明確でない場合、適切なオプションを選択することは特に困難です。たとえば、ゲームのサウンドエフェクトを評価する場合、最高のサウンドレーティングは次のとおりです。「サウンドはゲームの邪魔にならず、良い背景を作成します」または「サウンドは重要な役割を果たし、ゲームのダイナミクスを監視し、プレイヤーにアクションを促す」。評価オプションが実際のユーザーエクスペリエンスに最も適切であるために、運用化段階が使用されます。これについては、記事の次の部分で詳しく説明します。

簡単な結論

研究オーガナイザーに明らかな調査手順が参加者によって誤解されている例を説明しようとしました。 回答者は、単語やフレーズ、質問の文言、アンケートの指示、評価基準、質問の焦点を誤解する場合があります。 これらの問題により、無関係な情報が収集されたり、アンケートが返されなくなります。



また、調査の結果を操作するために、回答者の混乱が意図的に引き起こされる例を検討しました。 そのような操作の中で：



-選択の錯覚を提供します。

-アクセントの配置;

-概念の代替。

-暗示的な言語。

-バインディング効果の使用;

-ニーズの作成：1）情報と好奇心、2）不安の誘発、3）楽しいテスト、

-偏ったターゲットでのポーリング。



アンケート調査の結果を提示することにより、研究者があなたの意見を操作していないかどうかを評価するには、研究手順についていくつかの質問をすることができます。



1.アンケートのソーステキストを確認し、結果に慣れる前に自分で記入するように依頼します（さらに良いこと-調査を承認する前に）。

2.一般的なクライアントまたは従業員がこのアンケートにどのように記入するか想像してください（すべての用語と言葉遣いが彼に明らかであるかどうか）。

3.質問と回答の選択肢の文言に注意してください。否定的な選択肢はありますか。肯定的な選択肢と同等の位置を占めていますか。

4.アンケートの質問に示唆的な言葉や「拘束力」があるかどうかに注意してください。

5.アンケートで評価基準がどの程度明確かつ具体的に策定されているかを確認します（「メンタルセービング」を引き起こしますか？ニュートラルまたは非常に肯定的な回答）。 最良の選択肢は、評価基準が行動例で定式化されている場合です。

6.最終報告書を分析するとき、結論が基づいているアンケートの質問の基礎に注意を払ってください：研究者が概念を代用しないでください、事実として回答者の意見を与えないでください。

7.外国の方法論を使用している場合（有名な会社など）、翻訳、適合、検証の手順の説明が記載された出版物へのリンクを参照してください。 これらの手順がなければ、開発者のステータスに関係なく、テクニックを信頼できる調査方法と見なすことはできません。

8.サンプリングの偏りを避けるために、グループごとの調査参加者の正確な分布（性別、年齢、社会的地位、または部門、職位）を求めます（これについては、サンプルに関する前の記事で詳しく説明します）。



次の記事：



間違い2.質問の文言：なぜあなたは理解されていると決めたのですか？ （2部）

間違い3.世論調査の嘘の種類：なぜあなたは答えを信じますか？

間違い4.意見は行動とは異なります。あなたが本当に知りたいことを尋ねていますか？

間違い5.アンケートの種類：確認または確認する必要がありますか？

間違い6.サンプルを分離して飽和させます。平均は何も理解するのに役立ちません。

間違い7.悪名高い「ネットプロモータースコア」はエレガントなソリューションではありません。