Kotlinの調査結果：ちょっとした調査

JetBrainsは最近、Kotlin言語のユーザーを対象に調査を実施しました。 予想される新機能の簡単な調査により、予期しない結果が生じました。 調査オーガナイザーと一緒に、なぜこれが起こるのかを調査することにしました。



結果は、統計、ツイート、適合性、提案、および衣服の割引に関する話です。





図1.調査結果の写真



この記事は、ユーザーの調査や研究に従事している人にとって興味深いものです。



そのため、春には、次のリリースで見たい機能について、Kotlin言語のユーザーを対象とした国際的な投票が行われました。 その後、Kotlinブログに研究結果と生データへのリンクを含む投稿が掲載されました。



この研究は2段階で実施されました。 言語の一部のユーザーは、オンラインアンケートに記入された2番目の部分であるKotlin 1.1専用の会議で投票しました。 結果は2つの評価で、それぞれに3つの明確なお気に入りがありました（図2）。 そして、お気に入りは一致しませんでした。





図2. Kotlin 1.2で予想される新機能の評価：オフラインおよびオンライン調査の結果



なぜ2つの投票の結果が互いに異なるのですか？



主催者は2つの説明を提供しました。



1. グループ間の違い。 Mitapの参加者は、他のKotlinユーザーとは異なります。

2. バイアス。 オフライン投票では、参加者は他の人が投票する機能を見て、これが彼らの意見に影響を与える可能性がありました。



結果が異なる理由をさらに詳しく理解してみましょう。 小規模な調査を実施し、質問に答えます。



1. mitapsの参加者と他のユーザーの間に本当に違いはありますか？

2.同僚の意見は、会議の参加者の声に本当に影響を与えましたか？

3.会議の参加者と他のユーザーは、同じように投票条件を認識しましたか？

4.なぜトップ3が他の機能よりもオンライン投票の格付けで有意に多くの票を得たのですか？



最初に、調査がどのように進んだかを復元します。

研究手順

調査は2つの部分で構成されていました。



オフライン部分は 、会議の参加者によって埋められました。 ほとんどのミートアップは、3月23日に世界21か国で一度に開催されました（合計30のミートアップ）。 参加者は、Kotlin 1.1の機能のデモンストレーションのライブブロードキャストを視聴し、その後、新機能の登場に投票することができました。 デモの前に投票したmitapもあります（図3）。 これを行うには、機能の説明とともにカードに添付する必要があった3つの丸いオレンジ色のステッカーが与えられました。 機能ごとに1つのステッカーを使用することも、1つの機能に対して2つまたは3つすべてのステッカーで投票することもできます。 各コミュニティは研究主催者に評価（各機能に残されたステッカーの総数）のみを与えたため、各会議で投票に参加した人数を復元することは不可能になりました。 22のコミュニティが評価に合格しました。





図3：Kotlinコミュニティのツイートの写真（壁に見える投票カード）



調査のオンライン部分はオフライン部分の後に通過しました。 Kotlinブログに、放送のビデオ録画とコミュニティ調査に関するストーリーを掲載した記事が掲載されました。 調査では多くの注目を集めたと記事に書かれていましたが、今ではクリエーターはオンラインでそれをすべての人に渡し、「Kotlinの将来について意見を表明する」と申し出ています。



参加者は、言語の期待される機能についての同じ一見質問でオンラインアンケートを提供されました。 アンケートの最後に、mitap後に使用された各機能の説明が記載された同じカードが添付されました。 さらに、最も望ましくない機能に関する質問がアンケートに追加されました。 オンラインアンケートに対して851件の返信がありました。

調査結果

両方の調査のデータは、単純な合計によって処理されました。 結果は2つのリストでした-オンラインおよびオフラインの評価で、それぞれに3つの明示的なお気に入りがあり（図2）、お気に入りは一致しませんでした。



関数＃18「真に不変のデータ」のみが、両方の投票で同時に上位3位に入っていました。 最初の6つは多かれ少なかれ、2つの関数を除いて混合順序で一致しました：関数＃4オンラインポーリングの「テストからアクセス可能なプライベートメンバー」は12行目のみで、最大得票数が得られ、関数＃9「インラインクラス」 /価値調査」は、オフライン調査では17行目でした。



したがって、両方の投票のリーダーは次のとおりです。

＃18真に不変のデータ

＃1：マルチキャッチ

＃13：KotlinインターフェイスのSAM変換

＃6：コレクションリテラル

＃8：リストと配列のスライス

議論

1.本当に違いはありますか？



図では、違いがはっきりと見えます。 しかし、これは研究者が警告する最初のtrapです。グループ間の違いについての結論は、平均または頻度の単純な計算によっては行われません。 「病院の平均」についてのジョークがあるはずです。 オフライン投票カードの写真では、さまざまな機能がさまざまな会議のオピニオンリーダーであることがわかりました。 参加者の意見が大きく異なり、結果の評価が単にランダムな変動の結果である場合はどうなりますか？



仮説をテストする

このような推測は統計によって確認されます。 しかし、今回のケースでは、2種類の生データが得られました。オンライン投票の名目データとオフライン投票の定量データです。 したがって、最終リストの相関関係を見てみましょう。 2つのリスト間の相関がmitapのリスト間の相関よりも強いことが判明した場合、これは、異なるmitapの参加者間の合意がmitapsとオンライン投票のすべての参加者間のよりも少ないことを意味します。 そしてこれは、会議の参加者とオンライン投票の参加者が本質的に異なる2つのグループであると結論付けることができないことを意味します。



オンライン投票とオフライン投票の間のスピアマンの相関係数は、r = 0.680、p = 0.001です。 J. Cohenの社会研究の分類では、これは関係のかなり高い指標です（> 0.5-有意な相関）。

次に、mitapスコアが互いにどのように相関するかを見てみましょう。 0.680の値を超えるmitapのリスト間に単一の相関関係はないことが判明しました。 ベルギーとベルリンの間で最も強い相関関係（0.618）が現れました。 さらに、負の相関関係もありました（たとえば、リマとブダペストの間に-0.454：これらの違いに説明があるかどうかを知ることは興味深いでしょう）。



言い換えると、異なる国の集会参加者は、一般的にオンラインユーザーに同意するよりも、お互いに同意する可能性が低くなります。

この効果については、社会心理学から興味深い例があります。

伝統的な信念にもかかわらず、科学的研究は、グループ間（男性と女性の間）の差は性別グループ内の差（例えば、女性間のみ）よりも重要でないことが多いことを示しています。



そのため、さまざまな国で、男の子と女の子の数学能力の研究が行われました。 いくつかの国では、男の子はより良く、他の国では女の子でした​​。 どこでも、違いは統計的に有意でした。 そして、そのような研究を1つだけ知っていれば、これは男性と女性の数学的能力についての私たちの考えを形作ることができます。 しかし、科学者はメタスタディを行い、グループ内のばらつきを確認しました。 ほとんどの国では、男の子と女の子の差は、男の子と女の子のグループ内の差よりも小さかった（ D. Baker、D. Jones、1993 ）。



多くの場合、明らかに私たちとは異なるグループには、さらに大きなばらつきがあります。 人種グループ内でそのような研究について学ぶことは特に興味深い（ Zuckerman、1990 ）。

現在、グループ間のグローバルな違いについて話すことはできないようです。 しかし、疑問は残ります。なぜ結果が正確にそのように配信されたのか、格付けに明らかに多くの票を獲得した明確なお気に入りがあるのはなぜですか？ 他に参加者の声に影響を与えるものはありますか？



2.参加者は互いに影響を及ぼしましたか？



研究の主催者によると、mitapsに対する共同投票は参加者の反応に影響を与え、意見を変える可能性があります。



そうだとすると、グループ内の回答は混雑して分散され、小さな広がりがあります（グループでは全員が同じように投票します）。



仮説をテストする



投票の様子を復元してみましょう。 Twitterを見てみましょう。 ここでハッシュタグ#kotlinと#kotlineventの下に、mitapsとpollsの写真がたくさんあります（図4）。 確かに、写真は参加者が一緒に投票し、彼らの評価を議論したかもしれないことを示しています。





図4.投票の写真を集めた集会参加者のツイート



1つの図にミタップを表示してみましょう（図5）。 各mitapがどのように投票したかを視覚的に評価することは困難ですが、評価がどのように異なって分布しているかをはっきりと見ることができます（この分布は、グループ間の弱い関係に関する仮説をもう一度確認します）。





図5. mitapでの投票の分布



図は、評価「1」が他よりも頻繁に付けられたことを示しています。 つまり、ベルリンとベルギーを除くすべてのグループで、1人が1つのステッカーで投票する機能がありました。 ベルギーでは6票のみが参加し（3つの機能に対して2票ずつ分配されました）、ベルリンでは多くの参加者しかいませんでした（90票）。 そのため、ほとんどすべてのコミュニティには、意見が多数派と一致しなかった参加者がいました。



各コミュニティの参加者の全会一致を確認するために、グループでの評価の広がりを評価しましょう。 特定のデータ型のため、グループ内での標準偏差の適用は失敗します。 しかし、各グループに0以外の評価がいくつ置かれているかがわかります。 そのため、参加者がどのグループでほぼ同じ機能に投票し、どのグループで-異なる（表1）に投票したかを確認します。



表1.関数の数とmitap投票の合計投票数。







mitap名の表の数字は、投票が行われた関数の数、およびmitapからの投票の総数を意味します。 最初の数字が大きいほど、参加者間の合意は少なくなりました。 最小の3つを除くすべてのグループで、10を超えるさまざまな機能に対して投票が行われたことが判明しました。 この評価のばらつきは、参加者が完全に独立して投票したことを示唆しています。 互いに真似をすると、たとえば3つの同一の機能に対して投票が行われます。



したがって、投票の分布によると、集会の参加者は独立して投票されていると結論付けることができます 。 そして最初、私はすぐにこの結論を導き出しました。 しかし、その後、研究の主催者と私の結論を議論した後、論理的な質問を得ました：20のうち10の機能のグループ（つまり、提案された機能の半分のみ）の選択は投票の大きな広がりを示していますか？ このデータは、参加者の投票が調整されていないと結論付けるのに十分ですか？



これを確認するために、データを別の方法で見てみましょう。 この図は、多くのmitapで外れ値があったことを示しています。一部の機能は他の機能よりもかなり多くのポイントを受け取り、ほとんどの参加者が投票しました。 Kolmogorov-Smirnov基準を使用して、mitapの推定値の分布の正規性を確認します。 Kolmogorov-Smirnov基準を使用する場合、正規分布からの偏差はp <0.05の値で有意と見なされます。



したがって、推定値の分布は、ラオス、ロンドン、ミンスク、リオ、クラクフのグループでのみ正常に近いことが判明しました（国境で、p = 0.047）。 残りのグループでは、推定値が大幅にシフトしました。 これらの外れ値をよりよく調べるために、mitapの参加者が1つの機能に投票したとされる人数を計算しました。



各参加者が1つの機能に対して1つのステッカーで投票したと仮定すると、同じ機能を選択した参加者の割合を概算できます。







次に、各mitapで最も人気のある機能に投票した参加者の割合を見てみましょう（表2）。



表2. mitap参加者の最大評価とシェア*。





*カッコ内-複数の機能に最高の評価が与えられた場合、値が重複する



ほとんどすべてのグループで、参加者の半数以上が同じ機能に投票したことがわかりました。 最小のグループでは、全会一致の参加者のシェアが最高値に達しました。バンコク-14人の参加者の71％。 マンチェスター-5人の参加者の80％、ネタニア-3人の参加者の100％。 ベルギー-3人の参加者の100％。 反対に、大規模なグループでは、一貫性が低くなりました。ベルリン-30人の参加者の40％。 ロンドン-23人の参加者の43％。 ラオス-19人の参加者の32％、しかし彼らの背景に対してミンスクは大規模なグループとかなり一致していることが判明した-28人の参加者の50％。



各mitapの参加者の半数以上の回答は一貫していましたが、同時にmitap間で異なっていたため、すべてのKotlinユーザーが1つの機能を選好する可能性は除外されました。 そして、これはmitapsの内部で、ユーザーがそれでも機能に関する一般的な観点に焦点を合わせたことを示唆しています。 グループが小さければ小さいほど、そのメンバーの反応はより似てきます。

実際、他者の行動は大人の健全な人々に影響を及ぼします。 これは多くの適合性実験で説明されています。 しかし、グループのプレッシャーだけでなく、単に他の人の行動のモデルが人の行動を変える場合もあります。



ニューヨークのにぎやかな通りでのS.ミルグラムの実験で 、実験者の共犯者は立ち止まり、一点を見始めて頭を上げた。 通行人の数は、グループが成長するにつれて増加することが判明しました。 普通の人も立ち止まって見上げ始めましたが、他の人がどこを見ているのかはわかりません。 実験は、共犯者の数を変えて実施されました。 彼らが（1から5まで）多ければ多いほど、彼らはより多くの模倣者を引き付けました。 しかし、共犯者のグループの規模が5人を超えた後、模倣者の成長は止まりました。 グループは大きくなりましたが、模倣品はもうありませんでした。



他の研究-Gerard（1968）およびRosenberg（1961） -では、5人を超えるグループの増加が適合性の低下につながることも示されました。

そのため、コミュニティのメンバーがコンセンサスを表明したと信じる理由があります。 また、回答の一貫性は高く、グループの構成は小さくなりました。 ただし、各参加者が各機能に対して1回投票すると仮定したため、これらの計算は概算です。 参加者は他の人の投票を見ました。 他に何が影響しますか？ おそらく、参加者は答えだけでなく、投票方法もコピーできたでしょう。



たとえば、一部のコミュニティでは、最初の回答者が1つの機能に2枚または3枚のステッカーを使用した場合、他の人はこの投票モデルを繰り返すことができ、回答の分布に影響します。 これについて詳しく説明します。



3.学習条件は同じでしたか？



これは、研究方法論の観点からのより興味深い質問です。 2つのディストリビューションには、3つの明示的なお気に入りがあります。 評価の範囲が大きい場合、なぜ彼らは目立ったのですか？ 両方のグループの条件はどの程度似ていましたか？ そして、それは1つの研究でしたか、2つの完全に異なる研究でしたか？



投票がどうなったか想像してみてください。



mitapsの参加者に3つの丸いオレンジ色のステッカーが与えられたとき、コインとして使用する機会がありました。1つの機能に対して2つまたは3つのステッカーで投票するためです。 そして、オンライン研究の条件は異なって知覚される可能性があります。 マニュアルでは1つの機能を2回または3回選択できるように書かれていますが、質問の文言（「最も期待される機能1」、「最も期待される機能2」、「最も期待される機能3」）それぞれの質問で新しい関数（1番目、2番目、3番目）。



仮説をテストする

オンライン調査の生データは、1つの機能に2回投票したのは10人のみで、85回のうち8回は3回投票したことを示しています。同時に、11人の参加者がすべての投票オプションを使用せず、3つの質問のうち2つだけに回答しました。



そして、オフライン投票には何がありましたか？ 生データからは、間接的な結論しか得られません。 たとえば、22のミタップのうち、総投票数の10は3の倍数ではありません。つまり、10のミタップ（少なくとも）で、1人または数人の参加者も投票時にすべてのステッカーを使用しませんでした。



さらに、mitapの評価では、22の内20のmitapに1票の機能があります（参加者1人がステッカー1枚で投票しました）。 つまり、会議には、1つの機能に対してすべての票を投じなかった人もいました。 しかし、そのような人々がオンライン投票と比較された場合、データから理解することは困難です。



参加者が2つまたは3つのステッカーで1つの機能に投票する頻度をいくつかのmitapに尋ね、これまでのところキエフとミンスクからのみ回答を得ました。 主催者は、参加者が機能ごとにいくつかのステッカーを接着することはめったにないと述べた。 通常、1つの機能に対して1つのステッカーで投票しました。



そのため、mitapsの参加者とオンライン調査の参加者が投票指示を異なって理解したという仮説を確認または反証することはまだできません。 これまでのところ、議論は、どちらの場合も、投票方法に関係なく、参加者が3つの異なる機能に投票する頻度が高いことを示しています。



4.「3-7-エース。」 それとも提案がありましたか？



質問は私を去りません：なぜそのようなリーダーはオンライン投票で際立っていました：＃6（マージンあり）-＃13-＃18？



851人のうち128人が最初の機能を選択し、98人が2番目、60人が3番目に選択しました。 これらのうち、2つしか機能＃6を2回選択していません。 15人が望ましくないものとして彼女に投票しました。 つまり、機能＃6の場合、284人の参加者が肯定的に投票したか、3人に1人の割合で投票しました。



同時に、グループの半分のオフライン投票では、 誰も、またはほとんど誰も彼女に投票しませんでした。10グループでは、機能＃6が0または1票を獲得しました。 ただし、グループ1で最多票を獲得し、他の2つのグループでは、機能＃18で1位を共有しました。 オフライン投票の＃6に投じられた総投票数は941の60でした。これは、オフライン投票の参加者の最大19％が機能＃6を選択したことを意味します。 実際、全員が3票を投じたわけではなく、一部は再び機能に投票できるため、それらの数は少なくなりました。



オフラインの投票で彼女が総合評価で6位だったのに、なぜオンラインの人々は＃6に投票したのですか？ 他の何かが参加者の反応に影響を与えたのでしょうか？



仮説をテストする

まず、オンライン評価の性質がオフラインと本当に異なるかどうかを確認しましょう。 視覚的には、オフライン評価での評価の分布はよりスムーズに見えます。 Kolmogorov-Smirnov統計検定を使用して、推定値の分布を正規分布と比較します。



実際、オフライン評価の正規分布からの偏差の誤差はp = 0.087ですが、オンライン評価では誤差ははるかに小さく、p = 0.016です。 そのため、オフライン調査の評価は通常通りに配布され、オンライン調査では3つの機能が著しく高く評価されました。 視覚的評価は失敗しませんでした。



そのため、なぜこれらの関数が正確に＃6-＃13-＃18がそのようなマージンで投票に勝ったのかを理解する必要があります。



オンライン調査の条件をもう一度評価しましょう。



オフラインの調査が多くの注目を集めたと述べているブログ投稿がKotlinブログに投稿されています。 次に、読者は投票してオンライン調査へのリンクを投稿することもできます。



Kotlinブログの投稿がどのように設計されたかをもう一度見てみましょう。 しかしその前に、今読んでいる記事の最初の写真を検討したかどうかを思い出してください。 どのカードのオレンジ色のステッカーが最も多くなっていることに気づきましたか？ Kotlin言語に精通しており、v.1.2で追加される機能について懸念がある場合、これらのカードはおそらくあなたにとって何かを意味します。 私が開発者であれば、私は間違いなくそれらを考慮し、人々がなぜ彼らに投票したのかを理解しようとします。



そのため、私は記事のタイトル画像と同じ写真コラージュを選択しました。これは、調査への参加の招待状のすぐ上にあるKotlinブログに投稿されました。 それをさらに詳しく検討しましょう（図6）。 一番最初（左）の最大の画像では、関数＃6、＃13および＃18に対して最も多くの票が投じられたことがはっきりとわかります。 カードはこの順序で配置され、カード＃6は他のカードよりも見やすく、最初に読み取られます。





図6.オンラインテストに招待するKotlinブログ投稿のフラグメント



したがって、調査の結果を含む写真は、参加者（意識または無意識）の評価に影響を与え、投票の分布を変更する可能性があります。 これは、 以前の記事の 1つで書いたアンケート調査への影響に関する「拘束効果」の効果に似ています。

「結合効果」は、D。カーネマンの研究の1つで説明されています。 被験者のグループに尋ねると、「ガンジーは114歳で生きていましたか？ 彼は何歳で死にましたか？」そしてもう1つ：「ガンジーは35歳まで生きましたか？ 彼は何歳で亡くなりましたか？」、最初のグループは、ガンジーの人生を2番目のグループよりもはるかに長く評価します。



ほとんどの場合、ペギング効果は、他の商品がより高価であることを指定せずに商品のグループに最低価格が書き込まれている場合に取引で使用されます（図7）。 または、逆に、最初に最も高価な商品が展示され、他の商品の割引がより実質的であると認識される場合。





図7.拘束効果は衣料品店でよく使用され、カウンターの最低価格または最大の割引を示しますが、カウンターに掛かっているすべての物に対応するわけではありません



興味深いことに、研究は、たとえ人がそれを知っていたとしても、結合効果が働き続けることを示しています。

Kotlin言語で作業しているプログラマーが、ランダムな写真で見た答えをエミュレートしたとは信じられません。 一方、アンケートの回答に対する「拘束効果」の影響は科学で長い間説明されており、写真はそれほどランダムではありませんでした。 そのため、一部の参加者にとって、写真が影響を与える可能性があると想定できます。 それを証明するために追加の研究を組織する必要があるため、この仮説は未検証のままである可​​能性があります。

結論

記事の冒頭にある質問に答えます。



1. mitapsの参加者と他のユーザーの間に本当に違いはありますか？ -会議の参加者の投票では、会議のすべての参加者の投票と他のユーザーの投票よりも多くの違いがあったため、このような結論を出すことはできません。



2.同僚の意見は、会議の参加者の声に本当に影響を与えましたか？ -いくつかの仮定で、集会の参加者がコンサートで投票したと結論付けることができます。 また、回答の一貫性は高く、グループのサイズは小さくなりました。



3.会議の参加者と他のユーザーは、同じように投票条件を認識しましたか？ -さまざまな研究条件が異なる投票スタイルにつながる可能性があるため、オンライン投票ではなく、mitapsでボトム関数の2倍および3票がより頻繁に与えられました。 これを証明するのに十分なデータがありません。 それどころか、間接的な議論は、ほとんどの参加者が3つの異なる機能に投票することを好んだことを示しています。



4.上位3人がオンライン投票の評価で他の票よりも有意に多く票を獲得したのはなぜですか？ -オンライン投票の評価における3つの機能（＃6-＃13-＃18）は、実際、参加者によって格段に高く評価されています。 これはおそらく、そのような数字のカードが他のカードよりも高い評価を受けた写真のオンライン調査への招待状に掲載されたため、「拘束効果」の効果によるものです。



これまでのところ、私が見つけたのはそれだけです。 他のアイデア、または統計手法を選択するための推奨事項がある場合は、コメントでそれらを聞いてうれしいです。

質問があるユーザーまたは従業員による調査の事例がある場合は、お問い合わせください。



Alina Dolgikhが提供した資料と記事の重要な議論に感謝するとともに、Facebookコミュニティ「Statistics and Data Analysis」の参加者に統計手法の選択を支援する意欲があることを感謝します。