実験せずに因果関係を確認する方法は？

今日は、実験とA / Bテストを実施することが不可能な場合の現象間の因果関係の確立についてお話します。 これは、統計や機械学習の初心者、またはそのような問題を以前に考えたことのない人に役立つかなり単純な記事です。



新しい薬をテストしている患者は、薬のために本当に良くなっていますか、それとも回復しましたか？ あなたの売り手は本当に効果的ですか、それとも彼らはすでに購入する準備ができている顧客と話していますか？ Soylent（または会社に100万ドルの費用がかかる広告キャンペーン）はあなたの時間の価値がありますか？

因果関係の確立

因果関係は非常に重要ですが、確立するのが非常に難しい場合もあります。



同僚がテーブルに来ます。 彼は、可溶性食品の代用品であるSoylentを練り、試してみることを勧めます。 Soylentはうんざりしているように見えますが、なぜ有用なのか疑問に思っています。 同僚は、この飲み物を数か月間飲んでいる友人が最近マラソンを走ったと答えています。 そしてその前に、彼らは走りませんでしたか？ -私たちは走りました、昨年彼らはマラソンも走りました。



理想的な世界では、いつでも実験を行うことができます-因果関係を確立するためのゴールドスタンダードです。 実際には、これは常に可能とは限りません。 プラセボまたはテストされていない危険な薬物の倫理的使用について疑問があります。 経営陣は、利益の短期的な増加を得るためにランダムなバイヤーに製品を販売しようとはしないかもしれず、販売ボーナスを受け取るチームはこの考えに反抗するかもしれません。



A / Bテストを使用せずに因果関係を確立する方法 これが、因果関係を確立する傾向モデリングおよびその他の方法が作用する場所です。

傾向モデリング

したがって、傾向モデリング手法（コンプライアンスインデックスに従って制御グループを選択する手法）を使用してSoylentを使用した効果をシミュレートするとします。 彼の考えを説明するために、思考実験を実施しましょう。



ブラッド・ピットに双子の兄弟がいると想像してください-彼の正確なコピー。 ブラッド1とブラッド2は同時に起きて、等しく食べ、同じ身体活動をします。 Brad 1が最後のSoylentパックを露天商人から購入すると、Brad 2には時間がないため、Brad 1だけがSoylentを食事に含め始めます。 このようなシナリオでは、双子の幸福度のさらなる違いは、間違いなくSolentの使用の結果です。



上記のシナリオを実生活に変換すると、Soylentの健康への影響を評価する方法の1つは次のようになります。



Soylentを使用する各個人について、観察可能な特性が最初のものに匹敵する非ユーザーを見つけます。 たとえば、ソラレントジェイ-Zを飲むカニエウェスト、キラナイトレイを使用しないナタリーポートマンを使用するカニエウェスト、ステファニーマイヤーを愛するソイレント恋人J.K.ローリングを一致させることができます。

「双子」の各ペア間の差として、ソレント効果を測定します。



ただし、実際には、最も似ている人を見つけるのは非常に困難です。 Jay-Zがカニエよりも平均して1時間寝ている場合、Jay-Zは本当にカニエに対応していますか？ Jonas BrothersとOne Directionを一致させることはできますか？



傾向モデリングは、制御グループを選択するための前述の方法を単純化したものです。 多数の特性に基づいて類似の個人を見つける代わりに、個人がSoylentを飲む確率（「傾向」、「傾向」）を特徴付ける1つの単一の指標に基づいて通信を確立します。



より詳細には、コンプライアンスインデックスに基づいてコントロールグループを選択する方法は次のとおりです。

• 最初に、個人のどの特性が選択基準として機能するかを決定します（たとえば、人が寝るときの食べ方、住む場所など）。
  
  
  
  
• 次に、選択した変数に基づいて確率モデル（ロジスティック回帰など）を構築し、ユーザーがSoylentを飲むかどうかを予測します。 たとえば、トレーニングサンプルは2016年3月の最初の週に飲み物を注文した多くの人々で構成され、分類子をトレーニングして、どのユーザーがSoylentのユーザーになるかを決定します。
  
  
  
  
• 製品のユーザーになる個人の確率的評価は、 コンプライアンスインデックスと呼ばれます 。
  
  
  
  
• 複数のグループを形成します。たとえば、10個のグループのみとします。最初のグループには、Soylentを開始する確率が0〜0.1のユーザー、2番目のグループには確率が0.1〜0.2などが含まれます。
  
  
  
  
• 最後に、飲料の効果を評価するために、各グループのSoylentの付着物と非付着物を比較します（たとえば、身体活動、体重、またはその他の健康の指標を比較します）。

たとえば、年齢別の飲酒者と非飲酒者の仮想的な分布を次に示します。 飲酒する人はほとんど年上であることに気付くかもしれませんが、この干渉因子は相関分析を行うことができない理由の1つです。









モデルをトレーニングして、コンプライアンスの指標と特定の指標に応じたグループ間でのユーザーの分布を評価すると、消費者が1週間に移動する距離に対する飲料の効果を特徴付けるグラフのように見える場合があります。









この仮想グラフでは、各部分はコンプライアンスインデックスに応じたグループに対応し、暴露の開始の週は、被験者のグループがSolentの最初の部分を受け取った3月の最初の週です。 今週までにすべての被験者が十分な距離を走ったことがわかります。 しかし、薬を受け取ったグループが「治療」を開始した後、彼らはより多くのランニングを開始するので、飲み物を飲む効果を評価できます。

その他の原因テクニック

疑いなく、観測された現象間の因果関係を確立するための多くの他の方法があります。 2つのお気に入りについて簡単に説明します（最初にこの投稿を書いたのはQuoraからの質問に対する回答でしたので、そこから例を取り上げました）。

不連続回帰モデルの構築

Quoraは最近、 最もアクティブなユーザーのプロファイルページにステータスバッジ（バッジ）の表示を開始しました。 このイノベーションの効果を評価したいとします（機能が既に追加されているため、A / Bテストを実施することは不可能であると仮定します）。 特に、Top Authorバッジがユーザーがより多くのチャンネル登録者を獲得するのに役立つかどうかに関心があります。



簡単にするために、前年に5,000以上の票を獲得した各ユーザーにバッジが発行されると仮定します。 不連続回帰の根底にある考え方は、バッジを受け取るかどうかを決定するしきい値に近いユーザー（たとえば、4,999票を獲得しバッジを受け取らなかったユーザーと5,000票を獲得してバッジを受け取ったユーザー）の差であるという考えです）多かれ少なかれランダムなイベントと見なすことができます。 これは、指定されたしきい値のすぐ近くで取得したサンプルを使用して、因果関係を確立できることを意味します。



たとえば、以下の想像上のチャートでは、約5,000人のサブスクライバーのギャップにより、Top Authorバッジが平均してサブスクライバー数を100増加させると結論付けることができます。

自然実験

それでも、バッジがサブスクライバの数に与える影響を明確にすることは、あまり興味深い質問ではありません（これは単なる単純な例です）。 より深い質問をすることができます。ユーザーがお気に入りの著者を見つけるとどうなりますか？ 読者の著者は、彼自身の資料の作成、さらなる研究を促し、それによってサイトとのさらなる相互作用を奨励していますか？ 最高の記事のランダムな選択を読むことと比較して、最高の著者との接触はどれほど重要ですか？



Googleで働いていたときに似たようなケースを研究したので、Quoraでの想像上の例ではなく、そこで行った仕事についてお話しした方が良いでしょう。



各ユーザーを理想的なYouTubeチャンネルと一致させることができたらどうなるかを理解したいとします。

• たとえば、ユーザーがYouTubeにアクセスしてお気に入りのチャンネルを視聴した後、他の何かを視聴し続けるなど、1チャンネルの趣味がこのチャンネル以外でのユーザーエンゲージメントの増加につながりますか？ この現象は乗数効果と呼ばれます 。 テレビの世界の例：視聴者は日曜日の夕方に「Desperate Housewives」の次のエピソードを見るために家にとどまり、シリーズが終了すると、彼は何か他のものを探してチャンネルを切り替えます。
  
  
  
  
• 1つのチャネルに対する熱意は、このチャネルでのアクティビティを増加させますか（いわゆる加算効果 ）？
  
  
  
  
• お気に入りのチャンネルは、ユーザーの設定リストにある他のチャンネルを置き換えますか？ 最終的に、ユーザーがサイトで費やすことができる時間は制限されます。 これは中立効果と呼ばれます 。
  
  
  
  
• それどころか、ユーザーがサイトで過ごす時間は、理想的なチャンネルの出現に伴って減少します。これは、興味深いビデオの閲覧や検索に費やす時間が少なくなるためですか？ 次に、 マイナスの影響が観察されます。

いつものように、A / Bテストを実施することは理想的ですが、この場合は不可能です。特定のチャンネルのようにユーザーを作成することはできません（ユーザーにチャンネルを推奨することはできますが、必ずしもそれらが好きではありません）、禁止することもできません他のチャンネルを見る。



この効果の研究へのアプローチの1つは、 自然実験です。これは、宇宙自体がランダムに近いサンプルを生成するシナリオです。 それが彼のアイデアです。



毎週水曜日に新しいビデオをアップロードするユーザーを考えてみましょう。 休暇中に数週間新しい動画を投稿しないことをチャンネル登録者に通知すると、



サブスクライバーはどのようにフォローしますか？ 通常、このチャンネルのためだけにサイトにアクセスするため、彼らは水曜日にYouTubeを見るのをやめますか？ または、言及されたチャンネルはメインページに表示されたときにのみ視聴されるため、アクティビティは変更されませんか？



さて、逆に、チャンネルが金曜日に新しいビデオのアップロードを開始したと想像してみましょう。 購読者は金曜日にもサイトにアクセスし始めますか？ そして、彼らは、YouTubeに行ったら、新しいビデオだけを見るのでしょうか、それとも検索クエリと関連コンテンツの滝を引き起こすでしょうか？



これらのシナリオはすべて実行できることがわかりました。 たとえば、人気のあるYouTubeチャンネルの動画アップロードカレンダーを次に示します。 ご覧のとおり、2011年には通常火曜日と金曜日にビデオを公開していましたが、年末には公開日を水曜日と土曜日に変更しました。









スケジュールのこの変更を自然実験として使用して、特定の日にお気に入りのチャンネルの視聴を擬似ランダムにキャンセルし、他の日にそれを入力すると、理想的なチャンネルの成功した推薦の効果を理解することができます。



この自然実験の例は、やや紛らわしいかもしれません。 次の例は、アイデアのより明確な説明として役立つ可能性があります。 収入が精神的健康に及ぼす影響を調査したいとします。 New York Timesのこの記事では 、チェロキーインディアンが部族のメンバー間でカジノの収益を分配し、その結果、一部を貧困から「偶然」取り除く自然な実験について説明しています。

成長因子の決定

傾向モデリングに戻る。



私たちが当社の開発グループの従業員であり、ランダムなサイト訪問者を毎日それにアクセスするユーザーに変える方法を見つけるという課題に直面していると想像してください。 どうする？



傾向モデリングを使用した場合、アプローチは次のようになります。 イベントのリスト（モバイルアプリケーションのインストール、承認、ニュースレターまたは特定のユーザーの購読など）を取得し、各イベントのコンプライアンスインデックスに基づいてモデルを構築できます。 次に、ユーザーエンゲージメントへの影響に応じて各イベントをランク付けし、次の反復で順序付けられたリストを使用します（またはこれらの数値を使用して、より多くのリソースが必要であることを管理者に確信させます）。 これは、顧客エンゲージメントの回帰モデル（または流出の回帰モデル）を構築し、各機能の重みを推定するという少し複雑なアイデアです。



私はこの投稿を書いているという事実にもかかわらず、テクノロジー分野の多くのアプリケーションに傾向モデリングを使用することの大ファンではありません（私は医学の分野で働いていませんでしたので、この分野での有用性について明確な意見はありませんが、必要）。 私は次回のためにすべての議論を保存します。因果関係の分析は信じられないほど複雑なことであると言うことができるだけであり、ユーザーの態度に影響するすべての隠れた要因を考慮することはできません。 さらに、どのイベントをモデルに含めるかを選択する必要があるという事実は、各イベントのメリットを最初に信じることを意味しますが、実際にはエンゲージメントに影響する隠れた要因を発見したいと思います考えもしなかったことでしょう。

おわりに

要約すると、傾向モデリングは、ランダムな実験を行う可能性がない場合に因果関係を識別するための強力な手法です。



結局のところ、純粋な観測ベースの相関分析は、非常に危険です。 私のお気に入りの例を挙げましょう。警察官が最も多い都市で犯罪率が通常高いとわかった場合、これは国内の犯罪を減らすために警察官の数を減らす必要があることを意味しますか？



別の例は、看護師の健康調査の一環としてのホルモン補充療法に関する記事です。



また、モデルは通常、送信するデータと同じくらい良いことを覚えておいてください。 重要な隠された変数をすべて考慮することは非常に困難な作業であり、よく考えられた因果モデルでは、実際にいくつかの要因を見逃す可能性があります（看護師の場合、傾向モデリングがそうであると聞きました）誤った結論につながった）。 したがって、あなたの問題を解決するための代替アプローチを検討する価値は常にあります。因果関係を確立するためのより簡単な方法がありますか、それともユーザーに尋ねるだけです。 ランダムな実験が今では不可能なタスクに思えても、その試みは将来の多くの問題を回避するのに役立ちます。