ガウス型コピュラに基づくグラフィカルモデル

対数線形モデルとそのマルコフネットワーク形式の表現により、ランダム変数間の関係の構造を示すことができます。 ただし、そのようなモデルのグラフには多数の同等のエッジがあるため、結果の視覚化は知覚しにくい場合があります。 順序変数とバイナリ変数を使用する場合、ガウスコピュラ（ガウスコピュラグラフィカルモデル、略称GCGM）を使用すると、可視性を高め、モデルの解釈を簡素化できます。 この記事では、理論の概要を説明し、欧州社会調査データのGCGMの例を作成します。

部分相関と条件付き独立

対数線形モデルとマルコフネットワークを扱った以前の記事の1つで 、男の靴のサイズと彼の数学的能力との関係についてのコミック例が検討されました。 統計テストでは、原則として、靴のサイズが大きい人ほど数学的な能力が高いことが示唆されています。



実際の例を考えてみましょう-2005年の調査「ヨーロッパの顧客のモバイルサービス市場に対する満足度の指標」。 データは、環境RのsemPLSパッケージで使用できます。各調査変数は、1〜10のスケールで評価を表します。これらのデータのうち、3つの変数のみを考慮します。 サービス料金の妥当性の評価（公正価格）; モバイルオペレーターが提供するサービスの品質の評価（全体的な品質）。 これらの変数の調査結果の概要を以下に示します。









変数RecommendationとFair Priceの間の関連度を評価するために、スピアマン相関係数を使用します。 かなり大きいことがわかりました。









集計内の3つの変数すべてを検討し、それらの偏相関-3番目の変数の影響を考慮に入れたペアワイズ相関係数を見つけると、結果は異なります。









全体品質変数の影響を考慮した、推奨変数と適正価格変数との相関係数は非常に小さいことが判明したことに注意してください。 0.4に等しいこれらの変数間のペア相関は、それらの間の部分相関の場合、0.02に減少しました。



上記で得られた行列は、部分相関係数に等しいエッジの重みを持つ次のグラフを決定します

しかし...

しかし、ランダム変数間のゼロ（またはゼロに近い）偏相関係数は、一般的な場合、これらのランダム変数が条件付きで独立していることを示していません。 それにもかかわらず、このプロパティは多次元の正規分布確率変数に対して有効です。 つまり、分布からの2つの1次元確率変数 偏相関係数がゼロの場合にのみ、条件付き独立。 偏相関係数がゼロ（ i、j ）に等しいという事実は、行列の要素が 。 マトリックススコア 、より正確には、そのスパース形式は、ガウスグラフィカルモデル（ガウスグラフィカルモデル/ガウスマルコフランダムフィールド）を構築するタスクのモデリングの主なオブジェクトです。



上記のモバイルプロバイダーのサービスの推定値に関する調査データは、3次元の正規分布確率変数のサンプルとは見なされません。 偏相関係数を考慮して、そのようなデータのグラフィカルモデルを構築することは可能ですか？ 答えはイエスです。 これらの目的には、ガウスコピュラによるモデリングが適しています。

コピュラについて少し

ガウス型コピュラについて話す前に、一般的な構造について少し説明します。 いくつかの変数（ランダム変数）の集合観測値のセットがあるとします。 これらの各ランダム変数の分布関数は、それぞれ一次元の周辺分布であり、変数間の関係については何も言及していません。 この情報は、ランダム変数の共同分布によって決定されます。



コピュラは、ランダム変数の結合分布とその周辺分布をリンクする関数です（以降、1次元周辺分布のみが暗示されます）。 ロシア語の正確な定義は[1]にあります。 コピュラの魅力は何ですか？ [1]を引用します：「Copula関数は、ランダムベクトルの分布の記述を、コンポーネントの部分分布と依存関係の構造の2つの部分に分割することを可能にします。」



コピュラの周辺分布の一部が離散的である場合、そのようなコピュラの評価には特定の困難があります。 この状況の理由は、 k個の周辺確率変数の値の領域とコピュラの定義の領域（ハイパーキューブ）の間に1対1の対応がないことです。 。 詳細は、たとえばレビュー[2]で見つけることができます。

ガウス型コピュラ

ガウスコピュラの形式は次のとおりです。









どこで 平均のゼロベクトルと相関行列を持つk次元正規分布の関数です 、 標準正規分布の分位数関数です。 この式は、変数の二重変換を実行します。 させる 最初の座標のランダム変数の観測値、および このランダム変数の周辺分布関数（cdf）です。 次に設定します そして値を取得 k次元ガウス分布の最初の座標の潜在変数。



記事[3]では、連続および離散の周辺確率変数の両方を持つガウスコピュラのいくつかの例が詳細に検討されました。 一般に、ガウスコピュラは、マルコフネットワーク用のツールのコンテキストのみで使用されるべきではありません。 ダナハーとスミスの研究からわかるように、これらは購買活動のモデルを構築し、メディアでの広告キャンペーンの分布分布とランダム変数の共同分布のための他の多くのモデルを見つける方法でもあります。 Rコードを使用したこれらの例の1つの分析は、以下のネタバレの下にあります。

ガウス型コピュラのグラフィックモデルのパラメーターの推定

GCGMパラメータを推定する問題は、条件付きで2つの部分に分けることができます-ガウスコピュラの相関行列を検索し、そこからスパース行列を取得してグラフ表示します。以前と同様に、この方法は調査データに適用されると考えます。 このようなデータの特徴の1つは、重みの使用です。 したがって、一般的なケースでは、モデルパラメーターを推定するときにサンプルの重みを考慮する必要があります。

ガウスコピュラの相関行列の推定

離散（または離散および連続）周辺分布をもつガウスコピュラを評価するには、いくつかの方法があります。 それらの1つは[4]でHoffによって提案され、sbgcopライブラリRで実装されました。 このアルゴリズムは、ランク周辺の経験的分布関数を決定するときにサンプルの重みを考慮して、重み付きデータに適合させることができます。

ガウスコピュラのグラフィカルモデルのスパース行列の取得

選択の余地もあります。 ガウスコピュラの相関行列が得られると、記事[5]に基づいた古典的なグラソライブラリアルゴリズムを使用できます。 別のアプローチが[6]で提案され、著者によってRライブラリBDgraphで実装されました。 この方法には、アルゴリズムの反復の各ステップでのガウスコピュラの相関行列とグラフィックモデルのスパース行列の両方の行列の共同評価が含まれます。

sbgcop（v.0.975）およびBDgraph（v.2.27）ライブラリに関するコメント

最初のライブラリは完全にRで記述されており、ネストされたforループがいくつか含まれています。 つまり、計算は非効率的に編成されます。 また、切り捨てられた正規分布からのサンプリングは、数値的に不安定になります（逆変換法を使用）。 特定の条件下では、サンプリングされた値Infの代わりに、実際のアプリケーションでは非常に可能性が高いです。



2番目のライブラリのほとんどはC ++で記述されており、特に、sbgcopからのforループがすべて転送されています。 線形代数はFortranを使用して記述されています。 切り捨てられた正規分布からのサンプリングの問題も、このパッケージに関連しています。

GCGMの例

ガウスコピュラに基づくグラフィックモデルは、マーケティング、社会学、生物学、その他多くのさまざまなデータで使用できます。 ここでは、2012年の欧州社会調査-ESSラウンド6欧州社会調査ラウンド6データ（データファイルエディション2.2）のデータを参照します。これらは自由に利用できます（ リンク ）。 これらのデータから、ロシアからの回答者のみを選択します。 この調査の「政治」ブロックでは、以下の5つの評価的判断が、さまざまな政治団体および権力機関に対する信頼度について提示されています。











スケールの範囲は、0 =まったく信頼されていない状態から10 =完全な信頼状態までです。



この値のセットを次の4つの変数で補完します。

• 4つのカテゴリ（1-まったく関心がない、...、4-非常に関心がある）を持つ「政治にどれだけ関心があるか」。
• 「最後の総選挙で投票しましたか？」2つのカテゴリ（1-はい、2-いいえ）で、2011年のロシア連邦下院選挙での投票に関する質問。
• 「性別」（1-男性、2-女性）
• 11のカテゴリの「教育」（1-プライマリなし、...、11-Ph.D.）。

考慮されるすべての質問への回答に欠損値がない23歳以上の回答者を選択します。 このモデルでは、研究への回答者の体重-設計体重も使用します。



モデルグラフを作成するには、すぐに使用できるソリューションがあります。同じ名前のライブラリのqgraph関数は、部分相関行列によって決定されるグラフィックモデルのイメージを作成します。 RパッケージvisNetwork（vis.jsライブラリJSを使用）とshinyを使用して、より柔軟で視覚的なソリューションを実現できます。 最初のパッケージはモデルのグラフを作成し、2番目のパッケージはその場でモデルの疎さを調整する機能を補完します。





画像はクリック可能です。リンクをクリックすると、モデルグラフを含むhtmlファイルが表示されます。



ここで、正規化されたスパーシティレベルは、グラフィカルな投げ縄問題のペナルティ関数によってL1の前の係数値を担当します（これらの値は、モデルグラフにエッジが含まれない最小係数値が1と想定されるように正規化されます）。 2番目の制御パラメーターAbsolute Correlation Levelは、絶対値の偏相関係数が指定値よりも小さい頂点間のエッジを非表示にします。



グラフを含むグラフは、投票された頂点（1-投票された、2-いいえ）と政治に関心のある（1-まったくない、...、4-間違いなく）の間のエッジの重みの値を強調表示します。 -0.34に等しいこの値は、政治への関心と選挙での投票意欲との間にかなり強い関連性があることを示しています。



別の写真：

モデルは何を示していますか？

このモデルの最も重要な部分は、有権者と政党の頂点を結ぶエッジだと思います。 グラフの2つのコンポーネントのみを接続し、選挙で投票する決定は、信頼の1つの変数のみに直接依存します。政党への信頼です。 他のすべての信頼変数は、投票された変数と条件付きで独立しています。 したがって、考慮される変数の中で、この束は市民と国家の相互作用の重要な要因です。

GCGMを構築するための変数の選択

すべての場合において、モデルを構築するための一連の変数のアプリオリな選択があるわけではありません。 特定の変数が含まれるグラフにGCGMを作成することが重要な場合、分析のためにどの追加変数を選択する必要がありますか？



GCGMの入力変数が多すぎると、2つの問題が発生します。 まず、離散データのガウスコピュラのパラメーターを見つけるのは面倒な計算プロセスです。 許容時間内に多数の変数の問題を解決するラップトップの能力では十分ではありません。 第二に、スパースではあるが、多数の変数を持つグラフを理解することは困難です（たとえば、検討中の問題のコンテキストで完全に興味のない変数の強いつながりは「干渉」する可能性があります）。



特定の変数に対してGCGMで変数を選択する問題の適切な解決策は、相互情報の最小ツリー（Chow-Liuツリー）を構築することです。 これは簡単なアルゴリズムであり、この出版物の説明は私の計画には含まれていません。 詳細は記事[7]に記載されています。 大まかに言って、Chow-Liuツリーの構造的特性は次のとおりです。このツリーの2つのピークが近いほど、より「依存」しています。 したがって、ツリー内でターゲット変数を見つけ、半径を決定し、このツリーのすべての適切な頂点を選択します。 以下の例は、ターゲット変数「ロシアでは、政党は有権者に真に異なるプログラムを提供します」に対して、0から10までの応答スケールで構築されています。サンプルツリーはNetworkD3ライブラリRを使用して構築されました（一連のd3.jsチャートを作成します）。





画像はクリック可能で、リンクはhtmlファイルにつながります。

まとめ

変数の予備選択のためのアルゴリズムによって補完されるGCGMメソッドを使用すると、データ内の依存関係の構造を迅速、簡単かつ有意義に分析し、それらの重要な関係を強調できます。

文学

[1] D. Fantazzini（2011）コピュラ関数を使用した多次元分布のモデリング。 I、Applied Econometrics、2（22）、98-134。

[2] C. Genest and J.Nešlehová（2007）カウントデータのコピュラの入門、ASTIN Bulletin、37（2）、pp。 475-515。

[3] PJ Danaher and MS Smith（2011）コピュラを使用した多変量分布のモデリング：Applications in Marketing、Marketing Science 30（1）、pp。 4-21。

[4] PD Hoff（2007）セミパラメトリックコピュラ推定のランク尤度の拡張、Ann。 適用 統計、1、pp。 265-283。

[5] J.フリードマン、T。ヘイスティ、およびR.ティブシラーニ（2008）投げ縄によるスパース逆共分散推定、Biostatistics、9（3）、pp。 432–441

[6] A. Mohammadi and EC Wit（2015）スパースガウスグラフィカルモデルでのベイジアン構造学習、ベイジアンアナル。 10（1）、pp。 109-138。

[7] D.エドワーズ、GCG de AbreuおよびR. Labouriau（2010）。 最小限のAICまたはBICフォレストを使用した高次元の混合グラフィカルモデルの選択。 BMC Bioinformatics、11：18。



UPD：ガウスグラフィカルモデルは問題のデータを表現するのに適していない、つまり「部分相関と条件付き独立性」の段落の最後の段落であると言っている小さなテキストが欠落していました。