ソーシャルグラフ分析

過去5年間のソーシャルネットワークに関連する米国特許出願の数は、毎年250％増加しています（ リンク ）。 たとえば、ある会社は、ソーシャルグラフでの買い手の位置を考慮した価格設定方法の特許申請を提出しました（ Slashdotに関する議論 ）。 別の企業は最近、このスキームの最も単純化されたバージョンを実装し、新しい電話機を影響力のあるソーシャルグラフノードに0ドルで販売し、残りを530ドルで販売しました。



ソーシャルネットワークの分析 （ Social Network Analysis ）は、インターネットよりずっと前から存在していましたが、最近勢いを増しています。



グラフ内のクラスターを強調表示するためのアルゴリズムが、私が興味を持っているTwitterのいくつかのグループでどの程度効果的に機能するかを知りたいと思いました。



Zaporozhyeでの1月23日は#UKRTWEETになります。これは、Twitter専用の最初の全ウクライナバーキャンプです。 上記のグラフは、その参加者、誰と話し、誰が言及したかを示しています。



以下の注記は、このグラフの分析に当てられています。 ここで使用されるスクリプトのコードはすべてgithubにあります。 このプレゼンテーションは、Toby SegaranによるToHabréの最近書かれた本「集合的な心のプログラミング」に触発されており、そのコード例は著者のウェブサイトにあります。



1月16日、今年のドネツクでのコーヒーとコードの最初の会議で、Twitterでデータマイニングについても話しました。 したがって、ここでは並行して、ドネツクのツイッターで書いている人々のグループを分析します。 ちなみに、今年のドネツク会議は定期的に開催されます-毎月第3土曜日（次の2月20日）。 グループを追跡します。

1.情報を取得する

開始するには、すべてのグループメンバーのリストを取得します。 #UKRTWEET メンバーのリストは barcampページにあります。 BeautifulSoup （ code ）を使用してダウンロードして解析します 。 ドネツクからツイートする人のために、 @ dudarev / donetskのリストを保持しています。 tweepyライブラリ（ コード ）を使用して参加者を保存します 。



参加者ごとに、最新の100のツイートをダウンロードして保存します。 TweepyはJSONを自動的に解析し、今回はデータをそのまま保存するため、tweepy.APIクラス（ コード ）を少し調整します。

2.彼らは何について話しているのか

これで、情報を分析できます。 そして最初に、ソーシャルグラフに関係のないいくつかの観察。 各グループで最もよく使用されるハッシュタグを見てみましょう。 これを行うには、文字列を取得し、含まれるすべてのハッシュタグのリストを返すユーティリティを作成します。 TDDは、それを書くのに非常に便利です（ コードを参照 ）。 このユーティリティを使用して、すべてのツイート（ コード ）を解析します。



#UKRTWEET参加者が最も頻繁に言及するハッシュタグ（括弧内の数字は、このハッシュタグを使用したさまざまな人々の数です）：

1. ukrtweet（20）
2. スレッド（20）
3. elect_ua（16）
4. ru_ff（10）
5. zp_ua（9）
6. ニカ（9）
7. グーグル（9）
8. ツイッター（7）
9. ハブール（7）

ドネツクの人々は言及しました：

1. ドネツク（31）
2. ハブル（12）
3. 放射能（8）
4. スレッド（7）
5. ru_ff（7）
6. グーグル（7）
7. 波（6）
8. linux（6）

ご覧のように、各グループでは、使用法に関してグループを説明するハッシュタグが最初に来ます。 共通の関心事があります：habr、ru_ff、sledui、google。

3.彼らが言うとき

グループが最もアクティブな時間を見てみましょう。 これを行うために、すべてのツイートを実行する同じスクリプトを使用しますが、今回は1日の特定の時間にツイート数のリストを作成し、それらを個別のファイルに保存します（コマンドラインから呼び出された場合は「-t」オプション）。 Matplotlibライブラリー （ コード ）を使用して図を作成しましょう。





#UKRTWEETの参加者はキエフ時間の午前10時から午前1時まで平均を上回っており、ピークは午後5時頃です。





ドネツクの住民は同時に活動していますが、ピークは午後11時ごろに観測されます。 おそらくこれは、barcampに行く人がTwitterを作業ツールと見なし、勤務時間中にTwitterで活動しているためです。 ただし、最近の休日のため、このデータは指標ではない場合があります。

4.ソーシャルグラフ

Twitterデータからさまざまな方法でグラフを作成できます。 ここでは、次の構造に従います。人Aが人Bに少なくとも1回言及した場合（リツイートまたは回答することは重要ではありません）、頂点Aから頂点Bに向けて、指向エッジを構築します。 グラフは重み付けされていません。つまり、エッジを1回だけ構築します。



オプション「-g」を使用した同じスクリプトは、保存されたツイートからそのようなグラフを表すディクショナリを作成し、後続の分析のためにJSON形式で保存します（ コード ）。



いくつかの定量的観察。 #UKRTWEETグループでは、58％がグループの誰かに言及しています（61/106）。 全体で1221人が言及されており、これはグループ自体（1221/106）の11.5倍です。



ドネツクグループでは、51.6％がグループに関与しており（116/225）、合計でさまざまな言及がグループ自体（1341/225）の6倍になっています。 Twitter barcampをより積極的に訪問する人々は、コミュニケーション手段としてTwitter barcampを積極的に使用していることは明らかです。

5.権限

ソーシャルグラフの権限は、さまざまな方法で分析できます。 最も簡単な方法は、参加者を着信エッジの数でソートすることです。 より多くを持っている人はより権威があります。 この方法は、小さなグラフに適しています。 インターネット検索では、GoogleはPageRankをページの信頼性の基準の1つとして使用します。 ノードがページであり、ノード間のエッジは、あるページが別のページにリンクしている場合、グラフをランダムにさまようことによって計算されます。 ランダムウォーカーはグラフ上を動き回り、時々ランダムノードに移動して、再び歩き始めます。 PageRankは、放浪期間全体にわたって、あるノードに滞在する割合に等しくなります。 大きいほど、ノードの信頼性は高くなります。



ここでは、上記の2つの基準のみに焦点を当てます。 ソーシャルグラフの分析では、 さまざまな中心性に多くの注意が払われていることに言及する価値があります。 権威の基準としてのそれらの使用は、より分散されたソーシャルグラフにとってより意味があります。



一般的なPython グラフライブラリの 1つはNetworkXです。 使用します。 グラフGを作成したら、さまざまなパラメータを検討することは非常に便利です。 したがって、たとえば、すべてのノードのPageRankを計算するには、次のように記述するだけで十分です。

 pr = networkx.pagerank（G） 

以下の数字はすべて、ツイッター領域から人為的に隔離されたグループのものであることを強調したいと思います。 これらのグループの他のメンバーは、世界的に影響力があり、権威があります。 以下の番号は、これらのグループ内の通信用です。



すべてのノードのPageRankがそれらを指すノードの数に依存していることを表示してみましょう（ コード ）。





当然、2人のオーガナイザー（ @karelinaと@ u02 ）には大きな権限があります。 有名なウクライナのブロガー@woofer_kyyivは 、PageRankで測定される高い権限を持っていますが、言及する人は少ないですが、グループごとに（異なるコミュニティから）均等に言及されます。 公式barcampアカウント（ @ukrtweet ）の信頼性は低く、言及されています。 1つの解釈：人々はコミュニケーションを取り、人々に言及することを好みます。 おそらくそれが、多くの公式の西洋のアカウントでそれらの放送の名前が明確に示されている理由です。





Donetskグループ内の議論の余地のないリーダーは@quantizerです。 たとえば、次の参加者の言及数が同じであるPageRankの違いは、 @ olchik_terlと@lancerenokがグループのソーシャルグラフのさまざまな部分の人々とより多くコミュニケーションを取り 、 @ medialex 、 @lapidarius 、 @ meesix 、 @alderkoが彼らとより対話しますそのため、2番目のPageRankグループは、最初のグループよりもわずかに低くなります。

6.外部からの影響

グループ外の人々もグループに影響を与えます。 ハッシュタグで行ったのと同じ方法で、最も影響力のあるものを定義します：グループ外の人をグループ内で言及した人の数でソートします（解析する同じスクリプトですが、オプション '-g -o'を使用すると、ファイルdata / friends_outside_counts.txtが作成されます）。



#UKRTWEETの場合（括弧内-言及されたグループからのさまざまな人々の数）：

1. ポダロック（16）
2. タラス（11）
3. アルテムゼレニー（11）
4. blogoreader（10）
5. ヤロスラヴァシュニュク（9）
6. wedmid（9）
7. マットッシュ（9）

ドネツクの場合：

1. ボブク（12）
2. オリャプカ（11）
3. エコズロフ（8）
4. ブーブラム（7）
5. アバカラ（7）

このアプローチは、興味深い人を見つけるために使用できます。 グループに興味があるなら、おそらくこのグループが言及している人々もあなたに興味があるかもしれません。



改善として、ユニットではなくメンションのPageRankを追加することができます。 そのため、グループ内で影響力のある人に外部から影響を与える人は、より大きな重みを持ちます。 コードを使った演習として希望する人のためにそれを残します。

7.コミュニティ

グラフ内のクラスターのアルゴリズム検索で最も一般的な方法は、モジュール性を最適化する方法です。 モジュール性は、将来のコミュニティ内の内部接続の数と外部コミュニティとのリンクを使用する定量的パラメーターです。 以下で説明するすべての結果は、ベルギーのグループのサイトに投稿されたコードを使用して取得されます。これについては、arxivに投稿された記事で説明しています 。 他の人々もそのような目的でコードを投稿しました。 また、クラスタリングアルゴリズムは、グラフを操作するための別の一般的なライブラリigraphに組み込まれています。



Microsoftの興味深いWebアプリケーションであるSeadragonを使用して表示されたラベルとコミュニティを含むグラフ。1つのファイルだけでなく、オンラインマップに似たインターフェースで大きなグラフィックファイルを簡単にレイアウトできます。



UkrTweet- seadragon 、 ファイル 。

ドネツク- シードラゴン 、 ファイル 。





スクリプトを使用してコミュニティを見つけ、 スクリプトを使用してグラフを描画しました。

8.コミュニティラベル

形成されたコミュニティのいくつかの特性を取得したいと思います。 1つの方法は、コミュニティの人々がどのリストに含まれていたかを調べることです。 グループの人々が含まれていたすべてのリストをダウンロードします（ コード ）。 PageRankの合計でグループを並べ替え、グループ内の最も多くの人々（ code ）で見つかった10個のリスト名を出力します 。 一部のコミュニティでは、話すタグを区別できませんが、多くのメンバータグでは多くのことを言います。 次の表では、コミュニティは、PageRank、最も権威のある2人の参加者、参加者の数、いくつかの一般的なスピーキングタグ（括弧内は対応するリストにいたコミュニティの人数）でソートされています。



うき

会員	総参加者	タグ	コメント
u02、カレリーナ、...	12	zp-ua（10）、zp（10）	主にザポリージャからの主催者の周り
woofer_kyyiv、gasique、...	12	kyiv（8）、mckyiv09（6）、ブロガー（6）	Media Camp 2009で出会ったキエフのブロガー
o_saltan、netocrat、...	13	ジャーナリスト（7）、zp（6）	ジャーナリスト、ザポリージャからたくさん
b2blogger、maxzalevski、...	7	seo（5）、belseo（5）、Webマーケティング（4）	Webマーケティング担当者およびSEO専門家

リストから4つのコミュニティについて何も言うのは難しいです。 たとえば、私のプロジェクトの1つであるtweetingplacesについて多くの人がリツイートしたコミュニティに参加しました。 ただし、ukrtweetを除き、リストの共通名はありません。



ドネツク

会員	総参加者	タグ	コメント
量子化器、アルダーコ、...	21	ドントゥ（10）	DonNTUの1つのコミュニティ
おとり、andrulik、...	21	cnc-donetsk（9）	多くの以前のコーヒーとコードの会議
medialex、iammarat、...	13	クリスチャン（13）	信者
lapidarius、kolgushev、...	11	seo（2）、medianext-ua（2）	ニューメディア関連
meesix、bezlik、...	9	ドントゥ（2）	DonNTUに関連する2番目のコミュニティ
alexeyosipenko、a_djo、...	8	donetsk-rubyists（5）、cnc-donetsk（3）	ルビーファンも元KiK

興味深いことに、前述したolchik_terlとlancerenokは、よく言及される他の人よりもPageRankが高く、リストではあまり説明されていない活発なコミュニティに分類されます。 彼らは専門家のコミュニティ内ではなく、グループ全体とより多くのコミュニケーションを取ります。

演習

Twitterは、そのAPIのおかげで、ソーシャルグラフに関する情報をマイニングおよび分析するための豊富なフィールドを提供します。 さらに掘り下げたい人のためのエクササイズを次に示します。

1. グループ内でツイートするのに最も頻繁に使用されるのは何ですか（web、TweetDeck、Echofonなど）？
2. 言及された中心性。 NetworkXを使用して、eigenvector_centralityに応じてbetweenness_centralityを描きます。
3. PageRankで外部の影響を重み付けします。
4. 「Programmable Collective Mind」という本のコードを使用して、グラフではなく一般的なリストに基づいてグループ内のクラスターを選択します。

使用するライブラリ

BeautifulSoup

HTMLの解析用

ツイーピー

Twitter APIインターフェース

NetworkX

グラフを操作するための

マトプロプリブ

グラフやチャートを描くことができます

igraph

グラフを操作するためのパッケージには、Pythonインターフェースがあります（ここでは使用されませんが、言及されています）