Facebookの世界データ分析

Stephen Wolframの投稿「 Facebook Worldのデータサイエンス 」の翻訳。

翻訳に協力してくれたキリル・グゼンコに深く感謝します。

alizarは、この記事とそこに記載されているWolfram | AlphaおよびWolfram言語の機能について短いメモを書きました。 ブログでは完全な翻訳を提供しています。

---

現在、何百万人もの人々がFacebookアプリのWolfram | Alpha Personal Analyticsを使用しています。 また、 最新のアップデートの一環として、匿名の統計情報の収集に加えて、研究目的で使用する詳細なデータを人々と共有できる「データ寄付」プログラムを開始しました。



数週間前、このデータをすべて分析することにしました。 そして、それは、データサイエンスにおけるMathematicaとWolfram言語の力の見事な例に過ぎなかったことを言わなければなりません（これは、私が準備し始めたデータサイエンスコースにとっても良い資料です）。



収集したデータを使用して、 個人分析システムを改善することを常に計画してきました。 しかし、同時に私の試みに抵抗することはできず、科学的な観点からこれをすべて考慮することができませんでした。



私はいつも人々と彼らの人生の道に興味を持っています。 しかし、私はこれを自分の科学的興味と組み合わせることができませんでした。 ここまで。 過去数週間は、受け取った結果を観察する上で非常に刺激的でした。 いくつかは予想されていましたが、他は非常に予測不可能だったので、私はそのようなものを想像していなかったでしょう。 そして、これらはすべて私の作品「新しい種類の科学」の現象を連想させました。



それでは、データはどのように見えますか？ 以下はいくつかのデータ提供者のソーシャルネットワークです-友人のグループは色で分けられます（ Wolfram | AlphaまたはMathematicaのSocialMediaData関数を使用して誰でも自分のネットワークを見つけることができます（ Wolfram Languageの最新バージョンでは、この関数はFacebook、GooglePlus、Instagram、LinkedIn、Twitter -約 ））。











最初の定量的な質問は、これらのネットワークの大きさです。 言い換えれば、Facebookには通常何人の友人がいますか？ 少なくとも、サンプルからのユーザーに関しては、この質問は簡単に答えられます。 中央値は342で、以下は分布を示すヒストグラムです（グラフはFacebookの個人ページの最大友人数であるため、間隔[0; 5000]で作成されます）。











ユーザーはどの程度典型的ですか（言い換えれば、サンプルはどの程度代表的ですか）？ 多くの点で-可能な限り-それらは非常に典型的に見えます。 しかし、確かにいくつかの違いがあります。 これは、ユーザーだけでなく、その友人の友人数の分布です（これらのユーザーセットの分離には数学的な微妙さがあります。これについては後で説明します）。











このようにFacebookユーザーの人口が増えているため、Facebookに友達がほとんどいない人が大幅に増えていることがわかります。 そのような人々を例に含めるべきかどうかは、論点です。 ただし、得られた結果から判断すると、あまり影響はありません（200人の友人の急激な突出は、おそらくFacebookの友人推薦システムに関連しています）。



いいね Facebookの典型的な友人の数が、人の年齢とともにどのように変化するかを見てみましょう。 もちろん、年齢を示す人の数は誰でも知っています。 ただし、ユーザーの友人の数が年齢に依存するグラフを作成してみましょう。 実線は友人の平均数を示しています。 連続するストライプは、サンプルの対応するオクタイルを示します。











急速な成長の後、友人の数にピークがあり、それは20歳より少し若い若者に落ち、その後徐々に減少します。 なぜこれが起こっているのですか？ これは、人々の行動と、Facebookがそれほど長く存在しないという事実の両方によるものと思われます。 友人を追加した後に友人を削除しないと仮定すると、年齢が上がるにつれて友人の数が絶えず増加することが予想されます。 また、データは若者の結果と一致しています。 しかし、人々がFacebookのプロフィールを持つ期間は限られているため、成長には限界があります。 そして、これが年齢に依存しないと仮定すると、グラフから、年齢に応じて追加される人が少なくなることがわかります。



しかし、彼らはどんな友達を追加しますか？ 特定の年齢の人を撮影することにより、たとえば、彼の友人の年齢の分布を構築できます。 以下にいくつかの結果を示します（特に70歳のグラフの痙攣性は、データ量が限られているためです）。











そして、ここにアニメーション版があります：











最初に目を引くのは、友人の年齢は常に本人の年齢に近い最大値であるということです。これは、現代社会ではほとんどの友人が教育機関に現れ、同年齢であるという事実を反映している可能性があります。 若い人にとって、友人のピーク年齢は通常非常に鋭いです。 年齢とともに、人々の分布は徐々に広がります。



このすべてを要約するには、本人の年齢に応じて友人の年齢の分布を構築します（実線は友人の平均年齢を示します）。











最年少には異常がありますが、これは明らかに、年齢について信頼できない13歳未満の子供によるものです。 しかし、これに加えて、一般的に若者には、年齢によって驚くほど親しい友人がいることがわかります。 人の年齢の増加に伴う分布幅の増加は、おそらく職場やコミュニティが教育機関のように年齢とそれほど厳格な関係を持っていないという事実によるものです。 そして、上のグラフから、Facebookを使い始めた子供たちのせいで、50歳代半ばまでに、人々が若い年齢層で2番目のピークに達することがわかりました。



それでは、人々の生活について他にどのような情報を収集できますか？ 年齢に応じて、プロファイルで指定された関係ステータスの内訳を次に示します。









（左から：「孤独」、「デート」、「婚約」、「結婚」、「未亡人」、「その他」）



しかし、より詳細には、男性（青線）と女性（紫線）の割り当て（グループ「既婚+」には「既婚」と「市民結婚」、「離婚」、「未亡人/未亡人」の両方が含まれます）など）：











子供には、結婚していることを示す明らかな不条理（特に少女）があります。 しかし、全体として、傾向は明らかです。 既婚者の数は3番目の10人で増加し始め、さらに女性では少し早く、4番目の10人の終わりで減少します。 関係にある人々の割合は、24年の領域にピークがあり、従事者の小さなピークは27歳の年齢です。 結婚していると自認している人の割合は、年齢とともにほぼ直線的に増加し続け、40〜60歳で約75％に達し、関係状態を独身（単一/独身/深刻な関係の欠如。以下-「未婚」と示す人の割合/結婚していません））女性の場合は成長し続けますが、男性の場合は減少します。



上記のグラフを見ると、化学反応などの物理プロセスのグラフとの類似性に驚かされます。 人々は、彼らの行動の複雑さにもかかわらず、人間関係や結婚などに入るための反応速度を持つ分子といまだに似ています。



もちろん、上記はFacebookの世界にのみ当てはまります。 そして、それは世界全体とどのように比較されますか？ まあ、少なくともFacebookの世界で学べることの一部は、公式の国勢調査でも見つけることができます。 特定の年齢で結婚している人々の結果が、公式の米国国勢調査の結果とどのように相関するかの例を次に示します（米国国勢調査-実線）。











それらがどれほど収束するかに驚く。 ただし、明らかに、いくつかの違いがあります。 Facebookの20歳未満の一部のユーザーは、結婚していることを信頼できないと示しています。 そして、高齢の未亡人はFacebook'eでまだ結婚していることを示しています。 20歳以上の人の場合、Facebookの人とはわずかに体系的な違いがあります-彼らは平均して、国勢調査で予想されるよりも数年遅れて結婚します（予想どおり、米国の農村人口を除外すると、差ははるかに小さくなります）。



国勢調査について話すと、Facebookユーザーの全体がどのように米国の人口と相関しているかを自問することができます。 そして今、私たちはFacebookユーザーの総計のかなり期待されたロールを若者に向けています：











いいね 上記では、人の友人の典型的な数が年齢にどのように依存するかを調べました。 性別はどうですか？ これはいくぶん驚くべきことかもしれませんが、男性と女性のチャートを見ると、友人の数の分布に顕著な違いは見られません。 しかし、代わりに年齢に応じて同じことを考慮すると、いくつかの違いに気付くことができます。











10代の少年は、10代の少女よりも多くの友人を持っている傾向があります。おそらく、彼らは誰と友人になるかについての選択性が低いからです。 ただし、3ダースの初めには、性別の違いはすぐに減少します。



関係ステータスの影響は何ですか？ 年齢に応じた男性と女性のデータは次のとおりです。











高齢者にとって、婚mar状況はおそらくあまり影響を与えません。 しかし、若い人たちにとってはそうです。 自分が既婚者であると正しく認識しない（しない）若者は、平均して、より多くの友人を持っています。 そして、「婚約している」（おそらくステータスの親友を示すことができる）と自分自身を識別する若い10代のグループの女の子は、通常、ステータスが「未婚」であるよりも多くの友人を持っていますただ「関係で」。



Facebookでの現在地を示すまったく異なるストーリー-このデータははるかに信頼性があります。 そして、多くの場合、場所によってかなり強い違いが見られます。 この比較のように、世界中の国（灰色の国はデータが不十分であることを示します）および米国の州の友人の平均数：











興味深い点がいくつかあります。 ロシアや中国などの国では、Facebookが普及していないため、平均的な友人数はそれほど多くありません。 そして、おそらく米国西部の友人の数が少ないのは、人口密度が低いためです。 しかし、アイスランド、ブラジル、フィリピン、ミシシッピ州で平均的な友人の数が多い理由を理解することはできません（もちろん、自分の位置を誤って示している人々のためにいくつかのエラーがありますが、サンプルのサイズを考慮すると、私はそうは思いません大きな影響があります）。



Facebookでは、人々は「故郷」と「現在の居住地」の両方を示すことができます。 これらのアイテムが年齢によって異なる可能性は次のとおりです。











私たちが見たものはかなり期待されています。 人口の一部には、特定のレベルのランダムな動きがあり、若い年齢層で顕著です。 約18歳で、人々が家を出て教育機関に行くとき、ジャンプがありました。 何人かはその後戻って、故郷と見なされるものを決定します。



不思議に思うかもしれません-人々はどこからどこへ移りますか？ これは、米国のさまざまな州とさまざまな国の間を移動するFacebookユーザーの人口の数を示すグラフです。



















解決できる人口統計上の問題はまだたくさんあります。 しかし、ソーシャルネットワークに戻りましょう。 人々は自分のような人々と友達になる傾向があるという一般的な観察があります。 したがって、これを確認するために、たとえば、多くの友人がいる人が友人の中で「友人」として人々を持っている傾向があるかどうかを調べることができます。 以下は、ユーザーの友好度の関数としてのユーザーの平均友人数のグラフです。











そしてその結果、人々の「友情」は友人の「友情」と正に相関します。 通常、「友好的な」人々は「友好的な」友人がわずかに少ないことに注意することもできます。



そしてこれに基づいて、先ほど述べた微妙な点のいくつかを議論できます。 この投稿の最初のグラフは、ユーザーの友人数の分布を示しています。 しかし、彼らの友人が持っている友人の数はどうですか？ すべてのユーザーのすべての友達のデータを取得するだけで、ユーザーの友達の数の分布と友達の分布を比較できます。











ユーザーの友人は、ユーザー自身よりも常に多くの友人を持っているようです。 しかし、実際には、前のチャートのデータを考えると、そうではないことがわかります。 それで何が起こっているのでしょうか？ これはやや微妙ですが、「友情のパラドックス」として知られるソーシャルネットワークの一般的な現象です。 重要な点は、ユーザーの友人を見たときに、すべてのFacebookユーザーのスペースを非常に異なる方法で必然的に選択したことです。 特に、ユーザーが同質のサンプルを表している場合、友人の選択頻度は所有している友人の数に依存し、その結果、より多くの友人を持つ人々がより頻繁に選択されるため、平均友人数が増加します。



この問題は、友人の数に応じて体重を測定することで簡単に対処できます。これは、この投稿で既に行っていることです。 そして、これを行うと、実際、ユーザーの友人は問題のユーザーよりも多くの友人を持たない傾向があることがわかります。 彼らが持っている友人の平均数は342ではなく229であることがわかります。



Facebookユーザーの集合に対して受け取った友人の数の分布を見ると、-2.8のべき乗則に非常によく近似していることに注意してください。 これは、さまざまなタイプのネットワークの通常の形式であり、優先的な接続効果の結果として理解できます。ネットワークが成長すると、すでに多くの接続を持っているノードが新しい接続を取得するための利点が大きくなり、スケールレスネットワークの制限につながります電源パラメータ付き。



いいね ここで、個々のユーザーのソーシャルネットワークを詳しく見てみましょう。 Facebookをあまり積極的に使用していないため、ネットワークが十分に面白いとは思わない。 しかし、私の15歳の娘のカテリーナは、レビューのために自分のネットワークを提供してくれました。











ネットワークの各ノードはFacebookのKaterininの友人に対応し、接続は友人の人の存在に対応します（彼女は全員と接続しているため、ネットワークにKaterinaに対応するようなノードはありません）。 ネットワークは（Wolfram言語FindGraphCommunities関数を使用して）構築され、友人のグループまたはコミュニティを強調表示します。 そして、このネットワークがどのように「物語を語る」かは非常に驚くべきことです。 各グループは、カテリーナの人生の一部または彼女の過去に対応しています。



データドナーネットワークの完全な選択を以下に示します。











これらのネットワークがそれぞれ独自の物語を語っていることは間違いありません。 ただし、一般的な統計を作成できます。 たとえば、次のグラフは、友人のグループの数が年齢とともにどのように変化するかを示しています（データが多いほど、ノイズが少なくなります）。











13歳のときでさえ、人々はおよそ3つの友人グループ（おそらく学校、地区、家族の友人）を持っています。 彼らが年をとるとき、彼らは他の学校に移動し、仕事を得るなどし、その結果、他のグループが形成されます。 現在、最大数は30の領域で観測されています。これは、主にFacebookの存在時間が限られているためです。



これらのグループは平均してどれくらいの大きさですか？ 通常、最大のグループには約100人の友人が含まれます。 以下のグラフは、サイズの年齢依存性を示しています。











そして、ネットワーク全体に対する最大グループの割合が年齢とともにどのように変化するかを以下に示します。











ネットワークのより詳細なプロパティはどうですか？ ネットワーク構造の「周期表」はありますか？ または、セルオートマトン用に私がずっと前に開発したような分類体系ですか？



各ネットワークで異なることができることを見つけるための最初のステップは、下位構造を無視してクラスター構造を検討することです。 ここでは、たとえば、この方法で、カテリーナのネットワーク（このアイデアを提案した）をクラスターダイアグラムのレベルに単純化できます。











以下は、データドナーネットワークに対して同じことを行うことで得られるものを示しています。







これらの図を作成するとき、少なくとも2人の友人がいるグループをクラスタに使用します。 ただし、より一般的な構造を取得するために、友人の総数の10％未満しか含まれていないクラスターを考慮から除外することができます。 したがって、たとえば、カテリーナのネットワークは次のようになります。











そして今、たとえば、データ提供者のすべてのネットワークに現れるさまざまなタイプの構造の相対的な量を計算できます。











そして、各構造の割合が年齢とともにどのように変化するかを考えることができます：











これから何を学びましたか？ 最も一般的な構造は、2つまたは3つのメインおよび相互接続されたクラスターで構成されます。 しかし、主要なクラスターが相互に接続していない構造もあります-明らかに、これは、地理的理由またはその内容のために互いに接続されていない生活のそのような側面の人の存在の反映です。



各人は、彼のクラスター図の構造の背後にある物語を持っています。 そして、あなたはこれをすべて単一の理論で一般化することはできないと思うかもしれません。 ある意味で、これは人間の歴史の一般的な理論や生物学的進化の経路を開発しようとすることに少し似ています。 しかし、興味深いのは、Facebookの世界では、こうした理論を定式化するためのデータがはるかに多いということです。



また、クラスタダイアグラムや友好的なネットワークなどを考慮する必要はありません。好きなだけ掘り下げることができます。 たとえば、Facebookの壁に投稿している人々の多くの投稿を分析し、トピックごとに並べ替えることができます（このため、Wolfram言語で記述され、大きなサンプルでトレーニングされた自然言語コンテンツの分類子を使用しました）。











これらの各トピックは、特定の一般的な単語によって特徴付けられます。











そして、各トピックについて、その人気が年齢にどのように依存するかを知ることができます（Facebookに表示）：











人々の典型的な興味の進化について、これからどれほど多くの情報を収集できるかは驚くべきことです。 年齢とともに、人々はビデオゲームについて語るのをやめ、政治や天気について語り始めます。 原則として、男性は女性よりもスポーツとテクノロジーのことをよく話しますが、驚いたことに、映画、テレビ、音楽についても話し始めるようになりました。 女性は動物、家族、友人、人間関係、そして少なくとも出産可能年齢に達した後は健康についてもっと話します。 学校や大学についての話のピーク年齢が20歳であることは特に驚くことではありません。 若者は、思春期の「特別なケース」（主に誕生日）について話すことにあまり興味がありませんが、このトピックへの関心は高まります。 そして、3番目の10で、人々はキャリアとお金についてもっと話し始めます。 などなど。



いくつかのことは憂鬱なステレオタイプです。 そして、それらのほとんどは、さまざまな年齢の人々の自然な違いを知っている人にとって特に驚くことではありません。 しかし、私はこれらのグラフで、人々の人生の過程における思考の反映をいかに明確かつ詳細に見ることができるか注目に値します。



もちろん、上記のチャートは、収集した完全に匿名のデータに基づいています。 しかし、個人に目を向けると、他の多くの興味深いことがわかります。 たとえば、私は個人的に25年間メールアーカイブを分析したいと思っており、おそらく一般の人々に何が起こるかとの比較に基づいて自分自身に関することを予測しています。



何十年にもわたって、私は人々の生活の軌跡に関する無数のケーススタディを絶えず蓄積しており、そこから多くの一般的なパターンを引き出してきました。 しかし、ここ数週間で私たちがしたことについて私に印象的だったのは、一度にどれだけ体系的な情報を取得できるかということです。 これが何を意味するのか、そしてこれらすべてからどのような一般理論を構築できるのか、まだわかりません。



しかし、これは「社会的宇宙」を探索する強力な「コンピューター望遠鏡」の作成の始まりに似ています。 そしてこれにより、最も多様な現象を探求し発見することができます。 これは、私たちが社会と自分自身についてもっと学ぶのを助ける可能性があります。 ところで、これは、データの科学と私がこれまで長い間開発してきた技術で達成できることの優れた例を示しています。