ソーシャルネットワークに住んでいるのは誰ですか？

PRISM、個人データ、およびその漏洩に関するスキャンダルがどのようにガタガタ鳴ったとしても、ソーシャルネットワークは自分自身についてのすべてを伝えるように呼びかけています。あなたが好きな子猫、友達と、そして朝からそれほど寝なかった理由です。

大多数のオンラインのアクティブな大衆の行動に関する百科事典全体は非常に近くにあり、私は常にそれを感じたかった。 一方で、このデータはパブリックドメインにあるように見えますが、それを取得して分析するのはそれほど簡単ではありません。すべてが構造化されておらず、断片化されています。 さらに、私の知る限り、機械分析に適したソーシャルネットワークデータセットは事実上ありません。 そしてロシアのために-そしてさらにそう。

選択の余地はありませんでしたが、ソーシャルネットワークVKontakte、Odnoklassniki、MoyMir、およびロシアのセグメントFacebookの単純なスパイダーを書くために夜に不吉に笑わなければなりませんでした。 人々が自分自身について語った情報のみが収集されました。 そして彼らはたくさん語った。



そのようなデータからなんとか取得することができたので、話は続きます。

どうして？

私は認めます、この研究は最初のものとはほど遠いです。 ソーシャルネットワーク（特にFacebookとVKontakte）は、何度も公然と研究されてきました。 そして、あなたの謙虚な召使いでさえ、VKontakteからの友人の完全なグラフを収集するために、 6つの握手についての記事を書きました 。

しかし、RuNetは単一のVKontakteに住んでいません。 私は他のソーシャルネットワークで何が起こっているのか、同じように人が住んでいることを見て、彼らの聴衆の違いを理解したかったのです。

データ収集

これは、夜中にビッグデータを収集する初めての経験ではありません。 そのため、速い5ハンドのペースで、4つのスパイダーがQt / C ++およびPythonで記述され、個々のソーシャルネットワークをゆっくりと歩き回り、データベースで出会ったすべてを書き留めました。

ソーシャルネットワークが異なれば、解析のアプローチも異なります。 OdnoklassnikiとFacebookで問題が発生しましたが、それらは判明したように、疑わしいボットを検出するためのかなり難しいシステムを持っています。 幸いなことに、これは主にスパマーを対象としており、この観点からのボットはピンク色でふわふわしており、非常に遅いコレクションではありますが、多少なりとも安定したセットアップを行うことができました。

分析

大量のデータを引き出すのは簡単で、わずか2か月の収集です。 しかし、パラノイアは地球上を歩いており、ほとんどの人にとって、ソーシャルネットワーク上のオープンなプロフィールは非常に貧弱に見えます。 ライオンの情報の共有は、友人だけが利用できます。 しかし、実際には、友人自身はほとんどの場合オープンです。

そして、それらに基づいて、非常に多くの興味深いことを計算できます。 たとえば、市、年齢、大学。 そして、はるかに。 シードについては、実際の年齢と友人の年齢の中央値のグラフを表示します。



ご想像のとおり、実際の年齢はほとんどの場合、友人の年齢の中央値と非常に関連しています。 だからあなたが妄想的であっても、あなたの友人は単に彼らの存在によってあなたについて多くを語るでしょう。



ストレージと分析のために、大企業のように、HBase / Hadoopを使用することにしました。 それは、スタイリッシュでファッショナブルな若者であり、さらに、そのようなテクノロジーのトレーニングの経験がありました。 その結果、収集したものから約50のパラメーターが計算されました（つまり、単一の形式に縮小されるか、社会的なつながりから分離されました）。 いいね。 次に、合計データセットから、各ソーシャルネットワークから100万人のユーザーのランダムサンプルを作成し、慎重に分析しました。 ユーザー数が異なるさまざまなソーシャルネットワークの視聴者を少なくともわずかに正規化するために、同様のフェイントが作成されました。

さらに、実際には、発見された最もおいしいもの。

年齢

手始めに、さまざまなソーシャルネットワークの年齢構造を知ることは興味深いでしょう。

年齢として、人が生年を示すことをためらわなかった場合は年齢そのもの、または学校/大学の卒業日に基づいた近似値が使用されました。 VKontakteとFacebookの正確な年齢はそれぞれユーザーの40％と20％に知られているため、このような操作はほとんどの場合必要でした。

結果は次のようになります。





おもしろい これを見ると、次の機能に間違いなく気付くことができます。

• Odnoklassnikiは年配の聴衆に座っています。
• 若い人は、ほぼ完全にVKontakteを使用しています。 14年の地域での奇妙な爆発は、プロファイルで選択できる最後の誕生年が1999年であるという事実によって説明されます。それは若い人たちがすべて選択するということです。 子どもの保護と14歳以上の行動の表示。
• 人々は意識的な年齢でFacebookにアクセスしますが、18歳未満ではほとんど誰もいません。

性別や年齢の構造はどうですか？ 性別は、ソーシャルネットワーク上でそれを示すことができる場合はそのまま、または次のように名前に基づいて計算されました。 「アレクサンダー」という名前の人の大半が男性である場合、性別不明のすべてのアレクサンドロフを男性と見なします。 同様のアプローチは、ほとんどの名前で機能しますが、ZhenyaとSashaにはいくつかの問題があります。





素晴らしい。 私はいつもこれを疑っていました：

• Odnoklassnikiでは、聴衆のほとんどが女性です。 政権がネットワークの名前をOdnoklassnikiに変更することをお勧めします。これは真実に近いでしょう。
• 他のソーシャルネットワークでは、女性に対する一般的な優越感も感じられますが、それほど致命的ではありません。
• 1976年以前の男性の数の一般的な失敗は、中年の男性が女性よりも早く、より頻繁に死亡するという悲しい事実によって説明できます。 この依存性は、このグループの人々の一般的な人口統計状況を反映していると思います。 男性の世話をします。

次に、ソーシャルネットワークでの個人のアクティビティの特定の抽象的な指標を、「アバターがいる」、「50歳以上の友達」、「最近オンラインになった」など、いくつかのルールのセットの形で計算しました。 そのような各ルールの運用については、いくつかの点が一般的なプロファイルの貯金箱に落ちました。 そのため、さまざまなソーシャルネットワークにこのインジケーターが分布しているように見えます。





驚くべきことに、VKontakteは、若くて活発なユーザーを単に駆り立て、そのヒューズは35歳までに消えます（または家族のチャンネルに敏感にリダイレクトされます）。 オドノクラシニキでは、主な活動は早くも30年から始まります。 しかし、この点でMoiMirとFacebookでは、状況はもっと嘆かわしいです-沼地があります。

冒とく

年齢と活動は確かに良いですが、非常に退屈です。 そして、眠らないようにするために、サンプルの各人について、彼の投稿で見つかったわいせつな単語の数が計算されました。 そのような単語の辞書を作成することは特に面白かったです。 縦座標軸に沿った次元-最後の10投稿の単語数。



明らかに、15歳の若者は非常に大胆であるため、ページ上でわいせつに誓うことができます。 個人的には、私は12年という早い時期に校庭で最初の「X * Y」を書きましたが、真実は匿名です。 わいせつな語彙の流出は、23日までコマーシャルを続けます。 そして、どうやら、真剣さが始まり、大人になる時間です。 非常に船長の声明ですが、今では少なくとも事実によって証明されています。

名前の人気

次に、名前を分析します。 名前は時間とともに異なる人気を持っているように常に私には思えました。 時々、子供をなんとなく珍しいと呼ぶ独特のファッションを感じることがあります。 そして今、あなたはあなた自身の目でそれを見ることができます。



傾向は明らかです。以前は急速なジャックを使用していた人気のある名前は、以前の人気を失っています。

• たとえば、古き良き時代には、アレクサンダーは8人ごとに呼び出され、現在は50人ごとにしか呼び出されていません。 アレクサンドラは今日転送されました。
• ウラジミロフの人口は、50年以上にわたって着実に減少しています。
• アレックスとイゴールの名前のファッションの顕著な波。

女性の名前の場合、状況は次のようになります。



一般に、同じラピッドジャックですが、次の機能に注意する必要があります。

• 人気の女性の名前は、男性の名前よりも人気を失いました。 どうやら、女の子が生まれた場合、両親はイゾルデ、マルヴィーナ、またはダズドラペルマの光に照らして想像力をかき立てるために最善を尽くします。 しかし、男の子が現れたら、なぜ何かに負担をかけますか。アレクサンダーは降りてきます。
• 人気の低下の転機は、70年代後半と80年代前半でした。 それは西洋の雪解けに触発されたものであり、その結果は次のとおりです。各親は現在、子供の名前の独創性で競い合っています。

電話モデル

さらに進みます。 VKontakteウォールのすべての投稿には、この投稿がiOS / Androidスマートフォンから作成された場合、面白いタグが付けられます。 また、分析することも可能です（必要な場合もあります）。 男性の割合がY軸に沿ってグラフに示されているという事実に注目したいと思います。 ご想像のとおり、女性の割合は男性の割合に非常に単純に依存しています。



興味深いことに、iPhoneには公正なセックスに対する明確なバイアスがありますが、これは当然のことです。 「お父さん、馬鹿のように歩き回っているiPhoneを買ってください」という言葉は、多くの若いお父さんにとって悪夢に見られるかなり人気のあるフレーズです。 そして、Androidは30歳以上の厳しい男性の間で高い需要があり始めています。

婚status状態

おばあちゃんはいつも私に、25歳で独身（またはさらに悪いことに未婚）であることは災害に等しいと言っていました。 将来的には、通常、「あなたは結婚する必要があります、紳士」と「誰もがすでに結婚しており、あなたは一人でフクロウのような」というトピックに関する講義につながりました。 私はいつもこの論争で議論が欲しかったのですが、今ではそれがあります。

婚status状況は、それを示した人の間でのみ分析されたことに注意してください。



次の事実は非常に興味深いものです。

• 27歳で、婚ital状態を示した人の半分だけが結婚していました。 そして、あなたは何かを言った。
• 若い人たちは、「会う」よりも「独身/未婚」の地位に行く傾向があります。 歩く、歩く、そして拍手-そして「結婚」。

悪い習慣

今、あなたは悪い習慣に移ることができます：喫煙と飲酒。 このパラメーターはVKontakteのみですが、それらの多くは熱心に入力します。これを使用します。



残念ですが、アルコールと喫煙への愛は年齢とともに強まります。 いくつかの高原は、30年という早い時期に来ますが、それは幾分驚きました。 40人くらいの人が考え直して状況を修正しようとしていますが、ボルジョミを飲むには遅すぎます。

身長と体重

MyMirのプロファイルには、身長と体重という面白いパラメーターがあります。 誰かの偉大な心がどのように導かれたかを説明することはできません。 しかし、パラメータがあり、私たちの好奇心のプリズムを通してそれらを見ないのは愚かでしょう。



対照的なグラフが表示されると予想していました。 しかし、それはそのように判明しました。 この奇妙なことは、女性が自分の小さな身長を誇りに思い、大きな身長を隠すことが多いという事実によって説明できると信じています。 男性の場合、状況はまったく逆になります。自分が150cmしかいないことを認めるのはインターネット全体で恥ずべきことですが、2メートル離れていれば誰もが知っているはずです。

一方、女性は平均して男性よりも低く、すべてがずっとシンプルになります。



体重の場合、状況は成長の場合とほぼ同じです。 60kgを超える女性は、突然体重の言及をやめます。 しかし、男性はいつでも大歓迎です。 百二十？ はい、問題ではなく、良い人がたくさんいるはずです。



一般的に、身長と体重の関係は多くの医療資料で説明されています。 そして、このグラフから明らかです。 小さすぎる女の子は通常男の子より重いことに注意してください。

性別

小さい頃から、女の子は女の子と友達になる可能性が高いといつも思っていました。 そして復venにおいて、彼らはほとんど男の子と友達でした。 この傾向を確認する時が来たと思います。



はい、あなたは女の子が友達に女の子を持っているという事実との明確な関係を見ることができます。 あなたが男性で、友人に女性しかいない場合、悪い知らせがあります。

ハスキー

いいねは素晴らしいことです。 6年前にはそれらは存在していませんでしたが、現在ではあらゆるソーシャルネットワークの不可欠な属性です。



私はいつも、公正なセックスがずっと頻繁に好きだと疑っていました。 そして、この傾向はほぼ30年まで続きますが、その後徐々に消えます。 幸いなことに、値は年齢とともに変化します。

のようなものは現代の現象です。 女の子は、紅葉で新しいアバターを磨いた人の数を神経質に考えます。 そのとき、「お父さん、お母さんをどうやって知りましたか？」-「まあ、私は彼女のavaを知ったので、それが始まりました。」

政治学

ハブラーがどのように政治の外にあったとしても、今ではすべての亀裂からにじみ出ています。 ソーシャルネットワークには、現在準備中の政治的見解を説明する特別なフィールドさえあります。

• 個人的には、今日、政治への無関心を誇らしげに指摘している人々が非常に多いことに驚いています。 そのような人々の数は年齢とともに徐々に減少しますが、ほんのわずかです。
• 年齢とともに、保守派とリベラル派の数は増えています。 どうやら、無関心な政治的見解を持つ人々のため。

これで美しいグラフィックが終わりました。 しかし、楽しみはまだありません。

データ

分析のためにこのような素晴らしいデータセットを作成し、それを共有しないことは、人道に対する罪です。 したがって、パブリックドメインに配置することが決定されましたが、このデータセットに陥った人々の権利とプライバシーを損なわないようにするために：

• プロフィールは匿名化されており、名前、姓、生年月日、大学またはプロフィールの住所はありません。 理論的には、一部のプロファイルは匿名化できますが、これは非常に困難です。
• データセットはサンプルであり、そのボリュームは正確に400万のプロファイルであり、各ソーシャルネットワークで100万です。
• この善の収集と分析は、個人データに関する法律を満たしているように思えます。 キーワード：公開データ（ユーザーが自分で投稿したもの）、匿名化（名前、生年月日などなし）、科学的非営利目的での使用。
• データライセンス：Creative Commons Attribution Shake-alike Noncommercial（CC-BY-NC-SA）。
• MySQLのデータをダンプします。 使用可能なすべてのフィールドの説明が含まれています。
• データにバグがある可能性がありますが、それは確かです。 バグを見つけたら、プライベートメッセージで誇らしげにそれを私と共有できます。

データ 、7z、アーカイブ内の135Mb、アンパック形式の1Gbでアーカイブします。

あとがきの代わりに

ネットワークにアップロードするデータには注意してください。 そこにアップロードされたものは何世紀もそこに残ります。 ですから、若い頃からあなた自身とあなたのプライバシーに注意してください。