ビッグデータとOdnoklassniki：ロシアで2番目に多く訪問されたソーシャルネットワークでデータを処理する方法

Odnoklassnikiは主なものを奪うことはできません-これはロシアで2番目に訪問されたソーシャルネットワークです（すべてのRunetサイトで4位）。 そして、例えば、アルメニアでは最初のものです。 何百万人もの人々が毎日このWebサイトを訪れ、分析可能なテラバイトのデータを残しています。 ソーシャルネットワークはユーザーからどのようなデータを収集しますか？ どのスタックが1日に数十テラバイトのデータを簡単に処理できますか？ そして、常により多くのデータがありますか？







Omitoklassnikiのビッグデータについて語ったDmitry Bugaychenkoにインタビューしました。



ドミトリー・ブガイチェンコ。 彼は2004年にサンクトペテルブルク州立大学を卒業し、2007年に正式な論理的方法で候補者を擁護しました。ほぼ9年間、彼は大学および科学界との連絡を失うことなく、アウトソーシングで働きました。 Odnoklassnikiでのビッグデータの分析は、Dmitryが理論トレーニングと科学的基盤を実際の人気製品の開発と組み合わせるユニークな機会でした。







あなたについて、そしてあなたが機械学習とビッグデータをどのくらい続けているかについてのいくつかの言葉。



Dmitry Bugaychenko ：自分や他のビジネスでお金のためだけにプログラミングしたくないプログラマーのカテゴリーに帰することができると思いますが、答えよりも質問が多い分野に引き寄せられ、それらを解決するために、あなたは本当にあなたのすべてを使う必要があります潜在能力と知識。 それが、おそらく、データ分析の分野に来た理由です。 「ビッグデータ」と見なされるものに関連する最初の本格的なプロジェクトは、2011年の終わりに始まりました。



ネットワークの毎日の視聴者と、ユーザーが生成したおおよそのデータ量を発声することは可能ですか？



Dmitry Bugaychenko ：可能です。 私たちの1日の視聴者は4,000万人であり、1日のデータ量（ダウンロードした写真/ビデオの量はカウントしません）は数十テラバイト単位です。



収集するユーザーデータとその使用方法



Dmitry Bugaychenko ：いい質問です。 Odnoklassnikiでは、ユーザーのプライバシーを維持するという問題と、データの保存と使用に関する倫理的な問題に多くの注意を払っていることにすぐに注目したいと思います。 さらに、個人データの収集および使用に関連する問題を規制するロシア連邦の法律を尊重し、遵守します。 私たちが扱うほとんどすべてのデータは、Webインターフェイスとモバイルアプリケーション（投稿、「クラス」、コメントなど）を介してソーシャルネットワークの通常のユーザーが何らかの形で利用でき、まずこのデータを使用します、ユーザーエクスペリエンスを改善するために-ユーザーが新しい興味深いコンテンツを簡単に取得したり、ニーズを理解したり、ネガティブなものを減らしたりできるようにします。



写真やビデオについて話す場合、そのようなデータからどのような有用な情報を得ることができますか？



Dmitry Bugaychenko ：マルチメディア（写真、ビデオ、音声）オブジェクトの分析には、本当に多くの困難が伴います。 これらのデータは、特定の機能（重複排除など）を実装するとき、または結果の80％が既に「クラシック」アクティビティデータから絞り出され、残りの20％を絞り込んで他のデータを接続する必要がある段階で機能します。



データ処理に関係するツールは何ですか？ ビッグデータキッチンについて教えてください。



Dmitry Bugaychenko ：長い間、魅力的に話すことができます。これは、さまざまな会議、会議、DataFestで何度も行ってきました。 つまり、ほとんどの場合、一般的なオープンテクノロジーと分析パターンを使用します。 Apache Kafkaキュー、Hadoop + Parquetストレージ、分析は、コンテキストに応じて、データを収集するために使用されます：古典的なMapReduce、Spark、Hive、Pig、Samza、Spark Streaming、scykit-learnを備えたPython、およびニューラルネットワーク用のTensorFlowおよびCaffe。 私たちは新しいテクノロジーとパターンを非常に積極的に導入していますが、その導入は「ファッショナブルだから」だけでなく、客観的に正当化されることを念頭に置いています。



作業中にあるツールから別のツールに切り替える必要がありましたか？ もしそうなら、どんな理由で？ ツールの方がわずかに優れていることはありますが、そのためにサーバーの負荷が高くなり、メンテナンスコストがすべての利点を無効にしますか？



Dmitry Bugaychenko ：テクノロジーであれアルゴリズムであれ、成長の新たな機会を探すことは私たちの日々の仕事の一部です。 しかし、私たちは常に代替案を合理的に評価しようとします。テクノロジーに関する「誇大広告」はそれを見る機会ですが、その実装に投資する価値があるかどうかは、コストと潜在的な効果を評価した後に決定されます。 さらに、新しいアプローチの導入に関して、「1つの新しい」ルール（既知の技術/アルゴリズムの新しいタスク、または既知の問題の新しい技術/アルゴリズム）を順守しようとしますが、これは定説ではありません。



パフォーマンスと他のプロパティ（使いやすさ、モデルの品質の予測など）の妥協について話す場合、決定も合理的に行われます-潜在的な効果が十分であれば、オープンソリューションを改善して、タスクに許容可能なパフォーマンスを提供します。



今、すでに現在の経験がある場合、5年前に戻ってくるとしたら、どうしますか？



Dmitry Bugaychenko ：全体として、私の意見では、データインフラストラクチャの開発の概要は十分に構築されていますが、もちろんいくつかの点があります。 まず第一に、SQLベースのソリューションではなく、すぐに分析にHadoopを使用します。 インタラクティブな分析ツール（Hive、Hue）の実装を開始していました。 SQLとアルゴリズムの変更をポストするための複雑な手順を使用すると、作業が大幅に遅くなるため、これにより、はるかに迅速な開始が可能になります。



一方、当時の対応する技術は成熟度がはるかに低かったため、逆効果の可能性もゼロではありません。 若いテクノロジーを導入する場合、積極的にパッチを適用する必要があることがよくあります。これにより、将来の新しいバージョンへの移行が大幅に複雑になります。 したがって、タイムマシンがあれば、それを危険にさらすことはないと思います。



現在のデータ処理システムは最適だと思いますか？ そして、何が改善できますか？



Dmitry Bugaychenko ：誰もそれを必要としない場合にのみシステムを改善することはできません。これはデータ処理システムに関するものではありません。 もちろん、バグ修正、アップグレードなど、多くの小さな技術的な改善ではありませんが、小さな改善があります。 プロセスで改善できる多くのことがあります（まず、内部および外部の教育プログラムを開発するため）。 しかし、「大きくて明るい」何かについて話す場合、これはもちろん、まず第一に、セマンティックデータレイクの概念です。この場合、データは単なるログと集計の大きなダンプではなく、安定した定義済みのメタモデルを持つ単一の効果的なストレージです、データストレージの技術的な詳細を参照せずに、サブジェクト領域（ユーザー、投稿、「クラス」など）の観点からデータの操作を定式化および実行できます。



データ分析はそれ自体で非常に興味深いですが、何らかの方法で数字を表明することは可能ですか、それはまったく価値がありますか？ ユーザーデータを分析するという事実から、ソーシャルネットワークの「排気」とは何ですか？ Odnoklassnikiの場合、ビッグデータがどのように収益化されるのかを言うことは可能ですか？



Dmitry Bugaychenko ：これは非常に難しい質問で、曖昧な答えがあります。 それはすべて、分析の実装方法と場所に依存します。 たとえば、自分の好みやユーザーの好みに関する意見に基づいて編集者が作成したコンテンツコレクションを置き換えようとすると、データ分析に基づいたコレクションを導入することで、ユーザーアクティビティが複数増加する可能性があります（実際には10倍の成長もありました）。 たとえば、有能な人々が同じコレクションをデータに基づいて構築しているが、機械学習を使用しない場合、同じ問題を解決するアルゴリズムを導入すると、割合で測定したより控えめな結果が得られることがよくあります。



ソーシャルネットワークがユーザーに適応するための最小データ量はどのくらいですか？ また、実質的にそれ以上の改善がない場合、個人データに制限はありますか？



Dmitry Bugaychenko ：ほとんどのシステムは、最初のクリックからユーザーに適応し始めます。 さらに、「飽和」前に必要なデータ量は、対象領域に大きく依存します。 そして、はい、多ければ多いほど良いとは限りません。 受信するデータが多すぎると、システムが飽和状態になり、推奨事項が関連しているが興味深いものではない場合に、ユーザーに「意見のバブル」が作成される可能性があります。 このような「バブル」との戦いは、別の重要なトピックです。



ビッグデータ分野の他のmail.ruプロジェクトとの共生はありますか？ あなたの決定はホールディング全体に複製されていますか、逆に同僚の成功した決定を採用していますか？



Dmitry Bugaychenko ：アイデアとデータの交換は積極的に双方向に行われています。 実際、多くの人が機械学習を実践しているため、2つ以上の側面があります。 たとえば、VKontakteは、私たちの経験に焦点を当てて多くの点で分析インフラストラクチャを構築しています。Search@ mail.Ruには、ツリートレーニングの興味深い効果的な実装があります。



ダス・マガジンのセンセーショナルな話を覚えていると思います。トランプ米大統領は、その活動の分析に基づいて特定のユーザーに選ばれたソーシャルネットワークの広告を通じて勝利につながったと言われています。 専門家として、この物語が現実にどのように対応するか教えてください。 もしそうなら、そのようなターゲティングは-必ずしも政治的ではない-オドノクラスニキで可能ですか？



Dmitry Bugaychenko ：私の意見では、話は非常に現実的です。 さらに、地域の基準では、これは非常に一般的な話です-パーソナライズされたターゲティングは長年ビジネスで使用されてきましたが、それは政治広告キャンペーンで使用されただけです。 もちろん、Odnoklassnikiでのパーソナライズされたターゲティングは可能であり、既にビジネスで使用されています。

---

10月21日、友人はSmartData会議の一環として、 Dmitry Bugaychenkoが新しいレポート「 クリックから予測まで、そして戻る：データサイエンスパイプラインをOK 」を配信します。 一緒に来て！