ビッグデータと機械学習？ HighLoad ++について

ほとんどの普通の人が持っている名前と第一印象に反して、「ビッグデータ」は単なる「ビッグデータ」ではなく、すべてのアレイを無制限の（または絶えず更新および拡張する）データと組み合わせることさえしません。



実際、「ビッグデータ」は主に、データを直接処理するアプローチ、ツール、および方法です。 これは、ほとんどの場合、構造化されておらず、多様で不均一です。



そして、最も重要なことは、「ビッグデータ」は、 HighLoad ++プログラム内の2015年の新しいセクションであり、最初にスピーカー会議で提案されたものです。 最初の、個​​別のレポートは、前の年に登場しました。















ちなみに、銀河のイラストはこの記事のタイトルに登場しました。理由は、天文学は顧客として、現在Web開発で広く使用されているいくつかのデータベースのソースでした。



そして今年、プログラム委員会はビッグデータのトピックを個別のセクションに分割することを決定しましたが、結局は無駄ではありませんでした。 ビッグデータと機械学習のセクションには既に12のアプリケーションが登録されています。スピーカーを紹介します。

スマートな顔

基調講演は間違いなく、 Toprater.comの科学部長Pavel Velikhov の基調講演です。



カリフォルニア大学サンディエゴ校で2000年にコンピューターサイエンスの修士号を取得しました。 大学院では、統計言語学を含むデータベース技術と機械学習に従事していました。 それ以来、DBMS、機械学習、自然言語処理の分野で開発を続けています。



修士論文に依存した最初のスタートアップは、XMLとXQueryを使用したデータ統合テクノロジーでした。 2003年、BEA Systemsはこのスタートアップを買収し、現在はOracleの一部となっています。 2004年、Pavelはロシアに戻りました。彼の夢は、ハイテクスタートアップを私たちと一緒に作ることでした。



最初に、ポールはシステムプログラミング研究所でSedna DBMSの開発を支援しました。 また、非常に強力なチームによって作成されたXML DBMSでもありました。 それを宣伝するのが非常に難しいことに気付いた人たちは、それを売るという考えが生まれました。 オラクルは関心を示していますが、残念ながら、知的財産とM＆Aに関連する困難のために取引は行われませんでした。 その後、Pavelはセマンティックテクノロジに取り組んで、Texterraシステムを作成しました。 また、2008年にMichael StonebreakerのSciDBプロジェクトに参加し、LHCやLSSTなどのプロジェクトで作業するための大規模な並列DBMSを作成しました。 チームはSciDBで大量の数学と機械学習を構築しました。Pavelは、この分野により密接に関与するというアイデアを得ました。 SciDBの後、彼はしばらくの間、News360スタートアップの科学部長として働いており、そこでは主に推薦システムに関与していました。



Pavelにいくつか質問をしましたが、彼はそれらに答える時間を見つけるのにとても親切でした。

-パベル、なぜあなたは自分の仕事を始め、続けたのですか？



-私がキャリアを始めた当初から、まだ大学院にいたとき、データベースと人工知能という2つの主な関心事をまとめることを夢見ていました。 その後、AIという用語は（この分野での次の誇大宣伝の後の）虐待的な言葉であり、長い間DBMSの内部に取り組んでいました。 Toprater.comプロジェクトでは、ソーシャル多基準選択のためのプラットフォームを作成しています。 つまり、多くの分野で、私たちはテクノロジーの助けを借りて人々の意見を処理し、これを基準のシステムに変えています。 私たちは、意見を理解するための技術の開発に多大な努力を注ぎ、その品質は現在、世界レベルにあります。 それで、このプロジェクトで私の科学的および工学的関心がついに注目されました。 まあ、あなたはあなた自身のシステム、例えば検索エンジンも開発しなければなりません。

-仕事で解決しなければならない興味深いタスクは何ですか？



-現在、スタートアップの開発で最も興味深い時期があり、B2C市場への参入を準備していると同時に、B2B形式の大手eコマース企業と協力しています。 そして、一方では、テキストを理解する際の複雑な研究​​問題を解決し、テラバイトのデータを迅速に処理するためにクラスターを展開し、エンドツーエンドのデータバージョン管理のためのシステムを作成しました。 一方、次の領域をすばやく起動したり、次のパートナーのデータを統合したりするために、データのクリーニングと比較のタスクを非常に短い時間で解決することもあります。 私たちは最大限に機械学習ツールを使用しており、そのような問題を解決するために社内ハッカソンを配置する伝統をすでに開始しています。



また、システムのすべての機能をAPIの下に隠し、チームだけでなくサードパーティの開発者もその上で製品を開発できるようにします。 これは私たちの戦略の一部です-私たちは積極的にサードパーティのチームをプロジェクトに招待します。 しかし、高品質のAPIを作成することも困難な作業であり、できるだけシンプルで最小限であり、優れたドキュメントと、絶え間ない新しい要件が複雑なモンスターに変わる恐れがあります。 ここでは、常にバランスと妥協点を探しています。

AvitoのMikhail Trofimov氏も同様の質問をし、回答を得ました。データのスポーツ分析についてもお話しします。



一方、ミハイルはロストフ地域シャフティ市で生まれ、研究され、地域数学オリンピアードの受賞者であり、物理学と数学の体育館を優等で卒業し、2010年にモスクワ物理技術研究所、経営数学と応用数学の学部に入りました。 3年目からデータ分析に興味を持ち、1年後にはKaggleでの最初のコンテストに優勝しました。 2014年以来、MikhailはAvitoで働いています。

-ミハイル、あなたはどの大会に参加しましたか？



-多くの競技に参加し、外見的には次のように策定されました：

• クエリ/ドキュメントのペアの関連性を判断する
• オンラインオークションでのボットの検出
• ウイルス分類
• コンテキスト広告（CTR）のクリックの予測
• ヒッグスボソン検索
• テキスト広告の分類
• ソーシャルネットワークでの投稿の閲覧数や高評価数の予測
• 借り手のデフォルト予測
• 顧客返品予測

外部の「モトリング」にもかかわらず、これらのタスクはほぼ同じ方法で解決されます。

-Kaggleのコンテストについて話しているのは正しいですか？ もう？



-Kaggleは唯一のプラットフォーム（そして最も古いプラットフォーム）ではなく、間違いなく現時点で最も「ライブ」なプラットフォームです。

基本的に、はい、私はKaggleに参加していますが、例外として-オフラインハッカソンと他のプラットフォームのコンテストに参加しました。

-なぜあなたは自分の仕事を始め、続けたのですか？



-数年前、チームとともに、私はビジネスケースコンペティションに参加しましたが、データ分析のタスクがありました。

私の同志も私もそのような経験はありませんでした。したがって、手動のルールとヒューリスティックに基づいた非常に簡単なソリューションを思い付きました。 多くの時間を費やし、最終的に4位になりました。 そして、優勝チームは機械学習方法の1つを適用しました。



iPadは賞品であり、私は本当に自分でそれをやりたかったので、勝者が何をしたかという事実に注意を払うことにしました。 その瞬間、機械学習の私の知り合いが始まり、それが後に本当の情熱と論文に成長しました。 ちなみに、私はiPadを手に入れましたが、別の競争で:)



私にとって、コンテストは新しいことを学び、機知と観察力を伸ばす機会です。 工夫の変化-多くの場合、データ分析とタスクの非標準ビューであり、機械学習アルゴリズムではなく、決定的な役割を果たします。 私は視野を広げ、新鮮なアイデアやツールに遅れないようにするために、このようなコンテストに参加し続けています。

-いくつか話をすることはできますか？ たとえば、タスクは何でしたか、それを解決するのはどれほど困難でしたか？



-私が参加した最初の競技の1つは多次元時系列を予測することでした。 たくさんのオプションを試してみましたが、「最後の値に定数を掛ける」よりも良い解決策を作ることができず、この定数を3桁目まで選択しました。 同じコンペティションに参加した私の友人は4つのポジションにいました-彼が4桁目と同じ一定の正確さを選んだからです。 このコンペティションは、コンペティションの解決策が常に複雑なモデルやクレイジーな数式からほど遠いことを教えてくれました。 そして、その計算精度は時々非常に重要です。



チームがMicrosoft Malware Classification Challengeを決定したとき、別の面白い事件がさほど前に起こりませんでした。 競争の秘trickの1つは、データが400 GBのデータであったことです。 そして今、終わりの前日、私たちは品質を絞って上位10に入るようにしようとして、バイト10グラムを数えることにしました（つまり、10バイトのすべてのシーケンスの発生頻度を計算する必要がありました）。 そのようなシーケンスの数は256 ^ 10であると簡単に推定できます。 彼らは問題を数えますが、選択することは行いません。 しかし、いくつかのテクニカルチップを使用して、それらを計算して選択し、モデルに追加する勇気がありました。 閉じる前の最後の15秒間に決定を送信します。 結果として、彼らは離陸した15番目のポジションから3番目のポジションに成功しました。 忘れられない！

-仕事で解決しなければならない興味深いタスクは何ですか？



-多くのタスクがあり、タスクは異なり、それぞれが独自の方法で一意です。 複雑さ（=関心）は、データ量（非常に多い場合も非常に少ない場合もあります）にある場合もあれば、ステートメント自体にある場合もあります。 鮮やかな印象の1つは、車の価格を決定するタスクです。 本質的に、これは最も類似したスライスを取得するためにデータベースへのクエリを修正するタスクですが、少なくとも特定の数のオブジェクトを含みます-そして、Ivan（Guz）と私は非常に美しい解決策を考え出すことができました。

残り-結局のところ、「3」が美しい数字である理由を説明する必要はないので、もう1つの「実用的な」スピーカーであるQRator LabsのKonstantin Ignatovと話をしました。GranbitDDoS攻撃に備えて機械学習を行っています。



コンスタンチン-MSTUを卒業。 バウマン（情報学および管理、自動制御システム）および高等経済学部（ビジネス情報学、企業情報システム）、Qrator Labsの研究部門の開発エンジニア。 HighLoad ++に関するKonstantinのレポートでは、機械学習の概要を紹介し、リストされているすべてのタイプのタスク、それらの相互関係、それらを解決するために使用される原則、最終的にトレーニングと予測に必要な時間を説明します。

まず、セキュリティ会社であることを強調したいと思います。 つまり、インターネット上の顧客リソースの可用性を確保するという目標があります。 しかし、侵入者がいます。彼らの目標は、少なくともしばらくの間、クライアントがアクセスできないようにすることです。 その結果、私たちは絶え間ない闘争を繰り広げており、一方の過ちはおそらくもう一方によって使われるでしょう。



いつものように、「犯罪者のように考える」という原則、つまり攻撃者を止めるためには、彼らがどのように行動するかを理解する必要があります。



たとえば、ユーザーがサイト内を歩き回り、マウスでクリックし、フォームに何かを入力すると、ブラウザーがリクエストを送信します。 ブラウザはこれらのリクエストの一部をほぼ独自の自由意志で行い（たとえば、静的をロードします）、それらの一部はユーザーアクションに直接関連しています。 これらのリクエストの一部は、 GET /search?q=...



など、他のリクエストよりも長く処理できますGET /search?q=...



攻撃者はこれに気づき、「通常の」リクエストを処理するために必要なリソースを使い果たしてサイトにそのようなリクエストを大量に送信しようとする可能性があります。



これに対応して、たとえば、応答キャッシュを入力できますが、攻撃者は単にq=...



パラメーターにさまざまな値を追加しますq=...



この場合、1つのIPから1秒あたりの検索数への要求数に制限を入力できますが、攻撃者は多くのIPアドレスの使用を開始します（ボットネットを購入するとしましょう）。 応答として、たとえば、最初のリクエストとしてGET /search



を禁止することができます。 サイトの他のページからCookieをインストールする必要がありますが、攻撃者はすぐにチップを理解し、ペアでリクエストを開始します...



制限では、このような相互作用は、戦略的および戦術的な2つの観点から考えることができます。



戦略的には、最も多くのお金を費やしたのは単純に重要です。攻撃者が少なくともある程度の有意義な成功のために予算を必要とする場合、それは持っていなくてもあります。 ここでの「動き」は、攻撃者に最も高価な機器の使用を強制することであり、おそらくより重要なのは、手作業による高度な知的作業です。保護するリソースごとに個別に攻撃したいです。 私たちはできるだけ行動を自動化し、高価な機器を合理的に使用します。



戦術的に、上記のタスクは次のようになります。

1. 私たちにとって：奇妙な振る舞いをしているサイト訪問者を検索すると同時に、かなりの負荷をかけます。
2. 攻撃者の場合：実際のユーザーに非常によく似せながら、同時にサイトを「ノックアウト」するようなボットを作成する。

先ほど触れたように、タスクを可能な限り自動化したいので、機械学習を使用します。 この場合、すべてのタイプのMLに直面します。

• 負荷を予測する必要がある場合（たとえば、理解するため。バックエンドがどのような条件下で「落下」するか）。 回帰あり;
• 攻撃がまったく発生するのか、誰かが多くの正当なユーザーを引き付けたのか、つまり、 分類あり;
• このプロパティまたはそのプロパティを持つ訪問者のグループを探す必要がある場合、つまり クラスタリングまたは異常の検索のいずれか。

そしてもちろん、リストは完全ではありません。

さて、あなたはあなた自身がどこでいつ知っている「完全なリスト」なので、すぐに会いましょう！

最後に 、Habrahabrユーザーの場合、カンファレンスでは15％の特別割引が提供されます。チケットの予約時にIAmHabrコードを使用するだけです。