ビッグデータとスマートデータの分野からのニュース：SmartData 2017 Piter会議プログラム

2016/2017年には、各会議でビッグデータ、ニューラルネットワーク、人工知能、または機械学習に関する1〜3のレポートがあることがわかりました。 このトピックについては良い会議を開催できることが明らかになりました。これについては、今日お話しします。



おいしい ：私たちは、科学者、実践的なエンジニア、建築家を1つの屋根の下に集め、技術に焦点を合わせることにしました-それは一般的なことのようですが、そうではありません。



難しい ：より深く掘り下げると、全員が別々の問題に取り組むのではなく、別々に取り組むことがわかります。



科学者は理論的にニューラルネットワークを構築し、アーキテクトは巨大なデータストリームをリアルタイムで処理することを目標に企業向けの分散システムを作成し、究極の目標なしにそれらへのアクセスを統一します。他の何か。 一般的に、誰もが彼のベッドを掘り、隣人に登りません...だから？ いやいや！



実際には ：誰もが一般の一部に従事しています。 スマートデータ自体（および「スマートデータ」は非常に狭い翻訳である）と同様に、実際にそれを扱う人々は、予期しない組み合わせを作成する可能性のあるさまざまな開発の分散ネットワークを作成します。 これは、その美しさと実用的な重要性において、スマートデータの基盤を形成します。



したがって、パズルのこれらのピースとその作成者は、 2017年 10月21日のSmartData 2017 Piterカンファレンスで作成者と会って議論することもできます。詳細は以下をご覧ください。







その後、多くの手紙があります、私たちはビッグでスマートなデータを求めていますが、歴史的にこの発表は、晴れた夏の夜の狙撃ショットのように、短くて正確な短くて正確なテキストを意味しています



通常、すべてのレポートを3つまたは4つのカテゴリに分けますが、これはうまくいきません。各レポートは独立したストーリーです。

最初は名前でした。 そして「名前は機能です」

名前の曖昧さと決まり文句（1か月に2回この取引高を悪用している場合でも）は、善悪を超えているように思われます。 しかし、これはVitaliy Khudobakhshovのオープニング基調講演の内容と密接に関係していません。



基調講演：Vitaliy khud Khudobakhshov-「名前は機能です」



教育を受けた人にとってそれがどんなに奇妙に見えても、孤独である/孤独である確率は名前に「依存」します。 私たちは愛と関係について、あるいはむしろ、ソーシャルネットワークのデータがこれについて正確に何を伝えることができるかについて話します。 「名前がセリョーザの場合、車に衝突する可能性は、コスティアと呼ばれる場合よりも高い！」と言っているのとほぼ同じです。 まあ、少なくとも非科学的です。



したがって、ソーシャルネットワークのデータ分析を使用して行うことができる最も予想外で直感に反する観測について説明します。 もちろん、このような観測の統計的有意性、ボットの影響、誤った相関の問題を無視しません。



一般に、Vitaly Khudobakhshovには、わが国最大の分析データベースの1つがあります。 VitaliyはOdnoklassnikiの主要なアナリストとして2015年からアクセスしており、データ分析のさまざまな側面に関与しています。



Dmitry Bugaychenko-「クリックから予測へ、およびその逆：データサイエンスパイプラインはOK」



Vitalyの巧妙なデータとDmitryの機械学習は結び付けられており、ライフパスの一部でさえ多少似ています。 Odnoklassnikiのビッグデータの分析は、Dmitryが理論トレーニングと科学的基盤を実際の人気製品の開発と組み合わせるユニークな機会でした。 そして彼は喜んでこのチャンスをつかみ、5年前にそこに来ました。



レポートでは、Hadoopエコシステムのデータを処理および保存するための技術や、その他多くのことについてお話します。 このレポートは、娯楽だけでなく利益のためにも、機械学習に従事している人々に役立ちます。



例として、1つの難しいタスクを検討してください-OKニュースフィードのパーソナライズ。 詳細を説明することなく、データ収集（バッチおよびリアルタイム）、ETL、およびモデルを取得するために必要な処理について説明します。



ただし、モデルを取得するだけでは不十分なため、複雑で負荷の高い分散環境でモデルベースの予測を取得する方法と、意思決定にそれらを使用する方法についても説明します。



実際に機械学習のアルゴリズム化とビッグデータの操作に完全に没頭したい場合は、国内で最も厳しいアルゴリズムの学校の1つを経験した人（School of Data Analysis-SHAD）と対話することをお勧めします。 会う：アンナ・ベロニカ・ドログシュ。



アンナ・ベロニカ・ドログッシュ-「CatBoost-次世代の勾配ブースティング」



Yandexの新しいオープングラデーショングラジエントブースティングアルゴリズムCatBoostの機能に関するレポートの二重の方向としての二重名。 このレポートでは、カテゴリーの特性に対応できるテクノロジーがどのように開発されたか、そしてなぜそれをパブリックドメインにしたのかについて説明します。 CatBoostについても、永遠の答えがあります：何（適用する）ですか？ どこで（動作）？ 誰に（注意を払うべきですか）？



このレポートは機械学習とデータの専門家に役立ちます。これを聞いた後、CatBoostを最も効果的に使用する方法と、それが今どこで役立つかを理解できます。



Artyom ortemij Grigoryev-「クラウドソーシング：群衆を飼いならす方法」



OKの2人のスペシャリスト、Yandexの2人はすでに群衆であり、レポートでは4番目の「その他」のタスクであり、今回はさらに適用されます。 機械学習とデータ分析のタスクでは、多くの場合、大量の手動マークアップを収集する必要があります。 少数のパフォーマーでは、作業に数か月かかることがあります。 Artyomは、これを迅速かつ安価に行う方法を示します。 そして、この経験は、限られた期間に多くのパフォーマーが必要とされる他のタスク（そして間違いなくそうです）に移すことができます。 レポートは、YandexクラウドソーシングプラットフォームであるTolokaの作成および使用の経験に基づいて、品質管理の問題、実行者の動機、およびマークアップ結果の集計のさまざまなモデルに対処します。



グループのトップである2010年以来、YandexにあるArtyomは、専門家の評価を収集するためのインフラストラクチャの開発、評価者向けサービスの開発、およびクラウドソーシングプラットフォームYandex.Tolokの開発を担当しています。



Alexander alexkrash Krasheninnikov- 「Hadoopの高可用性：Badooエクスペリエンス」



ビッグでスマートなデータには、特定のインフラストラクチャが必要です。 私たちは正直になります-非常に厳しいです。 何を選ぶ？



Hadoopインフラストラクチャは、分散ストレージやデータ処理などのタスクの一般的なソリューションです。 優れた拡張性と開発されたエコシステム賄briにより、Hadoopにさまざまな情報システムのインフラストラクチャーにおける強固な場所を提供します。 ただし、このコンポーネントにより多くの責任が割り当てられるほど、フォールトトレランスと高可用性を確保することが重要になります。



Alexanderのレポートは、Hadoopクラスターのコンポーネントの高可用性の確保に関するものです。 さらに、話しましょう：

• 私たちが扱っている「動物園」について *
• 高可用性を提供する理由について：システムの障害点と障害の結果。
• このために存在するツールとソリューションについて。
• 実装の実際の経験について：準備、展開、検証。

このレポートは、Hadoopを既に使用している（知識を深めるため）場合に最も役立ちます。 このレポートは、このソフトウェアパッケージで使用されるアーキテクチャソリューションのレビューという点で、聴衆の別の部分にとって興味深いものになります。



*アレクサンダーは、他の誰も知らないように、「動物園」とは何かを理解しています。



彼自身は、BadooのDataTeamの責任者です。 彼は、ETLのフレームワーク内でのデータ処理ツールの開発と、さまざまな種類の統計、Hadoopインフラストラクチャの処理に携わっています。 10年以上のWeb開発経験。 最良の結果を得るには、プログラミング言語（Java、PHP、Go）、データベース（MySQL、Exasol）、および分散コンピューティングテクノロジー（Hadoop、Spark、Hive、Presto）の爆発性混合物を軽useしないでください。



Alexander asibiryakov Sibiryakov-「インターネット上の連絡先情報の自動検索」



データが多いほど、「情報のゴミ」が多くなります。 Yandexで5年間、Avast！で2年間働いた後 建築家として、アレキサンダーは誤検知の自動解決を構築しました。 その後、大規模なデータ処理と情報検索への関心が高まったのは、それが通常あなたが本当に好きな場合に起こるからです。



Alexanderのレポートは、ウェブをクロールし、企業のウェブサイトから連絡先情報を検索して抽出する分散ロボットに焦点を当てます。 実際、これらは2つのコンポーネントです。コンテンツを受信するためのWebロボットと、分析と抽出のための別のアプリケーションです。



レポートの主な焦点は、抽出自体、作業アーキテクチャの検索、トレーニングデータを収集するためのアルゴリズムと方法のシーケンスです。 このレポートは、Webデータの処理に取り組むか、大量のデータを処理するためのソリューションを提供するすべての人に役立ちます。



Alexey natekin Natekin-「マップ、ブースティング、2脚の椅子」



私の同僚の共通の意見によると、アレクセイは非常にカリスマ的であり、これは彼が東ヨーロッパで最大のオンラインのデータサイエンティストであるオープンデータサイエンスの独裁者およびコーディネーターであるという事実とよく関連しています。 上記に加えて、アレクセイは機械学習とデータ分析に関する本格的なプロジェクトのプロデューサーです。



そして今、レポートについて。 誰もが勾配ブースティングが大好きです。 ほとんどの実用的なアプリケーションで優れた結果を示しており、「stack xgboosts」というフレーズはミームになっています。 原則として、意思決定ツリーのブーストについて話します。トレーニングには、大量のRAMを備えたCPUとマシンを使用します。 最近、さまざまな理由で、多くの人がビデオカードを購入して決定しました。なぜそれらを強化し始めないのか、GPUのニューラルネットワークは大幅に高速化されています。 残念ながら、すべてがそれほど単純なわけではありません。GPUにブースト実装がありますが、その有用性と意義には多くのニュアンスがあります。 Alexeyのレポートで一緒に考えてみましょう-勾配ブースティングをトレーニングするために2017-2018年にビデオカードが必要ですか？



PSところで、情報には独自の有効期限があり、さらに、各データ型には異なる有効期限があります。 そのため、アレクセイの場合、別の写真が提供され、それを会議のWebサイトで表示して、正しく識別することができます。



Sergey snikolenko Nikolenko- ロボットのもう1つの勝利：AlphaGoと強化されたディープラーニング 「オブジェクト検出と画像セグメンテーションのためのディープコンボリューションネットワーク」



これは、情報の別の有効期限の明確な例です。この投稿の準備中に、レポートの概念全体が変更されました。



結果として、Sergeyのレポートでは、個々のオブジェクトを認識するネットワークが、オブジェクトを他のオブジェクトと区別するネットワークにどのように変化するかについて説明します。 有名なYoLo、シングルショット検出器、R-CNNから最近登場したMask R-CNNまでの一連のモデルについて説明します。 そして、原則として、その畳み込みニューラルネットワークは長い間、画像処理のモデルの主要なクラスになっており、私たちはそれに耐えなければなりません。



ところで、これは機械学習（ディープラーニング、ベイジアン手法、ワードプロセッシングなど）およびアルゴリズム分析（ネットワークアルゴリズム、競合分析）の専門家であるセルゲイニコレンコが取得できるすべてのデータではありません。 100を超える科学出版物、数冊の本、著者コース「Machine Learning」、「Deep Networking Training」などの著者。



Vladimir vlkrasil Dyer- 「現代の銀行システムの未来に戻る」



歴史的注記 ：「ロシア連邦で最初に分散されたオンラインバンキング情報交換システムは、1993年に誕生しましたが、それはスベルバンクではありませんでした」



最新のバンキングビッグデータシステムは、1日に数億件のトランザクションを処理および保存し、宇宙の速度で世界の取引プラットフォームとやり取りするだけでなく、監査人と規制当局による厳格な管理と報告も行います。 レポートでは、監査主導型開発とは何か、またそれがどこから来たのかを検討し、支配当局を混乱させないために、バイテンポラルファクトストアを編成する方法を示し、タイムマシンを現代の分散システムに組み込む必要があることを証明します。 また、プレゼンテーション中に、「普遍的な事実の公式」が明らかにされ、いわゆる「分析」のタスクがより頻繁に判明します。



話者について少し、またはかなりたくさん：ウラジミールは、サンクトペテルブルク電気工科大学「LETI」の数学ソフトウェア学部を優秀な成績で卒業し、州、教育機関、金融機関、および自動車と通信に関する懸念事項のためのソフトウェアを14年以上開発しています。 Yandex.Market開発者により、Yandexのサンクトペテルブルク支店で働いています。 VladimirはロシアのJava開発者コミュニティJUG.ruの居住者であり、JPoint、Joker、JBreak、PGDayなどの業界会議で講演しています。



Ivan Drokin-「データがありませんか？ 問題ありません！ CGIでの深層学習»



それで、「データセット」、「畳み込みネットワーク」、「リカレントネットワーク」という言葉は怖くなく、解読さえ必要としませんか？ その後、Ivan Drokinによる深い畳み込みネットワークに関するレポートで彼の聴衆が見つかりました。



「もっと深くする必要がある」



現在、ディープコンボリューションネットワークは、多くのコンピュータービジョンの問題における最先端のアルゴリズムです。 ただし、これらのアルゴリズムのほとんどは膨大なトレーニングサンプルを必要とし、モデルの品質はデータの品質とその量に完全に依存します。 一部のタスクでは、データ収集は困難であるか、時には不可能です。



レポートでは、完全な合成データセット上のオブジェクトのキーポイントをローカライズするためのディープコンボリューションネットワークのトレーニングの例を検討します。



*そのような実験の1つでは、データはアンケートによって収集され、論文の一部として大学の1つの学生によってデジタル化されました。 最新のデータ操作手段を使用しても、1つのアレイを処理するには、システムにデータを入力するのに2週間しかかかりませんでした。 また、戦闘プロジェクトの場合、このデータはさらに何倍も必要になります。 このデータを収集するための追加の「学生」力はありますか？ いや？ それでは、Artyom Grigorievの計画と報告書をお寄せください。



ダイブインストラクターは、インテリジェントフルサイクルソリューションの開発と実装を専門とするBrain Gardenの共同設立者兼最高科学責任者であるIvan Drokinです。 彼の専門的な関心には、自然言語、画像、ビデオストリームの分析と処理のためのディープラーニングの適用、強化された学習および質問応答システムが含まれます。 彼は、金融市場、ヘッジファンド、バイオインフォマティクス、計算生物学の分野で深い専門知識を持っています。



Artyom onexdrk Marinov- 「毎日リアルタイムで6億人のユーザーをセグメント化しています」



Artyomのレポートの基になっているプロジェクトのデータは匿名で収集されるため、Big Brotherの類推は行いません。 同様のアナロジーを導かないのはなぜですか？



毎日、ユーザーはインターネット上で何百万ものアクションを実行します。 FACETz DMPプロジェクトでは、このデータを構造化し、セグメンテーションを実行してユーザー設定を特定する必要があります（TADAM！）。 Artyomのレポートでは、KafkaとHBaseを使用して、次のことができる方法を説明します。

• MapReduceからRealtimeに切り替えた後、6億人のユーザーをセグメント化します。
• 毎日50億のイベントを処理します。
• ストリーム処理中のセグメント内の一意のユーザーの数に関する統計を保存します。
• セグメンテーションパラメーターの変更の影響を追跡します。

Artyom Marinovは2013年から広告技術に携わっており、過去2年間Data-Centric AllianceでDMP Facetzの開発のリーダーとして働いていましたが、現在はDirectualで働いています。 これに先立ち、彼はCrearaで数年にわたり多くの広告プロジェクトの開発を指揮していました。 彼はBigDataとヘビーデューティーの仕事を専門としています。 主な言語はJava / Scalaで、約8年間の専門職です。



Alexey a_potap Potapov- 「深層学習、確率的プログラミング、 メタ計算 ：交差点」



したがって、線形分類器のいくつかのパラメーターの決定へのアプローチとして機能する生成モデルと判別モデルがあり、線形分離性の特性を持つ入力データに対する線形演算子に基づいて決定が行われる場合、分類器の問題を解決する方法として機能することができます、および2つのクラスの線形分類操作自体は、多次元空間内のオブジェクトの、家の超平面へのマッピングとして表すことができます。 ジャックが構築されました。 *



この段落の目的は、生成モデルと判別モデル、それらの相互関係、および機械学習への2つの最も有望なアプローチであるディープラーニングと確率的プログラミングのフレームワークにおける実際の応用について多くのことを準備することです。



*このシーケンスは、ITMOコンピュータフォトニクスおよびビデオインフォマティクス学部の教授であるAlexei Potapovによるレポートの一部ではありません。



アレクセイが彼の作品をどれだけ気に入っているかを理解するために、2年間の彼の活動を見てください。2つのマニュアルと27の科学論文が公開されています。 コンピュータプログラムの登録証明書を5つ受け取りました。 また、5つの国際会議への参加も、おそらくこれは指標ではありません。



Ivan ibegtin Begtin-「オープンデータ：状態データの可用性とその検索方法について」



Ivanは有名な人ですが、誰かが知らない場合は簡単な紹介です。



Ivan Begtin- ANO「 Infoculture」のディレクターおよび共同設立者、政府専門家評議会のメンバー、 市民イニシアチブ委員会のメンバー、 アレクセイ・クドリン 、社会的および政治ジャーナリズム「Power N4」の分野で受賞（2011）、ノミネートの「pressZvanie」賞を受賞特別な注目ゾーン」（2012年）、全ロシアのコンテストApps4Russiaの共同設立者。 公共プロジェクト「State Spending」、「Public Revenues」、「State People」、「The State and its Information」およびその他多数の著者。 Open Knowledge Foundationのロシア大使。



なぜこのデータなのか？ Ivanの伝記は、政府の公開データに関する彼のレポートの最良の紹介です。



ロシアおよび世界のオープンデータに関する州のポリシーにより、当局が作成したデータへのアクセスを無制限の数のユーザーに提供できます。 これにより、新しい製品をベースに作成して既存の製品を開発する準備ができているビジネスに新しい機会が開かれますが、データの収集、分析、公開の編成方法に関する知識と理解が必要です。



Ivanのレポートでは、データが収集される方法と理由、政府がデータを使用する方法を正確に説明します。 そしてもちろん、プロジェクトでそれらにアクセスして使用する方法。 さらに、データは常に信頼できるとは限らず、エラーが蓄積されるため、これらのエラーをどのように考慮することができるかについても理解します。



たぶん、それらがそのような量で私たちから集められたら、それらを使用する時ですか？



ミハイル・カマロフ-「推奨システム：行列分解からラインモードでの深層学習まで」



「そして、このレポートでは、この資料の実際的な重要性を強調するArtyom Marinovのレポートを取ることをお勧めします。」

何にも似ていませんか？



現在、推奨システムは、エンターテイメントの分野（Youtube、Netflix）とインターネットマーケティングの分野（Amazon、Aliexpress）の両方で積極的に使用されています。 この点に関して、レポートでは、推奨システムのアプローチとして、深層学習、コラボレーションおよびコンテンツのフィルタリングと時間によるフィルタリングの使用の実際的な側面を検討します。 さらに、ハイブリッド推奨システムの構築と、Sparkでのオンライントレーニングのアプローチの変更も検討されます。



2016年以降、EPAM Systemsのアナリスト、ミハイルカマロフの指導の下で、NLPおよび情報検索に関連するタスクの分野の専門家である、一般ユーザー向けの実用的なシステムへの没入を実施します。



アンドレイ・ボヤロフ-「深層学習：画像内のシーンとアトラクションの認識」



この場所に来たすべての人は、忍耐と関心に感謝しています。 この記事の冒頭で既に述べたように、ビッグデータとスマートデータの分野では、一般的なミッションから離婚した研究やレポートはありません。 そのため、このレポートでは、前のレポートの説明の概要で、畳み込みニューラルネットワークへのより深い没入のためにIvan Drokinのレポートを推奨できます。



アンドレイ・ボヤロフによる報告書は、深い畳み込みニューラルネットワークに基づく最先端のアプローチを使用してシーン認識問題を解決するためのシステムの構築について説明します。 Andreiが研究プログラマーとして働いているMail.Ru Corporationに関連するもの。



アトラクションを認識するタスクは、シーンの認識から生じます。 ここでは、宮殿、記念碑、広場、寺院など、さまざまな有名な場所があるシーンのすべての画像の中で強調する必要があります。 ただし、この問題を解決する際には、誤検知のレベルを低く抑えることが重要です。 レポートでは、シーン認識のためのニューラルネットワークに基づいて、アトラクションの認識の問題の解決策を検討します。



Alexander AlexSerbul Serbul-「eコマースでの機械学習の応用：パイロットと戦闘プロジェクトのシナリオとアーキテクチャ」



レポートのネットワークを作成するほぼ最終段階にあるので、実際の経験を確認する必要があります。 1C-Bitrix LLCの統合と実装の品質管理、AI、ディープラーニング、ビッグデータを監督するAlexander Serbulは、これを支援してくれます。 特に、Alexanderは、高いワークロードとフォールトトレランス（Bitrix24）に関連する会社のプロジェクトのアーキテクトおよび開発者として機能し、高負荷ソリューションのアーキテクチャ、現代のコンテキストでの1C-Bitrix製品のクラスタリングテクノロジーの効果的な使用についてパートナーとクライアントにアドバイスしますクラウドサービス（Amazon Webサービスなど）



上記のすべてが、推奨システムからディープニューラルネットワークまで、さまざまな一般的で「まれな」機械学習アルゴリズムを使用して会社によって実装されたパイロットおよび戦闘プロジェクトに関するレポートに含まれています。 プロジェクトは、オープンライブラリApache Mahout（Taste）、Apache Lucene、Jetty、Apache Spark（ストリーミングを含む）、さまざまなツールを使用したプラットフォームJava（deeplearning4j）、PHP、Python（keras / tf）での技術的な実装に焦点を当てましたアマゾンウェブサービスで。 特定のアルゴリズムとライブラリの重要性、それらの使用と市場での関連性に関するガイダンスが提供されます。



そして、これらは非常に実現されたプロジェクトです：

• Apache Sparkを使用したBitrix24ユーザーのクラスタリング
• ビッグデータおよび高負荷の状況での離脱確率（解約率）、潜在利益（CLV）およびその他のビジネス指標の計算
• 20,000以上のオンラインストア向けの共同紹介システム
• LSHによる製品カタログ
• 1億人を超えるrunetユーザー向けのコンテンツベースの推奨サービス
• ニューラルネットワークに基づく技術サポートBitrix24への呼び出しの分類子（nグラムモデルを除き、1次元畳み込みのパイロットも検討します）
• 質問と回答の意味空間を接続するニューラルネットワークに基づく質問への回答のチャットボット。

基調講演：Ivan Yamshchikov-「ニューロナ：なぜニューラルネットワークに、カートコバーンのスタイルで詩を書くように教えたのですか？」



カートコバーン、市民防衛、アート（クラシック、音楽、ビジュアル）、ビッグデータはどのように結びついていますか？



Machine Learning：State of the Art Hubrapostがハブのメインページに突然目を向けた場合...大丈夫、まだ時間があります。 それまでの間、この記事は読み進められており、他のレポートとのリンクを作成する機会があります。ニューラルネットワークとGPU、建築上のモニュメント、認識、ディープラーニングから、ついに「人工知能」の問題に直面します。



ビジネスでの機械学習と人工ニューラルネットワークの応用例は数多くありますが、このレポートでは、AIの創造的な機能について説明します。 彼はNeurona 、 Neural DefenseとPianolaがどうしたか教えてくれます。 最後に、創造的なAIを構築する分野の最新のタスクをまとめて紹介し、これがなぜ重要で興味深いのかという質問への回答を示します。



Ivan Yamshchikovは現在、Max Planck Institute（ライプツィヒ、ドイツ）の研究者であり、Yandexのコンサルタントでもあります。 彼は、脳がどのように機能するかを理解するのに役立つ人工知能の新しい原則を模索しています。



したがって、ネットワークは完成し、会議を待っています。 すべてのレポートは、互換性と補完性がテストされています*完成したプログラムに従って、会議のWebサイトでパスを計画できます。また、レポートの最後にある質問のブロックに限らず、セッション後にスピーカーといつでも直接話すことができるディスカッションゾーンの存在を考慮することをお勧めします。



*推奨事項は必須ではなく、著者の個人的な意見であり、参加者やプログラム委員会によって共有されることはありません。著者自身がAIの質問とIoTとのさらなる相互作用に困惑しているため、彼はすべての偏見に目を向けています。