「データマイニングは現在、市場での利点です」：SmartDataとビッグデータについて

同じトピックに関する会議は、まったく異なって見える場合があります。 また、まったく新しいイベントが計画されている場合、何を期待するかは事前に明確ではありません。 会議が「ビッグでスマートなデータ」に専念している場合、巨大企業向けに設計され、小規模な従業員がそこで行うことはありませんか？ そして、データサイエンスには、学位のない人が入らないほうが良いというバイアスがありますか？



10月21日にサンクトペテルブルクで初めて開催されるSmartData会議を見越して、プログラム委員会のメンバーであるVitaly Khudobakhshov （Odnoklassniki）とRoman p0b0rchy Wickedを明確にし、質問することにしました。 彼らは多くの恐れを払拭し、会議は会議だけでなく、業界の状況についても話し合いました：機械学習を取り巻く状況、中小企業がデータマイニングに参入する理由、マネージャーがビッグデータに関する技術会議のチケットを購入する理由。



JUG.ru：このサイトのトピックのリストには機械学習があり、この分野は現在活況を呈しています。 準備中に会議レポートが陳腐化する可能性はありますか？



Vitaliy：実際、技術的にはすべてがそれほど速く変化していません。 さらに重要なことは、現在、ほとんどの企業が「追いつく」ことです。



DeepMindのような「最先端」があります。これは、誰にも伝えないが、何かをするものです。 しかし、彼らは大した予算がないからといって、それほど難しいことではないこともよくあります。彼らはあまり心配しておらず、長い間同じ壁に頭をぶつけることで利益を得る余裕があります。



そして、もちろん、誰もがそのように投資する余裕があるわけではありません。 しかし同時に、第一に、現在使用可能な多くのオープンソースの優れた開発済みコードがあり、第二に、多くの情報が利用可能です。 したがって、ほとんどの人が使用し始めたばかりです。 たとえば、過去3年間のNVIDIA株の価格を見ると、本当の深層学習が今から始まっていることが明らかです。 ビデオカードのオンデマンド：暗号通貨がそれに影響を与えたことは明らかですが、ディープラーニング用のビデオカードの売り上げは、プレイするためのビデオカードの売り上げをすでに上回っています。 そして、これは良いマーカーであり、その「bazvordnost」にもかかわらず、ディープラーニングが実際に機能していることを示しています。



Odnoklassnikiの私たちは、1年半前に初めてディープラーニングを使用しようとしましたが、今では、生徒たちが「ああ、ビデオがありますから、ネットを作れます」と言って、テスラP40ポケットを取り出します。 数年前、ネットで古典的なAtari 2600ゲームのプレイ方法を教えた記事が非常に深刻なジャーナルNatureに掲載された場合、MIPTの一部の学生は同じゲームをより上手にプレイできるモデルを書くことができます。 実際のところ、それほど複雑なことは何もありません。誰かが何かをしました-今では誰でもそれを繰り返すことができます。 そして、多くの人でさえ、より良くすることができます。



つまり、客観的な状況は、大きな技術的変化が起こらず、主なものはすでに知られており、アクセス可能であるということです。そして今、問題は聴衆がどれだけこれを処理して採用できるかです。 そして、まさに会議がこれに役立ちます。



ローマン：特にニューラルネットワークについてではなく、全体としての「ビッグデータとスマートデータ」について言いたいと思います。層化は、このテクノロジーまたはそのテクノロジーがすでに採用されているという点で素晴らしいです。 たとえば、2008年以降、いくつかの場所で使用されているものもありますが、どこかでそれらを認識しているのは奇妙なことです。 誰もが記事をフォローしているように見えますが、業界の本当の層別化は非常に大きいと思います。









JUG.ru：まあ、おそらく誰もが記事をフォローしているわけではありません。 世界の支配や革命的な革新のふりをしていないが、かなり標準的なことに従事していて、実際には「最前線」に従わない多くの小さな会社があります。 SmartDataのユーザーは利益を享受するかどうか？



Vitaliy：彼らは実際に見つけます。



厳密に言えば、この会議は、このようにさまざまな問題を解決できることを示しています。 おそらく弦理論を扱っていないでしょう。 そして、おそらく非常に高度な企業でさえ、これらのいずれもサービスに取り入れることはできません。 そして、これにより市場でいくつかの利点を得るために。



現在、データマイニングは市場での利点にすぎないためです。 それはあなたが良くなることを可能にします。 そして、小さな会社が安く良くなることは非常に貴重です。 次のようになります：誰が何を売るべきかを決定するある種の賢い人を雇うことができます。 また、ランダムフォレストでモデルをダウンロードしてトレーニングすることもできます。



非常に古い素晴らしい物語があります。Amazonがどのようにしてこのアイデア全体を推奨事項とともに獲得したかです。 Amazonには、手動で推奨事項を作成する専門家のスタッフがいました。 しかし、その後、学生が来て、協調フィルタリングアルゴリズムを作成しました。彼は単に優れていたため、全員解雇されました。



そして、私は学生と初心者にデータマイニングの専門家（初心者だけでなく）にMapReduceでアイテム間のコラボレーションフィルタリングを1つのスライドで行う方法を示した一連のレポートをすべて持っています。 誰でもできることを示しています。 これが私たちが伝えたいことです。Yandex、Mail.Ru Group、Googleである必要はありません。 もちろん、これはグーグルで検索すると非常にクールです。 しかし、いくつかの大企業のオープンソースを利用してこれを活用できるのは非常にクールです。 このアルゴリズムを日常生活で使用し、会社に5人いる場合でも、市場で優位に立つことができることを示します。 これはかなり私たちの聴衆です。



JUG.ru：データサイエンスはトピックで述べられているので、私は明確にしたいと思います。会議に参加する「アカデミック」の数と、「インダストリアル」はどれくらいですか。



Vitaliy： 2つの異なるストーリーがあります。 1つは、運用中のビッグデータとスマートデータです。 これは、たとえばジョーカー会議に参加する人々が慣れていることです。 そして、データサイエンスから、毎日プロダクションを操作するとき、それほど多くのことは適用されません：線形回帰、ロジスティック回帰、深層学習。



そして、別のプロットは、理論上およびポイント問題で行われていることです。分析を行い、結果を取得し、この分析を上司に任せて、彼は見て決定を下します。



毎日自動的に実行する必要があるものと、1回実行できるものとの間に大きなギャップがあります。 これらはまったく異なる2つの状況、2つの異なる視聴者であり、30年、40年または50年前、おそらく100年から200年前に描かれたものが本番環境で常に行われていることを理解する必要があります。 しかし同時に、明日の生産で起こることは、現在描かれていることです。



プログラム委員会である私たちは、会議の聴衆にとって実際的な利益から前進します。 そして、私たちはスピーカーに質問します。「しかし、あなたは何を伝え、私たちに見せたいですか？それはすでに生産されているものですか、それともあなたはどこかで概説しただけですか？」



しかし同時に、私はこれらの物語の両方が重要だと個人的に考えています。 そして、単に現在Javaで書いている人々が聞いたことがないという理由だけで、ある種の科学的な筋金入りのものを叩かないでください。 明日の真の価値は、ハードコアが現在のものであるということです。



プログラム委員会では、この問題についてさまざまな意見があります。 ここでの質問は代表性です：ハードコアを一般に公開することはどのくらい可能ですか？そのため、このために特に来た狭いグループだけでなく、相対的に言えば、HadoopでMapReduceを書きたいだけの人々にも理解できます。 可能な限り多くの数式がなくても、可能な値は明確になりますが、誰がもっと気にかけますか-彼は記事を開いて読みます。



JUG.ru：カンファレンスの聴衆はどのように見えますか？



Vitaliy：私たちは、実践から、プログラミングから来て、データサイエンス、データマイニングの文化を吸収したい、そしておそらくそれを会社に実装したい、本当の専門家だと考えています。



さらに、多くの大企業にはR＆D部門があります。通常の開発者よりもはるかに多くの知識を持ち、生産に進まない、またはすぐに進まない何かをする人々です。 たとえば、私はオドノクラスニキにいます。実際、研究開発部門にいます。 彼らは通常、誰にも答えがわからないという質問で私のところに来ます。 そして、そのような人々は、たとえ少数派であっても、もちろん顧客でもあります。 ですから、おそらく生産についてであり、あまりおもしろいものではありませんが、アレクセイ・ポタポフや、データ分析や人工知能の先を行く科学分野の有名な人々の報告を聞きたいと思います。



そしてこれに加えて、私たちの聴衆は目標を設定するために浸透し、学びたいマネージャーでもあります。 結局のところ、通常、タスクは上から来るからです。 そして、ある種のデータマイニングを行うために、マネージャは、どのタスクがデータ分析の方法によって一般的に解決され、どのタスクが解決されないかを理解する必要があります。 そしてこれで、鉱山労働者の日付までにエンジニアにすでに来て、それについて彼に話します。 たとえば、銀行は、データマイニングが役立つ可能性のある非常に保守的なビジネスですが、現在はデータマイニングについてほとんど知識のない管理者がいます。 彼らはアルゴリズム取引をしていますが、これはわずかに異なる話ですが、一般的に非常に保守的です。



一部のマネージャーはすでにチケットを購入しています、彼らはそれについて自分で言いました。 多くのマネージャーは、これが重要であると単純に理解していないため、すべてのマネージャーが関心を持つとは限りません。 しかし、多くの人が理解しています。



JUG.ru：通常、JUG.ruグループからの会議は管理者に関連付けられていないため、多くの管理者についての言葉は予想外の場合があります。 レポート自体は主に技術者を対象としていますか？ 管理者が理解できるようにそれらを変更する必要はありませんか？



Vitaly：まず第一に、もちろん技術者向けです。 しかし、これはまだジョーカーではないことを理解する必要があります。 Shipilevには彼の「今は手袋をはめて、JVMの根性を調べて、そこに何があるのか​​を見ていきます」という人はいません。 実際のデータを使用する実際のケースについて話している。 このようなタスクは、比較的言えば、エンジニアリングコンポーネントと客観的なコンポーネントを持ち、レポートがより実質的になるようにすべてを行っています。



ローマン：これを追加したいと思います。何らかの方法で機械学習を使用している、または大量のデータの問題に直面している人々の層は、Javaプログラマーの層よりもはるかに薄くなっています。 したがって、Javaの場合、Javaプログラマーのレイヤーからサブセットを選択し、この狭いセグメントに基づいて会議を行っても、多くの聴衆を集めることができます。 そして、私たちの場合、これまでのところ、さまざまな人々のためにより多くの異なるものを含めることがより論理的であるように思われます。 さらに、私たちはまだ聴衆を探っています、まだ初めてです。 それを使うとき、私たちが知っているデータを扱う方法を使用して、それがどのようにあるかを見るでしょう。



JUG.ru：ローマ人、多くの人はあなたが講演者のトレーナーであることを知っています。あなたはすでに「レーザーポインターは悪」などを説明するHabréのレポートを徹底的に分析しています。 SmartData PCに参加してレポートを確認したら、コンテンツに加えて、レーザーポインターがないことをどこでも確認してください。



ローマン：はい、会う場所はどこでも彼らを根絶しますが、本当に、彼らなしでそれはより良いですか？ しかし、申し分なくレーザーポインター、他のものがあります。 ですから、スライド上のコードをフォーマットする方法について、 Codewareが素晴らしいスライドデッキを広めていることがわかります。 もちろん、すべてのプレゼンテーションのコードがこれに従って設計されるようにします。 まあ、私たちは、人々が解決している問題、ストーリーの結果に基づいて視聴者に提供したい推奨事項を忘れないようにして、スライドに置くすべてが多かれ少なかれ関連性があり、見ることができるようにします。 これらのこと-はい、もちろん、私たちはやろうとします。



JUG.ru：会議で何が起こるかが明らかになりました。 最後に、質問は次のとおりです。SmartDataで何ができない、何ができないのか？



ローマ：バルシッティングを排除するために、私たちは一生懸命努力しています。 ビッグデータが必要な場合は、本質的には何も言わずに、効果的な言葉をたくさん言うことができます。 私たちは細目です。



Vitaliy：不適切なレポートには2つのタイプがあります。 1つはでたらめで、2つ目は小数点以下5桁目で苦労しているとき、実際の利点を忘れているとき、特定の目標を達成するためではなく、スタッキングとブレンドのためにスタッキングとブレンドを開始するときです。



それも現実も離婚しているからです。 そして、現実とつながるように会議を作りたいです。

---

SmartDataは10月21日に開催され、カンファレンスチケットはすでにカンファレンスWebサイトで販売されています （そして、時間とともにより高価になります）。 主なトピックは次のとおりです。

• データとその処理（Spark、Kafka、Storm、Flink）
• ストレージ（データベース、NoSQL、IMDG、Hadoop、クラウドストレージ）
• データサイエンス（機械学習、ニューラルネットワーク、データ分析）