ビッグデータダイアログ

こんにちは！



-健康。 お元気ですか 生きている？



-しがみついています。 陽気で明るいとさえ言えます。 さて、注文しますか？ あなたの現在の好みは何ですか-焼きドラドまたはビーフフィンガーミット？



-知りません。 むしろ、2番目。 そして、ITソリューションを販売する前の状況はどうですか？ 倉庫に「鉄」を持ち込めますか？ または、赤字がすでに形成されており、片手で2つ以下を与える必要がありますか？



-実際に。 すぐに2シフトで仕事をします-朝に売り、夕方に発送します（笑）。 Big Systems 2013フォーラムはOpen Systemsによってホストされていましたか？







-いいえ、訪問に失敗しました。 誰もがビッグデータを使い始めたら、今後10年間で私たちを待っている明るい未来について何か興味深いものがありましたか？



-残念ながら、私もそうではありませんでした。 そして、ビッグデータに関するそのような懐疑論の理由は何ですか？



-まず、マーケティングのベールの背後にある穀物を見ることが困難になっているという事実から、そこからビッグデータが成長して本当に有用なものに発展するはずです。 IT関連の雑誌やブログのすべての号で、ビッグデータに関する記事やメモに出会うことは間違いありません。この記事では、ビッグデータとはまったく関係がないか、または間接的に関係していることについて話すことができます。



-そして、ビッグデータは本当に新しいという考えを許しませんし、ITの革新的な方向性を言うことを恐れていませんか？



-ビッグデータの構成要素を整理して、「大きなストローク」で表示してみましょう。 まず、データの書き込みと読み取りのメカニズムを含むデータストレージソフトウェアです。つまり、CRUDジェネレーターと、メタデータを保存して、書き込まれた内容と場所を把握します。 ハードウェアからこのソフトウェアに必要なのは、処理能力とメモリのみです。 さらに、メモリはRAMの形でもハードディスクの形でもかまいません。 60年代以降、プロセッサとメモリの動作の基本原則が変わったと思いますか？



-いいえ、原則は同じままですが、メモリのパワーと量は桁違いに増加しました。 したがって、誰もがビッグデータの時代が来たと言います-テラバイト単位のデータ量は軽薄と見なされます。



-そうです。 市場に出回っている高速かつ大容量のハードドライブは、最初のコンピューターが登場したときでも動作原理が定められていたため、革新的とは言えません。 もちろん、技術的な部分は近代化されています-技術的なプロセスが削減され、新しいインターフェースが登場しています。 プロセッサーについても同じことが言えます。プロセッサーはより小さく、より高速になりますが、「革新的」ではありません。 つまり、ビッグデータに使用されるすべてのハードウェアは、本質的に同じ古い良好なディスクとプロセッサですが、現在では、要求の厳しいフラッシュディスクとマルチコアを備えたバージョンがあります。



-ソフトウェアはどうですか？



-これは、ほんの少しのイノベーションがある場所です-同じHadoop、またはむしろその半分-HDFS。 分散ファイルシステムの形式でデータストレージを提供し、それにアクセスを整理します。 以前は、これは実際には起こりませんでしたが、ここのTeradataの担当者はあなたと議論することができます。 Hadoopの出現により、数百テラバイトの情報を保存し、そこから情報を取得することさえ可能になりました-ところで、これは2番目でした。



-どういう意味？



-データを保存して読み取るだけでは十分ではありません。必要なものをデータから抽出する必要もあります。 次に、Hadoopの後半（MapReduce）がポップアップします。これは、HDFSから必要なデータを抽出して処理するために必要なものです。 ここにはイノベーションの欠如があります-スーパーコンピューターで並列計算が登場し、この考えは新しいものではありません。 Doug Cuttingは新しいものを思いつきませんでしたが、分散コンピューティングのフレームワークを開発しました。 超並列アーキテクチャを見ると、Teradataは80年代に再び登場しました。 したがって、要約すると、ビッグデータにはほとんど革新がありません。



-なぜ今彼女について話したのですか？



-現代の「鉄」の技術的特徴により、数百テラを保存および処理することが可能になりました-以前は想像することさえ困難でした。 安価なドライブとマルチコアプロセッサ。



-そして、すべて、ビッグデータはHadoopで構成されていますか？



-多くの人が自分もビッグデータだと言います-すべての主要ベンダーは、ソリューションがビッグデータと連携し、大量のデータを処理するように設計されていると言っています。 Oracle、EMC、HP、IBM、Teradataなど。 しかし、概して、ビッグデータは、Cloudera、Hortonworks、またはMapRであっても、Hadoopです。 コンセンサスはありませんが、Exadata、Greenplum、Netezza、Paracel、Vertica、Teradataなどのソリューションはビッグデータの分野に帰属します。



-どんな理由で？



-数十テラバイトまたは数百テラバイトの比較的大量のデータを適切な時間で処理できます。



-すべてのマーケティングは何に関連していますか？ ベンダーはHadoopのアイデアに触発され、それについてみんなに伝えようとしていますか？



-もちろんありません。 たとえば、EMCはGreenplumを、HPはVerticaを、IBMはNetezzaを、SAPはSybaseを購入しました。これらすべての費用は多額であり、これらのコストを回収して利益を上げる必要があります。 したがって、すべてのベンダーは会議を開催し、雑誌に記事を書き、伝道者を雇います。これらはすべて、ビッグデータの時代が到来し、購入の時が来たことを潜在的な顧客に納得させるマーケティング計画の一部です。 なぜこれが必要なのか、顧客は自分で考え出さなければならない、市場には既製のソリューションはありません。



-そしてビッグアナリティクス？ ビッグデータを使用して大量の情報を分析しますか？



-そして、それは小さなものとどう違いますか？ この分析に使用されるすべての数学的および統計的方法は、長い間発明され記述されてきました。この分野では根本的に新しいものは何も現れません。 20世紀に開発された数学的装置が使用されたため、現在では使用されています。 情報量が膨大な割合に達したという事実から、分析方法は変わっていません。 この大きな分析を見せてください...



-うーん...データサイエンスについて何か聞いたことがありますか？



-もちろん。 周りの人がデータサイエンスについて話しているとき、それについて知ることは難しいことではありません。 たとえば、モデルData-> Information-> Knowledge-> Wisdomを使用したデータ分析プロセスを想像してみましょう。 つまり、最初にデータを取得します。この場合は、単なるバイトシーケンスです。 このバイトシーケンスに隠されている値は情報であり、メタデータを使用して取得します。たとえば、名前はこの列に格納され、誕生日はその列にあります。 次のレベルである知識に進むために、数学的および統計的な方法を情報に適用し、そこから知識を抽出します。たとえば、ロシアでは60歳以上の人の数を調べることができます。 この事実は、現在または過去の状況に対する洞察を与えてくれます。 この情報を操作して、将来使用することができます。 しかし、さらに先に進むために、次のレベル-知恵、すでに他の方法-ニューラルおよびセマンティックネットワーク、機械学習、ファジーロジック、つまり人工知能に関連するすべての方法を使用しています。 知恵は現在の状況の完全な理解を与えてくれます。つまり、「ロシアに60歳以上の人がいるのはなぜですか」という質問に答えることができます。 予測や目論見書も作成できます。 データサイエンスは、さまざまな分野の方法とアプローチの組み合わせです-ここでは機械学習、ここではデータマイニング、ここでは人工知能、通常の数学、エキスパートシステム、遺伝的アルゴリズムなどであり、取得するためにデータを処理する方法を理解しますそのうちの知恵です。 実際、非常に興味深いことです。これは最近発生し、その道の始まりにあります。 この分野の最新の動向を興味を持ってフォローしています。



-そして、データサイエンスで根本的に新しいものが登場しましたか？



-まだです。 自分自身をデータサイエンティストと呼ぶ人々は、長い間人類に知られているセットからさまざまな方法を適用して結果を調べようとしています。 かなり面白いものが出てくることもあります。 ところで、インフォグラフィックが返される理由の1つは、大量のデータを処理し、特定の領域のいくつかの事実と現象をカラーチャートとグラフの形で表示できるようになったことです。 これにおける特定のメリットは、データサイエンスに属します。 また、この方向の開発の速度がかなり速いことに注意したかったです。 テキストおよびグラフィック情報、ビデオおよびオーディオの処理には一定の成功があります。 テキストに含まれるセマンティックロードの認識、知的検索、音声認識-これらはすべて、機械学習とデータサイエンスの接点になりました。 同じアルファドッグがすでに森の中を走っていて、すべての木に張り付くわけではありません。



なぜデータサイエンスが今すぐ人気になったのですか？



-再び、技術的な能力が現れました。 現在、すべての家庭には70年代の標準によるスーパーコンピューターがあります。 スマートフォンの8つのコアは、もはや誰にも驚きません。 学生でさえ、数十テラバイトのディスクを購入する余裕があります。



-まあ、データサイエンスでそれは明らかです。 それでも、ビッグデータを中心に作成されたマーケティングの誇大広告を脇に置くために、それは実用的なものがありますか？



-もちろん。 毎日生成されるデータの量は膨大です。 現在、電球にもIPアドレス、より正確にはMACがあり、必要に応じてそこからいくつかのインジケーターを取得できます。 自宅でもビッグデータを手配できます-照明の必要なインジケーターを300ルクスに設定し、外部センサーから太陽の照明の値を取得し、照明が常に300ルクスになるように電球の電力を調整します。 同時に、消費電流の測定を行います。このような測定値を1年中に蓄積すると、翌年に必要な電気の量と、ライトがフルパワーで点灯したときとまったく使用しなかったときを把握できます。 美しいインフォグラフィックを描くことだけが残っています-それだけです、あなたはビッグデータにいます（笑）。 実際、ビッグデータの主な商用アプリケーションは現在、公益事業、不動産市場、輸送および物流、倉庫、薬、政府、金融、保険で見られています。 これらの領域では、生成されたデータのフローは非常に大きく、自分の目的に使用することができます。 科学的な目的や調査のために、どこでもビッグデータを使用できます。制限はありません。 しかし、ここでの難点は、ビッグデータ用の完全で完全な商用ソリューションが存在しないことです。それを自分で考え出すのはあなた次第です。 この点で最も先進的なのは、TheSmarterCityおよびSmarterPlanetプロジェクトを備えたIBMです。これらはもちろん強力なものです。



-もちろんエキサイティングに聞こえますが、実際に動作するプロジェクトは既にありますか？ 一般的に、ロシアのビッグデータと同様に？



-ご存知のように、すべての大手ベンダーがここにハードウェアを持ち込み、それらについて話しています-Oracle Big Data Appliance、EMC Greenplum HD、EMC Greenplum MR、IBM BigInsights、Teradata AsterData。



-そして、彼らと一緒に仕事をする方法をすでに知っている人々は何ですか？ ジャビストはデータ分析を理解していますか？



-はい、でも大したことはありません。 ちなみに、ビッグデータを操作するために、Javaを知る必要はありません。 同じCloudera Impalaはすでにベータ版としてリリースされているため、すぐに通常のSQLを使用してビッグデータをリアルタイムで使用できるようになります。 Rはまだ研究する必要がありますが...



-そして、これらの人々の多くは？



-より多くの人がビッグデータの分野で働いていると言いますが、それが何であるかを本当に理解していません。 本当に知識のある人々は指で数えることができます-私はロシアでここを意味します。



-これを紹介するのは誰ですか？ インテグレーターはビッグデータを知っていますか？



-企業が独自にビッグデータを実装している限り。 しかし、驚くべきことに、インテグレーターも目を覚まし、その一部はこの方向に部門を開設し、人々も登場しました。 IBS、Nvision、Technoserv、FORS。 あなたは笑いますが、アイテコでもビッグデータのトレンドが始まりました。 これまでのところ、彼らはマスコミで有名な実装やプロジェクトについて書いていませんが、物事はゆっくりと進んでいます。 同じSberbankがR＆Dセンターにビッグデータラインを開設し、そこで何かを研究しています。 数年以内に、彼らは自分の目的のためにビッグデータを使用する可能性があります。