シリーズ：ビッグデータ-夢のよう。 第4シリーズ。 脳の革命

前のシリーズ：ビッグデータは単なる大量のデータではありません。 ビッグデータは正のフィードバックプロセスです。 rtBD＆Aの具体化としてのオバマボタン



何世紀も何千年も生き残った世界で最も素晴らしい本の多くがあります。 これらの本に具体化された知識は普遍的です。 中国の軍事戦略、聖書、およびインドのマハーバーラタには、とりわけ、IおよびXIの人々とXXXI世紀の人々の関係に適用できるパターンと規範が含まれています。 しかし、XIX-XXI世紀の産業革命（蒸気機関車-宇宙-コンピューター-インターネット）には独自の哲学が必要でした。





100年以上にわたり、私たちは弁証法的唯物論の法則を使用してきました（マルクス-エンゲルス-レーニンの素晴らしい三位一体は、君主制の打倒を論じただけでなく、II世紀末の最大の思想家でもありました）。 否定の否定の法則、矛盾の闘争と統一、量への質の移行、周期的発展-これもビッグデータに関するものです。



ミレニアムの変わり目に（哀れな、正しい？90年代の終わりに）簡単にできる検索エンジンは1つのサーバーでした。 お金を入れる場所がまったくない場合は、2台のサーバー。 6か月または1年に1回、インターネットの成長に伴い（大文字で書くのが一般的でした）、検索エンジンは新しいもの（64 MBのメモリと128/256あたり128 GBのディスク）に移行しました。 ApportとYandexはクラスノカザルメンナヤとスモレンカのいくつかのユニットにあり、世界で最もクールなAltavista検索エンジンは本物のモンスターでした。DECの2台のサーバーは実際に検索エンジンによって宣伝されていました。



数年後、技術的な危機が起こりました。データ量が1〜2台のサーバーに収まらない-量から質への移行の法則が自然に機能し、（非常に、非常に単純化されて）出来上がりです。 -古いパラダイム「新しいクールなサーバーが必要です（できればDECまたはSunから）」は、「多くの安価なハードウェア」というアイデアに置き換えられました 。



このパラダイムは存在し、良好に機能します。データが増え、サブシステムがシステムになりますが、データはどんどん増えます！ 量から質への移行の法則は、「鉄」（ハード）をfみ、新しい牙を成長させ、歯を「ソフト」（ソフト）に固定しました。 ファッショナブルなOSと言語が登場し、Yandexによって書き直された新しいGoogle OSまたはFreeBSDは、新しいビッグデータ処理タスクの解決に役立ちませんでした。 。



テクノクラートの夢は、最大の分散化です！ より多くのデータ-グリッドには単に「ノード」が追加されます。 より多くのデータ？ -「頭脳」で鉄を追加します。 他のデータのタスクを変更しますか？ 新しい「思考」を鉄の脳に注ぎ込むだけです。 ラティスの各ノードは最も単純なタスクを解決するため、標準の要素ニューロンから新しい「思考」をすばやく簡単に作成できます。



あなたはすでに宇宙の弁証法の連鎖を続けていると確信しています。 しかし、このシリーズでは、シャーロックホームズだけでなく、すべての読者に焦点を当てる必要があります。そのため、問題は空間と時間の統一であり、そのような用語も時空です。 そして、人類が退屈しないように、つまり、制限は光速です。 Hadoopラティスのデータが多いほど、歯はよりシャープになります。



最もユーモラスな弁証法は否定否定の法則です 。 次の若い科学的な撮影だけが古い古い敵を打ち負かし、ひげを生やしました。孫がどのように来て父親を粉砕したか。さらに、ここは祖父のスローガンの下にユーモアがあります！



Hadoop-decentralizerは、データのそのようなエンティティ（「悪意」）が一時的な値として表示されるrtBD＆A（リアルタイムビッグデータ＆アナリティクス）タスクの時空間問題の時間測定に対応していません。最新のデータは、前のもの。



周期的な開発に続いて、集中型ソリューションが登場しました-IMC（In-Memory Computing）テクノロジー：実際には高速メモリのみが存在する高価なコンピューター -正式にはディスクドライブ（データストリームチェーンで最も遅いノード）が存在しますが、30の役割があります。 最新の（最も重要な）データはすべて高速メモリに存在し、分析脳はデータを「光の速度で」処理します。



近年の人気トピックであるSAP HANAに基づくIMC開発の真の有用性の例として、インテリジェント電力システムがあります。 主なタスクは、発電と消費を最適化し、その結果、エネルギーコストを削減することです。 運用の監視と予測だけでなく。 各家にはスマートメーターが装備されています。 測定は数分ごとに行われ、GISと統合されたビッグデータ分析システムによって処理されます。 このシステムでは、エネルギー消費の全体像を見ることができ、各地区および家の詳細情報を取得できます。気象条件、時期、日によってエネルギー消費がどのように変化するかです。 そして、これらの実際の正確なデータに基づいて、最も活気がありエネルギー集約型の地域の1つで電力供給を計画できます。



マンハッタンやブラジリアのような大規模プロジェクトでのメリットを計算するには、ゼロが多い計算機が必要です。 しかし、IMCソリューションの現在のコスト（数十万ドル）により、それを望む人々の99％が削減されます。つまり、これは大規模なソリューションではなく、検索が続行されます。



次はどこに行きますか？ Hadoop-IMCの「ミックス」、タイプセット「ノード」を備えた動的な「ハイブリッドクラウド」、または分子化学コンピューターへの切り替えがありますか（自然がこのアプローチを選択したわけではありません）。 人生が表示されます。



ここでは、rtBDプラットフォームの開発プロセスがどのように進行したかを示します。

1.最初の3〜4か月（2012年春夏）- クラウド 、「コアメモリ」の最適なセットが選択されました。 当時のデータをクラウドに配置するためのコストは非常に高く（最初のTB）、ファイナンスでした-いつものように、それは十分ではありませんでした。

2.来年（2013年）-クラウド実験の結果に基づいて、メインサブシステム用に異なるサイズ （HP）のサーバーを 1回購入。 ディスクの周りを圧迫し、少し高速でしたが、メインアレイは低速のSATA（10 TB）でした。

3. 2014年、高速化および拡張- 高速ディスクを搭載した安価な （HPと比較して） サーバーの購入。 パートナーとともに、メインブランチおよびSAP HANAのブランチと並行してテストしました。速度は最大5倍でしたが、お客様にとってSANAまたはHANAよりも安価なクラウドで十分でした。

4. 2014-15-データストリームの分散ネットワーク内のクライアント「1つのシステム-1つのサーバー」を含むハイブリッド分散スキーム 。

5.否定-否定（主張1）：数十TBのアーカイブデータが超安価なクラウドに保存されるようになりました:-)



次のシリーズでは、今日の緊急性について説明しますが、言われたことに続いて、「ブルージャイアント」が浮かび、聴力の足が伸び、「データが終了する」NoSQLまたは列DBMSについて説明します。



ビッグデータは夢のようなものです。 第1シリーズ

シリーズ2：ビッグデータはマイナスかプラスか？

シリーズ3：オバマボタン