ビッグデータとは、パート2

この一連の記事の最初の部分では、データと、そのようなデータの大きなブロックから意味を抽出するためにコンピューターを使用する方法について学びました。 90年代半ばにAmazon.comのビッグデータに似たものを見たことがありました。同社が何千もの顧客が同時にWebサイトで行ったすべてをリアルタイムで監視および記録するためのテクノロジーを発表したときです。 かなり印象的ですが、一気にビッグデータと呼ぶことができ、ふくらんでいるデータがより適しています。 米国国家安全保障局（NSA）や英国政府通信センター（GCHQ）のような組織は、スパイ活動の一環として、その時点ですでにビッグデータを収集し、デジタルメッセージを記録していましたが、それらを解読して意味を見つける簡単な方法はありませんでした。 政府の記録ライブラリは、一貫性のないデータセットで混雑していました。

Amazon.comの方が簡単でした。 何万もの製品と数百万の消費者すべてを対象としていたとしても、顧客満足度は容易に判断できます。 顧客が実店舗または仮想店舗で実行できるアクションはそれほど多くありません。 クライアントは、入手可能なものを確認し、追加情報を要求し、製品を比較し、バスケットに何かを入れ、購入または離脱できます。 これはすべて、リレーショナルデータベースの機能内にあり、すべてのタイプのアクション間の関係を事前に設定できます。 そして、それらは事前に設定する必要がありますが、これはリレーショナルデータベースの問題です。これらはそれほど簡単には拡張できません。

そのようなデータベースの構造を事前に知ること-胎児の潜在的なすべての友人のリストを作成する方法...人生のために。 リストが完成するとすぐに、新しい役職を追加するには深刻な外科的介入が必要になるため、すべての胎児のリストを作成する必要があります。

データの関係とパターンの検索には、より柔軟なテクノロジーが必要です。

90年代のインターネットの最初の主要な技術的課題は、非構造化データを扱うことです。 簡単に言えば-日常的に私たちを取り巻くデータであり、以前はデータベースの形で保存できるものとは考えられていませんでした。 2番目のタスクは、データ量が多く、情報出力が少ないため、そのようなデータの非常に安価な処理です。

少なくとも1つのアルカイダの言及を検出するために100万件の電話での会話を聞く必要がある場合は、かなりの予算またはこのすべてのデータを処理するための新しい非常に安価な方法が必要になります。

当時の商用インターネットには、World Wide Webであらゆる種類のものを検索することと、何かを見つける機会を得るために広告を支払うことの2つの非常によく似たタスクがありました。

検索タスク。 1998年までに、Webサイトの総数は3,000万に達しました（今日では20億を超えています）。 3,000万のサイト 。各サイトには多くのWebページが含まれています。 たとえば、Pbs.orgは30,000ページを超えるサイトです。 各ページには、数百または数千の単語、画像、情報ブロックが含まれています。 Web上で何かを見つけるには、インターネット全体のインデックスを作成する必要がありました。 これはすでにビッグデータです！

インデックスを作成するには、最初にWeb全体、1998年には3,000万ホスト、現在は20億ホストをすべて読む必要がありました。 これは、いわゆるスパイダーまたは検索ロボットの助けを借りて行われました。これは、新しいWebページをインターネットで系統的に検索し、それらを読んでから、コンテンツをコピーしてインデックスにドラッグして戻すコンピュータープログラムです。 すべての検索エンジンは検索ロボットを使用しており、継続的に動作する必要があります。インデックスを更新し、新しいWebページの外観、変更または消失に合わせて最新の状態に保ちます。 ほとんどの検索エンジンは、現在のWebのインデックスだけでなく、原則としてすべての古いバージョンのインデックスをサポートしているため、以前の変更を検索するときに、過去にさかのぼることができます。

インデックス作成とは、すべてのメタデータ（データに関するデータ）、単語、画像、リンク、およびページに埋め込まれたビデオやオーディオなどの他の種類のデータを記録することを意味します。 次に、これに5億を掛けます。 これは、インデックスが表すサーバーの約1％をインデックスが占有するためです。これは、1998年の3000万ページのデータの30万ページに相当します。 ただし、インデックス作成は情報の検索ではなく、メタデータの記録にすぎません。 インデックスから有用な情報を見つけることはさらに困難です。

インターネットの最初の10年間には数十の検索エンジンがありましたが、4つが最も重要であり、それぞれにこれらすべてのページから意味を得るための独自の技術的アプローチがありました。 Alta Vistaは最初の真の検索エンジンでした。 彼女は、パロアルトにあるDigital Equipment Corporationのラボに登場しました。 Digital Equipment Corporationは、実際にはXEROX PARCのコンピューターラボであり、ほぼ完全に2マイルをボブテイラーによって輸送しました。ボブテイラーは両方を構築し、ほとんどの古い従業員を雇いました。

Alta Vistaは、言語ツールを使用してWebインデックスを検索しました。 そして、彼女はドキュメント内のすべての単語、たとえばWebページにインデックスを付けました。 「金のダブロンを検索する」と尋ねると、Alta Vistaは「search」、「gold」、および「doubloons」という単語を含むドキュメントのインデックスをスキャンし、要求された単語への参照数でソートされたページのリストを表示しました。

しかし、それでもインターネット上にはたくさんのたわごとがありました。つまり、Alta Vistaはこのたわごとをすべてインデックス化し、良いものと悪いものを区別する方法を知りませんでした。 結局のところ、これらは単なる言葉でした。 当然のことながら、悪いドキュメントはしばしば2階に上がり、システムは隠された単語を挿入して検索をゆがめることで簡単に膨らませました。 Alta Vistaは、実際の単語と隠された単語を区別できませんでした。

Alta Vistaの利点は強力なDECコンピューターの使用でしたが（DECはコンピューター機器の主要メーカーだったため、これは重要なポイントでした）、Yahoo！の利点は 人々の使用でした。 同社は従業員を雇い、文字通り終日ウェブを閲覧し、手動でインデックスを作成し（あまり慎重にではなく）、各トピックで最も興味深いものをマークしました。 1,000人のインデクサーがあり、誰もが1日あたり100ページのインデックスを作成できる場合、Yahooは1日あたり100,000ページ、または年間約3,000万ページをインデックス化できます。これは1998年のインターネットユニバース全体です。銀河間規模に成長し、ヤフーの対象となりました。 ヤフーの初期のシステムは、その人的資源とともに、拡張しませんでした。

まもなくExciteが登場しましたが、それは言語的なトリックに基づいていました。 トリックは、システムがその人が書いたものではなく、本当に必要なものを探していたということです。誰もが正確にリクエストを作成できるわけではないからです。 繰り返しになりますが、このタスクはコンピューティング機能が不足している状況で形成されました（これが主要なポイントです）。

ExciteはAlta Vistaと同じインデックスを使用しましたが、「gold」または「doubloon」という単語の使用頻度をカウントする代わりに、6人のExcite従業員が、各クエリがクエリ条件とその頻度。 ベクトルは、開始点、方向、および長さを持つ空間内の単なる矢印です。 Exciteの世界では、出発点は検索語がまったくないことでした（「検索」、「ゴールド」、「ダブロン」はゼロ）。 検索ベクトル自体は、これら3つの検索条件を使用してゼロからゼロまでのポイントから始まり、たとえば2つのユニット「検索」に拡張されました。たぶん5つはダブロンです。 これは、インデックスをインデックス付けする新しい方法であり、保存されたデータを記述する最良の方法でした。なぜなら、検索された単語を直接使用しない結果になることが時々あったからです-Alta Vistaではできませんでした。

Excite Web Indexは単なる単語とその使用頻度のリストではなく、検索が方向として見られる多次元ベクトル空間でした。 各検索はデータハリネズミの1つのとげであり、エキサイト（グラハムスペンサーの天才）の刺激的な戦略は、1つではなく、近隣のすべてのとげをキャプチャすることでした。 クエリの要件を完全に満たしたドキュメント（Alta Vistaなど）だけでなく、多次元ベクトル空間で定式化された条件に類似するすべてのドキュメントを対象とするExciteは、より便利な検索ツールでした。 彼はインデックスに取り組み、処理にベクトルの数学を使用しました。さらに重要なことは、インデックス作成プロセスで計算がすでに行われていたため、結果を得るために計算をほとんど必要としませんでした。 Exciteは、原始的なハードウェアを使用してより良い、より速い結果を出しました。

しかし、Googleはさらに優れていました。

Googleは、検索に2つの改善を加えました-PageRankと安価なハードウェア。

Exciteの高度なベクターアプローチは、目的の検索結果を見つけるのに役立ちましたが、その結果でさえ役に立たないことがよくありました。 Googleのラリーペイジは、信頼に基づくアイデアを使用してユーティリティを測定する方法を考案しました。 最初のGoogle検索では、Alta Vistaと同様の言語的手法を使用していましたが、追加のPageRankフィルター（ラリーペイジにちなんで名前を付けましたが、気づきましたか？）を追加しました。これは、最初の結果にアクセスし、関連付けられたページ数で構築しました。 このアイデアは、ページの作成者がこのページへのリンクを提供することに煩わされるほど、ページがより有用である（または少なくとも面白くても、悪い意味でさえ）ことでした。 そして彼らは正しかった。 他のアプローチは消滅し始め、GoogleはPageRank特許で急速にトレンドになりました。

しかし、Googleが別の方法で実装した別の詳細がありました。 Alta VistaはDigital Equipmentから登場し、DECの巨大なVAXミニコンピュータークラスターに取り組みました。 ExciteはSun Microsystems UNIXハードウェアを使用しましたが、これは彼らの能力に劣りません。 また、Googleは、個人用ソフトウェアよりも少し強力なコンピューター上で、フリーソフトウェア、オープンソースの助けを借りてのみ発売されました。 一般に、自家製のGoogleコンピューターにはケースも電源もない（文字通り、自動車のバッテリーから給電され、自動車の充電器から充電される）ため、PCよりも小型でした。 最初の改造は壁にボルトで固定され、後に産業用オーブンで焼きたてのペストリーが入った天板のようなラックを詰めました。

Amazonは、ビッグデータのビジネスケースを作成し、ハードウェアとソフトウェアに実装するための不器用な方法を開発しましたが、まだビッグデータには適応していません。 検索会社は、インデックス作成をマスターしながら、実用的なデータセットのサイズを大幅に拡大しました。 しかし、実際のビッグデータはインデックスを使用して機能することはできず、実際のデータが必要であり、これにはAmazonなどの非常に大きく高価なコンピューター、またはGoogleで巨大なコンピューターのように見える安価なPCを使用する方法が必要でした。

ドットコムバブル。 いわゆるドットコムバブルの時代の1990年代後半のインターネットの多幸感と幼稚さを想像してみましょう。 ビル・ゲイツを始めとして、誰にとっても、パーソナルコンピューター、そしておそらくビジネスの未来はインターネットであることは明らかでした。 したがって、ベンチャーキャピタリストはオンラインスタートアップに数十億ドルを投資しており、これらの企業が実際に利益を上げる方法についてはあまり考えていません。

インターネットは巨大な領域と見なされていました。そこでは、利益があるかどうかに関係なく、できるだけ大規模な企業をできるだけ早く作成し、ビジネスのシェアを奪い取って保持することが重要でした。 歴史上初めて、企業はその存続期間全体にわたって利益を得ることなく株式市場に参入し始めました。 しかし、これは標準として認識されていました-プロセスで利益が現れます。

このすべての不合理な豊かさの結果は、アイデアの復活であり、そのほとんどは他の時には実現されなかったでしょう。 たとえば、Broadcast.comは、ダイヤルアップを介して大勢の視聴者にテレビを放送するために考案されました。 アイデアはうまくいきませんでしたが、Yahoo！ まだ1999年に57億ドルでそれを買いました、そしてそれはマーク・クバンを彼が今日残っている億万長者にしました。

シリコンバレーはムーアの法則に従って建設されたため、コンピューターは常に安価で強力でしたが、ドットコム時代はこの法則を使用するふりをしていました。 実際、 誇大宣伝に基づいて構築されました。

誇大広告とムーアの法則。 90年代のこれらのインターネット詐欺の多くが成功できるように、ムーアの法則によれば、データ処理のコストは実際に可能なコストを大幅に下回っていたはずです。 これは、ほとんどのDotcomスタートアップのビジネスモデルは広告に基づいており、広告主が支払う意思のある金額には厳しい制限があったためです。

しばらくの間、それは重要ではありませんでした。なぜならベンチャーキャピタリストとウォールストリートの投資家は違いを補う用意ができていたからですが、結局、巨大なデータセンターを備えたAlta Vistaは検索からのみ利益を得られないことが明らかになりました。 Excite、および他の当時の検索エンジンと同様。

2001年のドットコムは、スタートアップがスーパーボウルでの広告キャンペーンを支援するだまされやすい投資家からの資金を使い果たしたために崩壊しました。 最後の愚か者の最後のドルがハーマンミラーからの最後のオフィスチェアに費やされたとき、ほとんどすべての投資家はすでに彼らの株を売って、去っていました。 数千の企業が倒産し、その一部は一晩で崩壊しました。 アマゾン、グーグル、および他のいくつかは、オンラインでお金を稼ぐ方法を理解することで生き残った。

Amazon.comは、Jeff Bezosのビジネスがeコマースであったという点で異なっていました。 そして、これは新しいタイプの貿易であり、レンガを電子に置き換えることになっていた。 アマゾンにとって、会社の利益は取引あたりのドルで測定されるため、不動産と給与の節約が大きな役割を果たしました。 また、ビッグデータと実際のインターネットツールの最初の使用である検索エンジンの場合、広告市場は1トランザクションあたり1セント未満で済みました。 これを行う唯一の方法は、ムーアの法則を破り、データ処理のコストをさらに削減すると同時に、検索エンジンを広告とリンクさせて売り上げを増やす方法を理解することでした。 Googleは両方を行いました。

ビッグデータの2回目のすばらしい到来の時が来ました。これは、今日のGoogleが4,790億ドルの費用がかかる理由を完全に説明しており、残りの検索会社のほとんどは長い間死んでいます。

GFS、Map Reduce、およびBigTable。 PageとBrinは、独自の超安価なサーバーを作成することが会社の存続の鍵であることを最初に理解したため、Googleは新しいデータ処理インフラストラクチャを構築して、数千台の安価なPCを1台のスーパーコンピューターのように動作させる必要がありました。

ムーアの法則がある時点で機能し、利益を生むことを期待して他の企業が損失に慣れたように見えたとき、Googleは90年代後半に検索エンジンを収益化する方法を見つけました。 これには、新しい機械、ソフトウェア、広告技術の発明が含まれていました。 これらの分野でのGoogleの活動は、私たちをそのビッグデータの世界に直接導きました。そのビッグデータの形成は今日観察することができます。

まず、今日のGoogleの規模を見てみましょう。 検索エンジンで何かを検索する場合、最初に世界中の数百のデータセンターにある300万のWebサーバーとやり取りします。 これらのサーバーはすべて、1日あたり平均120億ページのページ画像をコンピューター画面に送信します。 Webインデックスはさらに200万台のサーバーに保存され、さらに300万台のサーバーにはシステムに統合された実際のドキュメントが含まれています。 合わせて-YouTubeを除く800万台のサーバー。

Googleのペニーアーキテクチャの3つの主要なコンポーネントはファイルシステムまたはGFSであり、これらの数百万台のサーバーすべてが通常のメモリと考えるものにアクセスできます。 もちろん、これは単なるメモリではなく、フラグメントと呼ばれる粉砕されたコピーではなく、共通性のあるチップ全体です。 ファイルを変更する場合は、数千キロメートル離れているサーバーであっても、すべてのサーバーで同時に変更する必要があります。

Googleにとって大きな問題は光の速度であることがわかりました。

MapReduceは、大きなタスクを数百または数千のサーバーに分散します。 彼はタスクを複数のサーバーに与え、それらの回答の多くを1つに集めます。

BigTableは、すべてのデータを含むGoogleデータベースです。 リレーショナルはそのような規模では機能しないため、リレーショナルではありません。 これは、GFSと同様に一貫性が必要な、昔ながらのフラットデータベースです。

これらの技術が開発される前は、コンピューターは人間として機能し、一度に限られた情報量で単一のタスクに取り組んでいました。 膨大な量のデータに対して数千台のコンピューターを連携させる機能は、強力なブレークスルーになりました。

しかし、Googleは財務目標を達成するのに十分ではありませんでした。

ビッグブラザーは広告主としてスタートしました。 Googleは、データ処理を安くしてAmazon.comの利益率に近づけるのに十分でした。 オンライン広告を販売するより収益性の高い方法を見つけた場合、取引ごとのセントとドルの残りの差はカバーできます。 Googleは、これまでインターネットで行っていたように、効果的なユーザーインデックス作成を通じてこれを行いました。

Googleは行動を調査し、消費者のニーズを予測して、10から100倍の確率でクリックする広告を提供しました。これにより、Googleの収益はクリックの10から100倍になりそうです。

最後に、ビッグデータについて説明します。

Googleのツールが内部の世界と外部の世界のどちらで機能するかは重要ではありませんが、すべてが同じように機能しました。 また、たとえば、SABERシステムとは異なり、これらは汎用ツールであり、ほぼすべての種類のデータに適用されるほぼすべての種類のタスクに使用できます。

GFSとMapReduceは、データベースのサイズや検索のスケーラビリティに制限を設けた最初のものではありません。 必要だったのは、平均的な鉄よりも多かったため、徐々に数百万台の安価なサーバーがタスクを共有することになりました。 Googleは絶えずネットワークにサーバーを追加していますが、データセンターが完全に切断されない限り、故障後にサーバーは交換されないため、これは賢明に行われます。 これは複雑すぎます。 それらは単にラック内に放置され、MapReduceはデータ処理に従事し、アイドル状態のサーバーを回避し、既存のサーバーを使用します。

Googleは2003年にGFS、2004年にMapReduceの記事を公開しました。このビジネスの魔法の瞬間の1つです。彼らはメソッドを秘密にしようとさえしませんでした。

Yahoo！、Facebookなどは、Hadoopと呼ばれるオープンバージョンのMap Reduceをすぐに再現しました（象のおもちゃの後-象は何も忘れないでください）。 これにより、現在クラウドコンピューティングと呼ばれるものが登場しました。 これは単なる有料サービスです。数十または数百台のレンタルコンピューター（場合によっては数秒間レンタルされる）にタスクを分散し、複数の回答を1つの論理的に接続されたソリューションに結合します。

ビッグデータにより、クラウドコンピューティングが必要になりました。 現在、これらの2つの概念を区別することは困難です。

ビッグデータだけでなく、ソーシャルネットワークもMapReduceとHadoopのおかげで可能になりました。10億人のFacebookユーザーが独自の動的なWebページを無料で作成し、企業が広告からのみお金を稼ぐことができたからです。

AmazonでさえHadoopに切り替えましたが、今日ではネットワークの成長に実質的に制限はありません。

Amazon、Facebook、Google、およびNSAは、MapReduceまたはHadoopがなければ今日は機能しません。ちなみに、これらはインデックスの必要性を永遠に破壊しました。 今日の検索は、インデックスではなく、生データによって実行されます。生データは、刻々と変化します。 より正確には、インデックスは毎分更新されます。 ポイントではありません。

これらのツールを使用して、Amazonや他の企業はクラウドコンピューティングサービスを提供しています。 クレジットカードのみで武装しているスマートプログラマは、数分以内に1台、1000台、または1万台のコンピューターのパワーを使用して、問題を解決することができます。 そのため、インターネットスタートアップはサーバーを購入しなくなりました。 ロシア全土よりも多くのコンピューティングリソースを簡単に取得したい場合は、支払いに必要なのはカードのみです。

ロシアがロシアよりも多くのコンピューティングリソースを取得したい場合は、プラスチックカードも使用できます。

大きな疑問は未解決です。なぜGoogleはその秘密を競合他社と共有し、研究を公開したのですか？ この愚かな慢さは、当時スタンフォード大学で博士論文を擁護していたグーグルの創始者側にありましたか？ いや Googleはその秘密を共有して業界を作り上げました。 彼は競合他社の目に独占のように見える必要はありませんでした。 しかし、もっと重要なことは、他の何千もの花を咲かせることで、Googleは収益を30〜40％増やしてインターネット業界を後押ししました。

彼の秘密を共有することで、Googleは大きなパイの小さなピースを手に入れました。

だから、簡単に言えば、ビッグデータが生まれました。 Googleは、マウスのすべてのクリック、および他の人からの10億以上のクリックを追跡します。 同様に、FacebookやAmazonのサイトにいるとき、または他のサイトでAmazon Webサービスを使用しているとき。 また、インターネット全体のデータ処理の3分の1をカバーしています。

これが社会にとってどれほど重要かをちょっと考えてみてください。 過去に企業がマーケティング調査を使用して製品を消費者に販売する方法を考えていた場合、ビッグデータを使用してあなたの欲求とそれをあなたに販売する方法を知ることができます。 だから、私は長い間インターネットで高価なエスプレッソマシンに関する広告を見てきました。 そして、私が最終的にそれを買ったとき、システムは私の購入を知ったので、広告はほとんど即座に停止しました。 彼女は私にコーヒー豆と、なんらかの理由で大人のおむつを売ろうとしました。

むかしむかし、Googleはすべてのインターネットユーザーのためのサーバーを持っています。 彼らと他の企業は、私たちに関するより多くの種類のデータを収集し、私たちの行動をよりよく予測します。 これが何をもたらすかは、誰がこのデータを使用するかによって異なります。 これは、私たちを理想的な消費者にしたり、テロリストを捕まえたりする可能性があります（またはより成功したテロリスト-これは別の議論です）。

乗り越えられないほど大きなタスクはありません。

そして初めて、Googleのおかげで、NSAとGCHQに保存されたインテリジェンスデータの検索ツールがついに登場し、悪意のある人物をすべて見つけることができます。 または、私たちを永遠に奴隷にしてください。

（ ナタリアベースによる翻訳）