ビッグデータとは、パート1

ビッグデータはビッグニュース、ビッグインポータンス、ビッグビジネスですが、それは本当に何ですか？ ビッグデータとは何ですか？ 彼らのそばに住んでいる人にとっては、すべてが明らかですが、私はそのような質問をするのは馬鹿です。 しかし、彼らのそばに住んでいる人は、ほとんどの人を馬鹿だと思っていますよね？ したがって、最初は、私のように主題に含まれていない読者と話したいです。 これは何ですか？ 今週、この問題を徹底的に調査し、3つの長い記事を発行する予定です（ 翻訳者のメモ：次の2つのパートの翻訳は数日中に発行されます ）。



私のPBSプログラム「Triumph of the Nerds」はパソコンの物語であり、1975年から1995年にかけて人気が高まっています。「Nerds 2.01：A Brief History of the Internet」（「Nerds 2.01：A Brief History of the Internet」 ））1966年から1998年にかけて人気が高まった物語です。しかし、実際には各問題は、技術と社会に対するムーアの法則の影響に関するものでした。 マイクロコンピューターのコストが一般の人がアクセスできる量まで低下した場合にのみ、パーソナルコンピューターが可能になりました。 これは、市場が爆発的に成長する準備ができた転換点まで不可能でした。



商用インターネットは、サーバーの価格が1990年代半ばまでにさらに2桁低下したときにのみ可能になり、ダイヤルアップが経済的に実行可能になり、次の重要なポイントに至りました。 同じように考えると、コンピューティングのコストが2005年までにさらに2桁低下し、最後のクリティカルポイントに至ったときにビッグデータが発生しました。 これは1998年の早い時期に起こったふりをしていますが、そうではありません（これは物語の一部です）。 2005年は、モバイルコンピューティングとクラウドコンピューティングの登場であり、ビッグデータの時代の始まりです。 私の2つのドキュメンタリーで示されたのとまったく同じ方法で、私たち人々は、ほぼ完全に誤解されている新しい時代の入り口にいます。



パソコンはアメリカを変え、インターネットは世界を変えましたが、ビッグデータは世界を変えています。 彼らは今後100年間、技術の発展を支配するでしょう。



どこにいても、コンピュータはあなたを監視し、あなたの活動に関するデータを記録します。何よりもまず、何を見て、読んで、見て、購入するかに注意してください。 ほぼすべての都市の通りに出かけた場合、これにビデオ監視が追加されます。あなたはどこにいて、何をしているのか、近くに誰が、何をしているのか。 あなたのメッセージは部分的に聞かれ、時には記録されることさえあります。 ツイートのコメントから単純なページの閲覧に至るまで、インターネット上で行うことはすべて履歴から消去されることはありません。 これは部分的には国家安全保障によるものです。 しかし、このテクノロジーの主な目標は、より多くのものを購入し、より効果的な消費者にすることです。 データの収集と分析を可能にするテクノロジーは、さまざまなテクノロジースタートアップによってシリコンバレーの大部分で発明されています。



なぜこの立場にいるのか、そして次に何が起こるのか？ テクノロジーはもちろん視野を広げ続けますが、今回は未来を発明して進歩に参加する代わりに、オタクは他のみんなと同じ船で航海します：自動運転車、普遍的な翻訳者、さらには他のコンピューターを開発するコンピューターのような新しい成果、人間の心の助けではなく、機械自体の助けによって生じます。 そして、このすべての理由はビッグデータです。



ビッグデータは、価値を抽出するための情報の蓄積と分析です。



データとは、スパイゲームをしている人、何、なぜ、どこで、なぜ、病気の広がり、ポップグループの人気の変化など、何かの状態に関する情報です。 ソーシャルメディアが本当にアラブの春を開始したのか、DNA解読が病気を防ぐことができるのか、誰が選挙に勝つかのかなど、何が起こっているのかを理解するために、データを収集、保存、分析できます。



データは過去に私たちを取り囲んでいましたが、主にストレージと分析のコストが高いため、特に使用しませんでした。 合理的な人の人生の最初の19万年である狩猟採集民として、保存する方法も記録する方法もなかったため、データをまったく収集しませんでした。 執筆は約8000年前に登場しました。これは主に、文化の形成中にストーリーを記録したいときにデータを保存する方法として使用され、後に人口、税金、死亡率のリストを保持する必要がありました。



リストは、通常、バイナリです-あなたはその中にいるか、そこにいないか、あなたは生きているか死んでいるか、税金を払うかどうか。 リストは計算ではなく計算に必要です。 リストにはセマンティックな意味が含まれる場合がありますが、そうではありません。 より高い力と現象の意味を理解する必要があるため、私たちは計算から計算へと進みました。



数千年前、大衆のためのデータの記録と分析のコストは非常に高かったため、宗教だけがそれを買う余裕がありました。 神秘的な世界を説明しようとして、私たちの先祖は空を見て、星や惑星の動きに気づき始め、初めてこの情報を記録し始めました。



すでに執筆に至っていた宗教は、その後天文学に至り、天文学は数学に至りました。すべて天界の動きの神秘的な意味を探し求めていました。 たとえば、カレンダーは発明されたものではなく、データの一般化の結果でした。



歴史を通じて、データは一般会計のために税務会計と人口調査に使用されてきました。 たとえば、1086年の終末の本を見てください。実際、英国の主要な課税基盤です。 どこでも用語カウントが隠されています 。 履歴を通じて収集されたデータのほとんどは、カウントによって記録されました。 多くの情報を考慮する必要がある場合（科学実験に必要ないくつかの観察よりも多く）、それはほとんど常にお金または別の権力の表現（ベツレヘムの兵士の数、納税者の​​数、2歳未満の男性の赤ちゃんの数）に関連付けられていました。 カウントするたびに、結果は数字になり、数字を書き留めておけば簡単に保存できます。



知識を蓄積して書き留めるとすぐに、他の人からそれらを隠す必要が自然にありました。 これにより、コード、暗号、およびそれらを破るための統計的手法が生まれました。 9世紀の科学者、アブユスフアルキンディは、「暗号化されたメッセージを解読するための原稿」を書き、データの値の検索、暗号解析、クラッキングコードの統計の基礎を築きました。



彼の本の中で、アルキンディは、周波数分析と呼ばれる、未知のキーを持つコードを解読するのを助ける方法を促進しました。 ほとんどのコードはワイルドカード暗号で、各文字は別の文字に置き換えられました。 どの文字がどの文字と一致するかがわかれば、メッセージを簡単に解読できます。 Al-Kindiのアイデアは、通常の通信で文字を使用する頻度を知っている場合、この頻度はエンコードされたメッセージに変更されないというものでした。



英語では、最も一般的な文字はE、T、A、およびO（この順序で）です。 エンコードされたメッセージが十分に大きい場合、最も一般的な文字は文字Eなどです。 Qに出くわすと、ほとんどの場合Uになります。 もちろん、ターゲット言語が英語でない場合を除きます。



頻度置換のタスクにおける主なことは、あらゆる言語の相対的な頻度に関する知識です。これは、数千の通常の文書の文字を数えることを意味します。 これは、900 ADのサンプルからのデータの収集と分析です。



しかし、アル・キンディからわずか800年後に、収集されたデータは広く一般に利用できるようになりました。 ロンドンでは、1603年に毎週開始され、市内で報告されたすべての死亡を追跡するために「Bills of deaths」リストが公開されました（Drag your dead！）。 これらの週次レポートは、その後年次号で発行され、ここから楽しみが始まります。 リストは一般的な知識のためだけに作成されましたが、それらの価値は、1664〜65年のペスト後のこれらのページの分析で明らかになりました。 専門家は、ロンドンの感染地域から病気がどのように広がるかをプロットし、情報を原始的な都市給水および衛生システムの地図と組み合わせました。 これらのデータから、感染源（蚊とネズミ）とそれらから遠ざかる方法（貧乏ではなく金持ちになるため）が明らかになりました。 そこで公衆衛生の研究を始めました。







死亡率リストの主な用途は、死亡者に関する情報（単なる数字）ではなく、被害者の居住地、死亡場所、年齢、仕事の種類を示すメタデータ（データに関するデータ）でした。 1664ペストの歴史は、地図上のメタデータに注目することで追跡できます。



死亡リストはペストの完全な報告とみなされたという事実にもかかわらず、私はそれらが正確であったとは思わない。 多くの死者はおそらく間違った理由で記録も報告もされていません。 しかし、統計から1つの結論が導かれました。十分なデータがなくても、ダイナミクスははっきりと見えます。 18世紀のフランスで統計が独立した分野として発展し始めたとき、データのランダムサンプルからすべての情報と同じくらい多くのデータを抽出できることが明らかになりました。 政治社会学者が無作為の有権者の小さなサンプルに基づいて選挙結果を予測するとき、私たちは今日これを見る。 同時に、研究者の間で時々発生する大きなエラーは、サンプリング方法が完全からはほど遠いことを示しています。



サンプリングとポーリングは私たちが信じている結果を与えますが、国勢調査や選挙のような100％のサンプリングは私たちが知っている結果を与えます。



データ処理。 データストレージは、処理するものではありません。 ライブラリはデータを適切に保存しますが、データへのアクセスは困難です。 あなたはまだ本を見つけ、それを開き、それを読む必要がありますが、それでも私たちが達成できる詳細のレベルは私たちの記憶によって制限されています。



19世紀の終わりにアメリカの統計学者ハーマンホレリスは、紙の地図の穴を使用して自動的にデータを収集し記録するシステムを考案しました。 データから値を取得するために機械的にソートできるマップ。 このプロセスのホレリスは、集計（「集計」）と呼ばれていました。 ホレリスは技術特許を取得し、彼のワシントンに本拠を置くTabulating Machine Companyは、やがて近代的なInternational Business Machines（IBM）に発展しました。



何十年もの間、IBMの主要な機械機能はソートでした。 各カードが電気会社の顧客のアカウントであったと想像してください。 このマシンは、アルファベット順に、姓で顧客ベースを整理し、請求日、負債額、負債の有無などで顧客ベースを整理する作業を容易にしました。 当時、データ処理はソートを意味し、パンチカードはこれをすばらしい仕事でした。 もちろん、人々もこの仕事をすることができます。 しかし、車は時間を節約するため、主に月末までにすべての請求書が送られるようにするために使用されました。



最初のデータベースは、そのようなカードの束でした。 そして、電気会社にとって、地図上に何を置くべきかを決めるのは簡単でした。 名前と住所、現在の請求期間の電力消費量、請求書の送付日、現在の支払い状況：請求書の支払いはありますか？



しかし、新しい製品やサービスを追加する必要がある場合はどうでしょうか？ 既存のすべてのカードを含む、各カードに新しいデータフィールドを追加する必要があります。 このような変更により、機械式選別機は呪いになりました。 柔軟性を高めるために、ビジネスと旅行の世界を変えた新しい種類のデータベースが1950年代に登場しました。



トランザクション処理 。 アメリカン航空のSABER予約システムは、世界で最初のリアルタイム自動システムです。 これは最初の予約システムであるだけでなく、リアルタイムでオペレーターと対話するための世界初のコンピューターシステムであり、すべてがコンピューターで完全に行われました。 ビッグデータの前奏曲。 これはすべて、ロシアの爆撃機を手動で追跡した場合でも機能しました。



SABER以前は、データ処理は常にイベント後に発生していました。 会計システムは四分の一または一か月前に落ち、すでに起こったことをどのように提示するかを考え出しました。 そして、このプロセスは必要な限り続きました。 しかし、セイバーはコンピューター専用に保存された位置情報に基づいて、将来のチケットを販売していました。



セイバーはAA 99便の全座席の全チケットを含む靴箱であると想像してください。靴箱からチケットを販売することで1つの座席を2回販売することから保護されます。 これには、当時存在しなかったコンピューターシステムと端末が必要です。 アメリカン航空創業者S.R. スミスはこのプロセスを開始するために、IBMのT. Watsonの隣の飛行機で飛行する必要がありました。



SABREの歴史における重要な瞬間：IBMにはシステムを起動するのに適したコンピューターがなかったため、タスクはリソースを大量に消費しました。 そのため、アメリカン航空は、その年に製造された最大のコンピューターの最初の顧客になりました。 航空会社はタスク用のプログラムを作成しませんでした。 代わりに、オクラホマ州タルサにある世界初の企業データセンター（彼はまだそこにいます）のコンピューターは、航空券の販売に専念し、他には何もできませんでした。 プログラムは後で登場しました。



アメリカン航空とSABERはIBMをメインフレームビジネスに引きずり込みました。 そして、それらの最初のシステムの設計、AAとIBMは協力しました。



SABERは、1950年代から1980年代までのデータ駆動型コンピューティングアプリケーションの一般的な方向性を設定しました。 銀行のレジ係はようやくコンピューター端末を手に入れましたが、航空券を予約するときと同じように、端末はたった1つのタスク（銀行業務）を実行でき、銀行の顧客データは通常80列のパンチカードに保存されていました



ムーアの法則 。 コンピューターがデータ処理に使用されるようになったとき、コンピューターの速度によりこのデータを掘り下げ、より多くの意味を明らかにすることができました。 コンピューターのコストが高いため、その使用は航空運賃などの収益性の高い分野に限定されていました。 しかし、1960年代にソリッドステートエレクトロニクスを搭載したコンピューターが登場したことで、コンピューターの性能は着実に向上し、コストは減少し続けています。 これがムーアの法則です。 1955年にアメリカン航空が10ドルかかったものは、1965年までに10セントに、1975年までに1/10セントに、今日では10億セントに引き下げられました。



1955年のSABERコンピューティングシステム全体の能力は、最新の携帯電話の能力よりも少なかった。



ムーアの法則の影響、そして最も重要なことは、コンピューターのコストとその機能が10年以上でどの段階にあるかを確実に予測できることにより、より安価なアクティビティの領域にコンピューティングパワーを適用できるようになります。 これが、データ処理をビッグデータに変えた理由です。



しかし、これを実現するためには、新しいデータベースが必要になるたびに新しいコンピューターを作成する必要性から逃れなければなりませんでした。 鉄の代わりに、ソフトウェアが前面に出てきました。 そして、政府と業界のニーズが変化したため、プログラムはさらに、修正に対してよりオープンになっているはずです。 ソリューションは、リレーショナルデータベース管理システムでした。 このコンセプトはIBMで開発されましたが、シリコンバレーのスタートアップであるラリー・エリソン率いるOracle Systemsによって世界に紹介されました。



アリソンは1977年に1,200ドルの予算でOracleを立ち上げました。 今、彼は（あなたがそれを読んだ時期に応じて）世界で3番目に金持ちであり、映画「アイアンマン」の主人公のプロトタイプです。



Oracle以前は、データはテーブルであり、行と列でした。 十分なスペースがある場合はコンピューターのメモリに保存され、十分なメモリーがない場合は磁気テープに記録され、読み取られました。これは通常70年代に起こりました。 このようなフラットファイルデータベースは高速でしたが、多くの場合、データ間の論理的な関係を変更することはできませんでした。 レコードを削除したり、変数を変更したりする必要がある場合は、すべてを変更して完全に新しいデータベースを設計し、テープに記録する必要がありました。



フラットファイルデータベースの場合、意味の変更と検索は困難でした。



IBMのテッド・コッドは、カリフォルニア州サンノゼで働いていたイギリス出身の数学者で、1970年代にフラットファイルベースよりも高度なものについて考え始めました。 1973年、彼はデータを追加および削除でき、データの重要な関係をその場で再定義できる新しいリレーショナルデータベースモデルについて説明した記事を書きました。 Coddモデルの前は、給与計算システムは給与計算システムであり、在庫システムは在庫システムでしたが、リレーショナルアプローチでは、データを処理したアプリケーションからデータを分離していました。 Coddは、支払いシステムと在庫システムの両方の属性を同時に持つ共通のデータベースを表し、必要に応じて変更できます。 そして、クエリ言語が初めてありました。これは、このデータを柔軟に管理するための正式な方法です。



このリレーショナルモデルはデータベース開発の大きな前進でしたが、IBMは古いテクノロジーで多額のお金を稼いだため、新しいアイデアをすぐに製品に変えず、この機会をAllisonとOracleに残しました。



オラクルはCoddのアイデアのほぼすべてを実装し、さらに一歩踏み込んで、さまざまなタイプのコンピューターおよびオペレーティングシステムでソフトウェアを実行できるようにし、購買力を高めました。 IBMやMicrosoftを含む他のリレーショナルデータベースベンダーも同様ですが、Oracleは依然として最大のプレーヤーです。ビジネスアプリケーションに柔軟性を提供しただけでなく、採用、CRM、特にビジネスインテリジェンスと呼ばれる新しいクラスのアプリケーションへの扉を開きました。ビジネスインテリジェンスは、知っている情報を調べて、その中に隠されている利点を示します。ビジネスインテリジェンスは、ビッグデータの主要な用途の1つです。



インターネットとWorld Wide Web。 Oracleなどのリレーショナルデータベースで動作するコンピューターは、当時はメインフレームとミニコンピューターであり、「ビッグアイアン」と呼ばれていました。それらは企業ネットワーク内にあり、消費者は決してそれらに触れませんでした。これは、1987年の商用インターネットの出現、そして1991年のウェブの出現により変化しました。初期の典型的なインターネットアクセスポイントはパーソナルコンピューターでしたが、本質的にはクライアントでした。インターネットデータが物理的に配置されたサーバーは、原則として、コンピューターがはるかに大きく、Oracleまたは別のリレーショナルデータベースに簡単に対応できました。それらはすべて、単一の構造化照会言語（構造化照会言語またはSQL）に依存してデータを照会していました。そのため、ほぼ誕生から、Webサーバーはデータベースに依存していました。



データベースは基本的に状態とクエリデータを保存しませんでした。他のフクロウでは、データベースにリクエストを行った場合、わずかに変更されたリクエストはまだ完全に新しいタスクになります。たとえば、「先月何台のデバイスを販売しましたか？」と尋ねると答えが得られますが、「それらのいくつが青色ですか？」という質問を補足すると、コンピューターはこれをまったく新しいリクエストとして提示する必要があります。先月？



おそらくあなたは尋ねる、これはすべて何が問題なのか？誰が気にしますか？ Amazon.comの創設者ジェフベゾス。そして、この問題に対する彼の関心は、商業の世界を永遠に変えました。



Amazon.comはWorld Wide Webに基づいて構築され、その作成者であるTim Berners-Leeは、それをステートレスシステムとして定義しました。なぜティムはこれをしたのですか？ Xerox PARCのLarry Teslerが政権に反対していたからです。ラリーの車番号には「モードなし」と表示されています。これは、インターフェースの専門家として、動作モードの存在に反対していたことを意味します。モードの例：Ctrlキーを押したままにすると、次に発生するすべての処理がコンピューターによって異なります。モードは状態を生成し、状態が悪いため、Xerox Altoコンピューター内に状態はありませんでした。また、Tim Berners-LeeはAltoコンピューターをCERNに接続してbusy下World Wide Webを構築するのに忙しかったため、Webにもモード​​はありませんでした。ウェブは「ステートレス」でした。



しかし、ステートレスWebはAmazonに深刻な問題を引き起こしていたため、Jeff Bezosは物理的な店舗の形で仲介者の世界をなくすという夢を持っていました。常にゼロから開始する必要がある場合、これを行うのは難しいタスクです。初期のAmazonのサービスを使用した場合、ログアウト後にセッションに関するすべてのデータが削除されたことを覚えているかもしれません。次回システムにログインしたとき（通常は発生しなかったことが認識される場合）、以前の注文は表示されたが、商品は表示されなかった可能性が高いです。



同社の最初のビジネスプランのこの図に示されているように、Amazonのカスタマーサービスへの執着は、独自のビジネスモデルの不可欠な部分でした。



当時のすべてのビジネスインテリジェンスツールを熟知していた元Wall StreetのIT担当者であるBezosは、サーバーに次回ログインするときに「長いパンツをまだ探していますか？」と尋ねるシステムが必要でした。おそらく彼らはまだあなたのバスケットの中にいます。あなたが最後に調べたが、購入しないことに決めたパンツです。最近の活動の履歴を保持するこの単純なトリックは、ビッグデータの本当の始まりでした。



AmazonはOracleでeコマースシステムを構築し、ここで説明した機能の開発に1億5,000万ドルを費やしました。これは今では些細なことのように見えますが、以前は不可能でした。 BezosとAmazonは、購入した商品を追跡することから始め、次に見込みのある購入、次に表示された商品、次に各クリックとキーストロークの保存に進みました。あなたが許可されているかどうかにかかわらず、彼らは今日でもサイト上でこれをすべて行います。



1996年のことです。インターネットのスタートアップには最大300万〜500万ドルのベンチャーキャピタルがかかりましたが、Amazonは1億5000万ドルを費やしたことを理解する必要があります。ビッグデータを使った顧客サービス、これまで誰もやったことがないこと。これは、ベンチャー投資家が許容できる基準からの逸脱にどれだけ違反していますか？ベゾスは会社の最初からほとんどすべてをビッグデータに載せていました。



このリスクは報われました。だからこそ、Amazon.comが今日3,470億ドルの価値があり、そのうち590億ドルはジェフ・ベゾスのものです。



ジェフ・ベゾスがそのような機能を作成することに触発され、彼と彼のチームがそのようなタスクを目的としていないSQLを備えたリレーショナルデータベース管理システムであるOracleでそれを実現できたことは、ビッグデータの最初の奇跡です。



（ナタリアベースによる翻訳）