ビッグデータとは、パート3

最初の部分では、データについて学習し、データを使用してメタデータまたはデータから値を抽出する方法を学びました。

第二部では、ビッグデータという用語自体を説明し、それがどのように産業に変わったのかを示しました。その理由は経済の影響でした。 これは、前の2つが論理的に続くはずの3番目の部分であり、これには意味があります-悲しい、時々皮肉、そして恐ろしい。 あなたは、将来の技術、ビジネス、さらには社会的契約さえもビッグデータによってすでにどのように再定義されているのかを自分自身で理解しています。 そしておそらく彼らは二度と制御されることはないでしょう。

1665年には、スーパーコンピューターまたは死者リストからの手書きの表など、あらゆる分析の助けを借りて、ビッグデータの一部の側面が想像以上に長く存在していました。

ビッグデータのダークサイド。 歴史的に、ビッグデータの役割は常に明確ではありませんでした。 私たちがすでにやりたかったことの定量的合理化につながる数字を処理するというアイデアは、余分なお金があったために存在していました。

80年代の企業の襲撃者とその新しい武器-スプレッドシートを覚えていますか？ 初歩的なデータベースであるスプレッドシートにより、27歳のPCと3つの疑わしいデータを持つ学士が、会社の年金基金からの強盗に上司を巻き込み、融資で支配権を償還することができました。 パーソナルコンピュータとスプレッドシートがなければ、Michael MilkensもIvan Boeskysもいないでしょう。 80年代のビッグデータバージョンでした。 これはビッグデータではありませんが、文化的には今日のビッグデータと呼ばれる業界と同じ効果がありました。 その間はビッグデータでした。

Reaganomicsを覚えていますか？ 経済学者のアーサー・ラッファーは、富裕層の減税を通じて政府の収入を上げることができると主張した。 一部の人々はまだこれを信じていますが、彼らは間違っています。

ソフトウェア取引-コンピューターアルゴリズムを使用した株式の売買は、1987年にウォール街を崩壊しました。企業はそれを受け入れましたが、使用方法を完全に理解していなかったためです。 個々のコンピューターは、他のコンピューターが同時に動作していることを理解していなかったため、おそらく同じルールに対応して、組織されていたリトリートをパニックセールに変えました。

90年代の長期資本の管理により、二次証券がかつてないほどの位置に置かれましたが、二次証券が何であるかを誰も理解していなかったため、魅惑的に落ちました。 政府が間に合わなかったら、ウォール街は再び崩壊していたでしょう。

エンロンは、2000年代初頭に巨大なコンピューターを使用してエネルギー市場でプレイするか、会社が崩壊するまでそのように考えていました。 エンロンの歴史は、コンピューティングの巨人が会社を賢くしたという事実に基づいていたことを思い出してください。しかし実際には、彼らは詐欺を隠し、市場を操作するために使用されました。 「カーテンの後ろの人に注意を払ってはいけません！」

2007年の世界銀行危機は、おそらく完璧な金融商品を作成するために大型コンピューターによって引き起こされましたが、結果として市場はそれに適応できませんでした。 しかし、これはすべて規制緩和（国家の経済への影響の減少）が原因ではなかったのでしょうか？ 規制緩和は金融業者を無謀に導く可能性がありますが、ムーアの法則はより重要な役割を果たし、コンピューティングのコストは規制を強制することが技術的に可能なレベルまで低下しました。 技術は、大きな獲物を追いかける誘惑を引き起こしました。

これらはすべて、ビッグデータのダークサイドの単なるバリエーションです。 ビッグデータスキーマは非常に迅速かつひどく膨張し、その後崩壊しました。 実際、これらの狂気のねじれたデータは、現実に基づいているのではなく、何らかの形で現実をカバーできるファンタジーに基づいているべきです。

内部では、そのような後退は通常、嘘に基づいているか、嘘によって損なわれています。 ジャンク住宅ローンのみを使用して住宅ローンで担保された高格付債を他にどのように作成できますか？ うそをつく。

誤った方法や誤ったデータに基づいて結論を出すことは大きな問題です。 一部の専門家は、これはより大きな、より大きなデータで簡単に修正できると主張します。 そしておそらくこれは可能かもしれませんが、そのような行動の背景は悪い結果を示しています。

ここには皮肉があり、間違ったビッグデータを信じるとき、それらは通常お金や何らかの力の現れに何らかの形で関係しているが、政治や宗教に関しては本当のビッグデータを信じないという同じ傾向がある。 したがって、偉大な科学的証拠は、しばしば、気候変動を否定するか、創造論の教えを支持する懐疑論者によるアイデアの認識のために戦っています。

ビッグデータと保険。 ビッグデータはすでに多くの点で私たちの世界を変えました。 たとえば、健康保険に加入してください。 保険会社の保険数理士が罹患率と死亡率の統計を調べて保険料率を確立した時代がありました。 これには、メタデータ-データに関するデータ-が含まれていました。これは、基本的に保険数理士が、保険契約者の幅広いグループを超えて個人に達するほど深く掘り下げることができなかったためです。 このようなシステムでは、保険会社の収益性は顧客数の増加に比例して増加します。 ほとんどの顧客からの利益は少ないため、医療保険会社は被保険者の数を増やす必要がありました。

その後、90年代に何かが起こりました。コンピューティングのコストは、個人ごとに健康状態の可能性を計算することが費用対効果の高いポイントに達しました。 これにより、健康保険事業は法定請求から補償なしへと移行しました。 米国では、健康保険のビジネスモデルは、最大人数から最小人数に達し、健康を必要としない健康な人にのみ保険を販売しています。

保険会社の利益は急上昇しましたが、無保険の家族が何百万人もいます。

社会は健康な人を必要としていることを考えると、健康な人だけに健康保険を販売することは、明らかに長続きしませんでした。 終わりを待っている新しい種類の経済バブルが現れました。それがオバマケア（患者保護とサービスへのアクセスが可能な医療システム）が登場した理由です。 あなたはこの主題に関する本全体を書くことができますが、社会的目標を達成するために保険制度が変わるためには何かが起こらなければならなかったことを理解する必要があります。 電子スマートシステムを信頼して、利益の境界を拡大し続ける一方で、無責任な行動を続けながら、人口のより大きな割合をカバーする特徴的な方法を見つけます。

大きな怖いグーグル。 ビッグデータの中心にあることが多い詐欺は、経済全体に浸透し、ビッグデータの具現化を検討することを決めた人々やその作成者にまで影響を及ぼします。 たとえば、Googleは、Googleが何をしているかを知っていると信じてほしい。 Googleの創作は素晴らしいものでも重要でもないというわけではありませんが、バーニーマドフが彼の投資方法を説明しないように、彼らは説明できない達成不可能なアルゴリズムに基づいて構築されています。 非常に怖いグーグル、彼は普遍的な知恵を理解しました。

おそらく、しかし誰が確実に知っているのでしょうか？

真実は、彼らがすべてのお金を稼ぐことです！

広告についての真実。 Googleは広告主に請求しますが、収益はすべて広告主が請求書を支払うことです。 これは当たり前のことのように思えるかもしれませんが、広告主は多くの場合、自社の業績を知りたがりません。 大量の広告に対してどれほどとてつもなく低い収益が得られるかが十分に透明であれば、広告代理店は事業を辞めます。 また、代理店は広告を作成するだけでなく、顧客向けに広告を配置するため、広告業界の観点からは、知らない方がよい場合もあります。

その結果、広告主の間で権力構造が逆さまになります。 代理店の上級従業員はほとんどのお金を稼ぎ、広告を直接扱うクリエイティブレイヤーの一部です。 お金をほとんど稼ぐことがなく、ほとんど権限を持たない新人は、印刷物、メディア、さらにはオンライン広告を発行する人です。 広告業界では、広告の作成は顧客への投資回収よりも費用がかかると推定しています。 それはクレイジーであり、そのようなスキームが機能するためには、無知が勝利しなければなりません。

インターネットが破損していることがわかりました。 ニュースアグリゲーターのハフィントンポストは、出版社で検索エンジン最適化用語を使用して読者を増やすと言われています。 これは機能しますか？ あまり明確ではありませんが、研究では、投稿に意味不明な言葉を挿入すると検索エンジンオプティマイザーのパフォーマンスが向上すると言われていますが、これはまったく意味がありません。

その結果、次のことが起こります。パフォーマンスの低い標準に負けて我慢します。 Match.comまたはeHarmonyは、最適なペアを見つけるのに役立ちますか？ いや しかし、彼らがそれができると思うのはおかしいです。

繰り返しになりますが、ここで奇妙なのは、科学（気候変動、創造論など）に関してはデータについて冷笑的ですが、ビジネスデータに関してはほとんど完全に皮肉ではありません。

今、この事実を考慮することは興味深いです。 Googleのデータ-未処理であり、分析されていない-は他の企業にとってよりアクセスしやすいのに、なぜGoogleは検索で効果的な競合他社を持たないのですか？ MicrosoftのBingは確かにGoogleと同じデータにアクセスできますが、ユーザーの6分の1がいます。 それはすべて市場の認識に帰着するものであり、BingはGoogleの適切な代替手段としては認識されていませんが、それだけです。

これはビッグデータゲームです。

この物語のもう一つの、照らされていない側面。 Appleは、ノースカロライナに10億ドル相当のデータセンターを持っています。SteveJobsの死の前に建てられました。 私はこの施設のゲートの前に駐車した日を過ごし、1台の車が出入りするのを数えました。 Appleが地球上のすべてのデータのコピーをこの建物にいくつか保存し、現在利用可能なスペースの8％をカウントした場合、必要なサーバー容量を計算し続けました。 この建物には200万台のサーバーを収容できます。

その後、私はこの建物のすべてのサーバーをアップルに販売する販売代理店に会いました。

iTunesには2万台のサーバーが多数ありますが、それらは建物の総面積の1％を占めています。 そこで何が起こっていますか？ ビッグデータの不正行為です。建設に10億ドルを費やしたAppleは、ウォール街（およびAppleのライバル）をGoogleゲームのプレイヤーと見なしています。

これは、ビッグデータが単なる現実であるために非現実的であると言うことではありません。 Amazon.comおよびWalmartを含む他の大規模小売業者では、ビッグデータは本物のデータを必要とするため、ビッグデータは本物です。 ウォルマートの成功は常に情報技術に基づいています。 本物が売買される電子商取引では、顧客は常に顧客のままです。

GoogleとFacebookの場合、クライアントは製品です。 GoogleとFacebookは私たちを取引しています。

これまでずっと、ムーアの法則はうまく機能しており、より安価で強力な計算を思い起こさせてきました。 第1部で述べたように、同じ価格で10年ごとにコンピューティング能力が100倍に上昇します。これはムーアの法則のおかげです。 1955年にSABERシステムを通じて航空券を販売するために必要なコンピュータートランザクションは、今日10億回減少しています。 1955年に1チケットあたり10ドルという妥当な費用だったのは、今日はペニーの取るに足らない部分であり、考慮に値しません。 SABER価値システムでは、今日、計算は事実上無料です。 これにより、コンピューターでできることは完全に変わります。

パーソナルインテリジェンスサービス。 コンピューティングは非常に安価になり、個人データが非常に深く浸透しているため、現在ではいくつかのクラウドベースのアプリケーションがスマートフォンをエドガーフーバー（FBI）またはNSAデータマイニングマシンのようなものに変えています。 これらのツールの1つはRefreshという名前で、写真に示されています。 その後、更新はLinkedInに引き継がれ、LinkedInはMicrosoftに引き継がれましたが、サンプルはまだ有効です。 電話で誰かの名前を入力すると、数百台のコンピューター（文字通り数百台）がソーシャルメディアとWebを検索し、ビジネスミーティングを行っている人やバーで彼と一緒に座りたい人のための運用書類を作成します。この人について：彼の人生、仕事、家族、教育、システムは、あなたの人生がどのように彼と交差したかを追跡し、あなたが尋ねることができる質問やあなたが発展させたい会話のトピックを予測します。 これはすべて1秒以内です。 そして無料で。

まあ、デジタルチートシートは、人間が作ったコンピューター化の頂点となることはほとんどありませんが、コンピューティングがさらに安価であるため、私たちがどこまで来たかを示し、さらに多くのことができることを示唆します。 また、ムーアの法則は減速せず、むしろ加速するため、計算はさらに安くなります。

人工知能の失敗。 80年代に、人工知能と呼ばれる分野が人気を博しました。その主なアイデアは、専門家がどのように行うかを見つけ、これらのタスクを一連のルールに減らし、これらのルールを使用してコンピューターをプログラミングし、エキスパートを効果的に置き換えることでした。 目標はコンピューターに病気の診断、言語の翻訳、さらには私たちが望むものを理解することを教えることでしたが、彼ら自身は理解することができませんでした。

これは機能しませんでした。

人工知能、またはAI（Artificial Intelligence）と呼ばれる人工知能は、破産を宣言する前にシリコンバレーで数億ドルのベンチャードルを押し上げました。 当時、人工知能の問題は明確に概説されていませんでしたが、これらの野心的な目標を達成するための適切な価格で計算能力が不足していたという事実にありました。 しかし、Map Reduceとクラウドインフラストラクチャのおかげで、今日、人工知能を作成するのに十分な計算能力を備えています。

スピードバンプ人工知能のキーアイデアは、コンピューターに言語を与えることであるというのは逆説的ですが、実際には、Googleの成功の大部分は、言語をコンピューターである人間の言語から効果的に分離することでした。 ほとんどすべてのWebコンテンツの基礎となるXMLおよびSQLデータ標準は、人間が読めるデータ構造は相互に通信するコンピューターにとって意味がないことを認識したため、Googleでは使用されません。 人々はもはやコンピューター通信に必要ではないという事実のために、機械学習の分野で大きな進歩がなされました。 これは非常に重要です。もう一度お読みください。

ご存知のように、人工知能の最新バージョンでは、人間のタスクを実行するためにコンピューターをトレーニングする必要はありません。

たとえば、Google翻訳は、誰でも無料でオンラインで使用して、70以上の言語間でさまざまな組み合わせでテキストを翻訳できます。 この統計トランスレータは、2つ以上の言語に現れる数十億の単語シーケンスを使用します。 英語でこれはフランス語でこれを意味します。 品詞、主題、動詞、文法は一切ありません。 システムはただ見つけます。 これは、理論の必要がないことを意味します。 これは明らかに機能しますが、プロセス全体がデータ駆動型であるため、正確な方法を言うことはできません。 時間が経つにつれて、Google翻訳はますます改善され、いわゆる相関アルゴリズムに基づいて翻訳が行われます。これは、マシンを離れることがなく、複雑すぎて理解できないルールです。

Googleブレイン。 GoogleにはGoogle Visionと呼ばれるものが1つあり、最近では16,000個のマイクロプロセッサが搭載されています。これは、人間の脳の視覚皮質の約1/10に相当します。 彼はコンピュータービジョンを専門とし、膨大な数のサンプル（この場合はYouTubeビデオから取得した静止画像（10億枚の静止画像））の助けを借りて、Google翻訳と同じ方法で学習します。 Google Visionは画像を72時間考慮し、本質的には、地球上のコンピューターの2倍の認識力を身につけます。 彼にイメージを与えると、彼は別の似たようなものを見つけるでしょう。 画像に猫がいることを伝えて、猫を認識できるようにします。 覚えておいてください、3日かかります。 生まれたばかりの赤ちゃんの猫を認識するのにどれくらい時間がかかりますか？

IBMのWatsonがJeopardyを獲得したのと同じように（テレビ番組のロシア語版は「マイゲーム」と呼ばれます。およそTrans。）。過去の問題からの質問を単純に作り直しました。根本的な理論はありませんでした。

さらにいくつかのステップに進みましょう。 有罪判決を受けた犯罪者の生きている脳の画像である磁気共鳴画像法（MRI）に基づくデータによって推進される研究を実施しました。 このシステムはGoogleビジョンの例と違いはありませんが、ここでは別の質問-再犯、犯罪者が再び法律を破り、釈放後に刑務所に戻る可能性について調べています。 繰り返しますが、基本的な理論がなければ、Google Visionは、二次犯罪が可能な犯罪者とそうでない犯罪者のMR画像を区別できるようです。 犯罪の委託を予測するためのGoogleのパフォーマンス係数は、1回の脳スキャンのみに基づいており、90％以上です。 MRI画像は、どの囚人を仮釈放するべきかを決定するためのツールになるべきですか？ トムクルーズのマイノリティレポート（マイノリティレポート）映画のように聞こえます。 このスキームは、社会全体にとって非常に大きな経済的利益があると考えられていますが、根底にある理論の欠如という恐ろしい側面を含んでいます。

その後、Googleの科学者は一般の人々のMRIを見て、数十億のYouTubeフレームを見ました。 これらの画像の十分に大きなデータセットと結果のMRIを処理すると、コンピュータは被験者が何を見ているかを予測できます。

これはマインドリーディングと呼ばれます...そして、それがどのように機能するかはわかりません。

科学者を排除することで科学を進歩させます。

科学者は何をしますか？ 彼らは理論付けます。 場合によっては、ビッグデータによって理論が不要になるか、単に不可能になります。 2013年、ノーベル化学賞は、酵素の化学を説明するためにコンピューターアルゴリズムによって導かれた結論に基づいてすべての研究を構築した3人の生物学者に授与されました。 この賞を受け取ったとき、酵素に害はありませんでした。

今日のアルゴリズムは、ムーアの法則の2倍の速度で向上しています。

変化しているのは、従来の技術から始まる新しい情報技術ワークフローの出現です。

1. 新しいハードウェアは新しいソフトウェアを生み出します。
2. 新しいソフトウェアは、新しいハードウェアによって提供される新しいアクティビティ領域向けに作成されています。
3. ムーアの法則は時間の経過とともに鉄のコストを削減し、新しいソフトウェアは消費者指向になります。
4. 洗い流し、繰り返します。

次世代へ：

1. 大量同時実行により、新しいアルゴリズムをシームレスに取得できます
2. 新しいアルゴリズムは、消費者向け技術で動作します
3. ムーアの法則は事実上強制されていますが、いくつかのリスクがあります（アルゴリズムを理解していません）
4. すすぎ、繰り返し

ここのポイントは何ですか？ 新しい実装スタイルは、大きな技術的飛躍に常に必要とされるもの、つまり新しいコンピューティングプラットフォームを超えています。 携帯電話の後に何が起こるだろう、と人々は尋ねる？ これは携帯電話の後になります。 それはどのように見えますか？ 誰も知らないので、おそらくこれはすべて重要ではないでしょう。

10年後、ムーアの法則によりプロセッサの電力は128倍に増加します。 問題を解決し、アルゴリズムの開発の速いペースを活用するために、より多くのプロセッサコアを搭載することで、この値をさらに128倍に増やす必要があります（合計16.384）。 現在、Google Visionは視覚皮質の0.1ボリュームに相当します。 次に、これに16,384を掛けて、1,638個の視覚野を取得します。 これがそれがもたらすものです。

10年後、犬ががんの匂いを嗅ぐことができるように、コンピュータービジョンは私たちが理解できないことを見ることができるようになります。

理論を生成する能力の壁と戦うと同時に、ビッグデータのハッキングを見つけて、何らかの方法で結果を改善し続けることができます。 唯一の問題は、何かがどのように機能するかを理解できなくなったことです。 私たちが完全にコントロールを失うまでにどれくらいの時間が残っていますか？

レイ・カーツワイルによると、2029年頃までに、技術的な特異点を達成します。

今年、有名な未来派（およびグーグル）は、1,000ドルで10,000人の知性に相当する計算能力を獲得することができると言います。 Rayは、PCの価格で、私たちが理解したり説明したりするよりも多くの計算能力を使用できると言います。 すべてのガレージにある真のスーパーコンピューター。

これは、同等に高速なネットワークと組み合わせることで、コンピューター、またはお持ちのデバイスが、文字通りの質問に答えるためにこれまでに書かれたすべての単語をリアルタイムで完全に検索できることを意味します。 単一の無人のしきい値を離れることなく。

非表示は機能しません。 すべての電気機器がネットワークに信号を送信するセンサーであり、信じられないほど効果的な火災警報器があるだけでなく、プライバシーを失う可能性が高い世界にこれを適用します。

将来を予測する人は、短期的に変化を過大評価し、長期を過小評価する傾向があります。 キャサリン・ヘプバーンとスペンサー・トレーシーのデスクセット1957は、メインフレームの自動化と、テレビネットワーク研究部門の機械を運転する人々の排除を予見しました。 これはある程度実現しましたが、さらに50年かかり、人々はプロセスの一部として残りました。 しかし、最大の技術的脅威は研究部門ではなく、テレビネットワーク自体にかかっていました。 2029年にテレビネットワークはありますか？ テレビはまったくありますか？

誰も知らない。

一連の記事全体を読んで、偶然Googleの従業員であることが判明した場合、私が説明していることの多くが現在のライフスタイルを脅かす可能性があるため、攻撃されたと感じるかもしれません。 しかし、これはそうではありません。 より正確には、これは完全に真実ではありません。 Googleは便利なターゲットですが、Amazon、Facebook、Microsoftなどの企業は現在、同じ仕事をしています。 Googleだけではありません。 また、Googleの統治（ヨーロッパ人がやろうとしていること）やビジネスからの撤退を試みても、おそらく何も変わりません。 未来は何であれ来ます。 これらの数百のスタートアップのうち5つは魅力的な成功を収め、世界を永遠に変えるのに十分なものになるでしょう。

それで私たちは自動運転車に来ました。 Googleや競合他社などの企業は、将来的にデータ駆動型の製品やサービスのサプライヤになる可能性が高いため、ますます高速で安価なコンピューティングの生産に力を入れています。 これが業界の未来です。

今日、現代の車の細部のコストをかけると、すべての電気ビットを接続し、メカニズム全体を制御するワイヤーの束は、エンジンとギアボックスよりも高くなります！ これは、運動ではなく、チームとコミュニケーションです。 しかし、これらのコストは大幅に削減され、その機能は同じ割合で増加しています。 Googleが自動運転車に割り当てる10,000ドルは、すべての新しい車が自動運転になった後、10年でゼロになります。

すべての新しい車を自動運転にすると、自動車文化の性質が完全に変わります。 車は至る所に現れ、最大許容速度で移動し、それらの間には1メートルしかありません。 これにより、道路の容量が10倍になります。

同じ効果が空の旅に影響を与える可能性があります。 自走式航空機は、多数の小型航空機の出現につながり、鳥の群れのように目的地に直接飛行します。

それとも、私たちはまったく旅行を停止します。 コンピューティング能力の向上とネットワークの高速化により、テレプレゼンス（消費者のニーズに応じたフルサイズのビデオ会議）がすでに可能になります。

おそらく、私たちの村の外の人々との唯一の本当のコミュニケーションは、私たちが彼らに物理的に触れるときでしょう。

このすべてとそれ以上の可能性があります。 バイオインフォマティクス-医学における大規模な計算能力の使用は、相関アルゴリズムと機械学習と組み合わせて、私たちが尋ねたことがない、そして決して尋ねない質問への答えを求めます。

おそらく私たちは病気と老化の両方を打ち負かすでしょう。つまり、犯罪者、自殺、または悲劇的な事故の手で死ぬことを意味します。

ビッグデータを持つ企業は真剣に駆け回り、将来のサプライヤの重要な地位を獲得します。ムーアの法則は、必然的になった場所をはるかに超えました。ノーリターンのポイントに到達しました。

そして、世界は完全に変化しており、私たちはそれがどのように見えるか、誰が...または何を...それを制御するかを推測することしかできません。

（ ナタリアベースによる翻訳）