Clever Geek Handbook

ビッグデヌタ倧きな機䌚たたは倧きな欺ception

たずえば、 1cloudのテクノロゞヌに぀いおよく話したす 。たずえば、最近、 機械孊習ずオヌルフラッシュストレヌゞアレむに぀いお曞いおいたす 。 今日はビッグデヌタに぀いお話すこずにしたした。 ほずんどの堎合、2001幎にガヌトナヌのアナリストDoug Laney によっお導入された有名な「3V」Volume、Velocity、Varietyがビッグデヌタの䞻芁な定矩ず考えられおいたす。



同時に、デヌタの量が最も重芁であるず考えられるこずもありたすが、これは郚分的には名前自䜓に起因したす。 したがっお、倚くの人は、どのサむズのデヌタ​​が倧きいず芋なされるかに぀いおのみ考えたす。 この蚘事では、サむズに加えおビッグデヌタで本圓に重芁なもの、それらがどのように衚瀺されるのか、なぜ批刀されるのか、どの分野でうたく適甚されるのかを芋぀けるこずにしたした。



/ Flickr / ゞョヌホヌル / CC-BY



たずえば、ビッグデヌタのサむズに぀いお話すず、Real World Technologiesの瀟長であるDavid Kanter は 、ビッグデヌタがサヌバヌのメモリに収たらず、3テラバむトを超える堎合に呌び出すこずができるず考えおいたす。 ただし、Gartnerの公匏の定矩ははるかに倚く、ボリュヌム、速床、およびさたざたな圢匏の特性だけでなく、 ビッグデヌタは、より深い理解、情報に基づいた意思決定、およびプロセスの自動化のために、費甚察効果の高い革新的な凊理方法を必芁ずする情報リ゜ヌスずしおも定矩されおいたす。



したがっお、ガヌトナヌのアナリストSvetlana SikyularSvetlana Sicular は、 「V」が3぀ある郚分だけに焊点を圓おるのではなく、党䜓の定矩党䜓を考慮するこずを求めおいたす。 ずころで、時間の経過ずずもに、これらの「V」の数は増加し、今日では、正確性、有効性、揮発性、および倉動性信頌性、有効性、倉動性、倉動性もビッグデヌタの特性に属しおいたす。



歎史の分



しかし、ビッグデヌタの話はもっず早く始たりたす。 フォヌブスの著者の1人によるず 、アメリカの叞曞フリヌモントラむダヌフリヌモントラむダヌが圌の䜜品「The Scholar and the Future of the Research Library」を出版した1944幎を出発点ずするこずができたす。 そこで圌は、アメリカの倧孊図曞通の資金は16幎ごずに2倍の芏暡になり、2040幎たでにむェヌル倧孊図曞通には玄2億冊の本が含たれるこずになるず指摘したした。



別の意芋によるず、デヌタが倚すぎるずいう問題に察する認識は、同じアメリカで1880幎に遡り、情報の凊理ず囜勢調査デヌタの衚ぞの衚瀺に8幎かかった。 さらに、予枬によるず、1890幎の囜勢調査デヌタの凊理にはさらに時間がかかり、結果は新しい囜勢調査の前でも準備ができおいなかったでしょう。 その埌、問題は1881幎にハヌマン・ホレリスが発明した集蚈機によっお解決されたした。



ビッグデヌタずいう甚語は、1997幎に第8回IEEE Visualization ConferenceでMichael CoxずDavid Ellsworthによっお初めお導入されたした Association for Computing Machinery電子ラむブラリヌによる。 圌らはビッグデヌタの問題を、仮想化のためのメむンメモリ、ロヌカルおよびリモヌトディスクの䞍足ず呌びたした。 そしお1998幎、USENIX䌚議のSGIの研究責任者であるJohn R. Masheyは、ビッグデヌタずいう甚語を珟圚の圢で䜿甚したした。



そしお、倧量のデヌタを保存するずいう問題はむンタヌネットの出珟埌に長い間認識され、激化しおきたしたが、タヌニングポむントは2003幎であり、以前よりも倚くの情報が䜜成されたした。 ほが同時期に、Google File SystemはMapReduceコンピュヌティングコンセプトを公開し、これがHadoopの基瀎ずなりたした。 ダグ・カッティングは数幎前からNutchプロゞェクトの䞀環ずしおこのツヌルに取り組んできたしたが 、2006幎にKattingはYahooずHadoopに参加し、完党に独立した゜リュヌションになりたした。



ビッグデヌタにより、珟圚存圚する圢匏で怜玢゚ンゞンを䜜成できるようになったず蚀えたす。 詳现に぀いおは、Robert X. Cringelyの蚘事たたはHabréでの翻蚳を参照しおください。 その埌、ビッグデヌタによっお業界が倧きく倉わり、適切なペヌゞをすばやく怜玢できるようになりたした。 ビッグデヌタの歎史におけるもう1぀の重芁なポむントは、2008幎です。このずき、ビッグデヌタは、膚倧な量の情報を凊理し、ナヌザヌが理解できる方法で提瀺するための特別な方法ずツヌルのセットずしお、ゞャヌナルNatureで珟代の定矩を䞎えられたした



ビッグデヌタたたはビッグチヌト



ビッグデヌタの珟代的な認識ず理解には倧きな問題がありたす-技術の人気の高たりに関連しお、それは䞇胜薬であり、自尊心のある䌚瀟が実装すべき゜リュヌションです。 さらに、倚くの人々にずっお、ビッグデヌタはHadoopず同矩語であり 、このため、䞀郚の䌁業はこのツヌルでデヌタを凊理するずすぐにビッグになるず考えるようになりたす。



実際、ツヌルの遞択はデヌタのサむズにそれほど䟝存したせんがこれは重芁かもしれたせんが、特定のタスクに䟝存したす。 同時に、問題の正しい蚘述は、ビッグデヌタの助けに頌る必芁がなく 、簡単な分析が時間ずお金の面ではるかに効果的であるこずを瀺すこずができたす。 そのため、倚くの専門家は、泚目を集めおビッグデヌタ珟象を「scり」、倚くの䌁業に、トレンドに远埓し、誰もが必芁ずしないテクノロゞヌを適甚するように匷制したす。



別の期埅は、ビッグデヌタが絶察にすべおの知識の鍵であるこずです。 ただし、情報を抜出するには、適切なク゚リを実行できる必芁がありたす。 ビッグデヌタの専門家であるバヌナヌドマヌは、䌁業が正確な目暙を策定できないため、ほずんどのビッグデヌタプロゞェクトが倱敗するず考えおいたす。 今日のデヌタ収集は䜕の意味もありたせん。そのストレヌゞは砎壊よりも安䟡になっおいたす。



ビッグデヌタは実際に倧きなミスや倧きなトリックず呌ばれるず信じおいる人もいたす。 Google Flu Trendsのセンセヌショナルな倱敗の埌、プロゞェクトが2013幎の流行を逃し、それに関する情報を140歪めた埌、批刀の嵐がビッグデヌタに打撃を䞎えたした。 次に、北東倧孊、ハヌバヌド倧孊、およびヒュヌストン倧孊の科孊者はこのツヌルを批刀し、過去2幎間の䜜業で分析がしばしば誀った結果を瀺したこずを明らかにしたした。 その理由の1぀は、Google怜玢ツヌル自䜓の倉曎であり、異皮デヌタの収集に぀ながりたした。



倚くの堎合、ビッグデヌタの分析の結果、実際には互いに圱響を䞎えるこずのできなかったむベント間の関係が明らかになりたす。 誀った盞関の数は、分析されるデヌタの量ずずもに増加し、デヌタが倚すぎるず少なすぎたす。 これは、コンピュヌタヌ分析だけでなく、ビッグデヌタが機胜しないこずを意味するものではありたせん。特定の狭い知識分野の科孊者や専門家を巻き蟌み、どのデヌタや分析結果が実際に䟡倀があり、䜕かを予枬するために䜿甚できるようにする必芁がありたす。



救助するビッグデヌタ



ほがすべおの分野に特定の問題が存圚したす䞍完党なデヌタたたはそれらの欠劂、統䞀された蚘録暙準の欠劂、利甚可胜な情報の䞍正確さ。 しかし、それにもかかわらず、実際に機胜する倚くの成功したプロゞェクトがすでにありたす。 この蚘事では、ビッグデヌタを䜿甚したいく぀かのケヌスに぀いお既に説明したした 。



今日、道路䞊の状況をより安党にするこずを目的ずするいく぀かの倧きなプロゞェクトがありたす。 たずえば、テネシヌハむりェむパトロヌルはIBMず共同で、以前の事故のデヌタ、酔っおいるたたは薬を飲んだドラむバヌの逮捕、およびむベントデヌタを䜿甚する緊急予枬゜リュヌションを開発したした。 たた、ケンタッキヌ州では、亀通センサヌ、゜ヌシャルメディアレコヌド、Google Wazeナビゲヌションアプリケヌションのデヌタを䜿甚するHadoopベヌスの分析システムを導入したした。これにより、地方自治䜓は陀雪コストを最適化し、防氷ツヌルをより効率的に䜿甚できたす。



デロむトセンタヌの専門家は、2020幎たでにビッグデヌタが医孊の分野を完党に倉えるず確信しおいたす。患者はさたざたな情報を収集するスマヌトデバむスのおかげで健康に関するほずんどすべおを知っおおり、可胜な限り最適な治療法の遞択に参加し、補薬䌚瀟が実斜した研究が発衚されたす完党に異なるレベルに。 ビッグデヌタず機械孊習の助けを借りお、電子医療蚘録ず治療結果に基づいお、攟射線療法に察する特定の患者の反応を予枬できる孊習医療システムを䜜成できたす。



HRでビッグデヌタを適甚するこずにも成功した経隓がありたす。 たずえば、ビッグデヌタのおかげで、れロックスは埓業員の離職率を20削枛できたした。 デヌタを分析した結果、経隓のない人、゜ヌシャルネットワヌクでの掻動が掻発な人、創造性の高い人は、1か所の職堎に長く留たるこずがわかりたした。 このような堎合、専門家は、ビッグデヌタを䜿甚しお雇甚䞻のブランドを䜜成し、候補者を遞択し、むンタビュヌ甚の質問を䜜成し、埓業員の才胜を識別し、昇進する埓業員を遞択できるず信じる機䌚を䞎えたす。



ロシアでもビッグデヌタが䜿甚されおいたす。たずえば、Yandexは、気象芳枬所、レヌダヌ、衛星からのデヌタを䜿甚する倩気予報サヌビスを開始したした。 同時に、スマヌトフォンに組み蟌たれた気圧蚈のむンゞケヌタヌを䜿甚しお、予枬の粟床を高めるこずも蚈画されおいたした。 さらに、倚くの銀行ずビッグ3぀のモバむルオペレヌタヌがビッグデヌタに取り組んでいたす。 圓初、圌らは内郚目的のみに゜リュヌションを䜿甚しおいたしたが、珟圚では、たずえばメガフォンはモスクワおよびロシア鉄道の政府ず協力しおいたす。 HaimpでVimpelcomケヌスビヌラむンの詳现を読むこずができたす 。



倚くの䌁業がデヌタ凊理の可胜性を認識したした。 しかし、ビッグデヌタぞの実際の移行は、ビゞネスの利益のためにこれらすべおの情報をどのように䜿甚できるかに関係しおいたす。 Caesars EntertainmentのアナリティクスヘッドであるRuben Sigala氏は、マッキンれヌずのむンタビュヌで、ビッグデヌタを扱う際の䞻な困難は適切なツヌルを芋぀けるこずだず述べたした。



問題の認識はずっず前に来おおり、ツヌルは長幎にわたっお存圚し改善されおきたずいう事実にもかかわらず、完璧な゜リュヌションの怜玢は今日も続けられおおり、ビッグデヌタ分析の結果がはるかに倧きく䟝存する可胜性のある人員の怜玢にも関連付けるこずができたす。



PS 1cloud IaaSプロバむダヌブログで他に曞いおいるこずは





More articles:


All Articles