統計とデータサイエンスの違い

こんにちは親愛なる読者。 オレイルノベルティの関連性について再度相談します。 今回は、データサイエンスの統計についてです。



オリジナルのボリュームは250ページで、リリース日は2月25日です。









この本は、R言語の少数のグラフと例を含む簡潔な事例を扱っています。



考えて投票することはもっと面白かった-カットの下に、著者が統計とデータサイエンスの違いをキャッチして説明しようとした記事があります



今、大きな需要があると言うことは困難です-専門の「データ科学者」またはデータ科学に関する記事。 用語が各鉄から聞こえ始めると、常に起こります。 誰もがコンテンツを作りたいと考えています。それがそれです-今日の最も人気のある検索クエリ：「レスポンシブ」、「クラウド」、「オムニチャネル」。



もちろん、データマイニングの専門家に対する需要は膨大です。 昨年、Glassdoorポータルは、この職業を2016年の最高の専門分野として指定しました。例として、平均年収が$ 116kの1,700の空席を挙げています。



しかし、データサイエンスに関する記事を読んだ後、ビジネススクールからの質問に対するQuoraからの回答（ちなみに、深い考えがありました）を学んだ後、この流行の傾向を理解しようとして、さらに質問がありました。 すべてが少し異なって定義されていました。データサイエンスとは何か、そうではないものです。 数時間後、データサイエンス現象が存在するかどうかはまったくわかりませんでした。



したがって、データサイエンスに関する自分の記事がこの山を単に補充するのではないかと心配しました。 そして、次のマーケティング担当者のスタッフィングを読んで、彼自身があまり精通していないトピックをあらゆる点で賞賛するのはなぜですか。 データサイエンスとは 統計とどう違うのですか？ なぜそんなに需要があるのですか？



すぐに明らかになったので、答えはプログラムする能力だけでなく、作成される製品の深い理解にも関係しています。

懐疑的な統計

ネイトシルバーは、データサイエンスと統計の違いを認識していないようです。 彼は有名な電卓であり、 FiveThirtyEightメディアサイトの主要な専門家であり、米国50州のうち49州で2008年の大統領選挙の結果を正しく予測した人物です。 2012年に、彼はすでに50のうち50を獲得しました。そして、彼は「データサイエンス」という用語をより懐疑的に受け止めています。



「データサイエンティストは「統計学者」の同義語だと思います」とSilverは共同統計会議での2013年の講演で述べました。



「統計学は科学分野です。 「データサイエンス」という用語は少し冗長なので、「統計」という用語を使用することをお勧めします。



統計学者にとって、データサイエンスに関連する全体の傾向は少しbit慢に思えます。 「データサイエンス」の正確な定義が何であるかはまったく関係ありません。この分野の活動は、統計学者が何十年も行ってきた仕事と非常に交差しています。



そして、100万の反論がありますが、そのような意見は、最初に共通の意見、つまり「データサイエンス」に到達するまで、反論することは困難です。 データサイエンスの定義が多すぎると、古い大きな単語で構成されます。 たとえば、「ビジネスインテリジェンスのためのデータマイニング」。 あいまいな流行語、次々。 底までカメ。



データの科学が特別なものであったとしても、なぜこれらすべての企業がそのような専門家の大群を必要とするのか理解できませんでした。 なんでこんなにクールなの？ おそらく、企業は単にGoogle、Facebook、Netflixを真似て、利益と市場価値を欲しているだけでしょうか？



イライラして、私は友人の一人であるCTOへの短いメッセージを走り書きしました。 彼はすぐに答えました：「私は彼らについても聞きたくありません。」



数か月間、彼は会社で開かれているデータサイエンティストの地位の候補者にインタビューしました。 自称データ科学者は、自分たちが何をすべきかを漠然と想像している以上でした。 各候補者はわずかに異なるスキルのセットを持ち、彼のタスクについてさらに独特の理解を持っていました。



「候補者の99％はデータサイエンティストではありません」と彼は言いました。 「彼らは私たちが必要とすることをどうやってやるかわからない。」

どうやら、この職業を支持する人でさえ、統計の終わりとデータの科学が始まる場所を完全には理解していないようです。

答えを知っている男

答えを探して、 TwitchのデータサイエンスディレクターであるDrew Harryに手紙を書きました。 昨秋、私たちは彼とTwitchがどのように拡大されたかについての記事を話しました 。 誰かが私に道を見せてくれたら、それはドリューだった。



「はい、このテーマに関して興味深い考えを持っている同僚を知っています」と彼は書いた。

そして数日後、私はすでにブラッド・シューミッシュと会い、サンフランシスコのTwitch本社近くのカフェに座ることに決めました。



「それでは、データサイエンスと統計についてどう思うか教えてください」とBradは尋ねます。 そして、彼は静かに座ってホットチョコレートをすすり、私に注意深く耳を傾けます。2杯のコーヒーを飲んだ後、R言語からデータパイプラインの管理、そしてアルゴリズムの管理に移ります。



ブラッドはフルブライトフェローです。 約10年前、彼は「 凸最適化 」と呼ばれる数学的な方法がH.264ビデオエンコーディングの品質をどのように改善したかを詳細に説明した重要な記事を書きました。 彼は機械学習のスタンフォード博士号を取得し、無人車両やGoogle Glassメガネなどの野心的なプロジェクトを開発した実験的な研究センターであるGoogle Xで1年間過ごしました。



ブラッドには必要な答えがありますが、優れたデータサイエンティストとして、彼は彼の出発点を示すために質問を始めます。



計算を終えた後、ブラッドは丁寧に答えます。「これらはすべて非常に賢明な発言ですが、一般的にこのトピックは単純ではありません。 実際、これは素晴らしいトピックです。議論することがあるからです。」



しばらくして、彼は「最初に、統計学者をとても尊敬します。」と始めます。



彼はゆっくりと強調されており、彼の考えを集めるために立ち止まることをheしません。

「統計はデータサイエンスの重要な部分です。 Twitchのデータサイエンスチームには、統計、プログラミング、製品理解の3つの能力があります。 私たちは、統計が不十分な人を雇うことはありません。 あなたはクールなプログラマーになることができますが、ベイジアンの結論がわからない場合は、エンジニアリング部門もあります。



「一部の人々は、データサイエンスは統計の応用にすぎないと考えていますが、私たちは間違いなく統計だけではありません。 統計の理論的研究をする人だけが必要なわけではありません。 誰もフィッシャーのような記事を書くべきではない」と彼は続け、現代統計学と実験計画の先祖であるロナルド・フィッシャーに言及している。 -「行われた結論を適用できることがはるかに重要です。」

当然、Twitchのような会社では、このような「アプリケーション」を使用するには、コンピューターサイエンスの深い知識が必要です。

統計だけでなく

統計コミュニティでは、たとえば、論理的な関係を構築するだけでなく、データの収集、表示、および管理に注意を払い、結果の予測により密接に関与するために、統計の境界を拡大する必要があるとますます言われています。 統計が大きくなる可能性のある分野はたくさんあります。 教科書を作成してから理論研究に戻る代わりに、統計学者はコミュニケーションを確立する必要があります。



たとえば、数十年前、quanta（量的分析に関与する統計）はキャビネットに数字を積み上げ、データを利害関係者（トレーダーなど）に渡して、必要な措置を講じました。 今日、データサイエンティストは、データを完全に自動的に吸収し、すべてを計算して取引を行うことができるアルゴリズムを、一瞬で作成します。



明らかに、これらすべてのルーツは統計にあります。 尊敬されるネイトシルバーを含む多くの人が、それをデータサイエンスと組み合わせることができる理由を理解しています。 しかし、データ研究者の専門的な活動の範囲は、統計だけにとどまりません。

コンピューターサイエンスは多くの分野を豊かにし、新しい側面を与えます。 マーケティング+プログラミング=グロースハッキング。 おそらく統計+プログラミング=データサイエンス。 スキップしたUdemyクラスにどのように戻りたいか。

ダイナミック製品の時代

20年前、コンピュータークラスでII siを使用してアクセスしたサイトは、ほとんど静的なドキュメントでした。 しかし、このようなページではそれほど遠くないので、すぐにユーザー入力に反応するより複雑なサイトが登場しました。 たとえば、Google-ユーザーから検索クエリを受信し、関連するWebページのリストを提供しました。



しかし、もちろん、Googleはユーザー入力の考えられるバージョンの静的ドキュメントを保存しませんでした。 いいえ、Google検索ロボットはページを精査し、ページからのデータを最大化しました。 したがって、「自転車用スペアパーツ」というリクエストを入力するとすぐに、Googleはプログラムですべてのデータを調べ、このリクエストに対応する可能性が高いページへのリンクを含むページを生成しました。

もちろん、今日、データを含むサイトおよびアプリケーションは動的であり、ユーザー入力だけでなく、私たちが見つけ出したあなたに関する大量の情報も考慮する必要があります。 Netflixのホームページには、自分の好みに基づいて推奨する映画があります。 Spotifyでは、毎週の「Discover」プレイリストは私のためです。



Facebookを開くと、ニュースフィードの形成が開始され、その最適化には無数の要素が関与します。 SlateポータルのシニアテクノロジーライターであるWill Oremusは、Facebookニュースフィードの基礎となるアルゴリズムに関する注目すべき研究でこのプロセスを説明しています。

Facebookを開くたびに、世界で最も影響力があり、曖昧であいまいなアルゴリズムの1つが含まれます。 過去1週間にすべての友達が投稿したすべての情報、フォローしているすべてのユーザー、所属するグループからのすべての投稿、および好きなFacebookページからのすべての投稿をスキャンして収集します。 平均的なFacebookユーザーの場合、1,500を超える投稿が入力されます。 数百人の友人がいる場合、10,000の投稿があるかもしれませんが、慎重に守られ、絶えず変化する式に従って、Facebookニュースフィードアルゴリズムはこれらの投稿をランク付けします。読むために。 通常、ほとんどのユーザーは最初の数百個のみを表示します。

これらのすべての機能を実装するアルゴリズムを誰かが作成する必要がありました。 Facebookはこの「ストーリー」全体をまとめて、非常に才能のある統計学者に渡すことができます。 統計学者は無制限の知識と経験を身に付け、その後、R言語で優れたモデルを作成し、これらの変数間のすべての関係を論理的に推測します。 もちろん、特定の状況に最も適した広告を効率的に選択できます。



しかし、これらすべてを製品に組み込む方法は？ 1回の回顧展でどのくらい使用しますか？ Facebookには、ページの読み込み中にこれらすべてを分析し、最高のニュースフィードを予測して提供するアルゴリズムが必要です。 これがデータサイエンティストの仕事です。



そのため、技術会社ではそのような専門家が必要です。 そして、なぜ彼らは、たとえ統計を扱っていても、「同じ専門家、サイドビュー」とはほど遠いのです。



しかし、データサイエンスで成功するには、使用している製品についての深い理解も必要です。

問題の質問

「Twitchは優れた専門家でいっぱいであり、全員が統計を知っているわけではありません。 したがって、結果を得るには、データ研究者とプロダクトマネージャーとの間に連絡をとる必要があります」とBrad氏は言います。



製品開発におけるデータサイエンスの役割について議論している間、ブラッドは絶えず「効率」に言及しています。



「誰もが製品の意味を等しく理解し、どのパラメーターがより重要かを決定し、プログラマーの観点から追跡の実装方法を理解し、統計の観点から分析を行う方法を理解すれば、はるかに効率的です。」



人々が製品をどのように使用するのか、そして会社の目標は何なのかを理解していない場合、データ分析全体をゆがめることができます。 データサイエンティストの仕事は、これらすべての情報を一度に念頭に置き、誰かがあいまいな問題で部門に来たときに、質問に答えるためにどのデータを参照するかを知ることです。

多彩な職人

振り返ってみると、この分野の専門家は統計とプログラミング、さらに統計と生産の交差点で働いているので、なぜこの分野の定義をすることがそれほど難しいのか理解しています。 自分でデータサイエンスチームを結成した場合、そのような定義を見つけるのがどれほど難しいかはさらに明確です。



GoogleとNetflixは何年もこれを行ってきましたが、8人の現在のスタートアップもゲームに参加したいと考えています。 ほとんどすべてのアプリケーションには、特定のユーザーごとに最適化されたコンテンツを配信するための独自のモデルがあります。 たとえば、Hingeのような出会い系アプリケーションでアルゴリズムが優れているほど、推奨パートナーはより良くなり、クライアントが仲間を見つける可能性が高くなります。 私の意見では、そのような専門性を備えた企業が企業に必要な理由は明らかですが、この役割の専門家を選ぶことがなぜ難しいのかはさらに明白です。 そして、データ研究者の需要は増え続けています。



現在のデータ科学者は、経済学者、物理学者、数学者の特徴を空想的に組み合わせています。 これは、状況と適切な教育のおかげで、クールなエンジニアであり、計算機でもある珍しい人です。 しかし、そのような人を見つけるのは難しいです。 経験によれば、データサイエンティストであると主張するすべての人が、それが何であるかを原則的に説明できるわけではありません。



おそらく、データサイエンティストが何をすべきかについて全員が同意すれば、そのような投稿は少なくなります。 しかし、それでもなお、この分野の真のスペシャリストに対するラッシュの需要は今後も続くという感じが残っています。