典型的な確率分布：データサイエンティストのチートシート

データサイエンティストは、あらゆる嗜好に対して何百もの確率分布を持っています。 どこから始めますか？

データサイエンスは、それが何であれ、そのことです。 集会やハッカソンの第一人者からは、「データサイエンティストはどのプログラマよりも統計をよく理解しています」と聞くことができます。 応用数学者は、統計がもはや黄金の20年代ほど耳にしないという事実に復venしている 。 この理由から、彼らは独自の不愉快なベン図さえ持っています。 そのため、プログラマーであるあなたは、Apache Bikeshedプロジェクトを聞いたことのないアナリストにコメントを分散的にフォーマットするために習慣的に不平を言うのではなく、 信頼区間についての会話で完全に場違いになります。 このような状況では、ストリームにあり、再び会社の魂になります-統計に関する特急コースが必要です。 たぶん、あなたがすべてを理解するのに十分な深さではないかもしれませんが、一見したように見えるほど十分に深いかもしれません。



データ構造がコンピューターサイエンスの基礎であるように、確率分布は統計の基礎です。 データサイエンティストの言語を話したい場合は、まずそれらを勉強する必要があります。 原則として、運がよければ、ハッシュ関数を理解せずにJavaプログラムを作成できるように、分布をまったく理解せずにRまたはscikit-learnを使用して簡単な分析を行うことができます。 しかし、遅かれ早かれ、それは涙、間違い、誤った結果で終わるか、さらに悪いことに、統計学者からの目と膨らんだ目で終わるでしょう。



数百の異なるディストリビューションがあり、その一部はMuthやLomaxなどの中世の伝説のモンスターのように聞こえます。 それにもかかわらず、実際には、約15が多かれ少なかれ使用されていますが、それらは何であり、それらについて覚えておく必要のあるスマートなフレーズは何ですか？

確率分布とは何ですか？

何かが常に起こります。キューブが投げられ、雨が降っており、バスが近づいています。 これが起こった後、あなたはいくつかの結果を確信することができます：キューブは3と4に落ち、2.5 cmの雨が降り、バスは3分で引きました。 しかし、ここまでは、それぞれの結果がどの程度可能かについてのみ話すことができます。 確率分布は、各結果の確率をどのように見るかを記述します。これは、最も可能性の高い結果を1つだけ知ることよりもはるかに興味深いことがよくあります。 分布にはさまざまな形式がありますが、サイズは厳密に同じです。分布内のすべての確率の合計は常に1です。



たとえば、適切なコインを投げると、2つの結果が得られます。イーグルまたはテールのいずれかで落下します（エッジに着弾せず、カモメが空中でそれを引き離さないと仮定）。 投げる前に、1から2の確率で、または0.5の確率で、彼女はワシに落ちると信じています。 尾のように。 これは、スローの2つの結果の確率分布であり、この文を注意深く読んだ場合、ベルヌーイ分布をすでに理解していることになります。



エキゾチックな名前にもかかわらず、一般的な分布は非常に直感的で興味深い方法で相互に関連付けられているため、簡単に思い出して自信を持って話をすることができます。 いくつかは、例えばベルヌーイ分布から自然に続きます。 これらの接続のマップを表示する時間。







各分布は、 分布密度関数 （DPR）の例で示されています。 この記事は、結果が特異な分布についてのみです。 したがって、各チャートの水平軸は、可能な結果番号のセットです。 垂直-各結果の確率。 一部の分布は離散的です-その結果は、0または5などの整数でなければなりません。これらは、各結果に対応するまれな線で示され、この結果の確率に対応する高さを持ちます。 連続的なものもあり、その結果は、-1.32や0.005などの任意の数値を取ることができます。 これらは、確率を与える曲線セクションの下の領域を持つタイトな曲線で示されます。 曲線の下の線と領域の高さの合計は常に1です。



印刷し、点線で切り取り、財布に入れて持ち運びます。 これは、分布の国とその親族へのあなたのガイドです。

ベルヌーイとユニフォーム

すでに上記のベルヌーイ分布に出会っており、2つの結果-頭または尾です。 今、0と1にわたる分布として想像してください。0はワシで、1は尾です。 すでに明らかなように、両方の結果は等しくありそうであり、これは図に反映されています。 RDFベルヌーイには、同じ高さの2本の線が含まれており、それぞれ2つの同等の確率の結果、それぞれ0と1を表しています。



ベルヌーイ分布は、間違ったコインを投げるなど、起こりそうにない結果を表すこともあります。 その場合、ワシの確率は0.5ではなく、pの他の値であり、尾の確率は1-pです。 他の多くの分布と同様に、これは上記のpのように、特定のパラメーターによって定義された分布のファミリー全体です。 「 ベルヌーイ 」と思うとき-「（おそらく間違っている）コインを投げる」ことを考えてください。



これは、複数の同等の可能性のある結果に分布を表示するための非常に小さなステップです。フラットなPDFを特徴とする均一な分布です。 正しいサイコロを想像してください。 その結果1-6は同様に可能性があります。 これは、任意の数の結果nに対して、さらには連続分布の形で設定できます。



均等な分配を「正しいサイコロ」と考えてください。

二項および超幾何

二項分布は、ベルヌーイ分布に従うものの結果の合計として表すことができます。



正直なコインを2回投げる-ワシは何回になるのか？ これは、二項分布に従う数です。 そのパラメーターはn（テストの数）で、pは「成功」の確率です（この例では、イーグルまたは1）。 各ロールは、ベルヌーイ分布の結果、またはテストです。 コインを投げるなどの成功の数を数えるときに二項分布を使用します。各ロールは他のロールから独立しており、成功の確率は同じです。



または、同じ数の白と黒のボールで骨urを想像してください。 目を閉じて、ボールを引き出し、色を書き留めて元に戻します。 繰り返します。 黒いボールは何回引っ張られましたか？ この数も二項分布に従います。



超幾何分布の意味を理解しやすくするために、この奇妙な状況を提示しました。 これは同じ数字の分布ですが、ボールを返さなかった場合の状況です。 それは確かに二項分布のいとこですが、成功する確率は描かれたボールごとに異なるため、同じではありません。 ボールの数がプルの数と比較して十分に大きい場合、成功の可能性はプルごとにほとんど変化しないため、これらの分布はほぼ同じです。



人々が返還せずに投票箱からボールを​​引き出すことについて話すとき、「はい、超幾何分布」を台無しにすることはほとんど常に安全です。なぜなら、私の人生では、投票箱にボールを入れて引き出して戻った人に会ったことがないからです。 urのある人すら知りません さらに多くの場合、一般分布の有意なサブセットをサンプルとして選択すると、この分布がポップアップするはずです。

ポアソン

毎分テクニカルサポートホットラインに電話する顧客の数はどうですか？ これは、ベルヌーイ検定として1秒ごとにカウントした場合に、顧客が電話をかけない（0）か電話をかける（1）場合に、分布が一見二項分布になる結果です。 しかし、電力供給組織は十分に認識しています。電力をオフにすると、2人または100人以上が 1秒で電話をかけることができます。 これを60,000ミリ秒のテストとして提示しても役に立たない-複数のテストがある場合、2つ以上が同時に考慮されなくても、ミリ秒での呼び出しの可能性は低くなりますが、技術的にはこれはまだベルヌーイテストではありません。 それにもかかわらず、論理的推論は無限への移行によって引き起こされます。 nを無限大にし、p-を0にし、npが一定になるようにします。 それは、コールの可能性がますます低くなり、より小さな時間に分割するようなものです。 限界では、ポアソン分布を取得します。



二項分布と同様に、ポアソン分布は量の分布、つまり何かが発生する回数です。 これは、確率pとテスト回数nではなく、平均強度λによってパラメーター化されます。平均強度λは、二項と同様に、単にnpの定数値です。 ポアソン分布は、一定の一定の強度で特定の時間のイベントをカウントする際に覚えておく必要があるものです。



ルーターに到着したパケットや、店に並んでいる買い手、並んでいる何かなど、何かがあるときは、 ポアソンだと思います。

幾何および負の二項

単純なベルヌーイ試験から、別の分布が表示されます。 ワシに落とされる前に、コインは何回尾から落ちますか？ 格子の数は幾何学的分布に従う。 ベルヌーイ分布と同様に、成功する結果の確率pによってパラメーター化されます。 失敗したテストの数がまさに結果であるため、テストロールの数nによってパラメーター化されません。



二項分布が「成功の数」である場合、幾何分布は「成功までにいくつの失敗がありますか？」です。



負の二項分布は、前の分布の単純な一般化です。 これは、rの前の失敗の数であり、1の成功ではありません。 したがって、このrによってさらにパラメーター化されます。 成功から失敗までの回数として説明されることもあります。 しかし、私のライフコーチが言うように、「成功と失敗はあなたが決める」ので、確率pもそれぞれ成功または失敗の正しい確率であることを忘れないなら、これは同じです。



ストレスを和らげるために冗談が必要な場合は、二項分布と超幾何分布は明らかなペアですが、幾何学的分布と負の二項分布も非常に似ていると言うことができます。

指数およびワイブラ

テクニカルサポートの呼び出しについても、次の呼び出しまでにどれくらいかかりますか？ この待機時間の分布は幾何学的なものです。なぜなら、誰も電話をしないまで毎秒が失敗のようであり、最後に電話が来るまで1秒までです。 失敗の数は、誰も電話をしなくなるまでの秒数に似ており、これは実際には次の電話までの時間ですが、「実用的に」では十分ではありません。 一番下の行は、この時間は秒全体の合計になるため、呼び出しが直接行われるまでこの秒内の待機時間を計算することはできません。



さて、前と同じように、時間分数と出来上がりに関して、幾何分布の限界に進みます。 呼び出し前の時間を正確に記述する指数分布を取得します。 結果は数秒で必要になるわけではないため、これは最初の連続分布です。 ポアソン分布と同様に、強度λによってパラメーター化されます。



ポアソンの「二項と幾何の関係を繰り返して、時間内にいくつのイベントがありますか？」は指数関数的な「イベントの前にいくつありますか？」に関連付けられています。 単位時間あたりの数がポアソン分布に従うイベントがある場合、それらの間の時間は同じパラメーターλの指数分布に従います。 2つのディストリビューション間のこの対応は、どちらかを議論するときに注意する必要があります。



「イベントまでの時間」、場合によっては「失敗までの時間」について考えると、指数分布が頭に浮かぶはずです。 実際、これは非常に重要な状況であり、Weibul分布など、故障までの平均時間を記述するより一般化された分布があります。 指数関数的分布は、たとえば摩耗または破損の割合が一定の場合に適していますが、ワイブル分布は、破損率の経時的な増加（または減少）をシミュレートできます。 一般に、指数関数的な特別な場合。



故障時の実行に関しては、 Weibulについて考えてください。

正規、対数正規、学生およびカイ二乗

正規分布、またはガウス分布は、おそらく最も重要な分布の1つです。 その鐘形はすぐに認識されます。 eのように 、それはどこにでも現れる、特に一見単純なソースからでも現れる、奇妙な実体です。 1つの分布に従う値のセットを取得します。 -折ります。 それらの合計の分布は（ほぼ）正規分布に送信されます。 より多くのものが合計されます-それらの合計は正規分布に対応します（キャッチ：用語の分布は予測可能でなければならず、独立している必要があり、それは正規にのみ傾向があります）。 初期分布にもかかわらず、これがそうであることは驚くべきことです。





これは「 中心極限定理 」と呼ばれ、それが何であるのか、なぜそう呼ばれているのか、何を意味するのかを知る必要があります。



その文脈では、正規はすべての分布に関連付けられています。 基本的に、すべての種類の合計の分布に関連付けられています。 ベルヌーイ検定の合計は二項分布に従い、テスト数の増加に伴い、この二項分布は正規分布にますます近づいています。 同様に、彼のいとこは超幾何分布です。 ポアソン分布（二項式の制限形式）も、強度パラメーターを増加させると正規に近づきます。



対数正規分布に従う結果は、 対数が正規分布する値を与えます。 または別の方法：正規分布値の指数は対数正規分布します。 合計が正規分布している場合は、作品が対数正規分布していることも忘れないでください。



スチューデントのt分布は、多くの非統計学者が他の分野で研究するt検定の基礎です。 これは、正規分布の平均に関する仮定に使用され、そのパラメーターが増加すると正規分布になる傾向があります。 t分布の顕著な特徴は、正規分布よりも厚いテールです。



太い逸話で隣人を十分に振ることができなかった場合は、かなり面白いビールバイクに行きます。 100年以上前、 ギネスはスタウトを改善するために統計を使用していました。 その後、 ウィリアム・シーリー・ゴセットは、大麦の栽培を改善するためのまったく新しい統計理論を発明しました。 ゴセットは、他の醸造家が自分のアイデアをどのように使うか理解できないとボスに確信させ、出版の許可を得たが、「学生」という仮名の下で。 ゴセットの最も有名な業績は、まさにこのt分布です。



最後に、カイ二乗分布は、正規分布量の二乗和の分布です。 カイ2乗検定は 、この分布に基づいて構築されます。 カイ2乗検定自体は、正規分布するべき2乗差の合計に基づいています。

ガンマとベータ

この時点で、すでにカイ二乗のことを話しているのであれば、会話は本格的に始まります。 すでに実際の統計学者と話をしているかもしれません。 ガンマ分布のようなものが出てくるかもしれないので、おそらくあなたはすでに見てみるべきです。 これは、指数分布とカイ二乗分布の両方の一般化です。 指数分布のように、複雑な待機時間モデルに使用されます。 たとえば、次のn個のイベントまでの時間がシミュレートされると、ガンマ分布が表示されます。 機械学習では、「 先験的な分布の共役 」として他のいくつかの分布に現れます。



これらの共役分布については話さないでください。ただし、まだ必要な場合は、 ベータ分布について説明することを忘れないでください。 ベータ分布は、ここで説明したほとんどの分布の先験的な共役です。 データサイエンティストは、この目的のために作成されたと確信しています。 これをうっかり挙げてドアに行きます。

知恵の始まり

確率分布は、あまり知ることができないものです。 本当に興味のある人は、すべての確率分布のこの超詳細マップに目を向けることができます。 このコミックガイドが、現代のテクノロジーカルチャーの「主題」に登場する自信を与えてくれることを願っています。 または、少なくとも、オタクの少ないパーティーに行く時期を決定する可能性が高い方法。



Sean Ariesは、ロンドンのClouderaのデータサイエンスディレクターです。 クローダーの前に、彼はMyrrix Ltdを設立しました。 （現在はOryxプロジェクト）Hadoopで大規模なリアルタイムレコメンダーシステムを商用化するため。 また、Apache Sparkの寄稿者であり、O'Reilly MediaのAdvanced Analytics with Sparkの共著者でもあります。