データベースサイエンティスト

確率分布

確率分布には様々な種類の確率分布があります。
離散型分布または連続型分布の確率分布について記載します。

離散一様分布

離散一様分布とは、離散型分布の1つで一様になる分布です。
Kまで確率変数があり、等確率になっています。
コイン投げであればK=2で、サイコロであればK=6です。
kはaからbまでの整数の取りうる値でk=b-a+1と計算できます。

離散一様分布の定義

\[ X～U(a,b) \]

確率関数(f(x))

\[ f(X)=\frac{1}{K} \]

期待値(E[X])

\[ E[X]=\frac{K+1}{2} \]

分散(V[X])

\[ V[X]=\frac{K^2-1}{12} \]

ベルヌーイ分布

ベルヌーイ分布とは、離散型分布の1つで試行したときの分布です。
一定の成功確率をpとして、成功したか失敗したかに従います。
成功確率をpですので、失敗した場合の確率は1-pとして定義できます。

ベルヌーイ分布の定義

\[ X～Be(p) \]

確率関数(f(x))

\[ f(X)=p,1-p \]

期待値(E[X])

\[ E[X]=p \]

分散(V[X])

\[ V[X]=p(1-p) \]

ベルヌーイ分布をサイコロで考えますとサイコロを振って「6」の目がでるかを考えたときに「6」の目がでたら成功で「6」の目以外が失敗になります。
そのため、成功する期待値はp=1/6で、失敗は1-pであることから5/6となります。
分散は1/6×5/6となり、5/36となります。

二項分布

二項分布とは、離散型分布の1つでベルヌーイ分布を多試行にした分布です。
ベルヌーイ試行を何回行ったかの回数を「n」とします。
ベルヌーイ試行と同じく、成功確率をpで失敗した場合の確率は1-pです。

二項分布の定義

\[ X～B(n,p) \]

確率関数(f(x))

\[ f(X)={_n}C_xp^x(1-p)^{n-x} \]

期待値(E[X])

\[ E[X]=np \]

分散(V[X])

\[ V[X]=np(1-p) \]

二項分布をサイコロで考えたときにサイコロを5回振って「6」の目が2回でるときの確率を考えます。期待値は、np=5×1/6=5/6で分散は、5/6(1-1/6)=25/36です。

マルチヌーイ分布(多項分布)

マルチヌーイ分布とは、離散型分布の1つで試行したときに複数発生する分布です。
多項分布ともいい、ベルヌーイ試行を複数回実施して各カテゴリが成功する回数の確率です。
カテゴリを「k」とします

マルチヌーイの定義

\[ X～Mn(n;p_1,p_2\cdots{p_k}) \]

確率関数(f(x))

\[ f(X_1, X_2, \ldots, X_K)= \frac{n!}{x_{1}! x_{2}! … x_{k}!} p_{1}^{x_{1}} p_{2}^{x_{2}} … p_{k}^{x_{k}} ~~ (x_{i} \geq 0, ~~ x_{1} + … + x_{k} = n) \]

期待値(E[X])

\[ E[X_i]=np_i \]

分散(V[X])

\[ V[X_i]=np_i(1-p_i) \]

幾何分布

幾何分布とは、離散型分布の1つでベルヌーイ分布を繰り返して最初に成功するまでに失敗した回数に従った分布です。
ベルヌーイの試行回数を「n」とします。

幾何分布の定義

\[ X～Geo(n,p) \]

確率関数(f(x))

\[ f(X)=p(1-p)^{n-1} \]

期待値(E[X])

\[ E[X]=\frac{1-p}{p} \]

分散(V[X])

\[ V[X]=\frac{1-p}{p^2} \]

幾何分布をサイコロで考えたときにサイコロを振って「6」の目がでるまでの確率を考えます。
3回目で初めて「6」がでた場合、期待値は、p(1-p)^n-1=1/6×5/6^3-1=625/1296です。

超幾何分布

超幾何分布とは、離散型分布の1つで複数の集合から取り出したデータが成功した回数に従った分布です。
総数を「N」として成功回数を「K」として取り出したデータの個数を「n」とします。

幾何分布の定義

\[ X～HGeo(N,K,n) \]

確率関数(f(x))

\[ f(X)=\frac{{K \choose k}{{N-K} \choose {n-k}}}{{N \choose n}} \]

期待値(E[X])

\[ E[X]=n\frac{K}{N} \]

分散(V[X])

\[ V[X]= \frac{N - n}{N - 1} n \frac{K}{N} \left(1 - \frac{K}{N}\right) \]

ポアソン分布

ポアソン分布とは、離散型分布の1つで滅多に発生しない事象についての分布です。
二項分布のn(ベルヌーイ試行を何回行った回数)を大きくして確率を小さくします。
具体的な回数を「k」として時間を「λ」とします。

ポアソン分布の定義

\[ X～Po(λ) \]

確率関数(f(x))

\[ f(X)=\frac{e^{-λ}λ^{k}}{k!} \]

期待値(E[X])

\[ E[X]=λ \]

分散(V[X])

\[ V[X]=λ \]

負の二項分布

負の二項分布とは、離散型分布の1つで試行回数を決めていない二項分布に従った分布です。
具体的な試行回数を「k」として成功の回数を「r」とします。

負の二項分布の定義

\[ X～NB(r,p) \]

確率関数(f(x))

\[ f(X)=\binom{k+r-1}{r-1}(1-p)^{k}{p^r} \]

期待値(E[X])

\[ E[X]=\frac{r}{p} \]

分散(V[X])

\[ V[X]=\frac{r(1-p)}{p^2} \]

連続一様分布

連続一様分布とは、連続型分布の1つで確率変数Xがどんな値でも一定の値をとる分布です。
分布の範囲を「a」と「b」とします。

連続一様分布の定義

\[ X～Unif(a,b) \]

確率関数(f(x))

\[ f(x; a, b) = \frac{1}{b - a} \]

期待値(E[X])

\[ E(X) = \frac{a + b}{2} \]

分散(V[X])

\[ V[X]=\frac{(b - a)^2}{12} \]

ガウス分布(正規分布)

ガウス分布とは、連続型分布の1つで釣り鐘型の分布でサンプルが多ければ正規分布に近似する分布です。
異なる独立な確率変数の標本を合計すると、その合計が同じになって元の確率変数の分布も同じになる性質のことを再生性といいます。

ガウス分布の定義

\[ X～N(\mu,\sigma^2) \]

確率関数(f(x))

\[ f(x; \mu, \sigma) = \frac{1}{\sigma \sqrt{2\pi}} \cdot e^{-\frac{(x - \mu)^2}{2\sigma^2}} \]

期待値(E[X])

\[ E[X]=\mu \]

分散(V[X])

\[ V[X]=\sigma^2 \]

指数分布

指数分布とは、連続型分布の1つで事象が発生するまでの期間に従う分布です。尺度パラメータを「λ」とします。

指数分布の定義

\[ X～Exp(λ) \]

確率関数(f(x))

\[ f(X)=λe^{-λx} \]

期待値(E[X])

\[ E[X]=\frac{1}{λ} \]

分散(V[X])

\[ V[X]=\frac{1}{λ^{2}} \]

ガンマ分布

ガンマ分布とは、連続型分布の1つで指数分布を一般化した分布です。
形状パラメータを「α」として尺度パラメータを「β」とします。

ガンマ分布の定義

\[ X～Gam(α,β) \]

確率関数(f(x))

\[ f(x; \alpha, \beta) = \frac{\beta^\alpha x^{\alpha - 1} e^{-\beta x}}{\Gamma(\alpha)} \]

期待値(E[X])

\[ E[X]=\frac{\alpha}{\beta} \]

分散(V[X])

\[ V[X]=\frac{\alpha}{\beta^2} \]

ベータ分布

ベータ分布とは、連続型分布の1つで結果が断定している場合の成功率の分布です。
成功した試行を「α」として失敗した試行を「β」とします。

ベータ分布の定義

\[ X～Beta(α,β) \]

確率関数(f(x))

\[ f(x; \alpha, \beta) = \frac{x^{\alpha-1} (1-x)^{\beta-1}}{B(\alpha, \beta)} \]

期待値(E[X])

\[ E[X]=\frac{\alpha}{\alpha + \beta} \]

分散(V[X])

\[ V[X]=\frac{\alpha \beta}{(\alpha + \beta)^2 (\alpha + \beta + 1)} \]

コーシー分布

コーシー分布とは、連続型分布の1つで期待値が定義できず袖が重い分布です。
位置パラメータを「x₀」として、尺度パラメータを「γ」とします。
袖が重い分布のため、平均や分散が無限大となって期待値や分散が存在しません。

コーシー分布の定義

\[ X～C(x_0,γ) \]

確率関数(f(x))

\[ f(x; x_0, \gamma) = \frac{1}{\pi \gamma \left[1 + \left(\frac{x - x_0}{\gamma}\right)^2\right]} \]

対数正規分布

対数正規分布とは、連続型分布の1つで対数が正規分布に従う分布です。

コーシー分布の定義

\[ X～LN(μ,σ) \]

確率関数(f(x))

\[ f(x; \mu, \sigma) = \frac{1}{x\sigma\sqrt{2\pi}} e^{-\frac{(\ln(x) - \mu)^2}{2\sigma^2}} \]

期待値(E[X])

\[ E[X]=e^{\mu + \frac{\sigma^2}{2}} \]

分散(V[X])

\[ V[X]=(e^{\sigma^2} - 1) \cdot e^{2\mu + \sigma^2} \]

多変量正規分布

多変量正規分布とは、連続型分布の1つで多種類の変数などを使用して正規分布に従う分布です。
平均ベクトルを「μ」として、共分散行列を「Σ」とします。

多変量正規分布の定義

\[ X～MVN(\boldsymbol{\mu},\boldsymbol{\Sigma}) \]

確率関数(f(x))

\[ f(\mathbf{x}; \boldsymbol{\mu}, \boldsymbol{\Sigma}) = \frac{1}{(2\pi)^{k/2}|\boldsymbol{\Sigma}|^{1/2}} \exp\left(-\frac{1}{2} (\mathbf{x} - \boldsymbol{\mu})^T \boldsymbol{\Sigma}^{-1} (\mathbf{x} - \boldsymbol{\mu})\right) \]

期待値(E[X])

\[ E[X]=\boldsymbol{\mu} \]

分散(V[X])

\[ V[X]=\boldsymbol{\Sigma} \]

標本分布

標本分布は、標本統計量と付表を利用して計算できます。

標準正規分布

標準正規分布とは、正規分布を標準化した分布です。

の定義

\[ X～N(0,1) \]

標本統計量

\[ Z=\frac{(X-μ)}{σ} \]

パラメータ

\[ μ=0,σ=1 \]

期待値

\[ E[Z]=0 \]

分散

\[ V=1 \]

t分布

t分布とは、標本分布の1つで自由度を大きくすると正規分布に従う分布です。
自由度を自然数として自由度によって形状が異なります。
自然数を大きくすることで標準正規分布に近似できます。
自由度を「m」とします。

t分布の定義

\[ X～t(m) \]

標本統計量

\[ t=\frac{Z}{\sqrt{\frac{W}{m}}} \]

パラメータ

\[ 自由度m \]

期待値

\[ E[t]=0 (m\gt1) \]

分散

\[ V[t]=\frac{m}{(m-2)} \]

カイ二乗分布

カイ二乗分布とは、標本分布の1つで二乗和が従う分布です。
自由度によって形状が異なります。
自由度を「n」とします。

カイ二乗分布の定義

\[ X～χ^2(n) \]

標本統計量

\[ W = \sum_{i=1}^{n}Z_i^2 \]

パラメータ

\[ 自由度n \]

期待値

\[ E[W]=n \]

分散

\[ V[W]=2n \]

F分布

F分布とは、標本分布の1つで自由度によって形状が異なる分布です。
F分布は二つの独立したカイ二乗分布の比を定義します。
分子の自由度をm₁として、分母の自由度をm₂とします。

F分布の定義

\[ X～F(m_1,m_2) \]

標本統計量

\[ F=\frac{\frac{W_1}{m_1}}{\frac{W_2}{m_2}} \]

パラメータ

\[ 自由度m_1,m_2 \]

← 確率と確率変数

推定 →