確率分布の基礎

確率分布は、どの値がどのくらい現れやすいかを表したものです。このページは、7 つの確率分布について、パラメータの意味、値の範囲、分布の形、平均と分散を説明します。

取り上げる分布は Synthetic Data Generator タブ で選べる 7 つで、パラメータの名前は同タブの入力欄の名前と対応させています。応答変数の分布として GLM の分布族を選ぶ観点は GLM の基礎 を参照してください。

正規分布（Normal）

正規分布は、Mean（平均 $\mu$）を中心に左右対称な釣鐘型の分布です。SD（標準偏差 $\sigma > 0$）が散らばりの大きさを決め、値の約 95% は $\mu \pm 2\sigma$ の範囲に収まります。値は実数全体を取ります。

密度関数は次の式です。

$$f(x) = \frac{1}{\sigma\sqrt{2\pi}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right)$$

平均は $\mu$、分散は $\sigma^2$ です。

測定誤差や残差のように、多数の小さな要因の和で決まる量を表すときに使います。

一様分布（Uniform）

一様分布は、Min（下限 $a$）から Max（上限 $b$、$a < b$）までの区間のどの値も同じ密度で現れる分布です。値は $a$ から $b$ までの実数を取り、区間の外の値は現れません。

密度関数は次の式です。

$$f(x) = \frac{1}{b - a} \quad (a \le x \le b)$$

平均は $(a + b)/2$、分散は $(b - a)^2/12$ です。

範囲だけが分かっていて、範囲内に偏りを仮定しない量を表すときに使います。

ベルヌーイ分布（Bernoulli）

ベルヌーイ分布は、P（成功確率 $p$、$0 \le p \le 1$）の確率で 1 が、$1 - p$ の確率で 0 が現れる分布です。値は 0 と 1 の 2 つだけを取ります。

確率質量関数は次の式です。

$$P(X = 1) = p, \quad P(X = 0) = 1 - p$$

平均は $p$、分散は $p(1-p)$ です。

合格と不合格、発生と非発生のような二値の結果を表すときに使います。

カテゴリカル分布（Categorical）

カテゴリカル分布は、Levels に並べた水準の中から 1 つを選ぶ分布です。Weights（重み $w_i \ge 0$）が各水準の選ばれやすさを決めます。値は水準の名前を取ります。

確率質量関数は次の式です。$c_i$ は $i$ 番目の水準です。

$$P(X = c_i) = \frac{w_i}{\sum_j w_j}$$

MIDAS は重みを比率として扱うため、合計を 1 にする必要はありません。重みを与えないと、MIDAS はすべての水準を同じ確率で選びます。

値は数値ではないため、平均と分散はありません。

群・カテゴリ・処置条件のような名義尺度の変数を表すときに使います。名義尺度は データ型と測定尺度 を参照してください。

ポアソン分布（Poisson）

ポアソン分布は、一定の平均発生率のもとで起きた出来事の回数を表す分布です。Lambda（平均発生回数 $\lambda > 0$）が発生のしやすさを決めます。値は 0 以上の整数を取ります。

確率質量関数は次の式です。

$$P(X = x) = \frac{\lambda^x e^{-\lambda}}{x!} \quad (x = 0, 1, 2, \ldots)$$

平均も分散も $\lambda$ です。平均と分散が等しいことはポアソン分布の強い仮定で、データの分散がこの仮定より大きい状態を過分散と呼びます。詳しくは GLM の基礎: 分散関数と過分散 を参照してください。

来店回数や故障件数のような回数データを表すときに使います。

ガンマ分布（Gamma）

ガンマ分布は、右に長い裾を持つ分布です。Shape（形状 $k > 0$）が分布の形を決めます。Shape が 1 より小さいと密度は 0 の近くに集中し、Shape が 1 のとき指数分布になり、Shape が大きくなるほど左右対称な形に近づきます。Scale（尺度 $\theta > 0$）は分布を横方向に引き伸ばすパラメータで、形は変えません。値は正の実数を取ります。

密度関数は次の式です。$\Gamma$ はガンマ関数です。

$$f(x) = \frac{x^{k-1} e^{-x/\theta}}{\Gamma(k)\,\theta^k} \quad (x > 0)$$

平均は $k\theta$、分散は $k\theta^2$ です。

待ち時間や金額のような、正で右に長い裾を持つ量を表すときに使います。

ワイブル分布（Weibull）

ワイブル分布は、Shape（形状 $k > 0$）と Scale（尺度 $\theta > 0$）を持つ分布です。Scale は分布を横方向に引き伸ばすパラメータで、形は変えません。値は正の実数を取ります。

Shape はハザードの時間変化を決めます。Shape が 1 より小さいとハザードは時間とともに減少します。Shape が 1 のときハザードは一定で、指数分布と一致します。Shape が 1 より大きいとハザードは増加します。ハザードの定義は 生存分析の基礎 を参照してください。

密度関数は次の式です。

$$f(x) = \frac{k}{\theta}\left(\frac{x}{\theta}\right)^{k-1} \exp\left(-\left(\frac{x}{\theta}\right)^k\right) \quad (x > 0)$$

平均は $\theta\,\Gamma(1 + 1/k)$、分散は $\theta^2\left[\Gamma(1 + 2/k) - \Gamma(1 + 1/k)^2\right]$ です。

寿命や故障までの時間を表すときに使います。

このページの Markdown 版もあります。