GLM の基礎

GLM タブで使われている統計理論の背景です。操作方法は GLM のページを参照してください。

モデルの定式化

GLM は正規線形モデルを指数型分布族に一般化した枠組みで、Nelder & Wedderburn (1972) が提唱しました。3つの要素で定義されます:

分布ファミリー: 応答変数 $Y$ の分布が指数型分布族に属する
線形予測子: $\eta = X\beta$ （説明変数の線形結合）
リンク関数: 単調関数 $g$ により $\eta = g(\mu)$ として線形予測子と平均 $\mu = E[Y]$ を結びつける

OLS は GLM の特殊ケース（Gaussian ファミリー + Identity リンク）です。この場合 IRLS は1回の反復で正規方程式の解に一致し、Wald 検定は OLS の $t$ 検定と等価になります。

指数型分布族

確率密度（質量）関数が次の形で書ける分布族を指数型分布族と呼びます:

f(y \mid \theta, \phi) = \exp\!\left\{\frac{y\theta - b(\theta)}{a(\phi)} + c(y, \phi)\right\}

$\theta$ は自然パラメータ（canonical parameter）、 $\phi$ は分散パラメータ、 $b(\theta)$ は対数分配関数です。平均と分散は $b(\theta)$ から導かれます:

$E[Y] = b'(\theta) = \mu$
$\operatorname{Var}(Y) = b''(\theta) \cdot a(\phi)$

$b''(\theta)$ を $\theta$ ではなく $\mu$ の関数として書き直したものが分散関数 $V(\mu)$ です。つまり $\operatorname{Var}(Y) = V(\mu) \cdot a(\phi)$ が成り立ちます。たとえば Poisson では $b(\theta) = e^\theta$ なので $b'(\theta) = e^\theta = \mu$ 、 $b''(\theta) = e^\theta = \mu$ となり、 $V(\mu) = \mu$ が得られます。

各分布ファミリーのパラメータ:

ファミリー	$\theta$ （自然パラメータ）	$a(\phi)$	$b(\theta)$	$c(y, \phi)$
Gaussian	$\mu$	$\phi$	$\theta^2/2$	$-\bigl(y^2/(2\phi) + \log(2\pi\phi)/2\bigr)$
Binomial	$\log\!\bigl(\mu/(1-\mu)\bigr)$	$1/n$	$\log(1+e^\theta)$	$\log\binom{n}{k}$
Poisson	$\log\mu$	$1$	$e^\theta$	$-\log(y!)$
Gamma	$-1/\mu$	$\phi$	$-\log(-\theta)$	$(1/\phi - 1)\log y + (1/\phi)\log(1/\phi) - \log\Gamma(1/\phi)$
Negative Binomial	$\log\!\bigl(\mu/(\mu+r)\bigr)$	$1$	$-r\log(1-e^\theta)$	$\log\Gamma(y+r) - \log\Gamma(r) - \log(y!)$

Binomial の $y$ は成功割合 $y = k/n$ , $0 \le y \le 1$ です。 $k$ は成功回数、 $n$ は試行回数、 $\mu$ は成功確率です。 $n=1$ のとき Bernoulli 分布に帰着します
Negative Binomial の $r$ は MIDAS UI では $\theta$ （形状パラメータ）と表記されています。 $r$ が既知の場合のみ指数型分布族に属します。MIDAS の自動推定モードでは外側ループで $r$ を推定しています
表中の $\theta$ は指数型分布族の自然パラメータであり、MIDAS UI の Negative Binomial の形状パラメータ $\theta$ とは別の記号です

リンク関数

リンク関数は線形予測子 $\eta$ と応答変数の期待値 $\mu$ を結びつける単調関数 $\eta = g(\mu)$ です。 $g(\mu) = \theta$ （自然パラメータ）とするリンクを正準リンク（canonical link）と呼びます。

リンク関数	数式	正準リンクとなるファミリー
Identity	$\eta = \mu$	Gaussian
Logit	$\eta = \log\!\bigl(\mu / (1 - \mu)\bigr)$	Binomial
Log	$\eta = \log(\mu)$	Poisson, Negative Binomial
Inverse	$\eta = 1/\mu$	Gamma
Probit	$\eta = \Phi^{-1}(\mu)$	—

正準リンクには重要な性質があります。 $\eta = \theta$ となるため $X'y$ が $\beta$ の十分統計量になり、対数尤度が $\beta$ について凹になります。計画行列 $X$ がフルランクであれば最尤推定量が一意に定まり、IRLS の収束も安定します。

非正準リンクではこれらの性質が保証されません。それでも係数の解釈しやすさから選ばれることがあります。たとえば Gamma ファミリーの正準リンクは Inverse（ $\eta = 1/\mu$ ）ですが、係数が $1/\mu$ スケールになるため解釈が難しく、実務では $\exp(\beta)$ を乗法的効果として解釈できる Log リンクがよく使われます。

パラメータ推定（IRLS）

GLM のパラメータ $\beta$ は最尤法で推定します。解析的に解けないため、IRLS（Iteratively Reweighted Least Squares）で数値的に求めます。

各反復で作業用重み $W$ と調整従属変数 $z$ を計算し、加重最小二乗:

\hat\beta^{(t+1)} = (X'W^{(t)}X)^{-1}X'W^{(t)}z^{(t)}

を解いて $\beta$ を更新します。 $W$ と $z$ の導出は McCullagh & Nelder (1989, Ch. 2) を参照してください。係数の変化量が収束閾値を下回ると終了です。

正準リンクを使う場合、対数尤度の凹性からこの反復は安定して収束します。非正準リンクでは収束が不安定になることがあるため、反復回数の増加や収束失敗に注意してください。

分散関数と過分散

指数型分布族で述べたとおり、分散関数 $V(\mu) = b''(\theta)$ は対数分配関数の二階微分を $\mu$ で書き直したものです。 $\operatorname{Var}(Y) = V(\mu) \cdot a(\phi)$ の関係を通じて、各ファミリーの平均と分散の関係を規定します。

ファミリー	$b''(\theta)$	$V(\mu)$	$a(\phi)$	$\operatorname{Var}(Y)$
Gaussian	$1$	$1$	$\phi$	$\phi$ （= $\sigma^2$ ）
Binomial	$\dfrac{e^\theta}{(1+e^\theta)^2}$	$\mu(1 - \mu)$	$1/n$	$\mu(1-\mu)/n$
Poisson	$e^\theta$	$\mu$	$1$	$\mu$
Gamma	$1/\theta^2$	$\mu^2$	$\phi$	$\mu^2 \phi$
Negative Binomial	$\dfrac{re^\theta}{(1-e^\theta)^2}$	$\mu + \mu^2/r$	$1$	$\mu + \mu^2/r$

Poisson と Binomial では分散パラメータ $\phi = 1$ と仮定します。実データの分散がこの仮定より大きい場合を過分散（overdispersion）と呼びます。過分散があると標準誤差が過小推定され、信頼区間が狭くなりすぎます。

Poisson で過分散が検出された場合、Negative Binomial に切り替えることで分散に $\mu^2/r$ の項が加わり、過分散を明示的にモデル化できます。

Binomial で過分散が検出された場合、MIDAS には現在 quasi-binomial や Beta-Binomial などの対処法がありません。過分散が疑われる場合は、分散パラメータの推定値を確認し、標準誤差や信頼区間が過小推定されている可能性を考慮してください。

参考文献

Nelder, J. A., & Wedderburn, R. W. M. (1972). Generalized linear models. Journal of the Royal Statistical Society: Series A, 135(3), 370-384.
McCullagh, P., & Nelder, J. A. (1989). Generalized Linear Models (2nd ed.). Chapman and Hall/CRC.