OLS の基礎

Linear Regression タブで使われている統計理論の背景です。操作方法は Linear Regression のページを参照してください。

モデルの定式化

線形回帰モデルは次のように定式化されます:

Y = X\beta + \varepsilon

$Y$ は $n \times 1$ の応答変数ベクトル、 $X$ は切片列と各説明変数列を並べた $n \times p$ の行列（計画行列、design matrix）、 $\beta$ は $p \times 1$ の回帰係数ベクトル、 $\varepsilon$ は誤差項です。

OLS 推定量は残差平方和 $\|Y - X\beta\|^2$ を最小化する解で、正規方程式から得られます:

\hat\beta = (X'X)^{-1}X'Y

$X'$ は $X$ の転置行列を表します。 $X$ が列フルランクであるとき $(X'X)$ は正則になり、この解が一意に定まります。説明変数が完全に線形従属で列フルランクにならない場合の MIDAS の挙動は Linear Regression を参照してください。

OLS は Gaussian 分布族と Identity リンクを使う GLM の特殊ケースです。

誤差への仮定と結果の信頼性

$\hat\beta$ とその信頼区間をどこまで信頼できるかは、誤差項 $\varepsilon$ への仮定に依存します。係数の推定値と信頼区間とでは前提とする仮定が異なるため、分けて説明します。

係数の推定値

係数の推定値の信頼性を左右する中心的な仮定は、外生性（exogeneity）です。外生性とは、説明変数の値を条件付けたときの誤差の期待値がゼロであること、すなわち $E[\varepsilon \mid X] = 0$ を指します。この仮定のもとで $\hat\beta$ は不偏となり、サンプルサイズによらず $E[\hat\beta] = \beta$ が成り立ちます。

外生性が鍵になる理由は、正規方程式の解に $Y = X\beta + \varepsilon$ を代入すると見えます:

\hat\beta = (X'X)^{-1}X'(X\beta + \varepsilon) = \beta + (X'X)^{-1}X'\varepsilon

推定量は真値 $\beta$ と、誤差に由来する第 2 項に分かれます。外生性のもとでは $E[(X'X)^{-1}X'\varepsilon \mid X] = (X'X)^{-1}X'\,E[\varepsilon \mid X] = 0$ となり、第 2 項が期待値の意味で消えます。この小節の以降の議論はすべて、この第 2 項がいつ消え、いつ残るかの話です。

一致性、つまり $n \to \infty$ で $\hat\beta$ が $\beta$ に確率収束する性質は、外生性より弱い条件で成り立ちます。 $\operatorname{plim}(X'\varepsilon/n) = 0$ （ $\operatorname{plim}$ は確率極限を表します）かつ $\operatorname{plim}(X'X/n)$ が正則であれば十分です。前者は説明変数と誤差が漸近的に無相関であることを要求します。外生性は $X$ の任意の関数と誤差の無相関を含意するため、通常の標本抽出の仮定のもとではこれより強い仮定です。

逆に、説明変数と誤差が相関している状態を内生性（endogeneity）と呼びます。内生性のもとでは分解式の第 2 項が消えず、不偏性と一致性が同時に失われます。偏りは第 2 項の確率極限として残るため、サンプルサイズを増やしても解消しません。内生性が生じる典型的な経路は 3 つあります。

関連変数の欠落: 応答に影響し、かつモデルに含めた説明変数とも相関する変数が欠けていると、その変数の影響が誤差項に吸収され、誤差が説明変数と相関します。水難事故の件数をアイスクリームの売上で回帰すると、気温を入れない限りアイスクリームの係数に気温の効果が乗る、というのが典型例です。偏りの向きと大きさは、欠落した変数が応答に与える影響と、欠落した変数と説明変数の相関で決まります。
説明変数の測定誤差: 説明変数が真の量に測定ノイズを加えた形で観測されると、ノイズの分が誤差項に回り込み、観測された説明変数と誤差が相関します。ノイズが真の量と無関係な古典的測定誤差の設定では、説明変数が 1 つのとき係数は 0 へ向かって縮む方向に偏ります（attenuation bias）。説明変数が複数の場合、偏りの向きは一般に単純ではありません。
逆因果・同時性: 応答が説明変数へ影響を返す場合です。価格と数量のように双方向で決まる変数の組では、説明変数の値が誤差を含んで定まるため、説明変数と誤差に相関が生じます。

内生性は残差プロットには現れません。正規方程式は、残差ベクトル $e = Y - X\hat\beta$ が各説明変数と直交する（ $X'e = 0$ ）ように $\hat\beta$ を定めます。母集団で誤差と説明変数が相関していても、標本内の残差からはその痕跡が機械的に消えるためです。したがって内生性の有無は診断統計量からは判断できず、データの成り立ちに立ち返って判断する必要があります。確認すべきは、応答に影響する変数で測定されていないものはないか、説明変数は意図した量を測れているか、応答から説明変数への逆向きの影響はないか、の 3 点です。

標準誤差と信頼区間

標準誤差は $\operatorname{Var}(\hat\beta \mid X) = \sigma^2 (X'X)^{-1}$ に基づいて計算され、この式は $\operatorname{Var}(\varepsilon \mid X) = \sigma^2 I$ （等分散・無相関）を前提とします。この前提が破れても $\hat\beta$ の不偏性は失われませんが、標準誤差の推定が偏り、信頼区間の幅も実際の不確かさを反映しなくなります。等分散性は Scale-Location プロットで確認できます。

等分散・無相関のもとでは、Gauss-Markov の定理により $\hat\beta$ は線形不偏推定量の中で分散が最小になります。この性質を持つ推定量を BLUE（Best Linear Unbiased Estimator）と呼びます。

信頼区間の被覆確率は誤差の分布にも依存します。誤差が正規分布 $\varepsilon \sim N(0, \sigma^2 I)$ に従うなら、 $t$ 分布に基づく信頼区間 $\hat\beta \pm t_{\alpha/2,\, n-p} \times \operatorname{SE}(\hat\beta)$ は有限標本で正確な被覆確率を持ちます。誤差が正規でなくても、等分散で有限分散を持てば、大標本では中心極限定理により $\hat\beta$ の標本分布が正規分布に近づき、被覆確率は名目水準に近づきます。必要なサンプルサイズは誤差の真の分布に依存するため、一律の基準はありません。残差の Q-Q プロットで強い歪みや裾の重さが見られる場合は、この漸近近似の信頼性が低下します。

標準化残差と診断統計量

OLS の残差診断では internally studentized residual（この文書では「標準化残差」と呼びます） $r_i^*$ を使います:

r_i^* = \frac{e_i}{\hat\sigma\sqrt{1 - h_i}}

$e_i = y_i - \hat y_i$ は残差、 $\hat\sigma = \sqrt{\text{RSS}/(n - p)}$ は全観測値から推定した誤差の標準偏差です。 $p$ は切片を含む計画行列 $X$ の列数です。残差の分散は $\operatorname{Var}(e_i) = \sigma^2(1 - h_i)$ であるため、 $\hat\sigma\sqrt{1 - h_i}$ で割ることで分散を均一化しています。

$h_i = \operatorname{diag}(H)_i$ は Hat 行列 $H = X(X'X)^{-1}X'$ の対角要素で、てこ比（leverage）と呼ばれます。 $H$ は対称な冪等行列（直交射影行列）であるため $0 \le h_i \le 1$ です。切片を含むモデルでは $h_i \ge 1/n$ が成り立ちます。てこ比は説明変数空間で観測値が他の観測値からどれだけ離れているかを表す指標です。 $\operatorname{tr}(H) = p$ であることから平均てこ比は $p/n$ となり、その2倍 $2p/n$ が高レバレッジの慣用的な閾値として使われます。

Cook's Distance は残差の大きさとてこ比を1つの指標にまとめたもので、ある観測値を除外したときに推定結果全体がどれだけ変わるかを測ります（Cook, 1977）:

D_i = \frac{r_i^{*2}}{p} \cdot \frac{h_i}{1 - h_i}

判定基準と可視化については Linear Regression を参照してください。

多重共線性と VIF

説明変数間の相関が高いと $(X'X)$ が特異行列に近づき、係数の推定が不安定になります。

VIF（Variance Inflation Factor）= $1 / (1 - R_j^2)$ は、 $X_j$ を他の説明変数で回帰したときの決定係数 $R_j^2$ から計算されます。 $R_j^2$ が高いほど $X_j$ の変動の大部分が他の変数で説明でき、 $X_j$ 固有の情報が少ないことを意味します。VIF は情報の少なさが $\hat\beta_j$ の分散を何倍に膨張させているかを示します。たとえば VIF = 5 なら、 $X_j$ が他の変数と無相関だった場合に比べて標準誤差が $\sqrt{5} \approx 2.2$ 倍に広がっています。 $\hat\beta_j$ 自体は不偏ですが、分散の膨張により信頼区間が広がります。慣用的に VIF > 10 を多重共線性の深刻な兆候とする文献が多いですが（Marquardt, 1970）、一律の閾値ではなく推定精度の要求に依存します。対処（冗長な変数の除外・統合）は Linear Regression を参照してください。

参考文献

Cook, R. D. (1977). Detection of influential observation in linear regression. Technometrics, 19(1), 15-18. https://www.jstor.org/stable/1268249
Marquardt, D. W. (1970). Generalized inverses, ridge regression, biased linear estimation, and nonlinear estimation. Technometrics, 12(3), 591-612. https://www.jstor.org/stable/1267205