回帰分析（最小二乗法）の練習問題

考え方

データに最もよく当てはまる直線（回帰直線）を最小二乗法で求めて予測に使い、決定係数で当てはまりのよさを評価できるようになります。広告費から売上を予測する、価格と需要の関係を調べるなど、データ分析で最もよく使う手法です。

回帰直線 $y = bx + a$

$x$ から $y$ を予測する直線。$b$ が傾き、$a$ が切片。

残差

実際の値 $y_i$ と、直線による予測値との差。

最小二乗法

残差の2乗の和がいちばん小さくなるように、直線を決める方法。

決定係数 $R^2$

$y$ のばらつきのうち、直線で説明できる割合（0〜1）。

散布図の点のあいだに直線を引くとき、点と直線の縦のずれ（残差）を2乗して足した値がいちばん小さくなるように引くのが最小二乗法です。2乗するのは、プラスとマイナスのずれが打ち消し合わないようにするためです。

計算すると、回帰直線は必ず平均の点 $(\bar{x}, \bar{y})$ を通り、傾きは $b = \dfrac{S_{xy}}{S_{xx}}$ になります。$S_{xx}$ は $x$ の偏差の2乗の和、$S_{xy}$ は $x$ の偏差と $y$ の偏差の積の和です。切片は $a = \bar{y} - b\bar{x}$ です。

$x$ が 1 ずつ増える5つの値なら、偏差は $-2, -1, 0, 1, 2$ で $S_{xx} = 10$ です。偏差の和は 0 なので、$S_{xy}$ は $y_i$ から $\bar{y}$ を引かずに $\sum(x_i - \bar{x})y_i$ で計算しても同じになります。

説明変数が複数ある重回帰では、データを行列 $X$ にまとめ、係数を $\hat{\boldsymbol{\beta}} = (X^{\mathsf{T}}X)^{-1}X^{\mathsf{T}}\boldsymbol{y}$ で求めます。決定係数 $R^2$ が 1 に近いほど、モデルでよく説明できています。

ポイント

$S_{xx} = \sum(x_i - \bar{x})^2$、$S_{xy} = \sum(x_i - \bar{x})(y_i - \bar{y})$

傾き $b = \dfrac{S_{xy}}{S_{xx}}$、切片 $a = \bar{y} - b\bar{x}$

決定係数: $R^2 = 1 - \dfrac{\sum(\text{残差})^2}{\sum(y_i - \bar{y})^2}$

重回帰: $\hat{\boldsymbol{\beta}} = (X^{\mathsf{T}}X)^{-1}X^{\mathsf{T}}\boldsymbol{y}$

解き方の手順

1. 平均 $\bar{x}$, $\bar{y}$ を求める。
2. 偏差 $x_i - \bar{x}$ を書き出し、$S_{xx}$ と $S_{xy}$ を計算する。
3. 傾き $b = \dfrac{S_{xy}}{S_{xx}}$ を求める（約分する）。
4. 切片 $a = \bar{y} - b\bar{x}$ を求め、$y = bx + a$ の形で答える。