特異値分解と主成分分析の練習問題

考え方

どんな行列も「回転・伸び縮み・回転」に分解する特異値分解（SVD）の意味と、データのばらつきを少ない軸にまとめる主成分分析（PCA）の考え方が分かるようになります。画像の圧縮、アンケートの総合指標、レコメンドで使われます。

特異値 $\sigma$

行列 $A$ が、ある方向のベクトルを何倍に伸ばすか。$A^{\mathsf{T}}A$ の固有値の正の平方根。

特異値分解

$A = U\Sigma V^{\mathsf{T}}$（$U$, $V$ は直交行列、$\Sigma$ は特異値を対角に並べた行列）。

主成分

データのばらつきがいちばん大きい方向（第1主成分）と、それに直交する方向（第2主成分…）。

寄与率

その主成分の分散が、全体の分散のうちどれだけを占めるか。

行列 $A$ で単位円（長さ 1 のベクトルの先）を変換すると、楕円になります。その楕円の長いほうの半径が最大の特異値 $\sigma_1$、短いほうが $\sigma_2$ です。特異値分解 $A = U\Sigma V^{\mathsf{T}}$ は、この変換を「回転 → 軸ごとの伸び縮み → 回転」に分けて書いたものです。

特異値は、$A^{\mathsf{T}}A$ の固有値の正の平方根として求めます。$A^{\mathsf{T}}A$ は対称行列なので、固有値は 0 以上の実数です。小さい特異値を 0 にして近似すると、情報を大きく失わずにデータを小さくできます（画像の圧縮）。

主成分分析では、データの分散共分散行列 $S$ の固有ベクトルが主成分の方向、固有値がその方向の分散です。いちばん大きい固有値の方向が第1主成分で、データを1つの軸にまとめるなら、この方向に射影します。

寄与率は（その主成分の分散）÷（分散の合計）です。分散の合計は固有値の和で、$S$ の対角成分の和（各変数の分散の合計）と等しくなります。寄与率が大きいほど、軸を減らしても元のばらつきをよく保てます。

ポイント

特異値: $\sigma_i = \sqrt{\lambda_i}$（$\lambda_i$ は $A^{\mathsf{T}}A$ の固有値）

特異値分解: $A = U\Sigma V^{\mathsf{T}}$

第1主成分の寄与率 $= \dfrac{\lambda_1}{\lambda_1 + \lambda_2 + \cdots}$（分母は $S$ の対角成分の和に等しい）

解き方の手順

1. 特異値: $A^{\mathsf{T}}A$ を計算する（$A$ の列どうしの内積を並べた対称行列）。
2. $\det(A^{\mathsf{T}}A - \lambda E) = 0$ を解いて固有値を求め、正の平方根をとって大きい順に $(\sigma_1, \sigma_2)$ とする。
3. 寄与率: 分散共分散行列 $S$ の固有値を、固有方程式で求める。
4. 大きいほうの固有値を、固有値の和（対角成分の和）で割る。