はじパタ ~部分空間法~


はじめてのパターン認識の読書メモです。

はじパタ 部分空間法

 

概要

学習をする際、データの次元数が小さい方が学習の効率が上がります。
ここでは、その次元数を小さくする方法について書かれています。

用語の確認

固有値問題

線形変換の固有値、及び固有ベクトルを求める問題

偏差

一つ一つの数値と平均値との差のこと。

共分散

2つの変数の偏差の積の平均のこと。

 

主成分分析

学習データの分散が最大になる方向へ線形変換する手法です。
共分散行列の固有値問題を

①共分散行列を求める。
②係数ベクトルを使い、線形変換する。
③ラグンジュ関数を最大にする
④元の式の固有値問題を解く。

$${\sum = Var\{\bar{X}\} = \frac{1}{N}\bar{X}^{\mathrm{T}}\bar{X}\
}$$

 

特異値分解

行列を複数の行列の積に分解する手法と一つとして、QR分解があるが、
特に主成分分析に密接に関係している行列の分解法を特異値分解(SVD)といいます。

$$ X = UΣV^{t} $$
分解すると下記のような形に変換できる。
$${X = (\boldsymbol{u}_1, \boldsymbol{u}_2, \cdots, \boldsymbol{u}_n)
\begin{pmatrix}
\sigma_1 & & & \\
& \sigma_2 & & \\
& & \ddots & \\
& & & \sigma_n
\end{pmatrix}
\begin{pmatrix}
\boldsymbol{v}_1^{\mathrm{T}} \\
\boldsymbol{v}_2^{\mathrm{T}} \\
\vdots \\
\boldsymbol{v}_n^{\mathrm{T}}
\end{pmatrix}
}$$

U と V は、正規直交行列であり、∑ は、対角行列です。
ポイントとしては、対角要素σが大きければ、Xに与える影響も大きくなります。
逆に言うと、σが小さくなればXへの影響も小さくなります。

 

部分空間法

クラスごとに部分空間を構成する正規直交基底を学習データからも求め、
入力データを描くクラスの部分空間に射影して識別する。
相関行列もしくは共分散行列を使った2つの手法が存在します。

 

わからないところ

主成分分析と特異値分解が似ていることは理解したが、どのように関係しているのか理解できていない….

 

参考にした記事

はじパタ9章で飛ばされがちな部分の説明2(特異値分解、CLAFIC法)
はじめてのパターン認識 9章(前半)
PCAとSVDの関連について
主成分分析とカーネル主成分分析の関係を特異値分解の観点で理解する
SVD(特異値分解)解説