大家好，又见面了，我是全栈君，今天给大家准备了Idea注册码。
PCA最小平方误差理论推导
PCA求解其实是寻找最佳投影方向，即多个方向的标准正交基构成一个超平面。
理论思想：在高维空间中，我们实际上是要找到一个d维超平面，使得数据点到这个超平面的距离平方和最小
假设\(x_k\)表示p维空间的k个点，\(z_k\)表示\(x_k\)在超平面D上的投影向量，\(W = {w_1,w_2,…,w_d}\)为D维空间的标准正交基，即PCA最小平方误差理论转换为如下优化问题$$z_k = \sum_{i=1}^d (w_i^T x_k)w_i—(1)$$
注：\(w_i^Tx_k\)为x_k在w_i基向量的投影长度，\(w_i^Tx_kw_i\)为w_i基向量的坐标值
求解：
\(L = (x_k – z_k)^T(x_k-z_k)\)
\(L= x_k^Tx_k – x_k^Tz_k – z_k^Tx_k + z_k^Tz_k\)
由于向量内积性质\(x_k^Tz_k = z_k^Tx_k\)
\(L = x_k^Tx_k – 2x_k^Tz_k + z_k^Tz_k\)
将(1)带入得$$x_k^Tz_k = \sum_{i=1}dw_iTx_kx_k^Tw_i$$
根据约束条件s.t.得$$z_k^Tz_k = \sum_{i=1}dw_iTx_k^Tx_kw_i$$
根据奇异值分解$$\sum_{i=1}dw_iTx_kx_k^Tw_i = tr(WTx_kTx_kW)$$
等价于带约束得优化问题：$$argmaxtr(WTXXTW)$$
最佳超平面W与最大方差法求解的最佳投影方向一致，即协方差矩阵的最大特征值所对应的特征向量，差别仅是协方差矩阵\(\xi\)的一个倍数
定理
注：X为(n,p),Z为(n,q),q < p,w为(p,q)
该定理表达的意思也就是平方差理论，将降维后的矩阵通过W^T投影回去，再与X计算最小平方差，值越小说明信息损失越少
\(\phi\)目标函数最小时，W为X的前q个特征向量矩阵且\(Z=W^TX\)
以上优化可以通过拉格朗日对偶问题求得，最终也会得到$$argmaxtr(WTXXTW)$$
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/120024.html原文链接：https://javaforall.net
