Fisher判别分析

首先我们得搞清楚什么是Fisher算法？选取任何一本模式识别与智能计算的书都有这方面的讲解。首先得知道Fisher线性判别函数，在处理数据的时候，我们经常遇到高维数据，这个时候往往就会遇到“维数灾难”的问题，即在低维空间可行，那么在高维空间往往却不可行，那么此时我们就可以降数据降维，将高维空间降到低维空间。

可以考虑把维空间的样本投影到一条直线上，形成一维空间，即把数据压缩到一维，这在数学中总是容易办到的。然而，即使样本在维空间里形成若干紧凑的互相分的开的集群，若把它们投影到一条任意的直线上，也可能使几类样本混在一起而变得无法识别。但在一般的情况下，总可以找到某个方向，使在这个方向的直线上，样本的投影能分开最好。

m i = 1 N i \sum X \in ω i X i = 1, 2

$m _{i}=\frac{1}{N_{i}}{\sum_{X\in \omega _{i}}^{}}X \, \, \, \, \, i=1,2$

（2）计算样本类内离散度矩阵 $S_{i}$ 和总类内离散度矩阵 $S_{w}$ 。

S i = \sum X \in ω i (X - m i) (X - m i) T, i = 1, 2

$S_{i}={\sum_{X\in \omega _{i}}^{}}\left ( X-m_{i} \right )\left ( X-m_{i}\right )^{T},i=1,2$

S w = S 1 + S 2

$S_{w}=S_{1}+S_{2}$
（3）计算样本类间离散度矩阵 $S_{b}$ 。 $S_{b}=(m_{1}-m_{2})(m_{1}-m_{2})^{T}$ 。
（4）求向量 $w^{*}$ 。为此定义Fisher准则函数

J F (W) = w T S b w w T S w w

$J_{F}(W)=\frac{w^{T}S_{b}w}{w^{T}S_{w}w}$
使得 $J_{F}(W)$ 取的最大值的 $w^{*}$ 为： $w^{*}=S_{w}^{-1}\left ( m_{1}-m_{2}\right )$ 。
（5）将训练集内所有样本进行投影。 $y=(w^{*})^{T}X$ 。
（6）计算在投影空间上的分割阈值 $y_{0}$ 。阈值的选取可以有不同的方案，比较常用的一种为

y 0 = N 1 m 1 ~ + N 2 m 2 ~ N 1 + N 2

$y_{0}=\frac{N_{1}\tilde{m_{1}}+N_{2}\tilde{m_{2}}}{N_{1}+N_{2}}$
另一种为

y 0 = m 1 ~ + m 2 ~ 2 + ln p ( w 1 ) p ( w 2 ) N 1 - N 2 - 2

$y_{0}=\frac{\tilde{m_{1}}+\tilde{m_{2}}}{2}+\frac{\ln\frac{p(w_{1})}{p(w_{2})}}{N_{1}-N_{2}-2}$
其中， $\tilde{m_{i}}$ 为在一维空间各样本的均值： $\tilde{m_{i}}=\frac{1}{N_{1}}{\sum_{y\in\omega _{i}}}y$ 。
样本的内类离散度 $\tilde{s_{i}^{2}}$ 和总类离散度 $\tilde{s_{w}}$ 为 $\tilde{s_{i}^{2}}={\sum_{y\in \omega_{i}}}(y-\tilde{m_{i}}),i=1,2$ ，

s w ~ = s 21 ~ + s 22 ~

$\tilde{s_{w}}=\tilde{s_{1}^{2}}+\tilde{s_{2}^{2}}$
（7）对于给定的 $X$ ，计算它在 $w^{*}$ 上的投影点 $y$ 。 $y=(w^{*})^{T}X$ 。
（8）根据决策规则分类，有

{y > y 0 \Rightarrow X \in ω 1 y < y 0 \Rightarrow X \in ω 2

$\left\{\begin{matrix} & y>y_{0}\Rightarrow X\in\omega _{1}\\ & y <y_{0}\Rightarrow X\in\omega="" _{2}="" \end{matrix}\right.<="" script=""> <pre class="prettyprint"><code class=" hljs ini">X=load('x.txt'); x1=X(1:5,:); x2=X(6:10,:); sample=X(11:12,:); y=fisher(x1,x2,sample)</code></pre> %fisher.m <pre class="prettyprint"><code class=" hljs matlab">function y=fisher(x1,x2,sample) %Fisher函数 %x1,x2,sample分别为两类训练样本及待测数据集，其中行为样本数，列为特征数 r1=size(x1,1);r2=size(x2,1); r3=size(sample,1); a1=mean(x1)';a2=mean(x2)'; s1=cov(x1)*(r1-1);s2=cov(x2)*(r2-1); sw=s1+s2;%求出协方差矩阵 w=inv(sw)*(a1-a2)*(r1+r2-2); y1=mean(w'*a1); y2=mean(w'*a2); y0=(r1*y1+r2*y2)/(r1+r2); for i=1:r3 y(i)=w'*sample(i,:)'; if y(i)>y0 y(i)=0; else y(i)=1; end end</code></pre> </y_{0}\Rightarrow>$

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/208867.html原文链接：https://javaforall.net

Fisher判别分析