大家好，又见面了，我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。
Jetbrains全系列IDE稳定放心使用
矩阵分析系统学习笔记
本系列所有文章来自东北大学韩志涛老师的矩阵分析课程学习笔记，系列如下：
矩阵分析 (一) 线性空间和线性变换
矩阵分析 (二) 内积空间
矩阵分析 (三) 矩阵的标准形
矩阵分析 (四)向量和矩阵的范数
矩阵分析 (五) 矩阵的分解
矩阵分析 (六) 矩阵的函数
矩阵分析 (七) 矩阵特征值的估计
矩阵分析 (八) 矩阵的直积
内积空间的基本概念
- 定义2.1：设 V V V是实数域 P P P上的线性空间，如果对于 V V V中任意两个元素 α \alpha α， β \beta β都有一个实数 ( α , β ) (\alpha, \beta) (α,β)与它们对应，并且满足下面的四个条件，则 ( α , β ) (\alpha,\beta) (α,β)称为元素 α \alpha α, β \beta β的内积：
1）：对于任意的 α , β \alpha,\beta α,β:
( α , β ) = ( β , α ) (\alpha,\beta) = (\beta,\alpha) (α,β)=(β,α)
2）：对于任意的 α , β , γ \alpha,\beta,\gamma α,β,γ:
( α + β , γ ) = ( α , γ ) + ( β , γ ) (\alpha+\beta,\gamma) = (\alpha, \gamma)+(\beta, \gamma) (α+β,γ)=(α,γ)+(β,γ)
3）： ( k α , β ) = k ( α , β ) (k\alpha, \beta)=k(\alpha, \beta) (kα,β)=k(α,β)
4）： ( α , α ) ≥ 0 (\alpha,\alpha) \geq 0 (α,α)≥0当且仅当 α = 0 \alpha=0 α=0时成立。
正交基与子空间的正交
在线性空间中可以找到一组基底，这组基底本身线性无关，且其他元素可以被它线性表达，在内积空间中，可以有进一步的结果，即可以找到标准正交基。
- 定义2.2：由正交的单位向量 α 1 ， α 2 ， ⋯ ， α n \alpha_{1}，\alpha_{2}，\cdots，\alpha_{n} α1，α2，⋯，αn组成的基底叫作标准正交基，这时：
( α i , α j ) = { 1 , i = j , ( i , j = 1 , 2 , ⋯ , n ) 0 , i ≠ j \left(\boldsymbol{\alpha}_{i}, \boldsymbol{\alpha}_{j}\right)=\left\{\begin{array}{ll}{1,} & {i=j, \quad(i, j=1,2, \cdots, n)} \\ {0,} & {i \neq j}\end{array}\right. (αi,αj)={
1,0,i=j,(i,j=1,2,⋯,n)i=j
可以说任意一个 n n n维欧氏空间中都存在标准正交基。
- 施密特(Schmidt)正交化的方法求标准正交基：
设 α 1 ， α 2 ， ⋯ , α n \alpha_{1}，\alpha_{2}，\cdots , \alpha_{n} α1，α2，⋯,αn是 V V V的一个基地。则 α 1 ， α 2 ， ⋯ , α n \alpha_{1}，\alpha_{2}，\cdots , \alpha_{n} α1，α2，⋯,αn线性无关。
首先取 β 1 = α 1 \beta_{1}=\alpha_{1} β1=α1，然后从第二项开始，把前面的向量的分量减去：
β 2 = α 2 − k 21 β 1 \beta_{2}=\alpha_{2}-k_{21}\beta_{1} β2=α2−k21β1
使 β 2 \beta_{2} β2与 β 1 \beta_{1} β1垂直，如下图(2.1)所示：
由：
( α 2 − k 21 β 1 ， β 1 ) = 0 (\alpha_{2}-k_{21}\beta_{1}，\beta_{1})=0 (α2−k21β1，β1)=0
得：
k 21 = ( α 2 , β 1 ) ( β 1 , β 1 ) k_{21}=\frac{(\alpha_{2},\beta_{1})}{(\beta_{1},\beta_{1})} k21=(β1,β1)(α2,β1)
同样的设：
β 3 = α 3 − k 31 β 1 − k 32 β 2 \beta_{3 }=\alpha_{3}-k_{31}\beta_{1}-k_{32}\beta_{2} β3=α3−k31β1−k32β2
使 β 3 \beta_{3} β3与 β 1 \beta_{1} β1， β 2 \beta_{2} β2都垂直，即：
( β 3 , β 1 ) = ( β 3 , β 2 ) = 0 (\beta_{3},\beta_{1})=(\beta_{3},\beta_{2})=0 (β3,β1)=(β3,β2)=0
得：
k 31 = ( α 3 , β 1 ) ( β 1 , β 1 ) ， k 32 = ( α 3 , β 2 ) ( β 2 , β 2 ) k_{31}=\frac{(\alpha_{3},\beta_{1})}{(\beta_{1},\beta_{1})}，k_{32}=\frac{(\alpha_{3},\beta_{2})}{(\beta_{2},\beta_{2})} k31=(β1,β1)(α3,β1)，k32=(β2,β2)(α3,β2)
由此做下去：
β n = α n − k n 1 β 1 − ⋯ − k n , n − 1 β n − 1 \beta_{n}=\alpha_{n}-k_{n1}\beta_{1}- \cdots – k_{n,n-1}\beta_{n-1} βn=αn−kn1β1−⋯−kn,n−1βn−1
k n i = ( α n , β i ) ( β i , β i ) , ( i = 1 , 2 , ⋯ , n − 1 ) k_{ni}=\frac{(\alpha_{n},\beta_{i})}{(\beta_{i},\beta_{i})},(i=1,2,\cdots,n-1) kni=(βi,βi)(αn,βi),(i=1,2,⋯,n−1)
最后把得到的向量 β 1 \beta_{1} β1， β 2 \beta_{2} β2， ⋯ \cdots ⋯， β n \beta_{n} βn单位化，即得到标准正交基。
正交
-
前面讨论的过渡矩阵：
( β 1 ， β 2 ， ⋯ ， β n ) (\beta_{1}，\beta_{2}，\cdots，\beta_{n}) (β1，β2，⋯，βn)
= ( α 1 ， α 2 ， ⋯ ， α n ) A =(\alpha_{1}，\alpha_{2}，\cdots，\alpha_{n})A =(α1，α2，⋯，αn)A
这里 A A A一定是可逆的，如果 α 1 ， α 2 ， ⋯ ， α n \alpha_{1}，\alpha_{2}，\cdots，\alpha_{n} α1，α2，⋯，αn和 β 1 ， β 2 ， ⋯ ， β n \beta_{1}，\beta_{2}，\cdots，\beta_{n} β1，β2，⋯，βn都是标准正交基，可以有进一步的结果，即 A A A是正交的矩阵。 -
定义2.3：如果任取 α ∈ V 1 \alpha \in V_{1} α∈V1， β ∈ V 2 \beta \in V_{2} β∈V2， ( α , β ) = 0 (\alpha,\beta)=0 (α,β)=0，则称 V 1 与 V 2 V_{1}与V_{2} V1与V2正交。
例如：
V 1 = { ( x 1 , x 2 , 0 ) ∣ x 1 , x 2 ∈ R } V_{1}=\{(x_{1},x_{2},0)| x_{1},x_{2} \in R\} V1={
(x1,x2,0)∣x1,x2∈R}
V 2 = { ( 0 , 0 , x 3 ) ∣ x 3 ∈ R } V_{2}=\{(0,0,x_{3})|x_{3} \in R\} V2={
(0,0,x3)∣x3∈R}
V 1 V_{1} V1与 V 2 V_{2} V2正交。
-
定义2.4：如果任取 β ∈ V 1 \beta \in V_{1} β∈V1， ( α , β ) = 0 (\alpha, \beta)=0 (α,β)=0，则称 α \alpha α与 V 1 V_{1} V1正交。（这里也就是说 α \alpha α与空间 V V V中所有向量正交。）
-
定理2.1：如果子空间 V 1 V_{1} V1与 V 2 V_{2} V2是正交的，则它们的和 V 1 + V 2 V_{1}+V_{2} V1+V2是直和。
正交补
- 定义2.5：如果 V V V中子空间 V 1 V_{1} V1与 V 2 V_{2} V2正交，并且：
V 1 + V 2 = V V_{1}+V_{2}=V V1+V2=V
则称 V 1 ( V 2 ) V_{1}(V_{2}) V1(V2)是 V 2 ( V 1 ) V_{2}(V_{1}) V2(V1)的正交补，记作：
V 1 = V 2 ⊥ , V 2 = V 1 ⊥ V_{1}=V_{2}^{\perp},V_{2}=V_{1}^{\perp} V1=V2⊥,V2=V1⊥
- 定理2.2： n n n维欧氏空间的任一子空间 V 1 V_{1} V1都有唯一的正交补。
点到子空间的距离与最小二乘法
-
证明欧氏空间中的一个向量 α \alpha α到一个子空间 W W W中的各个向量的距离也以垂线为最短：
设 β ∈ W \beta \in W β∈W而 α − β \alpha-\beta α−β不垂直于 W W W， α − γ ⊥ W \alpha-\gamma \perp W α−γ⊥W， γ ∈ W \gamma \in W γ∈W，则：
∣ α − β ∣ 2 = ∣ α − γ + γ − β ∣ 2 |\alpha-\beta|^{2} = |\alpha-\gamma + \gamma -\beta|^{2} \\ ∣α−β∣2=∣α−γ+γ−β∣2
= ∣ α − γ ∣ 2 + ∣ γ − β ∣ 2 ≥ ∣ α − γ ∣ 2 =|\alpha-\gamma|^{2}+|\gamma – \beta|^{2}\\ \geq |\alpha-\gamma|^{2} =∣α−γ∣2+∣γ−β∣2≥∣α−γ∣2 -
设 W = L ( α 1 ， ⋯ , α s ) W=L(\alpha_{1}，\cdots , \alpha_{s}) W=L(α1，⋯,αs)，而 α ∈ V \alpha \in V α∈V， α ⊥ W \alpha \perp W α⊥W，容易看出：
α ⊥ W ⇔ α ⊥ α i ( i = 1 , 2 , ⋯ , s ) \alpha \perp W \Leftrightarrow \alpha \perp \alpha_{i} \quad(i=1,2, \cdots, s) α⊥W⇔α⊥αi(i=1,2,⋯,s) -
现在来看最小二乘法的问题：
解不相容的线性方程组 A X = b AX=b AX=b，这里 R ( A ) ≠ R ( A , b ) R(A) \neq R(A,b) R(A)=R(A,b)，即方程组无解。现在找一个最小二乘解，也就是找一个近似程度最好的解。
设 A = ( α 1 , ⋯ , α n ) A=(\alpha_{1},\cdots,\alpha_{n}) A=(α1,⋯,αn),这里 α 1 , ⋯ , α n \alpha_{1},\cdots ,\alpha_{n} α1,⋯,αn是列向量，则：
A X = ( α 1 , ⋯ , α n ) ( x 1 ⋮ x n ) = ∑ i = 1 n x i α i A X=\left(\alpha_{1}, \cdots, \alpha_{n}\right)\left(\begin{array}{c}{x_{1}} \\ {\vdots} \\ {x_{n}}\end{array}\right)=\sum_{i=1}^{n} x_{i} \alpha_{i} AX=(α1,⋯,αn)⎝⎜⎛x1⋮xn⎠⎟⎞=i=1∑nxiαi
当 X X X的分量取遍所有值的时候，上面的表达式是：
α 1 ， ⋯ , α n \alpha_{1}，\cdots ,\alpha_{n} α1，⋯,αn
的任意组合，所以：
A X = L ( α 1 , ⋯ , α n ) = W AX=L(\alpha_{1},\cdots,\alpha_{n})=W AX=L(α1,⋯,αn)=W
而方程组无解意味着不存在一组 x 1 ， ⋯ , x n x_{1}，\cdots , x_{n} x1，⋯,xn使 A X = b AX=b AX=b，即 b b b不能被 α 1 , ⋯ , α n \alpha_{1},\cdots,\alpha_{n} α1,⋯,αn组合出来， b ∉ W b \notin W b∈/W。现在在 L ( α 1 ， ⋯ ， α n ) L(\alpha_{1}，\cdots，\alpha_{n}) L(α1，⋯，αn)中找一个离 b b b最近的向量，即找一个 ∑ x i α i = β \sum x_{i}\alpha_{i}=\beta ∑xiαi=β，使：
b − β ⊥ W b-\beta \perp W b−β⊥W
而 b − β ⊥ W b-\beta \perp W b−β⊥W时这个距离最小，当 b − β ⊥ W b-\beta \perp W b−β⊥W时，
b − β ⊥ α i ( i = 1 , 2 , ⋯ , n ) b-\beta \perp \alpha_{i} (i=1,2,\cdots ,n) b−β⊥αi(i=1,2,⋯,n)
这里 b = β b=\beta b=β与 α i \alpha_{i} αi都是列向量。所以：
（ b − β ， α i ） = 0 （b-\beta ，\alpha_{i}）=0\\ （b−β，αi）=0
即 α i T ( b − β ) = 0 \alpha_{i}^{T}(b-\beta)=0 αiT(b−β)=0，写在一起得：
( α 1 T α 2 T ⋮ α n T ) ( b − β ) = 0 , ( α 1 T α 2 T ⋮ α n T ) = A T , β = A X \left(\begin{array}{c}{\boldsymbol{\alpha}_{1}^{\mathrm{T}}} \\ {\boldsymbol{\alpha}_{2}^{\mathrm{T}}} \\ {\vdots} \\ {\boldsymbol{\alpha}_{n}^{\mathrm{T}}}\end{array}\right)(\boldsymbol{b}-\boldsymbol{\beta})=0, \left(\begin{array}{c}{\boldsymbol{\alpha}_{1}^{\mathrm{T}}} \\ {\boldsymbol{\alpha}_{2}^{\mathrm{T}}} \\ {\vdots} \\ {\boldsymbol{\alpha}_{n}^{\mathrm{T}}}\end{array}\right)=A^{\mathrm{T}}, \beta=AX ⎝⎜⎜⎜⎛α1Tα2T⋮αnT⎠⎟⎟⎟⎞(b−β)=0,⎝⎜⎜⎜⎛α1Tα2T⋮αnT⎠⎟⎟⎟⎞=AT,β=AX
所以最小二乘解是：
A T A X = A T b A^{T}AX=A^{T}b ATAX=ATb
正规矩阵
如果把数域扩大到复数，则可以仿照实数空间内积的定义，把内积推广到复数，但是要考虑到复数的特性。
- 定义2.6：设 V V V是复数域 C C C上的线性空间，如果对 V V V中的任意向量 α , β \alpha,\beta α,β，都有一个复数 α , β \alpha,\beta α,β与之对应，且满足如下条件，则 ( α , β ) (\alpha,\beta) (α,β)称为 V V V的内积。
-
( α , β ) = ( β , α ) (\alpha,\beta)=(\beta,\alpha) (α,β)=(β,α)
-
( α + β ， γ ) = ( α , γ ) + ( β , γ ) (\alpha+\beta，\gamma)=(\alpha,\gamma)+(\beta,\gamma) (α+β，γ)=(α,γ)+(β,γ)
-
( k α , β ) = k ( α , β ) (k\alpha,\beta)=k(\alpha,\beta) (kα,β)=k(α,β)
-
( α , α ) ≥ 0 (\alpha,\alpha) \geq 0 (α,α)≥0，当且仅当 α = 0 \alpha=0 α=0时 ( α , α ) = 0 (\alpha,\alpha)=0 (α,α)=0
这时 V V V称为复内积空间或者酉空间，这里 ( β , α ) (\beta,\alpha) (β,α)是 β , α \beta,\alpha β,α的共轭，条件4）是保证 α , α \alpha,\alpha α,α是实数，否则可能会有 α ≠ 0 \alpha \neq 0 α=0，但是 ( α ⋅ α ) = 0 (\alpha \cdot \alpha)=0 (α⋅α)=0,如 α = ( 3 , 4 , 5 i ) \alpha=(3,4,5i) α=(3,4,5i)
-
定义2.7：设 A ∈ C n × n A \in C^{n \times n} A∈Cn×n且 A H A = A A H = E A^{H}A=AA^{H}=E AHA=AAH=E，则称 A A A为酉矩阵。这是实数空间正交矩阵的推广。
-
酉矩阵具有以下性质：
1） ∣ A ∣ = 1 |A|=1 ∣A∣=1；
2） A − 1 = A H A^{-1}=A^{H} A−1=AH, ( A − 1 ) H = ( A H ) − 1 (A^{-1})^{H}=(A^{H})^{-1} (A−1)H=(AH)−1；
3） A − 1 A^{-1} A−1也是酉矩阵，两个酉矩阵的乘积也是酉矩阵；
4） A A A的行(列)向量构成标准正交基。 -
定义2.8：设 A ∈ C n × n A \in C^{n \times n} A∈Cn×n,且 A H A = A A H A^{H}A=AA^{H} AHA=AAH,则 A A A称为正规矩阵。
我的微信公众号名称：深度学习与先进智能决策
微信公众号ID：MultiAgent1024
公众号介绍：主要研究分享深度学习、机器博弈、强化学习等相关内容！期待您的关注，欢迎一起学习交流进步！
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/180110.html原文链接：https://javaforall.net
![什么是关联数据[通俗易懂]](https://javaforall.net/wp-content/uploads/2020/11/2020110817443450-480x300.jpg)
