内积空间，赋范空间和Hilbert空间

引言：

• 我们通常说某某某，不加定义的说一些事情是因为我们之间约定俗成了一些背景、一些底色。比方说：“人总有一死，或重于泰山，或轻于鸿毛”，这句话之所以成立，是因为在现阶段，我们基于对过去历史的总结和对于世间万物的观察所得出的结论，这其实就是我们说那句话的背景或者是底色。
  但是游戏中的人就不是人吗，他能被虚拟世界创造出来，他能在虚拟世界中生长，他可以说话，他可以战斗，他可以喜怒哀乐，他也可能由于种种原因而死去，从而我们可以认为他就是虚拟世界中的人。
  以上我们不难发现，肉体人和虚拟人同样是人，只是这两类人在不同的环境或背景设置中，理解这一点很重要，因为我们讨论问题时，总是要明白话题的背景或边界在哪，不明白这个底色就去讨论，意义不大，因为某件事成立总是有范围的，脱离范围去应用很可能会失败。
  
  

Cauchy序列（Cauchy sequence）

以下描述来自链接：wangxiaojun911的描述，该博主描述的很好，咱就借用下，部分地方略有改动，请博主谅解。

一组数列由无穷多个元素组成，每个元素都有一个唯一的序号。柯西序列是这样一组数列，它的元素随着序号增加而接近，即最终收敛。

给定一个数列，如何判断它是否是柯西序列？方法是先去掉前$N$个元素（$N$是有限的数），再看剩下的元素有没有这样一种规律：任何两个元素之差不大于任意指定的正数。

这种序列有无穷多个元素，我们可以举一个具体的例子。比如一个序列： { X 1 , X 2 , X 3 , ⋯   } \left\{X_1,X_2,X_3,\cdots\right\} {
X1​,X2​,X3​,⋯}其中$$X_1=1,X_{n+1}=\frac{X_n}{2}+\frac{1}{X_n}$$这个序列其实是：$\left\{1,\frac{3}{2},\frac{17}{12},\cdots \right\}$。可以证明这个数列最后收敛到一个无理数：$\sqrt{2}$。既然它收敛于某个具体的数（$\sqrt{2}$），那么当我们去掉有限个数之后，剩下的数都无穷接近于$\sqrt{2}$，当然任何两个元素之差不大于任意正数，于是能确定这是柯西序列。

我们可知，柯西序列的定义有赖于如何定义距离。在上述例子里，我们把两个数之差定义为它们的距离，当然距离还有其他的定义方法。只有定义了距离，柯西序列才有意义。换句话说，只有在度量空间中柯西序列才有意义。

柯西序列的重要作用是定义“完备空间”。完备空间是指一种度量空间，它的所有柯西序列（如果有的话），都收敛在这个空间自己里面。有一种直观的形容方法就是完备空间“没有孔”（内部不缺点），“不缺皮”（边界不缺点），从这一点上讲，一个空间完备同一个集合的闭包是类似的。这一类似还体现在以下定理中：完备空间的闭子集是完备的。完备空间在数学分析里面有重大作用。

内积空间

定义：若对所有$\mathbf{x},\mathbf{y},\mathbf{z}\in V$和$\alpha ,\beta \in \mathbb{K}$，映射函数$⟨\cdot ,\cdot ⟩:V\times V\mapsto \mathbb{K}$满足以下三条公理：

• 共轭对称性：$⟨\mathbf{x},\mathbf{y}⟩=⟨\mathbf{y},\mathbf{x}{⟩}^{\ast }$；
• 第一变元的线性性：$⟨\alpha \mathbf{x}+\beta \mathbf{y},\mathbf{z}⟩=\alpha ⟨\mathbf{x},\mathbf{z}⟩+\beta ⟨\mathbf{y},\mathbf{z}⟩$；
• 非负性：$⟨\mathbf{x},\mathbf{x}⟩\ge 0$，并且$⟨\mathbf{x},\mathbf{x}⟩=0\iff \mathbf{x}=0$

则称$⟨\mathbf{x},\mathbf{y}⟩$为向量$\mathbf{x}$与$\mathbf{y}$的内积，$V$为内积向量空间。
两个向量之间的内积可以度量他们之间的夹角：$$\cos \theta =\frac{⟨\mathbf{x},\mathbf{y}⟩}{\sqrt{⟨\mathbf{x},\mathbf{x}⟩}\sqrt{⟨\mathbf{y},\mathbf{y}⟩}}$$
所以一定要明白，满足定义里面规则的映射函数都可以称之为内积。

赋范向量空间

通俗的理解，就是指定一种范数类型给该向量空间。
满足下面三条公理的$p(\mathbf{x})$映射函数都可以称为向量空间$V$的范数：

• 非负性：$p(\mathbf{x})\ge 0,并且p(\mathbf{x})=0\iff \mathbf{x}=0$；
• 齐次性：$p(c\mathbf{x})=|c|p(\mathbf{x})$对所有的复数$c$成立；
• 三角不等式：$p(\mathbf{x}+\mathbf{y})\le p(\mathbf{x})+p(\mathbf{y})$。

并称$V$为赋范向量空间（normed vector space）。

Euclidean范数

• 最常用的的向量范数为Euclidean范数或者$L_2$范数，计作$||\cdot |{|}_2$，定义为$$||\mathbf{x}|{|}_E=||\mathbf{x}|{|}_2=\sqrt{x_1^2+\cdots +x_m^2}$$ $L_2$范数可以直接度量一个向量$\mathbf{x}$的长度$size(\mathbf{x})=||\mathbf{x}|{|}_2$，两个向量之间的距离$$d(\mathbf{x},\mathbf{y})=||\mathbf{x}-\mathbf{y}|{|}_2$$以及一个向量的$ϵ$邻域(其中$ϵ>0$) N ϵ ( x ) = { y ∣   ∣ ∣ y − x ∣ ∣ 2 ≤ ϵ } N_\epsilon(\bm x)=\{\bm y|\ ||\bm y-\bm x||_2\leq\epsilon\} Nϵ​(x)={
  y∣ ∣∣y−x∣∣2​≤ϵ}
  • $n$阶复向量$\mathbf{x}=[x_1,\cdots ,x_n{]}^T,\mathbf{y}=[y_1,\cdots ,y_n{]}^T$之间的内积 $$⟨\mathbf{x},\mathbf{y}⟩={\mathbf{x}}^H\mathbf{y}=\sum _{i=1}^n{x}_i^{\ast }{y}_i$$称为典范内积。采用典范内积的有限维向量空间${\mathbb{R}}^n$或者${\mathbb{C}}^n$习惯上称为$n$阶Euclidean空间或者Euclidean $n$空间。（请注意：是采用典范内积的向量空间才称为Euclidean空间）

酋不变性

• 若$||\mathbf{U}\mathbf{x}||=||\mathbf{x}||$对所有向量$\mathbf{x}\in {\mathbb{C}}^m$和所有的酋矩阵$\mathbf{U}\in {\mathbb{C}}^{m\times m}$恒成立，则称范数$||\mathbf{x}||$是酋不变的。其中，酋矩阵${\mathbf{U}}^H={\mathbf{U}}^{-1}$
• Euclidean范数是酋不变的。
  证明：显然，$\mathbf{U}\mathbf{x}$是一个向量，则$\mathbf{U}\mathbf{x}$向量的典范内积为$||\mathbf{U}\mathbf{x}|{|}_2^2=(\mathbf{U}\mathbf{x}{)}^H\mathbf{U}\mathbf{x}={\mathbf{x}}^H{\mathbf{U}}^H\mathbf{U}\mathbf{x}$，因为$\mathbf{U}$是单位标准正交向量，即${\mathbf{U}}^H\mathbf{U}=\mathbf{I}$，故${\mathbf{x}}^H{\mathbf{U}}^H\mathbf{U}\mathbf{x}={\mathbf{x}}^H\mathbf{x}=||\mathbf{x}|{|}_2^2$，故Euclidean范数是酋不变范数。
  

完备性和Hilbert空间

完备性

若对于向量空间$V$中的每一个Cauchy序列 { v n } n = 1 ∞ ⊂ V \{\bm v_n\}^\infty_{n=1}\subset V {
vn​}n=1∞​⊂V，在向量空间$V$内存在一个元素$\mathbf{v}$，使得$\underset{n\to \infty }{\lim }{\mathbf{v}}_n\to \mathbf{n}$，即$V$内的每一个Cauchy序列都收敛（convergence）在向量空间$V$内，则称向量空间$V$为完备向量空间。
特别地，多对于每一个Cauchy序列 { v n } n = 1 ∞ ⊂ V \{\bm v_n\}^\infty_{n=1}\subset V {
vn​}n=1∞​⊂V，在$V$内存在一个元素$\mathbf{v}$，使得依范数收敛$\underset{n\to \infty }{\lim }||{\mathbf{v}}_n||\to ||\mathbf{n}||$满足，则称向量空间$V$为相对于范数完备的向量空间。

注意，以上定义中，向量空间$V$首先是赋范向量空间。

Banach空间

若对于赋范向量空间$V$中的每一个Cauchy序列 { v n } n = 1 ∞ ⊂ V \{\bm v_n\}^\infty_{n=1}\subset V {
vn​}n=1∞​⊂V，在向量空间$V$内存在一个元素$\mathbf{v}$，使得$\underset{n\to \infty }{\lim }{\mathbf{v}}_n\to \mathbf{n}$，则称赋范向量空间$V$为Banach空间。

一个有限维的赋范线性向量空间一定是Banach空间，因为他会自动满足Cauchy序列的收敛条件。

Hilbert空间

一个相对于范数完备即满足范数收敛$\underset{n\to \infty }{\lim }||{\mathbf{v}}_n||\to ||\mathbf{n}||$的赋范向量空间$V$称为Hilbert空间。
以下存疑：
显然，一个Hilbert空间一定是Banach空间，但是一个Banach空间不一定是Hilbert空间。这是因为，范数收敛一定满足极限收敛，但是极限收敛不一定范数收敛，因为范数的定义方式很多。