关于多元正态分布的条件概率密度

全栈程序员-站长 • 2025年10月16日上午9:15 • 未分类 • 阅读 5

原文来师兄的博客：http://blog.csdn.net/wjj/article/details/

多元正态分布
多元正态分布的条件密度

多元正态分布

fx(x1,...xn)=1(2π)k√|Σ|1/2exp(−12(x−μ)TΣ−1(x−μ))
$f_{x}(x_{1},...x_{n})=\frac{1}{\sqrt{(2\pi)^{k}}|\Sigma|^{1/2}}exp(-\frac{1}{2}(x-\mu)^{T}\Sigma^{-1}(x-\mu))$ (1)

其对应的矩母函数（也有称动差函数）为

exp(μTt+12tTΣt) $exp(\mu^{T}t+\frac{1}{2}t^{T}\Sigma t)$ 。事实上，如果随机向量

[X1,...Xn] $[X_{1},...X_{n}]$ 满足上面的动差函数，那么我们就称随机向量

[X1,...Xn] $[X_{1},...X_{n}]$ 服从多元高斯分布。具体地证明可以看这里。

多元正态分布的条件密度

令随机向量 $[X_{1},...X_{n}]$ 服从多元高斯分布。我们可以推导 $X_{n}$ 在给定 $X_{1},...X_{n-1}$ 的情况下的条件密度分布：

f(xn|x1,...,xn−1)=f(x1,...,xn−1,xn)f(x1,...,xn−1)
$f(x_{n}|x_{1},...,x_{n-1})=\frac{f(x_{1},...,x_{n-1},x_{n})}{f(x_{1},...,x_{n-1})}$ (2)，

其中

f(x1,...,xn)=(2π)−n/2(|Σ|−1/2)exp[−12∑ni,j=1yiqijyj]
$f(x_{1},...,x_{n})=(2\pi)^{-n/2}(|\Sigma|^{-1/2})exp[-\frac{1}{2}\sum_{i,j=1}^{n}y_{i}q_{ij}y_{j}]$ (3)

其中

Q=Σ−1=[qij],yi=xi−μi $Q=\Sigma^{-1}=[q_{ij}],y_{i}=x_{i}-\mu_{i}$ 。同样地，

f(x1,...,xn−1)=∫∞∞f(x1,...,xn−1,xn)dxn=B(y1,...,yn−1)
$f(x_{1},...,x_{n-1})=\int_\infty^\infty {f(x_{1},...,x_{n-1},x_{n})}\,dx_{n}=B(y_{1},...,y_{n-1})$ (4).

现在我们将公式(3)中的求和项进行分解，有：

∑ni,j=1yiqijyj=∑n−1i,j=1yiqijyj+yn∑n−1j=1qnjyj+yn∑n−1i=1qinyj+qnny2n
$\sum_{i,j=1}^{n}y_{i}q_{ij}y_{j}=\sum_{i,j=1}^{n-1}y_{i}q_{ij}y_{j}+y_{n}\sum_{j=1}^{n-1}q_{nj}y_{j}+y_{n}\sum_{i=1}^{n-1}q_{in}y_{j}+q_{nn}y_{n}^{2}$ (5)

因此，最终地条件分布具有如下的形式：

A(y1,...,yn−1)B(y1,...,yn−1)exp[−(Cy2n+D(y1,...,yn−1)yn)]
$\frac{A(y_{1},...,y_{n-1})}{B(y_{1},...,y_{n-1})}exp[-(Cy_{n}^{2}+D(y_{1},...,y_{n-1})y_{n})]$ (6)

其中

C=(1/2)qnn $C=(1/2)q_{nn}$ ，因为

Q=Σ−1 $Q=\Sigma^{-1}$ 是对称矩阵，所以

D=∑n−1j=1qnjyj=∑n−1i=1qinyi $D=\sum_{j=1}^{n-1}q_{nj}y_{j}=\sum_{i=1}^{n-1}q_{in}y_{i}$ .(6)式又可以进一步表示称如下的式子：

[ABexp(DD24C)]exp[−(yn+D2C)2]1C
$[\frac{A}{B}exp(\frac{DD^{2}}{4C})]exp[-\frac{(y_{n}+\frac{D}{2C})^{2}]}{\frac{1}{C}}$ (7)

从公式(7)很容看出

xn $x_{n}$ 的条件密度函数是服从正态分布的。
所以条件分布的方差为：

2Var(Xn|X1,...,Xn−1)=1/C $2Var(X_{n}|X_{1},...,X_{n-1})=1/C$ ，进一步有：

Var(Xn|X1,...,Xn−1)=12C=1qnn $Var(X_{n}|X_{1},...,X_{n-1})=\frac{1}{2C}=\frac{1}{q_{nn}}$
均值为：

E(Xn|X1,...,Xn−1)=μn−D2C=μn−1qnn∑n−1j=1qnj(Xj−μj)
$E(X_{n}|X_{1},...,X_{n-1})=\mu_{n}-\frac{D}{2C}=\mu_{n}-\frac{1}{q_{nn}}\sum_{j=1}^{n-1}q_{nj}(X_{j}-\mu_{j})$

这就说明了再抽样多元正态分布时，如果已知了其它维度的随机变量值， 剩下的那个维度的随机变量也是服从正态分布。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/232359.html原文链接：https://javaforall.net