漫步数理统计二十六——多元正态分布

漫步数理统计二十六——多元正态分布本片博文介绍多元正态分布,我们以nn维随机变量为主,但给出n=2n=2时二元情况的一些实例。与上篇文章一样,我们首先介绍标准情况然后扩展到一般情况,当然这里会用到向量与矩阵符号。考虑随机向量Z=(Z1,…,Zn)′\mathbf{Z}=(Z_1,\ldots,Z_n)^\prime,其中Z1,…,ZnZ_1,\ldots,Z_n是独立同分布的N(0,1)N(0,1)随机变量,那么对z∈Rn,Z\ma

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全家桶1年46,售后保障稳定

本片博文介绍多元正态分布,我们以 n 维随机变量为主,但给出

n=2
时二元情况的一些实例。与上篇文章一样,我们首先介绍标准情况然后扩展到一般情况,当然这里会用到向量与矩阵符号。

考虑随机向量 Z=(Z1,,Zn) ,其中 Z1,,Zn 是独立同分布的 N(0,1) 随机变量,那么对 zRn,Z 的密度为

fZ(z)=i=1n12πexp{
12z2i}
=(12π)n/2exp{
12i=1nz2i}
=(12π)n/2exp{
12zz}
(1)

因为 Zi 的均值为0,方差为1且不相关,所以 Z 的均值与协方差矩阵为

E[Z]=0,Cov[Z]=In(2)

其中 In 表示 n 阶单位矩阵。回忆一下

Zi
expt2i/2 ,因为 Zi 是独立的,所以对于所有的 tRn,Z 的mgf为

MZ(t)=E[exp{
tZ}]
=E[i=1nexp{
tiZi}]
=i=1nE[exp{
tiZi}]
=exp{
12i=1nt2i}
=exp{
12tt}
(3)

我们称 Z 是均值为 0 协方差矩阵为 In 的多元正态分布,简写成 Z 满足 Nn(0,In) 分布。

对于一般情况,假设 Σ n×n 的对称,半正定矩阵(psd),那么根据线性代数的知识,我们总能将 Σ 分解为

Σ=ΓΛΓ(4)

其中 Λ 是对角矩阵, Λ=diag(λ1,λ2,,λn),λ1λ2λn0 Σ 的特征值, Γ 的列 v1,v2,,vn 是相应的特征向量,这个分解叫做 Σ 的谱分解,矩阵 Γ 是正交矩阵,即 Γ1=Γ 因此 ΓΓ=I 。另外还可以将谱分解写成如下形式:

Σ=ΓΛΓ=i=1nλivivi(5)

因为 λi 是非负的,所以我们能定义对角矩阵 Λ1/2=(λ1,,λn) ,那么 Γ 的正交性就意味着

Σ=ΓΛ1/2ΓΓΛ1/2Γ

定义矩阵 Σ 的平方根为

Σ1/2=ΓΛ1/2Γ(6)

其中 Λ1/2=diag(λ1,,λn) ,注意 Σ1/2 是对称psd矩阵,假设 Σ 是正定的 (pd) ;即它的特征值都为正,那么很容易说明

(Σ1/2)1=ΓΛ1/2Γ(7)

我们可以将等式左边写成 Σ1/2

Z 满足 N(0,In) 分布,令 Σ 是对称半正定矩阵且 μ n×1 的常向量,随机向量 X 定义为

X=Σ1/2Z+μ(8)

根据 (2) 可得

E[X]=μ,Cov[X]=Σ1/2Σ1/2=Σ(9)

进一步 X 的mgf为

MX(t)=E[exp{
tX}]
=E[exp{
tΣ1/2Z+tμ}]
=exp{
tμ}E[exp{
(Σ1/2t)Z}]
=exp{
texp{
(1/2)(Σ1/2t)Σ1/2t}
=exp{
texp{
(1/2)tΣt}
(10)

这就产生了下面的定义:

1 我们称 n 维随机变量

X
是多元正态分布,当且仅当对所有的 tRn ,它的mgf为

MX(t)=exp{
tμ+(1/2)tΣt}
(11)

其中 Σ 是对称半正定矩阵且 μRn ,我们简单称 X 满足 Nn(μ,Σ) 分布。

注意这里我们是对半正定矩阵进行定义,一般情况 Σ 是正定的,这种情况下我们可以进一步得到 X 的密度。如果 Σ 是正定的,那么 Σ1/2 也是正定的,它的逆就是 (7) ,所以 X,Z 之间的变换 (8) 是一对一的变换,它的逆变换为

Z=Σ1/2(Xμ)

雅可比为 |Σ1/2|=|Σ|1/2 ,因此通过化简得到 X 的pdf为

fX(x)=1(2π)n/2|Σ|1/2exp{
12(xμ)Σ(xμ)}
(12)

下面的两个定理非常有用,第一个是说多元正态随机向量的线性变换满足多元正态分布。

1 假设 X 满足 Nn(μ,Σ) 分布,令 Y=AX+b ,其中 A m×n 矩阵且 bRm ,那么 Y 满足 Nm(Aμ+b,AΣA)

根据 (11) ,对所有的 tRm Y 的mgf为

MY(t)=E[exp{
tY}]
=E[exp{
t(AX+b)}]
=exp{
tb}E[exp{
(At)X}]
=exp{
tb}exp{
(At)μ+(1/2)(At)Σ(At)}
=exp{
t(Aμ+b)+(1/2)tAΣAt}

这是 Nm(Aμ+b,AΣA) 分布的mgf。 ||

该定理简单的推论给出了多元正态随机变量的边缘分布,令 X1 X 的任意子向量,维数 m<n ,因为我们能够重排均值与相关性,不失一般性, X 可以写成

X=[X1X2](13)

其中 X2 的维数为 p=nm ,利用同样的方法拆分 X 的均值与协方差矩阵得:

μ=[μ1μ2]Σ=[Σ11Σ21Σ12Σ22](14)

注意 Σ11 X1 得协方差矩阵, Σ12 包含 X1,X2 元素之间的所有协方差,现在定义 A 为矩阵

A=[ImOmp]

其中 Omp 是一个 m×p 的零矩阵,那么 X1=AX 。因此在这个变换上应用定理1可以得到下面的推论:

1 假设 X 满足 Nn(μ,Σ) 分布,将其分成 (13),(14) 的形式,那么 X1 满足 Nm(μ1,Σ11) 分布。

这是个非常有用的结论,因为它说明 X 的任何边缘分布也是正态分布,进一步它的均值与协方差矩阵与其部分向量的均值与方差有关。

1 本例展示 n=2 的多元正态情况,这种情况的分布称为二元正态,我们使用常用的符号 (X,Y) 而不是 (X1,X2) ,所以假设 (X,Y) 满足 N2(μ,Σ) 分布,其中

μ=[μ1μ2]Σ=[σ21σ12σ12σ22](15)

这里 μ1,σ21 分别是 X 的均值与方差;

μ2,σ22
分别是 Y 的均值与方差;

σ12
X,Y 之间的协方差,回顾一下 σ12=ρσ1σ2 ,其中 ρ X,Y 之间的相关系数。将 ρσ1σ2 代入 Σ 中的 σ12 ,很容易看出 Σ 的行列式为 σ21σ22(1ρ2) 。另外 ρ21 ,接下里我们假设 ρ2<1 ,这时候 Σ 是可逆的(也是正定的),进一步因为 Σ 是一个 2×2 矩阵,所以它的逆很容易定义为

Σ1=1σ21σ22(1ρ2)[σ22ρσ1σ2ρσ1σ2σ21](16)

利用这个表达式, (X,Y) 的pdf可以写成

f(x,y)=12πσ1σ21ρ2eq/2, <x<, <y<(17)

其中,

q=11ρ2[(xμ1σ1)22ρ(xμ1σ1)(yμ2σ2)+(yμ2σ2)2](18)

如果 X,Y 是独立的随机变量,那么它们的相关系数为0。如果它们是正态的,根据推论1, X 满足

N(μ1,σ21)
分布, Y 满足

N(μ2,σ22)
分布。进一步,基于 (17) ,对于 (X,Y) 的联合pdf,如果相关系数为0,那么 X,Y 是独立的。即对于二元正态情况,独立等价于 ρ=0 ,多元正态情况同样成立。

一般而言,如果两个随机变量是独立的,那么它们的协方差为0,但是反过来不一定对。然而对于正态情况却为真。

2 假设 X 满足 Nn(μ,Σ) 分布,且如 (13),(14) 那样划分,那么 X1,X2 是独立的,当且仅当 Σ12=O

首先注意到 Σ21=Σ12 X1,X2 的联合mgf为

MX1,X2(t1,t2)=exp{
t1μ1+t2μ2+12(t1Σ11t1+t2Σ22t2+t2Σ21t1+t1Σ12t2)}
(19)

其中 t=(t1,t2) 是与 μ 一样的划分,根据推论1, X1 满足 Nm(μ1,Σ11) 分布, X2 满足 Np(μ2,Σ22) 分布,因此它们边缘mgf的乘积为:

MX1(t1)MX2(t2)=exp{
t1μ1+t2μ2+12(t1Σ11t1+t2Σ22t2)}
(20)

X1,X2 是独立的,当且仅当 (19),(20) 想等。如果 Σ12=O ,那么表达式想等且 X1,X2 独立。如果 X1,X2 独立,那么它们元素之间的协方差为0;即 Σ12=O,Σ21=O

推论1说明多元正态的边缘分布是正态分布,条件分布同样如此。结合定理1与定理2可以得出下面的定理。

3 假设 X 满足 Nn(μ,Σ) 分布,划分成 (13),(14) ,假设 Σ 是正定的,那么 X1|X2 的条件分布为

Nm(μ1+Σ12Σ122(X2μ2),Σ11Σ12Σ122Σ21)(21)

考虑随机变量 W=X1Σ12Σ122X2 X2 的联合分布,这个分布是通过下面的变换得到的

[WX2]=[ImOΣ12Σ122Ip][X1X2]

因为这是一个线性变换,所以根据定理1可知联合分布为多元正态,且 E[W]=μ1Σ12Σ122μ2,E[X2]=μ2 ,协方差矩阵为

[ImOΣ12Σ122Ip][Σ11Σ21Σ12Σ22][ImΣ122Σ21OIp]=[Σ11Σ12Σ122Σ21OOΣ22]

因此根据定理2,随机向量 W,X2 是独立的,故 W|X2 的条件分布与 W 的边缘分布一样;即
W|X2 满足 Nm(μ1Σ12Σ122μ2,Σ11Σ12Σ122Σ21) ,进一步因为独立性,给定 X2,W+Σ12Σ122X2 的分布为

Nm(μ1Σ12Σ122μ2+Σ12Σ122X2,Σ11Σ12Σ122Σ21)(22)

得证。 ||

2 依然考虑例1的二元情况,我们反转下变量,使得 Y=X1,X=X2 ,给定 X=x,Y 的条件分布根据 (21) 可知为

N[μ2+ρσ2σ1(xμ1),σ22(1ρ2)](23)

因此而与二元正态分布,给定 X=x Y 的条件均值是

x
的线性函数

E(Y|x)=μ2+ρσ2σ1(xμ1)

线性条件均值 E(Y|x) x 的系数为

ρσ2/σ1
。在一般线性条件均值 E(Y|x) x 的系数为相关系数与

σ2/σ1
的乘积。

虽然给定 X=x,Y 的条件分布均值依赖 x (除非

ρ=0
),但是方差 σ22(1ρ2) 对所有 x 值都是一样的,同样的方式我们可以给出

Y=y,X
的条件分布为

N[μ1+ρσ1σ2(yμ2),σ21(1ρ2)]

回忆一下,如果随机变量 X 满足

N(μ,σ2)
分布,那么随机变量 [(Xμ)/σ]2 满足 χ2(1) 分布,多元情况类似,如下定理所述。

4 假设 X 满足 Nn(μ,Σ) 分布,其中 Σ 是正定矩阵,那么随机变量 W=(Xμ)Σ1(Xμ) 满足 χ2(n) 分布。

Σ 写成 Σ1/2Σ1/2 ,其中 Σ1/2 定义为 (6) ,那么 Z=Σ1/2(Xμ) 满足 Nn(0,In) ,令 W=ZZ=ni=1Z2i ,因为对于 i=1,2,,n,Zi 满足 N(0,1) 分布,所以 Z2i 满足 χ2(1) 分布,因为 Z1,,Zn 是独立的标准正态分布,所以 i=1Z2i=W 满足 χ2(n) 分布。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/209939.html原文链接:https://javaforall.net

(0)
全栈程序员-站长的头像全栈程序员-站长


相关推荐

  • tcpdf中文字体_pdf和tif有什么区别

    tcpdf中文字体_pdf和tif有什么区别最近在做将网页内容输出成pdf文档方面的一个项目,找了好多类,php_pdflib,fpdf,HTML_topdf等等,不过最终还是发现这个好用,究其汉字处理方面发现了写一篇文章,就抄过来了,以供大家参考。 TCPDF是一个用于快速生成PDF文件的PHP5函数包。TCPDF基于FPDF进行扩展和改进。支持UTF-8,Unicode,HTML和XHTML。在基于PHP开发的Web应用中,…

    2022年9月7日
    1
  • 指标异动分析「建议收藏」

    指标异动分析「建议收藏」What业务都会面对“为什么涨、为什么降、原因是什么?”,因此日常数据分析80%总是在围绕指标异动做分析,进行原因定位,常见的指标异动分析例如GMV、DAU等为何下降?Why指标异动分析有利于为业务方建立业务抓手,及时定位业务异常原因,进而制定相应的运营调整策略,保障业务正常稳定发展How1、明确异常指标波动标准(净值百分比)业务指标会随着内外部环境变动而不断变化,数据的波动主要体现在变动日期与基准日期的对比(同环比)出现上升或下降。指标波动通常分为周期性波动、突发性波动、持续性波动。**

    2022年6月10日
    50
  • 单元测试用例概述

    单元测试用例概述测试的覆盖种类       1.语句覆盖:语句覆盖就是设计若干个测试用例,运行被测试程序,使得每一条可执行语句至少执行一次。       2.判定覆盖(也叫分支覆盖):设计若干个测试用例,运行所测程序,使程序中每个判断的取真分支和取假分支至少执行一次。       3.条件覆盖:设计足够的测试用例,运行所测程序,使程序中每个判断的每个条件的每个可能取值至少执行一次。       4.判定—

    2022年6月29日
    31
  • iphone一键转移_苹果手机如何一键转移数据 转移教程介绍

    iphone一键转移_苹果手机如何一键转移数据 转移教程介绍众所周知,要更换手机的话,旧手机上的数据怎么办还真的是一个难题啊,毕竟手机用久了,上面的有各种重要的数据不是。那苹果手机换机的话,将数据进行转移,可以分成两种情况,一种吧,就是苹果转苹果,一种就是苹果转安卓了。苹果手机数据转移到新iPhone1、借助iCloud云备份手机自带的云备份功能,肯定是可以用上的。①手机连接上WiFi,然后在手机“设置”中,依次点击“AppleID——iCloud——i…

    2022年5月25日
    56
  • ue4代做(代理ip地址)

    原创文章,转载请注明出处。UE4有一套代理机制,整理了一下做个介绍。也请大家做补充。有了代理,方便我们做代码设计,减轻耦合。文章里面的代码下载链接:代理单播代理二级目录三级目录多播代理二级目录三级目录单播代理二级目录三级目录多播代理二级目录三级目录…

    2022年4月14日
    49
  • Source insight 3572安装和版本号An invalid source insight serial number was detected解

    Source insight 3572安装和版本号An invalid source insight serial number was detected解

    2022年1月4日
    54

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号