在概率论中对于两个随机变量X与Y，我们定义若两个随机变量X,Y满足
P(X,Y)=P(X)P(Y)
则我们说随机变量X,Y独立。即我们仅仅停留在随机变量X与Y是否相关这个非黑即白的问题上，而引入信息论中的互信息量，我们不仅可以说明随机变量X与Y之间是否相关，更可以反映随机变量之间相关性的强弱。我们定义信源X发出的消息ai通过信道后，信宿Y只可能收到由于干扰作用引起的某种变型bj，我们将由新宿收到bj后推测信源发出ai的概率p(ai | bj)称为后验概率，p(ai)称为先验概率，此时定义bj对ai的互信息量为
上式可化为
下面我们将不通过数学推导，仅从物理含义解释互信息量。
首先我们已知条件自信息量I(ai|bj)在数值上与该事件所包含的不确定度相同，但两者的含义是不同的；不确定度表示含有多少信息，信息量表示随机事件发生后可以得到多少信息。
从不确定度的角度来看，上式中我们可以知道互信息量就是在对bj一无所知的条件下ai存在的不确定度与引入bj后ai仍存在的不确定度之差，就是引入bj后不确定度被消除的部分，也就是通过bj我们确定下来的信息，即我们通过bj获得的对ai的信息量。
从信息量的角度看时，I(ai)是对bj一无所知的情况下发生ai后我们获得的信息量，I(ai|bj)是引入bj后发生ai我们获得的信息量。不难想象，当bj与ai毫无相关性，即相互独立时，此时p(ai | bj)=p(ai), I(ai|bj)=I(ai)，我们通过信宿收到的bj是无法推测信源是否发出了ai，即通过引入bj来推测ai所得到的信息量是为0的，则此时互信息量为0，相当于信道不传递任何信息，可以看做信道断开；而如果bj与ai是一一对应的关系，即我们在信宿接收到bj时我们能完全确定信源就是ai，此时p(ai | bj)=1, I(ai|bj)=0，此时的互信息量最大且等于I(ai)。
在思考信息量的时候我曾有一个误区，总是不经意间把信息量I(ai|bj)当做在在bj发生时我们对ai所确定下来的东西，而实际恰恰相反，信息量是未知的，信息量I(ai|bj)是不确定的信息，可以看做是信宿为bj时信源为ai的惊讶度，正因为有惊讶度的存在，所以才会有从bj得到关于ai的信息量。这样也解释了上述的所有问题，若bj和ai一一对应，我们通过bj可以完全确定ai，则我们收到bj时对ai没有任何的未知，故I(ai|bj)=0。当bj和ai相互独立的时候，就算知道bj也对ai没有任何帮助，所以面对bj和ai都是一样的未知，故I(ai|bj)=I(ai)。
所以bj对ai的互信息量是通过bj对ai确定下来的信息，是信源ai通过信道传递到信宿这个过程中流经信道的信息量。
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。
发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/226499.html原文链接：https://javaforall.net
