瑞利熵与香农熵_熵信息

全栈程序员-站长 • 2022年8月3日上午11:00 • 未分类 • 阅读 9

大家好，又见面了，我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元售后保障童叟无欺

在信息论中，Rényi熵是Hartley熵，Shannon熵，碰撞熵和最小熵的推广。熵能量化了系统的多样性，不确定性或随机性。Rényi熵以AlfrédRényi命名。在分形维数估计的背景下，Rényi熵构成了广义维数概念的基础。

Rényi熵在生态学和统计学中是重要的多样性指标。Rényi熵在量子信息中也很重要，它可以用来衡量纠缠。在Heisenberg XY自旋链模型中，作为α的函数的Rényi熵可以由于它是关于模数群的特定子群的自守函数而被明确地计算。在理论计算机科学中，最小熵用于随机抽取器的情况下。

定义：

含参数α的瑞丽熵其中α≥0和α≠1，被定义为

$H {\ alpha}（X）= {\ frac {1} {1- \ alpha}} \ log {\ Bigg（} \ sum _ {i = 1} ^ {n} p_ {i} ^ {\ alpha} {\ Bigg）}$

这里，X是一个具有可能结果的离散随机变量1,2,3,…..,n和相应的概率 $p_ {i} \ doteq \ Pr（X = i）$ 对于i=1,2,….n,而对数基数为2.如果概率是 $P_ {I} = 1 / n的$ 对全部i=1,…..,n,那么分配的所有瑞丽熵都是相等的： $H _ {\ alpha}（X）= \ log n$