【机器学习中的数学】多项式分布及其共轭分布

【机器学习中的数学】多项式分布及其共轭分布多项变量(MultinomialVariables)二元变量是用来描述只有两种可能值的量,而当我们遇到一种离散变量,其可以有K种可能的状态。我们可以使用一个K维的向量x表示,其中只有一维xk为1,其余为0。对应于xk=1的参数为μk,表示xk发生时的概率。其分布可以看做是伯努利分布的一般化。现在我们考虑N个独立的观测D={x1,…,xN},得到其似然函数。如图:


Jetbrains全系列IDE稳定放心使用

多项变量(Multinomial Variables)

二元变量是用来描述只有两种可能值的量,而当我们遇到一种离散变量,其可以有K种可能的状态。我们可以使用一个K维的向量x表示,其中只有一维xk为1,其余为0。对应于xk=1的参数为μk,表示xk发生时的概率。其分布可以看做是伯努利分布的一般化。
现在我们考虑N个独立的观测D={x1,…,xN},得到其似然函数。如图:

【机器学习中的数学】多项式分布及其共轭分布

多项式分布(The Multinomial distribution)

现在我们考虑k个变量的联合分布,依赖于参数μ和N次观测,这就构成了多项式分布。

【机器学习中的数学】多项式分布及其共轭分布

狄利克雷分布(The DIrichlet distribution)

为了方便起见,如果先验分布和似然函数有类似的结构,这样得到的后验分布就只是指数幂的参数的相加,但形式没有太大变化,这样就使得先验和后验分布有相同的形式,简化了计算。

【机器学习中的数学】多项式分布及其共轭分布

下面是三个变量的狄利克雷分布的图形,其中左图{αk}=0.1,中图{αk}=1,右图{αk}=10:

【机器学习中的数学】多项式分布及其共轭分布

最大后验估计

【机器学习中的数学】多项式分布及其共轭分布

转载请注明作者Jason Ding及其出处
Github主页(http://jasonding1354.github.io/)
CSDN博客(http://blog.csdn.net/jasonding1354)
简书主页(http://www.jianshu.com/users/2bd9b48f6ea8/latest_articles)

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/182974.html原文链接:https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长

相关推荐

  • 第一天来到新公司的volg (ETL开发工程师)[通俗易懂]

    第一天来到新公司的volg (ETL开发工程师)[通俗易懂]第一天来到新公司的volg(ETL开发工程师)新的改变首先自我介绍一下,我是一名刚刚大学毕业的程序猿,在大学完了两年,到最后大三一年才开始认真的去学习编程的各种知识,开源框架,看视频代码。现在是大数据时代,我也想跟着潮流,所以我第一份工作就选择了ETL开发,为以后大数据开发做基础铺垫,毕竟现在大数据开发都没公司直接招实习生或刚刚毕业的人。新的工作先说一下今天来公司吧,上午大概就是9点到…

    2022年6月6日
  • 微信小程序一个js文件读取多个接口数据「建议收藏」

    微信小程序一个js文件读取多个接口数据「建议收藏」我也不知道这个叫啥问题我也不知道这样写是不是不对数据确实拿到了data:{warningarr:null,mydata:null,mySensor:null},/***生命周期函数–监听页面加载*/onLoad:function(options){ ……/*自己的…

    2022年8月18日
  • Dom与Jquery的ajax

    Dom与Jquery的ajaxDom与Jquery的ajax

    2022年4月22日
  • git把某个文件去除版本控制

    git把某个文件去除版本控制

    2021年10月20日
  • java responsebody_@ResponseBody 详解「建议收藏」

    java responsebody_@ResponseBody 详解「建议收藏」@ResponseBody的作用其实是将java对象转为json格式的数据。@responseBody注解的作用是将controller的方法返回的对象通过适当的转换器转换为指定的格式之后,写入到response对象的body区,通常用来返回JSON数据或者是XML数据。注意:在使用此注解之后不会再走视图处理器,而是直接将数据写入到输入流中,他的效果等同于通过response对象输出指定格式的数据…

    2022年5月8日
  • 常见深度学习模型总结「建议收藏」

    常见深度学习模型总结「建议收藏」lenetLenet是最早的卷积神经网络之一,并且推动了深度学习领域的发展,最初是为手写数字识别建立的网络。LeNet分为卷积层块和全连接层块两个部分。卷积层块里的基本单位是卷积层后接最大池化

    2022年8月5日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号