LR模型推导_索洛模型的简单推导

全栈程序员-站长 • 2022年10月13日上午7:36 • 未分类 • 阅读 2

LR模型推导_索洛模型的简单推导概念逻辑回归假设数据服从伯努利分布，通过极大化似然函数方法，运用梯度下降来求解参数，来达到将数据二分目的 sigmoid函数 sigmoid函数：,y为正样本的概率，1-y为负样本的概率 LR模型推导设另那么对应极大似然估计似然函数对数似然函数就是将代入公式对参数求偏导参数更新 …

大家好，又见面了，我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

概念
逻辑回归假设数据服从伯努利分布，通过极大化似然函数方法，运用梯度下降来求解参数，来达到将数据二分目的
sigmoid函数
sigmoid函数： $y = \frac{1}{1+e^{-(\omega x+b)}}$ ,y为正样本的概率，1-y为负样本的概率
LR模型推导
1. 设
  另 $\pi (x) = P(y=1|x) = \frac{e^{\omega x}+b}{1+e^{\omega x+b}}$
  那么对应 $P(y=0|x) = 1-\pi (x)$
2. 极大似然估计
  似然函数 $L(\omega ) = {\prod_{i=1}^{N}}[\pi (x_{i})]^{y_{i}}[1-\pi (x_{i})]^{1-y_{i}}$
  对数似然函数就是 $L(\omega ) = \sum_{i=1}^{N}[y_{i}*log(\pi (x_{i}))+(1-y_{i})*log(1-\pi (x_{i})]$
  $L(\omega ) = \sum_{i=1}^{N}[y_{i}*log(\frac{\pi (x_{i})}{1-\pi (x_{i})})+log(1-\pi (x_{i}))]$
  将 $\pi (x) = \frac{e^{\omega x}+b}{1+e^{\omega x+b}}$ 代入公式
  $L(\omega ) = \sum_{i=1}^{N}[y_{i}*(\omega x_{i})-log(1+e^{\omega x_{i}})$
3. 对参数 $\omega$ 求偏导
  $\frac{\partial L(\omega ) }{\partial \omega } = \sum_{i=1}^{N}(y_{i}-\pi (x))*x_{i})$
4. 参数更新
  $\omega = \omega _{0}+a\frac{\partial L(\omega ) }{\partial \omega } = \omega _{0}.+a*x_{i}(y_{i}-\pi (x))$

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们举报，一经查实，本站将立刻删除。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/182570.html原文链接：https://javaforall.net

赞 (0)

全栈程序员-站长

0 0

c语言枚举类型enum例子_枚举是什么意思

c语言枚举类型enum例子_枚举是什么意思在实际的编程应用中，有的变量只有几种可能的取值，譬如说一个星期的七种可能，性别的两种可能等等。C语言为这种类型的变量的定义提供了enum关键字。要使用枚举类型的变量，首先需要先定义一个枚举类型名，然后再声明该变量是枚举类型的例如：enumweekday{\\该语句定义了一个`枚举类型`MONDAY,TUSEDAY,WEDNESDAY,…

全栈程序员-站长
2025年8月19日
2
GridLayout上动态添加控件「建议收藏」

GridLayout上动态添加控件「建议收藏」Android上GridLayout和java上的感觉差不多，但是在添加布局内部添加控件就不是那么容易了。 grid=(GridLayout)findViewById(R.id.grid);//获取GridLayout控件 intcount=1; for(inti=0;i<6;i++) for(intj=0;j<5;j++){ System.out.pri

全栈程序员-站长
2022年6月5日
25
qmake手册(Qt5.9.3)

qmake手册(Qt5.9.3)qmake手册qmake手册概观描述一个项目建立一个项目使用第三方库预编译头文件入门从简单的开始使应用程序可调试添加平台特定的源文件如果文件不存在停止qmake 检查多个条件创建项目文件项目文件元素变量注释内置的功能和控制流程项目模板一般配置声明Qt库配置功能声明其…

全栈程序员-站长
2022年5月19日
171
现代的新语言–Swift初探

现代的新语言–Swift初探

全栈程序员-站长
2021年12月1日
44
历年奥斯卡获奖影片（1927—2014）

历年奥斯卡获奖影片（1927—2014）

全栈程序员-站长
2021年11月30日
160
merge函数_merge函数

merge函数_merge函数R中的merge函数类似于Excel中的Vlookup，可以实现对两个数据表进行匹配和拼接的功能。merge(x,y,by=intersect(names(x),names(y)),by.x=by,by.y=by,all=FALSE,all.x=all,all.y=all,sort=TRUE,suffixes=c(“.x”,”.y”),inco…

全栈程序员-站长
2022年6月12日
36

发表回复

关注全栈程序员社区公众号