LR模型推导_索洛模型的简单推导

全栈程序员-站长 • 2022年10月13日上午7:36 • 未分类 • 阅读 5

LR模型推导_索洛模型的简单推导概念逻辑回归假设数据服从伯努利分布，通过极大化似然函数方法，运用梯度下降来求解参数，来达到将数据二分目的 sigmoid函数 sigmoid函数：,y为正样本的概率，1-y为负样本的概率 LR模型推导设另那么对应极大似然估计似然函数对数似然函数就是将代入公式对参数求偏导参数更新 …

大家好，又见面了，我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

概念
逻辑回归假设数据服从伯努利分布，通过极大化似然函数方法，运用梯度下降来求解参数，来达到将数据二分目的
sigmoid函数
sigmoid函数： $y = \frac{1}{1+e^{-(\omega x+b)}}$ ,y为正样本的概率，1-y为负样本的概率
LR模型推导
1. 设
  另 $\pi (x) = P(y=1|x) = \frac{e^{\omega x}+b}{1+e^{\omega x+b}}$
  那么对应 $P(y=0|x) = 1-\pi (x)$
2. 极大似然估计
  似然函数 $L(\omega ) = {\prod_{i=1}^{N}}[\pi (x_{i})]^{y_{i}}[1-\pi (x_{i})]^{1-y_{i}}$
  对数似然函数就是 $L(\omega ) = \sum_{i=1}^{N}[y_{i}*log(\pi (x_{i}))+(1-y_{i})*log(1-\pi (x_{i})]$
  $L(\omega ) = \sum_{i=1}^{N}[y_{i}*log(\frac{\pi (x_{i})}{1-\pi (x_{i})})+log(1-\pi (x_{i}))]$
  将 $\pi (x) = \frac{e^{\omega x}+b}{1+e^{\omega x+b}}$ 代入公式
  $L(\omega ) = \sum_{i=1}^{N}[y_{i}*(\omega x_{i})-log(1+e^{\omega x_{i}})$
3. 对参数 $\omega$ 求偏导
  $\frac{\partial L(\omega ) }{\partial \omega } = \sum_{i=1}^{N}(y_{i}-\pi (x))*x_{i})$
4. 参数更新
  $\omega = \omega _{0}+a\frac{\partial L(\omega ) }{\partial \omega } = \omega _{0}.+a*x_{i}(y_{i}-\pi (x))$

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容，请联系我们举报，一经查实，本站将立刻删除。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/182570.html原文链接：https://javaforall.net

赞 (0)

0 0

关于作者

全栈程序员-站长

133.5K 文章

3 粉丝

本网站汇聚当前互联网主流语音，持续更新，欢迎关注公众号“全栈程序员社区”

网页制作实验步骤_web简易开发

上一篇 2022年10月13日上午7:36

ribbon的负载均衡策略_f5负载均衡配置

下一篇 2022年10月13日上午7:36

豆包

豆包怎么去 AI 水印？3 步快速去痕教程，一看就会

豆包怎么去 AI 水印？3 步快速去痕教程，一看就会

Ai探索者
2026年3月12日
3
第三章：java线程重入锁学习「建议收藏」

第三章：java线程重入锁学习「建议收藏」第三章：java线程重入锁学习

全栈程序员-站长
2022年4月23日
70
openclaw

求助，部署完Openclaw打不开网页

求助，部署完Openclaw打不开网页

Ai探索者
2026年3月14日
3
MVC框架简介

MVC框架简介在 Web 应用程序设计中 MVC 模式已经被广泛使用 SpringMVC 以 DispatcherSe 为核心负责协调和组织不同组件以完成请求处理并返回响应的工作实现了 MVC 模式 1 mvc modeviewcont 是什么 m 指业务代码 v 指用户界面 c 是控制器使用 MVC 的目的是将 M 和 V 的实现代码分离从而使同一个程序可以使用不同的表现形式是一种软件设计模式用一种业务逻辑数据界面显示分离的方法组织代码将业务逻辑聚集到一个部件里面在改进和个性

全栈程序员-站长
2026年3月17日
2
SQL 存储过程调试

SQL 存储过程调试SQL 存储过程调试 SqlServer 输出 print 变量名 nbsp nbsp print nbsp NextCount nbsp nbsp nbsp nbsp print nbsp nbsp 输出常量在需要的位置写上然后执行下述操作执行一遍对该存储过程进行保存然后选择需要执行的存储过程填写对应的参数点击确定执行执行后会出现下述图片点击消息查看自己的 print 输出结果

全栈程序员-站长
2026年3月26日
2
ubuntu16.04安装cuda10.2_opencv cuda

ubuntu16.04安装cuda10.2_opencv cuda由于实验需要，在实验室电脑上搭建深度学习Caffee框架。一共花了两天的时间，其中遇到了不少的问题，记录一下。Caffee在配置上相对来说比较麻烦，需要前期安装的东西比较多，逐一介绍。CUDA:NVIDIA系列显卡支持的GPU编程框架，其实如果本身电脑是AMD的显卡，不用装也可用Caffee，只是速度会比较慢。所以最好有一块像样的显卡，最后我就败在这个上面了。。。MKA或是OpenAtlas

全栈程序员-站长
2025年6月22日
4

发表回复

关注全栈程序员社区公众号