1. 全栈程序员必看首页

LR模型推导_索洛模型的简单推导

全栈程序员-站长 • • 未分类 • 阅读 3

LR模型推导_索洛模型的简单推导概念 逻辑回归假设数据服从伯努利分布，通过极大化似然函数方法，运用梯度下降来求解参数，来达到将数据二分目的 sigmoid函数 sigmoid函数：,y为正样本的概率，1-y为负样本的概率 LR模型推导 设 另 那么对应 极大似然估计 似然函数 对数似然函数就是 将代入公式 对参数求偏导 参数更新 …

大家好，又见面了，我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

  1. 概念
    逻辑回归假设数据服从伯努利分布，通过极大化似然函数方法，运用梯度下降来求解参数，来达到将数据二分目的
  2. sigmoid函数
    sigmoid函数：y = \frac{1}{1+e^{-(\omega x+b)}},y为正样本的概率，1-y为负样本的概率
  3. LR模型推导
    1. 设
      另\pi (x) = P(y=1|x) = \frac{e^{\omega x}+b}{1+e^{\omega x+b}}
      那么对应P(y=0|x) = 1-\pi (x)
    2. 极大似然估计
      似然函数L(\omega ) = {\prod_{i=1}^{N}}[\pi (x_{i})]^{y_{i}}[1-\pi (x_{i})]^{1-y_{i}}
      对数似然函数就是L(\omega ) = \sum_{i=1}^{N}[y_{i}*log(\pi (x_{i}))+(1-y_{i})*log(1-\pi (x_{i})]
      L(\omega ) = \sum_{i=1}^{N}[y_{i}*log(\frac{\pi (x_{i})}{1-\pi (x_{i})})+log(1-\pi (x_{i}))]
      将\pi (x) = \frac{e^{\omega x}+b}{1+e^{\omega x+b}}代入公式
      L(\omega ) = \sum_{i=1}^{N}[y_{i}*(\omega x_{i})-log(1+e^{\omega x_{i}})
    3. 对参数\omega求偏导
      \frac{\partial L(\omega ) }{\partial \omega } = \sum_{i=1}^{N}(y_{i}-\pi (x))*x_{i})
    4. 参数更新
      \omega = \omega _{0}+a\frac{\partial L(\omega ) }{\partial \omega } = \omega _{0}.+a*x_{i}(y_{i}-\pi (x))
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/182570.html原文链接：https://javaforall.net

赞 (0)
全栈程序员-站长的头像全栈程序员-站长
0 0


相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号