随机梯度下降算法原理知乎_梯度下降算法的正确步骤

全栈程序员-站长 • 2025年9月7日下午10:01 • 未分类 • 阅读 5

大家好，又见面了，我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元售后保障童叟无欺

1.算法目标

2.算法描述

3.算法推导

4.注意

1.算法目标

逐渐逼近损失函数 loss 的极小值，简单抽象为求函数 f(x) 的极小值。

2.算法描述

每次取一个增量 $\delta \vec{x}$ ，使得 $f(\vec{x} + \delta \vec{x}) - f(\vec{x}) \leq 0$ ，每次向函数值更小的地方前进一小步，多次迭代就能做到逐渐逼近函数 f(x) 的极小值。

3.算法推导

展开 $f(\vec{x} + \delta \vec{x})$ 得到公式 $f(\vec{x} + \delta \vec{x}) \approx f(\vec{x}) + \triangledown f(x)\cdot \delta \vec{x} + H \cdot \delta \vec{x}\cdot \delta \vec{x}$ 。

其中H为海森矩阵，暂且不考虑。为使 $f(\vec{x} + \delta \vec{x}) - f(\vec{x}) = \triangledown f(x)\cdot \delta \vec{x} \leq 0$ 成立，只需要保证 $\triangledown f(x)\cdot \delta \vec{x} \leq 0$ 。

即，当 $\delta \vec{x} = -\eta \cdot \bigtriangledown f(\vec{x})$ 时， $\triangledown f(x)\cdot \delta \vec{x} = -\eta \cdot \triangledown f(x)^{2} \leq 0$ ，如此即可保证每次更新在逐渐逼近函数的极小值。其中 $\eta$ 为学习率是一个较小的正数。

每次更新时做 $x = x -\eta \cdot \bigtriangledown f(\vec{x})$ 操作，求得 f(x) 的最小值。

4.注意

上述过程是在逼近极小值，不一定是函数的最小值。

$x = x -\eta \cdot \bigtriangledown f(\vec{x})$ 是一种下降趋势，整个循环步骤中函数值 f(x) 在下降，并非每个小步骤得到的函数值都比前一次要小。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/197234.html原文链接：https://javaforall.net

随机梯度下降算法原理 知乎_梯度下降算法的正确步骤

1.算法目标

2.算法描述

3.算法推导

4.注意

相关推荐

pycharm专业版永久激活码2021_通用破解码

MySQL时间戳与日期时间转换

iOS 用UIScrollView不能获取到touchesBegan

简单LMDB用法_法语简单过去时用法

为什么卡巴斯基中国没有市场_卡巴斯基2019免费版怎么样

前端聊天功能如何实现_react使用websocket

发表回复

随机梯度下降算法原理知乎_梯度下降算法的正确步骤