鞍点[通俗易懂]

鞍点[通俗易懂]关于“鞍点”的说法网上讲的乱七八糟,因此我特…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE使用 1年只要46元 售后保障 童叟无欺

关于“鞍点”的说法网上讲的乱七八糟,因此我特地上维基百科探查了鞍点的真相。

首先在高等数学里可能大家都还记得一个平面叫马鞍面,图形如下(粘贴自维基百科),那个红点就是三维空间中的鞍点。我们可以从正交的两个方面来看这个点,以平行于坐标轴XOZ平面和YOZ平面的过这个红点的两个平面对这个图形进行截取,可以发现,在一个方向上它是极大值,在另一个方向上它是极小值,这种点就叫鞍点(Saddle Point)。

值得注意的是,鞍点无论对各个方向求导(偏导),其导数(偏导数)都是0,但是它又不是极值点。
在这里插入图片描述

而在二维图像(曲线、曲面、超曲面)上,鞍点就是其驻点,所谓驻点也就是一阶导数为0的点。
在一维域中,鞍点既是驻点又是拐点,因而它不是也不可能是极值点。
(我才疏学浅觉得有点奇怪,一维为甚么有驻点或者拐点,我觉得应该是二维才对,或许它的意思不是说一维空间,而是在某一个维度上。原文如下,大家自行体会:In a domain of one dimension, a saddle point is a point which is both a stationary point and a point of inflection. Since it is a point of inflection, it is not a local extremum.)

关于二维空间中鞍点的举例,就可以拿y=x^3在x=0那一点来说了,下图同样摘自wiki。
在这里插入图片描述
包含一个或以上鞍点的面就叫做Saddle surface。

对于鞍点更数学一点的解释就是:
对某函数f,若其在某一点的Hessian matrix的值是indefinite的,那么它就是鞍点(我也不懂,原文如下)
在这里插入图片描述


了解了鞍点的概念,就要说到鞍点对Gradient Descent的影响了,在许多深度学习实验中,往往会有存在鞍点的可能,而若是鞍点较多,则会严重影响Gradient Descent的性能与正确率,而事实上即便在其他算法中,鞍点往往比Local minimum更令人头疼,而关于如何解决、或者说避开鞍点呢,请看这篇文章(Andrew Ng的导师写的):How to Escape Saddle Points Efficiently

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请联系我们举报,一经查实,本站将立刻删除。

发布者:全栈程序员-站长,转载请注明出处:https://javaforall.net/167546.html原文链接:https://javaforall.net

(0)
上一篇 2022年8月2日 上午11:00
下一篇 2022年8月2日 上午11:16


相关推荐

  • HLSL 与 GLSL 之间的映射关系参考[通俗易懂]

    HLSL 与 GLSL 之间的映射关系参考[通俗易懂]系统参数与內建的输入参数Direct3D有很多系统参数,而相应的,GLSL也有內建的输入参数的概念。他们的对应关系如下:HLSLGLSLSV_ClipDistancegl_ClipDistanceSV_CullDistance当存在ARB_cull_distance情况下gl_CullDistanceSV_Coveragegl_SampleMaskIn&gl_SampleMaskSV_Depth

    2022年7月15日
    25
  • method_FISTA(Fast iterative shrinkage-thresholding algorithm)

    method_FISTA(Fast iterative shrinkage-thresholding algorithm)前言:FISTA(Afastiterativeshrinkage-thresholdingalgorithm)是一种快速的迭代阈值收缩算法(ISTA)。FISTA和ISTA都是基于梯度下降的思想,在迭代过程中进行了更为聪明(smarter)的选择,从而达到更快的迭代速度。理论证明:FISTA和ISTA的迭代收敛速度分别为O(1/k2)和O(1/k)。  本篇博文先从解决优化问题的传统方法“

    2022年6月4日
    28
  • 超分辨率的数据增强Python(超分辨率重建是什么)

    python在图像超分辨率重建中的应用洪华秀[1];【期刊名称】《计算机产品与流通》【年(卷),期】2019(000)002【摘要】图像超分辨率重建技术是低分辨率图像经过一系列算法处理后转换成高分辨率图像的过程,随着图像数据的应用领域不断延伸,这一技术也逐渐成了图像处理研究热点之一。近几年Python语言在人工智能领域逐渐占领榜首,它的优越性在于强大的第三方数据处理工具的支持。本文在图像超分辨率重…

    2022年4月12日
    199
  • 一个贼简单的代码表白

    一个贼简单的代码表白前一阵网上挺火的各种表白代码,自己学着也做了一个记事本编写,后缀改为vbs就能运行了。(其中有一串代码会关机的呦,我是WIN10系统)setws=createobject(“wscript.shell”)ws.run”cmd.exe/cshutdown-s-f-t0″哈哈知道三号女生是什么梗吗?(来源于文松的一个小品,那个老弟啊姐给你爆灯的那个!!嗯哼)就是…

    2022年5月6日
    52
  • 用pipenv创建虚拟环境,并在pycharm里应用

    用pipenv创建虚拟环境,并在pycharm里应用安装 pipenvpipins 查看 pipenv 用法 pipenv 进入到你存放虚拟环境的路径下 创建虚拟环境 cdD pycharm venv io interactionp 会在该目录下生成 Popflie 文件 存储虚拟环境相关信息 可用文本编辑器打开 该文件默认是外国的源 此时可以将其改为国内源 https pypi tuna tsinghua edu cn simple 这样库的安装速度会快一点激活虚拟环境

    2026年3月27日
    2
  • 阿里云轻量级服务器和ecs的区别_阿里云服务器可以干嘛

    阿里云轻量级服务器和ecs的区别_阿里云服务器可以干嘛阿里云轻量应用服务器与云服务器ECS服务器对比优势 …

    2022年4月21日
    67

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号