1. 全栈程序员必看首页

优化算法——牛顿法(Newton Method)

全栈程序员-站长 • • 未分类 • 阅读 274

优化算法——牛顿法(Newton Method)一、牛顿法概述

大家好，又见面了，我是你们的朋友全栈君。

一、牛顿法概述

    除了前面说的梯度下降法，牛顿法也是机器学习中用的比较多的一种优化算法。牛顿法的基本思想是利用迭代点
优化算法——牛顿法(Newton Method)处的一阶导数(梯度)和二阶导数(Hessen矩阵)对目标函数进行二次函数近似，然后把二次模型的极小点作为新的迭代点，并不断重复这一过程，直至求得满足精度的近似极小值。牛顿法的速度相当快，而且能高度逼近最优值。牛顿法分为基本的牛顿法和全局牛顿法。

二、基本牛顿法

1、基本牛顿法的原理

    基本牛顿法是一种是用导数的算法，它每一步的迭代方向都是沿着当前点函数值下降的方向。
    我们主要集中讨论在一维的情形，对于一个需要求解的优化函数
优化算法——牛顿法(Newton Method)，求函数的极值的问题可以转化为求导函数
优化算法——牛顿法(Newton Method)。对函数
优化算法——牛顿法(Newton Method)进行泰勒展开到二阶，得到
优化算法——牛顿法(Newton Method)
对上式求导并令其为0，则为
优化算法——牛顿法(Newton Method)
即得到
优化算法——牛顿法(Newton Method)
这就是牛顿法的更新公式。

2、基本牛顿法的流程

  1. 给定终止误差值优化算法——牛顿法(Newton Method)，初始点优化算法——牛顿法(Newton Method)，令优化算法——牛顿法(Newton Method)；
  2. 计算优化算法——牛顿法(Newton Method)，若优化算法——牛顿法(Newton Method)，则停止，输出优化算法——牛顿法(Newton Method)；
  3. 计算优化算法——牛顿法(Newton Method)，并求解线性方程组得解优化算法——牛顿法(Newton Method)：优化算法——牛顿法(Newton Method)；
  4. 令优化算法——牛顿法(Newton Method)，优化算法——牛顿法(Newton Method)，并转2。

三、全局牛顿法

    牛顿法最突出的优点是收敛速度快，具有局部二阶收敛性，但是，基本牛顿法初始点需要足够“靠近”极小点，否则，有可能导致算法不收敛。这样就引入了全局牛顿法。

1、全局牛顿法的流程

  1. 给定终止误差值优化算法——牛顿法(Newton Method)，优化算法——牛顿法(Newton Method)，优化算法——牛顿法(Newton Method)，初始点优化算法——牛顿法(Newton Method)，令优化算法——牛顿法(Newton Method)；
  2. 计算优化算法——牛顿法(Newton Method)，若优化算法——牛顿法(Newton Method)，则停止，输出优化算法——牛顿法(Newton Method)；
  3. 计算优化算法——牛顿法(Newton Method)，并求解线性方程组得解优化算法——牛顿法(Newton Method)：优化算法——牛顿法(Newton Method)；
  4. 记优化算法——牛顿法(Newton Method)是不满足下列不等式的最小非负整数优化算法——牛顿法(Newton Method)：优化算法——牛顿法(Newton Method)；
  5. 令优化算法——牛顿法(Newton Method)，优化算法——牛顿法(Newton Method)，优化算法——牛顿法(Newton Method)，并转2。

2、Armijo搜索

    全局牛顿法是基于Armijo的搜索，满足Armijo准则：
给定
优化算法——牛顿法(Newton Method)，
优化算法——牛顿法(Newton Method)，令步长因子
优化算法——牛顿法(Newton Method)，其中
优化算法——牛顿法(Newton Method)是满足下列不等式的最小非负整数:
优化算法——牛顿法(Newton Method)

四、算法实现

    实验部分使用Java实现，需要优化的函数
优化算法——牛顿法(Newton Method)，最小值为
优化算法——牛顿法(Newton Method)。

1、基本牛顿法Java实现

package org.algorithm.newtonmethod;

/**
 * Newton法
 * 
 * @author dell
 * 
 */
public class NewtonMethod {
	private double originalX;// 初始点
	private double e;// 误差阈值
	private double maxCycle;// 最大循环次数

	/**
	 * 构造方法
	 * 
	 * @param originalX初始值
	 * @param e误差阈值
	 * @param maxCycle最大循环次数
	 */
	public NewtonMethod(double originalX, double e, double maxCycle) {
		this.setOriginalX(originalX);
		this.setE(e);
		this.setMaxCycle(maxCycle);
	}

	// 一系列get和set方法
	public double getOriginalX() {
		return originalX;
	}

	public void setOriginalX(double originalX) {
		this.originalX = originalX;
	}

	public double getE() {
		return e;
	}

	public void setE(double e) {
		this.e = e;
	}

	public double getMaxCycle() {
		return maxCycle;
	}

	public void setMaxCycle(double maxCycle) {
		this.maxCycle = maxCycle;
	}

	/**
	 * 原始函数
	 * 
	 * @param x变量
	 * @return 原始函数的值
	 */
	public double getOriginal(double x) {
		return x * x - 3 * x + 2;
	}

	/**
	 * 一次导函数
	 * 
	 * @param x变量
	 * @return 一次导函数的值
	 */
	public double getOneDerivative(double x) {
		return 2 * x - 3;
	}

	/**
	 * 二次导函数
	 * 
	 * @param x变量
	 * @return 二次导函数的值
	 */
	public double getTwoDerivative(double x) {
		return 2;
	}

	/**
	 * 利用牛顿法求解
	 * 
	 * @return
	 */
	public double getNewtonMin() {
		double x = this.getOriginalX();
		double y = 0;
		double k = 1;
		// 更新公式
		while (k <= this.getMaxCycle()) {
			y = this.getOriginal(x);
			double one = this.getOneDerivative(x);
			if (Math.abs(one) <= e) {
				break;
			}
			double two = this.getTwoDerivative(x);
			x = x - one / two;
			k++;
		}
		return y;
	}

}

 

2、全局牛顿法Java实现

package org.algorithm.newtonmethod;

/**
 * 全局牛顿法
 * 
 * @author dell
 * 
 */
public class GlobalNewtonMethod {
	private double originalX;
	private double delta;
	private double sigma;
	private double e;
	private double maxCycle;

	public GlobalNewtonMethod(double originalX, double delta, double sigma,
			double e, double maxCycle) {
		this.setOriginalX(originalX);
		this.setDelta(delta);
		this.setSigma(sigma);
		this.setE(e);
		this.setMaxCycle(maxCycle);
	}

	public double getOriginalX() {
		return originalX;
	}

	public void setOriginalX(double originalX) {
		this.originalX = originalX;
	}

	public double getDelta() {
		return delta;
	}

	public void setDelta(double delta) {
		this.delta = delta;
	}

	public double getSigma() {
		return sigma;
	}

	public void setSigma(double sigma) {
		this.sigma = sigma;
	}

	public double getE() {
		return e;
	}

	public void setE(double e) {
		this.e = e;
	}

	public double getMaxCycle() {
		return maxCycle;
	}

	public void setMaxCycle(double maxCycle) {
		this.maxCycle = maxCycle;
	}

	/**
	 * 原始函数
	 * 
	 * @param x变量
	 * @return 原始函数的值
	 */
	public double getOriginal(double x) {
		return x * x - 3 * x + 2;
	}

	/**
	 * 一次导函数
	 * 
	 * @param x变量
	 * @return 一次导函数的值
	 */
	public double getOneDerivative(double x) {
		return 2 * x - 3;
	}

	/**
	 * 二次导函数
	 * 
	 * @param x变量
	 * @return 二次导函数的值
	 */
	public double getTwoDerivative(double x) {
		return 2;
	}

	/**
	 * 利用牛顿法求解
	 * 
	 * @return
	 */
	public double getGlobalNewtonMin() {
		double x = this.getOriginalX();
		double y = 0;
		double k = 1;
		// 更新公式
		while (k <= this.getMaxCycle()) {
			y = this.getOriginal(x);
			double one = this.getOneDerivative(x);
			if (Math.abs(one) <= e) {
				break;
			}
			double two = this.getTwoDerivative(x);
			double dk = -one / two;// 搜索的方向
			double m = 0;
			double mk = 0;
			while (m < 20) {
				double left = this.getOriginal(x + Math.pow(this.getDelta(), m)
						* dk);
				double right = this.getOriginal(x) + this.getSigma()
						* Math.pow(this.getDelta(), m)
						* this.getOneDerivative(x) * dk;
				if (left <= right) {
					mk = m;
					break;
				}
				m++;
			}
			x = x + Math.pow(this.getDelta(), mk)*dk;
			k++;
		}
		return y;
	}
}

 

3、主函数

package org.algorithm.newtonmethod;

/**
 * 测试函数
 * @author dell
 *
 */
public class TestNewton {
	public static void main(String args[]) {
		NewtonMethod newton = new NewtonMethod(0, 0.00001, 100);
		System.out.println("基本牛顿法求解：" + newton.getNewtonMin());

		GlobalNewtonMethod gNewton = new GlobalNewtonMethod(0, 0.55, 0.4,
				0.00001, 100);
		System.out.println("全局牛顿法求解：" + gNewton.getGlobalNewtonMin());
	}
}

 

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/138693.html原文链接：https://javaforall.net

赞 (1)
0 0

关于作者

全栈程序员-站长的头像

全栈程序员-站长

133.5K 文章
3 粉丝
本网站汇聚当前互联网主流语音，持续更新，欢迎关注公众号“全栈程序员社区”
上一篇 2022年5月6日 下午7:00
下一篇 2022年5月6日 下午7:00


相关推荐

  • 时间序列预测（四）—— LSTM模型「建议收藏」

    时间序列预测（四）—— LSTM模型「建议收藏」

    时间序列预测（四）——LSTM模型文章链接（一）数据预处理（二）AR模型（自回归模型）（三）Xgboost模型（四）LSTM模型（五）Prophet模型（自回归模型）模型原理  LSTM（Long-shorttimememory，LSTM）模型，亦即是长段时间模型。LSTM的原理这篇博客讲的十分的清楚，建议英语好的小伙伴直接去看原文，我这里就大致的翻译精简一下。  人类天…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年4月11日
    356
  • 虚函数详解[通俗易懂]

    虚函数详解[通俗易懂]

    虚函数详解[通俗易懂]文章目录一、虚函数实例二、虚函数的实现（内存布局）1、无继承情况2、单继承情况（无虚函数覆盖）3、单继承情况（有虚函数覆盖）4、多重继承情况（无虚函数覆盖）5、多重继承情况（有虚函数覆盖）三、虚函数的相关问题1、构造函数为什么不能定义为虚函数2、析构函数为什么要定义为虚函数？3、如何去验证虚函数表的存在  面向对象的语言有三大特性：继承、封装、多态。虚函数作为多态的实现方式，重要性毋庸置疑。 …

    全栈程序员-站长的头像 全栈程序员-站长
    2022年7月26日
    13
  • JAVA常见知识

    JAVA常见知识

    JAVA常见知识JAVA常见知识

    全栈程序员-站长的头像 全栈程序员-站长
    2022年4月24日
    36
  • <span role="heading" aria-level="2">Python编程题2–水仙花数

    Python编程题2–水仙花数

    Python编程题2–水仙花数题目如果一个3位数等于其各位数字的立方和，则称这个数为水仙花数。例如：153=13+53+3^3，因此153就是一个水仙花数请按照从小到大的顺序输出1000以内的水仙花数

    全栈程序员-站长的头像 全栈程序员-站长
    2022年7月5日
    23
  • OpenClaw怎么安装？OpenClaw本地部署教程及阿里云极速部署 OpenClaw（Clawdbot）指南 openclaw

    OpenClaw怎么安装？OpenClaw本地部署教程及阿里云极速部署 OpenClaw（Clawdbot）指南

    OpenClaw怎么安装？OpenClaw本地部署教程及阿里云极速部署 OpenClaw（Clawdbot）指南

    Ai探索者的头像 Ai探索者
    2026年3月15日
    2
  • 江西公安网_南昌汽车网

    江西公安网_南昌汽车网

    江西公安网_南昌汽车网程序介绍：江西爱车网——地方汽车门户网站程序采用ASP+ACCESS开发，前台设计美观大方，带有会员中心，会员类型分为：个人、经销商及4S店、二手车商及经纪人、其他经销商等，网站频道设有：买车、卖车、租车、用车、车市、车友、车界，还带有车友论坛及供求信息发布功能。 百度网盘下载http://pan.baidu.com/netdisk/singlepublic?fid=372892_1051

    全栈程序员-站长的头像 全栈程序员-站长
    2022年10月1日
    7

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号