1. 全栈程序员必看首页

优化算法——牛顿法(Newton Method)

全栈程序员-站长 • • 未分类 • 阅读 274

优化算法——牛顿法(Newton Method)一、牛顿法概述

大家好，又见面了，我是你们的朋友全栈君。

一、牛顿法概述

    除了前面说的梯度下降法，牛顿法也是机器学习中用的比较多的一种优化算法。牛顿法的基本思想是利用迭代点
优化算法——牛顿法(Newton Method)处的一阶导数(梯度)和二阶导数(Hessen矩阵)对目标函数进行二次函数近似，然后把二次模型的极小点作为新的迭代点，并不断重复这一过程，直至求得满足精度的近似极小值。牛顿法的速度相当快，而且能高度逼近最优值。牛顿法分为基本的牛顿法和全局牛顿法。

二、基本牛顿法

1、基本牛顿法的原理

    基本牛顿法是一种是用导数的算法，它每一步的迭代方向都是沿着当前点函数值下降的方向。
    我们主要集中讨论在一维的情形，对于一个需要求解的优化函数
优化算法——牛顿法(Newton Method)，求函数的极值的问题可以转化为求导函数
优化算法——牛顿法(Newton Method)。对函数
优化算法——牛顿法(Newton Method)进行泰勒展开到二阶，得到
优化算法——牛顿法(Newton Method)
对上式求导并令其为0，则为
优化算法——牛顿法(Newton Method)
即得到
优化算法——牛顿法(Newton Method)
这就是牛顿法的更新公式。

2、基本牛顿法的流程

  1. 给定终止误差值优化算法——牛顿法(Newton Method)，初始点优化算法——牛顿法(Newton Method)，令优化算法——牛顿法(Newton Method)；
  2. 计算优化算法——牛顿法(Newton Method)，若优化算法——牛顿法(Newton Method)，则停止，输出优化算法——牛顿法(Newton Method)；
  3. 计算优化算法——牛顿法(Newton Method)，并求解线性方程组得解优化算法——牛顿法(Newton Method)：优化算法——牛顿法(Newton Method)；
  4. 令优化算法——牛顿法(Newton Method)，优化算法——牛顿法(Newton Method)，并转2。

三、全局牛顿法

    牛顿法最突出的优点是收敛速度快，具有局部二阶收敛性，但是，基本牛顿法初始点需要足够“靠近”极小点，否则，有可能导致算法不收敛。这样就引入了全局牛顿法。

1、全局牛顿法的流程

  1. 给定终止误差值优化算法——牛顿法(Newton Method)，优化算法——牛顿法(Newton Method)，优化算法——牛顿法(Newton Method)，初始点优化算法——牛顿法(Newton Method)，令优化算法——牛顿法(Newton Method)；
  2. 计算优化算法——牛顿法(Newton Method)，若优化算法——牛顿法(Newton Method)，则停止，输出优化算法——牛顿法(Newton Method)；
  3. 计算优化算法——牛顿法(Newton Method)，并求解线性方程组得解优化算法——牛顿法(Newton Method)：优化算法——牛顿法(Newton Method)；
  4. 记优化算法——牛顿法(Newton Method)是不满足下列不等式的最小非负整数优化算法——牛顿法(Newton Method)：优化算法——牛顿法(Newton Method)；
  5. 令优化算法——牛顿法(Newton Method)，优化算法——牛顿法(Newton Method)，优化算法——牛顿法(Newton Method)，并转2。

2、Armijo搜索

    全局牛顿法是基于Armijo的搜索，满足Armijo准则：
给定
优化算法——牛顿法(Newton Method)，
优化算法——牛顿法(Newton Method)，令步长因子
优化算法——牛顿法(Newton Method)，其中
优化算法——牛顿法(Newton Method)是满足下列不等式的最小非负整数:
优化算法——牛顿法(Newton Method)

四、算法实现

    实验部分使用Java实现，需要优化的函数
优化算法——牛顿法(Newton Method)，最小值为
优化算法——牛顿法(Newton Method)。

1、基本牛顿法Java实现

package org.algorithm.newtonmethod;

/**
 * Newton法
 * 
 * @author dell
 * 
 */
public class NewtonMethod {
	private double originalX;// 初始点
	private double e;// 误差阈值
	private double maxCycle;// 最大循环次数

	/**
	 * 构造方法
	 * 
	 * @param originalX初始值
	 * @param e误差阈值
	 * @param maxCycle最大循环次数
	 */
	public NewtonMethod(double originalX, double e, double maxCycle) {
		this.setOriginalX(originalX);
		this.setE(e);
		this.setMaxCycle(maxCycle);
	}

	// 一系列get和set方法
	public double getOriginalX() {
		return originalX;
	}

	public void setOriginalX(double originalX) {
		this.originalX = originalX;
	}

	public double getE() {
		return e;
	}

	public void setE(double e) {
		this.e = e;
	}

	public double getMaxCycle() {
		return maxCycle;
	}

	public void setMaxCycle(double maxCycle) {
		this.maxCycle = maxCycle;
	}

	/**
	 * 原始函数
	 * 
	 * @param x变量
	 * @return 原始函数的值
	 */
	public double getOriginal(double x) {
		return x * x - 3 * x + 2;
	}

	/**
	 * 一次导函数
	 * 
	 * @param x变量
	 * @return 一次导函数的值
	 */
	public double getOneDerivative(double x) {
		return 2 * x - 3;
	}

	/**
	 * 二次导函数
	 * 
	 * @param x变量
	 * @return 二次导函数的值
	 */
	public double getTwoDerivative(double x) {
		return 2;
	}

	/**
	 * 利用牛顿法求解
	 * 
	 * @return
	 */
	public double getNewtonMin() {
		double x = this.getOriginalX();
		double y = 0;
		double k = 1;
		// 更新公式
		while (k <= this.getMaxCycle()) {
			y = this.getOriginal(x);
			double one = this.getOneDerivative(x);
			if (Math.abs(one) <= e) {
				break;
			}
			double two = this.getTwoDerivative(x);
			x = x - one / two;
			k++;
		}
		return y;
	}

}

 

2、全局牛顿法Java实现

package org.algorithm.newtonmethod;

/**
 * 全局牛顿法
 * 
 * @author dell
 * 
 */
public class GlobalNewtonMethod {
	private double originalX;
	private double delta;
	private double sigma;
	private double e;
	private double maxCycle;

	public GlobalNewtonMethod(double originalX, double delta, double sigma,
			double e, double maxCycle) {
		this.setOriginalX(originalX);
		this.setDelta(delta);
		this.setSigma(sigma);
		this.setE(e);
		this.setMaxCycle(maxCycle);
	}

	public double getOriginalX() {
		return originalX;
	}

	public void setOriginalX(double originalX) {
		this.originalX = originalX;
	}

	public double getDelta() {
		return delta;
	}

	public void setDelta(double delta) {
		this.delta = delta;
	}

	public double getSigma() {
		return sigma;
	}

	public void setSigma(double sigma) {
		this.sigma = sigma;
	}

	public double getE() {
		return e;
	}

	public void setE(double e) {
		this.e = e;
	}

	public double getMaxCycle() {
		return maxCycle;
	}

	public void setMaxCycle(double maxCycle) {
		this.maxCycle = maxCycle;
	}

	/**
	 * 原始函数
	 * 
	 * @param x变量
	 * @return 原始函数的值
	 */
	public double getOriginal(double x) {
		return x * x - 3 * x + 2;
	}

	/**
	 * 一次导函数
	 * 
	 * @param x变量
	 * @return 一次导函数的值
	 */
	public double getOneDerivative(double x) {
		return 2 * x - 3;
	}

	/**
	 * 二次导函数
	 * 
	 * @param x变量
	 * @return 二次导函数的值
	 */
	public double getTwoDerivative(double x) {
		return 2;
	}

	/**
	 * 利用牛顿法求解
	 * 
	 * @return
	 */
	public double getGlobalNewtonMin() {
		double x = this.getOriginalX();
		double y = 0;
		double k = 1;
		// 更新公式
		while (k <= this.getMaxCycle()) {
			y = this.getOriginal(x);
			double one = this.getOneDerivative(x);
			if (Math.abs(one) <= e) {
				break;
			}
			double two = this.getTwoDerivative(x);
			double dk = -one / two;// 搜索的方向
			double m = 0;
			double mk = 0;
			while (m < 20) {
				double left = this.getOriginal(x + Math.pow(this.getDelta(), m)
						* dk);
				double right = this.getOriginal(x) + this.getSigma()
						* Math.pow(this.getDelta(), m)
						* this.getOneDerivative(x) * dk;
				if (left <= right) {
					mk = m;
					break;
				}
				m++;
			}
			x = x + Math.pow(this.getDelta(), mk)*dk;
			k++;
		}
		return y;
	}
}

 

3、主函数

package org.algorithm.newtonmethod;

/**
 * 测试函数
 * @author dell
 *
 */
public class TestNewton {
	public static void main(String args[]) {
		NewtonMethod newton = new NewtonMethod(0, 0.00001, 100);
		System.out.println("基本牛顿法求解：" + newton.getNewtonMin());

		GlobalNewtonMethod gNewton = new GlobalNewtonMethod(0, 0.55, 0.4,
				0.00001, 100);
		System.out.println("全局牛顿法求解：" + gNewton.getGlobalNewtonMin());
	}
}

 

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请联系我们举报，一经查实，本站将立刻删除。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/138693.html原文链接：https://javaforall.net

赞 (1)
0 0

关于作者

全栈程序员-站长的头像

全栈程序员-站长

133.5K 文章
3 粉丝
本网站汇聚当前互联网主流语音，持续更新，欢迎关注公众号“全栈程序员社区”
上一篇 2022年5月6日 下午7:00
下一篇 2022年5月6日 下午7:00


相关推荐

  • IOS安全、逆向、反编译1-越狱知识讲解[通俗易懂]

    IOS安全、逆向、反编译1-越狱知识讲解[通俗易懂]

    IOS安全、逆向、反编译1-越狱知识讲解[通俗易懂]之前开发了一个对安全性要求比较高的APP，所以对安全、逆向和反编译有了一些认识，最近有时间就想系统的把这些知识做一个整理。今天就开始把我的学习过程记录下来。iOS越狱环境搭建在学习iOS越狱之前，我们当然需要一台iOS设备，由于现在基本上都是64位系统为主，所以最好是使用ARM64架构的设备，因此首先我们的手机至少需要iPhone5S或者之后的iPhone设备，平板至少是iPadAir、…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年5月8日
    93
  • Python全栈工程师（字符串/序列）[通俗易懂]

    Python全栈工程师（字符串/序列）[通俗易懂]

    Python全栈工程师（字符串/序列）[通俗易懂]ParisGabrielPython入门基础字符串：str用来记录文本信息字符串的表示方式：在非注释中凡是用引号括起来的部分都是字符串‘’ 单引号“” 双引号'''&#

    全栈程序员-站长的头像 全栈程序员-站长
    2022年7月6日
    25
  • platform device和driver之间的关系

    platform device和driver之间的关系

    platform device和driver之间的关系[c-sharp] viewplaincopy内核中的platform driver机制需要将设备本身的资源注册进内核，由内核统一管理，在驱动程序中使用这些资源时通过platform device提供的标准接口进行申请并使用。这样可以提高驱动和资源管理的独立性。本文的目的就是希望弄清楚platform device和driver之间的关系。  1.1

    全栈程序员-站长的头像 全栈程序员-站长
    2022年7月24日
    10
  • MATLAB GUI显示图片的方法

    MATLAB GUI显示图片的方法

    MATLAB GUI显示图片的方法前言　　在MATLAB的命令行中显示图片或者数据，十分简单，仅通过imshow,plot或者imagesc等函数即可。　　而在MATLABGUI中显示图片，通常需要借助Axes控件来实现。相比而言，多一些操作。在GUI中显示图片　　创建一个空白的界面　　在GUIDE中，添加一个按钮，然后再添加一个Axes控件，适当调整两者比例。然后在Button的回调函数中添加如下代码%…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年6月11日
    284
  • mybatis插入数据（无则插入有则更新）以及字段自增

    mybatis插入数据（无则插入有则更新）以及字段自增

    mybatis插入数据（无则插入有则更新）以及字段自增

    全栈程序员-站长的头像 全栈程序员-站长
    2021年8月3日
    84
  • Lambda表达式超详细总结

    Lambda表达式超详细总结

    Lambda表达式超详细总结在 2014 年 Oracle 发布了 Java8 在里面增加了 Lambda 模块 于是 Java 程序员们又多了一种新的编程方式 函数式编程

    全栈程序员-站长的头像 全栈程序员-站长
    2026年3月18日
    1

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号