1. 全栈程序员必看首页

优化算法——牛顿法(Newton Method)

全栈程序员-站长 • • 未分类 • 阅读 270

优化算法——牛顿法(Newton Method)一、牛顿法概述

大家好，又见面了，我是你们的朋友全栈君。

一、牛顿法概述

    除了前面说的梯度下降法，牛顿法也是机器学习中用的比较多的一种优化算法。牛顿法的基本思想是利用迭代点
优化算法——牛顿法(Newton Method)处的一阶导数(梯度)和二阶导数(Hessen矩阵)对目标函数进行二次函数近似，然后把二次模型的极小点作为新的迭代点，并不断重复这一过程，直至求得满足精度的近似极小值。牛顿法的速度相当快，而且能高度逼近最优值。牛顿法分为基本的牛顿法和全局牛顿法。

二、基本牛顿法

1、基本牛顿法的原理

    基本牛顿法是一种是用导数的算法，它每一步的迭代方向都是沿着当前点函数值下降的方向。
    我们主要集中讨论在一维的情形，对于一个需要求解的优化函数
优化算法——牛顿法(Newton Method)，求函数的极值的问题可以转化为求导函数
优化算法——牛顿法(Newton Method)。对函数
优化算法——牛顿法(Newton Method)进行泰勒展开到二阶，得到
优化算法——牛顿法(Newton Method)
对上式求导并令其为0，则为
优化算法——牛顿法(Newton Method)
即得到
优化算法——牛顿法(Newton Method)
这就是牛顿法的更新公式。

2、基本牛顿法的流程

  1. 给定终止误差值优化算法——牛顿法(Newton Method)，初始点优化算法——牛顿法(Newton Method)，令优化算法——牛顿法(Newton Method)；
  2. 计算优化算法——牛顿法(Newton Method)，若优化算法——牛顿法(Newton Method)，则停止，输出优化算法——牛顿法(Newton Method)；
  3. 计算优化算法——牛顿法(Newton Method)，并求解线性方程组得解优化算法——牛顿法(Newton Method)：优化算法——牛顿法(Newton Method)；
  4. 令优化算法——牛顿法(Newton Method)，优化算法——牛顿法(Newton Method)，并转2。

三、全局牛顿法

    牛顿法最突出的优点是收敛速度快，具有局部二阶收敛性，但是，基本牛顿法初始点需要足够“靠近”极小点，否则，有可能导致算法不收敛。这样就引入了全局牛顿法。

1、全局牛顿法的流程

  1. 给定终止误差值优化算法——牛顿法(Newton Method)，优化算法——牛顿法(Newton Method)，优化算法——牛顿法(Newton Method)，初始点优化算法——牛顿法(Newton Method)，令优化算法——牛顿法(Newton Method)；
  2. 计算优化算法——牛顿法(Newton Method)，若优化算法——牛顿法(Newton Method)，则停止，输出优化算法——牛顿法(Newton Method)；
  3. 计算优化算法——牛顿法(Newton Method)，并求解线性方程组得解优化算法——牛顿法(Newton Method)：优化算法——牛顿法(Newton Method)；
  4. 记优化算法——牛顿法(Newton Method)是不满足下列不等式的最小非负整数优化算法——牛顿法(Newton Method)：优化算法——牛顿法(Newton Method)；
  5. 令优化算法——牛顿法(Newton Method)，优化算法——牛顿法(Newton Method)，优化算法——牛顿法(Newton Method)，并转2。

2、Armijo搜索

    全局牛顿法是基于Armijo的搜索，满足Armijo准则：
给定
优化算法——牛顿法(Newton Method)，
优化算法——牛顿法(Newton Method)，令步长因子
优化算法——牛顿法(Newton Method)，其中
优化算法——牛顿法(Newton Method)是满足下列不等式的最小非负整数:
优化算法——牛顿法(Newton Method)

四、算法实现

    实验部分使用Java实现，需要优化的函数
优化算法——牛顿法(Newton Method)，最小值为
优化算法——牛顿法(Newton Method)。

1、基本牛顿法Java实现

package org.algorithm.newtonmethod;

/**
 * Newton法
 * 
 * @author dell
 * 
 */
public class NewtonMethod {
	private double originalX;// 初始点
	private double e;// 误差阈值
	private double maxCycle;// 最大循环次数

	/**
	 * 构造方法
	 * 
	 * @param originalX初始值
	 * @param e误差阈值
	 * @param maxCycle最大循环次数
	 */
	public NewtonMethod(double originalX, double e, double maxCycle) {
		this.setOriginalX(originalX);
		this.setE(e);
		this.setMaxCycle(maxCycle);
	}

	// 一系列get和set方法
	public double getOriginalX() {
		return originalX;
	}

	public void setOriginalX(double originalX) {
		this.originalX = originalX;
	}

	public double getE() {
		return e;
	}

	public void setE(double e) {
		this.e = e;
	}

	public double getMaxCycle() {
		return maxCycle;
	}

	public void setMaxCycle(double maxCycle) {
		this.maxCycle = maxCycle;
	}

	/**
	 * 原始函数
	 * 
	 * @param x变量
	 * @return 原始函数的值
	 */
	public double getOriginal(double x) {
		return x * x - 3 * x + 2;
	}

	/**
	 * 一次导函数
	 * 
	 * @param x变量
	 * @return 一次导函数的值
	 */
	public double getOneDerivative(double x) {
		return 2 * x - 3;
	}

	/**
	 * 二次导函数
	 * 
	 * @param x变量
	 * @return 二次导函数的值
	 */
	public double getTwoDerivative(double x) {
		return 2;
	}

	/**
	 * 利用牛顿法求解
	 * 
	 * @return
	 */
	public double getNewtonMin() {
		double x = this.getOriginalX();
		double y = 0;
		double k = 1;
		// 更新公式
		while (k <= this.getMaxCycle()) {
			y = this.getOriginal(x);
			double one = this.getOneDerivative(x);
			if (Math.abs(one) <= e) {
				break;
			}
			double two = this.getTwoDerivative(x);
			x = x - one / two;
			k++;
		}
		return y;
	}

}

 

2、全局牛顿法Java实现

package org.algorithm.newtonmethod;

/**
 * 全局牛顿法
 * 
 * @author dell
 * 
 */
public class GlobalNewtonMethod {
	private double originalX;
	private double delta;
	private double sigma;
	private double e;
	private double maxCycle;

	public GlobalNewtonMethod(double originalX, double delta, double sigma,
			double e, double maxCycle) {
		this.setOriginalX(originalX);
		this.setDelta(delta);
		this.setSigma(sigma);
		this.setE(e);
		this.setMaxCycle(maxCycle);
	}

	public double getOriginalX() {
		return originalX;
	}

	public void setOriginalX(double originalX) {
		this.originalX = originalX;
	}

	public double getDelta() {
		return delta;
	}

	public void setDelta(double delta) {
		this.delta = delta;
	}

	public double getSigma() {
		return sigma;
	}

	public void setSigma(double sigma) {
		this.sigma = sigma;
	}

	public double getE() {
		return e;
	}

	public void setE(double e) {
		this.e = e;
	}

	public double getMaxCycle() {
		return maxCycle;
	}

	public void setMaxCycle(double maxCycle) {
		this.maxCycle = maxCycle;
	}

	/**
	 * 原始函数
	 * 
	 * @param x变量
	 * @return 原始函数的值
	 */
	public double getOriginal(double x) {
		return x * x - 3 * x + 2;
	}

	/**
	 * 一次导函数
	 * 
	 * @param x变量
	 * @return 一次导函数的值
	 */
	public double getOneDerivative(double x) {
		return 2 * x - 3;
	}

	/**
	 * 二次导函数
	 * 
	 * @param x变量
	 * @return 二次导函数的值
	 */
	public double getTwoDerivative(double x) {
		return 2;
	}

	/**
	 * 利用牛顿法求解
	 * 
	 * @return
	 */
	public double getGlobalNewtonMin() {
		double x = this.getOriginalX();
		double y = 0;
		double k = 1;
		// 更新公式
		while (k <= this.getMaxCycle()) {
			y = this.getOriginal(x);
			double one = this.getOneDerivative(x);
			if (Math.abs(one) <= e) {
				break;
			}
			double two = this.getTwoDerivative(x);
			double dk = -one / two;// 搜索的方向
			double m = 0;
			double mk = 0;
			while (m < 20) {
				double left = this.getOriginal(x + Math.pow(this.getDelta(), m)
						* dk);
				double right = this.getOriginal(x) + this.getSigma()
						* Math.pow(this.getDelta(), m)
						* this.getOneDerivative(x) * dk;
				if (left <= right) {
					mk = m;
					break;
				}
				m++;
			}
			x = x + Math.pow(this.getDelta(), mk)*dk;
			k++;
		}
		return y;
	}
}

 

3、主函数

package org.algorithm.newtonmethod;

/**
 * 测试函数
 * @author dell
 *
 */
public class TestNewton {
	public static void main(String args[]) {
		NewtonMethod newton = new NewtonMethod(0, 0.00001, 100);
		System.out.println("基本牛顿法求解：" + newton.getNewtonMin());

		GlobalNewtonMethod gNewton = new GlobalNewtonMethod(0, 0.55, 0.4,
				0.00001, 100);
		System.out.println("全局牛顿法求解：" + gNewton.getGlobalNewtonMin());
	}
}

 

版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。

发布者：全栈程序员-站长，转载请注明出处：https://javaforall.net/138693.html原文链接：https://javaforall.net

赞 (1)
全栈程序员-站长的头像全栈程序员-站长
0 0


相关推荐

  • 总结一下SQL语句中引号()、quotedstr()、()、format()在SQL语句中的用法[通俗易懂]

    总结一下SQL语句中引号()、quotedstr()、()、format()在SQL语句中的用法[通俗易懂]

    总结一下SQL语句中引号()、quotedstr()、()、format()在SQL语句中的用法[通俗易懂]ViewCode总结一下SQL语句中引号(”)、quotedstr()、(””)、format()在SQL语句中的用法以及SQL语句中日期格式的表示(#)、(””)在Delphi中进行字符变量连接相加时单引号用(”””),又引号用(””””)表示首先定义变量varAnInt:integer=123;//为了方便在此都给它们赋初值。虽然可能在引赋初值在…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年10月17日
  • Spring AOP中的JDK和CGLib动态代理哪个效率更高？

    Spring AOP中的JDK和CGLib动态代理哪个效率更高？

    Spring AOP中的JDK和CGLib动态代理哪个效率更高？一、背景今天有小伙伴面试的时候被问到：SpringAOP中JDK和CGLib动态代理哪个效率更高？二、基本概念首先，我们知道SpringAOP的底层实现有两种方式：一种是JDK动态代理，另一种是CGLib的方式。自Java1.3以后，Java提供了动态代理技术，允许开发者在运行期创建接口的代理实例，后来这项技术被用到了Spring的很多地方。JDK动态代理主要涉及…

    全栈程序员-站长的头像 全栈程序员-站长
    2022年5月1日
  • <span>初识kafka</span>

    初识kafka

    初识kafka

    全栈程序员-站长的头像 全栈程序员-站长
    2021年11月27日
  • windows route add添加静态路由_centos route add

    windows route add添加静态路由_centos route add

    windows route add添加静态路由_centos route addWindowsrouteaddcommandfailed出现此错误需要管理员安装openvpn和管理员运行vpngui

    全栈程序员-站长的头像 全栈程序员-站长
    2022年8月11日
  • 数列所有公式大全_splay树

    数列所有公式大全_splay树

    数列所有公式大全_splay树请写一个程序，要求维护一个数列，支持以下 6 种操作：（请注意，格式栏 中的下划线 _ 表示实际输入文件中的空格）输入格式第 1 行包含两个数 N 和 M，N 表示初始时数列中数的个数，M 表示要进行的操作数目。第 2 行包含 N 个数字，描述初始时的数列。以下 M 行，每行一条命令，格式参见问题描述中的表格。输出格式对于输入数据中的 GET-SUM 和 MAX-SUM 操作，向输出文件依次打印结果，每个答案（数字）占一行。数据范围与约定你可以认为在任何时刻，数列中至少有 1 个数。输入

    全栈程序员-站长的头像 全栈程序员-站长
    2022年8月10日
  • linux内核编程指南_linux内核源码详解

    linux内核编程指南_linux内核源码详解

    linux内核编程指南_linux内核源码详解本章主要是as86与gas两种汇编语言的简要介绍，C语言与汇编语言的相互嵌套，目标文件的结构与及makefile文件的简要语法。　　１，as86汇编的简要语法及命令可以参考http://blog.csdn.net/astraylinux/article/details/7301596　　２，gas汇编与intel汇编的主要区别:（具体语法参考：http://blog.csdn.net/as

    全栈程序员-站长的头像 全栈程序员-站长
    2022年10月8日

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注全栈程序员社区公众号