神经网络之梯度下降法及其实现

作用就是，在反向传播过程中，最佳的降低残差（loss），更好的实现参数的更新（w,b）
本文将从一个下山的场景开始，先提出梯度下降算法的基本思想，进而从数学上解释梯度下降算法的原理，最后实现一个简单的梯度下降算法的实例！

一、梯度下降的场景假设

梯度下降的基本过程就和下山的场景很类似
首先，我们有一个可微分的函数。这个函数就代表着一座山。我们的目标就是找到这个函数的最小值，也就是山底。根据之前的场景假设，最快的下山的方式就是找到当前位置最陡峭的方向，然后沿着此方向向下走，对应到函数中，就是找到给定点的梯度 ，然后朝着梯度相反的方向，就能让函数值下降的最快！因为梯度的方向就是函数之变化最快的方向(在后面会详细解释)
所以，我们重复利用这个方法，反复求取梯度，最后就能到达局部的最小值，这就类似于我们下山的过程。而求取梯度就确定了最陡峭的方向，也就是场景中测量方向的手段。那么为什么梯度的方向就是最陡峭的方向呢？接下来，我们从微分开始讲起

二、梯度

1. 微分
   看待微分的意义，可以有不同的角度，最常用的两种是：
   
   

函数图像中，某点的切线的斜率 函数的变化率 

2. 梯度：梯度实际上就是多变量微分的一般化

我们可以看到，梯度就是分别对每个变量进行微分，然后用逗号分割开，梯度是用<>包括起来，说明梯度其实一个向量
梯度是微积分中一个很重要的概念，之前提到过梯度的意义

在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率
在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向

这也就说明了为什么我们需要千方百计的求取梯度！我们需要到达山底，就需要在每一步观测到此时最陡峭的地方，梯度就恰巧告诉了我们这个方向。梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向就是函数在给定点下降最快的方向，这正是我们所需要的。所以我们只要沿着梯度的方向一直走，就能走到局部的最低点！

三、梯度下降算法的数学解释

α是什么含义？
α 在梯度下降算法中被称作为学习率(learning_rate)或者步长，意味着我们可以通过α来控制每一步走的距离，以保证不要步子跨的太大扯着蛋，哈哈，其实就是不要走太快，错过了最低点。同时也要保证不要走的太慢，导致太阳下山了，还没有走到山下。所以α的选择在梯度下降法中往往是很重要的！α不能太大也不能太小，太小的话，可能导致迟迟走不到最低点，太大的话，会导致错过最低点！

为什么要梯度要乘以一个负号？
梯度前加一个负号，就意味着朝着梯度相反的方向前进！我们在前文提到，梯度的方向实际就是函数在此点上升最快的方向！而我们需要朝着下降最快的方向走，自然就是负的梯度的方向，所以此处需要加上负号

四、梯度下降算法的实例

我们已经基本了解了梯度下降算法的计算过程，那么我们就来看几个梯度下降算法的小实例，首先从单变量的函数开始

1. 单变量函数的梯度下降
   
   
   如图，经过四次的运算，也就是走了四步，基本就抵达了函数的最低点，也就是山底
   

   
   
   
   
   
   
   
   

2. 多变量函数的梯度下降
   我们假设有一个目标函数
   
   现在要通过梯度下降法计算这个函数的最小值。我们通过观察就能发现最小值其实就是 (0，0)点。但是接下来，我们会从梯度下降算法开始一步步计算到这个最小值！
   我们假设初始的起点为：
   
   
   
   我们发现，已经基本靠近函数的最小值点
   

   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   
   

五、梯度下降算法的实现

import numpy as np # Size of the points dataset. m = 20 # Points x-coordinate and dummy value (x0, x1). X0 = np.ones((m, 1)) X1 = np.arange(1, m+1).reshape(m, 1) X = np.hstack((X0, X1)) # Points y-coordinate y = np.array([ 3, 4, 5, 5, 2, 4, 7, 8, 11, 8, 12, 11, 13, 13, 16, 17, 18, 17, 19, 21 ]).reshape(m, 1) # The Learning Rate alpha. alpha = 0.01 

接下来我们以矩阵向量的形式定义代价函数和代价函数的梯度：

def error_function(theta, X, y): '''Error function J definition.''' diff = np.dot(X, theta) - y return (1./2*m) * np.dot(np.transpose(diff), diff) def gradient_function(theta, X, y): '''Gradient of the function J definition.''' diff = np.dot(X, theta) - y return (1./m) * np.dot(np.transpose(X), diff) 

最后就是算法的核心部分，梯度下降迭代计算：

def gradient_descent(X, y, alpha): '''Perform gradient descent.''' theta = np.array([1, 1]).reshape(2, 1) gradient = gradient_function(theta, X, y) while not np.all(np.absolute(gradient) <= 1e-5): theta = theta - alpha * gradient gradient = gradient_function(theta, X, y) return theta 

当梯度小于1e-5时，说明已经进入了比较平滑的状态，类似于山谷的状态，这时候再继续迭代效果也不大了，所以这个时候可以退出循环！

完整代码：

import numpy as np m = 20 x0 = np.ones((m,1)) # 设置一个 m 行 1 列 的矩阵，元素均为1 x1 = np.arange(1,m+1).reshape(m,1) x = np.hstack((x0,x1)) # 横向堆叠x0 和 x1 两个矩阵 # y 是设定的数据集，使训练数据靠拢 y  y = np.array([ 3,4,5,5,2,4,7,8,11,8,12,\ 11,13,13,16,17,18,17,19,21]).reshape(m,1) alpa = 0.01 # 定义 learning_rate # 定义代价函数,相当于 Jθ def error_function(theta,x,y): # np.dot(X,theta)表示里面的两个矩阵相乘的积 diff = np.dot(x,theta) - y # np.transpose(diff) 表示矩阵的转置 return (1./2*m)*np.dot(np.transpose(diff),diff) # 定义梯度 def gradient_function(theta,x,y): diff = np.dot(x,theta) - y return (1./m)*np.dot(np.transpose(x),diff) # 梯度下降迭代计算 def gradient_descent(x,y,alpa): # theta 相当于预测函数 theta = np.array([1,1]).reshape(2,1) gradient = gradient_function(theta,x,y) # np.absolute 对其中的矩阵元素取绝对值 # np.all() 所有的元素 while not np.all(np.absolute(gradient)<=1e-5): theta = theta - alpa*gradient gradient = gradient_function(theta,x,y) return theta optimal = gradient_descent(x,y,alpa) print('optimal:',optimal) print('error function:',error_function(optimal,x,y)[0,0])