深度解读机器学习“梯度下降”

人工智能机器学习

浏览数:332

2019-8-29

梯度下降是机器学习中用来求最小值的算法,它被广泛应用于像逻辑回归、线性回归和神经网络的模型中。

一、全局误差函数

要了解为什么使用“梯度下降法”去求最小值,必须先知道机器学习求得模型的方式。比如现在有一份线性数据的关系,假设他的模型为线性,w为权值(随机),b为偏置,e为假设的“误差”:

假设拟合模型

我们把这个方程做一下变换,得到关于真实值和模型拟合值的误差

公式转换

上面只是关于一个数据的误差,接下来对所有数据的误差进行一次加和,然后再平方。得到一个所有真实值与拟合值误差的平方函数,将其定义为“全局性误差函数”loss

误差函数loss

我们回过头去想,机器学习的目的就是拟合出一个可以准确描述这组数据的模型。按照上面的公式来看,如果令“Loss=0”,也就是令所有真实值与拟合值误差的平方为零,就等于说这个模型是可以准确描述真实世界数据的。而让Loss为零时的w与b,就是描述这个模型的参数

至于为什么要进行平方处理,是应用了最小二乘的思想。我们本来是想找到一个合适的模型,对此构建了一个真实值与拟合值的“平方差模型”,找到了这个平方差模型的解,也就等于是找到了我们需要的“拟合模型”

本质上,我们是通过上面的方式,把一个求模型的问题,转换成了一个函数求解“最小值”的数学问题。那么问题来了,如何找到这个函数中的最小值,就是“梯度下降”所解决的问题。

二、梯度下降法

问题变成了求解一个函数模型的最小值问题,要用到高等数学里关于“导数”的一系列概念和知识作为铺垫。想理解何为梯度,梯度是如何一步一步如何求得这个函数的最小值,就必须从他开始

2.1梯度的定义

·导数

导数反映在下图,是曲线上的某个点沿x轴正方向的变化率(即切线)。

导数

·偏导数

偏导数本质上与导数一样,都是当自变量变化的时候,函数值的变化量与自变量变化值的比值(即某个点沿x轴正方向的变化率)。不同在于导数描述的一元函数,而偏导描述的是多元函数

·方向导数

方向导数与导数和偏导不同在于,它描述的是一个多元函数,在任意方向上的变化率。方向导数既有数值,也有方向(不再仅仅是正方向一个方向)。

·梯度

那么问题来了,你想不想知道在这个点的n多个方向导数中,哪个是下降的方向变化是最大的,哪个是上升的方向变化最大的。这就引出了对“梯度”的定义:

梯度,即函数在某个点的一个向量,它的方向与取得最大方向导数的方向一致,模为该方向导数的最大值。

梯度与方向导数的关系,可以理解为它是方向导数中两个极端的“子集”,因为方向导数可以说有无数个方向,而梯度就是两个上升和下降变化率最大的两个方向

2.2梯度下降法

(1)核心思想

理解了全局性误差函数模型和对梯度的定义,让我们来看看梯度下降是怎么找到函数最小值的。

梯度下降的核心思想为:当你在一个模型中随机选取了一个点并求得该点的Loss,此时你的目的是找到让Loss等于或最接近零的点,你为了让loss减小,就要寻找下一个能让这个loss下降最多的点。但如果对所有的方向依次试一遍,那工作量实在是太大了!这时候就可以引入“梯度”来解决这个问题

我们已经知道梯度是某个点的“最大方向导数”,如果沿着“梯度负方向”,也就是沿着这个点在模型中“下降最多方向”的方向导数,就最有可能以最快的速度找个“最小值”点。

梯度下降

可以借着上面的图,想象自己在一个山上的点,你想要下山的话,环顾一下四周,沿着一个最最陡峭的方向挪一下,又到了一个点,继续环顾四周,找到当前最陡峭的方向,继续挪……梯度下降就是这样一个过程

(2)局部最优

当然,即时是沿着“负向”梯度方向,也不一定能保证所到达的点一定是全局最优解。目前几乎所有的实用算法,都不能像上帝视角一样保证每次都能找到全局最优解。不过即使是“局部最优”,也能解决很大问题了。

(3)梯度下降公式

梯度下降算法的公式如下:

梯度下降算法公式

公式依次代表为“下次迭代的点”、“目前所在的点”、“学习率”和“最大负向梯度”。按照这个公式,每次迭代都会根据上次的步长减去学习率乘以“梯度”的值,去一步一步更新,这样能可以每次迭代都朝着最大负方向去迭代。

(4)学习率

让我们来看看学习率a代表什么。它直接决定着每次更新的挪动大小。

如果a太小,那么每次挪动的距离只会一点一点挪动,这样就需要很多步才能到达最低点。

如果a太大,那么梯度下降法可能会越过最低点,甚至可能“无法收敛”都不一定哦。因为你每次挪动的距离都很大,这次越过了一个最低点,下次又越过了一次最低点,直到越过所有“最低点”,那么你就永远都找不到“局部最优解”了,也就发散了

(5)自动减小幅度值

梯度下降法还有一个优势,就是越接近最小值的时候,梯度下降法会自动调整更新的幅度,这是因它的公式本身而决定的,以下图为例,假设我最开始在取值在函数中的最高点(粉红色),那么很显然每次下降之后的点,梯度都会变得越来越小。

梯度下降步骤(由上至下)

当你接近局部最优解的时候,很显然在局部最低时导数等于零,当接近局部最优解时,导数值(即公式的最后一部分)会变得越来越小,所以梯度下降将自动采取较小的幅度。很神奇有木有,你都不用刻意去调整学习率a的值,梯度下降法会自动保证不越过最低点

作者:没名字的蓝猫