详解梯度下降法的三种形式BGD,SGD以及MBGD本篇文章目录如下:批量梯度下降法BGD原理讲解随机梯度下降法SGD原理讲解小批量梯度详解MBGD原理讲解具体实例以及三种实现方式代码详解三种梯度下降法的总结在应用机器学习算法时,我们通常采用梯度下降法来对采用的算法进行训练。其实,常用的梯度下降法还具体包含有三种不同的形式,它们也各自有着不同的优缺点。下面我们以线性回归算法来对三种梯度下降法进行比较。一般线性回归函数的假设函数为:对应的损失函数为:(这里的1/2是为了后面求导计算方便)下图作为一个二维参数(theta0,theta1)组对应能量函数的可视化图:下面我们来分别讲解三种梯度下降法批量梯度下降法BGD我们的目的是要误差函数尽可能的小,即求解weights使误差函数尽可能小。首先,我们随机初始化weigths,然后不断反复的更新weights使得误差函数减小,直到满足要求时停止。这里更新算法我们选择梯度下降算法,利用初始化的weights并且反复更新weights:这里代表学习率,表示每次向着J最陡峭的方向迈步的大小。为了更新weights,我们需要求出函数J的偏导数。首先当我们只有一个数据点(x,y)的时候,J的偏导数是:则对所有数据点,上述损失函数的偏导(累和)为:再最小化损失函数的过程中,需要不断反复的更新weights使得误差函数减小,更新过程如下:那么好了,每次参数
...
继续阅读
(15)