梯度下降是通过迭代搜索一个函数极小值的优化算法。使用梯度下降，寻找一个函数的局部极小值的过程起始于一个随机点，并向该函数在当前点梯度（或近似梯度）的反方向移动。梯度下降算法是一种非常经典的求极小值的算法。
比如逻辑回归可以用梯度下降进行优化，因为这两个算法的损失函数都是严格意义上的凸函数，即存在全局唯一极小值，较小的学习率和足够的迭代次数，一定可以达到最小值附近，满足精度要求是完全没有问题的。并且随着特征数目的增多，梯度下降的效率将远高于去解析标准方程的逆矩阵。
常用的梯度下降法有3种不同的形式：
（1）批量梯度下降法，简称BGD，使用所有样本，比较耗时。
（2）随机梯度下降法，简称SGD，随机选择一个样本，简单高效。
（3）小批量梯度下降法，简称MBGD，使用少量的样本，这是一个折中的办法。
机梯度下降法优点：
1、更容易跳出局部最优解。
2、具有更快的运行速度。
Copyright © 2019- sceh.cn 版权所有 湘ICP备2023017654号-4
违法及侵权请联系：TEL:199 1889 7713 E-MAIL:2724546146@qq.com
本站由北京市万商天勤律师事务所王兴未律师提供法律服务
