梯度下降算法研究综述

摘 要: 在机器学习领域中，梯度下降算法是一种广泛用于求解线性和非线性模型最优解的迭代算法，它的中心 思想在于通过迭代次数的递增，调整使得损失函数最小化的权重。本文首先概述了基于多元线性模型的梯度下降算法； 其次介绍了梯度下降算法三种框架，使用Python实现了自主停止训练的BGD算法；针对梯度下降算法存在的不足，综 述了近三年算法优化的研究成果。最后，总结了本文的主要研究工作,对梯度下降优化算法的研究趋势进行了展望。