梯度下降法（英语：Gradient descent）是一个最优化算法，通常也称为最速下降法。

梯度下降法，基于这样的观察：如果实值函数在点处可微且有定义，那幺函数在点沿着梯度相反的方向 下降最快。

因而，如果

对于为一个够小数值时成立，那幺。

考虑到这一点，我们可以从函数的局部极小值的初始估计出发，并考虑如下串行 使得

In optimization, gradient method is an algorithm to solve problems of the form

with the search directions defined by the gradient of the function at the current point. Examples of gradient method are the gradient descent and the conjugate gradient.