梯度为零，即某变量沿某方向的变化率为零。
梯度相当于多维的导数，导数是表示变化率的，导数为零表示常量。
同样，某变量沿边界的梯度方向的偏导数为零，即这一变量沿这一方向的变化率为零。
梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。
梯度下降和随机梯度下降之间的关键区别：
1.标准梯度下降是在权值更新前对所有样例汇总误差，而随机梯度下降的权值是通过考查某个训练样例来更新的；
2.标准梯度下降中，权值更新的每一步对多个样例求和，需要更多的计算；
3.标准梯度下降，由于使用真正的梯度，标准梯度下降对于每一次权值更新经常使用比随机梯度下降大的步长；
4.标准误差曲面有多个局部极小值，随机梯度下降有时可能避免陷入这些局部极小值中。
梯度向量的本意是一个矢量，表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。
因为梯度向量存在垂直于平面的法线，因此梯度向量是法向量。
法向量是空间解析几何的一个概念，垂直于平面的直线所表示的向量为该平面的法向量。
由于空间内有无数个直线垂直于已知平面，因此一个平面都存在无数个法向量。