梯度下降和随机梯度下降之间的关键区别：
1.标准梯度下降是在权值更新前对所有样例汇总误差，而随机梯度下降的权值是通过考查某个训练样例来更新的；
2.标准梯度下降中，权值更新的每一步对多个样例求和，需要更多的计算；
3.标准梯度下降，由于使用真正的梯度，标准梯度下降对于每一次权值更新经常使用比随机梯度下降大的步长；
4.标准误差曲面有多个局部极小值，随机梯度下降有时可能避免陷入这些局部极小值中。
涕：涕泪，眼泪。
可见杜甫的《闻官军收河南河北》。
递：快递，又名速递，是兼有邮递功能的门对门物流活动，即指快递公司通过铁路、公路和空运等交通工具，对客户货物进行快速投递。
第：门第是一个汉语词语，有三种含义分别是家世；后指显贵之家，指家庭或家族被认可的程度。
剃：剃发，指修理头发。
梯：梯子，日常生活用具，由两根长粗杆子做边，中间横穿适合攀爬的横杆，用于爬高。
鹈：鹈鹕，鹈鹕属8种水禽的统称。
梯度为零，即某变量沿某方向的变化率为零。
梯度相当于多维的导数，导数是表示变化率的，导数为零表示常量。
同样，某变量沿边界的梯度方向的偏导数为零，即这一变量沿这一方向的变化率为零。
梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。