梯度下降使用Python和NumPy问题,怎么解决
发布网友
共1个回答
热心网友
它遵循LMS（Least Mean Square是）准则，该准则是通过使似然函数最大推导得出，即得出的参数使得样本数据集出现的概率最大。常用的迭代方法有两种：批量梯度下降法（Batch Gradient Descent）和随机梯度下降法（Stochastic Gradient Descent）。梯度下降算法对局部极值敏感，但是对于线性回归问题只有整体极值，没有局部极值，所以在这种情况下，算法总是收敛的。对于随机梯度下降算法，其收敛速度要快于批量梯度下降算法，但是它在最小值附近震荡的幅度较大，所以可能不会收敛于true minimum
