title: 最小二乘、极大似然、梯度下降有何区别？
desc: 求回归模型的系数的方法中，看到这三个算法说的比较多，请问其区别是什么？<br>另外，logistic回归，其系数求解不是用极大似然吗，怎么看很多机器学习的书，用的是梯度下降呢？<br><br>“算法”一次用错，抱歉，请忽略，姑且把这三种都称为“方法”，Andrew Ng在机器学习的第二课说到参数估计可以用最小二乘法也可以用梯度下降法。<br>
topic: 数学
content: 推导关系：极大似然最小二乘梯度下降 题主有没有想过，为什么用最小二乘（求残差平方和最小值）来拟合函数？残差可以理解，那为什么是平方和，而不是绝对值或者四次方和？对此，极大似然可以完美解释。为大量独立样本线性拟合，根据中心极限定理可知，其残差呈高斯分布。也就是说，X确定时，y的可能性呈高斯分布。这时，对于给定的参数，我们可以求出PyX，表示使用这组的情况下，给定一组X，得出这组y的可能性。