泛型约束类型有哪些
机器学习需要哪些数学基础？
机器学习需要哪些数学基础？
对于搞机器学习的同学来说，高等数学、线性代数和概率论与数理统计是最重要的三门的数学基础了。下面我来分别说明这三方面在机器学习中的作用
一. 高等数学高等数学里面的微积分、牛顿迭代、拉格朗日乘数法、泰勒展开等等知识点在机器学习中都有应用到。例如在逻辑回归模型求梯度时候需要求偏导、优化目标使用的牛顿迭代方法、带约束优化问题的SVM需要用到拉格朗日乘数法等等，还有其它高等数学的知识点在机器学习中或多或少都有体现。
二. 线性代数推荐系统使用的SVD分解、张量分解、非负矩阵分解NMF，PCA主成分分析中求特征值、矩阵运算。下面我贴一下之前我用矩阵求导解最小二乘问题的公式推导过程，可以体会一下线性代数的重要程度。
最小二乘的解，可以通过梯度下降迭代或牛顿迭代方法求解，但也可以基于矩阵求导来计算，它的计算方式更加简洁高效，不需要大量迭代，只需解一个正规方程组。
总之，线性代数对于机器学习来说比高数还重要。
三. 概率论与数理统计概率论与数理统计那就更重要了，比如朴素贝叶斯分类和概率图模型用到的贝叶斯公式，高斯过程、最大熵模型，采样方法，NLP领域的大部分算法都与概率论相关，像基于LDA的主题模型、基于CRF的序列标注模型、分词系统等等。
所以要搞机器学习，高等数学、线性代数和概率论与数理统计都是必不可少的数学基础。