[算法学习] 机器学习必备技能 - 数学基础

[算法学习] 机器学习必备技能 数学基础 [算法学习] 机器学习必备技能 数学基础 Modified December 10, 2025 3082 3214 14. 流行的分布函数 高斯分布、倾斜分布、非倾斜分布：概率分布函数（通常称为 PDF）对于查看数据分布至关重要，因为线性回归之类的算法可以很好处理来自高斯分布的输入数据。 15. 最大似然估计 (MLE) 逻辑回归算法使用基于 MLE 方法的特定类型的成本函数。 三、统计学 机器学习是统计的另一种形式，我们可以利用统计学来预估数据规律。这种规律可以是从数据中查找平均值或通过预测隐藏模式以更复杂的形式查找得到。比如，假设我们给你一个公司同职位的10个人的工资，并要求你预测第11个人的工资；你会怎么预测？比如平均数，这种预估方法是对的，但这个平均值可能与实际数字差距非常大。使用机器学习，我们可以尝试缩小预测值与实际值之间的差距。因此，机器学习只是统计的另一种形式。我们在统计学中可以关注的主题主要是数据汇总技术，例如： 16. 平均值 平均值是数据值的平均值。平均值在机器学习中的使用可以在对特征进行归一化、计算 R² 值等情况下找到。有关使用均值的回归模型的归一化和评估指标的博客参考可以在相应的链接中找到。 17. 中位数 中位数表示数据中按升序或降序排列的中间元素。将数据样本划分为等间隔或四分位数范围 (IQR) 时，它很有用。直接用例之一可以在用于数据分析的箱线图中找到。 18. 众数 众数是数据样本中出现频率最高的数字，总结了有关频繁出现的元素的数据，这些数据可用于机器学习以查找哪个或者哪类样本在数据集中占主导地位。在分类问题的情况下，如果模式表明某个类别占主导地位，那么 ML 模型可能始终会预测该类别。 四、微积分 微积分也是机器学习中重要的数学主题。大部分用途可以在训练机器学习模型时找到，因为它是几乎所有优化算法的不变部分。例如，在梯度下降算法中，我们使用成本函数的导数来感知更新参数的方向（+ve或 ve）。下面是一些微积分领域下需要掌握的概念。 19. 函数基础知识 函数是机器学习的核心部分，甚至出现在 ML 的定义里，在输入和输出数据之间映射出函数。例如根据线性或多项式回归算法中提到的次数来拟合多项式。 Degree1:θ 1 ∗x+θ 0 Degree2:θ 2 ∗X 2 +θ 1 ∗x+θ 0 20. 连续函数和离散函数 在机器学习中，通常会涉及使用函数的导数（权重）。为了检查一个函数是否可微，我们需要检查它的连续性。因此，了解连续函数和离散函数的属性有助于确定函数是否适合我们的用例。例如，连续性是人工神经网络中任何激活函数的关键属性。查看有关激活函数的博客以了解更多详细信息。 21. 微分基础 函数微分在机器学习中至关重要，我们在所有算法中都需要它，因为我们根据成本函数的导数来估计增加/减少参数值的方向。现在Python 库可以立即提供这些值，但了解这些数学概念可以帮助设计或调试复杂的方法。 22. 复合函数和链式法则 在神经网络中进行反向传播时，我们需要使用链式法则来更新所有参数。这种情况是因为输出层的成本函数变成了复合函数，而求成本函数导数的唯一方法是使用链式法则。 23. 偏导数 在机器学习中，机器需要学习的参数可能不止一个。但是为了检查一个参数对整体成本函数的影响，我们需要考虑成本函数对所有单独参数的偏导数。在偏导数中，我们只将一个参数视为变量，其余参数保持不变。偏导数的更详细使用可以在这些博客中找到： [算法学习] 从0开始掌握反向传播算法 24. 傅立叶级数 傅立叶级数是周期函数在正弦和余弦函数方面的展开。我们可以在数据分析和绘制安德鲁斯曲线中找到它的直接用途。 25. 矩阵微分 在深度学习模型中，参数数量可达数十亿。在这种情况下，将不可能计算所有单独参数的偏导数。因此会用到基于矩阵的微分来逐层计算导数，而不是针对每个元素单独微分。 五、图论 图论的概念是机器学习的基础。在训练 ML 模型时，我们会绘制曲线来检查损失在后续时期/迭代中是否减少。还会使用图形表示来展示数据中不同类型的分析，以提取更有意义的信息。因此，图论是机器学习管道所有阶段中都存在的另一个概念。 线性函数和方程 当我们学习 ML 时，有关线性方程和函数的知识至关重要，因为大多数算法都会讨论斜率/梯度以及 θ1 X + θ0 等方程，其中需要知道 θ1 和 θ0 的值。 26. 非线性和离散图的形成 在对数据集进行多项式拟合的情况下，甚至在机器学习中的分段学习的情况下，我们可以找到非线性和离散函数的用例。为了检查拟合的精细度，我们需要绘制曲线来检查 Y 的预测值是否与实际值重叠。 27. 抛物线方程： MSE（均方误差）等成本函数专门设计为抛物线形式，寻找最小值会变得非常简单。另一个优点是它只能有一个最小值，因此优化器可以轻松找到与该最小值相对应的参数。 Code block Python MSE = Σ (Y' Y)^2, Y' = Predicted Value of Y and Y is the actual value of Y 28. 高阶多项式和指数： 我们可以在数据集的许多地方找到拟合的高阶多项式。甚至可以在 Sigmoid 激活函数和基本 ML 算法逻辑回归的内联工作中找到指数。要彻底理解这些算法，必须了解 logit 函数的工作原理。 29. Tanh、Sigmoid 等函数和自定义图形形式 Tanh、Sigmoid、Relu 和其他指数曲线等曲线的知识可以帮助确定 ANN 中正确的激活函数。激活函数必须遵循一些属性，例如有界和零中心。借助图形知识，我们可以很容易地感觉到函数具备的属性。 是否必须先学习所有这些概念，然后才能开始研究 ML ？ 在研究机器学习底层原理时，我们会经常遇到这些数学概念。它不是开始机器学习的先决条件。一般来说，学习者会先从成为 ML 用户到开始学习 ML，然后根据兴趣程度深入了解 ML 领域。因此，数学绝对不是机器学习的先决条件，但如想在这个领域发展专业，这些概念是必不可少的。 回归模型的 归一化 有关激活函数的博客 [[算法学习] 从0开始掌握反向传播算法](https://waytoagi.feishu.cn/wiki/XhFDwymwMiEMT6kkSCKc3LKinHd) 14. 流行的分布函数 高斯分布、倾斜分布、非倾斜分布：概率分布函数（通常称为 PDF）对于查看数据分布至关重要，因为线性回归之类的算法可以很好处理来自高斯分布的输入数据。 15. 最大似然估计 (MLE) 逻辑回归算法使用基于 MLE 方法的特定类型的成本函数。 三、统计学 机器学习是统计的另一种形式，我们可以利用统计学来预估数据规律。这种规律可以是从数据中查找平均值或通过预测隐藏模式以更复杂的形式查找得到。比如，假设我们给你一个公司同职位的10个人的工资，并要求你预测第11个人的工资；你会怎么预测？比如平均数，这种预估方法是对的，但这个平均值可能与实际数字差距非常大。使用机器学习，我们可以尝试缩小预测值与实际值之间的差距。因此，机器学习只是统计的另一种形式。我们在统计学中可以关注的主题主要是数据汇总技术，例如： 16. 平均值 平均值是数据值的平均值。平均值在机器学习中的使用可以在对特征进行归一化、计算 R² 值等情况下找到。有关使用均值的回归模型的归一化和评估指标的博客参考可以在相应的链接中找到。 回归模型的 归一化 17. 中位数 中位数表示数据中按升序或降序排列的中间元素。将数据样本划分为等间隔或四分位数范围 (IQR) 时，它很有用。直接用例之一可以在用于数据分析的箱线图中找到。 18. 众数 众数是数据样本中出现频率最高的数字，总结了有关频繁出现的元素的数据，这些数据可用于机器学习以查找哪个或者哪类样本在数据集中占主导地位。在分类问题的情况下，如果模式表明某个类别占主导地位，那么 ML 模型可能始终会预测该类别。 四、微积分 微积分也是机器学习中重要的数学主题。大部分用途可以在训练机器学习模型时找到，因为它是几乎所有优化算法的不变部分。例如，在梯度下降算法中，我们使用成本函数的导数来感知更新参数的方向（+ve或 ve）。下面是一些微积分领域下需要掌握的概念。 19. 函数基础知识 函数是机器学习的核心部分，甚至出现在 ML 的定义里，在输入和输出数据之间映射出函数。例如根据线性或多项式回归算法中提到的次数来拟合多项式。 Degree1:θ 1 ∗x+θ 0 Degree2:θ 2 ∗X 2 +θ 1 ∗x+θ 0 20. 连续函数和离散函数 在机器学习中，通常会涉及使用函数的导数（权重）。为了检查一个函数是否可微，我们需要检查它的连续性。因此，了解连续函数和离散函数的属性有助于确定函数是否适合我们的用例。例如，连续性是人工神经网络中任何激活函数的关键属性。查看有关激活函数的博客以了解更多详细信息。 有关激活函数的博客 21. 微分基础 函数微分在机器学习中至关重要，我们在所有算法中都需要它，因为我们根据成本函数的导数来估计增加/减少参数值的方向。现在Python 库可以立即提供这些值，但了解这些数学概念可以帮助设计或调试复杂的方法。 22. 复合函数和链式法则 在神经网络中进行反向传播时，我们需要使用链式法则来更新所有参数。这种情况是因为输出层的成本函数变成了复合函数，而求成本函数导数的唯一方法是使用链式法则。 23. 偏导数 在机器学习中，机器需要学习的参数可能不止一个。但是为了检查一个参数对整体成本函数的影响，我们需要考虑成本函数对所有单独参数的偏导数。在偏导数中，我们只将一个参数视为变量，其余参数保持不变。偏导数的更详细使用可以在这些博客中找到： [算法学习] 从0开始掌握反向传播算法 [[算法学习] 从0开始掌握反向传播算法](https://waytoagi.feishu.cn/wiki/XhFDwymwMiEMT6kkSCKc3LKinHd) 24. 傅立叶级数 傅立叶级数是周期函数在正弦和余弦函数方面的展开。我们可以在数据分析和绘制安德鲁斯曲线中找到它的直接用途。 25. 矩阵微分 在深度学习模型中，参数数量可达数十亿。在这种情况下，将不可能计算所有单独参数的偏导数。因此会用到基于矩阵的微分来逐层计算导数，而不是针对每个元素单独微分。 五、图论 图论的概念是机器学习的基础。在训练 ML 模型时，我们会绘制曲线来检查损失在后续时期/迭代中是否减少。还会使用图形表示来展示数据中不同类型的分析，以提取更有意义的信息。因此，图论是机器学习管道所有阶段中都存在的另一个概念。 线性函数和方程 当我们学习 ML 时，有关线性方程和函数的知识至关重要，因为大多数算法都会讨论斜率/梯度以及 θ1 X + θ0 等方程，其中需要知道 θ1 和 θ0 的值。 26. 非线性和离散图的形成 在对数据集进行多项式拟合的情况下，甚至在机器学习中的分段学习的情况下，我们可以找到非线性和离散函数的用例。为了检查拟合的精细度，我们需要绘制曲线来检查 Y 的预测值是否与实际值重叠。 27. 抛物线方程： MSE（均方误差）等成本函数专门设计为抛物线形式，寻找最小值会变得非常简单。另一个优点是它只能有一个最小值，因此优化器可以轻松找到与该最小值相对应的参数。 28. 高阶多项式和指数： 我们可以在数据集的许多地方找到拟合的高阶多项式。甚至可以在 Sigmoid 激活函数和基本 ML 算法逻辑回归的内联工作中找到指数。要彻底理解这些算法，必须了解 logit 函数的工作原理。 29. Tanh、Sigmoid 等函数和自定义图形形式 Tanh、Sigmoid、Relu 和其他指数曲线等曲线的知识可以帮助确定 ANN 中正确的激活函数。激活函数必须遵循一些属性，例如有界和零中心。借助图形知识，我们可以很容易地感觉到函数具备的属性。 是否必须先学习所有这些概念，然后才能开始研究 ML ？ 在研究机器学习底层原理时，我们会经常遇到这些数学概念。它不是开始机器学习的先决条件。一般来说，学习者会先从成为 ML 用户到开始学习 ML，然后根据兴趣程度深入了解 ML 领域。因此，数学绝对不是机器学习的先决条件，但如想在这个领域发展专业，这些概念是必不可少的。 💡 作者：吵爷 由于库和框架的支持不断增加，机器学习开始变得越来越流行。我们现在很容易在所有领域找到人工智能和机器学习的应用。然而，通过库和框架使用人工智能，并不足以让我们成为机器学习领域的所谓”专业人士“。有编码框架的支持直接套用固然很方便，但要实现落地AI行业；我们必须了解这些代码背后的逻辑。 一旦我们取消了现有框架的支持，了解这些框架背后的数学细节，编写这些算法中包含的复杂模式就会显得非常重要。可以参照上面的图例，我们至少需要了解概率、统计、线性代数、微积分和图论方面的知识。 作者：吵爷 由于库和框架的支持不断增加，机器学习开始变得越来越流行。我们现在很容易在所有领域找到人工智能和机器学习的应用。然而，通过库和框架使用人工智能，并不足以让我们成为机器学习领域的所谓”专业人士“。有编码框架的支持直接套用固然很方便，但要实现落地AI行业；我们必须了解这些代码背后的逻辑。 一旦我们取消了现有框架的支持，了解这些框架背后的数学细节，编写这些算法中包含的复杂模式就会显得非常重要。可以参照上面的图例，我们至少需要了解概率、统计、线性代数、微积分和图论方面的知识。 如何利用数学成为机器学习领域的专家 有了具体的数学知识，我们就可以充分利用机器学习的潜力，在我们感兴趣的所有领域内构建各种各样有趣的应用程序。比如： • 凭借算法背后的内联数学知识，为数据集选择最佳算法。 • 利用正则化器背后的数学知识帮助解决模型过拟合或高方差问题。 • 利用图论的知识来分析数据特征之间更复杂的关系。 • 利用优化器背后的数学知识来设计适当的成本函数。 机器学习需要什么水平的数学知识？ 这个问题的答案相对比较主观，取决于每个人的具体需求。比如我们正在进行机器学习的底层研究，可能需要具有深厚的数学知识，因为研究要求彻底深入。但对单纯的应用者来说，我们可能不需要任何高等数学的相关知识，掌握prompt的基础框架就可以很好的应用。 研究底层机器学习最少需要哪些领域的数学知识？ 下面五个学科是机器学习研究中最常用的五个分支： 1. Linear Algebra 线性代数 2. Probability 概率论 3. Statistics 统计学 4. Calculus 微积分 5. Graphs 图论 一、线性代数 线性代数是机器学习中最常用的数学主题，范围从经典的机器学习到最新和高级的LLMs 。在处理基本的模型分类，聚类，回归任务时，线性代数在所有 ML 算法中都有极高的可用性，例如线性回归、SVM、KNN、随机森林或任何其他算法。 1. N 维向量 对于数据集中存在的每个特征，我们通常都有大量样本。如果我们考虑一个具有 n 个数据样本的特征向量，它将是一个 n 维向量。由于数据在机器学习中无处不在，我们到处都需要处理n维向量；因此，了解 n 维向量的属性（如点积、叉积、加法和减法）至关重要。 2. 向量之间的距离 在机器学习中，每个特征都被视为一维，并且通常数据集包含大量特征。我们首先计算两个特征之间的距离来观察它们的相似性。因此，计算两个 n 维向量之间的距离的知识至关重要。距离计算的直接用例可以在两种 ML 算法中找到：K NN 和 K Means 。[算法学习] KNN近邻算法 分类/回归/聚类 [[算法学习] KNN近邻算法 分类/回归/聚类](https://waytoagi.feishu.cn/wiki/L7vlw1jVFiRitDkjUgbcBq1AnWb) 3. 超平面投影 在 SVM 中，我们尝试找到 n 维样本与 n 维平面之间的距离。在这种情况下，我们通常会将该样本投影到超平面上。因此，平面投影的概念和超平面的知识至关重要。 4. 矩阵 在多维特征和大量参数需要学习的情况下，矩阵是非常好的计算工具。在深度学习的情况下，参数的数量可以达到数十亿，并且不可能对每个参数都进行处理。这些参数以权重和偏差矩阵的形式存储为学习内容。模型内部使用的任何机器学习应用程序，都会使用这些权重矩阵来查找和预测。矩阵的概念极大提升了机器学习和深度学习的计算效率，让大模型得以快速计算庞大的神经网络并得到输出。 5. 矩阵的乘法、加法、减法和转置 矩阵的基本属性，如乘法、加法和减法也存在于所有机器学习算法中。我们以矩阵的形式传递输入数据，将其乘以权重矩阵，最后将其添加到 Bias 矩阵以形成最终的预测。因此，这些数学计算的知识对于观察输入特征到最终预测输出的转换至关重要。 Y p redicted=(Weight).Transpose∗X i nput+Bias 6. 正交性： 完整的数据集可以被视为一个矩阵，其中行对应于值，列对应各种特征。要检查一个特征是否独立于所有其他特征，最简单的方法是检查矩阵的正交性。如果所有列都垂直于所有其他列，则矩阵是正交的。这些概念至关重要，并用于主成分分析 (PCA)和支持向量机 (SVM)等流行算法中。 主成分分析 (PCA) 支持向量机 (SVM) 7. 特征值和特征向量 随着数据集中维度的快速增加，需要形成降维技术来观察数据集并将其绘制在 3D 平面上。像 PCA 这样的算法使用特征值和特征向量的概念来检查哪些特征为数据提供了更多信息，并将它们保留在最终数据集中。要了解这些算法，我们需要了解矩阵的特征值和特征向量分解。 8. 奇异值分解 随着计算能力的进步，矩阵尺寸变得越来越大。在这种情况下，我们需要一种更直接的方法来提取矩阵中最重要的信息。这就是 ML 中 SVD 发挥作用的地方，我们将矩阵分解为三个不同的矩阵。对于构建涉及大量维度的应用程序（例如图像压缩甚至t SNE 算法）非常有用。 图像压缩 t SNE 算法） 二、概率论和概率分布函数 概率论是几乎所有计算机科学领域中最常用的主题之一。在机器学习中，一个完整的算法，即朴素贝叶斯算法，主要用于从数学角度彻底理解 ML 的工作原理。此外，在分类算法的情况下模型给出的预测表示为数据集中存在的各种类别的概率。因此，了解概率的运作方式至关重要。下面是概率论中需要清楚理解的几个主题： 即朴素贝叶斯算法 9. 简单概率： 在机器学习分类问题中，我们可以很容易地发现简单概率论的可用性，比如哪个类将占主导地位。概率告诉我们基于给定输入数据的任何类存在/出现的机会。除了简单的概率之外，人们还应该了解概率的和或乘积规则等基本规则，以获得更扎实的知识。 ANN 中的 softmax 激活函数使用简单概率论以概率形式表示输出并预测最大可能类别。 10. 条件概率和贝叶斯定理： 条件概率表示一个事件发生基于另一个事件发生的概率。典型的就是用在贝叶斯定理中。这些算法在机器学习中极其重要，直接影响到输入特征如何影响机器学习算法的预测。朴素贝叶斯分类器算法完全基于贝叶斯定理本身，可以直观体会到条件概率在机器学习中的重要性。 朴素贝叶斯分类器 11. 随机变量 连续和离散随机变量与代数变量不同，代表随机实验的结果。当为机器学习中的参数分配一些初始值时，一般会使用随机变量作为 ML 训练过程的起点。 12. 概率分布 在分类问题的情况下，我们不能使用像MSE和MAE这样的损失函数。如果用来匹配预测和实际的 PDF。人们可以在以下两个博客中了解此 PDF 匹配：机器学习中的分类和回归以及机器学习中的损失或成本函数。 机器学习中的分类和回归 机器学习中的损失或成本函数 13. 连续和离散分布 也有一些情况下，概率分布不遵循连续性质，需要用到离散密度函数。