今天在看李航的《机器学习方法》的第一章，第一章主要是一些概述性的内容，其实结合自己以前的实战经历，还是比较好理解的。但是由于我的数学基础太菜了，对于一些说的比较绕的或者比较科学化的内容，就有点整不明白是什么意思，不过好在有chatgpt可以帮我去理解一些概念。本文主要是记录一下对于概率模型与非概率模型的理解。

概率模型

概率模型使用概率论来描述数据生成的过程。这类模型会明确地估计数据的分布，或者在预测时输出概率分布。例如：

• 朴素贝叶斯：基于贝叶斯定理，它计算每个类别的概率，然后选择概率最大的类别作为预测结果。
• 高斯混合模型：假设数据是由若干个高斯分布混合生成的，通过最大化数据的似然函数来估计这些分布的参数。
• 逻辑回归：虽然名字里有“回归”，但实际上是一个分类模型，它计算某个类别的概率，并根据这个概率来进行分类。

这些模型的输出通常是概率，比如预测某个样本属于某个类别的概率。在使用概率模型时，你可以获得关于模型预测结果的不确定性信息，这是它们的一个重要特征。

非概率模型

非概率模型则不直接使用概率来描述数据和预测结果。它们的目标通常是直接学习一个决策边界，或者找到一个可以将输入映射到输出的函数。例如：

• 支持向量机（SVM）：它通过找到一个最大化类间间隔的超平面来进行分类，而不是给出概率。
• k-近邻算法（k-NN）：通过找到离测试样本最近的k个训练样本，然后根据这些邻居的类别来预测，但不会给出预测的概率。
• 决策树：通过构建一棵树结构来进行决策，直接输出类别或数值，没有明确的概率估计。

非概率模型通常直接输出一个确定的预测结果，不会告诉你预测结果的概率信息。

区别总结

它们的主要区别在于是否使用概率论来描述数据和预测结果。

• 概率模型：基于概率论，输出预测的概率，可以提供预测的不确定性。
• 非概率模型：不依赖概率，直接给出预测结果，通常不会提供关于预测不确定性的信息。

实例辨析

在深度学习的一个分类任务中，例如三分类任务，获得的结果是[0.6，0.1，0.3]，这是有概率的值，但是最终输出认为分类结果属于类别0。 这种情况属于概率模型还是非概率模型？

这种情况属于概率模型。

在深度学习的分类任务中，尤其是使用Softmax激活函数的多分类模型中，模型的输出是每个类别的概率分布。例如，你提到的输出 [0.6, 0.1, 0.3] 表示模型认为第一个类别的概率是 60%，第二个类别是 10%，第三个类别是 30%。这些概率值总和为 1。

虽然最终分类结果是选择概率最大的类别（在这个例子中是类别 0），但整个过程依然是基于概率的。因此，这种模型属于概率模型。