要评价监督学习的表现，自然的想法是使用模型预测的输出与真实的输出之间的误差（Error）[[1]]，不过原始的误差不能直接用于计算：对于回归，误差和输出值同样是实数，既可能是正数，也可能是负数，累加时会相互抵消，不能计算多个实例的误差之和；对于分类，输出的实际值和预测值都是定性的，误差因而是描述性的，无法计算其大小。所以，需要用另一个定量的标准来反映误差的大小。我们将该标准称为损失（Loss），根据输出的实际值和预测值来定义损失的函数称为损失函数L(y, f(x))[[2]]。损失越小，预测函数越准。损失函