支持向量机(SVM)是机器学习中的经典算法。本文聚焦于SVM中的公式推导,如间隔距离公式的详细推理,以及原问题与对偶问题公式化阐述。深入探讨优化问题,包括构建拉格朗日函数来处理约束优化问题,利用KKT条件求解最优解的过程。同时涉及多项式核函数与高斯核函数公式特性。间隔距离推理在支持向量机(SVM)中,正超平面和负超平面的式分别为:
$$
\vec{w} \cdot \vec{x} + b = 1 \quad \text{(正超平面)}
$$
$$
\vec{w} \cdot \vec{x} + b = -1 \quad \text{(负超平面)}
$$
其中$\vec{w}=(w_1, w_2)$是权重向量,$b$是偏置项,$\vec{x}=(x_1, x_2)$是数据点。假设$\vec{x_m}$是正超平面上的点,$\vec{x_n}$是负超平面上的点,则有:
$$
w_1 x_{1m} + w_2 x_{2m} + b = 1 \quad \text{(1)}
$$
$$
w_1 x_{1n} + w_2 x_{2n} + b = -1 \quad \text{(2)}
$$用式(1)减去式(2),得到:
$$
w_1 (x_{1m} - x_{1n}) + w_2 (x_{2m} - x_{2n}) = 2
$$
写成向量形式:
$$
\vec{w} \cdot (\vec{
...
继续阅读
(15)