支持向量机与核方法

重　点分得对之外还要分得开

逻辑回归要求把两类分对，支持向量机在此之上还要求分得尽量开。图上实线两侧各有一条虚线，两条虚线之间的宽度称为间隔。在所有能把两类分对的直线中，支持向量机选间隔最大的那一条。

重　点边界位置由少数样本决定

决定支持向量机边界位置的，是离边界最近的那几个样本。图上被圆圈标出的只有三四个点，其余几十个点换个位置也不会影响边界画在哪里。

重　点两张图对照来看

左图是原始数据，右图移除了一部分非支持向量。两图中被圆圈标出的支持向量位置相同，实线和虚线的位置也没有变化。这是上一页那句话的实际验证。

重　点一个目标加一个条件

目标是让间隔尽量宽，条件是每个样本都要分对并落在间隔之外。课本上那一串式子表达的就是这两句话。

式子里还包含一个等价关系：让间隔最宽等价于让权重最小。推导过程属于后续课程，这里知道有这个关系即可。

重　点多出来的是一笔账

软间隔在原来的目标上增加了一项，用来记录所有越界的总量。惩罚参数决定这一项在总目标里占多大分量。参数取值越大越接近硬间隔，取值越小模型越宽容，间隔更宽但分错的点更多。

重　点两张图是两种典型情况

左图是同心圆分布，一类在中间一类在外圈。右图是交替成层的分布，两类像三明治一样夹在一起。这两种情况下，直线无论摆在哪个角度都分不干净。

重　点图上那个箭头

左边的原空间里两类一圈套一圈，直线分不开。经过一次非线性映射升到高维之后，右边的点分成了上下两层，一个平面就能切开。数据本身没有变，变的是观察它的角度。

重　点升维有用，但直接算代价太高

升维本身不难，难的是维度一高，要算的量成倍增长，升到几百几千维时逐个算出坐标已不现实。核技巧绕开了这一步，直接得到升维之后需要的那个结果。

重　点课本上用红色标出的就是全部改动

线性支持向量机的式子里，这一处是两个样本直接比出来的关系。非线性支持向量机把它换成核函数，式子的其余部分没有改动。整个非线性化就是这一步替换。

重　点三句直观理解

多项式核适合特征之间存在配合关系的数据。高斯核按样本之间的远近衡量相似程度，是实际中最常用的一个。Sigmoid 核的形式接近神经网络里的一道换算，使用较少。

三个核的具体表达式属于后续课程内容，选核时记住这三句即可。