CSCI3230 L04 · Part 1/6 Linear classifier

课程：CSCI3230 (ESTR3108) Fundamentals of Artificial Intelligence · 2026T1 本讲：L04，第 1 部分 / 共 6 部分 · 原件 L04-Support-Vector-Machine-2026T1.pdf（本地课件） p.1–7 定位：沿用线性边界，弄清 SVM 的标签、分数与几何平面，为最大间隔作准备。前后：下一份 Support Vector Machine

整讲导航：

1. Linear classifier：p.1–7。
2. Support Vector Machine：p.8–31。
3. Kernel SVM：p.32–41。
4. Soft-margin SVM：p.42–46。
5. Summary：p.47–49。
6. ESTR3108：Lagrange multipliers and duality：p.50–69。

p.1 标题页；p.2 Outline；p.3 分节页。本讲五部分后另有 ESTR 扩展，导航作为第六部分。

从类别到符号分数（p.4–6）【延伸 L03 p.11–13】

先把“分类”想成一个明确任务：输入一封邮件的若干数字特征，输出“垃圾邮件”或“正常邮件”。p.4 说的是从有类别的训练样本学规则，再用于新样本；不是给每封训练邮件记一个编号。p.5 再限制规则的形状：用一条直线（二维）、一个平面（三维）或超平面（更多维）切开两类。

这里需要的前置知识只有加权求和。设一个样本有两个特征，写成列向量 $x=(x_1,x_2)^T\in\mathbb R^2$ ； $w=(w_1,w_2)^T\in\mathbb R^2$ 是两个待学习的权重。上标 $T$ 表示转置，让 $w^Tx$ 变成一个数。 $b\in\mathbb R$ 是额外加上的偏移量，不是第三个样本。p.6 的判别分数是

h(x)=w^Tx+b=w_1x_1+w_2x_2+b.

输入是一条二维记录，输出是一个可正可负的数。这个数不是概率；我们现在只取它的符号：大于零输出 $+1$ ，小于零输出 $-1$ 。真实标签记为 $y$ ，预测记为 $\hat y$ ，两者不能因为字母相近就当成同一个量。分数等于零是边界，如何破平局须由实现规定。

补充·从数字看见一条线（数字为演示自取）。令 $w=(1,-2)^T,b=1$ 。对 $x=(3,1)^T$ ，先逐项相乘，再相加： $1\times3+(-2)\times1+1=2$ ，所以预测正类。换成 $x=(1,2)^T$ ，分数为 $1-4+1=-2$ ，所以预测负类。让分数恰为零就得到 $x_1-2x_2+1=0$ ，也就是 $x_2=(x_1+1)/2$ 。这条线上的点是零分数，两侧才是预测区域。

为什么说 $w$ 垂直于边界？取边界上任意两点 $u,v$ ，它们都满足 $w^Tu+b=w^Tv+b=0$ ；相减得 $w^T(u-v)=0$ 。 $u-v$ 沿着边界，而内积为零表示垂直。这样，“法向量”不再是额外要背的词，只是“垂直于边界的向量”。固定 $w$ 改 $b$ 会平移边界；改 $w$ 的相对分量通常会旋转它。

接下来用一个小技巧把两种“判对”写在一起。正类的真实 $y=+1$ ，分数正才对；负类的真实 $y=-1$ ，分数负才对。两种情况下 $yh(x)>0$ 都成立。若负类分数为 $-2$ ，乘真实标签得到 $(-1)(-2)=2$ ；若负类被预测为正且分数为 $2$ ，乘后为 $-2$ ，立即暴露错分。这是 SVM 改用 $\{-1,+1\}$ 标签的原因；若用0代表负类，乘积总是零，就失去了这种信息。

最后检查分数能否直接当“把握程度”。把上例 $w,b$ 都乘2，两个分数变成4与−4，但零分数线仍是同一条，类别也没变。数字变大不能证明边界更好。只有共同正缩放保留类别；共同负缩放会翻转两侧标签。下一篇会除掉这个任意尺度，得到真正的几何距离。

小检查（补充）：仍用上例，点 $(1,1)^T$ 在哪里？将所有参数乘3后，它会离边界更远吗？

参考答案

分数 $1-2+1=0$ ，点就在边界上。乘3以后仍为零，几何边界没有移动，距离仍为零。不要把“参数更大”理解成“数据点被移动”。

补充 · 分数为零时，符号规则还少一个约定（通识讲解；演示数据不属于原题）。

分类规则常写“正分数判正，负分数判负”，却暂时没有回答恰好零分怎么办。取 $f(x)=2x-4$ ，输入 $x=2$ 正好落在边界。它不是被数学自动分到某一类；实现必须约定零归正、归负或单独处理。手算题若没有给约定，应指出在边界上，不凭空断言类别。

对 $w,b$ 同乘正数，边界与两侧类别不变；同乘负数则边界仍不变，但正负两侧交换。因此“缩放不影响分类”必须限定为正缩放。进一步说，同乘正数会改变原始分数大小，几何距离却不会变，因为分子与法向量长度同时缩放。后面的 SVM 正是要先消除这种任意尺度，才能比较间隔。

补充：沿法向量移动，分数究竟改变多少

沿用正文 $w=(1,-2)^T,b=1$ ，从边界点 $x_0=(1,1)^T$ 出发。法向量长度为 $\sqrt5$ ，单位法向量为 $u=w/\sqrt5$ 。向正侧移动真实距离 $t$ ，新点为 $x=x_0+tu$ ，代入分数得

f(x)=w^Tx_0+b+t\frac{w^Tw}{\lVert w\rVert_2}=0+t\sqrt5.

因此分数除以 $\sqrt5$ 才恢复移动距离 $t$ 。自取 $t=\sqrt5$ ，新点为 $(2,-1)^T$ ，分数 $2+2+1=5$ ，几何距离 $5/\sqrt5=\sqrt5$ 。分数5并不是移动了5个长度单位。

若沿边界方向 $v=(2,1)^T$ 移动，则 $w^Tv=2-2=0$ ，分数不变。这一对计算把“法向量垂直”变成可检验的效果：沿法向量会改变所在侧和距离，沿边界方向不会。它也说明高维输入中很多坐标组合可能改变而分类分数不变，并不需要每个特征单独保持不变。

历史图的用途（p.7）

p.7 是分类算法的历史位置图，纵轴标成 Subjective Popularity（主观热度）。横轴是年份，图中列出感知机、神经网络、决策树、SVM、随机森林和AdaBoost；它让我们知道这些方法处在同一分类发展脉络中。它没有提供同一测试集、同一评价指标上的实验，因而不能用曲线高低比较准确率。

原图横轴约为1960–2015：感知机一线标注Rosenblatt（1958）与Minsky（1969）；神经网络线上出现Linnainmaa（1970）、Werbos，随后是LeCun、Rumelhart、Hinton、Williams、Hecht-Nielsen、Schmidhuber/IDSIA、Hochreiter等名字；决策树ID3标Quinlan，SVM标Vapnik、Cortes，AdaBoost标Freund、Schapire，随机森林标Breiman。右端还画出大规模感知机及神经网络再次上升，圈出SVM并写“Still popular today”。这里的today指原图制作背景，不能当作2026年的热度统计。这幅示意图的作用是说明方法交替兴起、可以长期并存；图中姓名与位置是原图标注，不等于每项发明的完整历史归属。

读本讲时也不需要先掌握图上的所有模型。先抓住一个问题即可：当很多直线都能把训练数据分开，哪一条更值得选择？最大间隔就是接下来加入的选择标准。这里的“更值得”是模型设计准则，不是保证任何数据上的测试表现都优于其他算法。

本讲核心考点

SVM 用±1标签，分数符号决定类别（p.6，C 级）。
同比例缩放参数不改变边界（p.6，补充算例）。

附录

本部分没有需要另展的推导或题目演练。

来源与证据

页码按当前本地阅读版 PDF；L04 共69页，未把旧年份讲义当成本学期原件。
原件：L04-Support-Vector-Machine-2026T1.pdf（本地课件），p.1–7；均为当前 PDF 页号。
本次正文逐页核对本讲原件；文末历史题明确标旧年份，只作练习，不据此推断本学期考核要求。
往年卷仅证明相应年份考过；2024 卷及 2025 节选未公开的选择题不作推断。