Vince Jiang

CSCI3230 / 课程伴读 · 本站更新

CSCI3230 L04 · Part 5/6 Summary

课程：CSCI3230 (ESTR3108) Fundamentals of Artificial Intelligence · 2026T1 本讲：L04，第 5 部分 / 共 6 部分 · 原件 L04-Support-Vector-Machine-2026T1.pdf（本地课件） p.47–49 定位：区分 SVM 的三件事：最大间隔准则、特征表示和对违反间隔的容忍。 前后：上一份 Soft-margin SVM · 下一份 ESTR3108：Lagrange multipliers and duality

p.47 分节页。

SVM 的三个层次（p.48–49）

p.48把本讲内容放回同一条学习路线。第一次复习不要一次背四个大公式；先说清楚模型在每一步接收什么、改变什么、输出什么。

|层次|它解决的问题|它不保证什么| |线性分数与最大间隔|很多边界都判对时，偏好给近侧点更大缓冲|不保证任何新样本都正确| |特征映射与核|原坐标难以用直线分开时，换一种表示或内积|升维并不自动让任意数据可分| |软间隔|允许违反单位间隔，并用代价控制权衡|不是删除全部噪声，也不是免费降低测试误差|

核和软间隔可以同时用。一个决定样本之间如何比较，一个决定训练时愿意付多大违约代价；并不存在必须在“核SVM”和“软间隔SVM”之间二选一的规则。

补充·用同一条样本串起来（数字自取）。先在原空间用 w=(1,0)T,b=−2w=(1,0)^T,b=-2。新点 x=(2.5,1)Tx=(2.5,1)^T 输入两个特征，分数 f=2.5−2=0.5f=2.5-2=0.5，预测为正。若以后知道真实标签为正，功能间隔 s=0.5s=0.5，hinge损失0.5；若真实标签为负，s=−0.5s=-0.5，损失1.5。预测可以在不知道真实标签时完成，但评价损失需要真实标签。这区分“训练/评价”和“部署预测”。

几何距离为 0.5/1=0.50.5/1=0.5。把参数整体乘2会让分数变1，边界与几何距离却不变；hinge可能改变，因为它参考固定功能间隔1。因此训练目标不仅在选边界，也在规范它的尺度。不要把功能分数、距离、标签、损失四个量当作同义词。

如果题目改给映射 ϕ\phi，先按新空间算内积或对应核；如果给乘子 α\alpha，先合成分数；如果给 CC，它影响训练目标，不是直接乘在每个测试标签上。下面的检查路线可以帮助你确定应回读哪一篇：

  1. 看见 wTx+bw^Tx+b 仍不知怎么代坐标：回Part 1。
  2. 看见 2/∥w∥2/\lVert w\rVert 不知2与分母从哪来：回Part 2的距离与规范化。
  3. 看见 K(x,z)K(x,z) 不知输入究竟是几个点：回Part 3。
  4. 以为判对一定损失为零：回Part 4。
  5. 想证明乘子方程为什么成立：再读Part 6，属于讲义结尾明确的ESTR3108拓展；不是开始做前四步之前的门槛。

小检查（补充）：同一点被判为正类，分数0.3。能否只凭这个数断定它是支持向量、预测概率30%、或测试错误？

参考答案

三者都不能。支持向量身份与训练集及优化系数有关；原始SVM分数不是概率；判断测试错误需要真实标签。若已知它是正类，则hinge为0.7，但这仍不等于分类错了。

为让本篇可以独立回忆p.48列出的“概念—目标—核—软间隔”，将对象并排写清：标签 yi∈{−1,+1}y_i\in\{-1,+1\}，预测取 sign⁡f(x)\operatorname{sign}f(x)；硬间隔最小化 12∥w∥2\tfrac12\lVert w\rVert^2 并满足每个 yif(xi)≥1y_i f(x_i)\ge1；核把 xiTxjx_i^Tx_j 换成映射内积 K(xi,xj)K(x_i,x_j)；软间隔最小化 12∥w∥2+C∑imax⁡(0,1−yif(xi))\tfrac12\lVert w\rVert^2+C\sum_i\max(0,1-y_i f(x_i))。对硬间隔规范解，两侧间隔总宽为 2/∥w∥2/\lVert w\rVert；对核模型，这是特征空间中的距离概念。

p.49列进一步阅读材料，包括台湾大学、Stanford课程资料与SVM论文。本篇只核对本地讲义，未将未读外部全文作为新的证据，也不把讲义列参考文献解释为教师要求全部掌握。

补充 · 拿到输出后怎样证明自己真的会用 SVM（通识讲解；演示数据不属于原题）。

先问输出是哪种形式。若已有线性权重和偏置，新点只需点积加偏置；若拿到非零对偶系数和核函数，则逐个算“系数×标签×与新点的核值”，求和后加偏置。两种形式是在不同表示下算同一个决策分数，不能把核值当概率。

再问你的结论是哪一层：分数符号决定预测类别；带标签的功能间隔判断训练约束是否满足；除以权重范数才谈线性几何距离。最后单独问未知样本表现如何，不能由训练间隔或对偶目标值直接推出。这样依次核对，就能避免用“支持向量很少”代替泛化证据。

p.49原列三项阅读入口：台湾大学Linear SVM与Kernel SVM课件、Stanford SVM讲义，以及AT&T Bell Labs的1995年SVM论文。原页给论文地址 https://link.springer.com/content/pdf/10.1007/bf00994018.pdf；扩展部分p.68另列Stanford地址 https://see.stanford.edu/materials/aimlcs229/cs229-notes3.pdf 。这些是课件所列的继续阅读资料；本篇的教学链条已写在正文，不以另开这些文献为理解前提。

补充：预测时不知道标签，仍能完成哪些计算

自编核预测模型存了两个支持点 x1=−1,x2=1x_1=-1,x_2=1，标签为−1、+1，系数均为1/2，使用线性核 K(a,b)=abK(a,b)=ab，偏置0。新输入 x=2x=2 时，核值分别为−2和2；两项贡献为 (1/2)(−1)(−2)=1(1/2)(-1)(-2)=1 与 (1/2)(1)(2)=1(1/2)(1)(2)=1，总分2，预测正类。这等于先恢复 w=1w=1 再算 wx=2wx=2。

到这里完全不需要新点的真实标签。若事后标签为+1，功能间隔为2，hinge为0；若标签为−1，功能间隔为−2，hinge为3。模型给分的过程相同，评价结果不同。尤其不能在计算新点分数时把未知的 yy 提前乘进去；预测式里的 yiy_i 是已存训练点的标签。

这也是读公式时检查下标的办法：ii指训练支持点，待预测输入没有这个训练下标；对偶系数属于模型，不是新点的概率。把这几类量分开后，线性、核、软间隔三层就能接成同一条预测与评价流程。

本讲核心考点

  • 核与软间隔可组合，不是互斥模型（p.48，C 级）。

附录

本部分没有需要另展的推导或题目演练。

来源与证据

  • 页码按当前本地阅读版 PDF；L04 共69页，未把旧年份讲义当成本学期原件。

  • 原件：L04-Support-Vector-Machine-2026T1.pdf（本地课件），p.47–49；均为当前 PDF 页号。

  • 本次正文逐页核对本讲原件；文末历史题明确标旧年份，只作练习，不据此推断本学期考核要求。

  • 往年卷仅证明相应年份考过；2024 卷及 2025 节选未公开的选择题不作推断。