CSCI3230 L03 · Part 1/5 Classification problem

课程：CSCI3230 (ESTR3108) Fundamentals of Artificial Intelligence · 2026T1 本讲：L03，第 1 部分 / 共 5 部分 · 原件 L03-Logistic-Regression-2026T1.pdf（本地课件） p.1–13 定位：从实际分类任务写出标签和特征，理解决策边界与线性分类器。 前后：下一份 Logistic regression for classification 承接：监督学习中的特征与标签；线性回归中的线性组合。

这一部分先不求导。你只需会看二维坐标、做乘加，就能回答三件事：一行数据代表谁、模型必须输出什么、怎样用一条规则给没见过的数据分类。先把这三件事说清，再去学 sigmoid 才不会把概率、标签和分数混在一起。

整讲路线：分类任务 → 把分数变成概率 → 怎样训练参数 → 串起来复习。凸性证明对应 p.56 后明确标注的 ESTR3108 拓展，可在主线熟悉后再读。

p.1 是标题，p.2 是四部分 Outline，p.3 是分类部分的分节页。本笔记第五份对应讲义主线之后的 ESTR 尾段。

三种分类任务（p.4–6）

p.4 用邮件说明“输入一个对象，输出它属于哪一类”；p.5 换成图像中的猫、狗、船；p.6 换成医学图像中的恶性或良性。输入可以很复杂，但输出通常只是有限类别中的一个。不要一看到图像就认为必须输出一张图：任务的输出由问题决定。

先问“一个样本是什么”。在邮件任务中是一封邮件，不能把邮件中的每个词当成一封独立邮件；在图像任务中通常是一张图；医学任务要看题面是一张图、一个区域还是一次检查。样本单位一错，后面的样本数、训练表和评价指标都会错。

补充·贯穿小例子：下面用一张图的两个已提取特征做演示，数字是为教学自取的，讲义没给。设第一个特征衡量某种耳部形状，第二个衡量某种纹理。我们规定“猫”为1，“不是猫”为0。一张图的两个数是输入；人工给出的0或1是标签。这里不讲如何从像素提取这两个数，只研究得到特征之后怎么分类。

这只是数学演示，不意味着这两个手工特征足以识别现实中的猫，更不是医学诊断方法。把教学模型的边界与实际应用能力分开，能防止我们对小例子过度解读。

**原图内容（p.4–6）：**邮件截图显示系统将一封以问候开头、声称患病并转移巨款的邮件标作 Spam，红条提醒类似内容用于窃取个人信息；它是待分类对象的例子，邮件里的请求不是读者应执行的操作。图像页完整十类为 airplane、automobile、bird、cat、deer、dog、frog、horse、ship、truck，每行给同类多个外观不同的图片；同类不能等同于像素完全相同。医学页并列原乳腺图像与有彩色关注区域的图像，以 malignant tumor / benign lesion 提出二分类问题，没有给这幅图的确诊标签或判定阈值，不能凭颜色代替诊断结论。

特征、标签与分类区域（p.7–9）【延伸 L01 p.70】

p.7 The output of classification is a discrete value.

“离散”指答案从预先规定的类别中选；不是说输入也必须是整数。耳部特征可以是0.37，纹理特征可以是1.82，最后标签仍是0或1。回归若预测体重，则输出连续量；分类若预测猫或非猫，则输出类别。

p.8 用两个索引描述数据。设有 $m$ 个样本，每个样本有 $n$ 个特征，记第 $i$ 个样本为 $x^{(i)}\in\mathbb{R}^{n}$，第 $j$ 个特征是 $x_j^{(i)}$。上标括号中的 $i$ 是“第几条数据”，不是幂；下标 $j$ 是“该行中的第几个特征”。标签 $y^{(i)}$ 是一个数，不是特征向量的一部分。

补充·把符号落到表里：仍用前面的演示任务。

这里 $m=3,n=2$；$x_2^{(3)}=3$ 是第三行第二个特征，$y^{(3)}=1$ 是第三行标签。若把所有特征堆成矩阵 $X$，每行一个样本，则它是 $3\times2$；标签另放成 $3\times1$ 列向量。预测时新图像有两个特征，却没有提供给模型的真实标签：如果把答案列也当输入，模型就会偷看答案，这叫标签泄漏。

p.9 把两个特征画成两个坐标轴。一个点表示一个样本，而不是一种类别。分类器需要为整个坐标平面制定规则，因为下一张图的特征很可能不是训练表里任何一行。

图（p.9）：两个特征上的三组类别。
元素：横轴特征1、纵轴特征2，紫色三角、红色十字、绿色菱形分别聚在不同位置，彩色轮廓围住各组。
看什么：类别由点的符号区分；输入位置有两个数，标签却只选择一个类别。图中的轮廓是直觉示意，不代表所有现实数据必然完美分组。

二分类、多分类与决策边界（p.10–11）【新】

p.10 的二分类只有两类，常用0和1表示。正类只表示我们约定用1编码的类别，不等于“好的”“正确的”。本页邮件例子把正常邮件编码为1、垃圾邮件为0；换一道题可以相反。多分类的1、2、3也只是名称，不能由“3比1大”推出第三类程度更高。

p.11 的决策边界是预测类别切换的地方。继续用演示数据，规定两特征相加至少3就预测为1：

帽子 $\hat y$ 表示预测；没有帽子的 $y$ 表示人工给定的真实标签。第一行相加为2，判0；第二行为4，判1；第三行为4，判1。新样本 $(1.5,1)$ 相加2.5，即使没在训练表里出现过，也能判0。

所有满足 $x_1+x_2=3$ 的点组成边界，例如 $(0,3),(1,2),(2,1)$。可以画出一条直线穿过它们。边界上的点怎样判，要看等号归哪侧：本例把等号归1。边界是模型的规则，不保证真实数据全在正确一侧。 若某张真实猫图的特征为 $(0.2,0.3)$，规则会误判，但这条线仍然是该模型的决策边界。

先自检：把“猫”改编码为0，会改变图像本身的特征吗？原来的判类解释还能直接沿用吗？

图（p.11）：预测区域之间的边界。
元素：三组点之间有三段黑色虚线，把平面分成不同区域。
看什么：边界画在组与组之间并延伸到没有样本的位置；它不是把同组点依次连起来。

补充 · 类别编号不是可以求平均的大小（通识讲解；演示数据不属于原题）。

把猫、狗、鸟编号为 0、1、2，只是给类别一个可记录的名字；不表示狗是猫与鸟的平均，也不表示把鸟误判成猫一定比误判成狗严重两倍。若把编号当连续标签直接做平方误差，编号方式就偷偷规定了一种距离。把编号交换后，这种距离还会改变，尽管任务本身完全没变。

二分类用 0/1 时，逻辑回归建模的是“指定正类的概率”，不是在解释类别大小。换成 ±1 是另一种标签约定，常见于 SVM；公式也要随约定匹配。写题时先交代哪个类别是正类，再算 TP、FN 或决策分数，避免把标签编码与现实中的好坏含义混在一起。

**p.10 的全部分类例子：**二分类有垃圾/正常邮件（本页 0/1 对应关系如上）、照片有无猫（0 无、1 有）、能否获 CUHK 录取；多分类有猫/狗/猪/鸭，以及学生属于 S.H. Ho、New Asia、Chung Chi、Morningside 等哪个书院。p.7 的目标限定在给定类别集合中识别新样本：若测试时出现未定义的新类别，本页模型没有自动提供“新增类别”的规则。

**由 p.11 展开：**整个特征空间需被分区，而不是只给训练点贴标签。类间边界可以由多条曲线或曲面联合组成；p.12 才将这些边界限制为直线/超平面。这个先一般、后线性的顺序解释了为什么分类不等于线性分类。

补充：类别编号的数字大小不构成距离

自编三类任务把猫、狗、鸟编码成0、1、2。若把这些编号直接当回归目标，预测“1”对真实“2”的平方误差为1，预测“0”对真实“2”的平方误差为4，仿佛把鸟错成猫天然比错成狗严重四倍。把猫、狗编号互换后，这个惩罚关系又变了；任务本身没有变，损失却随任意编号改变，说明编号不应该被自动解释成数量。

多分类通常让每类对应一个分数/概率，再选类别；改变编码时，同时重排类别对应位置，不改变任务语义。若类别本身有顺序，如轻、中、重，则可以另建利用顺序的模型，但那是额外的任务结构，不能仅凭0、1、2三个数字推断。

再分清多分类和多标签：一张图片只能被判为猫、狗、鸟之一，是互斥选择；同一图片可同时标“户外”“白天”“有动物”，是多个标签可以并存。后一种不能因为有三项就强制三个概率相加为1，否则“有动物”的概率升高会无理由挤掉“白天”的概率。

线性组合为何产生平直边界（p.12–13）【延伸 L02 p.9–15】

p.12 的“线性组合”就是各特征先乘权重再相加。p.13 把二分类限制为一条直线或高维的超平面；它的两侧称两个半空间。高维术语先不用怕：二维的直线分平面，三维的平面分空间，是同一件事。

上例可改写成分数 $z=x_1+x_2-3$。这里 $z$ 是实数，两个权重都是1，截距为−3。$z\ge0$ 判1，$z<0$ 判0。写成一般形式：

$x,w$ 都是 $n\times1$ 列向量，转置 $w^T$ 是 $1\times n$；相乘得到一个标量，加标量截距 $b$ 后仍是一个分数。输入是特征，模型持有权重和截距，输出是分数；这些角色不能互换。

补充·参数改变什么：把截距从−3改为−4，规则变成相加至少4才判1，边界平行移动；把第一权重改成2，边界变成 $2x_1+x_2=3$，同样增加第一特征会使分数上升更多，直线方向随之改变。权重说的是在其他特征固定时的影响，而且依赖特征单位，不能随便拿两个原始权重绝对值比较“哪个因素更重要”。

此时有三个对象：特征位置 $x$，连续分数 $z$，离散标签 $\hat y$。下一份会在后两者之间加上概率。线性分类器的“线性”说的是特征空间中的分界，不是输出标签要连成一条线。

图（p.12–13）：线性与曲线边界的对比。
元素：p.12 左边用直线段、右边用曲线分开三类数字；p.13 用一条斜虚线把红十字与绿菱形分开。
看什么：二分类只有一条线，多分类可由多条平直边界共同分区；p.13 的两侧就是两个半空间。

补充·换一组权重自检（数字为演示自取）：若分数改为 $z=2x_1-x_2-1$，请先写零分数边界，再判断 $(1,0)$ 与 $(0,1)$ 在哪侧。

本讲核心考点

• 区分样本、特征、标签以及两个索引的职责（p.7–10，C级通识）。
• 决策边界来自预测规则，误分类不会让边界失去定义（p.11，C级通识）。
• 二分类线性分数的零集合给出平直边界（p.12–13，C级通识）。

附录

第一次学习可按“读数据表→手算分数→判标签→找等号边界”的顺序自己复述一次。若卡在转置，先展开成乘加，再看矩阵形式；矩阵只是把同样的计算缩写。

来源与证据

本篇逐页核对当前 L03-Logistic-Regression-2026T1.pdf（本地课件） p.1–13，页码指本地68页阅读版的PDF页号。补充算例不属于原讲义。考试证据：本篇未据试卷推断出题范围；所有考法描述为C级通识。ESTR拓展边界见同PDF p.56。