Vince Jiang

CSCI3230 / 课程伴读 · 本站更新

CSCI3230 L01 · Part 4/5 Fundamental concepts in AI

课程:CSCI3230 (ESTR3108) Fundamentals of Artificial Intelligence · 2026T1 本讲:L01,第 4 部分 / 共 5 部分 · 原件 L01-Introduction-2026T1.pdf(本地课件) p.51–73 定位:从数据、模型到评价走一遍完整流程,并能从混淆矩阵算出指标、辨认三种学习方式。 前后:上一份 Today’s AI · 下一份 Summary

p.51 分节页。

“学习”发生在什么地方(p.52–54)【新】

先把“学习”从神秘能力变成一个能检查的变化。你看过许多自行车后,遇到一张新照片也能认出自行车;我们希望计算机也能利用旧观察,处理新输入。p.52 先借人的学习引入“经验”,p.53 再把机器的观察落实成数据。这是类比,不表示机器与人的心理机制完全相同。

p.53 Computer acquires the skill with experience computed from data.

**先备知识只有三件:**输入是交给模型的信息;输出是模型给出的结果;参数是模型内部可以调整的数。先不用矩阵或微积分。下面用一个小模型区分它们。

**补充算例(数字自取,非课件数据):**一间店想按某种商品重量预测价格,暂定“每单位重量的价格乘重量,再加固定包装费”。把重量记为 xx,预测价格记为 y^\hat y,单位价记为 aa,包装费记为 bb,就得到

y^=ax+b. \hat y=ax+b.

这里四个量都是一个数,即标量;帽子只是提醒“这是预测”。xx 的单位是重量,aa 的单位是价格/重量,bb 与 y^\hat y 的单位都是价格,两个相加项单位相同。

先试 a=2,b=1a=2,b=1。一件重量 x=3x=3 的商品,预测为 2×3+1=72\times3+1=7。若实际记录价格 y=8y=8,误差按“预测减真实”定义就是 7−8=−17-8=-1:少估了 1。实际价格 yy 叫标签,训练时可拿它与预测比较。若换一个输入 x=4x=4,同一模型给出 9;输入变化与参数变化不是一回事。

“训练”要做的不是把重量3硬写成答案8,而是利用多条已知记录调整 a,ba,b。训练后处理新商品时通常固定 a,ba,b,只换 xx,这一步叫预测/推理。后面 L02 才讨论如何系统地选参数;此处先认清每个量的角色。

p.54 列文本、时间序列、图像、录音、DNA 序列、股票图。它们不能原样都塞进上面一个数的位置:需要适合任务的表示。比如一张图包含许多像素,一段声音包含按时间排列的采样值。表示决定模型能利用什么信息,但数据多、格式复杂本身都不保证会学好。

**停一下:**计算 x=4x=4 的价格时把 aa 从2改成3,与只把 xx 从3改成4,有什么区别?

参考答案

前者改变了模型规则,会影响以后所有输入;后者保持规则,只询问另一条数据。训练常改变参数,预测常改变输入。两者的数都在变,但角色不同。

数据与技能一一对应(p.55–57)

p.55–57 不是要求记三个行业名,而是在练习“从任务反推需要什么数据”。先写一句“拿到什么,要交出什么”,才知道模型学的是什么。

页码 输入材料 希望学会的技能 还需要澄清的问题
p.55 有肺结节的 CT 图像 找到异常 输出整张图是否异常,还是异常的位置?
p.56 含行人、汽车的道路图像 定位道路对象 一个画面可能有几个对象?
p.57 对话提示 生成相关回应 相关与正确分别怎么评价?

补充解释:“这张照片有猫”只需要一个类别;“猫在这里”还需要位置。因此即使输入照片完全一样,两个任务所需标签、输出形状、评分方式仍不同。前一节的一元价格模型只输出一个数,不能直接用同一个输出格式装下多个边框。

以道路图像为例,若系统只告诉车“前面有行人”,却不告诉它位置,后续避障就缺信息。于是任务定义要求输出位置,而不是为了使用某个流行模型才临时改题。请先在纸上写清输入与输出,再问怎么训练。

动作也能是预测结果(p.58–60)【新】

p.58 的翻饼机器人提醒我们:“预测”不一定在预测明天,也可以是此刻应输出的动作。p.59 给出四种具体输出:边框坐标与宽高、逐像素的区域标记、对话文本、机器人下一步动作。输出的结构由任务决定。

**补充:**一个边框可以用四个数记录,区域标记需要许多像素标签,句子长度可变,动作还会改变环境。此处只区分结构,不要求你已经会相应算法。

p.60 Learn the model (i.e., solve a certain optimization problem) with observed samples in data sets.

这句话把“怎样学”拆成两步:先选一类可调整的规则,再规定怎样比较规则的好坏。优化就是在允许的候选中寻找使评价目标更好的参数。下面故意选一个很笨的模型,让计算只剩加减乘。

**补充算例(数字自取):**只有两件商品的标签2、4,模型不看重量,只能对所有商品输出同一个数 cc。先定义训练误差

E(c)=(c−2)2+(c−4)2. E(c)=(c-2)^2+(c-4)^2.

EE 是误差函数名;cc 是唯一参数;每个括号是一次“预测减真实”;平方使正负误差不会相互抵消;相加让两条记录共同影响选择。EE 的输出也是一个数,越小表示这两条训练记录上越接近。

候选参数 第一条残差 第二条残差 平方后相加
c=2c=2 0 −2 4
c=3c=3 1 −1 2
c=4c=4 2 0 4

这只能证明3比列出的2和4好,还没有排除2.9、3.1等其他数。要证明所有实数中的最好值,用平方恒不负:

E(c)=(c2−4c+4)+(c2−8c+16)=2c2−12c+20=2(c2−6c+9)+2=2(c−3)2+2. \begin{aligned} E(c)&=(c^2-4c+4)+(c^2-8c+16)\\ &=2c^2-12c+20\\ &=2(c^2-6c+9)+2\\ &=2(c-3)^2+2. \end{aligned}

第一行展开平方,第二行合并同类项,第三行在括号补9时外面实际加了18,原常数20还剩2,第四行把完全平方收回去。因为 (c−3)2≥0(c-3)^2\ge0,误差至少是2;只有 c=3c=3 才达到2。

为什么最好还不是0?因为一个常数不可能同时等于2和4。参数已经优化好,不代表模型足够灵活;在训练集上最好,也不代表在新数据上最好。下一节专门处理最后这个问题。

训练、验证、测试各自回答一个问题(p.61)【新】

如果训练时已经看过答案,再用同一批题宣称“会做新题”,证据不够。p.61 因此把数据分开。可以借用“练习—模拟选择—最后测验”的类比,但机器学习中真正重要的是哪些数据影响了哪一步决定。

  • 训练集:用来改变模型参数。前例 a,ba,b 或 cc 的取值由它决定。
  • 验证集:用来选择方案,例如直线还是弯曲的模型。这种设定叫超参数,不是某条记录的标签。
  • 测试集:在方案确定后评价留出数据上的表现;它要独立于这轮选择过程。

p.61 举80%训练、20%测试。若有100条记录,就是80和20;100是补充演示数字,课件没有指定三分比例。若还想留验证集,可以把那80条再分成60训练、20验证,仍保留原来的20测试。这个60/20/20只是讲解流程,不是课程要求。

**把一次选择走完(补充算例):**同用60条训练记录,方案A和B分别拟合出自己的参数;A在20条验证记录的平均误差是3,B是5,于是选A。这里3与5影响了选择,所以验证集不再能充当完全独立的最终考试。最后才用20条测试记录报告选定流程的表现。若看见测试不好就换成B,测试也参与了选择,只是文件名还叫“测试”而已。

p.61 说测试集较大使评价更准确,通常是在相同采样条件下减少随机波动。它不保证数据一定有代表性。**补充边界:**同一病人的近似照片分到训练、测试,或者用未来记录辅助预测过去,都可能造成信息泄漏。划分单位应对应你真正要推广到的新病人、新时期或新对象。简单随机划分适合一些问题,不是任何任务都适用。

**停一下:**用测试集尝试十种模型,挑其中分数最高的,再报告那个分数,是独立测试吗?

参考答案

不是。最高分决定选哪种模型,测试集实际承担了验证作用。问题不是看了多少次的形式规定,而是这些结果影响了模型选择。

交叉验证轮换的是哪一份(p.62)【新】

当数据少时,只留一小份作验证,分数可能很依赖“恰好抽到了哪几条”。交叉验证让不同部分轮流被留出。这里 kk 是组数,是一个正整数;通常取至少2组,且不能超过能合理划分的样本数。

课件 p.62 的步骤是打乱、分成 kk 组,每次用一组留出评价、其余组训练,再汇总分数。注意每轮必须从相应训练组重新拟合模型。

**补充手算:**12条记录分成A、B、C三组,各4条。

轮次 本轮训练数据 本轮评价数据 留出预测答对数(自取)
1 B与C,共8条 A,4条 3
2 A与C,共8条 B,4条 2
3 A与B,共8条 C,4条 4

第一轮的模型没见过A;第二轮的模型没见过B。第二轮重新训练时可使用A,这不与第一轮冲突,因为现在评价的是另一个模型在B上的表现。每条样本只贡献一次留出预测。

三轮准确率分别为 3/4,2/4,4/43/4,2/4,4/4。组大小相同,所以平均为

3/4+2/4+4/43=912=0.75. \frac{3/4+2/4+4/4}{3}=\frac{9}{12}=0.75.

平均的是三个留出分数,不是参数,也不是先在全部12条上训练再逐组测试的成绩。后一做法没有真正留出任何数据。

**补充边界:**若用交叉验证来选超参数,它仍属于模型选择,需要另一层独立评价才能估计最终流程表现。数据有病人分组或时间顺序时,分组也要保留这些约束。预处理如标准化也应在每轮训练部分拟合,不能先用全体数据计算所有统计量。组大小不同时,逐组平均与逐样本平均可能不同:2条全对与8条对4条,前者平均75%,合并则6/10=60%;报告时要说清权重。

换成五组,再确认轮换没有变

原笔记的五折例也可以独立重算:10条记录分成A、B、C、D、E五组,各2条。五次训练与留出依次为BCDE→A、ACDE→B、ABDE→C、ABCE→D、ABCD→E,箭头右边始终没参与本轮训练。

**小检查(补充自取数):**五次留出准确率为1、0.5、1、1、0.5,平均多少?每个模型用了几条训练记录?

参考答案

每轮8条训练、2条评价;五组同样大小,平均为 (1+0.5+1+1+0.5)/5=0.8(1+0.5+1+1+0.5)/5=0.8。每个样本被留出一次、参与其余四轮训练。不能先用全部10条训练一个模型,再把同一个模型分五次打分。

补充 · 交叉验证必须连预处理一起隔离(通识讲解;演示数据不属于原题)。

“测试标签没有用于训练”仍不足以排除泄漏。若先在全部数据上算均值、标准差,再切训练和验证,验证分布的信息已经进入了预处理。正确顺序是:划出这一折的训练部分;只用它估计预处理参数;用同一组参数转换该折训练和验证;训练模型;最后计算验证指标。换折时重新估计,不能共用上一折的均值。

演示数据:训练输入为 0 和 2,验证输入为 100。训练均值为 1,中心化后的训练值是 −1、1,验证值为 99。若偷用三点均值 34,训练变成 −34、−32;尽管没读验证标签,学习流程已被未见输入影响。这个小例只演示中心化,不声称其一定使指标变好;泄漏的问题是评价不再严格模拟未来未知数据。

自查 · 最后用全部可用训练数据重训时还能重新估计均值吗?

可以。完成超参数选择后,可在最终训练集重新拟合预处理和模型;保留的独立测试集仍不能参与拟合。关键是每个阶段先划清哪部分被允许当训练数据。

从预测到四种计数(p.63–64)【新】

先别背缩写。p.63 要我们把预测与**真实标签(ground truth)**对照;p.64 考虑只有两类的分类器。为便于数,约定“有目标”为正类1,“没有目标”为负类0。正不表示好或健康,负不表示错误。

**贯穿下面几节的补充例子:**某物件检测器处理6张照片,真实类别和预测如下。数字是教学自取,不是原题数据。

照片 真实标签 预测标签 先读一句话 计数
A 1 1 报正,而且报对 TP
B 1 0 报负,但报错:漏掉目标 FN
C 1 1 报正,而且报对 TP
D 0 1 报正,但报错:误报 FP
E 0 0 报负,而且报对 TN
F 0 0 报负,而且报对 TN

缩写末尾P/N说预测为正还是负;开头T/F说这次判断真还是假。于是TP=2、FN=1、FP=1、TN=2,四个数相加是6,正好覆盖所有照片。

原课件 p.64 的表行是预测、列是真实,按这个方向填入自取数字:

预测/真实 正类 负类 本行合计
正类 TP=2 FP=1 3次报正
负类 FN=1 TN=2 3次报负
本列合计 3个真实正类 3个真实负类 6张

把FP和FN调换时总数可能仍然正确,所以总数自检还不够。要再把每种错误读成一句话:“误报没有的对象”是FP,“漏掉已有的对象”是FN。医学图像中把病变设为正类时也用同样逻辑,这里只学习统计定义,不作诊疗判断。

三个分母,对应三种问题(p.65)【新】

指标首先是一句问题,其次才是一条公式。继续用前节6张照片,先圈出问题所关注的那堆样本,再数其中符合条件的多少。

1. 所有预测里,多少个判对?所有样本共6,判对的是TP的2张与TN的2张,得到4/6。这叫准确率 Accuracy:

Accuracy=TP+TNTP+FP+TN+FN. \mathrm{Accuracy}=\frac{TP+TN}{TP+FP+TN+FN}.

分母是总样本数,分子是两个正确格。四个符号都是计数;输出是0到1之间的比例,没有价格或长度等单位。

2. 模型报正的里面,多少真的正?先只看预测为正那一行,共3张;其中TP有2张,得到2/3。这叫精确率 Precision:

Precision=TPTP+FP. \mathrm{Precision}=\frac{TP}{TP+FP}.

FP与TP一起进入分母,因为它们都是报正;TN与FN都报负,不在这次问题的范围内。它回答“我能多相信报正结果”。

3. 真实正类里面,多少被找到了?先只看真实为正那一列,共3张;其中找到的TP有2张,得到2/3。这叫召回率 Recall,也叫 sensitivity:

Recall=TPTP+FN. \mathrm{Recall}=\frac{TP}{TP+FN}.

FN进入分母因为它们本来有目标,只是漏掉了。FP不是实际目标,不计入“目标找回多少”。本例两个分数相同纯粹因为FP与FN恰好同为1,并非两式等价。

**改变一次预测看区别:**若把D从误报正改为正确负,则TP=2、FP=0、FN=1、TN=3。Accuracy变为5/6,Precision变为2/2=1,Recall仍为2/3。纠正误报并没有找回B,因此召回不变。这个操作比孤立背三条式子更容易记住每个分母。

**边界一:类不平衡。**另取1000条记录,仅10条真实正;全部预测负会有TN=990、FN=10、TP=FP=0。Accuracy为99%,Recall为0。看似高分的模型一个目标也没找到。Precision此时分母为0,数学上未定义;软件采用0或其他约定时要注明。

**边界二:误报比例的口径。**p.65 用 low “false alarm rate”解释高Precision,是直观措辞。严格常用的假正例率是 FP/(FP+TN)FP/(FP+TN),从真实负类出发;而 1−Precision1-\mathrm{Precision} 是 FP/(TP+FP)FP/(TP+FP),从报正出发。分母不同,不能把它们写成同一个量。

**边界三:阈值。**若把“多有把握才报正”的门槛降低,有些FN可能变TP,有些TN也可能变FP。召回不会因此减少,但精确率未必改善。评价要结合错误代价,不能只盯一个数字。

历史计数练习见附录 A1;严格不等式练习见附录 A2。这些是往年材料,不是对本学期考题的预测。

**停一下:**判断“是否漏掉实际目标”时,为什么不用所有样本总数作分母?

参考答案

因为这个问题只关心真实目标那一堆。加入大量真实负类会稀释漏检的影响。Recall的分母固定为真实正类总数TP+FN;Accuracy才考察全部样本。

再练一次:精确率与召回率不再相等

**补充自取数:**保留原笔记的另一组计数TP=8、FP=2、FN=4、TN=6。先别看答案,分别在纸上圈出“所有样本”“报正样本”“真实正样本”的总数,再计算三个指标。

参考答案

所有样本共 8+2+4+6=208+2+4+6=20,正确数 8+6=148+6=14,Accuracy为14/20=0.7。报正样本共 8+2=108+2=10,其中8个真的正,Precision为8/10=0.8。真实正样本共 8+4=128+4=12,找回8个,Recall为8/12=2/3。这里FP与FN不同,两个分母便不同,不能互换。

补充:同一模型换阈值,四个计数就会变

以下六条数据是自编演示,分数视为正类概率;规定概率大于等于阈值判正。

样本 真实标签 概率 阈值0.5的预测 阈值0.3的预测
A 1 0.9 1 1
B 0 0.8 1 1
C 1 0.6 1 1
D 0 0.4 0 1
E 1 0.3 0 1
F 0 0.1 0 0

阈值0.5时,TP=2、FP=1、FN=1、TN=2,精确率与召回率均为 2/32/3,准确率为 4/64/6。降到0.3后,TP=3、FP=2、FN=0、TN=1;召回率升到1,精确率降到 3/53/5,准确率仍为 4/64/6。它没有重新训练,也没有改变六个概率,只改变了把概率变成行动的门槛。

为什么召回率不下降?降低阈值只会把一些原负预测改成正预测,原先的TP不会变回FN;固定数据的真实正类数不变。但新增的正预测可能混有真、假正类,因此精确率没有同样的单调保证。假如新增的全是真正类,精确率也可能上升,不能把本表的下降当作普遍定理。

阈值也属于要选择的设置。用验证集选门槛,再在保留测试集上报告结果;若看着测试标签反复改门槛,测试集就参与了选择。只有在正类含义、阈值和四个计数一起说明后,三个指标才有可复核的解释。

多分类矩阵与任务指标(p.66–67)

两类时四格够用,十类就要十行十列。混淆矩阵只是把“真实是什么、预测成什么”成对数出来的表;名字里的“混淆”指分错到另一类的情况。

原图已核对:p.66 纵轴True Class,横轴Predicted Class,与p.64相反。因此一个格子必须连同行列标签读,不能靠“左上角附近”猜。对角线真实类等于预测类,都是正确;其他格子是具体错误方向,通常不对称。

图中真实cat预测dog为48,真实dog预测cat为111。两数不一样完全合理:两类可能难度、数量、图像特征都不同。真实cat这一行依次为826、48、12、24、32、30、12、5、4、7,相加为1000。因此从1000个真实cat出发,有826个找回,cat的Recall为826/1000=0.826。要问“预测cat的有多少真是cat”,则必须沿cat列求和,不能复用行总数。

**补充:把某一类重新看作二分类。**暂时只关心cat,把其他九类合称“非cat”:cat→cat是TP;cat→非cat合计FN;非cat→cat合计FP;非cat→非cat合计TN。这不是重新训练模型,只是为了统计某个类别的表现。

所有格子相加是总样本数,对角线相加是总正确数,两者之比是总体Accuracy。每一类分别算Recall后再简单平均,是另一种汇总方式;它让少数类和多数类的权重一样,不能与总体Accuracy混为一谈。

p.67 提醒指标取决于任务。**补充例子:**预测价格20与真实21,和预测200与真实21虽然都“不完全相等”,误差程度却很不一样;此时用连续误差比简单判对/判错更有意义。聚类没有给定标签时,更不能偷偷用训练时根本不存在的“标准类别”充当优化目标。

表(p.66,图片逐格转写):行是真实类别,列是预测类别;“空”保留原图空白格,不将未印出的字符伪装成原图数字。

真实 / 预测 cat dog horse deer bird frog airplane ship automobile truck
cat 826 48 12 24 32 30 12 5 4 7
dog 111 801 17 18 28 13 7 空 2 3
horse 13 17 915 22 14 3 9 2 1 4
deer 24 13 14 898 28 14 5 2 1 1
bird 30 8 5 13 892 17 26 4 2 3
frog 27 4 1 3 16 943 5 1 空 空
airplane 8 1 5 4 21 5 923 23 4 6
ship 4 1 1 空 4 2 37 931 10 10
automobile 空 空 1 空 2 空 5 5 972 15
truck 3 空 1 空 3 2 20 9 39 923

**由原表展开计算:**按图的零计数留白读法,每行合计 1000,总计 10000。正确数为 826+801+915+898+892+943+923+931+972+923=9024826+801+915+898+892+943+923+931+972+923=9024,所以总体准确率为 90.24%。cat 列的非空计数相加为 826+111+13+24+30+27+8+4+3=1046826+111+13+24+30+27+8+4+3=1046;于是 cat 的精确率为 826/1046≈0.7897826/1046\approx0.7897,召回率为 826/1000=0.826826/1000=0.826。这个差别来自图中实际错误分布,并非另造简化表。

**图(p.67):其他指标四象限。**回归框原文列 MSPE、MSAE、R Square、Adjusted R Square;分类框列 Precision–Recall、ROC–AUC、Accuracy、Log-Loss;无监督框列 Rand Index、Mutual Information;其他框列 CV Error、寻找 K 的启发方法、BLEU Score (NLP)。这页只列名字,没有定义 MSPE/MSAE 的缩写约定,不能偷偷替换成另一组指标公式。

**补充:帮助辨认名字。**R Square/Adjusted R Square 衡量回归拟合及复杂度调整;ROC–AUC 汇总不同阈值的区分能力;Log-Loss 评价给真实类别的概率;Rand Index/Mutual Information 比较分组关系;CV Error 是交叉验证误差;BLEU 常用于翻译文本的匹配评价。寻找 K 是选聚类数的任务,不是一个统一指标。各指标具体约定仍需后续定义,当前目的只是理解“任务决定评价方法”。

三种学习方式的判断依据(p.68–70)【新】

前面一直在说预测和标签,现在问训练数据到底提供了什么帮助。p.68 按信号区分监督、无监督、强化学习;p.69–70 用硬币说明第一种。

硬币输入可以记录尺寸和质量,目标是识别1、2、5、10元币值。特征是提供给模型观察的数,标签是希望模型输出的答案。这两个角色不要因同在一行表格里就混掉。

**补充表示例(数值为演示自取,不是真实硬币规格):**一条记录的两个特征是直径20、质量5,标签是“1元”。写成 x=(20,5)x=(20,5),这是长度为2的向量;yy 是币值类别。20和5不是两个训练样本,而是同一个样本的两个特征。预测类别与标签比较,才能知道这次识别是否错。

p.70 learning a function that maps an input to an output based on example input-output pairs

这就是监督学习:训练提供输入和目标输出的配对。监督不要求有人实时站在机器旁边;标签早已存在于数据里,也能用于训练。用房屋属性预测成交价同样有输入输出配对,所以回归也是监督学习,不是只有分类才算。

想判断一道题的学习类型,先找训练材料:有没有每条样本相应的目标?目标是什么?不要因为数据是图片就判“监督”,也不要因为模型叫神经网络就判“深度学习之外不可能有别的训练方式”。模型结构与训练信号是两种分类维度。

**图(p.68)的训练信号:**监督一角列 labeled data、predict outcome/future、direct feedback;无监督一角列 unlabeled data、find hidden structure、no feedback;强化一角列 learn series、reward system、decision process。图中 no feedback 应结合无标签语境理解为没有逐样本正确答案反馈,不能扩张成“无监督算法没有目标或停止条件”。三角形表示三类学习的并列关系,不是按面积表示课程比重。

无标签模式与奖励信号(p.71–73)【新】

**无监督学习(p.71)**继续使用硬币尺寸与质量,但不给币值标签。算法可根据相似性把点分组;然而“第1组”不是自动就有了“1元”的含义。组号只是算法输出的标记,语义名称需要额外解释。

**补充例子:**尺寸/质量记录有(20,5)、(21,5)、(30,9)、(31,9)。只看数值,前两条接近、后两条接近,可以提出两个组;这一步没有用币值。若后来有人告诉我们组与币值的对应,那是新增信息,不能倒过来说最初训练已有标签。无监督也可能有目标函数,例如让组内点更接近;“没有标签”不等于“没有任何评价准则”。这条线在L05继续。

**强化学习(p.72)**换了另一种反馈:系统观察环境、采取动作,再收到奖励,并影响下一状态。课件用机器狗说明,目标关心累计奖励。奖励像行动后给的分数,并不等于“当前正确动作叫什么”的标签。

**补充手算(自取数字):**路线A三步奖励为1、0、5,路线B为3、0、0。按未折扣的加总,A为6、B为3。如果只看第一步,会选B;若目标是这三步总回报,A更好。这里不需要先懂复杂强化算法,只需看见当前动作可能影响将来。得到0分也不一定说明当前动作错误,它可能是到达后面奖励的准备。

p.73 把分类、房价、翻译放在监督例子,把客户分群放在无监督,把抓取、游戏、竞价放在强化例子。**具体做法仍决定类型:**如果机器人直接模仿“状态—示范动作”配对,可按监督方法学习;如果通过试错追求累计奖励,则是强化学习。领域名称不能代替检查训练信号。

**p.73 的例子完整保留:**监督是对象分类、房价预测、文本翻译;无监督是营销客户分群、数据分析与可视化、推荐系统;强化是机器人抓取、游戏、实时竞价。推荐系统也可使用监督反馈,但本页把它作为无监督例子时强调从数据中发现结构;不能把“某应用曾被列为例子”变成排他性定理。

历史练习见附录 A3。其中列出的算法名称要等后续讲次学习机制,不要求读到这里就已经会运行。

**停一下:**四堆无标签硬币与四种已知币值,为什么不是完全同一个问题?

参考答案

第一种只要求寻找结构,组号本身没有币值语义;第二种训练时给出输入对应的正确币值,目标是预测这种标签。即使最后分组碰巧一致,获得的信息与学习目标仍不同。

本讲核心考点

  • 区分参数拟合、超参数选择、独立评价(p.60–62,C 级)。
  • TP/FP/FN/TN 必须按实际与预测交叉判断(p.64,A 级)。
  • Accuracy、Precision、Recall 的分母不同(p.65,A 级:2025 Part II Q3)。
  • 混淆矩阵方向以坐标轴为准(p.66,C 级)。
  • 三类学习按标签、隐藏结构、累计奖励区分(p.70–73,A 级:样题 Part II)。

附录

A1 作业/往年题演练(非讲义内容):由四个计数算 Recall

题面(Final-Exam-CSCI3230-Record-2025T1-官方节选.pdf · Part II Q3 · PDF p.2;扫描件,视觉读取)

p.2 3. (2%) In a binary classification problem, a model's performance resulted in 27 True Positives (TP), 5 False Positives (FP), 3 False Negatives (FN), and 65 True Negatives (TN). Determine the Recall (Sensitivity) value. Show all steps and the formula used for your calculation.

参考答案

先遮住四个数,只看问题名称Recall。它问“真实正类有多少被找回”,所以分母应该是实际正类,而不是所有预测。

第一步,实际正类由找回的TP与漏掉的FN组成,总数为 27+3=3027+3=30。第二步,找回数就是TP=27。第三步,把找回数除以应找回总数,得到 27/30=0.9=90%27/30=0.9=90\%。

再自检:四格共100,但100回答“全部样本多少”,不是本题分母。FP=5是误报的真实负类,TN=65也是负类,均不进入Recall。若你算出27/32,就是误把报正那一堆作为分母,算成了Precision。ESTR同名节选此题一致。

回到正文:三个分母,对应三种问题

A2 作业/往年题演练(非讲义内容):严格不等式与最大漏检

题面(ESTR-Final-Exam-2023T1.pdf · Part II Q2 · p.4;扫描件,视觉读取)

p.4 2. In a classification problem, you use 1000 X-Ray images with lung cancer (i.e., positive samples) and 800 X-Ray images without lung cancer (i.e., negative samples) to train a classifier, then test the classifier on another held-out set of 60 cancer images and 40 non-cancer images. If your model aims to achieve a prediction accuracy higher than 85% with a recall higher than 90% in order to make it clinically useable, how many false negatives the model is allowed to have at most? (3%)

参考答案

第一步,先确定用哪份数据。题目说在另一个held-out集合测试,所以实际正类是60,负类40;训练的1000和800不进入测试指标分母。

第二步,把未知量写成一个数。令 ff 为漏检数量,它必须是非负整数。60个实际正类里,漏掉 ff 个,找回就是 TP=60−fTP=60-f。

第三步,只翻译Recall条件。“higher than”表示严格大于,不能改成大于等于:

60−f60>0.960−f>54f<6. \begin{aligned} \frac{60-f}{60}&>0.9\\ 60-f&>54\\ f&<6. \end{aligned}

每一步的理由是:分母60为正,可以两边同乘60而不改变不等号;再移项得到 f<6f<6。因为 ff 是整数,候选上限为5,而不是5.9,也不是6。

第四步,不能漏掉另一项Accuracy要求。测试共100条,错误是FP+FN,所以准确率高于85%要求 FP+FN<15FP+FN<15。取FN=5时是否有可行FP?例如FP=0,此时TP=55、TN=40,正确95条,准确率95%;Recall为 55/60≈91.67%55/60\approx91.67\%,两项同时满足。因此最大漏检为5确实可达到。

最后检查边界:FN=6会让Recall恰为90%,达不到“高于”。本题求允许的最大数量,不是在保证某个实际训练模型一定达到它。

回到正文:三个分母,对应三种问题

A3 作业/往年题演练(非讲义内容):有无监督信号

题面(Final-Exam-Example-Question-未核.pdf · Part II · p.1)

p.1 Please state the difference between supervised learning and unsupervised learning? Give two example methods/algorithms for each of them.

参考答案

先说区别的依据:监督训练有输入与相应目标输出,可以拿预测对照标签;无监督训练没有这种给定标签,侧重发现结构。不能把差别说成“有没有人坐在旁边”。

题目还要各两个算法,不只要任务名。后续课程中,线性回归和逻辑回归是用标签拟合模型的例子;K-means和DBSCAN是无监督聚类方法。前两种机制在L02、L03,后两种在L05;初次读本节可先认清它们为什么归到不同训练信号下,再回相应章节学如何运行。

“分类”“聚类”是任务类别,不完全替代算法名称;而“神经网络”只说结构,也不足以单独判定训练信号。

回到正文:无标签模式与奖励信号

来源与证据

  • 本篇按本学期阅读版 PDF 核对;正文页码均为去除动画中间页后的 PDF 页号。 原始 PDF 90 页,阅读版 75 页;逐页映射(本地资料)、清洗核验(本地资料)。

  • 原件:L01-Introduction-2026T1.pdf(本地课件),p.51–73;均为当前 PDF 页号。

  • 证据边界:本次重写核对本篇所列原课件;本篇历史题另核对2025 CSCI官方节选PDF p.2 Q3、2023 ESTR PDF p.4 Q2(均视觉核对),以及未核年份样题PDF p.1 Part II(文本核对,年份仍未知)。 往年题仅作历史练习,不代表2026T1考核承诺。

  • 往年卷仅证明相应年份考过;2024 卷及 2025 节选未公开的选择题不作推断。