CSCI3230 ESTR01 · Part 2/2 Survey

课程：CSCI3230 (ESTR3108) Fundamentals of Artificial Intelligence · 2025T1 本讲：ESTR01，第 2 部分 / 共 2 部分 · 原件 L01-Introduction-2025T1-ESTR扩展.pdf（本地课件） p.24–29 定位：把调查当作学习诊断；不替用户伪造个人回答。前后：上一份 Course information

想获得什么与已有经历（p.24–26）

本篇是2025T1的ESTR背景调查伴读，不是一套应先做完才准进入CSCI3230的入学测验。p.24为Survey扉页，p.25问希望ESTR在概念、算法、数学、编程、应用、研究方面增加多少内容，p.26问相关课程与自学经历。

p.25六行依次是AI concepts、algorithms、mathematics、programming、applications、research，每行三选一：“A lot more!”（多很多）、“A bit more”（多一点）、“No, just same as CSCI3230”（与主课相同）。p.26三列为AI/ML/Deep Learning/Data Mining、linear algebra、optimization；每列按经历选择：上过CUHK课程、上过Coursera等网课、未上课但自学过材料、只懂基本概念、完全没有。原页要求去uReply作答，本笔记只保留问卷内容，不代填或提交。

动机与能力是两件事：希望多学数学，不表示已经会优化；做过调库项目，也不表示已经能解释每一行公式。对初学者最有用的回答是暴露缺口，而不是把听过的词全部标成掌握。

**补充自评方法：**选择一项小任务，例如“给两条数据算一次预测”，分别标出能独立完成、看例子能完成、还不理解三种状态。先把卡点缩小到具体一步，再选择前置内容。下面六个词只作低门槛预览；不要求在调查页一次掌握六个完整理论。

六个术语的准备度（p.27）

p.27列semi-definite matrix、cross-entropy、L2-Norm、duality、SVD、gradient descent。原页只是调查熟悉程度，以下直觉、数字与公式均为补充教学内容，不是该页已经教过的推导，也不是必考清单。

p.27对每个术语使用同样四档：“I can teach this topic!”（能教别人）、“I know it”（理解）、“Sort of heard about it”（听说过）、“Huh?”（陌生）。这些是自评选项，不是六道有固定分值的考试题。

先从长度与平方开始：L2范数

一个二维向量可先理解成两个数放在一起，例如 $x=(3,4)$ 。它从原点走到平面上点(3,4)，横走3、竖走4。利用勾股定理，直线距离是

\lVert x\rVert_2=\sqrt{3^2+4^2}=\sqrt{25}=5.

两条竖线表示“求长度”，下标2说明使用平方相加的欧氏长度。输入 $x$ 是两个数，输出5是一个非负数。平方范数则是25，长度与长度平方不同。在回归中惩罚参数平方和时会再遇到它，见L02收缩方法。

给正确答案多少信心：交叉熵

先只考虑真实答案为“是”的二分类样本。模型给“是”的概率为 $p$ ，一个常见惩罚是 $-\ln p$ 。 $p$ 在0与1之间； $\ln$ 是自然对数；负号把不大于0的对数变为不小于0的损失。给正确答案0.9时惩罚约0.105，给0.1时约2.303：越不相信实际发生的答案，惩罚越大。

这不是完整二分类公式推导；这里只建立“概率与惩罚方向”直觉。真实标签为“否”时要看模型分给“否”的概率，而不能仍机械用“是”的概率。完整步骤见L03交叉熵。

如果希望把两种真实标签合成一个式子，可在上述直觉之后再展开；初读可以先跳过。

进一步看：二分类交叉熵怎样统一两种标签

令标签 $y$ 为0或1，模型给正类的概率为 $p$ ，且先假设 $0<p<1$ 。单样本损失为

\ell=-y\ln p-(1-y)\ln(1-p).

$\ell$ 是一个数。 $y=1$ 时第二项系数为0，留下 $-\ln p$ ； $y=0$ 时第一项系数为0，留下 $-\ln(1-p)$ 。因此公式每次都惩罚“分给真实类别的概率太小”。两个标签不是同时都成立， $y$ 是选择相应项的开关。预测恰为0或1的边界需按极限及数值实现处理，不直接计算 $\ln0$ 。

怎样改变参数：梯度下降

先看一个参数 $t$ 和误差 $L(t)=(t-3)^2$ 。最小处在3；当 $t=0$ ，曲线斜率为 $L'(0)=2(0-3)=-6$ 。导数 $L'(t)$ 表示参数稍增时误差的局部变化率。取一个自定的小步长0.1，沿斜率反方向移动：

t_{\mathrm{new}}=0-0.1(-6)=0.6.

新误差是 $(0.6-3)^2=5.76$ ，比原来的9小。步长是控制移动幅度的数，不是导数本身；这个局部规则不保证任意步长都下降，例如过大可能跨过谷底后走得更远。多参数时把各方向导数组成梯度，详见T02。

进一步看：从一个参数扩展到多个参数

把多个参数排成列向量 $\theta$ ，误差 $L(\theta)$ 仍输出一个数。梯度 $\nabla L(\theta_t)$ 与参数向量同长，每个分量是相应参数的偏导数； $t$ 是迭代次数。用正步长 $\alpha$ 写一次更新：

\theta_{t+1}=\theta_t-\alpha\nabla L(\theta_t).

向量减法逐个分量执行。它把上面的“0减0.1乘负6”推广到多个参数，并没有取消合适步长与局部近似的条件。

数学拓展：半正定

矩阵可先看成按行列排的数表。对称矩阵 $A$ 的半正定条件是：对所有长度相配的向量 $v$ ，二次式 $v^TAv$ 都不小于0。 $T$ 表示把列转成行，使“行乘矩阵乘列”最终得到一个数。关键不是某个 $v$ 成立，而是每个 $v$ 都成立。

取二维单位矩阵（对角为1、其他为0），结果是 $v_1^2+v_2^2\ge0$ 。若对角改成1和−1，取 $v=(0,1)$ 就得到−1，所以它不是半正定。一个反例足以否定“所有方向”。这个概念连接曲率，但L03凸性证明属于ESTR拓展边界；不必把它当作本页之前已经会的知识。

数学拓展：对偶

对偶是从另一组变量或另一个问题看原优化问题的一种方法。先建立“界”的直觉：假设 $x\ge2$ ，想使 $x^2$ 最小。任何可行的 $x$ 都给至少4，取2又能做到4，因此下界与可行值吻合，最优值被夹定为4。这个例子说明为什么寻找可靠下界有用，不是完整对偶问题的构造。

真正的对偶还要处理约束乘子、拉格朗日函数及成立条件，不能由一个例子认定任何问题都无对偶间隙。详见L04对偶与KKT，按该篇的课程/ESTR标记读。

数学拓展：SVD

SVD把一个矩阵的线性作用理解成“换坐标方向—沿方向缩放—再换输出方向”。最简单例子是横向放大2倍、纵向不变：向量(1,3)变为(2,3)。这类例子先说明缩放，较一般矩阵还需要两侧不同的方向变换。

符号上常写 $X=U\Sigma V^T$ ： $X$ 是原矩阵， $U,V$ 记录正交方向， $\Sigma$ 记录非负缩放量。此处只介绍名字与作用，不把一般矩阵分解、维度约定和存在性证明塞进调查页。后续进入L02矩阵与投影时再逐步补齐。会重复这四个字母不等于会做分解。

**小检查：**向量(3,4)的L2范数与平方范数分别是什么？如果一个矩阵只对一个向量算出正数，够不够证明半正定？

参考答案

分别为5和25。不够；半正定要求对所有适合维度的向量非负。相反，找到一个负值向量，就足以否定半正定。

补充 · 区分记住结论、能够推导与能够迁移（通识讲解；演示数据不属于原题）。

自评一个概念时，可以用三个不同动作观察准备程度。第一，用自己的话解释符号代表什么；第二，不看答案重做已有例子的一步；第三，只改一个条件，判断原结论还是否成立。例如会说“梯度下降沿负梯度”，不等于能算一次更新；能算一次更新，也不等于知道步长过大可能发散。

每次只记录具体断点：“链式法则第二因子不会算”比“数学不好”更可处理。看完答案后立刻照抄，只能证明能够跟随；隔一段时间在空白纸上重建理由，才能检查自己是否真正保留了因果链。这个方法服务学习，不给学生编造调查回答，也不把全部ESTR术语变成开课前必须掌握的门槛。

补充：六个术语的准备度要用操作而不是熟悉感判断

自编诊断从一个向量开始：取 $v=(3,4)^T$ ，先算 $v^Tv=25$ ，再开方得到L2范数5；平方范数是25，不是5。若Hessian为 $\begin{pmatrix}1&-1\\-1&1\end{pmatrix}$ ，任取 $(a,b)$ 得二次型 $(a-b)^2\ge0$ ，所以半正定，即使矩阵里有负元素；取 $(1,1)$ 得零，故不正定。

再将两条知识接起来： $X^TX$ 的二次型是 $\lVert Xv\rVert^2$ ，因此总半正定；若存在非零v被X映成0，就不能据此宣布可逆。你若能独立复述这一步，已具备理解回归矩阵扩展的重要桥梁；若只能认出“PSD”缩写，仍需回到点积与平方和。

对偶与SVD在本页只是准备调查中的术语，不能由这份自测推断本学期要求证明完整理论。可把准备度分成“听过名称”“能跟一次演算”“能换数据重做”“能说明条件与反例”；这四种状态比笼统的“会/不会”更能指向下一步阅读。

项目兴趣与特殊需求（p.28–29）

p.28问是否希望开展ESTR项目，p.29开放填写特别需求。没有统一正确兴趣，个人经历也不能由笔记代填。回答“不熟悉某工具”与“希望做项目”并不矛盾，可以据此安排准备。

补充：把需求写成能改进学习的动作。“数学很弱”可以进一步说成“希望先用二维向量演示矩阵相乘，再写一般维度”；“节奏太快”可以具体为“每次连等想知道用了展开、求导还是矩阵恒等式”。这些信息比抽象评价更有助于选择材料。

若六个词很多都陌生，先走主课的小例子：输入、预测、误差、参数；接着学线性回归；再进入概率和分类。半正定、SVD、对偶可以按课程边界作为后续拓展，不必因为问卷列了名字，就认为自己已经落下六章。

本讲核心考点

Survey 属于学习诊断，C 级；不能据此宣称六个术语一定出考试题。
数学准备不足时从 L02 的矩阵与最小二乘开始，再接 L03 的梯度。

附录

本部分没有需要另展的推导或题目演练。

来源与证据

原件：L01-Introduction-2025T1-ESTR扩展.pdf（本地课件），p.24–29；均为当前 PDF 页号。
证据边界：本次重写核对本篇所列原课件；旧笔记保留的往年题定位仅作历史练习，不代表 2026T1 考核承诺。
往年卷仅证明相应年份考过；2024 卷及 2025 节选未公开的选择题不作推断。