CSCI3230 L07 · Part 4/4 Summary

课程：CSCI3230 (ESTR3108) Fundamentals of Artificial Intelligence · 2025T1 本讲：L07，第 4 部分 / 共 4 部分 · 原件 L07-Convolutional-Neural-Networks-2025T1.pdf（本地课件） p.70–74 定位：把计算题与架构题分开复习，再接回训练。 前后：上一份 Tricks for CNN training

本文依据 2025T1 旧版材料重写，供基础学习与预习；不是 2026T1 新增要求或考试范围。补充数值例均另行标注。

本讲收束

总结与阅读材料（p.70–72）

p.70 是分隔页，p.71 的清单可以按三个问题复习，而不必先背模型名。

第一问：数怎样流动？ 卷积把局部输入与共享权重乘加；ReLU 把负响应截为 0；池化压缩各张特征图；全连接把最后的表示变成类别得分。若这条线还模糊，回到 一个卷积输出的手算。

第二问：为什么要这样连接？ 局部连接利用邻近结构，共享权重让模式检测不依赖固定位置；VGG 用小核逐层组合；ResNet 给深层网络一条保留原表示的通路。它们改变模型的表示和优化方式。

第三问：为什么训练得好却未必预测得好？ 训练数据有限，模型可能记住偶然细节。增强让输入变化，dropout 让内部依赖变化。两者针对泛化问题，不能取代正确数据分割。

用一条小网络把三个量分开（补充自取例）：输入 $8\times8\times1$，两个 3×3 核、步长 1、无填充，输出 $6\times6\times2$。它有 72 个激活，但只有 $(9+1)\cdot2=20$ 个可训练参数。再做 2×2、步长 2 最大池化，得到 $3\times3\times2$，也就是 18 个激活，新增可训练参数 0。把这 18 个数送入三个分类输出，新增 $18\cdot3+3=57$ 个参数。整网合计 77 个参数。换一张输入，激活改变；只做推理时，参数不变。

暂停检查：把输入从 8×8 换到 10×10，第一层卷积参数会增加吗？接在展平后面的全连接能否原样接上？

p.72 推荐 CS231n 和《Deep Learning》第 9 章；这里只记录原课件的延伸阅读，不把没有核读的教材内容伪装成讲义内容。

ESTR尾页（p.73–74）

这两页划定本讲材料的结束边界：p.73 只有 ESTR3108 分隔，p.74 是 Invited talk 标题，没有可供学习的讲座正文。不能从标题补写讲座结论，也不能把它列为 CSCI3230 新增知识要求。

如果当前只学 CSCI3230，掌握前面“尺寸—参数—架构—训练”的路线即可用本篇自查；具体2026课程范围仍要看当期实际发布材料。

补充 · 参数少为何仍可能占很多内存（通识讲解；演示数据不属于原题）。

共享卷积核使参数量不随图片长宽直接增长，但前向激活会随空间位置增长。演示输出为 $32\times28\times28$，每张图就有25088个激活数；批大小64时共有1605632个数。若每个数用4字节，仅这一份张量约6.13 MiB，尚未计入梯度、其他层、临时工作区和优化器状态。

因此“这个层只有几百个参数”不能推出训练几乎不占内存。输入分辨率、批大小和要保存的中间量都影响资源需求。遇到内存不足，先定位峰值出现在什么阶段，再评估减批大小或改结构；减少参数与减少激活的办法往往不是同一个动作。

复习架构时还应能从文字重建三个例子：AlexNet的五卷积加三全连接，VGG的五组小卷积核与逐组池化，以及ResNet在普通卷积路径旁加入可相加的捷径。阅读页列Stanford CS231n（http://cs231n.stanford.edu/）与Goodfellow、Bengio、Courville的《Deep Learning》（MIT Press，2016）第9章；这些是继续阅读入口，本笔记的基础计算无需先打开它们。

补充：参数预算、运算量、输出尺寸分开算

自编输入为32×32×3，卷积核3×3、输出通道16、步长1、padding1、含偏置。输出空间仍为32×32；每个输出通道有 $3\times3\times3=27$ 个核参数和1个偏置，参数总数 $16\times28=448$。输出元素有 $32\times32\times16=16384$，每个需要27次乘法，因此核乘法共442368次，另有加法和偏置操作。

把输入改成64×64×3，参数仍为448，因为同一核继续滑动；输出元素和主要卷积运算却都变成四倍。反过来，把输出通道翻倍，参数与输出元素约翻倍，后续层的输入通道数也随之变化，可能继续增加后续代价。

所以“参数少”不能直接翻译成“推理一定快”或“训练内存一定小”。训练还需要保留中间激活与相关状态，实际延迟也取决于实现和硬件。本段只计算明确的理论账目，不把这些数当作某台机器的测量结果。

本讲核心考点

• 尺寸、参数数、激活数是三种不同量（p.71，A 级：2023 卷 Part I Q7–8）。
• 残差与泛化技巧解决的问题不同（p.71，C 级）。

附录

本部分没有需要另展的推导或题目演练。

来源与证据

• 原件：L07-Convolutional-Neural-Networks-2025T1.pdf（本地课件），p.70–74；均为当前 PDF 页号。
• 本次重写核对本篇所列讲义页码；旧版作业/试题题面如保留，属于历史练习，不代表 2026T1 考核要求。未以未公开试题推断考试内容。
• 往年卷仅证明相应年份考过；2024 卷及 2025 节选未公开的选择题不作推断。