CSCI3230 L07 · Part 1/4 Basic concepts

课程：CSCI3230 (ESTR3108) Fundamentals of Artificial Intelligence · 2025T1 本讲：L07，第 1 部分 / 共 4 部分 · 原件 L07-Convolutional-Neural-Networks-2025T1.pdf（本地课件） p.1–47 定位：局部连接与共享权重把图像结构放进模型。前后：下一份 CNN for classification

本文依据 2025T1 旧版材料重写，供基础学习与预习；不是 2026T1 新增要求或考试范围。补充数值例均另行标注。

整讲导航：

1. Basic concepts：p.1–47。
2. CNN for classification：p.48–63。
3. Tricks for CNN training：p.64–69。
4. Summary：p.70–74。

读懂每个空间轴和通道轴

封面与路线（p.1–3）

先想一个具体问题：同一条竖边缘出现在照片左边和右边，我们希望同一个检测方法都能认出来，而不是分别学习两套方法。CNN 的出发点正是“只看附近的一小块，并把同一把尺子挪到不同位置”。

本篇需要的前置只有三件事：矩阵是按行列排列的数；内积是对应相乘再求和；神经网络的权重是训练时改变的数。还不熟悉内积也没关系，p.16–18 将从四个乘法开始。p.1 是封面，p.2 给四部分路线，p.3 为基础部分分隔页。先学单层计算，再读架构名。

两个里程碑（p.4–6）

p.4 把 LeNet 和 AlexNet 放在一起，不是要求先背完所有层，而是说明同一套“卷积—非线性—汇聚”思路可以组成不同大小的网络。卷积找局部组合，非线性让组合规则不局限于一条直线，池化压缩空间位置。后面会逐一算。

p.5 把 ReLU 列在 LeNet 式教学流程中；不要据此把“原始 1998 LeNet-5 必用 ReLU”当历史事实。p.6 的 AlexNet 是 2012 竞赛背景，但所写 37.5%/17.0% 在 p.52 原表对应 ILSVRC2010 测试。同一 PDF 这两处年份说明不一致，引用数值须带表的实际数据集标题，而不是混为一个实验。

p.4的LeNet-5结构可完整读成：32×32输入→C1：6张28×28特征图→S2：6张14×14→C3：16张10×10→S4：16张5×5→C5：120个单元→F6：84个单元→10类输出（原图标Gaussian connections）。C表示卷积、S表示下采样。它解释为何空间尺寸逐渐缩小、通道和特征复杂度增加。原页将1998年的LeNet与2012年的AlexNet并列，用约 $10^6$ 与 $10^9$ 的晶体管规模、约 $10^7$ 与 $10^{14}$ 的训练图像像素规模说明硬件与数据背景；这些数字不是网络参数个数。

p.5列出较适合早期网络的MNIST、CIFAR-10、交通标志，以及更复杂的Caltech-101/256。该页提到ReLU是课程对CNN的概括，不能据此认定1998年原LeNet已经使用今日的ReLU配置。原始资源入口为 http://yann.lecun.com/exdb/lenet/ 。p.6的分类图片示例包括螨虫、集装箱船、踏板摩托、豹、格栅、蘑菇、樱桃与马达加斯加猫类标签；每张图片旁的多个候选概率展示“给所有候选类别评分”，并非一张图同时有五个标准答案。

ImageNet图应该怎样读（p.7–9）

数据集是一组输入图片及其标注，不是某个网络。ImageNet 的完整库与常用 1000 类竞赛子集也不是同一个规模。p.7 的 22K 类、14M 图像描述历史全库；p.8 的标签树把 husky 放在 mammal 一路下，把 trimaran 放在 vehicle 一路下：标签也可以有层级。

先理解 Top-1：模型只报最有把握的一类，报对才算对。Top-5 给五次候选机会，只要正确类在这五个里就算对。因此同一批预测上 Top-5 错误率不会高于 Top-1。p.9 纵轴是 Top-1 accuracy，越高越好；横轴是 2010–2021。这里只读历史趋势，不当作当前排行榜，也不要把 accuracy 与 error 当同一方向。

p.7还把ImageNet类别组织为动物（鸟、鱼、哺乳动物、无脊椎动物）、植物（树、花）、食物、材料、结构、人造物（工具、器具等）、人物和场景（室内、地质地貌、运动活动）。p.8两条具体层级是“哺乳动物→胎盘动物→食肉动物→犬科→狗→工作犬→哈士奇”和“交通工具→船艇→水上交通工具→帆船类→帆船→三体帆船”；父节点表示更宽的概念，叶节点更具体。

p.9横轴2010–2021、纵轴top-1 accuracy，灰点是其他模型、青色线连接当时领先结果。图中标注SIFT+FVs、AlexNet、SPPNet、Inception V3、NASNet-A、FixResNeXt与Meta Pseudo Labels等，整体从约50%上升至约90%。这些是图上趋势读数，不是可用于精确复现实验的逐年数值表，也不是当前排行榜。

视觉任务改变输出对象（p.10–12）【新】

看见“图像进网络”还不足以知道要做什么，必须问输出是什么。以一张含两只狗的照片为例（补充示例）：

任务	需要交出的东西	两只狗如何处理
分类	整张图的类别	可能只输出“狗”
定位	类别与一个目标框	通常讨论单个目标的位置
检测	多个框及各自类别	输出两个狗框
实例分割	每个对象的像素区域	两只狗各有一张掩码

p.10 图对照这些输出，p.11 展示多个检测框，p.12 同为 person 的对象仍以不同颜色区分。掩码可理解为与图像对齐的格子表，每格说明是不是该对象的一部分。框只给长方形边界，掩码才更贴轮廓。不要把“能分狗/猫”与“能找出每只狗”混为一项能力。

COCO与从向量到张量（p.13–15）

p.13 的 COCO 场景包含多个日常对象，适合说明检测/分割；p.14 用 box AP 衡量检测，p.9 则是分类准确率。指标不同，即使都是百分数也不能直接排名。

接下来换一种储存图片的眼光。灰度图的每个位置只有一个亮度数；RGB 图每个位置有红、绿、蓝三个数。因此一张高 32、宽 32 的 RGB 图有 $32\times32\times3=3072$ 个数。“张量”在这里先理解为有多个轴的数表即可。三个轴分别回答：第几行、第几列、第几个颜色通道。

全连接层可以把这 3072 个数排成向量，但排完以后，网络连接方式并没有特别优待相邻像素。p.15 的 CNN 把空间行列保留下来，再规定每个小窗口只连接局部邻居。能处理图像和在结构中利用图像邻近性是两件事。

p.11的Faster R-CNN示例（Ren等，2015）在公园人和狗、飞机与人、街道自行车和摩托、滑雪者及滑雪板、建筑时钟、床等场景中画出各对象框。p.12进一步以不同颜色区分同类人物的不同实例，并显示滑雪板、背包和汽车的像素区域。p.13的COCO样图按Person、Dog、Cow、Train、Car、Motorbike、Chair、Sofa、Bottle排列，说明对象既可能小、拥挤，也可能部分遮挡。

p.14历史检测曲线的纵轴为box AP，不能直接与p.9的分类准确率比较。2016–2021的标注模型包括SSD512、带框细化/上下文/多尺度测试的Faster R-CNN、Mask R-CNN（ResNeXt-101 FPN）、DRFCN+SNIP、NAS-FPN、CSP-p6+Mish和Swin-L（HTC++、多尺度）；青色领先曲线大致从29升到60。括号里的骨干和测试设置也是比较条件，不能把变化全部归因于模型名字。

一个卷积输出是一次内积（p.16–18）【新】

p.16–18 图中输入为 $32\times32\times3$ ，滤波器为 $5\times5\times3$ 。滤波器又叫卷积核，是一小块可学习权重。它在一个位置覆盖 $5\times5\times3=75$ 个数，把这 75 对输入与权重分别相乘，再相加，最后加一个偏置，只得到 一个数。

先用更小的例子手算（补充自取数字，非讲义题目）。单通道窗口和权重为：

X_{\rm window}=\begin{pmatrix}1&2\\3&4\end{pmatrix},\qquad W=\begin{pmatrix}1&0\\0&-1\end{pmatrix},\qquad b=1.

这里 $X$ 存输入像素， $W$ 存检测规则， $b$ 是整体调整输出的偏置。对应相乘后求和：

\begin{aligned} z&=1\cdot1+2\cdot0+3\cdot0+4\cdot(-1)+1\\ &=1+0+0-4+1=-2. \end{aligned}

负数完全合法：卷积输出先是一个得分，不自动是概率。若后接 ReLU，它才把负数改为 0。若有 RGB 三通道，就在各通道内做同样乘加，再把三份结果相加，偏置只加一次。

把这个过程写全（普通卷积，未翻核的互相关形式）：

y_{u,v,k}=b_k+\sum_{c=1}^{C_{\rm in}}\sum_{i=0}^{F-1}\sum_{j=0}^{F-1} W_{i,j,c,k}X_{uS+i-P,vS+j-P,c}.

不要一口气背符号： $u,v$ 是输出格子的行列； $k$ 选第几个输出通道； $c$ 遍历输入通道； $i,j$ 遍历核内行列。 $F$ 是方核边长， $S$ 是每次移动的步长， $P$ 是每边填充厚度。 $W$ 的四个轴是核高、核宽、输入通道、输出通道。最内三重求和消去窗口及输入通道，留下一个 $y_{u,v,k}$ 。越界的 $X$ 按填充约定取值，零填充即取 0。

滑动而不重新造参数（p.19–21）

接着把刚才的核向右挪一格。变的是读到的像素，核权重和偏置没有重造。p.19–21 正是同一窗口位置逐步移动、输出数逐步增加。

继续上节的核，用输入（补充自取）

X=\begin{pmatrix}1&2&0\\3&4&1\\0&2&2\end{pmatrix}

核宽 2、步长 1、不填充，左上窗口输出已算得 $-2$ 。右上窗口是两行 $(2,0),(4,1)$ ，输出 $2-1+1=2$ 。左下是 $(3,4),(0,2)$ ，输出 $3-2+1=2$ ；右下是 $(4,1),(2,2)$ ，输出 $4-2+1=3$ 。

于是同一套 4 个权重、1 个偏置，生成四个不同激活。共享参数指这四个位置用同一组数，不是四个输出必须相同，更不是所有层的权重相同。训练时来自各位置的影响会共同更新这套权重；一次前向计算中它保持固定。

一张特征图、多个滤波器（p.22–24）

上节四个输出按位置排回去，得到

Y=\begin{pmatrix}-2&2\\2&3\end{pmatrix}.

这就是一张 特征图：它记录同一种检测规则在不同位置的响应。p.22 继续扫遍位置，p.23 把整个结果叫 activation map，也叫 feature map。图里 $32-5+1=28$ ，所以一张输出是 $28\times28$ 。

若想同时检测另一种局部组合，就再学习一个不同核。p.24 第二个核产生第二张图；它不是给第一张图涂颜色。例中的第二个核若全为 1、偏置为 0，则左上窗口响应为 $1+2+3+4=10$ ，与第一个核的 $-2$ 不同。把两张图叠起来就有两个输出通道。核由训练得到，不要求人事先指定它一定识别边缘。

层间通道如何接（p.25–27）

p.25–26 用六个核输出 $28\times28\times6$ 。下一层接收到的“图片”已经不是 RGB，而是六张特征图。为了让一个新输出能综合这六种特征，新核就必须跨全部六个输入通道。

沿课件逐层算：

层	输入	每个核	核个数	输出
第一层	$32\times32\times3$	$5\times5\times3$	6	$28\times28\times6$
第二层	$28\times28\times6$	$5\times5\times6$	10	$24\times24\times10$

都用步长 1、无填充。第一层每核 75 权重加 1 偏置，共 $(75+1)\cdot6=456$ ；第二层每核 150 权重加 1 偏置，共 $(150+1)\cdot10=1510$ 。输出通道由核个数决定，核深度由输入通道决定。 两个数作用不同。

小检查：把第一层核个数从 6 改为 8，第二层核深度要怎样改？

参考答案

改为 8，才能读取上层全部八张图；第二层最终输出通道仍由第二层核个数决定，并不会被迫也是 8。

补充 · 尺寸相同的两层，计算与信息范围也可能不同（通识讲解；演示数据不属于原题）。

输出尺寸告诉你有多少位置，感受野告诉你一个位置能受哪些输入影响，这两者不是同一个数。演示两层步长1、大小3的卷积，不考虑边缘：第二层一个输出读取第一层连续3个位置；这些位置分别读取原图3格，合起来覆盖5格，而不是9格，因为相邻窗口重叠。

若第一层步长改成2，第一层相邻输出在原图相隔2格；第二层再读连续3个输出，覆盖范围变成 $3+2\times(3-1)=7$ 格。二维每条轴同样计算。这里说的是理论上可能影响输出的区域，不保证训练后每一格的影响都一样大。调试时同时列“尺寸、步长累计、覆盖范围”，才能看出缩小特征图与扩大可见上下文各发生在哪一步。

层次特征与尺寸问题（p.28–30）

图（p.28–29）：低层、中层、高层特征与分类链。元素：p.28 左侧较简单边纹，右侧较复杂纹理组合；p.29 车图依次经过卷积、ReLU、池化，最后全连接输出类别分数。看什么：深层是在组合前面的响应；不是每层直接重新读取原始 RGB，也不是所有亮块都是可训练参数。

补充直觉：第一层可能对短边缘响应；下一层可以同时看若干相邻边缘，识别角或纹理。这只是帮助理解的例子，不能保证每个核都有清楚的人类名字。堆层后一个输出能受更大输入区域影响，叫感受野扩大。

p.30 把注意力转回空间尺寸。后面先不管颜色和类别，只数窗口可以放几次。这样复杂网络就能拆成一个个小学计数问题。

p.28在VGG16中用Conv1_1、Conv3_2、Conv5_3分别代表低、中、高层可视化，并引用Zeiler与Fergus（ECCV 2014）。p.29的示意网络有三组“卷积→ReLU→卷积→ReLU→池化”，然后接全连接分类器；输出候选为car、truck、airplane、ship、horse，car得分最高。这是从局部图案到类别评分的具体前向路径。

7×7网格上的合法位置（p.31–33）

p.31 给 7×7 输入和 3×3 核。沿横轴把格子编号 0 到 6：核若从 0 开始，覆盖 0、1、2；从 4 开始，覆盖 4、5、6；从 5 开始就会越界。所以合法起点为 0、1、2、3、4，共五个。

纵轴同理有五个起点，每个横向起点能搭配每个纵向起点，因此总共 $5\cdot5=25$ 个输出位置，排成 5×5 图。不是 $5+5$ ，因为行列组合形成网格。

p.33 虽写常用零填充，当前演示网格仍不能凭文字自动加出一圈；真正有填充的具体设置见 p.40。计算先把“有无 padding”写出来，避免混例。

步长1的输出与步长2的移动（p.34–36）

p.34–35 完成步长 1 的滑动，输出 5×5。步长是窗口起点每次移动多少格。p.36 改成步长 2：起点从 0 到 2 再到 4，下一个 6 已放不下三格窗口，所以一轴只有三次。

它改变的是“去哪几个位置取样”。核内部仍是连续 3×3 的九个格子。若把核内部格子隔开，那是另一个设置 dilation，本段默认没有它。

补充自取检查：长度 8、核宽 3、步长 2、不填充时，合法起点是 0、2、4；起点 6 需读到 8，但编号最大为 7，所以也只有三个输出。这个例子会解释为何下一节需要向下取整。

通式与向下取整（p.37–39）

设一条轴原来长 $N$ ，每边填 $P$ 格，填后长 $N+2P$ ；核宽 $F$ ，步长 $S$ 。第一个窗口起点是 0，第 $t$ 次移动后起点为 $tS$ 。不越界要求

tS+F\le N+2P.

移项、除以正数 $S$ ，得到 $t\le(N+2P-F)/S$ 。 $t$ 只能是整数，因此最大移动次数是这个商向下取整；窗口次数比移动次数多 1，因为没移动时就算第一个窗口。

N_{\rm out}=\left\lfloor\frac{N+2P-F}{S}\right\rfloor+1.

p.37–38 的 $N=7,F=3,S=2,P=0$ 得 3；p.39 的步长 1 得 5。上节补充例 $N=8$ 则为 $\lfloor2.5\rfloor+1=3$ ，不能报 3.5。高度宽度分别使用此式；默认 dilation 为 1，且核能放入填后输入。

Padding与两道课堂题（p.40–42）

p.40 输入 $7\times7$ 、核宽 3、stride 1、padding 1，输出 $(7+2-3)+1=7$ 。奇数核取 $P=(F-1)/2$ 且 $S=1$ 可保持空间尺寸。

题面（L07-Convolutional-Neural-Networks-2025T1.pdf · Quiz · p.41）

p.41 For a convolutional layer: Input volume: $224\times224\times3$ Use 50 $8\times8$ filters with stride 2, pad 3

What is the output feature map size? A $112\times112\times3$ B $112\times112\times50$ C $111\times111\times50$ D $223\times223\times50$

尺寸记号按讲义重排。空间 $(224+6-8)/2+1=112$ ，通道数由 50 个滤波器决定，所以选 B： $112\times112\times50$ 。

题面（L07-Convolutional-Neural-Networks-2025T1.pdf · Quiz · p.42）

p.42 For a convolutional layer: Input volume: $224\times224\times3$ 50 $8\times8$ filters with stride 2, pad 3

Number of parameters in this layer? A 9, 550 B 9, 700 C 9, 600 D 9, 650

每核 $8\times8\times3+1=193$ 个参数，总计 $193\times50=9650$ ，选 D。参数数量不乘 $112^2$ ，因为不同空间位置共享权重。

补充：共享卷积权重的梯度要汇总所有使用位置

用自编一维例把二维卷积的相同机制缩小：输入 $x=(1,2,3)$ ，核 $w=(2,-1)$ ，步长1、无padding、偏置0，按深度学习常用的不翻核计算。两个输出为 $o_1=2\times1-1\times2=0$ ， $o_2=2\times2-1\times3=1$ 。设损失 $E=(o_1^2+o_2^2)/2$ ，输出上游梯度为 $(0,1)$ 。

第一个核系数在两个位置分别乘输入1和2，因此其梯度为 $0\times1+1\times2=2$ ；第二个系数分别乘2和3，梯度为 $0\times2+1\times3=3$ 。不能只用某个窗口的梯度更新共享核，也不能把同一个系数当成两个独立参数。偏置若在所有位置共用，其梯度为上游梯度和 $0+1=1$ 。

输入2也被两个窗口使用，其梯度由两条路相加： $0\times(-1)+1\times2=2$ ；输入1的梯度0，输入3的梯度−1。卷积减少参数靠的是重复使用同一组权重，反向时就必须把重复使用的贡献相加。参数量小，不表示计算次数或激活存储同样小。

卷积总结与池化入口（p.43–44）

到 p.43，先把两种计数分开。输出尺寸数的是“算了多少个响应”；参数数的是“学习了多少个独立数”。普通方核卷积的参数数是

(F^2C_{\rm in}+1)C_{\rm out}.

$F^2$ 是核内空间位置数，乘 $C_{\rm in}$ 才包含全部输入通道，再加每核一个偏置，最后乘核个数 $C_{\rm out}$ 。改变图像宽高或步长可能大幅改变输出激活个数，却不自动改变这些权重数量。

p.44 的池化转而问：“这片小区域内，有没有很强的响应？”最大池化只取窗口最大值，没有一套需要学习的核权重。它对各通道分别做，空间图变小，通道数通常不变。损失精细位置的代价换来较小表示，不等于无损压缩。

最大池化的完整数值（p.45–47）

p.45 的单通道输入是

X=\begin{pmatrix}1&1&2&4\\5&6&7&8\\3&2&1&0\\1&2&3&4\end{pmatrix}.

用 2×2 窗口、步长 2。左上四数 $1,1,5,6$ 取 6；右上 $2,4,7,8$ 取 8；左下 $3,2,1,2$ 取 3；右下 $1,0,3,4$ 取 4。因此

Y=\begin{pmatrix}6&8\\3&4\end{pmatrix}.

没有乘权重也没有加偏置，所以可训练参数为 0。把这套操作独立用于 64 个通道，课件的 $224\times224\times64$ 变成 $112\times112\times64$ 。p.46 的“Conv layer”是本页笔误，应读为 pooling layer。

p.47 接全连接：若最终特征为 $4\times4\times16$ ，展平后每张图有 256 个数。送到 10 个输出单元，权重矩阵需 $256\times10$ ，另有 10 个偏置，总共 2570 个参数（补充自取例）。展平只改变排列方式，不学习参数；后面的全连接才学习。

小检查：最大池化后仍有 64 通道，是否表示它学了 64 个核？

参考答案

不是。64 是输入已有的通道数，各图独立取最大。普通最大池化不学习核，参数仍为 0。

历年尺寸题与1×1卷积辨析见附录 A1。

p.40的保持空间尺寸示例分别是卷积核边长3配padding 1、边长5配padding 2、边长7配padding 3，均在stride 1条件下成立。池化同样需要逐轴算尺寸：输入高宽为 $H,W$ ，池化窗为 $F_H,F_W$ ，步长为 $S_H,S_W$ ，padding为 $P_H,P_W$ 时，输出高宽分别为 $\lfloor(H+2P_H-F_H)/S_H\rfloor+1$ 和 $\lfloor(W+2P_W-F_W)/S_W\rfloor+1$ ，通道数保持不变。原页常用的2×2、stride 2、无padding只是在偶数边长时恰好减半。

本讲核心考点

输出尺寸与参数数独立计算（p.39–43，A 级：2023 卷 Part I Q8）。
特征图是激活，核和偏置才是参数（p.23–27，A 级：2023 卷 Part I Q7）。
池化保通道、无学习参数（p.44–46，C 级）。

附录

A1 作业/往年题演练（非讲义内容）：数值与概念题

题面（ESTR-Final-Exam-2023T1.pdf · Part I Q8 · p.3；扫描件，视觉读取）

p.3 8. (3%) For a convolutional layer, we use 128 filters with kernel size $3\times3$ , stride 2 and padding 1 (each side). Suppose the input data to this convolutional layer is an RGB image with size $255\times255$ , what are the output feature map size and the number of trainable parameters in this layer?

A. $126\times126\times128$ ; 3456

B. $126\times126\times128$ ; 3584

C. $128\times128\times128$ ; 3456

D. $128\times128\times128$ ; 3584

尺寸记号按原题重排。

2023卷 p.3 Part I Q8，A 级。题面： 255×255 RGB图像，128个3×3卷积核，stride2,pad1，求输出尺寸和参数数。空间floor((255+2−3)/2)+1=128，输出128×128×128；参数(3×3×3+1)×128=3584。对应原题D。核验偏置128个、不是每像素一个。

HW03-2025T1-题目.pdf p.1 Q1(3)，A 级。题面： “1×1 convolution enables nonlinear feature fusion without changing spatial dimensions”判断并解释。整体为假：stride1,pad0时它保持空间，但单独卷积只是每位置跨通道的线性/仿射组合，非线性需另加激活；stride改变时也不必保尺寸。补充·算一遍：一个像素两通道(2,3)，核权重(1,−1)、偏置0，输出−1；加ReLU才变0，新增的非线性来自ReLU。

题面（ESTR-Final-Exam-2023T1.pdf · Part I Q7 · p.3；扫描件，视觉读取）

p.3 7. (3%) Which of the following statement about CNN is not true?

A. Data augmentation and dropout are common tricks to alleviate overfitting.

B. The values in the activation maps are trainable parameters of the model.

C. Residual neural networks use skip connections to alleviate gradient vanishing.

D. Low-level features usually represent image characteristics of edges, shapes and colors.

选 B。A 的两种方法改变训练暴露的数据或激活，常用于减轻过拟合；C 提供额外梯度路径；D 描述低层局部特征。B 混淆了随输入变化的响应与优化器直接更新的权重。

2023卷 p.3 Part I Q7，A 级。题面辨析： “activation maps are trainable parameters”是否正确？不正确。激活图是输入与参数计算得到的中间结果；参数通过训练更新，而换输入就能改变激活图。卷积核权重和偏置才属于此层训练参数。

返回正文

来源与证据

原件：L07-Convolutional-Neural-Networks-2025T1.pdf（本地课件），p.1–47；均为当前 PDF 页号。
本次重写核对本篇所列讲义页码；旧版作业/试题题面如保留，属于历史练习，不代表 2026T1 考核要求。未以未公开试题推断考试内容。
往年卷仅证明相应年份考过；2024 卷及 2025 节选未公开的选择题不作推断。