CSCI3230 L06 · Part 1/5 Neural network architecture

课程：CSCI3230 (ESTR3108) Fundamentals of Artificial Intelligence · 2025T1 本讲：L06，第 1 部分 / 共 5 部分 · 原件 L06-Neural-Network-Basics-2025T1.pdf（本地课件） p.1–37 定位：旧版预习材料，尚非已取得的 2026T1 L06；网络是可微计算的组合，非线性决定表达能力。前后：下一份 Backpropagation

整讲导航：

1. Neural network architecture：p.1–37。
2. Backpropagation：p.38–51。
3. Network training and validation：p.52–70。
4. Summary：p.71–73。
5. ESTR: Transfer learning：p.74–91。

从单元到函数

本讲路线（p.1–3）

这一讲要回答：线性模型只有一组“乘权重再相加”，如果把这种小计算接成多层，为什么能表达更弯曲、更局部的变化？先认识单元，再走一遍网络，最后看它怎样拼出形状。现在只需懂计算怎么流动，训练参数留给下一篇。

本篇基于 2025T1 旧课件，供预习；不代表已取得的 2026T1 L06。p.2 的主 Outline 有结构、反传、训练验证、小结四部分；p.74 以后另标 ESTR3108 迁移学习，导航单列第五份。PDF 实际 91 页，页脚仍用旧 103 页编号，以下均按实际页号。

前置是线性与 Logistic 的加权和这类运算、指数函数、简单函数复合。也可以直接从下面的一单元例子开始：每个新符号都会解释。

生物启发不是生物等价（p.4–5）

p.4–5 用生物神经元的“接收多个信号、产生一个输出”作启发。人工单元只保留可计算结构：把多个输入按不同权重合并，再经过一个函数。这个类比帮助理解多输入单输出，不意味着几条加权边已经完整模拟了真实大脑。

p.4给出的数量尺度为约860亿个神经元、约 $10^{14}$ – $10^{15}$ 个突触连接，作为课件中的生物背景估计。信号从树突（dendrites）接收，沿单一轴突（axon）输出。解剖图另标细胞体、细胞核、轴丘、末端分支与突触末梢，以及内质网、高尔基体、线粒体；这些是生物结构标注，不是一份要逐个实现的神经网络层清单。

p.5 提到 McCulloch 与 Pitts（1943）的阈值单元：达到门槛就响应，是这种简化思路的早期例子。下面要学的可微激活与这个理想开关并不完全相同。

先把它当一个有旋钮的小计算器：输入是观测，权重和偏置是可调旋钮，激活是固定的加工规则。训练就是调旋钮，不是把输入本身改成正确答案。

Logistic单元（p.6–7）【回顾 L03 p.14–20】

先保留p.6–7原来的三输入版本：输入行向量 $x=[x_1,x_2,x_3]$ ，参数列向量 $\Theta=[\theta_1,\theta_2,\theta_3]^T$ ，所以 $x\Theta=\theta_1x_1+\theta_2x_2+\theta_3x_3$ 是标量，输出 $h_\Theta(x)=1/(1+e^{-x\Theta})$ 。图把输入连线称input wires、输出连线称output wire， $\Theta$ 同义为weights或parameters。原式未显式列偏置；以下小例加入偏置是常用形式的补充，并没有把它伪装成原页已给数值。

补充自取一个两输入单元： $x_1=1,x_2=2$ ，权重 $w_1=2,w_2=-1$ ，偏置 $b=0$ 。先算预激活值 $z$ ，再算激活值 $a$ ：

\begin{aligned} z&=w_1x_1+w_2x_2+b\\ &=2\times1+(-1)\times2+0=0,\\ a&=\sigma(z)=\frac{1}{1+e^{-z}}=\frac12. \end{aligned}

$x_1,x_2$ 是两个特征， $w_1,w_2$ 表示每个特征如何贡献， $b$ 是与输入无关的整体平移。 $z$ 与 $a$ 都是一个数，但扮演不同角色：一个是未经激活的加权和，一个是送往下一层的输出。 $\sigma$ 是 sigmoid 函数的名字， $e$ 是自然指数的底，不是误差。

把 $w_1$ 从 2 改成 3，其他不变， $z$ 成为 1， $a\approx0.731$ 。偏置增加 1 也会在这一个样本上令 $z$ 增加 1，但对其他输入的影响不同：权重变化还乘着对应输入，偏置不乘输入。参数的作用不能只看一次巧合。

Sigmoid的导数与饱和（p.8–10）

Sigmoid 把任意有限实数压到 $(0,1)$ ，在 0 处给 0.5。这个值可以被二分类输出解释为概率，但隐藏层的 sigmoid 数值不自动是一个有语义标签的概率。

导数表示输入 $z$ 微小变化时，输出 $a$ 会改变多快。用链式法则一步一步求：

\begin{aligned} \sigma(z)&=(1+e^{-z})^{-1},\\ \sigma'(z)&=-(1+e^{-z})^{-2}(-e^{-z})\\ &=\frac{e^{-z}}{(1+e^{-z})^2}\\ &=\frac{1}{1+e^{-z}}\left(1-\frac{1}{1+e^{-z}}\right)\\ &=\sigma(z)(1-\sigma(z)). \end{aligned}

第二行先对外层倒数求导，再乘内层指数的导数，两个负号抵消。倒数第二行只是把同一个分式拆成两因子，方便用已经算好的输出求导。

数值上， $z=0$ 时输出 0.5、导数 0.25； $z=5$ 时输出约 0.9933、导数约 0.00665。曲线两端很平，输入再变，输出也只变一点，这叫饱和。多个这样的局部导数连乘，梯度可能很小；但网络总梯度还含权重，不能仅靠这一因子推断任意网络的全部行为。

p.10 说输入趋向正负无穷时梯度为 0，精确应读为“趋向 0”；数学上有限输入的 sigmoid 不等于端点 0 或 1。它输出非负也不意味着一定慢于所有其他激活，训练速度还受结构与优化设置影响。

p.9的优点是连续、便于求导、输出范围有限且可放在输出层；p.10的其他缺点是涉及指数运算、计算成本较高，以及输出不以0为中心可能影响优化速度。“范围有限所以容易优化”是原页的直觉性说法，饱和梯度已经说明它并非无条件保证。

Tanh须修正一个公式（p.11–13）

Tanh 的形状也像 S，但中间过 0，有限输入输出在 $(-1,1)$ 。它允许正负响应，常说“以零为中心”，不是承诺每批数据的输出均值恰好为零。

p.11 图内的指数式和正文的 sigmoid 表达不一致。正确关系是

\begin{aligned} \tanh z&=\frac{e^z-e^{-z}}{e^z+e^{-z}}\\ &=\frac{e^{2z}-1}{e^{2z}+1}\\ &=\frac{2e^{2z}}{e^{2z}+1}-1\\ &=2\sigma(2z)-1. \end{aligned}

第二行分子分母同乘 $e^z$ ；第三行把分子写成 $2e^{2z}-(e^{2z}+1)$ 。因此原正文的 $2\sigma(z)-1$ 少了内部的 2。用 $z=1$ 自检：tanh 约 0.7616，原错式约 0.4621，并非舍入差。

继续用链式法则： $2\sigma(2z)-1$ 的导数为 $4\sigma(2z)(1-\sigma(2z))$ ，代回 $\tanh z=2\sigma(2z)-1$ ，整理得到 $1-\tanh^2z$ 。在 0 处导数为 1，两端仍趋向 0，所以它没有消除饱和问题。

p.12认为tanh的零中心输出有助于比sigmoid更快收敛；p.13同时保留两项缺点：两端仍梯度消失，且仍涉及指数计算。理解其范围与导数以后，比较的是训练中的适用性，不能从一张曲线直接推导每个数据集的训练时间。

ReLU的正半轴与死亡（p.14–16）

ReLU的规则更简单：负数截为 0，正数原样通过。

\mathrm{ReLU}(z)=\max(0,z).

输入 $-2,0,3$ 分别输出 $0,0,3$ 。导数在 $z<0$ 为 0，在 $z>0$ 为 1； $z=0$ 左右斜率不同，所以不可微，程序需要选择约定，常用 0。p.14 图中的折角不是一条处处光滑的曲线。

正半轴不会像 sigmoid 那样越来越平，这是 p.15 优点的含义；不是所有输入的梯度都不衰减。若某单元对所有训练输入都长期得到负预激活，输出全零，通过它的梯度也全零，就很难靠这条路径恢复，这叫“死亡 ReLU”。一次输入为负，只说明这次该路径关闭，不能马上说整个单元永久死亡。

p.15还强调ReLU只需比较与取值，不需指数运算；p.16的另一缺点是输出非负、通常不以零为中心。严格说全负输入时输出均值可以恰为0，故原页“均值大于0”应理解为常见激活情况下的趋势，而不是无例外性质。

停下来检查： 输出 $a=0$ 能否判断是“输入恰为零”还是“输入为负”？

参考答案

只看 ReLU 输出不能区分。两种输入都产生零；反传要保存或知道预激活 $z$ ，并声明零点导数约定。这也是为什么前向过程的中间值对训练很重要。

层、激活、权重方向（p.17–19）【新】

图（p.17–19）：3 个输入 → 3 个隐藏单元 → 1 个输出，相邻两层全连接。元素：每个输入都连到三个隐藏单元，每个隐藏输出再连到最终单元。看什么：一个隐藏单元读取全部上层特征，而不是第一个输入只配第一个隐藏单元。“隐藏”表示中间表示，不是程序无法读取它。

课件写 $a_i^{(j)}$ ：上标括号 $j$ 是第几层，下标 $i$ 是这一层的第几个单元，不是幂。 $\Theta_{mn}^{(j)}$ 表示第 $j$ 层第 $m$ 个源单元，到下一层第 $n$ 个目标单元的权重。先沿箭头判断源与目标，比背哪位下标在前更安全，因为别的题可能采用转置约定。

前向计算与尺寸（p.20–22）

沿课件使用行向量。假设一层有 $s_j$ 个单元、下一层有 $s_{j+1}$ 个，则

z^{(j+1)}=a^{(j)}\Theta^{(j)}+b^{(j+1)},\qquad a^{(j+1)}=g(z^{(j+1)}).

$a^{(j)}$ 的形状是 $1\times s_j$ ，权重是 $s_j\times s_{j+1}$ ，相乘后是 $1\times s_{j+1}$ ，恰好每个目标单元一个数。偏置也是这个长度， $g$ 对每个分量分别作用。

p.20–21的原三输入、三隐藏、一输出网络也可直接按式重算：

\begin{aligned} a_1^{(2)}&=g(\Theta_{11}^{(1)}x_1+\Theta_{21}^{(1)}x_2+\Theta_{31}^{(1)}x_3),\\ a_2^{(2)}&=g(\Theta_{12}^{(1)}x_1+\Theta_{22}^{(1)}x_2+\Theta_{32}^{(1)}x_3),\\ a_3^{(2)}&=g(\Theta_{13}^{(1)}x_1+\Theta_{23}^{(1)}x_2+\Theta_{33}^{(1)}x_3),\\ h_\Theta(x)=a_1^{(3)}&=g(\Theta_{11}^{(2)}a_1^{(2)}+\Theta_{21}^{(2)}a_2^{(2)}+\Theta_{31}^{(2)}a_3^{(2)}). \end{aligned}

这里 $g$ 为sigmoid；原页没有数值参数，不能求唯一数值输出。第一矩阵为 $3\times3$ ，第二为 $3\times1$ ；原图没有画偏置，以上忠实保留这一版本。

补充自取：2→2→1 的完整前向。 输入 $x=(1,2)$ ，隐藏层权重矩阵和偏置为

W=\begin{pmatrix}1&-1\\1&1\end{pmatrix},\qquad b=(-1,0).

第一列进隐藏 1，第二列进隐藏 2。先算隐藏预激活：

\begin{aligned} z_1&=1\times1+2\times1-1=2,\\ z_2&=1\times(-1)+2\times1+0=1. \end{aligned}

隐藏用 ReLU，得到 $h=(2,1)$ 。输出权重为 $(1,-1)^T$ 、偏置 0，则输出分数 $u=2-1=1$ ；若做二分类再接 sigmoid，预测为 $\sigma(1)\approx0.731$ 。如果任务是实数回归，也可以让输出直接是 1，不能不看任务强行再压到概率区间。

p.22 问要多少隐藏层，没有万能数值。若没有激活，把两层写成 $(xW_1+b_1)W_2+b_2$ ，展开得到 $x(W_1W_2)+(b_1W_2+b_2)$ ，仍然只是一次仿射变换。让层间发生非线性加工，才使“多层”具有新的表达意义。

补充 · 为什么只有多层线性变换还不够（通识讲解；演示数据不属于原题）。

设两层都没有非线性激活，第一层 $h=W_1x+b_1$ ，第二层 $y=W_2h+b_2$ 。代入得到 $y=(W_2W_1)x+(W_2b_1+b_2)$ ，仍只是一个仿射变换。增加中间层可能改变参数化和优化方式，却没有因此让这个输入输出函数变成弯曲边界。

演示标量两层： $h=2x+1$ ， $y=3h-4$ ，合起来就是 $y=6x-1$ 。若中间加入 ReLU，则 $y=3\max(0,2x+1)-4$ ：在 $x\le-1/2$ 时固定为−4，另一侧为 $6x-1$ ，两个区域才使用不同规则。非线性不是装饰，它改变了可表示的函数家族；但更强的表达能力依然不保证训练一定找到好参数。

补充：为什么连续叠线性层仍然只是一层线性变换

自编一维网络，第一层 $h=2x+1$ ，第二层 $o=3h-4$ 。代回得到 $o=3(2x+1)-4=6x-1$ ；两层并未得到比一条仿射直线更丰富的函数。多维同理： $W_2(W_1x+b_1)+b_2=(W_2W_1)x+(W_2b_1+b_2)$ ，只要中间没有非线性，就能合并。

若中间改为 $h=\max(0,2x+1)$ ，输出变成 $3\max(0,2x+1)-4$ 。当 $x\le-1/2$ ，输出恒为−4；当 $x>-1/2$ ，输出是 $6x-1$ 。自取输入−1、0、1，分别输出−4、−1、5；这三点不在同一条直线上。非线性激活的作用因此可以直接从分段关系看见。

增加层数还会带来参数分解和优化方面的变化，但“深”本身不是非线性表达能力的充分理由。读结构图时应明确每个激活放在哪里；把最后一层或中间一层的激活漏掉，可能改变网络可表示的函数集合，而不是少了一个无关图标。

一维阶跃的形成（p.23–25）

下面不是训练实验，而是手动设置参数，展示网络能表达什么。p.23 先画 1 输入、2 隐藏、1 输出；p.24 观察其中一个 sigmoid 单元，取 $w=8,b=-4$ 。

它在什么位置输出恰好 0.5？sigmoid 的输入为零时输出 0.5，所以解 $wx+b=0$ ，得到 $x=-b/w=0.5$ 。左侧低、右侧高的转折围绕这个位置。

p.25 改成 $w=100,b=-40$ ，转折位置成 0.4，且更陡。把式子写成 $w(x-s)$ 更容易读： $s=-b/w$ 是转折位置，正的 $w$ 越大，转折越像开关。如果想只让曲线变陡而不移位，就要保持 $s$ ，同时取 $b=-ws$ ，不能随意只改一个参数。

两阶跃相减产生局部台阶（p.26–28）

p.26 正文的 $s=b/w$ 缺负号，图中的 $s=0.40$ 与 p.25 参数相符，正确应为 $s=-b/w$ 。后面的台阶图是把很陡的 sigmoid 近似成理想开关，不是有限权重 sigmoid 在每个区间都精确等于 0 或 1。

令 $a_1$ 在 0.4 附近从 0 升到 1， $a_2$ 在 0.6 附近升到 1。p.27 先用输出权重 0.6、1.2 相加：左区间为 0，中间约 0.6，右区间约 1.8。p.28 改用 0.8、−0.8，才产生局部凸起：

输入区域（理想阶跃近似）	$a_1$	$a_2$	$0.8a_1-0.8a_2$
小于 0.4	0	0	0
0.4 与 0.6 之间	1	0	0.8
大于 0.6	1	1	0

这三行就是“为什么相减能做局部块”。第二个开关并不是让第一个关闭，而是把它的输出抵消。这里画的是隐藏层输出的线性加权和；不能再擅自套一个 sigmoid，否则外部的 0 会变成 0.5，图形意义全变。

多个局部块拼函数（p.29–31）

p.29 用一个高度 $h$ 概括同一对输出权重 $h,-h$ 。p.30 让两对单元分别在区间 (0.4,0.6) 产生 −1.2 的块、在 (0.7,0.9) 产生 0.3 的块。自己取三个位置检查： $x=0.5$ 落在第一块，约 −1.2； $x=0.8$ 落在第二块，约 0.3； $x=0.65$ 两块都外，约 0。

增加这些局部块，可拼出更复杂的近似函数。这里证明的是一类构造能力，不是说随机初始化后梯度下降一定能找到此手工配置，也不是已经给出对任何函数的完整逼近定理。理解“能表示”和“能学到”的区别后，再进入 p.31 的两输入版本。

方向由输入权重决定（p.32–34）

两输入预激活为 $z=w_1x+w_2y+b$ 。p.32 取 $w_1=8,w_2=0,b=-4$ ：由于 $y$ 前面的系数为 0，改变 $y$ 根本不影响输出，所以一维 S 曲线沿 y 方向延伸成一道斜壁。

p.33 令 x 权重为 100、偏置为 −40，壁在 $x=0.4$ 附近更陡；p.34 用阈值 $-b/w_1$ 表示位置。若把 x、y 的权重交换，变化方向也交换。若二者都非零，边界由 $w_1x+w_2y+b=0$ 描述，通常是一条斜线；这是补充的几何解释。

两条带的叠加（p.35–37）

p.35 在 x=0.3 与 x=0.7 两个阶跃相减，构造高度 0.6 的带。由于不依赖 y，这个带沿 y 一直延伸。p.36 对 y 做同样构造，得到另一方向的带。

p.37 使用高度 0.3 的 x 带（0.4 到 0.6）与 y 带（0.3 到 0.7）相加。分四种区域就能看懂立体图：两带外为 0；只在 x 带为 0.3；只在 y 带为 0.3；交叠处为 0.6。图上有十字形底座，简单相加没有得到外部处处为零的孤立小塔。若想仅保留交叠区域，还要增加阈值之类的非线性处理，这一步不能从“叠加”二字中省略。

小检查： 只增加两个线性层能不能代替隐藏非线性？把局部块输出再套 sigmoid 是否仍保持块外为零？

参考答案

不能，连续仿射变换可以合并成一个仿射变换。块外原输出为 0，套 sigmoid 后变成 0.5；所以要先辨认图上画的是预激活、隐藏激活还是最终输出，不能随手多加一步。

网络结构理解后再做阈值逻辑设计，可见附录 A1。历史题使用理想阈值激活，与前面的 sigmoid 近似要分开。

本讲核心考点

先分清输入、预激活、激活、输出四种角色（p.6–21）。
按箭头和维度确定矩阵方向，不死背下标（p.19–21）。
Sigmoid、tanh、ReLU 的范围、导数与边界不同（p.8–16）。
阶跃、局部块和二维带说明表达能力；不能推出训练成功保证（p.23–37）。

附录

A1 作业/往年题演练（非讲义内容）：阈值网络与输出限制

历史阈值题的拆解办法：先把“什么时候输出 1”变成若干简单条件，再让每个隐藏单元检查一个条件，最后组合。写出的每个权重和偏置都要能指回某条条件。核验时不要只试一个正例，二输入要走完四行真值表，三输入要覆盖全部八种，或者证明结果只由输入和决定后检查它的全部可能值。下面阈值函数在零处输出 1 的约定与 ReLU 零点求导无关。

题面（ESTR-Final-Exam-2024T1.pdf · Part III Q2 · p.8；扫描件，视觉读取）

p.8 2. (5%) Try to design a multi-layer fully-connected network which receives three binary-valued (i.e., 0 or 1) inputs $x_1,x_2,x_3$ , and outputs 1 if exactly two of the inputs are 1, and outputs 0 otherwise. All of the neurons use a thresholding non-linear activation function as follows:

$z=1$ if $z\ge0$ ; $z=0$ if $z<0$ .

Please draw the architecture of the fully-connected neural network. Specify weights and biases for each connection between the neurons. (Hint: the network input layer should have three neurons, and output layer should have one neuron. It could only have one hidden layer.)

公式按原题分支重排。Final-Exam-Example-Question-未核.pdf p.1 Part III 给出同一文字问题，没有该卷的 5% 分值；其标题是示例，身份不升级为正式考试。

来源：2024卷 p.8 Part III Q2；Example Question p.1 Part III，A 级。完整题面： 输入x1,x2,x3均为0或1，仅当恰有两个输入为1时输出1，否则0；设计神经网络，激活为输入≥0输出1、否则0，给结构、权重和偏置。

令S=x1+x2+x3，隐藏h1=step(S−1.5)、h2=step(S−2.5)，输出step(h1−h2−.5)。三输入到两个隐藏的权重全1，隐藏偏置−1.5、−2.5；隐藏到输出权重1、−1，偏置−.5。核对S=0,1,2,3时(h1,h2)=(0,0),(0,0),(1,0),(1,1)，输出0,0,1,0，覆盖全部八输入。

题面（Final-Exam-CSCI3230-Record-2025T1-官方节选.pdf 及 ESTR 同题 · Part III Q3 · PDF p.4；视觉读取）

p.4 3. (5%) Design a multi-layer fully-connected network that implements the XNOR logic function. The network should receive two binary inputs ( $x_1,x_2\in\{0,1\}$ ).

Output: 1 if $x_1=x_2$ (i.e., (0,0) or (1,1)).

Output: 0 if $x_1\ne x_2$ (i.e., (0,1) or (1,0)).

All neurons in your network must use the threshold activation function: $z=1$ if $\sum(\mathrm{weights}\cdot\mathrm{inputs})+\mathrm{bias}\ge0$ , and $z=0$ otherwise.

Please draw your network architecture and clearly label the weights and bias for every neuron in the hidden and output layers. (Hint: the network input layer should have two neurons, and output layer should have one neuron. It could only have one hidden layer.)

公式按原题重排。真值表为 00→1、01→0、10→0、11→1，以下逐行检查。

来源：2025两份官方节选 PDF p.4（卷面p.7）Part III Q3，A 级。题面： 二进制x1,x2相同时输出1、不同时0，使用同样阈值激活设计网络并给全部权重偏置。设h1=step(x1+x2−1.5)（AND）、h2=step(−x1−x2+.5)（NOR），输出step(h1+h2−.5)。隐藏权重分别(1,1)、(-1,-1)，偏置−1.5、.5；输出权重(1,1)，偏置−.5。00→h=(0,1)→1；01与10→(0,0)→0；11→(1,0)→1。

题面（ESTR-Final-Exam-2023T1.pdf · Part II Q9 · p.5；2024T1 Part II Q2 p.6 同题，后者为 4%）

p.5 9. You are solving the binary classification task of classifying images as dog v.s. non-dog. You design a CNN model with a single output neuron. Let the output of this neuron be $z$ . You use Sigmoid as the non-linear activation function. Then, the final output of your network is given by: $\hat{y}=\sigma(\mathrm{ReLU}(z))$ . If you classify the input images with a final value $\hat{y}\ge0.5$ as positive dog images, what will be the problem you will encounter? (3%)

公式按原题重排。

来源：2023卷 p.5 Part II Q9、2024卷 p.6 Part II Q2，A 级。题面： 二分类输出使用sigmoid(ReLU(z))会有什么问题？ReLU(z)≥0，故输出≥.5（严格小于1）。按≥.5判正，全部判正，负类别无法表达。需要允许最终logit为负。不能把输出层激活与隐藏层激活随意叠加。

返回正文

来源与证据

原件：L06-Neural-Network-Basics-2025T1.pdf（本地课件）；对应页区间见文件头及各节标题。本页是 2025T1 旧材料预习，不代表 2026T1 已讲进度。页码按当前 91 页 PDF，不能直接用仍标到 103 的旧页脚号。p.74 起为 ESTR3108 扩展。
数字演示凡非课件原例均明确标为“补充自取”；这些例子用于理解，不是教师布置的作业。
附录中的历史题面保留其文件名、年份和题号，与当前作业区分；它们不能证明本学期考试范围。正文的学习检查是通识练习，不作出题预测。