CSCI3230 L08 · Part 4/4 Summary

课程：CSCI3230 (ESTR3108) Fundamentals of Artificial Intelligence · 2025T1 本讲：L08，第 4 部分 / 共 4 部分 · 原件 L08-Transformers-2025T1.pdf（本地课件） p.67–69 定位：把位置交互、通道变换、适配目标分别记住。前后：上一份 Variants of Transformers

本文依据 2025T1 旧版材料重写，供基础学习与预习；不是 2026T1 新增要求或考试范围。补充数值例均另行标注。

一条贯通本讲的路线

总结与延伸阅读（p.67–69）

本讲名词很多，先沿一条样本的旅程复述，就不容易混。原输入先切成离散单位，再变向量；位置编码补充顺序或空间；attention让各位置交换信息；FFN加工每个位置的特征；残差与归一化连接成可训练的多层。p.67分隔，p.68按这条主线列复习点。

补充自取形状旅程：4×4灰度图切2×2块，得到4块；每块4个数，投影到8维，得到4×8；加一个class token后5×8；用两头，每头宽4，各自产生5×5权重表与5×4输出；拼接回5×8，经输出投影仍为5×8。FFN若为8→16→8，只扩展内部特征，不把5个位置变成16个。最后取class token的8维表示接分类头。

检查这条线时，总问两句：“行代表谁？列代表什么？”5是位置数，8是模型特征宽，16是FFN隐藏宽，头数2又是另一条轴。许多所谓难公式其实是把这些轴混在一起。

再按“改变什么”区分变体：

方法	主要改变	没有因此自动改变的事
ViT	图像如何变token	attention仍可全局配对
Adapter	微调时开放哪些参数	冻结主体仍参与前向计算
线性attention	相似度/归一化及计算次序	不等于标准softmax的无损重排
CLIP	图文配对训练目标与共享空间	不等于从未训练过的模型

暂停检查：模型加入adapter后，能否说它没有任何attention计算？

参考答案

不能。冻结表示不更新参数，前向仍需用主体计算表示。adapter主要降低每任务可训练参数和相关训练成本，不是删去主体网络。

p.69列Transformer family博客、视觉attention综述、自监督cookbook与Stanford CS25。这里记录原课件阅读入口，没有把未读取的外链作为本次直接证据。第一次学不必同时打开全部材料；先把前面的小形状例手算正确，再去实践实现对照代码。

补充 · 把一张形状表同时当成概念检查（通识讲解；演示数据不属于原题）。

给每个中间量写“行对应谁、列对应谁”：输入行是 token；QK转置结果行是 query、列是 key；乘V之后行仍是 query，列变成 value 特征；FFN前后行数不变，特征宽度先扩再缩。若你只能记住数字相乘，却说不出这些轴的含义，就还容易把多头与多位置混淆。

再做一个反向检查：输出有多少位置应由 query 数决定，而不是 key 数。cross-attention 中3个query读5个key，注意力表是3×5，乘5×4的value后得到3×4。这条简单的数量关系能把自注意力、交叉注意力和逐位置加工串起来，且不依赖某个具体模型名称。

p.69四个原始阅读入口为：

Transformer Family v2：https://lilianweng.github.io/posts/2023-01-27-the-transformer-family-v2/
《Attention Mechanisms in Computer Vision: A Survey》：https://arxiv.org/pdf/2111.07624
《A Cookbook of Self-Supervised Learning》：https://arxiv.org/pdf/2304.12210
Stanford CS25: Transformers Unite：https://web.stanford.edu/class/cs25/

它们的作用分别是架构家族概览、视觉注意力综述、自监督学习方法整理和课程延伸。

补充：位置编码究竟打破了什么对称性

先去掉位置编码、遮罩和随机因素，并假设每个位置使用相同投影。把token行按同一个排列矩阵 $P$ 重排，则 $Q'=PQ,K'=PK,V'=PV$ 。新的分数矩阵是 $PQK^TP^T$ ，相当于同时重排行和列。逐行softmax仅重排对应概率，故新输出为

\operatorname{softmax}(PQK^TP^T)PV =P\operatorname{softmax}(QK^T)V.

这叫排列等变：输入换顺序，输出对应换顺序；不是说每个输出数都不变。若之后把所有位置平均，平均向量才对这种排列保持不变。没有额外位置信息时，网络无法仅从“第几个存储行”得知原本的空间或语序。

位置编码给不同槽位不同信息。交换内容却保留各槽位的位置向量，输入就不再只是原内容矩阵的简单行重排，于是可以表达顺序差异。若把内容和它附带的位置向量一起搬动，那仍然是在重排同一组带位置标识的token，不能据此声称位置编码失效。这段是理解本讲结构的补充证明，不扩充讲义的考试范围。

本讲核心考点

用“改变哪一部分”区分各变体（p.68，C 级）。
本讲明确考试证据以HW03判断题为主，不给未公开选择题补题（A 级，见Part 1附录）。

附录

本部分没有需要另展的推导或题目演练。

来源与证据

原件：L08-Transformers-2025T1.pdf（本地课件），p.67–69；均为当前 PDF 页号。
本次重写核对本篇所列讲义页码；旧版作业/试题题面如保留，属于历史练习，不代表 2026T1 考核要求。未以未公开试题推断考试内容。
往年卷仅证明相应年份考过；2024 卷及 2025 节选未公开的选择题不作推断。