CSCI3230 L02 · Part 5/5 ESTR3108：矩阵与投影

课程：CSCI3230 (ESTR3108) Fundamentals of Artificial Intelligence · 2026T1 本讲：L02，第 5 部分 / 共 5 部分 · 原件 L02-Linear-Regression-2026T1.pdf（本地课件） p.43–55 定位：先弄清“解得出”与“解唯一”，再用一个二维例子理解最小二乘的几何意义。前后：上一份 Summary

这是 ESTR3108 扩展。 p.43 明确标出 ESTR3108；p.44 的路线是解析解的条件和子空间视角。如果你现在只想学会基础回归，先完成 Part 1–4 的建表、预测、RSS 和评价即可。这篇需要点积、矩阵乘法与平方和；零空间和列空间会在下面从例子定义，不要求你预先背好术语。

哪一步需要逆矩阵（p.45–46）

先回忆已经得到的结论，而不把整个求导再压成一行。 $X$ 有 $m$ 行、 $d$ 列： $m$ 是样本数， $d$ 是参数数目，包含截距时常写成 $n+1$ 。参数 $\theta$ 是 $d\times1$ ，标签 $Y$ 是 $m\times1$ 。最小化 $\lVert X\theta-Y\rVert_2^2$ ，求导为零给出

X^TX\hat\theta=X^TY.

左边先由 $X^TX$ 得 $d\times d$ 矩阵，再乘参数，结果为 $d\times1$ ；右边同样为 $d\times1$ 。这叫正规方程。它是一组线性方程，不等于已经成功求了逆。 p.45 重列推导，p.46 才追问： $X^TX$ 若没有逆怎么办？

**p.45 的推导在本篇复现：**先展开

J=\theta^TX^TX\theta-Y^TX\theta-\theta^TX^TY+Y^TY.

对称二次项给 $2X^TX\theta$ ，两个交叉项各给 $-X^TY$ ，常数项导数为零，所以 $\nabla J=2X^T(X\theta-Y)$ 。梯度零得到正规方程。二阶导为 $2X^TX$ ，对任意 $v$ 的二次型是 $2\lVert Xv\rVert_2^2$ 。它总非负，但是否严格正，正是本篇下一节要检查的列无关条件；原页写“严格正”和逆矩阵式时，必须补上这个前提。

一个没有逆、却很好理解的例子

补充自取两条样本：

X=\begin{pmatrix}1&1\\1&1\end{pmatrix},\quad Y=\begin{pmatrix}2\\4\end{pmatrix},\quad \theta=\begin{pmatrix}\theta_0\\\theta_1\end{pmatrix}.

两列完全相同。因此不管怎么选参数，两个预测都等于 $s=\theta_0+\theta_1$ 。先把两个参数暂时合成这个数，目标变为

(s-2)^2+(s-4)^2=2s^2-12s+20=2(s-3)^2+2.

最后一步是配方。平方项最小为 0，所以最好的 $s$ 是 3，最小 RSS 是 2。此时预测一定是 $(3,3)^T$ ，但参数可以是 $(3,0)^T$ 、 $(0,3)^T$ 、 $(2,1)^T$ ，还有无穷多组。

再看矩阵：

X^TX=\begin{pmatrix}2&2\\2&2\end{pmatrix},\quad X^TY=\begin{pmatrix}6\\6\end{pmatrix}.

正规方程的两行其实都是 $2\theta_0+2\theta_1=6$ ，只给出一条独立信息。不能把两条一样的信息当作两个独立条件来区分两个参数。

所以这里不是“最小二乘没解”，而是“最优参数不唯一”。唯一的训练预测和唯一的参数要分开说。数值软件可用 QR/SVD 或伪逆处理；本节先理解为什么会不唯一，不要求初学者先掌握这些算法。

相同零空间为什么等价于列满秩（p.47–49）【新】

零空间：哪些参数改动会被数据完全看不见

取上例的向量 $v=(1,-1)^T$ 。它不是零向量，但

Xv=\begin{pmatrix}1-1\\1-1\end{pmatrix}=\begin{pmatrix}0\\0\end{pmatrix}.

如果原参数是 $\theta$ ，改成 $\theta+v$ ，新预测为 $X\theta+Xv=X\theta$ ，完全不变。第一参数加 1、第二参数减 1 的效果抵消了。所有满足 $Xv=0$ 的向量构成 零空间，记作 $\operatorname{null}(X)$ 。它描述数据分辨不出来的参数变化方向。

列线性无关的意思就是：只有把各列的系数全取 0，才会相加成零向量。换成矩阵式，就是 $Xv=0$ 只能有 $v=0$ 。有 $d$ 个独立列时称“列满秩”， $\operatorname{rank}(X)=d$ 。这些词是在用不同角度表达同一件事：不存在非零而不可见的参数改动。

为什么检查 X，就能知道 XᵀX 有无逆

p.47 给出结论，p.48 的关键桥梁是

\operatorname{null}(X^TX)=\operatorname{null}(X).

从右往左很容易：如果 $Xv=0$ ，再左乘 $X^T$ ，仍然是零。反方向不能“约掉 $X^T$ ”，因为我们还不知道任何可逆性。要用平方和：若 $X^TXv=0$ ，两边左乘 $v^T$ ，就得到 $\lVert Xv\rVert_2^2=0$ ；实数的平方和只有每项都零时才为零，因此 $Xv=0$ 。符号慢拆见附录 A1。

现在串起三个判断： $X^TX$ 是方阵；它可逆，当且仅当零空间只有零向量；由于两个零空间相同，这又当且仅当 $X$ 列满秩。于是可逆时才有

\hat\theta=(X^TX)^{-1}X^TY.

p.49 写成 $\operatorname{rank}(X)=n+1$ ，因为课件用 $n$ 表示特征数，另有一个截距参数。至少需 $m\ge n+1$ ，但这只是数量上的必要条件。上面两行两列的反例已经满足数量，却仍列相关。“样本多”不自动变成“信息足够”。这里也不要把列线性无关混成统计上的独立抽样；它们判断的对象不同。

小检查：多抄一遍数据能补救吗？

把上例两行再复制十遍，能让参数唯一吗？不能。无论多少行，两个特征列仍完全相同， $(1,-1)^T$ 仍在零空间中。重复观测可能有统计用途，但不能消除这两个列之间的精确代数关系。

列空间是所有可能预测的集合（p.50–52）【新】

上一节在参数空间里问“哪些改动看不见”；现在换到预测空间，问“这个模型可能输出哪些预测”。设 $X$ 的第 $j$ 列为 $c_j$ ，则

X\theta=\theta_1c_1+\cdots+\theta_dc_d.

参数只是各列前面的权重。把所有参数都试一遍，能得到的向量集合叫 列空间，记作 $S=\operatorname{col}(X)$ 。它在 $\mathbb R^m$ 中；一个坐标对应一个样本的预测。不要把这里的二维图误当成 Part 1 的“横轴输入、纵轴标签”散点图。

p.50 说：若真实标签向量 $Y$ 已在 $S$ 中，就存在某组参数满足 $X\theta=Y$ ，RSS 可为零；若 $Y$ 不在里面，只能在允许的预测中找离它最近的一个。

去掉截距，看一条允许的方向

p.51–52 暂用单个非零列向量 $X$ 演示。补充取

X=\begin{pmatrix}1\\2\end{pmatrix},\qquad Y=\begin{pmatrix}2\\0\end{pmatrix}.

这表示两条样本、一个参数、无截距：第一个预测为 $\theta$ ，第二个预测为 $2\theta$ 。所以 $\theta=0$ 时输出 $(0,0)$ ， $\theta=1$ 时输出 $(1,2)$ ， $\theta=2$ 时输出 $(2,4)$ 。所有可能预测都在穿过原点、方向为 $(1,2)$ 的直线上。

要预测恰好 $(2,0)$ ，第一坐标要求 $\theta=2$ ，第二坐标却要求 $\theta=0$ ，矛盾。不是算法不够努力，而是这个模型的输出范围本来就到不了目标。

图（p.51–52）可按这个意思读：灰色箭头标 $X$ 的方向，红色箭头为真实 $Y$ ，橙色箭头为沿 $X$ 的不同候选预测，黑色虚线连接两个终点。调参数只让候选沿灰色直线移动；红色目标不跟着转动。

补充 · 样本空间的投影，不是把特征轴画斜一点（通识讲解；演示数据不属于原题）。

投影图中的一个坐标代表一条训练样本的预测值，因此有 $m$ 条样本时， $Y$ 和 $X\theta$ 都住在 $m$ 维“样本空间”。这与把一个样本的多个特征画在横纵轴上的“特征空间”不同。即使每个样本只有一个输入，十条样本的预测向量仍有十个坐标。

演示 $X=(1,1)^T$ ，表示两条样本都只能预测同一个常数； $Y=(1,3)^T$ 。列空间是所有 $(a,a)^T$ ，最近的点是 $(2,2)^T$ ，残差是 $(1,-1)^T$ （预测减真实），点积 $1-1=0$ 。这里两条样本各有误差，误差相加为零让截距无法再改进总平方和。若改用 $(2,3)^T$ 作为预测，虽然第二条误差更小，却已不在允许的列空间里；不能拿模型表达不了的向量与可行参数混比。

正交性给出同一正规方程（p.53–55）

先找最近的数字，再看垂直

用刚才两条样本，RSS 是

(\theta-2)^2+(2\theta-0)^2=5\theta^2-4\theta+4 =5(\theta-0.4)^2+3.2.

因此最佳参数是 $0.4$ ，最佳预测 $\hat Y=(0.4,0.8)^T$ ，最小 RSS 为 3.2。每一步可以直接检查： $(-1.6)^2+0.8^2=2.56+0.64=3.2$ 。

现在把残差写成从预测指向真实标签的向量：

r=Y-\hat Y=\begin{pmatrix}1.6\\-0.8\end{pmatrix}.

它与允许方向 $X$ 的点积为 $1\times1.6+2\times(-0.8)=0$ 。欧氏空间里两个非零向量点积为零，表示它们垂直。p.53 的三幅候选图中，中间那幅正好是垂足：从目标向允许的直线作垂线，落点就是最近预测。这里“投影”是找这个落点，不是取图上某个坐标轴分量。

为什么垂直保证最近，而不只是碰巧算对

把最佳预测再沿允许方向移动 $tX$ 。原残差是 $r$ ，新残差变成 $r-tX$ 。用点积展开平方长度：

\begin{aligned} \lVert r-tX\rVert_2^2 &=(r-tX)^T(r-tX)\\ &=r^Tr-2tX^Tr+t^2X^TX\\ &=3.2-2t\times0+5t^2\\ &=3.2+5t^2. \end{aligned}

第二行有交叉项；第三行用垂直条件让它为零。这才是关键。任何 $t$ 都只会额外加一个非负数；例如 $t=1$ 时 RSS 为 8.2。因此它是所有候选中最小的，而非只在附近较小。

**p.53 原页的一列公式：**当 $X\ne0$ 时，正交条件 $X^T(Y-X\hat\theta_1)=0$ 变为 $X^TY-(X^TX)\hat\theta_1=0$ 。此处 $X^TX$ 是正标量，故

\hat\theta_1=\frac{X^TY}{X^TX},\qquad \hat Y=\frac{X^TY}{X^TX}X.

代本篇教学数据，分子为 $1\times2+2\times0=2$ ，分母为 $1^2+2^2=5$ ，仍得到 $0.4$ 。p.51 的“平行时唯一精确解”也要以 $X\ne0$ 为前提；若 $X=0$ 且 $Y=0$ ，任何参数都精确拟合，就不唯一。

多列时：对每个允许方向都垂直

若 $X$ 不止一列，允许预测不再局限于一条线。p.54 要残差与每一列都垂直，于是把各列点积排起来得到

X^T(Y-X\hat\theta)=0.

移项便是 $X^TX\hat\theta=X^TY$ ，与求导路线得到的正规方程相同。p.55 的结论因而不是“两个不相关公式恰好一样”，而是它们都在检查：沿模型允许的任何预测变化，还能否进一步缩短误差？

任选别的参数 $\hat\theta+\Delta$ ，新的预测比原来多 $X\Delta$ 。因为 $X^Tr=0$ ，所以 $r^TX\Delta=0$ ，同样展开可得

\lVert r-X\Delta\rVert_2^2=\lVert r\rVert_2^2+\lVert X\Delta\rVert_2^2\ge\lVert r\rVert_2^2.

若列满秩，非零 $\Delta$ 必带来非零 $X\Delta$ ，误差严格增加，参数唯一。若不满秩，有些非零 $\Delta$ 仍使 $X\Delta=0$ ，参数可变而预测不变。这把开头的“两列一样”例子接回来了。

小检查：正交残差一定等于零吗？

不一定。上例的残差 $(1.6,-0.8)$ 并非零向量，却与 $X$ 垂直。“没有能继续改善的允许方向”不等于“误差已消失”。只有 $Y$ 原本就在列空间中，最小二乘才可能精确拟合。

补充：把投影写成一个真的矩阵，再检查两次投影

沿用正文 $X=(1,2)^T$ ， $X^TX=5$ 。将预测式中负责作用于 $Y$ 的部分单独拿出，得到投影矩阵

P=X(X^TX)^{-1}X^T=\frac15\begin{pmatrix}1&2\\2&4\end{pmatrix}.

对 $Y=(2,0)^T$ ， $PY=(0.4,0.8)^T$ 。再作用一次，第一项为 $(0.4+1.6)/5=0.4$ ，第二项为 $(0.8+3.2)/5=0.8$ ，预测不变。代数上内层矩阵平方为 $\begin{pmatrix}5&10\\10&20\end{pmatrix}$ ，乘 $1/25$ 仍是 $P$ ，所以 $P^2=P$ 。这叫幂等：已经落在允许的列空间里，再投影不会再移动。

残差 $r=(1.6,-0.8)^T$ 则满足 $Pr=0$ ，因为 $1.6-1.6=0$ 、 $3.2-3.2=0$ 。因此同一个标签可拆成 $Y=PY+(I-P)Y$ ：第一部分在模型能输出的空间里，第二部分在它的正交方向上。 $P$ 对称也可从表直接看出。这里只针对列满秩公式构造 $P$ ；列相关时投影依然存在，但不能继续写一个不存在的逆矩阵。

本讲核心考点

正规方程可先写，逆矩阵必须有条件；条件是 $X$ 列满秩。
样本数够是必要条件，列之间仍需提供独立信息。
列空间收集所有训练预测；最小二乘寻找标签向量在其中的正交投影。
最佳训练预测唯一，但列相关时达到它的参数可以不唯一。

以上为 p.43–55 的 ESTR 拓展，不将几何证明列作 CSCI 初学核心线的前置门槛。

附录

A1 两个零空间相同的双向证明

如果正文的一串等号仍太快，把它拆成两次“任取一个向量”。 $v$ 有 $d$ 个分量； $Xv$ 有 $m$ 个分量。

第一方向。 任取满足 $Xv=0$ 的 $v$ 。左乘 $X^T$ ： $X^TXv=X^T0=0$ 。因此每个属于 $X$ 零空间的向量，也属于 $X^TX$ 的零空间。

第二方向。 任取满足 $X^TXv=0$ 的 $v$ 。两边左乘 $v^T$ ，得到标量零：

0=v^TX^TXv=(Xv)^T(Xv)=\sum_{i=1}^m(Xv)_i^2.

中间等号用转置乘法规则 $(Xv)^T=v^TX^T$ ；最后等号是向量和自己的点积。每一项都是实数平方，不可能靠正负抵消，因而每一项都为 0，即 $Xv=0$ 。

两次包含共同证明集合相等。只证第一方向只能得包含，尚不足以推出等价条件。方阵可逆当且仅当零空间只含零向量，再把相同零空间接上，才得到可逆与列满秩等价。

回到正文：相同零空间为什么等价于列满秩

来源与证据

核对当前 L02-Linear-Regression-2026T1.pdf（本地课件） p.43–55 的文字公式，并视觉核对 p.53 投影图；页码为 55 页阅读版的 PDF 页号。
两列相同和二维投影数字例为补充教学例，非课件原题；与原件的正规方程、列满秩条件及投影论证分别对应。
本节不根据未重新核读的往年试卷新增考试范围判断。