CSCI3230 L02 · Part 3/5 Shrinkage methods

课程：CSCI3230 (ESTR3108) Fundamentals of Artificial Intelligence · 2026T1 本讲：L02，第 3 部分 / 共 5 部分 · 原件 L02-Linear-Regression-2026T1.pdf（本地课件） p.29–39 定位：先看同一个输入在不同训练集下为什么会得到不同预测，再理解宁可少贴合训练点，也可能更稳；最后比较 Ridge 与 Lasso 的两种约束方式。前后：上一份 Optimizing linear regression · 下一份 Summary

p.29 分节页。上一部分解决了“这份训练数据上哪条线最好”，却没有保证换一批新数据仍好。本篇先补这个缺口。先读完三种误差的例子，再看公式；没有必要一开始就记住英文缩写。

预测误差为何分成三项（p.30–31）【新】

想象你要预测同一间房子的租金。今天收集一批历史房源训练模型，明天换一批历史房源重新训练；即使房子的输入信息没变，两次模型也可能给不同预测。这是因为“学出来的规则”依赖数据，而数据本身会变。

补充·两次训练的微型实验（全部数字为演示取值）。假设同一输入的真实平均关系是 10。模型 A 在两次等概率训练实验中分别预测 8 和 12，平均预测是 10。模型 B 不管哪次都预测 9。

A 平均上没有偏离目标，但每次的预测摇摆；B 不摇摆，却稳定地低估 1。我们需要分别描述这两种问题：

偏差 bias：平均预测离真实关系多远。这里 A 为 $10-10=0$ ，B 为 $9-10=-1$ 。它不是某一次残差。
方差 variance：同一输入的预测，在不同训练数据下围绕自身平均值摇摆多大。这里 A 为 $((8-10)^2+(12-10)^2)/2=4$ ；B 为 0。

方差这里用两种等概率情况取平均，是教学中的完整小分布，不是在估计总体时套“除以样本数减一”的无偏样本方差公式。

即使知道真实平均关系，实际标签也可能波动。p.30 写为 $y=f(x)+\epsilon$ ： $f(x)$ 是该输入下的真实关系， $\epsilon$ 是相对它的观察噪声；假定噪声均值为零，方差为 $\sigma^2$ 。这不意味着每次噪声都是零，而是重复观察平均后没有系统性偏移。

在演示中再设噪声方差为 1，且新测试噪声与训练出的预测不相关。A 的期望平方预测误差为 $0^2+4+1=5$ ，B 为 $(-1)^2+0+1=2$ 。虽然 B 有一点偏差，整体反而更准。这就是本篇最重要的直觉：降低不稳定性，可能值得付出一点偏差。

现在把这件事写成课件 p.30 的公式：

\mathrm{EPE}(x)=\mathrm{Bias}(\hat f(x))^2+\mathrm{Var}(\hat f(x))+\sigma^2.

EPE 是 expected prediction error，即固定输入处的期望预测误差； $\hat f(x)$ 是训练后模型对这个输入的预测。偏差要平方，是因为左边用的是平方误差，不能把带正负、不同量纲的偏差直接相加。三项分别是平均位置不对、训练结果不稳定、标签本身的噪声。

图（p.31）的靶心类比用来区分“点团偏离中心”和“点团分散”。这里的点代表重新训练后的预测，不是把许多不同房子的租金扔在一起。不同房子本来就不同，预测分散不能直接当作模型方差。类比也不能替代公式的假设；交叉项为何消失见见附录 A1。

小检查：一个模型在所有训练实验里都预测 10，真实关系也恰为 10，它必须高偏差吗？

参考答案 · 反例与条件

不必须。这个固定输入处偏差和模型方差都为零，仍可能有标签噪声。p.32 的“恒定模型肯定高偏差”属于通常情境下的直觉表述，不是对所有真实函数都成立的数学结论。

**p.30 公式中的期望与交叉项，就地展开：**令 $\mu=E[\hat f(x)]$ ，把误差写成 $(f(x)-\mu)+(\mu-\hat f(x))+\epsilon$ 。平方有三项平方与三项两两乘积：第一部分为常数，第二部分均值为零，故它们的乘积期望为零；噪声均值为零，故第一部分与噪声的交叉项也为零；测试噪声和训练预测不相关时，最后一项交叉期望才为零。余下三平方的期望依次是偏差平方、模型方差、噪声方差。这样才能从左边期望平方误差得到右边三项，而不是凭“误差可分类”就直接相加。

**图（p.31）四个靶的完整读法：**上行低偏差，下行高偏差；左列低方差，右列高方差。左上蓝点紧贴红靶心；右上蓝点围绕靶心分散；左下蓝点紧密却偏离靶心；右下既偏离又分散。左下说明“重复预测很稳定”不代表平均预测正确。

复杂度、欠拟合与过拟合（p.32–34）【新】

欠拟合 underfitting可以先理解为“模型允许的形状太有限，连稳定趋势都表达不出”。例如真实趋势是先降后升，而你只允许画一条直线；换很多训练样本也难把弯曲规律表达出来。

过拟合 overfitting则是“把当前样本的偶然细节也当成可推广规律”。更灵活的曲线可能追逐训练点的一点噪声，换一批点形状就大变。注意这些是机制解释，具体判断需要独立数据，不能只看曲线复杂就宣布过拟合。

补充·不涉及本次作业的评分表例子： 假设三种模型在同一训练集的 RSS 为 12、4、1，在同一个独立验证集的 RSS 为 13、5、11。第二种虽然不是训练分数最低，却有最好的验证分数。第三种继续降低训练分数时，验证表现恶化；这才支持“额外灵活度没有带来更好泛化”的判断。

p.32–34 用复杂度解释偏差方差的折中。复杂度可以来自特征数，也可来自允许的函数形状和约束强度；不是一个简单等于“参数个数”的万能刻度。相同特征数，用不同的参数约束，也能得到不同有效复杂度。

p.34 To improve the EPE, sometimes we would like to sacrifice some bias to reduce the variance.

这里的意思是允许偏差增加一点，换取方差减少。不是把偏差减少而牺牲方差；更不是保证每次正则化都会改善测试误差。

实际工作中，训练集负责求参数，验证集负责比较设置，最终测试集负责一次独立评价。若反复看测试集来选最好的设置，它就变成模型选择的一部分，最后报告的测试结果会过于乐观。旧版具体演练在见附录 A2，学习曲线例子在见附录 A3；均为历史材料，不是当前作业数据。

**图（p.33）：复杂度与预测误差。**横轴 Model Complexity 从 Low 到 High，纵轴 Prediction Error；青色 Training Sample 曲线持续下降，红色 Test Sample 曲线先降后升。左侧标 High Bias/Low Variance，右侧标 Low Bias/High Variance。读图时不能把横轴当训练迭代次数；这里改变的是模型复杂程度。p.34 将 Ridge、Lasso 称为收缩方法，用惩罚调整有效复杂度，不必真的删除特征列才能改变模型稳定性。

Ridge 为什么压制相互抵消的大系数（p.35–37）【新】

先不要背正则项。想象模型有两个几乎相同的测量特征；一个系数很大为正，另一个很大为负，两者在训练集上抵消，看起来预测不错。但数据稍变，两项的抵消可能失衡，预测就不稳定。

补充·完全相同两列的极简例子（自取数字）。若两列都等于 $x$ ，那么 $100x-99x=x$ ； $0.5x+0.5x=x$ 也一样。只看训练预测，两套系数没有差别。Ridge 另加一个偏好：在能拟合的方案中，不喜欢系数过大。

第一组系数平方和为 $100^2+(-99)^2=19801$ ，第二组为 $0.5^2+0.5^2=0.5$ 。相同 RSS 下，第二组支付的惩罚少得多。这里“两列完全相同”是为了看清机制；近似相同但非完全相同的情形，RSS 与惩罚会一起参与权衡。

p.35 定义目标：

J(\theta,\theta_0)=\sum_{i=1}^{m}(x_i^T\theta+\theta_0-y_i)^2 +\lambda\sum_{j=1}^{n}\theta_j^2.

第一项仍是拟合误差；第二项是系数平方和乘一个权衡数。 $m$ 是样本数， $n$ 是不含截距的特征数； $\theta$ 是这些特征的系数向量， $\theta_0$ 单独表示截距。 $\lambda$ 是选定的非负超参数：它控制“为更小系数愿意付出多少拟合误差”，不由这一轮求解和普通系数一起自由调小。

p.35 Note that θ0 is not included in the penalty term.

课件明确不惩罚截距。截距调节整体水平；若所有标签一起加一个常数，斜率的复杂程度不应因此改变。把截距放进矩阵后，也不能忘了这一约定，盲目对整个增广参数作同样惩罚。

慢算一个一参数例子。 补充、自取中心化数据为输入 -1、1，标签 -2、2；均值都为零，因此暂不需要截距。模型预测为 $-\theta,\theta$ 。两残差分别是 $2-\theta$ 、 $\theta-2$ ，平方相同：

\mathrm{RSS}=2(\theta-2)^2.

没有惩罚时， $\theta=2$ 使 RSS 为零。取 $\lambda=2$ ，Ridge 目标变成 $2(\theta-2)^2+2\theta^2$ 。展开：

\begin{aligned} J&=2\theta^2-8\theta+8+2\theta^2\\ &=4\theta^2-8\theta+8\\ &=4(\theta-1)^2+4. \end{aligned}

第一步展开平方，第二步合并同类项，第三步配方。所以最小值在 $\theta=1$ 。这时预测是 -1、1，训练 RSS 为 2，惩罚为 2，总目标为 4；如果仍取旧系数 2，RSS 虽为零，惩罚却为 8，总目标更大。模型主动接受一点训练误差，换取更小的系数。

把 2 换成一般 $\lambda$ ，求导得到 $4(\theta-2)+2\lambda\theta=0$ ，整理为 $\theta=4/(2+\lambda)$ 。这个小例里， $\lambda$ 从 0 增加到 2，系数从 2 缩到 1；若越来越大，系数趋近零。一般多特征情形的单个系数路径未必都如此简单单调，因此不要把这一维图像当成所有坐标的定理。

p.37 的重采样图把横坐标固定在 0.5 与 1.0，各取有噪声的观测，重复训练 6 次。蓝线是真实关系，红色加号是其上的无噪声位置，绿色点是观测；每条灰线代表一次训练得到的模型。左侧 OLS 往往能穿过当次的两个点，但换一批绿色点，灰线斜率变化很大。右侧 Ridge 的灰线更聚拢，却不再要求穿过每个绿色点。先辨认每条线是“重新训练一次”，才能把图与前面固定输入处的模型方差联系起来。Ridge 并非保证每份数据都更准； $\lambda$ 过大仍可能欠拟合。完整未罚截距推导见见附录 A4。

单位也会影响惩罚：面积换计量单位时，输入数值与系数反向变化，预测可以不变，但系数平方会变。因此常需合理标准化；均值、尺度应从训练集确定，再应用到验证与测试，不能用测试数据帮忙决定。

补充 · 正则化为什么连特征单位也要管（通识讲解；演示数据不属于原题）。

上一节的平方惩罚约束的是参数数值，而参数数值会受输入单位影响。用米时 $\hat y=3x$ ，改用厘米 $u=100x$ 后同一预测为 $0.03u$ 。两者训练残差完全相同，但斜率平方分别为 9 和 0.0009。若不说明单位就对二者使用相同的 $\lambda$ ，惩罚偏好已被人为改变，不能再声称比较的是同一个优化问题。

标准化的目的之一是先让不同特征的尺度可比，再施加统一惩罚。均值和尺度只能从训练数据估计，验证与测试沿用它们；截距是否惩罚也要明写。标准化不是自动把特征变得有意义：编码错误或无关特征不会因缩放就获得预测价值。若某列在训练集恒定，标准差为零，还必须先处理该列，不能直接做除法。

**p.35–36 的用词与连接：**原页将平方和项称为 “L2 Norm”，严格按写出的式子它是 L2 范数的平方；真正的 L2 范数还要开平方。p.36 还指出神经网络中惩罚参数 L2 范数的想法称为 weight decay。这里保留课程联系，不能仅从名称推出所有优化器里的实现完全等价。

Lasso 如何鼓励少用特征（p.38–39）【新】

Ridge 处罚平方，Lasso 换成绝对值和：

J_{\mathrm{Lasso}}=\mathrm{RSS}+\lambda\sum_{j=1}^{n}\lvert\theta_j\rvert.

绝对值就是离零有多远，不管正负。若某个系数最终恰好为零，它所乘的特征不再贡献预测，这叫稀疏 sparsity。小系数与零系数要分开：0.001 仍在使用特征，只是贡献可能小；零才完全不使用。

为什么绝对值能带来零？不先看多维几何，先算一个数轴上的例子。补充·自取目标为 $(\theta-1)^2+3\lvert\theta\rvert$ 。原拟合项最喜欢 1，惩罚最喜欢 0，两者竞争。

当 $\theta>0$ ，绝对值等于 $\theta$ ，目标导数为 $2(\theta-1)+3=2\theta+1$ ，始终为正。因此在正半轴往左走，会降低目标。当 $\theta<0$ ，绝对值等于 $-\theta$ ，导数为 $2(\theta-1)-3=2\theta-5$ ，始终为负；在负半轴往右走，会降低目标。两边都往零点下降，最小值就在零。

零点处绝对值有尖角，普通导数不存在。不能硬写“零点导数为零”；上面的分段比较才是本例成立的理由。若同样把惩罚换为 $3\theta^2$ ，展开为 $4\theta^2-2\theta+1$ ，导数 $8\theta-2$ 为零时 $\theta=1/4$ ，只是缩小，没有变为零。

p.39 的 Lasso 示例与 p.37 使用相同的重采样设置；线条变化变小、某些更平，帮助理解收缩与稀疏。但“删除特征越多越好”仍是错误结论：删掉有用信息也会使预测变差。

此处只需掌握三个区别：RSS只管拟合；Ridge额外偏好较小平方和；Lasso额外偏好较小绝对值和，并可能得到零系数。历史选择题辨析在见附录 A5。

小检查：如果你把最终测试集反复用来选 $\lambda$ ，最后还能把它叫完全独立的测试吗？

参考答案 · 参数选择的数据边界

不能。每次根据它选择设置都让它影响了模型。应先用验证集或交叉验证选择，再在未参与选择的数据上评价。这与使用哪种惩罚无关。

补充：用同一个一维问题看出 Ridge 与 Lasso 的差别

以下是自编缩小例，不替换课件多维定义。设只有一个待估计系数 $w$ 、目标值3，且这里明确不另设截距。Ridge目标取 $(w-3)^2+\lambda w^2$ ， $\lambda\ge0$ 。求导为 $2(w-3)+2\lambda w=0$ ，故 $w=3/(1+\lambda)$ 。当 $\lambda=2$ ，得到1；任意有限 $\lambda$ 都不会把这个非零目标对应的系数恰好压成0。

换成Lasso目标 $(w-3)^2+\lambda\lvert w\rvert$ ，绝对值在0处没有普通导数，所以应分区域。若 $w>0$ ，导数为 $2(w-3)+\lambda$ ，候选 $w=3-\lambda/2$ ，只有 $\lambda<6$ 才在本区域。若 $w<0$ ，导数为 $2(w-3)-\lambda$ ，候选 $3+\lambda/2$ 为正，不符合区域。剩下检查0：左侧导数 $-6-\lambda<0$ ，右侧导数 $-6+\lambda$ ；当 $\lambda\ge6$ ，函数走到0前下降，过0后不再下降，因此最优值为0。

于是本例 $\lambda=2$ 时Lasso系数为2， $\lambda=6$ 时为0。出现精确零的原因是绝对值尖角两侧的斜率允许在零处夹住最小值，不是数值程序“把小数四舍五入掉”。若把平方损失前面加 $1/2$ ，阈值会从6变3；不同书上阈值不同，先核对损失的系数。这个一维阈值解释机制，不能把它未经推导直接逐坐标套到相关特征的普通多维问题。

本讲核心考点

偏差看平均位置，方差看同一输入在重复训练中的摇摆；不把不同输入的差异当方差。
训练误差更小不能独自证明泛化更好。
Ridge比较拟合与系数平方代价，课件不罚截距。
Lasso用绝对值代价，零点尖角可使系数恰为零；不可在尖角硬套普通导数。
正则强度和单位/损失缩放有关；用验证数据选择，保留最终测试独立性。

附录

A1 偏差方差分解的交叉项

固定输入 $x$ ，令 $\mu=E[\hat f(x)]$ ，这里期望是对重复抽取训练数据得到的模型取平均。测试标签为 $y=f(x)+\epsilon$ 。在误差中加上又减去 $\mu$ ，不改变数值：

y-\hat f(x)=(f(x)-\mu)+(\mu-\hat f(x))+\epsilon.

将三部分暂记为 $a,b,c$ 。平方会得到三个平方项和 $2ab,2ac,2bc$ 三个交叉项。现在逐个解释为何能消掉，而不是直接说“显然为零”：

$a$ 是固定输入处的常数， $E[b]=\mu-E[\hat f]=0$ ，所以 $E[ab]=aE[b]=0$ 。
噪声均值为零，所以 $E[ac]=aE[c]=0$ 。
还需测试噪声与训练预测波动不相关，因此 $E[bc]=0$ 。单靠两个量各自均值零，不足以保证乘积均值零。

剩下 $a^2$ 是偏差平方， $E[b^2]$ 是模型方差， $E[c^2]=\sigma^2$ 是噪声方差。若这些假设不满足，就必须保留相应交叉项，不能无条件套三项和。

回到正文：预测误差为何分成三项

A2 作业/往年题演练（非讲义内容）：三种复杂度的测试误差

这是2025旧数据的练习，不是当前2026作业。先独立算每个点的残差，再看表格；比较时三个模型必须使用同一份测试集。

题面（HW01-2025T1-题目.pdf · Q1(d) · p.2；公共数据和模型已完整列于 Part 2 附录 A3）

p.2 (d) Observe the above three functions, please point out which could be faced with underfitting, which could be faced with overfitting, and which one is relatively a good one? Then, you can calculate the values of prediction error on the test data to verify your thoughts. (10%)

逐项用 Part 2 表中的测试预测减去测试标签、平方，再求和。一次模型第一个残差为 $2.18849315-2.68=-0.49150685$ ，该项约 0.241579；全部十项 RSS=1.59682141。二次模型第一个残差为 −0.24407230，该项约 0.0595713，全部 RSS=0.80931309。四次模型第一个残差为 −0.57922035，该项约 0.3354962，全部 RSS=2.23631143。

次数	训练 RSS	测试 RSS	测试 MSE
1	5.26941154	1.59682141	0.15968214
2	1.70557505	0.80931309	0.08093131
4	0.97893134	2.23631143	0.22363114

一次直线无法表达中间低、两端高的趋势，有欠拟合迹象。四次进一步降低训练误差却恶化测试误差，有过拟合迹象；这组数据里二次较好。比较的是三个具体模型及这份测试数据，不是宣称所有二次模型都最佳。

回到正文：复杂度、欠拟合与过拟合

A3 作业/往年题演练（非讲义内容）：学习曲线

这是旧版记录的2023题目。先辨认横轴是在增加训练轮数，还是增加数据量；这两种“学习曲线”的含义不同。下题横轴是训练迭代次数。

题面（ESTR-Final-Exam-2023T1.pdf · Part I Q10 · p.3；扫描件，视觉读取）

p.3 10. (3%) Which of the following learning curves demonstrates overfitting?

图（题面，p.3）：四幅候选曲线。
元素：A 的训练 loss 持续下降、validation loss 先降后升；B 两者下降；C validation accuracy 高于 train；D 两者 accuracy 上升。
看什么：横轴都是 iterations，A/B 纵轴 loss，C/D 纵轴 accuracy。

A 是直接证据：后期模型继续适应训练数据，却在验证数据上变差。B 的误差差距本身不等于图示的明显后期过拟合；C 可能涉及正则化与评估流程；D 尚未展示验证性能回落。因此依据题目图示选 A。

回到正文：复杂度、欠拟合与过拟合

A4 作业/往年题演练（非讲义内容）：HW01 Ridge 解析解

此处是历史作业推导，允许查看完整解法；若正在挑战当前HW01，请先用当前提示版。阅读顺序是先固定斜率找到截距，再将每行变成中心化残差，最后才优化斜率。三步不能混成一次“套公式”。

题面（HW01-2025T1-题目.pdf · Q2(a)–(c) · p.2–3）

p.2 2. Recall that we have learned ridge regression which is a shrinkage method to regularize the coefficients in linear models.

The ridge regression penalizes L2 norm of the model parameters: $\hat\Theta_{\mathrm{ridge}}=\arg\min_{\Theta}\lVert X\Theta+\theta_0-Y\rVert_2^2+\lambda\lVert\Theta\rVert_2^2$ , with $\lambda$ as a positive scalar $\lambda>0$ .

(a) First of all, in order to be more convenient for the derivation, we rewrite the error function as: $J(\Theta,\theta_0)=\sum_{i=1}^{M}(X^{(i)}\Theta+\theta_0-Y^{(i)})^2+\lambda\lVert\Theta\rVert_2^2$ .

Set $\bar X$ be the mean vector of all the raw vectors of X, then, if we change the form of $J(\Theta,\theta_0)$ into the following rewritten function: $J(\Theta,\theta_0)=\sum_{i=1}^{M}((X^{(i)}-\bar X)\Theta+\theta_0+\bar X\Theta-Y^{(i)})^2+\lambda\lVert\Theta\rVert_2^2$ .

Prove that, when $\theta_0=\bar Y-\bar X\Theta$ , we can get the minimal value for $J(\Theta,\theta_0)$ . (10%)

(b) Next, let’s define the centered input as $X_c^{(i)}=X^{(i)}-\bar X$ , and the corresponding centered label as $Y_c^{(i)}=Y^{(i)}-\bar Y$ . Plug the above $\theta_0$ into the loss function, try to derive that: $J(\Theta,\theta_0)=J_c(\Theta)=\sum_{i=1}^{M}(X_c^{(i)}\Theta-Y_c^{(i)})^2+\lambda\lVert\Theta\rVert_2^2$ . (5%)

p.3 (c) Finally, with calculating the first-order derivatives of $J_c(\Theta)$ , try to find the analytic solution $\hat\Theta$ for the ridge regression. (10%)

公式按原题重排；这里 $X^{(i)}$ 是行向量。(a) 固定斜率向量，对截距求导：

\frac{\partial J}{\partial\theta_0}=2\sum_i(X^{(i)}\Theta+\theta_0-Y^{(i)}) =2M(\bar X\Theta+\theta_0-\bar Y).

这里惩罚里没有截距，所以它对截距的导数为零；每条残差内的截距系数为1，因此平方求导后只留下两倍残差。累加后再用样本均值表示各项。令其为零得所要求截距；二阶导为 $2M>0$ ，故对固定斜率确实最小。(b) 将此截距代入每条残差，得 $(X^{(i)}-\bar X)\Theta-(Y^{(i)}-\bar Y)$ ，平方求和后正好是中心化损失，惩罚项未动。

\begin{aligned} \nabla J_c&=2X_c^{T}(X_c\Theta-Y_c)+2\lambda\Theta,\\ (X_c^{T}X_c+\lambda I)\hat\Theta&=X_c^{T}Y_c,\\ \hat\Theta&=(X_c^{T}X_c+\lambda I)^{-1}X_c^{T}Y_c. \end{aligned}

对任意非零 v，二次型为 $\lVert X_cv\rVert_2^2+\lambda\lVert v\rVert_2^2>0$ ，所以正的 $\lambda$ 保证斜率部分可逆。最后按 (a) 恢复截距，不能在常数列上也加同样惩罚。验算：令 $\lambda\to0$ 且中心化矩阵列满秩，就回到 OLS。

回到正文：Ridge 为什么压制相互抵消的大系数

A5 作业/往年题演练（非讲义内容）：正则化辨析

这是旧题措辞辨析，尤其留意“可能”与“必然”的差别。先给每个断言找一个满足条件的例子或反例，再看解释。

题面（ESTR-Final-Exam-2023T1.pdf · Part I Q1 · p.2；扫描件，视觉读取）

p.2 1. (3%) Which of the following statements is true:

A. Lasso regression penalizes L1 norm of the model parameters to alleviate underfitting.

B. Shrinkage methods sacrifice some variance to reduce the bias of the model.

C. If the features in multivariate linear regression are highly correlated, the cost function of RSS would become higher.

D. For ordinary least squares, an optimal solution to linear regression is $\Theta^{\ast}=(X^{T}X)^{-1}X^{T}Y$ . This learned $\Theta^{\ast}$ could minimize the cost function RSS to as small as 0 on training data.

公式按原题重排。A 将常见作用从抑制过拟合写成缓解欠拟合；B 将偏差方差方向反了；C 把系数不稳定误当训练 RSS 必然增大。D 的 could 表示“可能”：当 Y 在 X 列空间且 X 列满秩时可零误差，例如两点 (0,1)、(1,3) 由截距1、斜率2精确拟合。故按题目意图 D。附带条件必须记住：逆矩阵表达式不是对任意 X 都存在，而“could”也不是“always”。

回到正文：Lasso 如何鼓励少用特征

来源与证据

当前讲义：L02-Linear-Regression-2026T1.pdf（本地课件），PDF p.29–39。公式按原页含义重排；p.32恒定模型高偏差的表述补充了适用边界，p.35惩罚按实际平方和解释为L2范数平方。
教学微型实验、中心化两点和一参数Lasso例明确为自取；不冒充原页数据或当前作业答案。附录保留旧2025作业与2023试卷的历史题面记录，未声称本轮重新阅读全部旧考试资料。