CSCI3230 HW01：按小问手把手做题（2026T1）

学习衔接：本次课件内容补全后，可直接学习 回归建模、最小二乘、逻辑回归 与 梯度下降，再逐小问作答；本篇保持原作业题号、数据及提示/答案边界。作业题面核验记录沿用此前版本，本次不称重新核对试卷。

课程：CSCI3230 / ESTR3108 · Fundamentals of Artificial Intelligence · 2026–2027 Term 1 原题：HW01-2026T1-题目.pdf（本地课件），PDF p.1–4 用法：对着题号读；每问都从题目要求开始，接着代入、计算、解释和验算。 版本：2026-10-04 按原题与个人草稿统一记号；所有训练数据、测试数据、初始参数均按这一版原题。

直接跳到正在做的小问：

本文是解题教学笔记。公式从原题重新排版；解释放在对应步骤旁。数值展示会舍入，后续计算使用未舍入的参数。

Q1：用十个训练点拟合，再用十个测试点比较

公共题面（HW01-2026T1-题目.pdf · Q1 · p.1；数据表为图片，已视觉核对）

p.1 Assume we have a training set and a test set as follows:

Let’s try to find some linear models to fit the training data. We use the RSS objective function $J(\boldsymbol{\Theta})=\lVert \hat f_{\boldsymbol{\Theta}}(\mathbf{X})-\mathbf{Y}\rVert_2^2$.

公式按原题重排。拟合后的三种模型沿用你的 $\hat f_1(x)$、$\hat f_2(x)$、$\hat f_4(x)$，下标是次数；它们分别对应原题同一记号 $\hat f_{\boldsymbol{\Theta}}(x)$ 在三个模型下的拟合结果。样本编号写作 $x^{(i)},y^{(i)}$；$\mathbf{X}$ 是含常数列的设计矩阵，$\mathbf{Y}$ 是标签列向量。下面把原题左右两张表并列；每一侧各有十条数据。

(a)–(c) 只用左边的训练集求参数。右边的测试集留到 (d)，把已经求好的模型代进去，检查预测得好不好。

Q1(a)：求直线的两个系数并画图（p.1，5%）

题面（同上原件 · Q1(a) · p.1）

p.1 Calculate the analytic solution of the linear model $\hat f_{\boldsymbol{\Theta}}(x)=\theta_0+\theta_1x$. Then, plot the line of your obtained linear model together with the data points in training set. (5%)

这问要做完两件事：算出截距、斜率；把这条直线和十个训练点画在一起。 analytic solution 指通过求导、解方程求出参数，这里不需要反复做梯度下降。

第 1 步：把题目给的模型代进 RSS。

未知数只有 $\theta_0$ 和 $\theta_1$。例如第一个点为 $(7,0.9)$，模型预测是 $\theta_0+7\theta_1$，预测减真实值为 $\theta_0+7\theta_1-0.9$。这个点对 RSS 的贡献就是它的平方。

十个点全部这样做：

展开开头两项和最后一项，你就能看清求和符号装着什么：

第 2 步：分别对两个未知数求导，再令导数等于零。

对 $\theta_0$ 求导时，括号内部对它的导数是 1；对 $\theta_1$ 求导时，括号内部对它的导数是 $x^{(i)}$。平方的导数还会带出一个 2：

两式各除以 2。第一式收集常数、$x^{(i)}$、$y^{(i)}$；第二式先把外面的 $x^{(i)}$ 乘进去：

第一式为什么有 $10\theta_0$？因为每个点都有一个截距，十项相加就是十倍截距。

第 3 步：按训练表算出方程里的四个总和。

于是刚才的两个方程变成：

第 4 步：消元，先求斜率，再求截距。

第一式除以 10，移项：

把它代入第二式：

再代回第一式：

所以求出的直线是：

这确实使 RSS 最小：RSS 是平方和，关于两个参数的二次函数是凸的；本题各个 $x$ 不全相同，方程给出唯一最小点。无需再找另一个驻点比较。

第 5 步：画出直线，叠加原训练点。

可以先拿第一个点验算：输入 $x=7$，模型给出

真实值是 0.9，所以这个点不会正好落在拟合线上。最小二乘要求十个点的总平方误差最小，不要求每个点都穿过。

以下代码可单独运行；xx 是从左到右的画图横坐标，x, y 才是原训练点。散点用 scatter，模型线用 plot。

import numpy as np
import matplotlib.pyplot as plt

x = np.array([7, 1.6, 3.8, 4.7, 4, 6.3, 7.9, 5.7, 7.1, 8])
y = np.array([.9, 1.4, .7, -.3, 0, .6, 1.7, .1, 2.1, 1.3])
A = np.column_stack([np.ones(10), x])  # 每一行是 [1, x_i]
theta_a = np.linalg.lstsq(A, y, rcond=None)[0]
xx = np.linspace(1, 8.4, 400)
yy = theta_a[0] + theta_a[1] * xx
plt.scatter(x, y, label="training data")
plt.plot(xx, yy, label="degree 1")
plt.xlabel("x")
plt.ylabel("y")
plt.legend()
plt.show()
print(theta_a)

代码中的 A、y、theta_a 分别对应公式中的 $\mathbf{X}$、$\mathbf{Y}$、一次模型的 $\hat{\boldsymbol{\Theta}}$；Python 变量名不影响数学记号。这里 lstsq 直接求解上面同一个最小二乘问题；前面的手算已经说明了它为什么得到这两个数。

**本问完成检查：**有两个系数、有代回后的直线、有训练散点与直线同图。只写一个通用的矩阵公式还没算完这问。

Q1(b)：增加平方项，求三个系数（p.1，5%）

题面（同上原件 · Q1(b) · p.1）

p.1 Suppose we want to increase the model complexity, by considering $y$ as a linear function of both $x$ and $x^2$: $\hat f_{\boldsymbol{\Theta}}(x)=\theta_0+\theta_1x+\theta_2x^2$. In this case, calculate the analytic solution of the model and plot the curve of the model, together with the data points in training set. (5%)

原题矩阵提示转写：$\mathbf{X}$ 每一行为 $(1,x^{(i)},(x^{(i)})^2)$，$\boldsymbol{\Theta}=(\theta_0,\theta_1,\theta_2)^T$。这问是在同一批训练数据上，增加一个待求系数。 $x^2$ 是已知输入的平方，不是给标签 $y$ 平方。

第 1 步：按题目提示把每个输入扩成三列。

例如第一行由 $7$ 变成 $(1,7,49)$；第二行由 $1.6$ 变成 $(1,1.6,2.56)$。第一列 1 用来乘截距。下面直接用题目的 $\mathbf{X}$ 表示设计矩阵；小写 $x$ 仍是单个输入：

矩阵乘法 $\mathbf{X}\boldsymbol{\Theta}$ 就是十个预测值。例如第一行乘出来是 $\theta_0+7\theta_1+49\theta_2$，正是题目要求的二次模型。

第 2 步：写 RSS，求导得到三个方程。

每条残差现在是 $r_i=\theta_0+\theta_1x^{(i)}+\theta_2(x^{(i)})^2-y^{(i)}$。分别对三个参数求导，括号内部的导数分别为 $1,x^{(i)},(x^{(i)})^2$，所以条件是：

三式可以合写成 $\mathbf{X}^T(\mathbf{X}\boldsymbol{\Theta}-\mathbf{Y})=0$，移项得到 $\mathbf{X}^T\mathbf{X}\boldsymbol{\Theta}=\mathbf{X}^T\mathbf{Y}$。这就是“正规方程”，本质上仍是刚才的三个偏导等于零。

第 3 步：把本题数字填进去。

$\mathbf{X}^T\mathbf{X}$ 的每个格子是两列对应元素乘完后求和。例如第一行第三格是 $\sum_i (x^{(i)})^2=353.09$；第二行第三格是 $\sum_i (x^{(i)})^3=2367.981$。右侧第三格是 $\sum_i (x^{(i)})^2y^{(i)}=373.386$。

第 4 步：先消掉截距，再解两个未知数。

第一行除以 10，整理为：

把这一式分别代进第二、第三行。合并同类项后得到：

这里以第一行的平方项系数为例，$387.1461=2367.981-56.1(35.309)$，来自代入截距后的两部分合并。

再用第二式减去第一式的 $387.1461/38.369$ 倍，$\theta_1$ 被消掉：

算出两边的数：

先回代求 $\theta_1$，再回代求 $\theta_0$：

二次模型因此为：

第 5 步：画曲线。

接着 (a) 已定义的 np、plt、x、y、xx，运行下面这一段。这里的 x**2 和 xx**2 都是在计算输入的平方，系数仍只乘一次。

A = np.column_stack([np.ones(10), x, x**2])
theta_b = np.linalg.lstsq(A, y, rcond=None)[0]
yy = theta_b[0] + theta_b[1] * xx + theta_b[2] * xx**2
plt.figure()
plt.scatter(x, y, label="training data")
plt.plot(xx, yy, label="degree 2")
plt.xlabel("x")
plt.ylabel("y")
plt.legend()
plt.show()
print(theta_b)

**本问完成检查：**矩阵是十行三列，参数有三个；模型代入 $x$ 时要有平方项；曲线和训练散点画在一起。

Q1(c)：增加到四次项，求五个系数（p.2，5%）

题面（同上原件 · Q1(c) · p.2）

p.2 Let’s further increase the model complexity, by assuming $y$ is related to higher-order forms of $x$, i.e., $\hat f_{\boldsymbol{\Theta}}(x)=\theta_0+\theta_1x+\theta_2x^2+\theta_3x^3+\theta_4x^4$. Again, calculate the analytic solution of the model, plot the curve of the function, together with the data points in training set. (5%)

原题还给了设计矩阵提示。已核对 PDF：提示最后一行的第四列印成了四次幂，与上面模型中的三次项不一致；本节依明确给出的模型建立 $1,x,x^2,x^3,x^4$ 五列。

第 1 步：把十个输入的三次方、四次方算出来。

把后五列作为矩阵 $\mathbf{X}$，一行乘以五个系数，就给出一个预测。比如第一行是 $\theta_0+7\theta_1+49\theta_2+343\theta_3+2401\theta_4$。

第 2 步：仍然让五个偏导分别等于零。

对第 $j$ 个系数求导，$j=0,1,2,3,4$：

因此仍然解 $\mathbf{X}^T\mathbf{X}\boldsymbol{\Theta}=\mathbf{X}^T\mathbf{Y}$。这里 $\mathbf{X}^T\mathbf{X}$ 为五行五列；每一格对应 $\sum_i (x^{(i)})^{r+c}$，行列编号 $r,c$ 从 0 开始。

第 3 步：把要解的方程组具体写出来。

为了不把五列大数挤成一行，下面每行就是一个方程的五个系数及右侧常数；各列依次乘 $\theta_0,\theta_1,\theta_2,\theta_3,\theta_4$。

第一行例如就是：

第 4 步：用线性代数工具解这个方程组，并画图。

原题允许用 Python/MATLAB 做计算。这里不要求手算五元消元；关键是先构造正确方程，再说明软件具体解了什么。下面接着 (a) 的数据运行：

A = np.column_stack([np.ones(10), x, x**2, x**3, x**4])
G = A.T @ A       # 上表左边的五行五列
b = A.T @ y       # 上表的右侧列
print(G)
print(b)
print(np.linalg.solve(G, b))  # 直接解正规方程，便于核对
# 用原设计矩阵求最小二乘，避免显式求逆带来的数值误差
theta_c = np.linalg.lstsq(A, y, rcond=None)[0]
print(theta_c)
B = np.column_stack([np.ones(len(xx)), xx, xx**2, xx**3, xx**4])
yy = B @ theta_c
plt.figure()
plt.scatter(x, y, label="training data")
plt.plot(xx, yy, label="degree 4")
plt.xlabel("x")
plt.ylabel("y")
plt.legend()
plt.show()

五个输出按幂次从低到高排列：

把它们放回题目中的模型：

**检查：**四次模型要有五个系数；训练矩阵应为十行五列。拿未舍入的解代回，$\mathbf{X}^T(\mathbf{X}\boldsymbol{\Theta}-\mathbf{Y})$ 应接近全零。四次式里较大的正负项会抵消，不要把系数只留两位就拿去计算测试误差。

下面的配套图把 (a)–(c) 并排显示；每幅黑点都是同一组训练数据：

一次、二次、四次模型与训练点（本地素材，未公开）

Q1(d)：用测试集判断哪一个模型更合适（p.2，10%）

题面（同上原件 · Q1(d) · p.2）

p.2 Observe the above three functions, please point out which could be faced with underfitting, which could be faced with overfitting, and which one is relatively a good one? Then, you can calculate the values of prediction error on the test data to verify your thoughts. (10%)

这问接着使用刚才三个模型。参数已经确定，测试时不再重新拟合。

第 1 步：先看形状，提出初步判断。

训练点大致是中间低、两侧高。直线弯不了，可能欠拟合；二次曲线能表达这个走势；四次曲线能拐得更多，但这些额外弯曲是否对新数据有帮助，还要算测试误差。

第 2 步：每个测试输入分别代入三个模型。

拿第一条 $(7.2,0.6)$ 先算直线：

该点的误差是 $1.0652792618-0.6=0.4652792618$，平方误差约为 $0.21648479$。

再算二次模型的同一个点：

平方误差是 $(1.13327103-0.6)^2\approx0.28437799$。一个点上直线更好，不代表十个点加起来仍更好，所以必须继续算整张表。

第 3 步：逐点做“预测减真实，再平方”，最后相加。

例如一次模型的测试 RSS 是：

第四项是加 0.4，因为真实值为 −0.4。不要把十个有正有负的误差先加起来再平方，那不是 RSS。

运行下面这段可把三列预测和全部误差一次复算出来，依赖 (a)–(c) 已求出的三个 theta：

xt = np.array([7.2, 1.1, 3.6, 4.8, 4.3, 6.6, 7.8, 5.6, 7.3, 8.2])
yt = np.array([.6, 1, .3, -.4, 0, .2, 1.8, .6, 1.7, 1.3])
for degree, theta in [(1, theta_a), (2, theta_b), (4, theta_c)]:
    A = np.column_stack([x**j for j in range(degree + 1)])
    B = np.column_stack([xt**j for j in range(degree + 1)])
    prediction = B @ theta
    squared_errors = (prediction - yt)**2
    print("degree", degree)
    print("test prediction, squared error:", np.column_stack([prediction, squared_errors]))
    print("train RSS", np.sum((A @ theta - y)**2))
    print("test RSS", np.sum(squared_errors))

训练集、测试集各有 10 条，所以两列 MSE 分别等于对应 RSS 除以 10；列顺序与你的 Q1(d) 一致。

第 4 步：用比较结果解释结论。

二次变四次时，训练 RSS 从 1.8765 降至 0.7712，测试 RSS 却从 2.4768 升至 5.1835。多出的复杂度更贴合训练点，但没有改善这里的测试预测，这才是判断四次过拟合的依据。

还能定位到具体错误：四次模型在测试 $x=1.1$ 时预测 −0.604，真实值为 1，单点平方误差约 2.5727。这个输入低于最小训练输入 1.6，已经在训练范围之外，四次曲线的外推在这里出了明显偏差。

**本问完成检查：**三个判断都给出理由，同时用测试 RSS 支持判断。若写 MSE，应把各 RSS 除以 10 并明确名称，不能把 2.4768 称作本题的 MSE。

Q2：按 (a) 求截距、(b) 代回、(c) 求斜率的顺序推导

公共题面（HW01-2026T1-题目.pdf · Q2 · p.2）

p.2 Recall that we have learned ridge regression which is a shrinkage method to regularize the coefficients in linear models. Suppose we have $M$ samples $\mathbf{X}=(\mathbf{X}^{(1)},\mathbf{X}^{(2)},\ldots,\mathbf{X}^{(m)})^T$. The ridge regression penalizes L2 norm of the model parameters: $\hat{\boldsymbol{\Theta}}^{\mathrm{ridge}}=\arg\min_{\boldsymbol{\Theta}}\lVert\mathbf{X}\boldsymbol{\Theta}+\theta_0-\mathbf{Y}\rVert_2^2+\lambda\lVert\boldsymbol{\Theta}\rVert_2^2$, with $\lambda$ as a positive scalar ($\lambda>0$). Let’s find the analytic solution for the ridge regression.

公式按原题重排。原题同时出现样本数 $M$ 和求和上限 $m$，下文统一记为 $M$；$\mathbf{X}^{(i)}$ 表示第 $i$ 条样本的特征行。这一题没有给具体数据，是要证明一个公式，不要代用 Q1 的十个点。

沿用你 Q2(a)–(b) 的大写样本记号，后面不再换成小写缩写。粗体用标准 LaTeX 的 \mathbf{X}、\boldsymbol{\Theta}；范数写成 \lVert \boldsymbol{\Theta}\rVert_2^2。先认清这几个符号：

如果每条样本有 $p$ 个特征，那么 $\mathbf{X}^{(i)}$ 是一行 $p$ 个数，$\boldsymbol{\Theta}$ 是一列 $p$ 个数，$\mathbf{X}^{(i)}\boldsymbol{\Theta}$ 相乘后得到一个预测数。题目中的正则项只惩罚 $\boldsymbol{\Theta}$，没有 $\lambda\theta_0^2$。

Q2(a)：证明给定斜率时，哪个截距使损失最小（p.2，10%）

题面（同上原件 · Q2(a) · p.2）

p.2 First of all, in order to be more convenient for the derivation, we rewrite the error function as:

$J(\boldsymbol{\Theta},\theta_0)=\sum_{i=1}^{m}[\mathbf{X}^{(i)}\boldsymbol{\Theta}+\theta_0-Y^{(i)}]^2+\lambda\lVert\boldsymbol{\Theta}\rVert_2^2$.

Set $\bar{\mathbf{X}}$ be the mean vector of all the raw vectors of $\mathbf{X}$, then, if we change the form of $J(\boldsymbol{\Theta},\theta_0)$ into the following rewritten function:

$J(\boldsymbol{\Theta},\theta_0)=\sum_{i=1}^{m}[(\mathbf{X}^{(i)}-\bar{\mathbf{X}})\boldsymbol{\Theta}+\theta_0+\bar{\mathbf{X}}\boldsymbol{\Theta}-Y^{(i)}]^2+\lambda\lVert\boldsymbol{\Theta}\rVert_2^2$.

Prove that, when $\theta_0=\bar Y-\bar{\mathbf{X}}\boldsymbol{\Theta}$, we can get the minimal value for $J(\boldsymbol{\Theta},\theta_0)$. (10%)

这问先把 $\boldsymbol{\Theta}$ 当作固定的，只调整 $\theta_0$。 要证明的是“无论当前斜率是什么，与它配套的最佳截距都满足这个式子”；斜率本身到 (c) 才求。

第 1 步：对截距求导。

从目标函数开始：

正则项里没有 $\theta_0$，对它求导就是 0。每个平方项用链式法则，内部对 $\theta_0$ 的导数为 1：

第 2 步：令导数为零，把截距单独移到一边。

第二行中，$\boldsymbol{\Theta}$ 对所有样本都相同，所以可以从求和中拿出来。最后一行两处“总和除以样本数”正是均值，于是：

第 3 步：证明是最小值，不能只停在导数为零。

对截距再求一次导数：

因为 $M$ 是正的样本数，损失关于截距是一条开口向上的抛物线，刚才的驻点就是唯一最小点。

如果想沿原题“减均值”的提示证明，也可以直接把平方拆开。

先在原残差里加减均值，使它分成两个部分：

这里 $r_i$ 随样本变，$a$ 对所有样本相同。因为每列减均值之后的总和都是 0，$\sum_i r_i=0$。所以：

固定 $\boldsymbol{\Theta}$ 时，只有 $Ma^2$ 随截距变化。平方最低是 0，令 $a=0$ 就得到 $\theta_0=\bar Y-\bar{\mathbf{X}}\boldsymbol{\Theta}$。这和求导法得出同一个结论。

与你原稿对照：这里得到的是“固定 $\boldsymbol{\Theta}$ 后，驻点给出 $J$ 关于 $\theta_0$ 的最小值”，不是说 $\theta_0$ 本身是 $J$ 的最小值，也不是已经同时优化全部参数。

**本问完成检查：**公式已推出，而且说明了为什么是最小值。此时仍不能声称已经求出了整个岭回归的所有参数。

Q2(b)：把刚得到的截距代回去（p.2，5%）

题面（同上原件 · Q2(b) · p.2）

p.2 Next, let’s define the centered input as $\mathbf{X}_c^{(i)}=\mathbf{X}^{(i)}-\bar{\mathbf{X}}$, and the corresponding centered label as $Y_c^{(i)}=Y^{(i)}-\bar Y$. Plug the above $\theta_0$ into the loss function, try to derive that:

$J(\boldsymbol{\Theta},\theta_0)=J_c(\boldsymbol{\Theta})=\sum_{i=1}^{m}[\mathbf{X}_c^{(i)}\boldsymbol{\Theta}-Y_c^{(i)}]^2+\lambda\lVert\boldsymbol{\Theta}\rVert_2^2$. (5%)

这问只做代入和整理，不需要再次求导。 “centered” 就是减去均值；没有除标准差。

第 1 步：先只看一个样本的残差，代入 (a) 的截距。

第二行把含 $\boldsymbol{\Theta}$ 的两项放一起；第三行对这两项提取 $\boldsymbol{\Theta}$，并把 $\bar Y-Y^{(i)}$ 写为 $-(Y^{(i)}-\bar Y)$。最后一行直接使用题目给的两个 centered 定义。

第 2 步：每个残差都已相等，平方后求和也相等。

正则项没变，因为你只替换了截距，$\boldsymbol{\Theta}$ 还是原来的斜率向量。现在目标里不再出现独立的 $\theta_0$，你的 Q2(b) 最后一式把上限写成了小写 $m$；这里按 (a) 统一用 $M$，指同一批样本。所以 (c) 可以只对 $\boldsymbol{\Theta}$ 求导。

**本问完成检查：**两个均值都减了：输入要减 $\bar{\mathbf{X}}$，标签也要减 $\bar Y$。只减输入而不减标签，就推不出题目中的式子。

Q2(c)：对中心化后的目标求导，解出斜率（p.2，10%）

题面（同上原件 · Q2(c) · p.2）

p.2 Finally, with calculating the first-order derivatives of $J_c(\boldsymbol{\Theta})$, try to find the analytic solution $\hat{\boldsymbol{\Theta}}$ for the ridge regression. (10%)

这问从 (b) 最后一行接着做。 为了用矩阵解方程，把全部 $\mathbf{X}_c^{(i)}$ 叠成 $\mathbf{X}_c$，全部 $Y_c^{(i)}$ 叠成 $\mathbf{Y}_c$：

第 1 步：展开，找出哪些项含未知参数。 $$J_c=\boldsymbol{\Theta}^T\mathbf{X}_c^T\mathbf{X}_c\boldsymbol{\Theta}-2\boldsymbol{\Theta}^T\mathbf{X}_c^T\mathbf{Y}_c+\mathbf{Y}_c^T\mathbf{Y}_c+\lambda\boldsymbol{\Theta}^T\boldsymbol{\Theta}.$$

中间本来有两个交叉项，但它们都是同一个标量，所以合成两倍。$\mathbf{Y}_c^T\mathbf{Y}_c$ 只由数据决定，是常数。

第 2 步：逐项求导。

如果第一行的矩阵求导不熟，可以逐个看标量分量 $\theta_j$：一个残差平方的导数是 $2(\mathbf{X}_c^{(i)}\boldsymbol{\Theta}-Y_c^{(i)})X_{c,j}^{(i)}$，其中 $X_{c,j}^{(i)}$ 是第 i 条中心化样本的第 j 个标量特征；加上所有样本后，这正是向量 $2\mathbf{X}_c^T(\mathbf{X}_c\boldsymbol{\Theta}-\mathbf{Y}_c)$ 的第 $j$ 个分量。

所以总梯度为：

第 3 步：令导数为零，解方程。

第二行除以了 2 并移项；第三行把 $\lambda\boldsymbol{\Theta}$ 写成 $\lambda I_p\boldsymbol{\Theta}$ 才能提取右侧的 $\boldsymbol{\Theta}$。$I_p$ 是 $p$ 行 $p$ 列的单位矩阵，大小等于特征数，不是样本数。

因此：

第 4 步：说明为什么这个逆存在。

取任意非零向量 $v$：

第一项至少为 0，第二项因为题目给了 $\lambda>0$ 而严格大于 0。这个矩阵因此正定、可逆；目标的 Hessian 是它的两倍，也正定，所以求到的是唯一最小值。

第 5 步：如果要回到原输入坐标，恢复截距。

其中 $\mathbf{X}_{\mathrm{new}}$ 是一条新输入的行向量。

**补充验算（以下数字为演示自取，原题没有数据）：**用两个样本 $(1,2),(3,6)$，取 $\lambda=2$。这只是核对 (a)–(c) 如何接起来：

1. 均值：$\bar{\mathbf{X}}=2$，$\bar Y=4$。
2. 减均值：$\mathbf{X}_c=(-1,1)^T$，$\mathbf{Y}_c=(-2,2)^T$。
3. 相乘求和：$\mathbf{X}_c^T\mathbf{X}_c=1+1=2$；$\mathbf{X}_c^T\mathbf{Y}_c=2+2=4$。
4. 代入 (c)：$\hat{\boldsymbol{\Theta}}=4/(2+2)=1$。
5. 代入 (a)：$\hat\theta_0=4-2(1)=2$，模型为 $\hat y=x+2$。
6. 原数据预测为 3、5，残差为 1、−1，RSS 为 2；正则项为 $2(1)^2=2$，总损失为 4。中心化残差也是 1、−1，损失不变，核对了 (b)。

**本问完成检查：**逆矩阵里出现的是 $\mathbf{X}_c^T\mathbf{X}_c+\lambda I_p$；系数解要用中心化数据；截距没有被一起惩罚。

Q3：从题目给的初始参数开始，只更新一次

公共题面（HW01-2026T1-题目.pdf · Q3 · p.2–3；数据表为图片，已视觉核对）

p.2 Assume that we have a training set and a test set as follows:

表（题面，p.3）：训练集与测试集。

p.3 Use these data to implement a logistic regression classifier. We use the linear model $f_{\boldsymbol{\Theta}}(x_1,x_2)=\theta_0+\theta_1x_1+\theta_2x_2$ and the logistic regression function as $\sigma(f_{\boldsymbol{\Theta}}(x_1,x_2))=\frac{1}{1+e^{-f_{\boldsymbol{\Theta}}(x_1,x_2)}}$. The error function uses cross-entropy error function.

Now, let’s use the gradient descent to update the model in the training set. The initial weights are set as $\theta_0=-1,\theta_1=1.5,\theta_2=0.5$. The learning rate is 0.1.

公式按原题重排。先把初始参数 −1、1.5、0.5 和学习率 0.1 写在手边。下面使用六条训练样本的交叉熵总和，与 L03 原课件（本地课件） PDF p.35–36 一致；这会直接影响 (b) 一步更新的数值。

Q3(a)：写概率模型，再写六条样本的损失（p.3，5%）

题面（同上原件 · Q3(a) · p.3）

p.3 Please write down the logistic model $P(\hat y=1\mid x_1,x_2)$ and its cross-entropy error function. (5%)

这问还不更新参数。先写清楚模型如何从两个输入产生一个概率，以及什么叫预测得不好。

与你新增的 Q3(a) 对照：sigmoid 的分母是 $1+e^{-z}$，不是 $1-e^{-z}$；后者在 $z=0$ 时无定义，也不能保证概率落在 0 到 1 之间。这里 $z=\theta_0+\theta_1x_1+\theta_2x_2$，$x_1,x_2$ 是题目表中的两列独立特征，不能把第二列写成 $x^2$。单条交叉熵 $\ell_i=-y_i\ln p_i-(1-y_i)\ln(1-p_i)$ 的写法正确；本题再对六条训练样本求和。

第 1 步：把直线模型放进 sigmoid。

先算一个分数 $z=\theta_0+\theta_1x_1+\theta_2x_2$，再计算：

代入给定参数，初始模型为：

例如训练第一条：

指数是正 0.6，因为 sigmoid 里用的是 $-z$。这里 $p_1$ 是“属于类别 1 的概率”，还不是最终的 0/1 判断。

第 2 步：按真实标签写交叉熵。

记第 $i$ 条的概率为 $p_i$，真实标签为 $y_i$。单条损失是：

为什么是这样？真实标签为 1 时只留下 $-\ln p_i$，模型给类别 1 的概率越高，损失越低；真实标签为 0 时只留下 $-\ln(1-p_i)$，模型给类别 0 的概率越高，损失越低。

第 3 步：把本题六条数据的标签代进去。

前三条真实标签为 0，后三条为 1，因此：

一般求和写法是：

这里每个 $p_i$ 都由上面的模型和训练集第 i 行计算。例如第一条损失是 $-\ln(1-0.3543436938)\approx0.43748795$。

**本问完成检查：**既写了模型也写了损失；真实标签 0 的三条通过 $\ln(1-p_i)$ 参与，不能漏掉。

Q3(b)：算六条梯度贡献，合起来更新一次（p.3，10%）

题面（同上原件 · Q3(b) · p.3）

p.3 Use gradient descent to update $\theta_0$, $\theta_1$ and $\theta_2$ for one iteration. Write down the updated logistic regression model. (10%)

这问要拿到三个新参数，最后写出新概率模型。 全批量的一次更新顺序是：先用同一套旧参数算六条数据 → 六条贡献相加 → 统一更新一次。算到第二条时还不能改参数。

第 1 步：先确定要累加的梯度公式。

对一条样本，(a) 给出 $\ell=-y\ln p-(1-y)\ln(1-p)$。沿着“参数影响分数，分数影响概率，概率影响损失”求导：

第二个导数可以直接从 $p=(1+e^{-z})^{-1}$ 算：外层倒数求导带负号，内层 $e^{-z}$ 求导也带负号，两者抵消，得到 $e^{-z}/(1+e^{-z})^2=p(1-p)$。

把两段相乘，约去分母：

分数 $z=\theta_0+\theta_1x_1+\theta_2x_2$ 对三个参数的导数分别是 $1,x_1,x_2$。所以一条样本对三个梯度的贡献是：

第 2 步：六条训练数据逐条算旧分数。 $$\begin{aligned} z_1&=-1+1.5(0.15)+0.5(0.35)=-0.600,\\ z_2&=-1+1.5(0.30)+0.5(0.45)=-0.325,\\ z_3&=-1+1.5(0.55)+0.5(0.25)=-0.050,\\ z_4&=-1+1.5(0.30)+0.5(0.80)=-0.150,\\ z_5&=-1+1.5(0.55)+0.5(0.60)=0.125,\\ z_6&=-1+1.5(0.70)+0.5(0.50)=0.300. \end{aligned}$$

第 3 步：把每个分数变成概率，再减去真实标签。

每行都用 $p_i=1/(1+e^{-z_i})$。例如第四条 $p_4=1/(1+e^{0.15})=0.4625701547$，真实标签是 1，所以 $p_4-y_4=-0.5374298453$。

第 4 步：各行的残差乘以相应输入，得到三列贡献。

先手算第四行，这行容易丢负号：

注意这里是梯度贡献，还没有乘学习率，也还没有从参数中减去。六行完整结果：

例如截距这一列就是：

第一系数那一列必须乘 $x_1$ 再相加：

第二系数用另一列 $x_2$：

第 5 步：每个旧参数减去“0.1 × 对应梯度”。

三个梯度都是负数，所以三个参数都增加。第一个仍然为负，但 −0.983 比 −1 大，方向没有写反。

第 6 步：把新参数放回概率模型。 $$\boxed{ P(\hat y=1\mid x_1,x_2) =\frac{1}{1+\exp[-(-0.9829526037+1.5269838742x_1+0.5489345087x_2)]}. }$$

这就是 (c) 要用的模型。用六条训练数据复算，总交叉熵从 3.6076515301 降到 3.5756262189，可作为本次更新的验算。

**如果你的结果只变化了这里的六分之一：**先检查是否把六条损失取了平均。平均交叉熵会使梯度除以 6，在同样学习率 0.1 下得到 $(-0.9971587673,1.5044973124,0.5081557515)$。这是另一种损失缩放下的一步；本解析从 (a) 开始明确采用求和，因此后面全部沿用求和结果。

**本问完成检查：**六条都用旧参数；三列贡献分别累加；学习率乘一次；三个参数一起更新；最终仍写 sigmoid 概率模型。

Q3(c)：逐条预测测试集，再数 TP、FP、TN、FN（p.3，10%）

题面（同上原件 · Q3(c) · p.3）

p.3 Use the above new model to make predictions for all the samples in the test dataset. Then, calculate the accuracy, precision and recall to evaluate this model. (10%)

这一问用的是 (b) 的新参数和右半边测试表。 以下以类别 1 为正类，概率达到 0.5 判为 1，否则判为 0。

第 1 步：逐条计算新分数。

把参数先固定为刚求出的 $(-0.9829526037,1.5269838742,0.5489345087)$：

第 2 步：分数变概率，概率变 0/1。

第一条举例：

第 3 步：数四种情况。