CSCI3230 L03 · Part 2/5 Logistic regression for classification

课程：CSCI3230 (ESTR3108) Fundamentals of Artificial Intelligence · 2026T1 本讲：L03，第 2 部分 / 共 5 部分 · 原件 L03-Logistic-Regression-2026T1.pdf（本地课件） p.14–29 定位：从 odds 与 logit 推出 sigmoid，并从概率阈值算回线性决策边界。 前后：上一份 Classification problem · 下一份 Optimizing logistic regression

先把目标说白：上一份能给出“判0还是判1”的规则，但我们还想知道模型有多倾向于1。这里把任意大小的线性分数变成0与1之间的概率，再用阈值决定标签。你需要的前置知识只有乘加、分数、指数与自然对数互为反运算；求导不是读懂本篇的前提。p.14 是分节页。

先给概率，再决定类别（p.15–17）【新】

p.15 说逻辑回归为二分类建模概率。名字中虽有 regression，本讲用它完成分类。先记 $p=P(y=1\mid x)$：竖线表示“在已知输入 $x$ 的条件下”，不是除法。这里 $p$ 是模型估计的正类概率；负类概率只能是 $1-p$，因为两个互斥类别合起来覆盖所有可能。

p.16 比较哪个类别概率大。若 $p\ge1-p$，两侧加 $p$ 得 $2p\ge1$，再除2得 $p\ge0.5$。所以0.5阈值不是凭空出现，它来自“两个类别谁更可能就选谁”，并采用相等时选1的约定。

补充·贯穿例子（数字为演示自取）：假设一张图的模型输出为0.8，它给1类0.8、0类0.2，因此判1。这不表示这张图已经正确了80%。正确与否要拿标签比较；模型的总体正确率更要在很多数据上统计。概率也可能估错，合法范围不等于保证校准。

p.17 提出一个自然尝试：既然标签是数字0和1，能否直接让上一讲的直线去拟合它们？先理解这个问题，下一节的变换才有必要性。

直接拟合标签的问题（p.18–19）

p.18 指出直线的输出可能小于0或大于1。假设拟合出 $z=2x-1$，当 $x=0$ 得−1，当 $x=2$ 得3；两者都是合法分数，却不是概率。给分数加一个阈值可以生成标签，但不能让原分数自动拥有概率意义。

p.19 提醒，平方误差会强烈受远端样本影响。补充·慢算一个例子（数字自取）：最初有 $(0,0),(1,1)$ 两个点，直线 $z=x$ 恰好通过它们，0.5阈值对应 $x=0.5$。再放进 $(10,1)$，新点还是类别1，但旧线预测10，与1差9，平方误差达到81。最小二乘会大幅调整整条线来照顾这个点，近处的分类边界也会移动。

若想核算移动量，三个输入均值为 $11/3$，标签均值为 $2/3$。斜率的分子可用 $\sum xy-m\bar x\bar y=11-22/3=11/3$；分母为 $\sum x^2-m\bar x^2=101-121/3=182/3$。于是斜率 $11/182$，截距 $81/182$，将预测置为0.5得 $x=10/11$，明显不再是0.5。这个例子是说明机制，不是说逻辑回归对所有异常值免疫。

图（p.18–19）：远端正样本拉动回归直线。
元素：标签0与1分别在两个高度，p.19右侧增加一组较远的绿色点；拟合虚线的斜率和穿过0.5的位置改变。
看什么：横向的远点仍只属于类别1，却能通过平方误差影响整条直线；正文的三点例子解释同一种机制，并非原图坐标读数。

Odds 与 logit 的两个变换（p.20–22）【新】

我们需要把“有上下界的概率”和“没有上下界的分数”连接起来。p.20 先定义胜算 odds：

$o$ 是一个正数，比较“发生”与“不发生”两个概率的倍数。p.21 的三个例子是：$p=0.5$ 得 $o=1$；$p=0.75$ 得 $o=3$；$p=0.25$ 得 $o=1/3$。例如0.75并不是3，前者是概率，后者表示发生概率为不发生概率的3倍。想象100个同概率试验的期望比例75比25，有助于理解，但不是说每100次必定恰好发生75次。

odds 消除了上界1，却仍不能变成负数。p.22 再取自然对数，定义 logit / log-odds：

$\ln$ 与指数 $e^z$ 互为反运算。$\ln1=0$，所以一半一半对应0分；$\ln3\approx1.0986$ 是偏向1的正分；$\ln(1/3)=-\ln3$ 是同样幅度偏向0的负分。概率趋向0时分数趋向负无穷，概率趋向1时分数趋向正无穷，因此这一次覆盖整个实数轴。

把角色顺序念出来：概率 → 与反面比较倍数 → 把倍数变成可正可负的分数。逻辑回归假设线性的是 log-odds，不是概率本身。

补充·一个权重怎样解释：固定其他特征，若某个特征增加1，它在线性分数中的贡献增加对应权重 $w_j$。由于分数是log-odds，新的odds是旧的 $e^{w_j}$ 倍，而不是概率直接增加 $w_j$。例如权重取 $\ln2$，odds会翻倍；原概率0.5（odds为1）变成2/3，原概率0.8（odds为4）则变成8/9，概率增量并不相同。此数字是教学补充，也说明权重解释必须先明确特征单位。

**p.21 原例题的对象与完整算式：**公平抛硬币正面的 $p=0.5$，odds 为 $0.5/(1-0.5)=1$，即 1:1；假设 Lakers 赢 NBA 决赛的概率为 0.75，odds 为 $0.75/0.25=3$，即 3:1；假设论文被 CVPR 接收的概率为 0.25，odds 为 $0.25/0.75=1/3$，即 1:3。后两项是原页假设，不是赛事或会议的实际概率统计。

p.20 将 cutoff 描述为把实数范围映射到概率范围；严格地说，前页 cutoff 直接输出离散标签 0/1，不能提供区间内的连续概率。因此本节另建 odds/logit 的连续可逆关系；不要把两种输出混在一起。

反函数把任意分数变成合法概率（p.23–24）

p.23 要把上述方向倒过来，因为模型先算出的是分数。p.24 反解得到 sigmoid 函数：

$\sigma$ 是函数名字，输入一个实数 $z$，输出一个介于0和1之间的标量。分母中的 $e^{-z}$ 永远为正，因此分母大于1，输出自然落在合法范围。有限 $z$ 得不到精确0或1，它们是极限。

先用熟悉数字反查：输入 $z=\ln3$，那么 $e^{-z}=1/3$，分母为 $4/3$，倒数为 $3/4$，正好回到前节0.75。再代0：指数为1，分母2，输出0.5。我们不是凭形状猜一个S曲线，而是在反解同一个概率关系。

若不熟悉指数与对数的变形，逐行看见附录 A1，每一步只做一个代数动作。

**p.24 原方法逐步反解：**对 $0<p<1$，$p/(1-p)$ 随 $p$ 严格增加，自然对数也严格增加；且两端极限分别为负、正无穷，所以每个实数 $z$ 有唯一对应的 $p$。沿原页先取相反数、再取指数：

第二行用负对数等于倒数的对数；第三行用指数消掉对数，并将分子拆成 $1-p$ 两项；第四行两侧加 1；最后对正数取倒数。附录保留另一种等价代数检查，但本段就是课件采用的顺序。

用线性分数驱动 sigmoid（p.25–27）

p.25 的模型分两层：先算 $z=w^Tx+b$，再算 $p=\sigma(z)$。$x,w$ 都是 $n\times1$，$b,z,p$ 都是标量；模型输入有 $n$ 个特征，输出只有一个正类概率。权重与截距靠训练学到，本篇先假设它们已知。

补充·贯穿一维例子（数字自取）：固定分数 $z=-1+2x$。

表中的指数项是 $e^{-z}$，不是 $e^z$。若把负号漏掉，分数越大反而概率越小，方向就全反了。

p.26 描述 S 形。靠近0的分数稍变，概率变得较明显；很正或很负时变得较慢，叫饱和。补充：其局部变化率为 $\sigma'(z)=p(1-p)$。当 $p=0.5$ 时是0.25，当 $p=0.01$ 时只有0.0099。这是对分数求导；对某个特征求导还要乘相应权重，不能混为一谈。ESTR证明会慢慢展开导数。

p.27 将截距并进向量。做法是添一个固定为1的特征：增广输入 $(1,x_1,\ldots,x_n)$，增广参数 $(b,w_1,\ldots,w_n)$。此后点积自动包含 $b\times1$，长度变成 $n+1$；不是把截距删掉。若代码只有原来的特征列又没有单独加截距，那才是无截距模型。

图（p.26）：sigmoid及其导数。
元素：左图是从0渐近上升到1的S形，右图导数在0附近最高、两端接近0。
看什么：S形中间变化快、两端变化慢；右图描述斜率，不是另一种分类概率。

补充 · 系数增量作用在 odds，而非固定增加概率（通识讲解；演示数据不属于原题）。

模型假设 $\log(p/(1-p))=b+wx$。输入增加 1，右边增加 $w$，所以新的 odds 是原 odds 乘 $e^w$。这是乘法关系，不能读成“概率增加 $w$”或“增加 $e^w$ 个百分点”。

取演示系数 $w=\ln2$。原概率 0.5 时 odds 为 1，增加输入后 odds 为 2，概率变成 $2/(1+2)=2/3$；原概率 0.8 时 odds 为 4，同样增加输入后 odds 为 8，概率变成 $8/9$。两次 odds 都翻倍，概率增量却分别约为 0.167 与 0.089。概率越接近端点，相同分数增量造成的概率变化通常越小，这与 sigmoid 的饱和形状一致。

这仍只是给定其他特征不变时的模型关系；不能仅凭拟合系数就断言主动改变某特征会导致现实结果改变。

非线性概率为何仍有线性边界（p.28–29）

p.28 的概率映射改善了前面直接拟合标签的表达方式；“更稳健”的动机不能解读为对异常点绝对免疫。p.29 利用 sigmoid 单调递增，0.5又恰好对应0分：

对贯穿例子，分界满足 $-1+2x=0$，所以 $x=0.5$。概率随 $x$ 画出来是弯曲的S形，但分类切换的位置仍来自一次方程。二维时 $w_1x_1+w_2x_2+b=0$ 是直线，三维时是平面。

严谨读法：原页把 $z=X^T\Theta$ 称作边界；在原始输入空间真正决定切换的是零水平集 $X^T\Theta=0$。把“分数函数的图像”与“分数等于0的输入集合”区分开，才不会多画一个维度。

补充·阈值改变什么：若阈值从0.5改为0.8，先用前面的 logit 反求阈值分数 $\ln(0.8/0.2)=\ln4\approx1.3863$，再解 $-1+2x\ge1.3863$，得到 $x\ge1.19315$ 才判1。模型没重新训练，只是决策更严格。不能说“阈值调高必然让准确率提高”，因为真实正负样本会怎样受影响还需数据。

还要问在哪个空间线性。若给模型的特征本来含原变量的平方，模型对这些新特征仍线性，在原变量坐标上却可能是曲线。

小检查：概率0.5是否代表参数全为0？

图（p.29）：二维直线与三维平面。
元素：红蓝两类点由绿色直线或平面分隔，坐标轴都是输入特征。
看什么：模型概率经过非线性变换，切换类别的位置仍可在输入空间平直分割。

**p.28 的优势图如何承接 p.19：**左图 sigmoid 从低概率上升后贴近 1；右图增加远端绿色正样本，曲线在远处仍饱和，0.5 附近切换没有像之前直线拟合那样被大幅拉偏。原页用它说明概率输出、零分数附近的明显变化、对图示异常点较稳健三点。饱和区的输出不超过 1 是函数结构带来的；是否对任意异常数据稳健仍取决于训练，不由该图保证。

补充：系数改变的是 odds 的倍数，不是固定概率增量

沿用 $\log(q/(1-q))=b+wx$。保持其他特征不变，让 $x$ 增加1，新的log-odds增加 $w$，因此odds乘 $e^w$。自取 $w=\ln2$，odds翻倍。若原概率0.2，原odds为 $0.2/0.8=1/4$，翻倍后为 $1/2$，新概率为 $(1/2)/(1+1/2)=1/3$，增加约0.1333。若原概率0.5，odds由1变2，新概率为 $2/3$，增加约0.1667。同一个系数不是每次给概率加同一个数。

概率对输入的局部导数为 $dq/dx=wq(1-q)$。在概率0.5附近，$q(1-q)=1/4$最大；接近0或1时它较小，因此同样的分数变化产生不同的概率变化。这里是固定其他输入后的模型关系，不应当作真实世界中改变该特征的因果效果。

若以阈值 $\tau\in(0,1)$ 判正，单调性给出 $b+wx\ge\ln(\tau/(1-\tau))$。自取 $w=\ln2,b=0$：阈值0.5对应 $x\ge0$，阈值0.8对应 $x\ge2$，因为 $\ln4/\ln2=2$。这一算例把概率门槛怎样移动线性边界写成了可计算的距离；若 $w<0$，除以它时不等号还要反向。

本讲核心考点

• 概率、分数、最终标签分别是不同对象（p.15–19，C级通识）。
• odds与logit改变数值范围，sigmoid逆转该过程（p.20–24，C级通识）。
• 增广特征吸收截距，0.5阈值对应零分数边界（p.25–29，C级通识）。

附录

A1 从 logit 到 sigmoid

从 $z=\ln[p/(1-p)]$ 出发。先两边取指数，消掉自然对数；再乘 $1-p$ 消分母；然后把所有含 $p$ 的项移到同一侧。

倒数第二行除以正数 $1+e^z$；最后一行分子分母同除 $e^z$。没有把 $p$ 当常数丢掉，也没有凭空换符号。logit严格递增且覆盖实数，所以每个分数对应唯一概率。回到正文：反函数把任意分数变成合法概率。

来源与证据

逐页核对当前 L03-Logistic-Regression-2026T1.pdf（本地课件） p.14–29，页码为本地68页阅读版。p.20 的 cutoff 在数学上输出离散0/1，正文没有把它说成连续概率映射；p.29 的边界用零水平集明确。数值补充不属于原讲义。考试证据：本篇未据往年试卷推断本学期要求，考点均为C级通识。