Sep 2026 Task 2 打卡

[jshn9515]

请完成 ch6.9-exercises 部分。

[RyanHe123]

1. 置0，放大，不再生效
2. C
3. N，C，C，batchnorm
4. A
5. model.eval() no_grad之前; 部分神经元置零，结果不稳定；指标失真，更新统计量污染后续训练；回到model.train()

Tensor冲锋组 Ryan

[legend-tech]

1. 答案：置为 0（失活）；放大；不再生效

2. 答案：C

• A 错误：torch.no_grad() / inference_mode() 只关闭梯度计算，不会改变模块的training标志，不能关闭 Dropout。就算加了no_grad，如果没model.eval()，Dropout 依旧随机置零激活。
• B 错误：model.eval()会把training=False，Dropout 失效，前向输出不再随机。
• C 正确：nn.Dropout模块依靠自身training属性控制是否开启丢弃；no_grad只管梯度，二者作用不同，评估时一般要同时使用model.eval() + with torch.no_grad()。
• D 错误：F.dropout是函数式，必须手动传入 training 参数；而nn.Dropout类模块自动跟随 model 的 training 状态，二者使用方式不一样。

3. 答案：batch；通道；通道；BatchNorm

4. 答案：A

5

5.a

缺失代码：model.eval()
应该加在：验证循环开始之前，即 correct = 0 的上一行。

在训练时调用了 model.train()，这会将 BatchNorm 和 Dropout 设置为训练模式：

Dropout 会随机丢弃部分神经元。
BatchNorm 会计算当前 batch 的均值和方差，并更新其内部维护的 running_mean 和 running_var。
但在验证阶段，只使用了 with torch.no_grad():，这只关闭了梯度计算以节省显存和加速，但它不会改变 model 的模式。这意味着模型在验证时，Dropout 依然在丢弃神经元，BatchNorm 依然在使用当前 batch 的统计量，而不是全局统计量。这会导致验证集的准确率波动很大，且无法真实反映模型的泛化能力。

修改方法：在验证前调用 model.eval()

5.b

在没有 model.eval() 的情况下，模型依然处于 train() 模式，Dropout 在验证阶段依然处于开启状态。

• 导致波动大：Dropout 会以概率 p 随机将部分神经元的输出置零。由于每次验证前向传播时丢弃的神经元是随机的，导致网络在验证时的等效结构每次都不同，这就引入了极大的随机性，直接造成了验证精度每次运行波动很大。
• 导致精度低：在验证时，我们希望使用的是所有神经元共同参与预测的完整网络（权重已适当缩放）。而 Dropout 开启时，只用到了部分神经元，网络的表征能力被人为削弱，导致预测精度明显低于预期。

5.c

在没有 model.eval() 的情况下，BatchNorm (BN) 在验证阶段依然使用当前验证 batch 的均值和方差进行归一化，而不是使用训练阶段积累的全局统计量（running_mean 和 running_var）。

• 导致指标失真与波动：验证集的 batch size 通常较大，但如果某个 batch 刚好数据分布不均，其当前 batch 的均值/方差会与全局统计量偏差较大，导致归一化后的特征偏移，预测结果变差且不稳定。
• 严重的副作用（污染全局统计量）：这是最致命的一点。在 train() 模式下，BN 在计算当前 batch 均值/方差的同时，还会用指数移动平均（EMA）更新内部的 running_mean 和 running_var。
  • 如果缺失 model.eval()，验证集的数据就会参与到 BN 全局统计量的更新中。
  • 验证集的分布可能与训练集不完全一致，这会导致 BN 维护的全局统计量被验证集的数据 “带偏”或“污染” 。
  • 当进入下一个 epoch 的训练时，模型使用的是已经被验证集污染的统计量作为初始化基准，这会破坏模型对训练集分布的适应能力，导致训练震荡甚至无法收敛。

5.d

验证结束后，应该调用 model.train()，将模型重新切换回训练模式。

虽然在你提供的代码中，下一个 epoch 循环开始时的第一行就是 model.train()，能碰巧恢复状态。但在良好的编程习惯中，或者在更复杂的代码结构中（比如验证后还要做某些训练阶段的操作），显式地在验证代码块结束后恢复模型状态是非常必要的，防止状态泄露。

标准验证代码块结构应该是：

model.eval() # 切换到验证模式
with torch.no_grad():
    # 验证逻辑...
    
model.train() # 验证结束，显式恢复训练模式

[summerday162324]

id:漫游地球，答案：

1. 置为 0；放大； 不再生效。

2. C

3.batch；通道；通道；BatchNorm。

4. A

a. 缺少 model.eval()，应在验证开始前调用。

b. 如果没有切换到评估模式，Dropout 在验证时仍会随机屏蔽部分激活，因此预测结果会有随机性，验证精度也容易波动。

c. BatchNorm 会继续按照当前验证 batch 计算均值和方差，并更新 running mean 和 running variance，这不仅会使验证指标不准确，还会让验证数据影响模型中保存的统计信息。

d. 验证结束后应调用 model.train()，将模型重新切换回训练模式。

[QianyuJian-design]

1. 置零；放大；不再生效
2. C
3. BatchNorm：batch（N）维；InstanceNorm：通道；GroupNorm：通道；只有 BatchNorm 需要维护 running statistics
4. A

a.
缺少的关键代码是：
model.eval()；
应加在验证开始前：
model.eval()
correct = 0
with torch.no_grad():
b. 缺少 model.eval() 后，Dropout 仍处于训练模式。验证时仍会随机丢弃神经元，因此每次前向传播结果具有随机性，导致验证准确率波动，并可能低于正常评估结果。
c. 缺少 model.eval() 后，BatchNorm 仍处于训练模式，会使用当前验证 mini-batch 的均值和方差，而不是训练阶段保存的 running mean 和 running variance；同时还会用验证数据继续更新 running statistics。副作用是验证集信息污染了 BatchNorm 的运行统计量，进而影响后续验证甚至之后的训练。
d. 验证结束后、进入下一个 epoch 训练前，应重新调用：
model.train()使 Dropout 和 BatchNorm 恢复训练模式。

[shenglihongshi]

1：置为0
放大
不再生效

2：C

3：
batch
通道
通道
batch（因为跨样本）

4：A

5：
a——
缺失代码：model.eval()。
应该加在：验证循环开始之前（在进行验证循环前关掉dropout丢弃操作）

b——
由于没有切换到eval，dropout在验证的时候仍然会固定进行随机的失活神经元，并放大保留的激活结果。导致大量有用特征被随机丢弃，且同一个样本的预测结果会不一致。

c——
BatchNorm 在训练模式下，使用当前 mini-batch 的均值和方差。由于通常情况下训练batch小于验证batch，输出会随batch随机波动，指标不稳定

d——
验证结束后应再次调用 model.train() ,重新启用训练模式

[mjyguyher]

1. 答：置为 0（失活）；放大；不再生效
2. 答：C
3. 答：batch；通道；通道；BatchNorm
4. 答：A
   5. 答:

(a) 缺失的是 model.eval()。它应该加在验证循环开始之前。

(b) 同一个样本的预测结果会出现不同；大量特征被随机丢弃，验证精度会受到影响。

(c) BatchNorm 会因为验证 batch 异常，连锁统计量的噪声很大，导致验证输出随 batch 波动、指标不稳定。
副作用:验证数据会污染训练期间累积的统计量，把评估所用的统计量拉向验证集的分布。

(d) 应该做的:再次调用 model.train() 把模块切换回训练模式，再进入下一个 epoch。

[shenglihongshi]

这是来自QQ邮箱的假期自动回复邮件。你好，我最近正在休假中，无法亲自回复你的邮件。我将在假期结束后，尽快给你回复。

[fengye23]

1.丢弃 放大 不再生效
2.C
3.N 通道 通道 BN
4.A
5.1缺了model.eval() 应该放到验证循环前
2缺失后由于dropout仍然生效，会随机丢掉一些激活值，导致每次输出都有随机扰动，导致每次输出的结果都不一样，还会影响精度
3BN会继续使用当前验证集Batch的均值和方差，而不是使用训练过程中积累更新的全局均值和方差（running_mean 和 running_var），导致评估指标偏离实际性能。
在验证过程中，BN会错误地将验证 Batch 的均值和方差更新到模型的 running_mean 和 running_var 中，污染了训练积累的全局统计量。
4验证结束后要恢复训练模式

从来没觉得profiling快乐队 落灯花

[zhanghao812]

1. 置为 0（失活）；放大；不再生效
2. C
3. batch；通道；通道；BatchNorm
   4 A

a. model.eval()
model.eval()
correct = 0
with torch.no_grad():
for X, y in val_dl:
pred = model(X)
correct += (pred.argmax(dim=1) == y).sum().item()
b. 同一个样本的预测结果会出现不同；大量特征被随机丢弃，验证精度会受到影响。
c. BatchNorm 会因为验证 batch 异常，连锁统计量的噪声很大，导致验证输出随 batch 波动、指标不稳定。
副作用:验证数据会污染训练期间累积的统计量，把评估所用的统计量拉向验证集的分布。
d. 应该做的:再次调用 model.train() 把模块切换回训练模式，再进入下一个 epoch。

[XiaTi1024]

1.设为0； 放大； 不再生效
2.C
3.batch（N）；通道； 通道； batchNorm
4.A
5.(1)验证阶段少了model.eval(),应加在验证部分之前；
(2)Dropout在验证阶段仍处于训练模式，随机丢弃一些参数，使每次验证结果都不一致，验证结果产生波动；
(3)使用当前验证机的均值和方差，小于训练时的batch，导致验证结果波动，除了指标波动，还会污染训练时积累的统计量，把评估所用的统计量拉向验证集的分布。
(4)切换成训练模式，model.train()，继续下一个epoch的训练。

[Cc0818-yyy]

1.置为 0；放大；不再生效
2.C
3.batch（N）；通道； 通道； batchNorm
4.A
5.(a) 缺失的是 model.eval()。
(b) 由于没有切换到 eval()，Dropout 在验证时仍处于训练模式，每次前向都会随机失活一部分神经元并放大保留的激活。
(c) BatchNorm 在训练模式下使用当前 mini-batch 的均值和方差。验证 batch 通常远小于训练 batch，统计量的噪声很大，导致验证输出随 batch 波动、指标不稳定。
(d) 验证结束后应再次调用 model.train() 把模块切换回训练模式，再进入下一个 epoch。