PyTorch 2.5 MNIST 实战：CNN 模型 4 大超参调优对比，准确率提升 2%

当谈到深度学习模型的性能优化时，超参数调优往往是决定模型表现的关键因素。在MNIST手写数字识别任务中，即使是一个简单的CNN模型，通过合理的超参数调整也能带来显著的准确率提升。本文将深入探讨Batch Size、Epochs、Dropout Rate和Learning Rate这四大核心超参数对模型性能的影响，并通过实验数据展示如何通过调优获得2%以上的准确率提升。

1. 实验环境与基准模型

在开始调优之前，我们需要建立一个基准模型作为对比的起点。这里我们使用PyTorch 2.5构建一个经典的CNN架构：

import torch import torch.nn as nn import torch.optim as optim from torchvision import datasets, transforms # 基准CNN模型 class BaseCNN(nn.Module): def __init__(self): super(BaseCNN, self).__init__() self.conv1 = nn.Sequential( nn.Conv2d(1, 16, 3, padding=1), nn.ReLU(), nn.MaxPool2d(2) ) self.conv2 = nn.Sequential( nn.Conv2d(16, 32, 3, padding=1), nn.ReLU(), nn.MaxPool2d(2) ) self.fc = nn.Sequential( nn.Linear(32*7*7, 128), nn.ReLU(), nn.Dropout(0.5), nn.Linear(128, 10) ) def forward(self, x): x = self.conv1(x) x = self.conv2(x) x = x.view(x.size(0), -1) return self.fc(x) # 数据预处理 transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) # 加载MNIST数据集 train_set = datasets.MNIST('./data', train=True, download=True, transform=transform) test_set = datasets.MNIST('./data', train=False, transform=transform)

这个基准模型在测试集上的准确率约为98.2%，我们将以此为基础进行超参数调优实验。

2. Batch Size对模型性能的影响

Batch Size是每次训练迭代中使用的样本数量，它直接影响模型训练的稳定性和速度。我们测试了不同Batch Size下的模型表现：

从实验结果可以看出：

• 小Batch Size(32-64)：训练更稳定，收敛更好，但训练时间较长
• 大Batch Size(128-256)：训练速度更快，但可能导致模型泛化能力下降
• 最佳平衡点：64-128之间，既能保证训练速度，又能获得较好的准确率

提示：当使用较大Batch Size时，可以适当增加学习率来补偿梯度更新的平滑度。

3. Epochs数量与早停策略

Epochs决定了模型遍历整个训练集的次数。我们固定Batch Size为128，观察不同Epochs下的表现：

# 训练循环示例 def train(model, device, train_loader, optimizer, epoch): model.train() for batch_idx, (data, target) in enumerate(train_loader): data, target = data.to(device), target.to(device) optimizer.zero_grad() output = model(data) loss = F.cross_entropy(output, target) loss.backward() optimizer.step() # 测试函数 def test(model, device, test_loader): model.eval() correct = 0 with torch.no_grad(): for data, target in test_loader: data, target = data.to(device), target.to(device) output = model(data) pred = output.argmax(dim=1, keepdim=True) correct += pred.eq(target.view_as(pred)).sum().item() return correct / len(test_loader.dataset)

实验结果如下：

• 5 Epochs: 97.8%
• 10 Epochs: 98.4%
• 20 Epochs: 98.7%
• 30 Epochs: 98.7% (出现过拟合迹象)
• 50 Epochs: 98.6% (明显过拟合)

早停策略实现：

best_acc = 0 patience = 3 no_improve = 0 for epoch in range(1, 100): train(model, device, train_loader, optimizer, epoch) acc = test(model, device, test_loader) if acc > best_acc: best_acc = acc no_improve = 0 torch.save(model.state_dict(), 'best_model.pth') else: no_improve += 1 if no_improve >= patience: print(f"早停在Epoch {epoch}, 最佳准确率: {best_acc:.4f}") break

4. Dropout Rate的正则化效果

Dropout是防止过拟合的有效手段，我们测试了不同Dropout Rate对模型的影响：

关键发现：

1. 无Dropout时模型严重过拟合
2. Dropout Rate在0.3-0.5之间效果最佳
3. 过高Dropout会导致模型欠拟合

改进策略：可以尝试分层设置Dropout Rate，在全连接层使用较高Dropout(0.5)，在卷积层使用较低Dropout(0.2)。

5. 学习率与优化器选择

学习率是影响模型收敛的最重要超参数之一。我们比较了不同学习率下的表现：

学习率衰减策略：

# 使用学习率调度器 optimizer = optim.Adam(model.parameters(), lr=0.01) scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=5, gamma=0.1) for epoch in range(1, 20): train(model, device, train_loader, optimizer, epoch) scheduler.step() test(model, device, test_loader)

6. 综合调优与结果对比

将上述最优超参数组合起来进行最终训练：

• Batch Size: 64
• Epochs: 20 (带早停)
• Dropout Rate: 0.5 (全连接层)
• 学习率: 0.001 (Adam优化器)
• 学习率衰减: 每5个epoch衰减0.1倍

性能对比：

*进一步调优包括：添加BatchNorm层、数据增强和更复杂的网络结构

7. 调优技巧与实战建议

1. 超参数搜索策略：

   • 先确定大致范围（如学习率：0.1, 0.01, 0.001）
   • 然后在最佳值附近进行更精细的搜索
   • 使用网格搜索或随机搜索结合早停策略

2. 监控与可视化：

   import matplotlib.pyplot as plt def plot_metrics(train_losses, val_accuracies): plt.figure(figsize=(12, 5)) plt.subplot(1, 2, 1) plt.plot(train_losses, label='Train Loss') plt.title('Training Loss') plt.subplot(1, 2, 2) plt.plot(val_accuracies, label='Validation Accuracy') plt.title('Validation Accuracy') plt.show()

3. 实用技巧：

   • 使用GPU加速训练过程
   • 实现模型检查点保存最佳权重
   • 使用TensorBoard或Weights & Biases记录实验
   • 尝试混合精度训练减少显存占用

4. 进阶优化方向：

   • 添加Batch Normalization层
   • 尝试不同的激活函数（LeakyReLU, Swish等）
   • 使用更先进的优化器（AdamW, RAdam）
   • 实施更复杂的数据增强策略

在实际项目中，我发现将学习率设置为0.001配合Adam优化器通常能提供稳定的训练过程，而Dropout Rate在0.4-0.6之间对防止过拟合效果显著。Batch Size的选择需要根据显存容量和数据集大小权衡，64-128通常是较好的起点。