Focal Loss 与 Class-Balanced Loss 实战对比：长尾分类任务 mAP 提升 3.5% 的关键

当你在处理一个猫狗分类任务时，发现数据集中有 9000 张狗的照片，却只有 1000 张猫的照片，这就是典型的长尾分布问题。在真实世界的视觉识别任务中，这种数据分布不均衡的情况比比皆是——某些类别拥有海量样本（头部类别），而更多类别仅有少量样本（尾部类别）。传统的交叉熵损失函数在这种场景下往往会偏向头部类别，导致模型在尾部类别上的表现惨不忍睹。

1. 长尾问题的本质与挑战

长尾分布不仅仅是一个数据量不均衡的问题，它背后隐藏着更深层次的机器学习挑战。想象一下，如果一个医学影像分类系统中，正常样本占99%，而癌症样本仅占1%，即使模型将所有样本都预测为正常，也能达到99%的准确率——这显然不是我们想要的结果。

长尾分布带来的核心问题：

• 梯度主导：头部类别的样本在训练过程中产生的梯度会主导参数更新方向
• 表征偏差：模型学到的特征表示更倾向于区分头部类别，而难以捕捉尾部类别的细微特征
• 决策边界偏移：分类器的决策边界会被大量头部样本"推挤"，导致对尾部样本的分类性能下降

# 典型的长尾数据集统计示例（以CIFAR-10-LT为例） import matplotlib.pyplot as plt classes = ['plane', 'car', 'bird', 'cat', 'deer', 'dog', 'frog', 'horse', 'ship', 'truck'] num_samples = [5000, 4000, 3000, 2000, 1000, 500, 400, 300, 200, 100] # 长尾分布 plt.bar(classes, num_samples) plt.xticks(rotation=45) plt.title("CIFAR-10-LT数据集类别分布") plt.ylabel("样本数量") plt.show()

从梯度视角来看，在标准交叉熵损失下，每个样本对梯度的贡献是"平等"的，这实际上造成了事实上的不平等——头部类别的样本由于数量优势，其累积梯度会淹没尾部类别样本的梯度信号。

2. Focal Loss 的技术原理与实现

Focal Loss 最初是为目标检测任务设计的，但它解决类别不平衡的思路同样适用于长尾分类问题。其核心思想很简单：让模型更关注那些难以分类的样本。

Focal Loss 的数学表达： $$ FL(p_t) = -(1-p_t)^\gamma \log(p_t) $$ 其中：

• $p_t$ 是模型对真实类别的预测概率
• $\gamma$ 是可调节的聚焦参数（通常取2）

这个公式的巧妙之处在于 $(1-p_t)^\gamma$ 这个调制因子。对于容易分类的样本（$p_t$接近1），这个因子会接近0，从而降低该样本对损失的贡献；而对于难样本（$p_t$较小），这个因子接近1，损失几乎不受影响。

import torch import torch.nn as nn import torch.nn.functional as F class FocalLoss(nn.Module): def __init__(self, gamma=2.0, alpha=None): super(FocalLoss, self).__init__() self.gamma = gamma self.alpha = alpha def forward(self, inputs, targets): BCE_loss = F.cross_entropy(inputs, targets, reduction='none') pt = torch.exp(-BCE_loss) # 计算p_t focal_loss = (1-pt)**self.gamma * BCE_loss if self.alpha is not None: alpha_t = self.alpha[targets] focal_loss = alpha_t * focal_loss return focal_loss.mean() # 使用示例 alpha = torch.tensor([1.0, 2.0, 3.0]) # 假设3个类别，为每个类别设置权重 criterion = FocalLoss(gamma=2.0, alpha=alpha)

在实际应用中，我们经常会结合类别权重一起使用Focal Loss。上例中的alpha参数就是为不同类别设置的权重，可以进一步缓解类别不平衡问题。

Focal Loss 的梯度特性：

• 对简单样本的梯度进行了抑制
• 对困难样本的梯度贡献相对增强
• 整体上使得模型训练更加聚焦于那些难以区分的样本

3. Class-Balanced Loss 的设计与优化

Class-Balanced Loss (CB Loss) 从另一个角度解决长尾问题——它直接对损失函数进行类别平衡加权。与Focal Loss关注样本难易程度不同，CB Loss更关注每个类别的有效样本数。

CB Loss 的核心公式： $$ CB(p_t) = -\frac{1-\beta}{1-\beta^{n_y}} \log(p_t) $$ 其中：

• $n_y$ 是类别y的样本数量
• $\beta$ 是超参数（通常取0.9或0.99）

这个权重因子的设计非常精妙：

• 当$\beta=0$时，CB Loss退化为标准交叉熵损失
• 当$\beta\rightarrow1$时，权重趋近于$1/n_y$，即对样本数少的类别给予更大权重

class ClassBalancedLoss(nn.Module): def __init__(self, beta=0.99, num_classes=10): super(ClassBalancedLoss, self).__init__() self.beta = beta self.num_classes = num_classes self.class_counts = torch.zeros(num_classes) def forward(self, inputs, targets): # 更新类别计数（在实际应用中需要预先统计） for target in targets: self.class_counts[target] += 1 # 计算权重因子 effective_num = 1.0 - torch.pow(self.beta, self.class_counts) weights = (1.0 - self.beta) / (effective_num + 1e-8) weights = weights / weights.sum() * self.num_classes # 归一化 # 计算加权损失 loss = F.cross_entropy(inputs, targets, reduction='none') weights = weights[targets] weighted_loss = weights * loss return weighted_loss.mean()

CB Loss 的优势分析：

1. 自适应调整：权重自动根据类别样本数进行调整，无需手动设置
2. 平滑过渡：通过β参数控制对尾部类别的关注程度
3. 兼容性强：可以与Focal Loss等其他改进损失结合使用

4. 实战对比：性能指标与结果分析

为了公平比较两种损失函数的效果，我们在CIFAR-10-LT数据集上进行了对比实验。这个数据集是通过对原始CIFAR-10进行下采样构造的长尾版本，不平衡比为100:1。

实验设置：

• 基础模型：ResNet-32
• 训练周期：200 epochs
• 学习率：初始0.1，60和120epoch时乘以0.1
• 批量大小：128
• 数据增强：随机水平翻转+随机裁剪

从实验结果可以看出：

1. 标准交叉熵在尾部类别上表现最差（仅32.7%）
2. Focal Loss显著提升了尾部类别性能（+12.5%）
3. CB Loss在整体平衡性上表现更好
4. 两者结合取得了最佳效果（mAP提升3.5%）

不同损失函数的梯度分布对比：

这个梯度分布表揭示了为什么CB Loss在长尾问题上表现更优——它使得尾部类别样本在参数更新中获得了更大的话语权。

5. 工程实践中的技巧与陷阱

在实际项目中应用这些损失函数时，有几个关键点需要注意：

学习率调整策略：

• 当使用CB Loss时，由于不同类别的梯度幅度差异较大，建议使用较小的初始学习率
• 可以配合学习率warmup策略，避免训练初期的不稳定
• 周期学习率衰减（Cosine Annealing）通常表现优于阶梯式衰减

# 学习率warmup示例 def adjust_learning_rate(optimizer, epoch, max_epoch, lr): """Decay the learning rate based on schedule""" lr *= 0.5 * (1.0 + math.cos(math.pi * epoch / max_epoch)) # cosine衰减 if epoch < 5: # warmup lr = lr * (epoch + 1) / 5 for param_group in optimizer.param_groups: param_group['lr'] = lr

类别权重计算的最佳实践：

1. 统计训练集中每个类别的样本数
2. 计算平滑后的权重（避免极端值）
3. 对权重进行归一化处理
4. 在验证集上微调权重系数

# 类别权重计算示例 def compute_class_weights(labels, beta=0.99): class_counts = torch.bincount(labels) effective_num = 1.0 - torch.pow(beta, class_counts) weights = (1.0 - beta) / effective_num weights = weights / weights.sum() * len(weights) # 归一化 return weights

常见陷阱与解决方案：

1. 过拟合尾部类别：可以通过更强的数据增强或添加正则化项缓解
2. 训练不稳定：使用梯度裁剪（gradient clipping）和更小的批量大小
3. 超参数敏感：先在小规模数据上搜索合适的γ和β值

提示：在实际项目中，建议先用小规模数据快速验证不同损失函数的效果，确定方向后再进行大规模训练。同时，可视化各类别的准确率变化曲线比单纯看整体指标更有价值。