1. 文本摘要技术的前世今生
第一次接触文本摘要技术是在2013年，当时我参与了一个新闻聚合项目。客户要求将每日数百篇新闻自动浓缩成简报，最初我们尝试用最简单的"截取前几句"方法，结果发现体育新闻还行，但科技类文章经常抓不住重点。这段经历让我深刻认识到：文本摘要远不是简单的"截取"游戏。
文本摘要技术的本质，是用算法代替人工完成信息提炼。想象一下你读论文时用荧光笔标重点的过程——这就是最原始的"抽取式摘要"。而当你把读过的几篇论文用自己的话写成综述时，这已经是在做"生成式摘要"了。目前主流技术路线分为两大阵营：
- 抽取式摘要：像用荧光笔划重点，直接从原文提取关键句子
- 生成式摘要：像写读书笔记，用新语句重组核心信息
我曾在电商评论摘要项目中对两种方法做过对比测试。抽取式方法在保持原意方面表现稳定，但遇到"这个手机电池耐用但拍照模糊"这类对比评价时，生成的摘要读起来就像精神分裂。而生成式方法虽然能产出更流畅的总结，却时不时会无中生有——有次竟把"充电速度一般"改写成了"闪电快充"，吓得我们连夜加了人工审核。
2. 抽取式摘要的实战兵法
2.1 传统方法的智慧结晶
2015年给政府做舆情监控系统时，我们最先尝试了TextRank算法。这个借鉴网页排序PageRank思想的方案，把句子当作网页，用相似度替代链接关系。实测发现三个关键点：
- 相似度计算：单纯用词频向量效果一般，加入句法分析后准确率提升15%
- 窗口大小：设定句子间连接范围时，5-7句的窗口表现最佳
- 权重衰减：迭代时的阻尼系数设在0.85最接近人工摘要
有次处理突发事件报道，传统Lead-3方法完全失效——记者把关键信息藏在第六段。我们改进的方案是混合策略：先用TextRank初筛，再结合位置权重（首段×1.5，尾段×1.2）。这个"土办法"让重要信息召回率直接提升40%。
2.2 神经网络的降维打击
当BERT出现后，我们做过一组对比实验：
# 传统方法 from summa import summarizer summary = summarizer.summarize(text, ratio=0.2) # BERT+序列标注 from transformers import BertTokenizer, BertForSequenceClassification model = BertForSequenceClassification.from_pretrained('bert-sum') inputs = tokenizer(text, return_tensors="pt") outputs = model(**inputs) # 输出每个句子的重要性概率在金融报告摘要任务中，神经网络的F1值比传统方法高出28%。但代价是需要10倍的计算资源。这里有个坑：直接用BERT做序列标注会遇到标签稀疏问题——一篇文章可能只有3-5个句子需要标记为1。我们的解决方案是：
- 使用Focal Loss缓解类别不平衡
- 加入句子位置embedding
- 用ROUGE分数作为辅助损失
3. 生成式摘要的破局之道
3.1 Pointer-Generator网络实战
在医疗报告生成项目中，我们踩过一个大坑：病历中的专业术语常被替换成通用词。比如"二甲双胍"变成"糖尿病药物"。Pointer-Generator网络的copy机制完美解决了这个问题。具体实现时要注意：
- Coverage机制的超参α需要调校，过大会导致摘要不完整
- 训练时要对OOV词做特殊标记，测试时建立词汇映射表
- 解码阶段建议用集束搜索(beam search)配合长度惩罚
我们改进的版本增加了病症严重程度识别模块，在生成摘要时会自动标注[危急][严重][轻微]等提示标签。这个功能后来成了产品的核心竞争力。
3.2 外部知识的妙用
去年做法律文书摘要时，我们发现单纯Seq2Seq模型经常混淆"原告"和"被告"。受Re3Sum论文启发，我们构建了法律条文知识库。系统现在会：
- 自动识别文书类型（离婚/借贷/劳动纠纷）
- 检索类似案例的判决摘要
- 将关键条文作为生成模板的约束条件
这个方案让摘要的法律术语准确率从72%提升到93%。实现时用了Faiss做向量检索，建立了两级索引：先按案由粗筛，再按争议焦点精查。
4. 混合策略的黄金平衡点
4.1 内容选择器的设计秘诀
在电商产品描述生成中，我们开发了一套"软硬兼施"的混合方案：
- 硬筛选：用BERT-score选取TOP10关键句
- 软过滤：通过注意力门控保留相关短语
- 重组生成：用GPT-3.5进行语句润色
这个方案的精妙之处在于：硬筛选保证不遗漏核心卖点，软过滤保留修饰性信息，最后生成阶段统一风格。实测显示，混合方案的ROUGE-L比纯生成式高9%，而人工评估的流畅度得分反而提升15%。
4.2 训练技巧与调参心得
经过多个项目验证，混合模型训练要注意三个阶段：
| 阶段 | 目标 | 技巧 | 周期 |
|---|---|---|---|
| 预训练 | 单任务优化 | 冻结其他模块 | 3-5epoch |
| 联合训练 | 损失平衡 | 动态调整权重 | 5-8epoch |
| 微调 | 指标优化 | 强化学习奖励 | 2-3epoch |
特别要监控抽取模块和生成模块的梯度比例，我们开发了一个可视化工具实时显示各层梯度分布，当发现某模块梯度长期接近零时，需要调整学习率或解冻参数。
5. 数据集选择的艺术
在实验CNN/Daily Mail数据集时，我发现匿名版和原始版的模型迁移效果差异很大。具体表现为：
- 匿名版训练的模型在科技类文章表现更好
- 原始版模型对人物报道的摘要更准确
后来发现这是因为匿名化过程中，实体类型标记（如<人名><机构>）无意中成为了重要特征。我们的应对策略是：
- 训练时随机替换30%的实体标记
- 在编码器加入实体类型embedding
- 解码阶段用CRF保证实体一致性
对于中文场景，LCSTS数据集的微博特性会导致模型偏向短摘要。我们的改进是在微调阶段混入自行标注的长文本（知乎回答+专家摘要），用课程学习的方式逐步增加文本长度。