前言
接着上一小节，我们对Huggingface开源代码库中的Bert模型进行了深入学习，这一节我们对如何应用BERT进行详细的讲解。
涉及到的jupyter可以在代码库：篇章3-编写一个Transformer模型：BERT，下载
本文基于 Transformers 版本 4.4.2（2021 年 3 月 19 日发布）项目中，pytorch 版的 BERT 相关代码，从代码结构、具体实现与原理，以及使用的角度进行分析，包含以下内容：
- BERT-based Models应用模型
- BERT训练和优化
- Bert解决NLP任务
- BertForSequenceClassification
- BertForMultiChoice
- BertForTokenClassification
- BertForQuestionAnswering
- BERT训练与优化
- Pre-Training
- Fine-Tuning
- AdamW
- Warmup
3-BERT-based Models
基于 BERT 的模型都写在/models/bert/modeling_be
