暂时没有时间总结，先贴上几个还不错的帖子

trick:

PyTorch知识点补全_no_decay = ["bias", "layernorm.bias", "layernorm.w-CSDN博客

Bert在fine-tune训练时的技巧：①冻结部分层参数、②weight-decay (L2正则化)、③warmup_proportion、④_bert weight_decay-CSDN博客

Bert在fine-tune时训练的5种技巧 - 知乎

过程：

 在预训练bert模型上fine-tune的一些经验（实习）_bert finetuning需要shuffle吗-CSDN博客

 BERT模型fine-tuning_bert的fun tunning调那个文件-CSDN博客

4如何对BERT 微调-案例_tokenizer input max length: 1000000000000000019884-CSDN博客

微调的代码：

BERT Fine-Tuning Tutorial with PyTorch · Chris McCormick (mccormickml.com)