PTMs: Pre-trained-Models in NLP

NLP预训练模型的全面总结(持续更新中)

置顶

知乎文章1: 全面总结！PTMs：NLP预训练模型 ➡️➡️ 图片下载

知乎文章2：nlp中的预训练语言模型总结

知乎文章3：nlp中的词向量对比

1、论文汇总：

PTMs-Papers:

1. https://github.com/thunlp/PLMpapers
2. https://github.com/tomohideshibata/BERT-related-papers
3. https://github.com/cedrickchee/awesome-bert-nlp
4. https://bertlang.unibocconi.it/
5. https://github.com/jessevig/bertviz

2. PTMs单模型解读

1. 自监督学习：Self-Supervised Learning 入门介绍
2. 自监督学习：Self-supervised Learning 再次入门
3. 词向量总结：nlp中的词向量对比：word2vec/glove/fastText/elmo/GPT/bert
4. 词向量总结：从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
5. ELMo解读：关于ELMo的若干问题整理记录
6. BERT解读： Bert时代的创新：Bert应用模式比较及其它
7. XLNET解读：XLNet:运行机制及和Bert的异同比较
8. XLNET解读：XLnet：比Bert更强大的预训练模型
9. RoBERTa解读：RoBERT: 没错，我就是能更强——更大数据规模和仔细调参下的最优BERT
10. 预训练语言模型总结：nlp中的预训练语言模型总结(单向模型、BERT系列模型、XLNet)
11. 预训练语言模型总结：8篇论文梳理BERT相关模型进展与反思
12. ELECTRA解读: ELECTRA: 超越BERT, 19年最佳NLP预训练模型
13. 模型压缩 LayerDrop:结构剪枝：要个4层的BERT有多难？
14. 模型压缩 BERT-of-Theseus:bert-of-theseus，一个非常亲民的bert压缩方法
15. 模型压缩 TinyBERT:比 Bert 体积更小速度更快的 TinyBERT
16. 模型压缩总结：BERT 瘦身之路：Distillation，Quantization，Pruning

（持续更新中...）