中文 | English
通常认为预训练语言模型(Pre-trained Language Model, PLM)已经能够从海量文本中自动学习语言学知识。为了验证通过显式注入语言学知识预训练模型能否获得进一步性能提升,在本项目中哈工大讯飞联合实验室(HFL)提出了一种语言学信息增强的预训练模型LERT ,融合了多种语言学知识。大量实验结果表明,在同等训练数据规模下,LERT能够带来显著性能提升。LERT相关资源将陆续开源,以供学术研究参考。LERT: A Linguistically-motivated Pre-trained Language ModelYiming Cui, Wanxiang Che, Shijin Wang, Ting Liu论文地址:https://arxiv.org/abs/2211.05344中文LERT | 中英文PERT | 中文MacBERT | 中文ELECTRA | 中文XLNet | 中文BERT | 知识蒸馏工具TextBrewer | 模型裁剪工具TextPruner
查看