BERT

SsciBERT 是一个针对社会科学文本的预训练语言模型，显著提升了社会科学文献的自然语言处理任务表现。

ELECTRA提出了一种新的预训练任务——替换标记检测，显著提高了自然语言处理任务的效率和性能。

本文通过微调预训练语言模型，显著提升了多标签专利分类的性能，XLNet表现最佳。