掩蔽语言建模(MLM)的预训练方法,如BERT,通过用[掩码]替换一些token来破坏输入,然后训练一个模型来重建原始token。虽然它们在迁移到下游的NLP任务时会产生良好的结果 ...
確定! 回上一頁