刘群:华为诺亚方舟NLP预训练模型工作的研究与应用 | AI ProCon 2019_百...

发布网友发布时间：2024-10-21 22:18

共1个回答

热心网友时间：2024-10-21 22:44

预训练语言模型在自然语言处理领域产生了深远影响。华为诺亚方舟实验首席科学家刘群在AI ProCon 2019上分享了他们在该领域的研究与应用。刘群从三个角度介绍了他们的工作：哪吒、实体增强预训练语言模型ERINE和乐府。

哪吒是华为诺亚方舟实验室推出的中文预训练语言模型，基于Google Bert-base和Bert-large实验，结合华为云资源，实现了数据并行、混合精度训练和Lamb优化器的应用。改进了位置编码和全词覆盖，提高了模型性能。

实体增强预训练语言模型ERINE引入了知识图谱信息，通过实体输入将知识图谱与BERT模型融合，显著提升了知识驱动的自然语言理解任务性能。

乐府是基于GPT模型的中文古诗词生成系统，通过预训练阶段的新闻语料、细调阶段的古诗词语料，实现了诗词的自动生成，展现了AI在诗词生成领域的应用潜力。

展望未来，华为诺亚方舟实验室计划研究更强大的预训练语言模型，融合知识与语音、图像技术，应用到更多领域，并在模型压缩和优化方面进行工作，将成果部署在华为自研的AI芯片上。