知识指导的预训练语言模型

  时 间:2021年9月7日(周二)下午14:30

  地 点:计算所948会议室

  报 告 人:刘知远 副教授

  报告人简介:

  刘知远,清华大学计算机系副教授。主要研究方向为自然语言处理。2011年获得清华大学博士学位,已在人工智能著名国际期刊和会议发表论文100余篇,Google Scholar统计引用超过16,000次。曾获教育部自然科学一等奖(第2完成人)、中国中文信息学会钱伟长中文信息处理科学技术奖一等奖(第2完成人)、中国中文信息学会汉王青年创新奖,入选国家万人计划青年拔尖人才、北京智源研究院青年科学家、2020年Elsevier中国高被引学者、中国科学青年人才托举工程。担任中文信息学会青年工作委员会主任,中文信息学会社会媒体处理专委会秘书长,ACL、EMNLP、WWW、CIKM、COLING领域主席。

  摘要:

  近年来深度学习成为自然语言处理关键技术,特别是2018年以来的预训练语言模型显著提升了自然语言处理的整体性能。作为典型的数据驱动方法,以预训练语言模型为代表的深度学习仍然面临可解释性不强、鲁棒性差等难题,如何将人类积累的大量语言知识和世界知识引入模型,是改进深度学习性能的重要方向,同时也面临很多挑战。本报告将系统介绍知识指导的预训练语言模型的最新进展与趋势。

附件: