我院杨翰方课题组在ACL 2022发表论文。该研究主要提出了一种多任务学习框架，将多字段信息整合到BERT中，从而提高其新闻编码能力。在MIND新闻推荐数据集上的大量实验验证了该方法的有效性。
论文题目
MTRec: Multi-Task Learning over BERT for News Recommendation
文章摘要
现有新闻推荐方法通常根据新闻标题来学习新闻表示。本文提出充分利用新闻其他字段的信息，如类别和实体。之前方法将这些字段信息视为附加特征，并利用注意力机制将不同的特征向量结合起来。随着新闻推荐中逐渐采用BERT等大型预训练模型，上述融合多字段信息的方式会遇到一些问题：用于压缩类别和实体信息的浅层编码向量与BERT的深层编码不兼容。本文提出一种多任务学习框架，将多字段信息整合到BERT中，从而提高其新闻编码能力。此外，我们根据梯度冲突修改不同任务的梯度，进一步提升模型性能。在MIND新闻推荐数据集上的大量实验表明了我们方法的有效性。
作者介绍
毕启炜，统计学院2019级博士研究生。
杨翰方（通讯作者），中国人民大学统计学院副教授，应用统计科学研究中心研究员。
会议介绍
国际计算语言学年会（Annual Meeting of the Association for Computational Linguistics，简称ACL）在世界范围内每年召开一次，是自然语言处理/人工智能领域的顶级会议，被中国计算机协会（CCF）评级为A类会议，今年是第60届会议，将于5月22-27日在爱尔兰都柏林召开。
发表页面
