近日，在加拿大举行的第61届国际计算语言学学会年会（ACL 2023)上，上海科技大学信息学院屠可伟团队研究成果“Do PLMs Know and Understand Ontological Knowledge?”获得大会颁发的杰出论文奖（Outstanding Paper Award）。信息学院2023届本科毕业生吴蔚琪为第一作者，2021级博士研究生蒋承越为第二作者，阿里巴巴达摩院为合作单位，屠可伟教授为通讯作者。
在这篇获奖论文中，研究人员探索了预训练语言模型（BERT、RoBERTa和ChatGPT）对本体知识的记忆和理解程度，为预训练语言模型的深入分析带来了新进展。在研究模型记忆本体知识能力的过程中，课题组测试了模型是否编码了以下知识：（1）实体的类型，（2）类和属性的层级关系，和（3）属性的领域和范围约束。为了更深入地探究模型是否真正理解了这些知识，课题组考察了模型是否能够按照本体规则进行正确的逻辑推理，并研究了推理前提知识的不同给定形式对推理能力的影响。
实验结果显示，BERT和RoBERTa能够编码一定的本体知识，并能够利用记忆中的知识进行推理，但其对本体知识的记忆和理解能力仍然存在局限性；ChatGPT则在这两个方面表现出了明显的提升，但仍远远达不到完美。这些发现为进一步改进和优化预训练语言模型的知识表示和推理能力提供了重要线索，并为相关研究提供了新的方向。
ACL全称是Annual Meeting of the Association for Computational Linguistics，由计算语言学学会主办，是自然语言处理领域最具影响力的国际学术会议。本届大会共收到近5000篇投稿，中稿率为20.7%。包含获奖论文在内，研究团队在此次ACL会议上总共发表了6篇主会论文以及2篇Findings子刊论文，主题涵盖自然语言处理领域中的句法解析、信息抽取、语言模型和基础模型架构等方向。此外，研究团队所参与的、由阿里巴巴达摩院发表的论文“DAMO-NLP at SemEval-2023 Task 2: A Unified Retrieval-Augmented System for Multilingual Named Entity Recognition”在此次ACL研讨会之一、国际语义评测研讨会SemEval（International Workshop on Semantic Evaluation）上获得了最佳系统论文奖。
【作者简介】
吴蔚琪，论文第一作者，上海科技大学信息学院2023届本科毕业生，指导老师是信息学院的屠可伟教授。本科期间积极开展人工智能和自然语言处理领域的科研实践，主要研究方向为知识获取与大语言模型，在自然语言处理研究领域的国际顶级会议 (ACL/EMNLP等)上发表多篇论文。曾获上海科技大学校长奖、上海市优秀毕业生等荣誉。
蒋承越，论文第二作者，现上海科技大学信息学院博士研究生，曾是信息学院2015级本科生，指导老师是信息学院的屠可伟教授。蒋承越的研究方向为符号化知识与神经网络模型的结合、信息抽取、以及大型预训练语言模型，他在自然语言处理研究领域的国际顶级会议 (ACL/EMNLP/EACL等)上发表多篇论文。
个人主页：https://jeffchy.github.io/
屠可伟，论文通讯作者，上海科技大学信息学院副教授。研究方向包括自然语言处理、机器学习等人工智能领域。发表论文近百篇，主要发表于ACL、EMNLP、NAACL、AAAI等旗舰会议。担任自然语言处理和人工智能领域多个顶级会议程序委员会委员和领域主席、ACL Rolling Review执行编委。
个人主页：http://faculty.sist.shanghaitech.edu.cn/faculty/tukw/
沪公网安备 31011502006855号
