知识图谱学习的超参优化算法

Speaker:     姚权铭，清华大学

Time:           6月30日 14:00-15:30 

Location:      腾讯会议

       会议号：851-767-390

    链接：https://meeting.tencent.com/dm/Acdu5s0YR57J

Host:            赵子平

Abstract:

知识图谱是一种天然包含人类对客观事物理解和认识的图结构化数据，是有效连接人对于真实世界的认知与计算机对于物理世界建模的桥梁。因此，随着深度学习技术的兴起，知识图谱也常常嵌入于需要专家知识的各种应用中。本次报告中，我们将首先看到超参数对于知识图谱学习的重要性，但是现有方法无法高效地搜索它们。为此，我们提出了针对知识图谱学习的快速超参调优算法（KGTuner）解决这个问题。首先，定量的分析不同超参数的性质；据此，进一步提出了一种高效的两阶段搜索算法：在第一阶段中高效的在子图上寻找候选超参数配置，在第二阶段中对候选超参数微调达到最后效果。实验显示我们的方法可以比常见调参算法更快地找到更合适的超参数，且经典知识图谱学习方法结合KGTuner都能得到大幅度的性能提升。相关工作近期已刊载于Cell Pattern、TPAMI、NeurIPS、KDD、ACL等会议和期刊上，同时在图数据重要榜单Open Graph Benchmark（OGB）相关任务上取得榜首效果。

Bio:

姚权铭是清华大学电子工程系助理教授、国家高层次海外青年项目入选者。他于香港科技大学计算机系取得博士学位，之后加入第四范式担任高级科学家，创建和领导公司的机器学习研究组。该团队为国内最早一批从事自动化机器学习的研究团队。他已发表CCF-A类论文50余篇，谷歌学术引用4000余次。其中，抗噪标签算法Co-teaching（NeurIPS 2018）为当年10大高引论文之一，小样本领域概述论文（CSUR 2020）为ESI热点论文（前0.1%被引），图数据自动化学习方法PAS（CIKM 2021）和AutoSF（TPAMI 2022）为OGB榜单问鼎算法。最后，他也是机器学习主要会议ICML/NeurIPS/ICLR的领域主席、Neural Network期刊的编委、NeurIPS首届AutoML比赛的举办者之一。