【师者】任侃:于静谧中铸剑,以科研绘未来

发布时间:2024-03-01浏览次数:107

新入职教授介绍 PROFILE



图片

任侃

信息科学与技术学院

助理教授、研究员、博士生导师

SIST


01

╱ 个人简介 


任侃,博士,上海科技大学信息科学与技术学院助理教授、研究员、博士生导师。2014年本科毕业于浙江大学计算机科学与技术学院,2019年博士毕业于上海交通大学,师从ACM班创始人、国家教学名师俞勇教授。博士毕业后加入微软亚洲研究院机器学习组,担任高级研究员。在微软工作期间,负责机器学习与强化学习用于数据科学中的序列数据建模以及序列决策问题,发表论文40余篇,获2项国家发明专利,出版《推荐系统:前沿与实践》专著,主导或参与开源项目序列机器学习库SeqML、金融机器学习库Qlib、自动强化学习库AutoRL、医疗机器学习库PhysioPro,累积1.3万余颗GitHub Stars。2023年加入上海科技大学信息科学与技术学院视觉与数据智能中心(VDI)。



02

╱ 写给学生的话 ╱


智能时代,我们经历着技术世界的剧变。在这样的背景下,我们需要从两个层面进行思考:一是为自己的科研旅程和个人成长制定长期规划,追求持久的价值,真正沉淀下来的知识和技能构成了我们的核心竞争力;二是在这波澜壮阔的变化中,识别并把握那些恒定不变的元素,它们是经得起时间考验的宝贵资产。这里有三个建议送给同学们。



首先是保持持续学习的能力与动力,通过不断地吸收新知,我们才能创新和领先于研究的前沿。不断探索未知,是我们每一位研究者的使命。



其次是学会独当一面,这不仅意味着提升个人的专业技能和解决问题的能力,也包括在团队合作中学会有效沟通和协作,提高自我管理和团队合作的技巧。



最后,我希望我们每个人都能进行“顶天立地”的研究,既能创新突破,拓展研究的边界,又能实际应用,解决现实世界的问题。

让我们一起在研究的道路上把握智能时代的脉搏,成为人工智能浪潮中勇敢的探索者和创新者。


03

╱ 研究方向和研究内容简介 


课题组的研究兴趣集中在机器学习、强化学习方法创新及其在数据科学领域的应用。现阶段课题组的工作主要有三大研究方向,面向多维时间序列大数据的机器学习、基于脑机接口的智能人机交互、基于大语言模型的数据科学自动化。以下是三大方向及课题组代表工作的介绍。


面向多维时间序列大数据的机器学习

时间序列(time series)数据是融合了多种感知信号来源的序列数据,随时间持续产生,具有时序性、高维度、数据量大等特点。时序数据广泛存在于环境、能源、金融、医疗等基础领域,例如政府根据交通流数据做出城市规划,能源企业依据未来用电情况实时调度供应,金融市场参与者根据市场时序信息作出投资决策,医疗工作者根据人体生理健康监测数据进行诊断与治疗。时间序列数据建模与预测一直以来是数据科学与人工智能领域的重要研究方向。任博士过去在时间序列数据模型、算法、应用方面发表了多篇机器学习旗舰会议论文,并应用于医疗健康、金融等领域。


1


连续时间的时序数据模型

ContiFormer

首次在Transformer模型中建模连续时间关系,提出Continuous-time Transformer,在连续函数拟合、非常规与常规时间序列建模与预测等四大评测基准中取得了显著的效果提升。论文发表于NeurIPS 2023。


链接:

https://seqml.github.io/contiformer/

图片

图:ContiFormer在连续函数建模的内嵌补齐与外推延展性能明显由于基线方法。(Chen, Y., Ren, K., Wang, Y., Fang, Y., Sun, W. and Li, D., 2024. ContiFormer: Continuous-time transformer for irregular time series modeling. Advances in Neural Information Processing Systems, 36.)

2


基于分解图网络的多维时序数据空间

建模方案SRD

多维度时间序列存在复杂空间关系,研究人员提出了基于分解图网络(graph neural network)的新颖多关系建模模型SRD,既能建模静态空间关系也能动态建模随时间变化的空间关系,在多维时间序列预测、分类等真实世界基准数据集上大幅提升预测效果。论文发表于AAAI 2023。


链接:

https://seqml.github.io/srd/

图片

图:基于分解图的关系建模方法SRD。(Fang, Y., Ren, K., Shan, C., Shen, Y., Li, Y., Zhang, W., Yu, Y. and Li, D., 2023, June. Learning decomposed spatial relations for multi-variate time-series modeling. In Proceedings of the AAAI Conference on Artificial Intelligence (Vol. 37, No. 6, pp. 7530-7538).)

基于脑机接口的智能人机交互

《钢铁侠》、《环太平洋》、《阿凡达》等科幻电影中常见人类通过意念实现事物的操纵和相互交流,如今基于脑机接口的技术正将其逐渐变成现实。脑电时序数据的研究对于解码大脑活动模式、理解认知过程和神经机制具有重要意义,为脑科学的发展和临床应用提供了基础。课题组探究机器学习与深度学习在脑机接口与人机交互领域的应用,提出了首个跨数据集脑电基础模型MMM,积极探索脑电时序信号生成图像内容等前沿课题。


1


脑电基础模型MMM


业界首个融合了多种来源不同结构的脑电时序数据的基础模型,克服了异构数据融合训练的难题,利用统一的预训练模型显著提升下游多种预测任务效果。论文发表于NeurIPS 2023。


链接:
https://seqml.github.io/MMM/


图片

图:跨数据集统一预训练的脑电基础模型MMM。(Yi, K., Wang, Y., Ren, K. and Li, D., 2024. Learning Topology-Agnostic EEG Representations with Geometry-Aware Modeling. Advances in Neural Information Processing Systems, 36.)

2


基于脑电的图像生成


该工作利用神经科学和人工智能的最新进展,探讨了如何通过脑电时序信号(EEG)重建视觉感知到的图像。文章提出了一个名为NeuroImagen的方法,通过多层次知觉信息解码和预训练的扩散模型,有效重建高分辨率的视觉图像。实验结果证明了该方法在图像重建方面的有效性和优越的定量表现。


链接:
https://arxiv.org/abs/2308.02510


图片

图:基于非侵入式脑电时序信号的视觉感知图像重建流程。(Lan, Y.T., Ren, K., Wang, Y., Zheng, W.L., Li, D., Lu, B.L. and Qiu, L., 2023. Seeing through the brain: image reconstruction of visual perception from human brain signals. arXiv preprint arXiv:2308.02510.)

基于大语言模型的数据科学自动化

数据与数据智能已经成为社会生活一部分,数据科学作为一个新兴学科方向已经成为生产生活的基础探索方向。然而数据科学往往需要专业知识与实践经验,具有非常高的门槛。课题组探索利用大型语言模型自动化数据科学流程,提高数据处理和分析的效率,减少人力与时间成本。这种自动化能够使非专家用户也能执行复杂的数据分析,拓宽了数据科学的应用领域。


研究人员提出了首个基于大语言模型的自动机器学习框架MLCopilot,基于现有机器学习任务的经验进行观察和推理,帮助人类在全新的数据科学任务中分析数据、绘制图表,甚至自动构建机器学习解决方案。文章收录于EACL 2024, 项目代码已完全开源至GitHub,工具可以集成进Jupyter等平台,欢迎同学们试用。


链接:

https://github.com/microsoft/CoML


图片

图:利用MLCopilot自动分析表格与时序数据,绘制图表


图片

图:利用MLCopilot自动构建机器学习解决方案


除了以上三大研究方向,课题组在机器学习与强化学习算法方面亦有多项创新工作,在集成学习方向提出面向预训练模型的新集成学习算法与集成学习加速策略,发表于ICLR 2023与AAAI 2023;在强化学习方面提出自动强化学习框架与自我提升学习算法,均发表于NeurIPS 2022;在智能金融交易场景提出了基于单智体与多智体强化学习交易算法,发表于KDD 2023与AAAI 2021并已开源至金融机器学习库Microsoft Qlib。


04

╱ 对课题组学生的

寄语和期待 

在我们的实验室中,我们致力于探索人工智能与机器学习的前沿,打造一个创新、合作和成长的环境。每一位加入实验室的同学都会根据其研究兴趣、技能特长安排合适的科研课题,因材施教。无论你是擅长编程与动手实践,还是喜欢理论与研究思辨,我都希望同学们可以持续成长,在领域内独当一面。学生的未来发展将始终放在课题组与指导老师的第一考虑,学术界与工业界的目标我都非常支持与鼓励,也非常愿意提供帮助。我也希望将主动权交给同学们本身,在平台上积极进取,更上一层楼。欢迎有开拓精神且对机器学习、数据挖掘及其在大数据科学中的应用有浓厚兴趣的同学联系我深入交流,开展课题研究。




兴趣、爱好






我个人的兴趣爱好比较偏静态,宅家时候喜欢一个人安静地玩主机游戏,也会收藏童年时候玩的老游戏;户外主要会参与骑行与徒步,喜欢一边走一边欣赏人文与风景。我特别希望能与实验室的同学们一起组织活动,室内户外的团建定期搞起!