2018年6月至12月,我在美国路易斯安那州立大学(LSU)进行访学交流,并在Professor Jinwei Ye和Doctor Yu Ji的指导下进行人脸三维重建的研究,计划将研究成果投稿至今年的计算机视觉领域会议。
路易斯安那州立大学坐落于路易斯安那州州府巴吞鲁日市的南城,傍邻密西西比河,校园美丽宜人,被认为是全美最美的20所大学校园之一,建校至今已有超过150年历史,校内既有蕴含着历史印记的古老建筑,也有崭新的现代化教学楼。虽然巴吞鲁日没有大城市的繁华,但也正因此是一个适合安心科研的地方。
在半年的交流活动中,我主要研究基于Photometric Stereo的高精度人脸重建。Photometric Stereo作为三维重建的一种方法,可以通过不同光照下的像素值计算出物体表面的法向,进而重建出极为细致的微几何,因此可以逼真还原人脸上的皱纹、毛孔甚至亚毫米级细节,已被广泛应用于电影、游戏等领域中的人脸CG制作。然而现有重建方法往往需要复杂的硬件设备,同时有较长的拍摄时间并需要被拍摄者保持高度静止,使得这些方法无法应用到更注重便携性的环境中。为了改善这个问题,我使用Photometric Stereo的一个变种方法,通过多光谱来减少硬件和拍摄时间,达到只需要拍摄一张图片。为了解决这种方法中所固有的欠定性,我提出新的算法,通过结合人脸本身存在的分布规律将问题转化成可解问题,最终达到了非常逼真的重建效果。在科研过程中,两位mentor给与了我很大帮助,无论是硬件的搭建调试还是算法的研究改进,同时在对问题的分析方式上也让我收获良多。