2022年12月4日至12月12日，我很荣幸能参加SIGGRAPH Asia 2022学术会议，并作为上海科技大学科研团队与影眸科技公司的代表，与大会其他专家、学者共享我们的科研成果。我们提出了一种融合4D PBR扫描技术与神经网络表达的方法，采用多VAE网络结构进行训练，跳过了传统的绑定与动态贴图制作流程。这意味着，仅需要一段4D序列作为训练，无需面捕头盔、无需人工绑定，仅凭RGB视频便可实现精细至微表情级别的实时面部捕捉。该项研究成果被收录在SIGGRAPH Asia 2022的Technical Paper - Journal Track。
在报告环节，我们通过一段视频展现了我们的科研成果，它不仅可生成与现有渲染引擎兼容的面部几何模型和多层材质贴图，还能让任何人仅凭手机进行轻量级面部捕捉，实时驱动高质量的面部资产。该技术已在国内影视特效与游戏行业投入使用。
我们的研究方法弥补了高质量面部资产与轻量级输入设备之间的空白。基于高质量的4D面部资产数据，我们实现了面部动态几何和材质贴图的隐式表达，从而获得更为真实自然的面部驱动效果。相较于过去的研究，我们的成果在几何精度上也有所提高。同时，我们的方法拓展了多样的应用场景。模特本人的视频可用于驱动生成的资产，避免了专门为演员安装面部捕捉设备的后续工作。此外，非模特本人的面部表演视频亦可驱动面部资产。我们的方法还支持视频输入驱动经过艺术加工的人物形象。
参加此次的学术会议，让我深刻体会到图形学领域对实时逼真图像渲染的追求，在不同的方向上的积极探索，特别是利用AI技术辅助渲染。通过交流和分享，我也获得了许多宝贵的意见和建议，同时让我对当今视觉领域的发展有了更为全面与深刻的认识，这对于我们后续进行相关硬件加速器开发的工作有着指导性的意义。
