我很荣幸能在2022年12月4日至12月12日前往韩国参加SIGGRAPH Asia 2022学术会议，并作为上海科技大学科研团队与影眸科技公司的代表，与会者们分享我们在计算机图形学领域的最新研究成果。我们的研究成果在SIGGRAPH Asia 2022的Technical Paper - Journal Track中被认可，并受邀进行报告分享。我们的研究方法融合了4D PBR扫描技术和神经网络表达，采用多VAE网络结构进行训练，跳过了传统的绑定和动态贴图制作流程，从而实现了精细至微表情级别的实时面部捕捉。在本文中，我将详细介绍我们的研究成果及其应用，并分享在学术会议上的心得体会。
我们提出的方法融合了4D PBR扫描技术与神经网络表达，采用多VAE网络结构进行训练，跳过了传统的绑定与动态贴图制作流程。相较于过去的研究，我们的成果在几何精度上有所提高。同时，我们的方法拓展了多样的应用场景。以下是我们方法和技术的优势：
无需专业设备和人工绑定：我们的方法仅需要一段4D序列作为训练，无需面捕头盔、无需人工绑定，仅凭RGB视频便可实现精细至微表情级别的实时面部捕捉，使得面部捕捉的成本和门槛大大降低。
实时性和高质量：我们的技术不仅可生成与现有渲染引擎兼容的面部几何模型和多层材质贴图，还能让任何人仅凭手机进行轻量级面部捕捉，实时驱动高质量的面部资产。这种实时性和高质量为电影和游戏行业提供了更好的解决方案。
多样的应用场景：我们的方法支持模特本人的视频可用于驱动生成的资产，避免了专门为演员安装面部捕捉设备的后续工作。此外，非模特本人的面部表演视频亦可驱动面部资产。我们的方法还支持视频输入驱动经过艺术加工的人物形象，具有广泛的应用前景。
突破传统技术瓶颈：我们的研究方法弥补了高质量面部资产与轻量级输入设备之间的空白。基于高质量的4D面部资产数据，我们实现了面部动态几何和材质贴图的隐式表达，从而获得更为真实自然的面部驱动效果。
总之，我们提出的方法和技术具有多个优势，为面部捕捉和渲染技术的发展带来了新的思路和突破。
参加SIGGRAPH Asia 2022学术会议对我来说是一次宝贵的经验。通过与来自世界各地的学者和业界专家的交流，我深入了解了图形学领域目前的最新研究方向和趋势。我也有机会参加多场有关计算机图形学、虚拟现实、人工智能和增强现实等领域的讲座和研讨会，其中的内容深入浅出，非常富有启发性。未来我也将继续关注和研究与AI、VR、AR和渲染引擎相关的前沿技术，继续推动图形学领域的发展。我们希望能够在未来的研究中发掘更多有意义的成果，为游戏行业和影视特效行业提供更高质量的解决方案，并为人们带来更加逼真和自然的虚拟体验。
在这次韩国之行中，除了参加SIGGRAPH Asia 2022学术会议之外，我还有幸游览了首尔的许多著名景点。我深深地感受到韩国人民的热情好客和丰富多彩的文化底蕴。我特别喜欢韩国的美食和时尚文化，我也参观了一些博物馆和历史遗迹，深入了解了韩国悠久的历史和文化传承。这次旅行不仅使我在学术上获得了很多启发，也让我对韩国的文化和生活方式有了更深入的了解和认识。
作为一名热爱计算机图形学领域的研究人员，我非常期待参加下一次SIGGRAPH会议。这个顶级的学术会议为全球最杰出的计算机图形学专家提供了一个共享最新技术和趋势的平台。我希望未来能有机会再次参加这个盛会，与来自世界各地的同行交流想法，分享经验，学习最新的技术和研究成果，以便将这些知识和经验应用到我们的研究中，并不断推动计算机图形学领域的发展。我相信，未来的SIGGRAPH会议将会带来更多的创新和突破，我也将继续致力于这个领域，为未来的SIGGRAPH会议做出更多的贡献。
沪公网安备 31011502006855号
