你是否曾经看到过这样的场景：远在千里之外的人，能和你“面对面”说话；电影《双子杀手》中，两个亨利同时在荧幕上出现……这些都是基于光场技术实现的数字特效。目前上科大的这个学生团队正在将光场黑科技逐渐变为现实。
上科大穹顶光场
曹瑞翔、李振邦、裘麒玮、王一玮和张启煊是来自上科大信息学院的五位本科生。他们利用今年寒假的时间，在多学科人工现实工作室（MARS）成功搭建起了一套用于面部几何还原和材质采集的系统-——穹顶光场。这套系统今后将为电影特效的高精度三维重建、重打光提供强有力的数据支持。他们这个充实又具有挑战的寒假是如何度过的呢？让我们走进他们的故事。
穹顶光场搭建——追光点亮暗夜
“我们搭建的‘穹顶光场’是一个包含约150个256级可控LED光源的球形打光拍摄系统。“ 团队成员曹瑞翔介绍说，“每个LED光源带有6个高亮度LED灯珠，这些灯珠分为两组独立控制，两组分别安装有不同的偏振片。光源均匀分布于一个直径约3米的铝合金框架球体上。所有灯光以最高1000Hz的频率变化亮度，并与一台高速相机、三十台工业相机实现毫秒级同步，所有的灯光每变化一次亮度的同时，高速相机进行一次拍摄。以这种方式，我们就可以采集到被拍摄物体在不同光照条件下的表现。“
但在搭建过程中，团队却遇到了许多不可预知的问题和挑战。
首先是灯光设备数量大。该设备需要安装的灯光设备达150个，并且需要全部安装在直径3米的球体框架下，设备之间间隔小，安装操作难度大，对安装精度要求高。为了解决这个问题，同学们做了大量前期规划，在做好万全的设计准备工作后再进行安装。用“安装一部分，测试一部分”的方式最大程度确保设备安装工作顺利有序进行。
其次是灯光运行频率高。该设备最大工作频率高达1000Hz以上，而目前市面上常见的显示设备频率仅为60-120Hz。高频率对控制系统以及通信协议的速度性能提出了更高的要求，需要定义和研发线路更少，速度以及可靠性更高的协议，这也给团队提出了挑战。
20个灯的工作测试
“在这次搭建中，我们始终坚持两个原则：一是“不着急，小步走”，将大的工程目标分解成小的任务，将大的bug分成小的调试检测；另一个是长线的思考方式，做开发时需要考虑装配的复杂度，测试时需要考虑最坏的情况，装配时要为后续的调整保留接口，并做好标记。” 回忆起当时情景，团队成员李振邦感慨道，“在搭建过程中，我们经历了试错、调整和反思，如今回想起来，乐观的心态和坚定的信心是最大的动力。不为昨天的设计缺陷懊恼，而是找新的方法弥补和改进，在不断动手实践和经验积累中前行。“
主供电系统
“2021年春节前的一个凌晨，我们终于做完了最后的一路控制供电。当关上灯，打开控制能器电源，黑暗中只有一个个指示灯闪烁时，我们躺在地板上，仿佛仰望着一片美丽的星空……这一刻心中觉得付出的一切都是值得的。“
穹顶光场搭建完成后，团队马上启动了测试，顺利地还原了模特的人脸材质，为整个寒假的辛勤工作划上圆满的句号。
等待最后测试的梯度光穹顶光场
人脸材质还原结果样例
主视角Normal图重建结果
关于Light Stage
Light Stage是由美国南加州大学ICT Graphic Lab的Paul Debevec所领导开发的一个高保真的三维采集重建平台系统。该系统以高逼真度的3D人脸重建为主，并已经成功应用于40多部好莱坞电影渲染中。从第一代系统Light Stage 1至今已经升级到Light Stage 6，最新的一代系统命名为Light Stage X。2019年，这项技术让Paul Debevec和他的团队获得了奥斯卡技术成就奖。
Light Stage 6
（图片来源于网络）
从Light Stage 2开始，系统已经进入到实用化阶段，通过快速记录演员的各种表情和各种角度下的数据来生成数字化的虚拟动画人脸，引起了好莱坞的关注。2004年，该系统曾为电影《蜘蛛侠2》制作了演员阿尔弗雷德·莫利纳和托比·马奎尔的虚拟替身，在近40个镜头中使用，并帮助电影获得了奥斯卡最佳视觉效果成就奖。2006年，电影《超人归来》利用Light Stage2扫描数据制作了虚拟数字超人角色，在动作镜头和延长的特写镜头中得到了成功运用，逼真的数字人物帮助电影赢得了奥斯卡最佳视觉效果提名。
《蜘蛛侠2》场景
（图片来源于网络）
Light Stage 5从更多方面进行了技术优化，系统也更为成熟，可以得到更真实的环境光照与颜色、更快的采集速度，更高精度的人脸三维重建。在好莱坞大片《阿凡达》《本杰明·巴顿奇事》《蜘蛛侠3》中都使用了该系统。 Light Stage 5最让人惊艳的一次应用是2008年发布的Digital Emily项目，为著名女星Emily O'Brien制作了一个非常精细的面部数字克隆，其重建的人脸模型达到了亚毫米级别，可以很清晰的观察到各种表情下面部皮肤、肌肉组织、毛孔等的细微变化。该项目所用的虚拟人脸重建效果和真实人物对比，也一时难辨真假。
猜猜哪个是真人，哪个是虚拟人？
（图片来源于网络）
2014年Paul Debevec和他的实验室成员建造了一个小型移动的系统（Light Stage X），到白宫扫描了奥巴马总统，这也是首个以国家元首为原型的数字人脸建模。
（图片来源于网络）
（图片来源于网络）
2018年火爆全球的《头号玩家》，Light Stage的特效技术让其VR场景更加逼真。同年Paul Debevec团队还全数字化了一整部歌剧，让整场表演在虚拟化的情况下依旧栩栩如生。可见Light Stage在国外已经发展非常成熟，并开发出较多应用场景。
MARS穹顶光场
穹顶光场是上科大MARS实验室基于具有自主知识产权的电影特效底层核心技术而研发搭建的平台工具，是国际领先的动态扫描技术设备。相比Light Stage，穹顶光场拥有更多的相机，引入更多光场算法，并且支持动态采集，它能识别到人脸极其细微的结构变化，连皮肤材质都可纳入数据模型，从而获得更高质量的面部渲染效果，为电影、电视、视频游戏、沉浸式模拟等制作真实可信的数字替身。
目前Light Stage在电影和视频领域的应用最为广泛，技术也很成熟。相较来看，我国的影视后期技术水平还存在不小的差距。虽然如今像Deepfake这样的AI 换脸技术非常火爆，但很多影视内容在真正运用时，还是会面临很多瓶颈，不仅被专业人士看出破绽，普通观众也能看到不自然的地方。真实的虚拟人脸合成，不仅需要有非常精准的动作捕捉和动作驱动，还需要在各种光照环境下，人物面部、身上的反光、阴影等都能非常自然的随场景而变化。如今MARS实验室拥有这套全球顶级的可以控制方向、强度、光谱颜色的动作捕捉和建模设备，未来将在国内影视特效领域大有作为。
如今，我国的科幻电影、电影科技、电影工业体系备受重视。2019年电影《流浪地球》开启了中国科幻片元年，越来越多的科幻电影对技术提出了更高的要求，大众对角色数字化形象的逼真度要求也不断上升。2020年国家电影局、中国科协发布《关于促进科幻电影发展的若干意见》，提出将科幻电影打造成为电影高质量发展的重要增长点和新动能。科学技术与影视制作的有效结合，必将进一步激发内容的想象力与创造力，并提高制作水平。MARS实验室将人工智能的数字替身技术与影视特效制作深度结合，提供专业全面的技术解决方案，致力于以发展科幻电影特效技术为引领，推动影视特效制作技术新一轮变革。
除了赋能影视行业，未来穹顶光场在AR/VR场景、视频游戏、教育、文旅、沉浸式演出、虚拟社交等领域也拥有广阔的市场前景。
上科大穹顶光场已开启全新视界！追光路上，我们期待它将创造更多光芒！
沪公网安备 31011502006855号
