娄鑫课题组万浩川(硕)2022年12月参加SIGGRAPH Asia会议并做汇报

我于2022124日至1212日赴韩国参加SIGGRAPH Asia2022会议并协助汇报展示了我参与的论文-ICARUS: A Specialized Architecture for Neural Radiance Field Rendering

 SIGGRAPH Asia由国际图形图像协会(ACM SIGGRAPH)举办,SIGGRAPH电脑图像和互动技术展览及会议是世界上影响最广、规模最大,同时也是最权威的一个集科学、艺术、商业于一身的计算机动画(CGComputer Graphics)及互动技术展览及会议。2008SIGGRAPH来到亚洲,于129日至13日在新加坡举行了首届亚洲电脑图像和互动技术展览及会议(SIGGRAPH Asia)。这是世界最大的电脑图形图像界盛会,也是SIGGRAPH首次选择在美国以外地区举办分会。

我所参与汇报展示的论文,是有关神经网络图像渲染的硬件加速器设计。在计算机图形学中,硬件设计通常紧随渲染算法的进步。然而,即使使用当今最强大的硬件和加速方案,合成图像的视觉效果仍然与实际摄影图像有着较大的差距。最近,开创性的神经辐射场(NeRF)工作使用多层感知器(MLP)隐式地对场景进行建模,并使用体积渲染函数进行逼真的视图合成和3D重建,这在图像生成方面取得了重大进展。NeRF的突破是多方面的:在参数量方面,NeRF的参数相较于传统渲染方案大大减小,仅为4.6MB;在图像插值方面,由于NeRF提供了全视函数的固有连续表示,因此能够实现现有技术中难以实现的非线性插值。

现阶段在使用NeRF进行图像渲染时,仍然严重依赖于高端GPU。例如,在NVDIA RTX 3090上,原始的NeRF对于800x800大小的图像仅能以0.05fps的速度进行渲染,Instant-ngp在相同分辨率下可以达到260fps。然而,体积庞大、耗能较高的GPU无法满足时下流行的虚拟现实(VR)和增强现实(AR)终端对体积、重量与功耗方面的要求。若要在这些终端上使用NeRF作为渲染引擎,则需要同样轻量级的图形处理器,在尺寸大小和功率上需要匹配终端设备的规格。

基于此背景,我们组设计了ICARUS,一种为NeRF渲染算法量身定制的新型轻量级图形渲染硬件加速器架构。ICARUS使用专用全光核心(PLCore)作为关键运算单元来执行完整的NeRF渲染步骤,因而不需要片外数据交换和临时存储。每个PLCore由一个位置编码单元(PEU)、一个MLP引擎和一个体渲染单元(VRU)组成,它接受位置和方向信息,并输出相应的像素颜色。为了实现NeRF中代价最大的MLP运算,我们将全连接中的矩阵乘法转换为近似的可重构多重常数乘法(RMCM)。这种常数乘法与传统的乘法累加(MAC)方法相比,降低了约1/3的硬件复杂性,以达到低功耗、小面积的设计目标。

汇报结束后,我们与来自世界各地的相关研究人员共同探讨。通过参加本次SIGGRAPH会议,我对当今视觉领域的发展有了更为全面与深刻的认识,这对于我们后续进行相关硬件加速器开发的工作有着指导性的意义。