娄鑫课题组万浩川（硕）2022年12月参加SIGGRAPH Asia会议并做汇报

我于2022年12月4日至12月12日赴韩国参加SIGGRAPH Asia2022会议并协助汇报展示了我参与的论文-ICARUS: A Specialized Architecture for Neural Radiance Field Rendering。

 SIGGRAPH Asia由国际图形图像协会（ACM SIGGRAPH）举办，SIGGRAPH电脑图像和互动技术展览及会议是世界上影响最广、规模最大，同时也是最权威的一个集科学、艺术、商业于一身的计算机动画（CG，Computer Graphics）及互动技术展览及会议。2008年SIGGRAPH来到亚洲，于12月9日至13日在新加坡举行了首届亚洲电脑图像和互动技术展览及会议（SIGGRAPH Asia）。这是世界最大的电脑图形图像界盛会，也是SIGGRAPH首次选择在美国以外地区举办分会。

我所参与汇报展示的论文，是有关神经网络图像渲染的硬件加速器设计。在计算机图形学中，硬件设计通常紧随渲染算法的进步。然而，即使使用当今最强大的硬件和加速方案，合成图像的视觉效果仍然与实际摄影图像有着较大的差距。最近，开创性的神经辐射场(NeRF)工作使用多层感知器(MLP)隐式地对场景进行建模，并使用体积渲染函数进行逼真的视图合成和3D重建，这在图像生成方面取得了重大进展。NeRF的突破是多方面的：在参数量方面，NeRF的参数相较于传统渲染方案大大减小，仅为4.6MB；在图像插值方面，由于NeRF提供了全视函数的固有连续表示，因此能够实现现有技术中难以实现的非线性插值。

现阶段在使用NeRF进行图像渲染时，仍然严重依赖于高端GPU。例如，在NVDIA RTX 3090上，原始的NeRF对于800x800大小的图像仅能以0.05fps的速度进行渲染，Instant-ngp在相同分辨率下可以达到260fps。然而，体积庞大、耗能较高的GPU无法满足时下流行的虚拟现实(VR)和增强现实(AR)终端对体积、重量与功耗方面的要求。若要在这些终端上使用NeRF作为渲染引擎，则需要同样轻量级的图形处理器，在尺寸大小和功率上需要匹配终端设备的规格。

基于此背景，我们组设计了ICARUS，一种为NeRF渲染算法量身定制的新型轻量级图形渲染硬件加速器架构。ICARUS使用专用全光核心(PLCore)作为关键运算单元来执行完整的NeRF渲染步骤，因而不需要片外数据交换和临时存储。每个PLCore由一个位置编码单元(PEU)、一个MLP引擎和一个体渲染单元(VRU)组成，它接受位置和方向信息，并输出相应的像素颜色。为了实现NeRF中代价最大的MLP运算，我们将全连接中的矩阵乘法转换为近似的可重构多重常数乘法(RMCM)。这种常数乘法与传统的乘法累加(MAC)方法相比，降低了约1/3的硬件复杂性，以达到低功耗、小面积的设计目标。

汇报结束后，我们与来自世界各地的相关研究人员共同探讨。通过参加本次SIGGRAPH会议，我对当今视觉领域的发展有了更为全面与深刻的认识，这对于我们后续进行相关硬件加速器开发的工作有着指导性的意义。