逝者如斯夫，不舍昼夜。特别荣幸能在多年的研究生生涯结束前赴韩国参加计算机图形学顶会SIGGRAPH-ASIA的交流讨论，并对我所发表的文章 “ICARUS: A Specialized Architecture for Neural Radiance Fields Rendering” 进行汇报。我们针对当前主流的神经辐射场任务，通过优化计算流的控制以及使用定制化的近似计算模块，设计了一个专用的高效的硬件架构ICARUS，实现了端到端的神经辐射场渲染。
此次出访是在疫情环境下投稿国际会议的时候所没有想到的，一来是国内的疫情环境仍然比较复杂，其次出国手续以及回国隔离等政策都影响着我之后的科研工作安排。不过在老师和同学们的协助下，最终顺利完成了此次出国交流。特别庆幸此次出访协同其他课题组的同学（张启煊，张文龙以及仇泽松等）一起行动，在很多问题上能够相互讨论和解决，避免了在异国他乡出现问题无法求助的困扰。在会议日，我们前往会议大厅参加了不同种类的汇报，譬如会议汇报，海报展报，成品展示等。我对神经渲染有关的文章汇报很感兴趣，也进一步了解到不同的学校课题组对神经辐射场渲染的优化以及引申。之后我们还在展厅里面参观了不同的公司展示的Demo，包含他们最新的一些成果，这些成果都特别有趣，例如使用摄像机对棋盘上的棋子进行追踪；一个全息投影的电子宠物展示；环境净化监控系统等。同时还与很多公司进行了沟通，了解他们最新产品。在展厅同样也参观了艺术主题的相关展示，将AI应用在游戏，影视中所做出的一些成果，例如输入城市，AI便描绘出这个城市未来的风景和特色。这些展示让我了解到神经网络这一热门话题在不同领域上的应用和拓展，深入体会到将技术落地将会带来多少变化，同时也坚定了我将自己的硬件设计进行优化并实现的决心。
图2. 艺术主题展厅展示
在会议举办的第三天下午，我对自己的工作进行了汇报。我的工作主要是将神经辐射场渲染任务进行硬件实现。首先，追求交互式的实时渲染是计算机图形学终极目标。传统上，实时渲染被视为一种模拟光线与场景中的物体发生反应所呈现的图像效果。它通常需要在 3D 几何重建、材料选择和光线计算方面进行大量工作。即使使用当今最强大的硬件和加速方案，仍然很容易区分合成的图像和场景的实际照片。最近的神经渲染方法，神经辐射场（Neural radiance Fields，NeRF)隐式地再现了完整的全光函数。它通过多层感知机（Multilayer perceptron, MLP）对辐射场的体积密度进行建模，并使用体渲染算法来实现逼真的视图合成。然而，大量的网络计算使得渲染一张图像特别耗时，更不用说训练单个网络模型。最近学术界已经提出了许多算法级加速方案。例如，KiloNeRF 将卷拆分为多个部分，并使用小型网络高效执行每个部分。然而，它需要从存储中传输数千个网络模型，带宽需求特别高。PlenOctree，采用不同的数据结构来保存空间特征，实现实时渲染。但是，它需要很大的空间来存储数据结构。Instant-NGP 采用哈希编码，将网络简化为一个紧凑的网络，将训练时间从几小时缩短到几秒钟。尽管如此，它还是依赖于显卡的硬件特性，例如缓存的内存大小。高带宽和大存储容量使得它们很难部署在轻量级图形应用程序中。例如移动设备、头戴式显示器和光场显示器。
图4.工作进行汇报（2）
在这项工作中，我们展示了 ICARUS，这是一种为 NeRF 渲染量身定制的专业轻量级图形架构。它主要由主处理器、动态内存DRAM和ICARUS系统组成。CPU生成的网络模型、位置和方向信息存储在DRAM中，运行时在CPU的控制下输入ICARUS。片上网络将控制信号和输入信息发送到全光计算单元中。整个 NeRF流程在单个全光计算单元内完成，期间不需要进行任何的片内外数据交互。当NeRF渲染计算完成后，最终的像素颜色将流入DRAM并返馈回到显示器中进行显示。根据 NeRF 流水线，我们设计了具有三个主要功能的计算单元：一个位置编码单元、一个 MLP 引擎和一个体积渲染单元。为了验证所提出的渲染系统，我们在 Synopsys HAPS-80 系统（一个基于 FPGA 的原型 验证系统）上构建了一个验证原型。主机 PC 作为主处理器，根据渲染算法生成控制信号。生成的控制信号通过 PCIE 总线发送到 HAPS中 。HAPS中的ICARUS 读取输入的控制并执行相应的渲染管线。实验结果表明，无论是在视觉上还是在速度上，ICARUS都可以实现与 GPU相似的性能。
图5.文章中的测试系统
参加此次的学术会议，让我深刻体会到图形学领域对实时逼真图像渲染的追求，在不同的方向上的积极探索，特别是利用AI技术辅助渲染。套用《三体》中Clarke的墓志铭：“他从未长大，但从未停止成长”，随着时间的推移和研究的深入，神经渲染将会越来越繁荣，可以预见，它的发展将对我们的生活体验带来巨大的影响。
沪公网安备 31011502006855号
