2023年5月21日至5月25日，第五十六届国际电气与电子工程师协会电路与系统国际研讨会（The 56th IEEE International Symposium on Circuits and Systems，简称ISCAS）在美国加利福尼亚州蒙特雷召开。ISCAS是国际电气与电子工程师协会电路与系统分会（Circuits and Systems, 简称CAS）下规模最大的旗舰会议，同时也是电路与系统分会下电路与系统领域影响力最大的国际学术会议，旨在为电路与系统理论、设计和实现领域研究人员提供交流学习的机会。ISCAS 2023以“Technology Disruption and Society”为主题，强调CAS协会为当今社会面临的挑战寻找创新解决方案的潜力。我很荣幸能前往蒙特雷参加ISCAS 2023会议进行学术交流，并于5月24日中午在会议图像处理部分的海报展示环节展示我所发表的文章“An Efficient Frequency Domain Vision Pipeline From RAW Images to Backend Tasks”。
近年来，根据物联网应用的要求，基于卷积神经网络的视觉算法需要部署在资源和功率受限的嵌入式边缘设备中。与此同时，作为视觉系统的另一个重要组成部分，图像传感器也在快速发展，我们能得到的图像分辨率在不断增大。研究表明，图像分辨率的适度增加可以提高视觉算法的性能，但是现有的卷积神经网络接收的图像分辨率都比较低，由于硬件资源的限制，高分辨率图像很难用于基于卷积神经网络的算法。为了在卷积神经网络中使用现代图像传感器捕获的高分辨率图像，一种常见的方法是在将图像馈送到网络之前对图像进行下采样。但这种方法会导致信息丢失和准确性下降。另一种方法是将图像转化到频域进行学习，除了空间域频域转化外不需要额外的计算和特殊的网络设计。
对于整个嵌入式视觉系统，我们考虑从图像传感器生成的原始图像到最终视觉算法的端到端管道。传统的计算机视觉流水线可以分为三个部分，即传感器图像捕获、图像信号处理和后端视觉处理。事实上，传统的图像信号处理模块是针对人类视觉而设计和优化的，其目的是将原始图像数据转换为看起来与现实场景相似的图像。然而，图像信号处理管道中的大多数处理步骤对于计算机视觉任务来说并不是必需的，因为它们主要用于拟合人类视觉系统。在对频域图像进行学习的管道中，图像在馈送到视觉算法之前通过离散余弦变换从空间域转换到频域。尽管高分辨率有利于视觉性能，但它也是有代价的。图像信号处理流水线中有大量工作，消耗了整个视觉系统的大部分处理时间和功率。此外，图像分辨率越高，在图像信号处理和空间域频域转换的步骤中需要的计算资源、时间和能耗就越多。因此，我们需要对频域图像学习管道中的预处理部分，包括图像信号处理和离散余弦变换，进行深入研究以实现高效的视觉系统设计。
这篇文章探讨了图像信号处理和空间域频域转换操作，以优化从原始图像信号到视觉任务的端到端管道，目标是通过删除不必要的操作和简化必要的操作步骤来最小化整个管道，同时保持甚至改善最终计算机视觉精度。本文探索了不同的图像信号处理和空间域频域转换操作，并提出了一种从原始图像到视觉任务的高效端到端频域学习管道。特别是，我们通过跳过整个图像信号处理管道并将离散余弦变换替换为无乘法的近似变换来简化预处理部分。实验结果表明，我们所提出的流水线的最终视觉性能与传统流水线非常接近，同时可以节省大量的冗余操作。
这次参加ISCAS 2023是一次令人难忘的经历，给我留下了深刻的感受和宝贵的收获。通过聆听会议报告，我了解到了不同方向、不同领域的发展现状，也从他们的研究成果中学到了许多新的想法和技术；通过向参会人员展示自己的论文，我也意识到了自己在工作中的一些不足。这次学术会议激发了我进一步深入研究电路与系统领域的热情。我意识到这个领域中仍然存在许多未解决的问题和挑战，同时也有巨大的机会进行创新和突破。我对未来的研究方向和实践应用充满了期待，并计划将会议上学到的知识和经验应用到我的研究和工作中。最后，十分感谢上海科技大学和娄鑫老师对我的培养和支持，让我有机会参加ISCAS 2023。
沪公网安备 31011502006855号
