上海智能视觉影像及应用工程技术研究中心

一、虚拟和增强现实

1. 虚拟现实和增强现实技术所需的光场数据采集方法研究,搭建不同类型的光场采集系统,包括基于微透镜阵列的光场采集系统、基于相机阵列的光场采集系统、基于360度环视相机的光场采集系统,设计开发适用于不同尺度和应用场景的光场捕获系统,如光场显微镜、光场内窥镜、实时重对焦光场相机阵列、应用于外空间的光场相机等,从而建立从微观到宏观的视觉计算平台,从2D图像信息跨入3D全息信息处理,实现虚拟现实和增强现实应用从微观到宏观的尺度多变性;2. 虚拟现实和增强现实技术所用到的高维数据处理算法研究,研究光场数据高比例无损压缩、光场数据实时传输、光场图像重对焦、连续多视点自由转换、基于神经网络的3D场景感知、基于深度学习的光场数据建模等光场处理算法,实现高真实感的虚拟现实和增强现实场景重建和渲染效果。3. 虚拟现实和增强现实技术的光场显示方法研究,利用软硬件一体化设计的方法,研究用于新型光场显示技术高维数据降维、分解和优化方法,裸眼光场实时显示方法,虚拟现实、增强现实和混合现实展示平台,以及光场显示头盔设备等。



二、安防技术

研究主要对公共场所、道路交通、楼宇园区、零售场所、以及民宅安防等领域的监控视频进行分析,提取关键信息实现安全保障和预警预防。根据所提取的关键信息,安防领域的人工智能技术主要包括人脸检测识别、生物特征识别、车牌识别、物体识别、人/车计数、趋势预测、轨迹/行为预测、异常检测等。



三、自动驾驶

研究包括环境感知、行为决策和运动控制三个模块。其中环境感知模块主要通过摄像头、激光雷达、毫米波雷达、超声波传感器等手段获取的环境信息,以及通过GPS获取的车身状态信息,进行物体检测、分类和跟踪,包括道路、交通标志、车辆、行人、障碍物等,并通过三维重建和场景分割等技术配合GPS信息理解场景并对自身和周边的物体的位置、姿态和速度进行估计。行为决策模块根据实时路网信息、交通环境信息和自身驾驶状态信息,产生遵守交通规则(包括突发异常状况)的安全快速自动驾驶决策,主要根据全局路径规划、可行驶区域预测、障碍物存在状况以及乘坐体验舒适度,实时地规划行驶轨迹。运动控制模块则根据规划的行驶轨迹,结合环境感知模块输出的当前位置、姿态和速度,产生对油门、刹车、方向盘和变速杆等器件的控制指令。



四、机器人视觉

研究主要包括两个方面:首先,探索单目和多目以及深度视觉系统在家庭辅助机器人中的应用。利用机器视觉对室内环境进行三维建模和定位,识别并跟踪移动的物体和人,并以此进行精确和高效的路径规划以及对简单物体进行操作,如抓取小物件等。在算法层面探索视觉和控制的融合,以及增强学习算法的深入应用。开发出可以与人进行简单协作的机器人原型系统。同时,在工业应用方面,开发高速机器视觉系统在机器人作业中的应用,利用机器视觉对生产线各环节定位、检测,利用逆运动学方法计算机器人的控制数据,对机器人出现故障时的利用视觉数据进行自动诊断和恢复,在自动化生产线的基础上进一步提升智能化水平。



五、医疗影像与数据分析

中心的主要方向包括:以大量数据分析为基础,借助先进的计算机图像处理、计算机建模、深度学习等手段,完善优化现有算法,以期得到更精准更丰富更系统化的医学影像信息;将人工智能视觉技术、医疗大数据和深度学习方法相结合,为疾病诊疗提供更加高效、准确、便捷的智能医学影像分析和诊断结果预测;针对移动性、远程医疗和云医疗等需求,为智能医学影像的多途径、多平台应用开发相应的技术手段和技术平台;综合多种成像技术的内在优势,借助先进数据分析及处理技术,实现多模态多尺度下对人体器官、结构和功能的可视化表现;针对现有医疗成像技术的缺陷,研发基于非传统物理原理的新型生物医学及人体成像检测技术,实现和传统主流成像检测手段的互补;研发半监督的深度学习技术,将有限的有标注样本数据充分利用起来,但又不过于依赖标注数量。此外,我们将把数据驱动与知识驱动的建模方法结合起来,把医生的知识与经验进行数字化,进一步减轻对数据的数量与质量的依赖;开发数据融合技术,把医疗影像数据与其它类型的数据结合起来,比如基因检测数据,病例数据等,帮助实现以病人为中心的精准医疗的目标;研发医生与人工智能系统和大数据的先进的交互技术,比如用虚拟现实(VR)和增强现实(AR)技术来可视化影像数据,帮助医生发现数据中更深层次的关联。