近日，信息学院杨智策课题组的研究成果以“Enabling Tangible Interaction on Non-touch Displays with Optical Mouse Sensor and Visible Light Communication”为题，在人机交互领域国际知名会议 -- ACM Conference on Human Factors in Computing Systems (CHI 2022)上发表。CHI是中国计算机学会推荐的“人机交互与普适计算类”三个A类会议之一，专注于交互式数字技术研究。
鼠标、键盘和触摸屏是我们日常和计算机交互的方式，但在有些场景下，人们追求更加契合的交互方式。实体交互界面（Tangible User Interface，TUI）是人机交互领域一个经久不衰的研究重点。实体交互寻求在物理世界与数字世界之间建立更加直接的联系，它通过实体物品令用户更生动直观地感受并控制数字世界。“召唤你的Amiibo™吧！”是任天堂带给游戏玩家最直观的实体交互体验，用户可使用游戏人物手办同与虚拟游戏世界建立联系。不仅是游戏，实体交互还可与众多领域结合，比如应用于流体力学模拟、音频处理和交互式故事生成。
实体交互界面设计中的关键问题是如何追踪物理实体的位置和朝向。主流解决方案使用视觉定位技术、射频识别（RFID）定位技术和触摸屏技术等。然而这些方法都需要额外的硬件支持，如相机、RFID传感器和大尺寸触摸屏。它们有的价格高昂，有的不便安装。因此，一种造价低廉又易于实现的方案将能够促进实体交互的应用和推广。
研究团队利用生活中广泛存在的光电鼠标传感器，在普通显示器上实现了实体交互功能，避免了购买额外硬件和安装设备等使用成本。鼠标传感器通过感知不同显示区域中肉眼不可见的高频可见光信号，在显示器上实现了高精度定位，进而来支持实体交互方案的实现（图1）。
图1. 通过可见光信号进行定位的原理
图2. 用于实体交互的手办（左）及其内部拆解（右）
研究基于鼠标传感器进一步实现了一种用于实体交互控制的手办（图2）。其成本低廉、功能可定制的特点有望大大丰富应用场景。
图3展示了使用该实体交互界面的一些应用：拼图板、青蛙天平、调色旋钮和混合游戏板。其中，拼图板和青蛙天平可培养幼儿对语言、色彩和数字的认知，调色旋钮可辅助图像编辑，而混合游戏板通过更多感官刺激来增强玩家的游戏体验。
图3.应用示例
此项工作由上海科技大学独立完成。课题组博士生严亦晖为论文第一作者，本科生黄泽喆、徐杜飞扬共同参与了此项工作。信息学院杨智策教授为通讯作者。
杨智策团队长期以来基于对计算机系统和物理信号处理的思考和理解在人机交互领域寻求创新，已产出众多成果。课题组硕士毕业生王志伟发表于人机交互与普适计算领域会议IEEE PerCom 2021上的论文“MousePath: Enhancing PC Web Pages through Smartphone and Optical Mouse”，实现了PC网页和智能手机之间新型的轻量级通信系统。硕士毕业生祝宁之在IEEE MASS 2021会议上发表的论文“Fine-grained Multi-user Device-Free Gesture Tracking on Today's Smart Speakers”，利用压缩感知等算法在智能音箱上实现了支持多人的无源的手势交互。
文章和会议视频链接：
https://programs.sigchi.org/chi/2022/program/content/71941
沪公网安备 31011502006855号
