background pattern

微软亚洲研究院铸星学者计划

铸星闪耀 | 张扶桑:开展以人为本的研究,结识惺惺相惜的伙伴

分享这个页面

编者按:微软亚洲研究院“铸星计划”向全球杰出的青年学者发出邀请,提供在微软亚洲研究院进行为期三个月研究访问的机会。无论是与领域内顶尖研究员合作的机会,还是丰富的数据集和强大的支持资源,抑或是产业界独有的实际应用场景,都吸引着青年才俊们来到微软亚洲研究院探索领域内的前沿新知。

本文讲述了 2022 年度“铸星计划”访问学者、中国科学院软件研究所副研究员张扶桑的“铸星”故事。人在哪里,场景在哪里,无线感知研究就会在哪里。无线感知能为儿童车内遗留问题做些什么吗?带着这样的愿景,张扶桑来到微软亚洲研究院(上海),完成了一段成果丰硕的“铸星”之旅。


通过“铸星计划”,中国科学院软件研究所副研究员张扶桑来到微软亚洲研究院进行为期三个月的短期访问,与微软亚洲研究院副院长邱锂力一起针对无线感知领域的难题合作开展研究,目前已有一篇论文投稿 UBICOMP2024。在这过程中,张扶桑副研究员已经与互联网、无线网络和感知领域的领军人物邱锂力博士结成惺惺相惜的科研伙伴。

张扶桑(右四)、邱锂力(左五)研究团队合影
张扶桑(右四)、邱锂力(左五)研究团队合影

以人为本的科学研究

“用户导向,以人为本”是张扶桑对无线感知领域的概括。人在哪里,场景在哪里,无线感知研究就会在哪里。小到智慧家居,大到健康养老,无线感知为用户提供透明无感的智能化服务。

“很多新闻都报道过小孩在夏天被遗忘在车内的事故,看得我们非常痛心。所以我们在选题的时候就决定,要选择一个更有社会意义的方向来做研究。”邱锂力说。

新能源汽车和自动驾驶技术正在以前所未有的速度走入千家万户,然而,幼童被遗留或反锁在车内的安全隐患却从未离开。炎热的夏天,封闭车内空间的温度可以在短时间内上升至 40-60°C,如果儿童被不慎遗留在车内,很可能有生命危险。张扶桑在调研时发现,欧洲 NCAP 计划要求车辆安装“儿童车内遗留检测功能”,很多车企厂商也有开发感知儿童遗留功能需求。“车内儿童安全”是一个被人忽视但又十分重要的问题,而汽车上部署的大量麦克风和扬声器为分布式声波感知技术的实现提供了绝佳机遇,团队立即决定将研究问题与社会的实际需求相结合,聚焦于“利用无线感知检测儿童车内遗留”这一场景上。

车内儿童遗留事故的新闻报道
车内儿童遗留事故的新闻报道

生活感知在常规的音响和手机上已有较为成熟的研究,然而车内空间领域仍有很多空白。在传感信号的选择上,团队也进行了几番斟酌:雷达信号成本过高,座椅压力传感器在车内加装儿童安全座椅时就会失灵,摄像头虽然可以做到较为全面的感知,但摄像头在汽车内的部署并未普及……最后,声波成为了最优选择,设备费用便宜,且感知效果非常精细。

“与传统智能家居的场景相比,车载空间是非常非常小的,有效面积可能只有 2-4㎡。这就要求我们充分利用车内丰富的多径信息,通过回波提取的手段,在空间的各个角落里增强信号。”张扶桑说,“使用分布式的方式来做无线感知也是一个很有意思的探索方向。从最基础的理论上来做科研,能让我们的研究挖得更深。

狭小复杂的感知环境

张扶桑和邱锂力的研究考虑使多个不同方位的扬声器同时循环连续发出同一个声音信号,经过不同路径到达检测目标,然后再反射到麦克风被接收。不同于宽敞的起居室场景,2-4㎡ 的小小一方空间内有座椅、变速器、显示屏、仪表台等各种车内设施,导致声波路径异常复杂,再加上外部天然环境噪声的不断干扰,种种因素都为声波信号的收集、处理和建模都带来了异常艰难的挑战。

实验是一场艰难的探索之旅。由于场景选定为车载空间,因此所有的实验也都需要在车内进行。为了模拟真实场景,张扶桑团队需要将儿童每一处可能活动的位置都进行测试。车内空间狭小,且闷热不通风,夏天几场实验做下来,往往汗流浃背。

实验现场
实验现场

张扶桑回忆,邱锂力对声波感知方面的深刻洞察和开阔视野时常帮助团队打开新的研究思路。面对复杂的感知环境,邱锂力提出通过信号回溯的方法应对车载的分布式多径环境,以便尽可能还原出每一条路径,增强整体的感知效果。

最终,他们敲定了在分布式多扬声器信号叠加模型的指导下实现车内儿童存在性检测的解决方案,并对其进行理论分析,确保研究成果有坚实的理论支撑。

解决方案示意图
解决方案示意图

此外,研究还在解决有遮挡时信号微弱难以识别等关键问题上取得突破,实现了良好的检测性能(点此查看演示 demo (opens in new tab) )。在移动场景下的非接触感知方面,团队希望利用智能手机等集成了 UWB 模组、LiDAR 模组的感知设备,对手持感知设备移动的人体进行感知。由于设备的移动和人体微动都会干扰感知目标的信号,这对非接触感知的基本原理带来了较大挑战。研究通过设定静态物体参照,对照静态目标信号提取出感知目标的位置和信号攻克了这一问题。

惺惺相惜的合作伙伴

微软亚洲研究院副院长邱锂力事务繁忙,每天的日程排得满满当当。尽管如此,她作为张扶桑的合作研究员,依然坚持每周挤出时间组织会议和研讨,对于研究的每个关键点都进行细致把关,也会和研究团队成员保持交流。

“张扶桑治学严谨,为人很平易近人,我能从日常讨论中感受到他对于科研的巨大激情。他推进科研的速度也给我留下了很深的印象。实验的工作量是巨大的,我本来预估要花上比现在还多一倍的时间,没想到最后这么快就做出了成果。”邱锂力说,“通过铸星计划,我们现在可以跟学术界更紧密地合作完成科研项目,结识更多伙伴。”

张扶桑和邱锂力的研究方向一致,研究思路也非常契合,彼此互为并肩作战的好战友。在这样开放和平等的氛围中,时常迸发出灵感的火花和敏锐的洞见。回忆起开会的场景,张扶桑给出的关键词是“放松”。团队每位成员都可以大胆提出自己的想法,大家会一起讨论方案的可行性。“邱老师已经是副院长了,但她非常亲切平和,大家都是在很自由地交流和探讨学术问题。在微软亚洲研究院,教学相长和双向交流是更明显的特征,通过持续交流激发灵感,探索科研新思路,实现技术新突破。”张扶桑感叹,“我和邱老师彼此真是惺惺相惜。”

张扶桑参加“铸星计划” 2023 分享会
张扶桑参加“铸星计划” 2023 分享会

对于张扶桑而言,微软亚洲研究院的魅力在于,年轻学者们可以与不同背景的同龄人共同讨论问题,在短时间内大量与不同领域的顶尖研究者交流切磋。这对于青年学者开拓研究视野具有很大的帮助。

微软亚洲研究院首席研究员熊杰曾经是美国麻省大学计算机系的副教授。熊杰看到无线领域的资深前辈邱锂力博士加入了微软亚洲研究院后,跟随前辈的步伐,于一年后也加入微软亚洲研究院。铸星计划开始后,熊杰也加入了张扶桑和邱锂力的研究团队。三人分工合作,张扶桑主要负责理论研究和实验验证,熊杰和邱锂力则一起帮忙分析数据和交流想法,并在研究的思路上给出建议。

此外,在访问过程中,张扶桑还结识了人工智能和机器学习领域的微软亚洲研究院首席研究员李东胜,二人的知识面刚好形成互补。李东胜老师从模型角度为张扶桑的研究提出了很多建议,给予张扶桑很多灵感:当信号处理达到极限的时候,能不能用这些方法往前在推一步,为信息处理找到一个介于计算机和人工智能之间的方式?能否让研究结果更具有鲁棒性和检测准确性?这些奇思妙想,为张扶桑未来的研究工作提供了新的研究思路。

铸星计划为张扶桑提供了一个契机,与微软亚洲研究院搭建起沟通的桥梁。未来,邱锂力邀请张扶桑继续参与微软亚洲研究院的开放合作研究项目,双方将沿着超宽带领域一路携手探索,继续寻求突破。正如张扶桑所言,“无线感知是一个挖不完的宝矿”。