拥有像 X 光一样的透视能力长久以来彷佛都还是科幻小说中涌现的超能力,不过在最近十年,一个由麻省理工学院打算机科学与人工智能实验室(Computer Science and Artificial Intelligence Laboratory,CSAIL) Dina Katabi 教授领导的团队,正持续地开拓“穿墙透视”技能。

他们最新的项目,“RF-Pose” ,正利用 AI 演习无线设备感知人类的姿态和运动。
这项技能乃至可以穿墙不雅观察墙对面的情形。

研究职员利用神经网络剖析从人类身体上反射的无线电波,然后天生简单动态骨架构造图(火柴人图)来展示人类行走、停下、坐下和四肢移动的动作。

该团队称,“RF-Pose” 项目的技能能够被用来监测类似帕金森、多发性硬化症和肌肉萎缩症等疾病,为年夜夫供应更多信息,从而对症下药。
这项技能也将通过监测跌倒、受伤和运动模式的变革,来帮助老年人能够更独立的生活。
他们现在正和年夜夫们互助,来探索 “RF-Pose” 在医疗领域的运用。

AI无线设备隔着墙壁也能看穿你

团队网络的所有数据都得到了受试者赞许,并且经由匿名加密以保护隐私。
在未来运用方面,他们操持实行一套“容许机制”:受试者通过进行一系列运动来启动设备的监测。

论文共同作者 Katabi 说:“我们创造,通过监测病人的行走速率和基本活动,年夜夫能够重新的角度得到一些对治疗疾病故意义的信息。
我们利用方法的紧张上风在于,病患们不须要穿着或调度任何设备,就能实现监测于无形。

除了医疗康健领域的运用,团队表示,该项目还可以用在须要玩家在全体屋子中移动的视频游戏中,或者须要定位幸存者的搜救任务等。

除了 Dina Katabi 教授,该论文的作者还包括博士生 Mingmin Zhao(赵明民,一作)、Antonio Torralba 教授 、硕士生 Tianhong Li、博士后 Mohammad Abu Alsheikh、 博士生 Yonglong Tian、 博士生 Hang Zhao。

他们将在本月晚些时候在犹他州盐湖城召开的打算机视觉与模式识别会议(Conference on Computer Vision and Pattern Recognition,CVPR)上展示这一成果。

对研究职员来说这个项目最大的寻衅是,大多数神经网络都须要人工标注的数据集来进行演习。
以一个识别猫的神经网络为例,其须要人们找到一个很大的图片数据库,并且将个中的图片都标注为“是猫”和“不是猫”。
其余,人工标注项目中所用的无线旗子暗记并不随意马虎。

为理解决这一难题,研究者利用无线设备和摄像头来采集数据。
他们拍摄了数千张人类活动场景(如行走、说话、坐下、开门和等电梯)的照片。

随后,他们从这些相机拍摄的照片提取出不同姿势的人类简单骨架(火柴人图,用于表示人体姿态),将其与无线旗子暗记对应起来。
这样的组合能让系统学习出场景中无线旗子暗记和火柴人图之间的关联。

在演习后,“RF-Pose” 能够通过人类人体反射的无线旗子暗记来估计人类的姿势和运动,而不再依赖于照片。

由于摄像头不能穿墙透视,神经网络从未利用过隔墙场景下的数据进行演习。
不过让 MIT 团队十分惊异的是,这个神经网络能够举一反三来实现“隔墙透视”预测。

Torralba 说:“如果你把打算机视觉系统当成一个老师,那么这个例子真的很有趣,作为学生的无线旗子暗记不雅观测系统居然比老师还厉害了。

除了检测运动,作者还展示了利用无线旗子暗记识别身份的技能。
他们通过不雅观测无线旗子暗记识别一组 100 个人的身份,能达到 83% 的识别精确率。
这种技能将在须要识别特定人身份的搜救行动中非常有帮助。

在这篇论文中,模型的输出是二维的火柴人骨架图。
不过该团队正在将其扩展到三维,以监测更小幅度的运动。
比如,这个别系将能够通过不雅观察老年人的手的摆动规律,来确定是否须要康健检讨。

赵明民表示:“通过视觉数据和 AI 结合实现穿墙不雅观测,通过视觉数据和 AI 结合实现穿墙不雅观测,我们能够更好地理解生活场景,供应让生活更安全,高效的环境。