谷歌「掌上雷达」让你通过手势控制手机,隔空取物般的魔法即视感

Xsens动作捕捉 2023-05-11 2647

2019年的第一天,谷歌喜提新年大礼:美国联邦通信委员会(FCC)在2018年的最后一天,批准了谷歌的手势操作感应系统:“Soli项目” 所申请的频段,允许它的毫米波雷达使用57-64GHz,峰值等效全向辐射功率(EIRP)可达13dBm。

这意味着,在销声匿迹两年后,“掌上雷达” Soli项目将按计划继续开发下去。

谷歌「掌上雷达」让你通过手势控制手机,隔空取物般的魔法即视感  第1张

谷歌Soli项目最初于2015年公布,是谷歌先进科技与计划部门(ATAP)开展的实验性项目之一,致力于打造一个基于60GHz毫米波雷达技术的虚拟操控系统。利用雷达技术捕捉人的手势,对机器进行操作,其精度可达亚毫米级别。当时,它作为一个黑科技概念走入公众视野,人们并未对其有特别的长远的期待。

而现在,这个乍看之下平常无其的消息,意味着Soli项目将被允许进入部署阶段,是对当下所有电子设备厂商和消费者发出的一个重要预警信号:手势操作感应,很可能是近在眼前的一项未来交互科技。

Soli项目关键障碍:毫米波雷达频率

用户只需要将手放在传感器前方,凭空做出特定动作,比如打个响指,就可以控制智能手表和音箱等设备。它的操作演示是这样的:

谷歌「掌上雷达」让你通过手势控制手机,隔空取物般的魔法即视感  第2张

还有这样的:

谷歌「掌上雷达」让你通过手势控制手机,隔空取物般的魔法即视感  第3张

和这样的:

谷歌「掌上雷达」让你通过手势控制手机,隔空取物般的魔法即视感  第4张

妥妥的科幻电影即视感。

而具体谈起Soli项目,就不得不先说一下前面提到的先进科技与计划部门(ATAP)。

它原本属于摩托罗拉,从名字就可以看出这是一个专门搞事情的部门,其初衷就是为了(烧钱)尝试各种创新技术,不在乎最终结果,很符合谷歌的黑科技发展方向,因此在出售摩托罗拉时,谷歌把这个部门收编了。

除了Soli项目,ATAP还拥有:研发移动端AR计算平台的Tango项目(现已终止),研发模块化手机的Ara项目(现已终止),研发在衣服纤维上嵌入传感器的Jacquard项目等等。

谷歌「掌上雷达」让你通过手势控制手机,隔空取物般的魔法即视感  第5张

图 | Jacquard 项目与 Levi’s 合作的夹克(来源:Levi’s)

和其他项目类似,Soli项目早已存在,它的第一次亮相最早可以追溯到2015年的I/O开发者大会。只是这个想法放在今天,仍然噱头十足,不禁让人感叹“你大爷始终是你大爷”。

与市面上的绝大部分手势和动作捕捉技术不同,Soli使用的是毫米波雷达技术,而非2D、3D摄像头或者红外光。它的工作原理与我们熟悉的雷达相同,首先向一个区域发射电磁波,再接收物体反射回来的电波,加以处理、计算和分析。

比如食指和拇指一张一合时,会模拟出按按钮的动作,而它们来回摩擦时 ,会模拟出旋转旋钮的动作,这些动作都会干扰电波返回的时间和速度。在收集电波规律并加以分析和计算后,系统就能够识别出特定的运动模式,进而确定用户所做的动作,发出响应控制指令。

谷歌「掌上雷达」让你通过手势控制手机,隔空取物般的魔法即视感  第6张

Soli雷达传感器使用的频率极高,波长很短—60GHz频率对应5毫米波长—因此它能量集中,方向性强,抗环境干扰,可以集成在封装内,轻易地穿过塑料外壳,捕捉毫米级别的手部动作变化,同时保证回波强度。

然而理想很丰满,现实却很骨感。经过一系列测试和数据分析,谷歌发现,为了实现这些黑科技,Soli所需的毫米波雷达芯片功率必然会超过10dBm,至少需要13dBm。于是谷歌早在2018年3月就提交了相关申请,想要在美国获得和欧洲标准一样的20dBm峰值EIRP。

获得这个许可非常重要,它直接关乎到Soli项目是否需要改变设计思路,甚至是生死存亡。

谷歌「掌上雷达」让你通过手势控制手机,隔空取物般的魔法即视感  第7张

图 | 谷歌认为 Soli 工作的最小峰值 EIRP 是 13 dBm(来源:FCC)

不过在征求公众意见期间,IEEE 802,CORF,CCIA和FARS等许多通信机构对谷歌的技术提出了异议,担心超过一定强度的毫米波雷达会干扰同样利用这个频段的飞机设备,通信卫星和60GHz WiFi(WiGig技术)。

硅谷科技巨头Facebook也提交了意见书,担心谷歌的雷达传感器会干扰它的Terragraph技术—一种60GHz无线宽带上网服务。毕竟申请许可这事也得讲个先来后到,Facebook和高通早就已经提交了Terragraph技术的频段申请。

这也是FCC迟迟没有批准申请的原因。在9个月的时间里,谷歌提交了更多的测试数据,证明他们的雷达芯片不会产生严重的干扰,并且与Facebook就峰值EIRP等技术细节达成共识,保证将芯片参数控制在“合理范围内”,最终说服FCC发放最高13dBm的57-64GHz频段许可。

虽然还没有达到欧洲的20dBm,但是足以让Soli项目按照现有路线继续下去。

谷歌「掌上雷达」让你通过手势控制手机,隔空取物般的魔法即视感  第8张

软硬结合,幸好谷歌玩得起

不过这样的雷达技术成本很高,而且想要完成动作捕捉和发送指令,仅仅用雷达收集数据还不够,还要实现即时的数据传输、整合、计算和分析。

面对如此高强度的数据处理要求,摄像头和红外光的解决方案似乎更胜一筹:成本低,技术成熟,而且捕捉精度也不差。例如美国初创公司Leap Motion就在这一领域深耕多年,其手势捕捉系统依赖于摄像头和红外线,已经可以完成操控无人机这样的精密操作。

研发成本高昂的雷达技术,也就只有像谷歌这么财大气粗的公司才敢玩。

事实上,Soli团队最初也只是抱着“我行我上”的心态来尝试概念验证。在2014-2015年,他们造出了一部台式机那么大的雷达系统,配有N个冷却风扇。谷歌内部安全人员甚至要求他们在设备上贴上“过热警告”。

谷歌「掌上雷达」让你通过手势控制手机,隔空取物般的魔法即视感  第9张

图 | Soli团队设计的原型机(来源:Soli)

这么个庞然大物,怎么想,也装不到手表里。难不成要背着走?

然而只过了不到一年,Soli团队就重新设计了整个雷达系统,缩小成一块8mm x 10mm的芯片,上面集合了所有雷达天线和传感器,包括4组RX天线阵列和2组TX天线阵列,还开发了两种构架:调频连续波雷达(FMCW)和直接序列扩频雷达(DSSS)。

这背后的最大功臣是英飞凌公司(Infineon),它利用雷达信号处理领域的专业知识,配合谷歌的算法特殊定制了这款芯片。两家公司的软硬结合让隔空操作成为了现实。

谷歌「掌上雷达」让你通过手势控制手机,隔空取物般的魔法即视感  第10张

图 | Soli芯片结构图(来源:英飞凌)

支持 Soli 项目的硬件,也不远了?

在2016年的I/O大会上,Soli团队负责人Ivan Poupyrev展示了新系统的强大潜力。随着算法,软件和硬件方面的多重优化,芯片的体积和功率双双降低,但却保持了相当高的雷达精度,分辨率约20毫米,侦测更新率最高可达18000 FPS,最多可以支持15米内的动作捕捉。

Soli团队在现场演示了隔空操作LG手表和JBL 音箱。在一定区域内,表盘上的内容会随着手与手表之间的距离变化而变化,可以模拟信息流滚动。

谷歌「掌上雷达」让你通过手势控制手机,隔空取物般的魔法即视感  第11张

图 | 谷歌I/O大会演示

一旦手与手表的距离小于预设阈值,系统就会自动调出菜单列表,用户只需要特定手势就可以完成浏览,选取和确认等指令。

JBL音箱的操作也是大同小异,开机、放歌、切歌和关机都可以隔空实现。整个过程无需触碰,看起来还是很酷的,而且从某种角度上讲,手指操作比触摸还更加符合直觉,因为做出简单动作几乎不需要思考,也不需要视觉的配合。

谷歌「掌上雷达」让你通过手势控制手机,隔空取物般的魔法即视感  第12张

图 | 谷歌I/O大会演示

不过在大会上,Ivan Poupyrev也承认,在算法和软硬件优化过程中,Soli团队遇到了很多棘手的技术问题,比如I-Q不平衡和多普勒镜像伪差,还有很多以前从未见到的新问题,这些都会影响到最终的动作捕捉准确率。

在当时,按照Soli合作伙伴英飞凌的说法,这两款支持Soli的智能设备将在2017年中旬问世。然而直到现在也没有任何消费级产品出现,只有一些开发者参与了非常初级的Soli Alpha测试,添加了一些亮眼的应用场景,比如雷达辨物,3D绘图,手势密码和凭空弹琴等。

谷歌「掌上雷达」让你通过手势控制手机,隔空取物般的魔法即视感  第13张

图 | Soli Alpha测试演示

Soli项目的最新进展也就仅限于此了,自此之后一直销声匿迹了两年。

事实上,英飞凌在2017年更新了相关的信息文档,将Soli产品预计公布日期调整到了2018年底。但鉴于谷歌在2018年的最后一天刚刚获得雷达频段的使用许可,英飞凌可能又要修改文档了。

不过这都是小事情,FCC的批准已经说明,谷歌并未像终止Ara和Tango那样对待Soli项目,反而是在这几年里默默进行研发,说不定已经有了关键技术突破,才会提交放宽限制的申请。

也许有生之年真的可以看到谷歌ATAP的Soli项目落地,心里还有些小激动。不说了,我准备去练练火影忍术结印,以后用来控制家里的电子设备还是很热(中)血(二)的。

-Fin-

本文来自麻省理工科技评论APP微信公众号(ID:MIT-TR-China),原标题:
谷歌雷达芯片项目获批,触屏时代或将终结?
参考:
https://ecfsapi.fcc.gov/file/10907489822345/2018-09-07%20Joint%20Letter%20(ET%2018-70).pdf
https://www.fonearena.com/blog/142896/google-announces-project-soli-a-radar-based-gesture-control-technology.html
https://www.infineon.com/dgdl/Infineon-Google+Soli+FAQ+Document-FAQ-v03_00-EN.pdf?fileId=5546d4625d5945ed015d9845149e04c4
https://docs.fcc.gov/public/attachments/DA-18-1308A1.pdf
https://ecfsapi.fcc.gov/file/108272309323459/08272018%20Soli%20Ex%20Parte%20FINAL.pdf
https://www.etsi.org/deliver/etsi_en/305500_305599/305550/02.01.00_20/en_305550v020100a.pdf
https://www.infineon.com/cms/en/product/promopages/soli/?redirId=59739
https://atap.google.com/soli/

The End