满屏黑科技!Google新机将实现隔空操控,或终结触控时代?

Xsens动作捕捉 2023-05-10 2918

Google(以下称谷歌)潜心研发数年的手势操控技术 Soli,可能会在今年 10 月首次搭载到谷歌新手机 Pixel 4 上。就在人们已经淡忘了这项在 2015 年的 I/O 开发者大会上首次亮相的技术时,它来了。

正常来说,谷歌 Pixel 系列新机在今年 9 月发布,在未公开之前,应该会对自家产品严格保密才对。但是今年有点不一样,由于谷歌开始押注硬件和云服务市场,这一次,谷歌决定采取积极主动的方式提前自曝 Pixel 4,宁可自己来爆料,也不让其他第三方赚眼球。谷歌首次宣布,Pixel 4 将是该公司新一代旗舰级智能手机。

首先,谷歌发布了一个预告片,揭示了一个独特的相机阵列和基本设计。在视频中,首先显示 Pixel 4 的解锁功能,一位女性的脸部接近手机的正面,意欲面部解锁。不久之后,她退后一步,用手在手机前挥动来控制音乐播放界面。

与此同时,谷歌在其官方博客揭秘,Pixel 4 新机将搭载两大全新功能:

1、人脸识别:支持亚毫秒级的人脸识别解锁,而非屏下指纹解锁。通过新的算法和感应器结合,并没有使用上 3D 结构光景深技术。

2、隔空手势操控:Pixel 4 将有一项名为“Motion Sense”的功能,也就是手势识别,使用 Project Soli 毫米波雷达传感器,隔空手势控制手机。

如果说人脸识别功能难以让人兴奋,那手势操控绝对是一项噱头十足的黑科技。如今,这个技术概念即将首先在 Pixel 4 手机上部署。这对当下所有电子设备厂商和消费者发出的一个重要预警信号:手势操作感应,很可能是近在眼前的一项未来交互科技。

挥挥手就能操控手机

2015 年,谷歌先进科技与计划部门(ATAP)宣布开展一个新项目,代号为 Soli,也就是现在所了解的毫米波雷达传感器,当时该项目致力于打造一个基于 60GHz 毫米波雷达技术的虚拟操控系统。利用雷达技术捕捉人的手势,对机器进行操作,其精度可达亚毫米级别。当时,它作为一个黑科技概念走入公众视野,人们并未对其有特别长远的期待。

满屏黑科技!Google新机将实现隔空操控,或终结触控时代?  第1张

但是经过近五年的研发之后,现在谷歌决定亮出这项技术的真面目。谷歌自家“亲儿子”手机 Pixel 4 将成为使用 Soli 雷达系统的首个设备。提供全新的体感识别功能,结合传感器和算法,通过雷达检测,让手机可识别手势动作,可以控制手机,用户挥挥手即可切换歌曲,控制闹钟,静音拨入电话。谷歌表示,随着 Pixel 的不断优化,这些手势控制也会随之优化。

与市面上的绝大部分手势和动作捕捉技术不同,Soli 使用的是毫米波雷达技术,而非 2D、3D 摄像头或者红外光。它的工作原理与大众所熟悉的雷达原理相同:首先向一个区域发射电磁波,再接收物体反射回来的电波,加以处理、计算和分析。

满屏黑科技!Google新机将实现隔空操控,或终结触控时代?  第2张

当食指和拇指一张一合时,会模拟出按按钮的动作,向目标发射电波;而雷达接收器将会收到信号,阻拦来自该目标的反射能量,来回摩擦下,模拟出旋转旋钮等执行性动作,而这些动作都会干扰电波返回的时间和速度。在收集电波规律并加以分析和计算后,系统就能够识别出特定的运动模式,进而确定用户所做的动作,发出响应控制指令。

雷达技术不是触摸设备上的屏幕,而是实时跟踪(捕捉)动作,并通过所做的动作来改变其信号。将手放在传感器前方,凭空做出特定动作,比如打个响指,就可以控制带雷达的智能设备。它的操作演示是这样的:

满屏黑科技!Google新机将实现隔空操控,或终结触控时代?  第3张

还有这样的:

满屏黑科技!Google新机将实现隔空操控,或终结触控时代?  第4张

和这样的:

满屏黑科技!Google新机将实现隔空操控,或终结触控时代?  第5张

有一种科幻电影的即视感。

Soli 雷达传感器的作用,其实是从一个雷达信号本身,形成设备对手势识别的闭环链条。其使用的频率极高,波长很短,60GHz 的频率对应 5 毫米波长。因此 Soli 传感器能量较为集中,方向性强,抗环境干扰,可以集成在封装内,轻易地穿过塑料外壳,捕捉毫米级别的手部动作变化,同时保证回波强度。

2018 年末,美国联邦通信委员会(FCC)批准了谷歌的手势操作感应系统,“Soli 项目” 所申请的频段,允许它的毫米波雷达使用 57-64GHz,峰值等效全向辐射功率(EIRP)可达 13dBm。

在安全方面,谷歌也表示,Soli 传感器数据也会在用户手机上处理,不保存或与其他 Google 服务共享,通过 Titan M 安全芯片的加持,保护并储存于手机本地(而不是云端)。另外,手势识别功能只会向部分国家/地区提供,暗指如果雷达频段与谷歌手势不匹配,或者有部分地区监管部门不批准的话,这项技术很可能不会在手机上执行。

类似功能其实在此前的三星 Galaxy 手机上就存在,但非常难用,用户需要打开相关设置,识别场景非常少,只能识别一些简单动作,复杂得无法实现。后来由于系统简化,将其功能删除了。

目前,谷歌官方暂未说明这项功能的应用范围,以及是否会在 Pixel 4 上预装,还是后续进行软件更新才会搭载,或许这个谜底将在 10 月发售时才会揭晓。

手势操控+人脸识别=更快解锁手机

相比手势识别功能,面部识别已经不是什么新鲜事了。前有 iPhone X,后有 OPPO Find X 3D 结构光识别的移动设备,这一项新技术已逐渐成为了很多用户的日常所需,解锁、支付、下载应用,“一看就成”。

但谷歌表示,Pixel 4 与其他手机的面部识别解锁技术不太相同。首先就是 Pixel 4 将结合 Soli 传感器执行操作,当用户的手接近到拿手机的距离时,Soli 会主动启动面容识别传感器,并默认解锁手机的界面。随后,当算法识别到用户面部信息后会立即解锁,并支持以任意角度拿着手机,即使手机是反向拿起的。谷歌表示,Pixel 4 的面部解锁也可以用于安全支付和应用程序身份验证中。

比较而言,iPhone 上的苹果 Face ID 面容识别功能仅在手机垂直方向对准人脸的时候才有效,而 TrueDepth 景深摄像头系统位于手机顶部,遮挡都无法正常识别解锁,将设备完全抬起,以某种方式摆姿势,等待它解锁,然后滑动以进入主屏幕,这一动作略显繁琐。苹果在 iPad Pro 中使用了相似的面容识别功能,仅多加了四个方向的解锁方式,并未出现以雷达感应器工作的情况,这对于谷歌来说,是一项独家的“黑科技”。

满屏黑科技!Google新机将实现隔空操控,或终结触控时代?  第6张

图|传感器和相机可在 Pixel 4 中实现 Motion Sense 和面部解锁(来源:谷歌官网)

除此以外,谷歌还发布了 Pixel 4 设备顶部各种传感器和组件的样图,说明如何利用 Soli 传感器进行面部解锁的。Pixel 4 手机屏幕上方有两个用于面部解锁红外相机,一个环境光/接近传感器,一个 Soli 雷达传感器,一个点投影仪和一个面部解锁照明灯。根据谷歌的说法,用户的面部信息会保留在 Pixel 设备的 Titan M 安全芯片中,并且永远不会离开用户的手机。

非常有趣的是,科技网站 9to5Google 报道,谷歌正在通过外包形式,提供了 5 美元的奖励支持,换取街上的人脸的面部数据,以帮助训练 Pixel 4 面部识别系统的模型。街上的人被要求从口袋中取出 “修改后的 Pixel 3 XL”,这台手机是谷歌外包人员递给他的,既能看到通知,同时还能获取面部数据。当询问这是什么时,谷歌方面的员工只简单说明,它是一款“未来”的谷歌产品。

而谷歌公司发言人在今天证实,换取面部数据的目的是确保 Pixel 4 可以使用多种面孔。包括生物特征、面部识别等,减少具有性别和种族偏见的相关数据。此前亚马逊推出的匹配面部算法 Rekognition,因其存在种族偏见而受到抨击。ACLU(美国公民自由联盟)去年进行的一项测试发现,在扫描国会议员的照片时,Rekognition 错误地将 28 个人与警察的照片进行了对比。亚马逊将结果归咎于算法校准不佳。而最终导致美国很多州政府陆续拒绝这项技术的落地。

Pixel 4 除了使用上 Soli 雷达传感器的面部识别,以及众多数据模型处理的识别精准之外,Pixel 4 的面部识别速度和算法是非常关键的。

近日,谷歌发布了一款专为移动 GPU 推理量身定制的轻巧且性能卓越的人脸检测算法 BlazeFace。能够在设备上以 200~1000+ FPS 的速度运行,应用在多个人脸识别的场景中,这个算法主打的是“超实时性能”。

满屏黑科技!Google新机将实现隔空操控,或终结触控时代?  第7张

图|红色代表 BlazeFace 输出;绿色代表任务特定的模型输出(来源:谷歌论文)

谷歌在 Arxiv 网站上发表了相关论文,介绍了这项算法技术成果。据悉,这套算法将基于 AR 技术来进行人脸检测,由于人脸与设备之间拥有不同的焦距,提前通过前置和后置摄像头的 AR 拍摄,构建面部模型,及时捕获物体尺寸和大小。BlazeFace 将生成 6 个面部关键点坐标,包括眼睛、耳朵、嘴的中心和鼻尖,通过锚点方式进行连接,以便估计人类面容的旋转角度。这样的设置可以使面部识别可以在各种方向上正常运行。

在算法层面,谷歌采用一种混合分辨率策略代替抑制算法,以重叠预测之间的加权平均值估计边界框的回归参数,提高人脸识别的准确度和速度,通过连续输入目标轻微偏移的图像来量化抖动量,提高每次输入识别数据的精准度,缩短整个面部识别时间过程。

虽然谷歌并未在论文中指明,该技术是否会在 Pixel 4 上应用,但可以预见的是,这种算法正在被谷歌进行不断测试,可能会在今年的 Pixel 产品中首次实现。

谷歌的 Made by Google 战略

自 Pixel 系列诞生以来,谷歌 CEO “劈柴哥”(桑达尔·皮查伊)愈加重视谷歌自研技术和落地效果,从云服务和硬件产品的投入力度可见一斑。在刚刚过去的谷歌母公司 Alphabet 第二季度财报中,“劈柴哥”表示,随着 Pixel 3A 在 5 月的推出,第二季度的 Pixel 等硬件产品的销售额,同比增长超过两倍。

相比之前一年一新机的策略,今年这种 6 月发布性价比 Pixel A 系列新机,9 月发布 Pixel 数字旗舰手机的策略得以顺利实施。从市场和宣传反馈上来说,“一年两款新机”的确是谷歌非常不错的战略选择。此前罗永浩在接受罗振宇采访时表示,在手机这个红海市场中,三个月是一款安卓手机的宣传和发售结点。

满屏黑科技!Google新机将实现隔空操控,或终结触控时代?  第8张

(来源:谷歌官方)

2015 年,当“劈柴哥”担任谷歌公司 CEO 之后,提出了“Made by Google”的口号,通过 AI 技术 + 硬件 + 软件操作系统,形成没有代工厂标示的 Pixel 手机、Pixel C 平板,并且发布 VR、智能家居等多款自主研发的终端设备,开启了自主生产、研发之路。

过去四年,从市场反馈上来看,新的 Pixel 系列设备开始有了更多的意义,通过软硬件技术的一体化生产,给手机行业带来更多的发展前景,形成安卓设备的终极标准。比如谷歌 Titan 和 Titan M 安全芯片,就是一个非常典型的例子。

满屏黑科技!Google新机将实现隔空操控,或终结触控时代?  第9张

图|Titan (左)Titan M (右)(来源:谷歌官网)

Titan M 安全芯片在硬件规格上,使用 Arm Cortex-M3 内核,采用自研的算法,其前身 Titan 芯片应用在数据中心场景中,而后,通过写入最新版的安卓操作系统,搭载在 Pixel 系列手机上,防止受到恶意软件或黑客的硬件攻击,还可以保存用户的密钥,安全可靠。

在今天发布的官方声明中,谷歌强调,“安全和隐私是 Pixel 的核心原则”。

为了保护用户隐私和安全,数据都会安全地存储在 Pixel 的 Titan M 安全芯片中。这一个 Google 自主研发的软硬件产品,更灵活地使用在 Pixel 手机当中。

从 Made by Google 战略中,大众可以明显感知到,谷歌对于技术的不断探索,软硬件结合已经形成了该公司发展的“护城河”。但与此同时,隐私、垄断等词语也伴随着谷歌公司的发展,这实在令人担心啊。

不管怎么说,这次 Pixel 4 新机在技术上的亮点颇多,非常值得期待。外媒预计,Pixel 4 将于今年 10 月发布。在此之前,Note 10、新 iPhone 都将陆续登场。

手势操控功能,能否帮助 Pixel 4 虏获更多消费者的心,需要市场检验;但 Soli 技术落地,带来的更大猜想就是,它会不会引领一波颠覆式更新,革了触摸屏的命呢?

The End