纳米网格喷雾印刷式智能皮肤使用AI快速理解手部运动

Xsens动作捕捉 2023-05-11 2570

在机器学习的帮助下,电子设备(包括电子手套和电子皮肤)可以跟踪人手的运动并执行物体和手势识别等任务。单个纳米网格可以同时测量来自多个关节的手指运动,提供简单的用户实现和低计算成本。

纳米网格喷雾印刷式智能皮肤使用AI快速理解手部运动  第1张

喷涂式感官系统,由印刷的生物相容性纳米网格直接与无线蓝牙模块连接,并通过元学习进行进一步培训。

斯坦福大学开发的一种新的智能皮肤可能预示着人们在隐形键盘上打字,仅通过触摸识别物体,或者允许用户在沉浸式环境中通过手势与应用程序进行交流的那一天。

在刚刚发表在《自然电子学》杂志上的一篇论文中,研究人员描述了一种新型的可拉伸生物相容性材料,这种材料被喷洒在手背上,就像防晒喷雾一样。网格中集成了一个微小的电网,可以感知皮肤的伸展和弯曲,使用人工智能,研究人员可以从手部动作和手势中解释无数的日常任务。研究人员表示,它可能在游戏、体育、远程医疗和机器人等领域有应用和影响。

到目前为止,已经积极探索了几种有前途的方法,例如使用腕带或可穿戴手套测量肌肉电活动,以实现各种手部任务和手势。然而,这些设备体积庞大,因为需要多个感官组件来精确定位每个关节的运动。此外,需要为每个用户和任务收集大量数据才能训练算法。这些挑战使得采用日用电子产品等设备变得困难。

这项工作是第一种实用的方法,它的形式足够精简,功能也足够适应,基本上可以适用于任何用户——即使数据有限。目前的技术需要多个传感器组件来读取手指的每个关节,使它们变得笨重。新设备还采用了更精简的软件方法,以实现更快的学习。这种精度可能是虚拟现实应用中的关键,可以传达精细的细节运动以获得更逼真的体验。

纳米材料创新是关键

创新点是嵌入聚氨酯的可喷涂电敏网状网络,这种材料与制造滑板轮和保护硬木地板免受损坏的耐用但可拉伸的材料相同。网格由数百万根涂有金的银纳米线组成,这些纳米线相互接触以形成动态电通路。这种网眼具有电活性、生物相容性、透气性,除非在肥皂和水中摩擦,否则会保持打开状态。它与佩戴它的每个人手指的皱纹和褶皱密切相关。然后,可以将轻巧的蓝牙模块简单地连接到可以无线传输信号变化的网状物上。

“当手指弯曲和扭曲时,网格中的纳米线被挤压在一起并拉伸开,从而改变了网格的导电性。可以测量和分析这些变化,以准确地告诉我们手,手指或关节是如何移动的,“该研究的资深作者鲍哲南教授解释说。

研究人员选择了一种直接在皮肤上喷涂的方法,以便在没有基材的情况下支撑网状物。这一关键的工程决策消除了不需要的运动伪影,并允许他们使用单条导电网格痕迹来生成手指的多关节信息。

纳米网格喷雾印刷式智能皮肤使用AI快速理解手部运动  第2张

双手QWERTY键盘打字识别,双手打印纳米网格,实时识别交互对象。

该设备的喷涂特性使其能够符合任何尺寸或形状的手,但打开了该设备可以适应面部以捕捉微妙情感线索的可能性。这可能会为计算机动画带来新的方法,或者导致新的化身主导的虚拟会议,具有更逼真的面部表情和手势。

然后机器学习接管。计算机监测电导率的变化模式,并将这些变化映射到特定的物理任务和手势。例如,在键盘上键入X,算法将学习从电导率的变化模式中识别该任务。一旦算法经过适当的训练,就不再需要物理键盘。相同的原理可用于识别手语,甚至通过追踪物体的外表面来识别物体。

研究人员已经建立了一个原型,可以通过触摸识别简单的物体,甚至可以在隐形键盘上进行预测性的双手打字。该算法能够输入威廉·莎士比亚(William Shakespeare)中的“没有什么遗产比诚实更丰富”,以及威廉·欧内斯特·亨利(William Ernest Henley)的诗《Invictus》中的“我是命运的主人,我是灵魂的船长”。

The End