我想做一个不需要依赖设备或外接摄像头的手势识别指环

Xsens动作捕捉 2022-11-13 7206

我想做一个不需要依赖设备或外接摄像头的手势识别指环

想到这个,源自于一个问题:如果现在去创业,你会做什么?

我想做的是一个指环版的 MYO,不依赖摄像头实现手势识别。目前以苹果(PrimeSense)、英特尔(RealSense)、谷歌(PrimeSense+OpenCV)和 Leap Motion 为代表的手势识别、手部动作追踪技术都需要依赖设备自带或外设摄像头,这就限制了操作指令发出者和设备间的相对位置。且不同标准对用户距离的要求各不相同,很难养成跨设备的统一新交互方式。

类似 MYO 的技术就不要固定用户与设备间的相对位置,因为识别行为直接通过与用户的手臂接触完成。但为了让多数用户都能获得较好的识别率,袖套式或手环式佩戴方式势必要面临佩戴舒适性问题。如我们现在日常使用的键盘、鼠标、和触摸屏,作为一种基础的人机交互手段,它会在一天的时间内被大量使用。和戒指同理,手指对于紧束和皮肤呼吸长期受限的忍耐程度相对更高。

在手指中,食指是进行动作捕捉和识别最理想的对象。因为食指相对其它手指对人而言是可控性和灵活性最高的,人可以轻易控制它完成微小或相对精确的动作。就当前主流的应用程序内容和交互层级设计,可以定几个基础的手势:当应用内容从上至下流动时,食指垂直方向挥动定义为“滚动(Scroll)”,此时手指水平方向挥动定义为“内容类别切换(一般为 Tabs Switch)”,而当应用内容从左至右流动时两手势定义指令对调(经 SDK 由应用自定义);五指张开定义为“进入当前显示器焦点内容的下一层级(Tap 或者 Enter)”;单手握拳定义为“返回当前显示器焦点内容的上一层级(Back 或 Cancel)”;最后,食指尖双击拇指尖定义为“扩展菜单或设置(Holding 或 Menu)”。

但以当前的陀螺仪和声波反馈技术,要做到符合该方案的体积和复杂环境识别精度需要很高的成本。若技术进步到一定阶段,还能通过整合 Minuum单行输入法的技术实现文字输入。另外,和支持近年自然语言识别技术产品化的语料库积累成熟同理,PrimeSense、RealSense 等主流技术产品增加带来的用户手势库积累也能让未来手势识别、用户行为判断的精度要求更低。

手势识别、非接触式识别是目前为止多数公司探索下一代人机交互形式的方向。但不同于键鼠(转动手腕 + 指尖按压)和触摸屏(手指挥动 + 指面点按)等传统交互方式指令动作的单一化、机械化,手势交互的指令更复杂,用户的使用成本更高(精确性也受限)。这种形式的交互革新是否能被用户接受还需要在特定设备和使用场景中摸索。

除非注明,本站文章均为原创或编译,转载请注明: 文章来自 36氪

36氪官方iOS应用正式上线,支持『一键下载36氪报道的移动App』和『离线阅读』立即下载!

The End