你知道黑科技Kinect吗？

Xsens动作捕捉 2022-10-25 12594

Kinect是一种3D体感摄影机

同时它导入了即时动态捕捉、影像辨识等功能

Kinect 是微软在2009年6月2日的E3大展上，正式公布的XBOX360体感周边外设。Kinect彻底颠覆了游戏的单一操作，使人机互动的理念更加彻底的展现出来。而如今已经在日常生活中被使用了起来，例如配合xbox的一些人体互动游戏等。

↑↑↑

在日常的互动游戏中，主要运用了Kinect的骨骼追踪功能，但是其实kinect还有颜色识别和距离探测的功能。

↑↑↑

Kinect采用分隔策略将人体从复杂的背景中区分出来，在这个阶段，为每个跟踪的人在深度图像中创建所谓的分割遮罩（分割遮罩为了排除人体以外背景图像，采取的图像分割的方法），这是一个将背景图像（比如椅子和宠物等）剔除后的景深图像。

↑↑↑

Kinect需做的下一件事情就是寻找图像中较可能是人体的物体，接下来kinect会对景深图像（机器学习）进行评估，来判别人体的不同部位。在识别人体的各部位之前，微软是通过开发的一个人工智能（被称为Exemplar（模型）系统），数以TB计的数据输入到集群系统训练模型，图就是用来训练和测试Exemplar的数据之一。

↑↑↑

这个是骨骼追踪的视频,大家可以看到，kinect可以追踪到人的骨骼的各个部分。这也是各类互动游戏的基本原理。

颜色追踪

第二，颜色追踪，Kinect一共有3个摄像头，其中的RGB摄像头能够解析现实场景中的R,G,B三个颜色，在视频中，使用者提取了黄色的RGB，追踪黄色的轨迹来画线，同时乒乓球距离摄像头的远近也代表了线条的粗细。这里是用了深读追踪的原理，接下去我们会讲到深读追踪。

↑↑↑

Kinect v1的Depth传感器，采用了「Light Coding」的方式，读取投射的红外线pattern，通过pattern的变形来取得Depth的信息。为此，Depth传感器分为投射红外线pattern的IR Projector（左）和读取的这个的IR Camera（右）

↑↑↑

简单的来讲，就是Kinect的红外线摄像头会不断放射出红外线，通过红外线在现实场景中的变形来测算出各个物件的距离，这有点像我们平时翻模的这个过程，如果你把手按倒平坦的沙子上，就会显示出手的各个细节，Kinect V1也是用的这个原理。

↑↑↑

Kinect V2预览版的Depth传感器，采用的是「Time of Flight(TOF)」的方式，通过从投射的红外线反射后返回的时间来取得Depth信息。

拓展运用——如何与聋哑人对话

↑↑↑

Kinect除了互动游戏，也可以用在与聋哑人对话，当我们遇到聋哑人时，聋哑人做一些列的动作（手语），很难被现代人所解读，但是Kinect可以追踪聋哑的动作轨迹，以文字或者语音的形式来翻译出聋哑人所要表达的内容。这可以被运用在各种问讯服务台，聋哑病人与医生沟通等场景。

拓展运用——病人骨骼训练

↑↑↑

由于Kinect能够追踪到人体骨骼，骨骼追踪也被用于病人的骨骼恢复训练，通过各类肢体互动游戏，来评判病人的骨骼恢复情况，这对于病人来说也时一种比较愉快的恢复方式。

如何连接kinectV1——1.安装SDK

↑↑↑

首先要清楚自己买的是Kinect V1还是V2，V1的像素是640×480，V2是1920×1080

在系统上需要win7系统以上，mac无法使用kinect，除非安装windows系统或者外接硬盘安装windows系统。如果要连接Kinect v1,需要下载Kinect for windows SDK提供运行环境，注意安装的时候，kinect的usb接口不要连接到电脑，如果你安装了visual studio.当安装完成之后，在把kinect的usb接入到电脑，驱动会自动安装。

Kinect for windows SDK下载地址

↓↓↓

https://www.microsoft.com/en-us/download/details.aspx?id=36996

如何连接kinectV1——2.安装体验Toolkit

↑↑↑

微软同时对Kinect v1提供了Toolkit，安装完SDK之后，安装toolkit,顺序不要弄错，Toolkit里面有很多example让初学这能够学习和体验kinect。例如人脸识别，人脸渲染，骨骼识别等，点击install之后，再点击run，就可以体验。

下载地址

↓↓↓

https://www.microsoft.com/en-us/download/details.aspx?id=36998

如何连接Kinect和Rhino

↑↑↑

大多数开发者是用unity和processing来开发kinect做一些互动游戏，这就要求开发者需要有编程基础，但其实Kinect也可以连接rhino。如果是rhino 5，请先安装grasshopper,rhino 6已自带grasshopper.这里需要用到grasshopper插件Quokka0.4.

下载地址

https://www.food4rhino.com/app/quokka

下载好之后打开rhino，在命令栏中输入grasshopper，得到grasshopper界面，然后菜单栏file-special folder-component folder.将下载好的quokka0.4文件夹中的gha文件放入到component folder中。，然后重启rhino和grasshopper.在菜单栏中会看到Quokka，确保Quokka安装成功

最后将Kinect连接到电脑，用grasshopper打开Quokka的example就可以看到kinect的实时扫描信息已经进入到rhino。大家如果能够深入的学习grasshopper就能对实时扫描的信息进行操作，比如说对扫描的点阵上颜色等。

拓展——Kinect停产

↑↑↑

如今Kinect已经停产，但其实Kinect已经被嵌入到微软的产品中Hololens,主要用作于增强现实Augmentated Reality.产品官网https://www.microsoft.com/en-us/hololens 用户使用hololens能够在现实世界中看到3D虚拟世界，类似于头戴式3D全息投影，同时用户能够与虚拟像进行交互。例如将虚拟世界中第一个物体放到现实世界中的物体上，那Kinect的深度摄像头主要用于对现实时间实时扫描，建立3D的现实世界mesh模型，从而实现虚拟世界的东西能够与现实世界交互。

拓展——Hololens