苹果发布ARKit 3,现场演示《我的世界AR》,支持真人抓取、全身动捕

Xsens动作捕捉 2023-05-11 2292

文/VR陀螺 案山子


AR游戏原来还能这么玩。


美国时间6月3日上午,苹果WWDC 2019在美国圣何塞召开。在两个半小时的发布会接近尾声时,苹果终于公布了AR的最新动态,包括3大亮点——Realitykit、Reality Composer以及全新版本的ARKit3。苹果在现场用Mojang的《我的世界AR》游戏进行了演示,效果非常非常惊艳(后附视频)。



苹果发布ARKit 3,现场演示《我的世界AR》,支持真人抓取、全身动捕  第1张






  • Realitykit


第一个是Realitykit,由于目前要实现复杂的3D环境需要对3D建模有深度了解,而Unity、Unreal开发的游戏市场发展也极快,但是很多开发者可能并不熟悉AR场景的开发。Realitykit可以实现摄影级的真实渲染、环境和镜头特效。



苹果发布ARKit 3,现场演示《我的世界AR》,支持真人抓取、全身动捕  第2张








苹果发布ARKit 3,现场演示《我的世界AR》,支持真人抓取、全身动捕  第3张






  • Reality Composer


这是一个独立的用于建模的App,在App中可以对素材进行编辑、拖拽、动画创造,在这个工具中可以很快很容易地建立互动的环境,让Xcode和iOS 应用中增加AR体验变得更加简单。



苹果发布ARKit 3,现场演示《我的世界AR》,支持真人抓取、全身动捕  第4张





  • ARKit 3


ARKit 3进行了全新的升级,其中包括两个主要的功能。

1、People Occlusion。可以实时将人物抓取出来,从现场的演示来看,可以将人抓取到虚拟环境中,与其他的虚拟物体实现前后遮挡关系。

遮挡是AR中非常难实现的效果,也就是前带后关系。之前很多AR效果都是简单的叠加,难以跟现实深度融合,所以体验效果并不好。而要做到遮挡,预先对环境扫描建模是比较常见的做法,Magic Leap等都是通过这种做法,包括微软的Kinnect也能够做到,预先扫描环境后,预设虚拟物体的位置,便能够实现真人和虚拟物体之间的前后位置遮挡关系。

但苹果但做法似乎并不是对现实环境建模,而是采取了将现实中的人抠到虚拟环境中。



苹果发布ARKit 3,现场演示《我的世界AR》,支持真人抓取、全身动捕  第5张






第二是动作捕捉,通过手机摄像头可以实时捕捉人体全身的动作,包括手臂、躯干等等。

演示视频(中间确认了两次是否在录制,重点后半部分):


《我的世界AR》——AR游戏新的可能性


在展示ARKit 3最新功能的同时,苹果邀请了《我的世界AR》版游戏的开发上Mojang上台进行演示,该游戏将于今年夏季上线。

《我的世界AR》现场演示视频:

在该视频中VR陀螺注意到几个关键点:

1、演示分为两部分,开发者中一人用手机体验,另一人使用平板实时直播所看到的画面,即多人同空间AR体验。在ARKit 2.0发布时就展示了该功能——即 多点连接框架功能,iOS 12系统的手机可以通过WiFi、蓝牙或其他共享方式发送至另一台设备,从而达到多人连接。

在ARKit 3的演示中,可以看到桌面生成的我的世界的建筑物非常稳定,且另一个玩家的所有动作都能够实时反馈到另一个玩家的设备中。

2、真人动作捕捉,并将动作实时在虚拟角色中表现出来。开发者所使用的角色在游戏中招手的动作都能同步给虚拟角色,不过从演示来看,其中仍然存在一定的延时。

3、人物抓取。桌面的游戏演示结束之后,游戏巧妙地切换到更大范围的大场景中,在半空中生成平面后,下沉仿佛进入到地下城一般,而其中,真人进入到游戏场景,完全融入到游戏中,并且能够继续在游戏中进行建造。虽然真人的边缘处理、画面依然存在抖动等问题,但考虑到是基于移动端实现的效果仍然让人觉得惊艳。(体验过程中,地板上铺了带有纹理的地毯来辅助追踪。)

至今为止,大部分移动端AR游戏并没有真正将AR的特性发挥出来,其主要利用的是现实叠加以及空间特性,与环境融合的元素主要体现于虚拟物体与平面的贴合度、阴影、灯光效果等,而空间感则主要体现在观看角度、远近距离的变化,因此大部分的内容均为类似《Pokemon GO》这种与LBS地理环境结合的游戏或者《悠梦》这种利用空间的游戏。

从《我的世界AR》的演示来看,ARKit 3新功能为AR内容的研发带来了更多新的可能性。

诸如社交体验,由于人的动作能够实时呈现在虚拟人物中,移动端社交的交互,虚拟角色呈现的丰富度都将大幅提升;而虚拟场景和真实人物的融合,也让AR游戏的沉浸感更深一层。

以上是WWDC2019上关于AR的重点内容,VR陀螺也将持续跟进苹果AR的相关进展。

以下为发布会其他信息概览:

1、Apple TVOS 重新设计了主屏幕, 强调用户个性化和娱乐性,将支持多用户列表管理,以及Apple Music的个性化定制,提供Apple Music 五千万首歌单。Apple Arcade on tvOS 支持Xbox、PS4 游戏手柄。


2、Apple Watch除了一如既往 的追踪运动情况,保持用户身体健康外,表盘表带增多,可定制主题,并添加了计算器、音频书籍、语音备忘录等功能,还将支持记录和跟踪月经周期。



苹果发布ARKit 3,现场演示《我的世界AR》,支持真人抓取、全身动捕  第6张




新的Apple Watch将不再依赖手机,应用可在Apple Watch独立运行, 且用户可直接在Apple Watch上浏览App Store,下载、支付、运行应用。扩展的Runtime API - 应用程序可以保持活动读取数据的时间更长。

3、当前iOS 12用户满意度为97%,安装率为85%,而即将发布的iOS13,将拥有更快的解锁速度,面部ID解锁速度提升30%,应用程序的打包方式也将不同,体积减小50%,更新将减小60%,从而提高App启动速度。

iOS 13还公布了黑暗模式,黑暗模式拥有“精致纹理”,并不是纯黑色。更新版的地图增加了全景街景功能,可以实现点到点的移动。2019年底之前地图应用将覆盖全美国,明年登陆其他国家。

街景地图视频:


4、iOS 13将支持“sign in with Apple”来登陆第三方软件,从而保障用户的个人隐私。苹果允许应用方请求信息,但用户可以选择隐藏自己的电子邮件,苹果会生成一个随机邮件地址。且iOS 13中的隐私功能可以选择“仅一次”位置分享,应用无法使用Wi-Fi或蓝牙“推断”位置。

5、iPad OS将支持使用更方便的分屏显示、文件管理、USB设备和SD卡的读写。多窗口功能可将两个Microsoft Word文档并排,iCloud Drive支持文件夹共享,本地支持SMB文件共享,Apple Pencil的延迟从20ms提升至9ms。

6、最新台式电脑Mac pro,弥补了苹果的台式电脑空缺。该电脑配置非常高,支持模块化,用户可以自行配置自己的电脑,全不锈钢机身,主机底座搭配万向轮,方便搬运。



苹果发布ARKit 3,现场演示《我的世界AR》,支持真人抓取、全身动捕  第7张






苹果发布ARKit 3,现场演示《我的世界AR》,支持真人抓取、全身动捕  第8张





Mac Pro 5999 美元起,6K 显示器4999 美元起,支架199 美元,都将于今年秋季上市。

电脑配置:

CPU:最高28 核Intel Xeon,300瓦功率,1.5万亿浮点运算内存

GPU:Radeon Pro Vega II 和 Radeon Pro Vega II Duo 可选,可以选择两块一起上

内存:1.5TB ECC 内存

显示器:32 英寸LCD,6K Retina,分辨率6016 x 3384、2000 万色彩,支持P3 广色域、10 bit 色彩、HDR、广角显示方式,具备抗反射涂层;

接口:两个全功能 Type-C 接口;两个 USB 3.1, 一个 3.5mm 耳机接口;

扩展:支持8 个PCIe 插槽,以及若干单通道双通道I/O Card 等,包含两个10GB 以太网端口。

新功能“Sidecar”可使iPad作为Mac的第二个显示器。

The End