
Apple Vision Pro 成为苹果今年以及未来最重要的产品,库克也特别用「空间运算」来形容它,刻意不提所谓的 VR、元宇宙等名词。 那么,Apple Vision Pro到底有何不同? 又有多重要?
什么是“空间运算(spatial computing)”?
苹果将 Apple Vision Pro 定位为「空间运算(spatial computing)设备」,而根据爆料,苹果在 Vision Pro 的销售培训中,也禁止员工使用「VR」这个词汇。
那么,「空间运算(spatial computing)」到底是什么? 真的与VR不同吗? 或是只是苹果想要与众不同?
这其实也不是苹果独创的名词,最早是由麻省理工学院媒体实验室校友 Simon Greenwold 在他 2003 年的论文中提出了这个名词,「意指人类与一个设备进行互动,而这个设备用来保持并处理所指对象与空间」,讲的更白话一点,就是有一个装置里面提供了虚拟世界(以及实体世界)所需的物件以及空间,可以让人类去进行互动。 此外,Simon Greenwold 在他的论文中也提到,「spatial computing是使我们的机器在我们的工作和娱乐中成为更全面的合作伙伴的重要组成部分。」 在当时就设想过这个装置可以应用在娱乐以及工作的范围。
只是,当时它只是一个概念。 直到过去几年,人工智能(AI)、相机传感器、计算机视觉、物联网 (IoT) 和增强现实 (AR) 等技术取得了巨大进步,使空间运算成为可能。
空间运算与元宇宙有何不同?
那么,扎克伯格一直强调的元宇宙又与空间运算有什么不同?
元宇宙(metaverse),是一个聚焦于社交链接的3D虚拟世界之网络。 元宇宙主要探讨一个持久化和去中心化的线上三维虚拟环境。 此虚拟环境将可以通过虚拟现实眼镜、增强现实眼镜、手机、个人电脑和电子游戏机进入人造的虚拟世界。

从定义上可以得知,元宇宙的概念要大于空间运算装置,Jon Radoff将元宇宙可以分成7层不同阶段的架构:
- Experience.
- Discovery.
- Creator economy.
- Spatial computing.
- Decentralization.
- Human interface.
- Infrastructure.
其中,空间运算属于第四层。 当达到了空间运算的目的,接下来还有三层是要创造经济生态、探索、体验。
要特别提出的是,依照元宇宙以及空间运算的定义,Meta Quest系列,也算是一种空间运算装置。 Meta Quest与Apple Vision本质上也是同一层的东西。
不过,Meta Quest虽然比Vision Pro先跑了几年,但是它目前也依然没解决经济生态以上几个层面的问题。
Apple Vision Pro 硬件规格解析
苹果第一台空间运算设备
苹果将Apple Vision Pro定位为「空间运算(spatial computing)设备」,但本质仍为MR头盔装置,左右眼皆为2300万像素 micro-OLED 显示器,具备广色域及HDR 功能,可提供近似100英尺宽的4K分辨率沉浸式影像体验,对于拥有视力矫正需求的穿戴者,例如近视或远视的人而言,可以额外插入对应的蔡司镜片, 确保视觉真实度和眼动追踪准确性。

外观上,Apple Vision Pro设计得非常紧凑,正面为一块单片 3D 成型的层压玻璃,打磨后形成光学表面,作为内含相机和传感器的镜片,配合特别订制的铝合金边框环绕于装置四周,整体风格十分类似 Apple Watch 的曲面感,设备上方甚至还带有数码表冠,方便用户于 AR 与 VR 环境之间快速切换,或者进行细微的操作调整。

Apple Vision Pro 贴近脸部的遮光眼罩,以柔软织物所制成,拥有多种形状与尺寸让穿戴者自由选择,藉以实现精准贴合不漏光; 至于后方的头带同样也具备多种款式,兼具缓冲性、透气性和弹性,且采用简单的固定机制,方便穿戴者随时替换。

M2、R1 双芯片运算
Apple Vision Pro 内置高效能眼动追踪系统,藉由高速摄影机与环绕眼周的 LED,将红外光投射到穿戴者眼睛上,配合 M2 处理器与全新的 R1 芯片,实现反应灵敏且直观的操作体验。
Apple Vision Pro的R1芯片同时处理来自12个摄影机、5个传感器和6个麦克风的输入信号,确保内容可以实时呈现在用户眼前,仅需12毫秒就能将画面传输到显示器上,比眨眼还快了8倍。


什么是EyeSight 功能?
苹果表示,Apple Vision Pro的 EyeSight 功能,让用户不必与现实世界的人完全隔离,当穿戴者处于全 VR 状态下,正面屏幕将会发光遮蔽并眼部,对外人表明穿戴者现在看不到外在环境; 而当有其他人接近穿戴者时,EyeSight则会使 Apple Vision Pro 的正面近似透明,并且显示出穿戴者的眼睛,让别人知道穿戴者已经注意到外界环境。

Apple Vision Pro所搭载的空间音频将是整台设备的核心,它不只能够侦测周遭环境,将声音与空间互相匹配,装置内所搭载的2个扩大驱动单体,还可以根据穿戴者头部与耳朵的几何形状,提供个性化空间音频体验。

至于电力供应方面,Apple Vision Pro 必须要以实体传输线,外接专用的高效能外部电池,续航力约为两个小时。
相容iPhone App,专属 visionOS 与AppStore
Apple Vision Pro 采用的操作系统称为 visionOS,不只界面以全 3D 画面呈现,还导入自然光线和阴影的变化,帮助用户理解比例与距离。
visionOS 无需手把即可操作,用户仅须通过手势,隔空点选眼前的应用程序(App)图标,或者轻拂手腕滚动画面,整体操作就像 iPhone 一样简单上手; 至于面对输入文字或更复杂的情境,穿戴者则可以直接发出语音命令,Vision Pro 也支持连接各式蓝牙配件,亦可与苹果旗下装置,例如巧控键盘、巧控鼠标、巧控板和AirPods耳机等等进行互动。

Apple Vision Pro 既可以通过全彩方式,通过机身上的镜头检视现实世界,也可以将 3D 对象投影到真实空间中; 当用户通过Apple Vision Pro进行远程视频会议时,还可配合空间音频进行不同操作,例如将FaceTime通话参与者利用画面框安排到房间四周,就会感觉到对方的说话声音来自对应的方向。

此外,苹果也为Apple Vision Pro打造了全新的App Store,但这台装置将可以直接兼容并执行数十万个iPhone和iPad App,开发者也可以藉由强大的Apple Vision Pro和visionOS,打造专用的应用程序,目前已知Disney+将于产品上市当日直接提供支持。

苹果首台 3D 摄影机、打造 Persona 虚拟分身
除了沉浸式体验外,Apple Vision Pro也具备摄影能力,它更是苹果第一台3D相机,可让穿戴者通过3D镜头捕捉画面,再以3D方式重温立体影像,同时Apple Vision Pro也能直接播放3D电影、Apple Immersive Video的180度高解析空间音频全景视频,让用户打造私人的沉浸式电影观赏空间。

同时,用户也可以在Apple Vision Pro上的iCloud存取完整照片库,以真人比例检视照片和视频,尤其于iPhone上拍摄的每张全景照片,都将会自动延伸并环绕在使用者眼前,营造出当下站在拍摄地点的感觉。

藉由机器学习技术,Apple Vision Pro 还将能够让使用者建立自己的虚拟分身 Persona,它不仅可以通过镜头扫描,描绘出使用者的外型,还可以即时追踪穿戴者的脸部与手部动作,应用于视讯会议场合或 FaceTime 通话期间,使虚拟分身跟其他人一起看电影、浏览照片或协作简报。

导入 Optic ID 虹膜辨识
Apple Vision Pro 的安全机制称为Optic ID,原理即是虹膜识别,通过分析在各种不可见LED光下的用户虹膜,再将其与储存在安全隔离区,已经注册的Optic ID互相比对,藉此快速解锁Apple Vision Pro。
苹果强调,穿戴者使用 Apple Vision Pro 的浏览内容和眼睛追踪信息,不会与苹果、第三方 App 或网站分享,所有来自相机和传感器的数据,均在系统端直接处理; 至于 EyeSight 功能将包含一个视觉指示灯,让周围的人知道穿戴者正在拍摄空间照片或视频。

实际体验特色
虽然在 WWDC 2023 上,Apple Vision Pro 只能提供拍摄不能实际操作,心里觉得有些可惜,但在 WWDC 2023结束之后,笔者受邀参加体验 Apple Vision Pro 活动,且不仅是近距离接触而已,还实际操作部份功能,真实体验到 Apple Vision Pro 的迷人之处,并与读者们分享。 这里没有要跟任何产品比较,仅就现场体验的感受分享。

Apple Vision Pro 如何进行个性化设置
在配戴 Apple Vision Pro 之前,现场工作人员会先进行三项个性化的设置,分别是扫描脸部特征、建立个性化空间音频、配戴合适的镜片度数,让 Vision Pro 能针对个人特征,提供最适合的设置。
扫描脸部特征是为了找到最贴合脸部的眼罩,运作方式是通过具有原深感测相机的 iPhone 来进行扫描,操作上很像建立 Face ID; 建立个性化空间音频是因为每个人头型、耳型不同,对声音及感知也都不尽相同,建立专属的空间音频,也让Vision Pro有更好的音效。 至于配戴合适度数的镜片,是要让用户不用戴眼镜也能看清楚画面,在现场会协助检测视力后,立即配置相对应的Zeiss光学镜片,并将它放置在Vision Pro里。
因为我前往体验会场时,是戴着有近视度数的隐形眼镜,因此没有眼睛度数矫正的问题,只要进行扫描脸部特征及建立个性化空间音频,等待适合我配戴的 Vision Pro 打造好后,就进入到让我惊讶不停的体验环节。 这里我也总结5点跟大家分享。

特点 1. 配戴方法简易,不太需要学习
在实际配戴Apple Vision Pro时,只要像戴帽子的方式一样,由头顶往下戴至双眼前,再调整头顶上方的辅助头带,以及后侧以3D织法打造的主要头带,再通过右侧的旋钮转到Vision Pro不会垂下来,同时觉得舒适的位置即可。 而要卸下时,也只要转开旋钮,让头带变松就可以轻松取下。 另外,如果跟我一样有浏海,记得要先往后拨,才不会影响到配戴的密合度及舒适感,也因为配戴方式不复杂,手拙如我也能即刻上手,应该就可说是没有什么难度。
特点 2. 精准的眼球追踪加手势操作易上手
因为初次体验,难免紧张又兴奋,很怕要操作多次才能上手,但在戴上 Vision Pro 后,所有的操作通过眼球追踪加手势操作就可以完成。
先说眼球追踪部份,在初次使用时会先进行设置,只要眼睛看着画面上出现的圆点,再长按右上角的数字旋钮,进行两眼焦距位置调整后,就算设置完成。 之后只要眼睛看向某个 App、画面、设置按键… 等,就会微微放大显示,就像鼠标光标指向该处一样,只要搭配手势按下确定即可。
至于搭配的手势操作,也是在初次设置时,举起双手让 Vision Pro 侦测完毕后,就可利用食指与大姆指的组合,两指点一下是确定、两指碰在一起往左右拉是画面左右移动,甚至也可以双手一起用,进行画面的放大与缩小。
眼球追踪加手势操作的结合真的很顺畅,尤其是眼球追踪十分精准,只要眼睛看向哪里,就会正确显示位置又或是开启功能菜单,可以想成眼球成为鼠标的光标。 至于手部操作也是十分简单,且手部只要随意及轻松的摆放即可,虽然刚开始时会不自觉把手举起来,这可能是过去使用VR装置都会搭配手把的制约,但当你发现随便轻松摆放也能使用时,绝对很快会就习惯了,我想这也会加速养成沙发马铃薯。

特点 3. 高画质的 3D、全景、环绕大画面超赞
体验在 Vision Pro 开启照片 App 时,因为心里已经知道会有大画面出现,本来不算太过期待。 不过,当开启全景照片时,画面已经是大到动态视野的极限,再通过数位旋钮启开启空间环境功能时,眼前所见已不是大画面而已,是仿佛置身其中的 360 度环绕效果,例如只要打开一张优胜美地国家公园的照片,并开启空间环境功能时,前面所见会让自己彷佛置身在其中。
当然,还有 3D 影像及通过维度运算达到的互动效果,也是令我啧啧称奇,不管是静态图片或是动态的照片,都仿佛在触手可及的眼前。 在刚开始使用 Vision Pro 时,看到开机时出现熟悉的 hello 欢迎画面后,会飞出一只蝴蝶停在我伸出去的手指上 ,画面精细到还能见到蝴蝶的触角及拍动的翅膀。 而在视频体验时,也有播放一段特别制作的恐龙来了的视频,在通过 Vision Pro 观看时,恐龙除了像真的冲到我眼前外,还会跟着我的眼睛互动,忍不住就会想伸手拍拍恐龙。 对了,《阿凡达:水之道》的 3D电影,也可以在 Vision Pro 上观看喔!
另外,不得不说,Vision Pro 呈现的画质相当漂亮,就像苹果屏幕向来不会让人失望一样,不管是菜单画面、照片、视频… 等,都能呈现高画质的表现,这在视觉体验上绝对加分。

特点 4.什么是空间音频? 为身历其境大加分
在配戴带 Vision Pro 前的个性化设置中,有一项是个人空间音频,应用在观看视频时,更能体会到量身打造的应用。 在体验中有播放一系列 3D 视频,搭配空间音频的音效为身历其境加分许多,且通过精准的声音定位,甚至能够分辨出位置与距离感。 更重要的是,当下并没有配戴任何耳机设备,是裸耳接收到的准精音效。
附带一提,当影像跟声音都让人沉浸其中时,为了让 Vision Pro 能保持与真实世界的链接,当有旁人靠近时, 会让 Vision Pro 近乎透明,并显示出穿戴者的眼睛,这便是「EyeSight」功能,至少让你不会太沉浸于自己的世界。 相反地,当在使用 Vision Pro 时,面板上则会显示一片光晕,对外人表明穿戴者现在看不到外在环境。
特点 5. FaceTime 通话加入 Persona 显示
在配戴 Vision Pro下,开启 FaceTime 通话时,人像可用机器学习所打造的数字 Persona 呈现,也就是量身打造的拟真虚拟人物。 这部分在体验时,刚开始我先入为主以为是虚拟的人物,但又更像真人一点,后来才发现这是真人,以至于节奏没跟上,有点可惜。 不过,在过程中还是有感受到协作的应用及便利性,可以让与会的人同步修改文件、互动讨论,快速完成任务。

价格
3,499 美元的门槛,符合产品名上的 Pro,由价格定位上来看,并不是一般消费者使用。 或许得等到产品价格更亲民时,实际应用面也变得更多元后,才能真正普及。
依照存储空间不同,各版本售价:
- 256GB: $3499
- 512GB: $3699
- 1TB: $3899
不过,苹果可能将会推出更平价的版本,通过砍掉砍掉Eyesight功能来降低成本。
上市时间
Apple Vision Pro将于2月2日开始,在美国Apple Store零售店和美国Apple Store在线商店贩售。 不过,目前仅限于美国,至于其它地区何时会推出还不确定,但应该不会太快。
优缺点总结:很厉害,但还是有些疑虑
当我在体验完 Vision Pro 后,被引导至另一处与苹果 的人员聊聊我在当下体验 Vision Pro 后的感想,相信在整个体验活动中,Apple 也期待通过不同领域的人体验,来听到更多对 Vision Pro 的声音,可见苹果 对产品的用心,不过,当时似乎没能好好表达完整,在这里也整理后跟大家一起分享。
在这次体验 Apple Vision Pro 大约 30 分钟中,最有印象的地方如前面所述,但有部分在WWDC 23 Keynote 上发布的功能,可惜没能真正体验到,如戴上 Vision Pro 看 MacBook 画面一眼后,就可以放大在 Vision Pro 里的无限空间、通过内置的 3D 相机拍摄 3D 影像、与 Disney+ 合作的交互式视频… 等,不过,虽然没能完全体验到,但已让我相当惊艳。
在硬件设计及操作界面上,相信 Vision Pro 已是完成度很高的产品,但有些细部部分还是会有疑虑,如以大约 1 磅(约 450 克)重量来看,配戴上会不舒服吗? 以我的经验来说,30 分钟后的过程,没有太过压脸及沉重感,但有看到别的体验者脸上有痕迹。 另外,外接电力 2 小时似乎不太够,毕竟《阿凡达:水之道》片长 190 分钟。
至于 VisionOS 里内置的 App,其实就是 iPhone 看到的那些,在应面上势必得扩展到实际日常、生活、娱乐的应用面,这还是需要开发者集思广义,创作出不同的应用面,而这也是 AR、VR、MR 设备一直以来面临的问题,「究竟要用在哪里?」。
目前,苹果已经安排Apple Vision Pro应用商店visionOS App Store正式启动,接下来就看第三方的开发者们,可以想到哪些应用了。