Apple Vision Pro无疑是今年全球开发者大会（WWDC 2023）中，苹果公司带给全球果粉最大的惊喜。在5000项专利加持下诞生的Apple Vision Pro，采用高分辨率显示系统，将2,300万画素置于两个显示器中，搭载Apple独特订制的双芯片，确保每个体验都感觉是在使用者眼前实时发生。Apple执行长Tim Cook指出，Apple Vision Pro标记了Apple运算新纪元的开始，Mac展示的是个人计算的能力、iPhone改写了行动计算能力，Apple Vision Pro代表着将进入空间计算的时代，以及Apple改变人类沟通、协作、工作和娱乐方式的企图心。

图片来源：Apple Inc.

visionOS：世界上第一个空间操作系统

Apple在今年WWDC 2023中正式发布Apple Vision Pro，Apple将其定义为「一部革命性的空间计算设备」，Apple Vision Pro搭载的是全球首创的空间操作系统visionOS，以macOS、iOS 和 iPadOS 数十年的工程创新为基础，将数字内容无缝融入实体世界，让虚实之间的互动就像数字内容真实存在于用户的空间之中，并让用户在使用Apple Vision Pro的过程中，与真实世界的他人保持连结。

在空间计算的时代中，Apple将Apple Vision Pro打造成一块无边际画布，让App超越传统显示器的限制，用户不仅可以随意使用任何APP，还可以把它们调成任意尺寸。Apple Vision Pro并推出全3D的用户接口，直接透过用户的眼睛、双手与声音，以最自然、直觉的输入方式来进行操控和互动，只要用眼睛注视应用程序、在空中轻敲手指进行选择、轻拂手腕进行滚动或使用语音指令，都能轻松浏览应用程序。

为了让使用者在没有手把的情况下，可以实现数字内容与真实空间的互动，关键就在于Apple近年来致力累积的眼动追踪技术。

Apple眼球追踪相关专利

1. 眼动追踪设备和操作方法

Apple早在2019年夏天就曾获得多项美国眼动追踪专利，而这些专利来自于Apple 2017年7月收购了德国公司SensoMotoric Instruments（SMI）。SMI成立于1991年，是一家提供计算机视觉应用的德国制造商，专注于眼动追踪技术并广泛应用于虚拟现实（VR）。当时Apple收购SMI，是为了巩固其在增强现实和虚拟现实方面的地位。

收购SMI后，Apple在2019年7月获得第一项眼动追踪专利，美国专利号10,354,136「通过摄像头系统提供无漂移眼动追踪的头戴式眼动追踪设备和方法」（Head Mounted Eye Tracking Device and method for providing Drift Free Eye Tracking through a Lens System）[1]；第二项专利是2019年9月获得的美国专利号10416764「用于操作用于多用户眼动追踪的眼动追踪设备的方法和眼动追踪设备」（Method for operating an eye tracking device for multi-user eye tracking and eye tracking device）[2]。紧接着在同年10月，Apple又获得第三项眼动专利，美国专利号10437327「眼动追踪设备和操作眼动追踪设备的方法」（Eye tracking device and method for operating an eye tracking device）[3]。

从苹果获得的专利可以看出，苹果的眼动追踪原理主要是依照四项步骤来达成：

1. 眼球追踪器发射出红外光；
   
2. 使用者眼球反射灯光；
   
3. 反射光被眼球追踪器的相机捕捉；
   
4. 透过过滤和计算，眼球追踪器便能知道用户目光注视的位置。

图一、Apple眼动追踪专利示意图

图片来源：USPTO，美国专利号10437327

苹果的眼动追踪技术，可以用在头戴式眼睛追踪设备，或是其他虚拟现实眼镜、增强现实眼镜，而在获得专利的四年之后，苹果正式发表Apple Vision Pro，将苹果发展出的各项眼动追踪设备和操作的方法，落实为产品公诸于世人面前。

2. 融合眼球、手势追踪的GUI自然交互方式

而在2023年5月，欧洲专利局（EPO）公布了Apple的一项专利申请[4]，揭示了一种头戴式显示器的注视控制系统，可以在混合实境（MR）环境中解读不同用户的手势。专利中描述了一种融合眼球追踪、手势追踪的图形用户接口（GUI）自然交互方式，特点是使用深度映射来追踪手势，并通过注视点智能识别用户想要操控的虚拟元素，让AR/VR中的交互更流畅，降低使用阻力。

根据Apple提出的交互接口，可根据用户抓取物品时的习惯特性（例如手的方向、抓取的相对位置等等），以及眼睛注视点所在位置来判断用户想要做出的操作。智慧互动对于AR/VR很重要，因为3D场景比2D的操纵接口更复杂，透过结合眼球追踪，让使用者可从远距离控制虚拟物体，无需伸手接触或移动到物体所在位置，省时省力又减少出错。

图二、Apple融合眼球与手势追踪的专利示意图

图片来源：EPO专利号EP4182799/ Patently Apple

独创的EyeSight 系统

EyeSight是一项帮助Vision Pro使用者与周围的人保持连结的重要创新，Vision Pro可以让用户进入虚拟世界，而Eye Sight的功能是显示佩戴者的眼睛，向外界传递佩戴者的状态并进行交流。当有人靠近配戴Vision Pro的使用者时，使用者会感觉眼前变透明，除了让使用者能看见显示器之外的人和物，当有人出现在附近时，对方也能从Vision Pro的外屏幕看见佩戴者的眼睛；若使用者沈浸于空间环境或使用app时，EyeSight会提供他人视觉线索，让他人知道使用者正在专心做什么，解决头戴式装置用户与外界沟通的问题。

图三、EyeSight功能让用户在配戴 Apple Vision Pro时依然与周围的人保持连结。

图片来源：Apple Inc.

根据Apple被授予的美国专利号US-11520152-B1「具有视线追踪器对准监控的头戴式显示系统」（Head-mounted display systems with gaze tracker alignment monitoring）[5]，该头戴式设备具有显示计算机生成内容的显示器，并可透过视线跟踪系统（Gaze tracking systems）监视用户的视线。利用波导（Waveguides）将计算机生成的内容提供给用户查看，同时允许用户查看真实世界。同时从专利可看出，头戴式设备的显示器可以向左眼盒和右眼盒提供左图像和右图像，左波导和右波导可用于将左图像和右图像传送到左眼盒和右眼盒。左波导和右波导可以是透明的，意味着允许从左右眼盒透过左右波导，查看外界真实世界的图像。

图四、具有视线追踪系统的头戴式显示器示意图

图片来源：USPTO，美国专利号11520152-B1

3D头像一键生成

而在Apple这个月公布的专利中[6]，透露出Apple计划在 Apple Watch背面配备摄像头，允许佩戴者拍摄Face ID图像，一键生成2D或3D头像的功能，可使用在Apple Watch和Apple XR头戴式装置。

Apple Watch将指示用户使用Apple Watch 背面的传感器拍摄自己和手的图像，该设置也适用于佩戴 Apple XR耳机的用户。用户可以摘下耳机，使用外部摄像头设置面部标识符。这项技术将允许Apple Watch和XR 头戴式装置可以透过第一电子设备和第二电子设备的显示器，在XR环境中相互通信。

图五、用户可利用Apple Watch和XR耳机设置自己的3D头像

图片来源：USPTO，美国专利号US20230171484-A1

目前Apple官方释出Apple Vision Pro售价为3,499美元，虽然Apple一口气展示Vision Pro的各项细节，但还要等到明（2024）年上半年才会在美国开卖，之后才会在更多国家上市。Vision Pro是否能成功定义「新型计算机」，仍有待时间和市场进一步验证。

数据源：

1. 2023/6/5，Apple：推出 Apple Vision Pro — Apple 的首个空间计算设备。

备注：

好消息～北美智权报有微信公众号了！ 《北美智权报》内容涵盖世界各国的知识产权新闻、重要的侵权诉讼案例分析、法规解析，以及产业与技术新知等等。 立即关注北美智权微信公众号→ NAIP_IPServices ～欢迎读者分享与转发～