Apple Vision Pro無疑是今年全球開發者大會（WWDC 2023）中，蘋果公司帶給全球果粉最大的驚喜。在5000項專利加持下誕生的Apple Vision Pro，採用高解析度顯示系統，將2,300萬畫素置於兩個顯示器中，搭載Apple獨特訂製的雙晶片，確保每個體驗都感覺是在使用者眼前即時發生。Apple執行長Tim Cook指出，Apple Vision Pro標記了Apple運算新紀元的開始，Mac展示的是個人計算的能力、iPhone改寫了行動計算能力，Apple Vision Pro代表著將進入空間運算的時代，以及Apple改變人類溝通、協作、工作和娛樂方式的企圖心。

圖片來源：Apple Inc.

visionOS：世界上第一個空間操作系統

Apple在今年WWDC 2023中正式發布Apple Vision Pro，Apple將其定義為「一部革命性的空間運算設備」，Apple Vision Pro搭載的是全球首創的空間作業系統visionOS，以macOS、iOS 和 iPadOS 數十年的工程創新為基礎，將數位內容無縫融入實體世界，讓虛實之間的互動就像數位內容真實存在於使用者的空間之中，並讓用戶在使用Apple Vision Pro的過程中，與真實世界的他人保持連結。

在空間運算的時代中，Apple將Apple Vision Pro打造成一塊無邊際畫布，讓App超越傳統顯示器的限制，用戶不僅可以隨意使用任何APP，還可以把它們調成任意尺寸。Apple Vision Pro並推出全3D的使用者介面，直接透過使用者的眼睛、雙手與聲音，以最自然、直覺的輸入方式來進行操控和互動，只要用眼睛注視應用程式、在空中輕敲手指進行選擇、輕拂手腕進行滾動或使用語音指令，都能輕鬆瀏覽應用程式。

為了讓使用者在沒有手把的情況下，可以實現數位內容與真實空間的互動，關鍵就在於Apple近年來致力累積的眼動追蹤技術。

Apple眼球追蹤相關專利

1. 眼動追蹤設備和操作方法

Apple早在2019年夏天就曾獲得多項美國眼動追蹤專利，而這些專利來自於Apple 2017年7月收購了德國公司SensoMotoric Instruments（SMI）。SMI成立於1991年，是一家提供電腦視覺應用的德國製造商，專注於眼動追蹤技術並廣泛應用於虛擬實境（VR）。當時Apple收購SMI，是為了鞏固其在擴增實境和虛擬實境方面的地位。

收購SMI後，Apple在2019年7月獲得第一項眼動追蹤專利，美國專利號10,354,136「通過鏡頭系統提供無漂移眼動追踪的頭戴式眼動追踪設備和方法」（Head Mounted Eye Tracking Device and method for providing Drift Free Eye Tracking through a Lens System）[1]；第二項專利是2019年9月獲得的美國專利號10416764「用於操作用於多用戶眼動追踪的眼動追踪設備的方法和眼動追踪設備」（Method for operating an eye tracking device for multi-user eye tracking and eye tracking device）[2]。緊接著在同年10月，Apple又獲得第三項眼動專利，美國專利號10437327「眼動追踪設備和操作眼動追踪設備的方法」（Eye tracking device and method for operating an eye tracking device）[3]。

從蘋果獲得的專利可以看出，蘋果的眼動追蹤原理主要是依照四項步驟來達成：

1. 眼球追蹤器發射出紅外光；
   
2. 使用者眼球反射燈光；
   
3. 反射光被眼球追蹤器的相機捕捉；
   
4. 透過過濾和計算，眼球追蹤器便能知道使用者目光注視的位置。

圖一、Apple眼動追蹤專利示意圖

圖片來源：USPTO，美國專利號10437327

蘋果的眼動追踪技術，可以用在頭戴式眼睛追蹤設備，或是其他VR眼鏡、AR眼鏡，而在獲得專利的四年之後，蘋果正式發表Apple Vision Pro，將蘋果發展出的各項眼動追蹤設備和操作的方法，落實為產品公諸於世人面前。

2. 融合眼球、手勢追蹤的GUI自然對話模式

而在2023年5月，歐洲專利局（EPO）公佈了Apple的一項專利申請[4]，揭示了一種頭戴式顯示器的注視控制系統，可以在混合實境（MR）環境中解讀不同用戶的手勢。專利中描述了一種融合眼球追蹤、手勢追蹤的圖形使用者介面（GUI）自然對話模式，特點是使用深度映射來追蹤手勢，並通過注視點智慧識別用戶想要操控的虛擬元素，讓AR/VR中的交互更流暢，降低使用阻力。

根據Apple提出的交互介面，可根據使用者抓取物品時的習慣特性（例如手的方向、抓取的相對位置等等），以及眼睛注視點所在位置來判斷用戶想要做出的操作。智慧互動對於AR/VR很重要，因為3D場景比2D的操縱介面更複雜，透過結合眼球追蹤，讓使用者可從遠距離控制虛擬物體，無需伸手接觸或移動到物體所在位置，省時省力又減少出錯。

圖二、Apple融合眼球與手勢追蹤的專利示意圖

圖片來源：EPO專利號EP4182799/ Patently Apple

獨創的EyeSight 系統

EyeSight是一項幫助Vision Pro使用者與周圍的人保持連結的重要創新，Vision Pro可以讓用戶進入虛擬世界，而Eye Sight的功能是顯示佩戴者的眼睛，向外界傳遞佩戴者的狀態並進行交流。當有人靠近配戴Vision Pro的使用者時，使用者會感覺眼前變透明，除了讓使用者能看見顯示器之外的人和物，當有人出現在附近時，對方也能從Vision Pro的外螢幕看見佩戴者的眼睛；若使用者沈浸於空間環境或使用app時，EyeSight會提供他人視覺線索，讓他人知道使用者正在專心做什麼，解決頭戴式裝置使用者與外界溝通的問題。

圖三、EyeSight功能讓使用者在配戴 Apple Vision Pro時依然與周圍的人保持連結。

圖片來源：Apple Inc.

根據Apple被授予的美國專利號US-11520152-B1「具有視線追踪器對準監控的頭戴式顯示系統」（Head-mounted display systems with gaze tracker alignment monitoring）[5]，該頭戴式設備具有顯示電腦生成內容的顯示器，並可透過視線跟蹤系統（Gaze tracking systems）監視使用者的視線。利用波導（Waveguides）將電腦生成的內容提供給用戶查看，同時允許用戶查看真實世界。同時從專利可看出，頭戴式設備的顯示器可以向左眼盒和右眼盒提供左圖像和右圖像，左波導和右波導可用於將左圖像和右圖像傳送到左眼盒和右眼盒。左波導和右波導可以是透明的，意味著允許從左右眼盒透過左右波導，查看外界真實世界的圖像。

圖四、具有視線追踪系統的頭戴式顯示器示意圖

圖片來源：USPTO，美國專利號11520152-B1

3D頭像一鍵生成

而在Apple這個月公布的專利中[6]，透露出Apple計畫在 Apple Watch背面配備鏡頭，允許佩戴者拍攝Face ID圖像，一鍵生成2D 或 3D 頭像的功能，可使用在Apple Watch和Apple XR頭戴式裝置。

Apple Watch將指示用戶使用Apple Watch 背面的傳感器拍攝自己和手的圖像，該設置也適用於佩戴 Apple XR耳機的用戶。用戶可以摘下耳機，使用外部鏡頭設置面部識別碼。這項技術將允許Apple Watch和XR 頭戴式裝置可以透過第一電子設備和第二電子設備的顯示器，在XR環境中相互通訊。

圖五、用戶可利用Apple Watch和XR耳機設置自己的3D頭像

圖片來源：USPTO，美國專利號US20230171484-A1

目前Apple官方釋出Apple Vision Pro售價為3,499美元，雖然Apple一口氣展示Vision Pro的各項細節，但還要等到明（2024）年上半年才會在美國開賣，之後才會在更多國家上市。Vision Pro是否能成功定義「新型電腦」，仍有待時間和市場進一步驗證。

資料來源：

1. 2023/6/5，Apple：Apple Vision Pro—Apple 第一部空間運算設備。

備註：

Facebook 在北美智權報粉絲團上追踪我們