2006年11月任天堂推出Wii之後，全球大賣超過1億套，加入體感功能的遊戲機令世人刮目相看，掀起一波遊戲熱潮。事隔十年，體感科技不再只能辨識肢體動作，透過穿戴式顯示器，就算在虛擬與真實世界間自由來回也不是問題……

2016年是VR發展的元年，IEK預估今年全球VR頭盔將出貨1,610萬台，2020年將成長至6,330萬台，其中包含手機嵌入式的VR頭盔。雖然AR頭盔在2016年出貨並不多，但預估2020年也可達到1.500萬台規模，體感經濟將伴隨著AR/VR深入各行各業。

體感的目的在於直覺與自然的人機介面，2006年任天堂所發表的Wii，是著重在肢體辨識的體感遊戲，當時全球熱賣超過1億套，隨後Microsoft的Kinect及Sony PS遊戲機也都陸續加入體感功能。透過體感技術的採用，讓遊戲不再受限於傳統控制器，能夠以更直覺的方式和遊戲互動。

圖一、2006年任天堂的Wii是早期的體感科技。

圖片來源：http://www.williamlong.info/upload/972_2.jpg

相較於十年前由遊戲機Wii所帶起的體感經濟，AR/VR所呈現出的則是新一代的體感科技，讓虛擬世界更為真實、自然、直覺，透過穿戴式頭戴顯示器，讓使用者不須侷限在某固定框架內，甚至能在虛擬與真實世界自由來回。新體感科技藉由更自然更精準的人機介面，除了提升原有的服務，也創造出新應用，例如透過語音助理，使用者可以用自然語言直接訂購披薩、詢問班機、操控家電等；工廠員工甚至不需解讀複雜的報表，只要提出營運問題，機器人便能自動分析並將結果以語音、圖形、VR等方式呈現出來。體感科技的動作捕捉技術，能將人類影像傳送至遠方進行虛擬會議，也能將捕捉資料拿來訓練機器人進行學習，提供如下廚煮菜、自動駕駛、手術等各種精細動作。

經過十年的科技發展，新一代的體感技術走向全面性的捕捉自然身體語言， 人類身體每一個部分都可以傳達訊息，感測技術的進步，將可以廣泛捕捉這些細微的訊息。

圖二、人類身體語言訊息示意圖

資料來源：Minecraft(2016)，2016/11/11「眺望2017產業發展趨勢研討會」侯鈞元簡報

工研院產業經濟與趨勢研究中心（IEK）專案經理侯鈞元指出，未來的體感科技趨勢，是讓人類和機器之間的溝通，能如同和另一位真人溝通般的無障礙且精準，這種新體感科技所創造出來的各種應用與市場機會，才是「新」體感經濟。2016年另一個產業的焦點，是人工智慧的廣泛應用，特別是機器學習與深度學習演算法的應用。

AR/VR技術涵蓋的四大體感科技

（一）3D人物捕捉技術

3D人物捕捉技術是利用動作捕捉技術進行「行為傳輸」，VR藉由捕捉使用者的身體動作，將動作傳輸到遠端機器人進行遙控操作；AR則是使用手勢辨識。全球正在盛行VR+Drone無人機的競速比賽，以第一人稱視野方式控制無人機飛行。日本Katsumori Sakakibara開發出Caiba機器人，能夠完全複製VR使用者的動作，並於VR頭盔內看到機器人視野。Robots For Good計畫正在開發一套運用VR頭盔進行遠端操控機器人的專案，原始目的是希望能讓醫院內的病童，能利用這項設備到戶外探索世界。

圖三、Robots For Good計畫研發幫助病童的機器人專案
 
圖片來源：http://www.robotsforgood.com/

Facebook Social VR 以虛擬替身在虛擬世界進行社交

Facebook認為未來所有人際互動都能夠在VR裡完成，完全不受地理限制，並在2016 F8會議上展示了Social VR。不過2016年4月展示的social VR，僅有簡單的頭部外型與少量表情，並非完整的人物影像；2016年10月所發佈的版本，則多了豐富的表情變化，然而其表情是基於對話內容與手勢動作，由系統判斷後給予虛擬表情，而非真正捕捉人物真實臉部變化。

圖四、Facebook今年10月所所發佈的Social VR，已有表情變化。

圖片來源：Facebook（2016/10）

儘管如此，目前表情捕捉技術發展仍處於初期階段，仍均需外掛3D攝影機來完成。

（二）3D環境探索技術

AR頭盔必須先知道實體桌面的三維資料，及穿戴者本身的位置與視覺角度，才能決定虛擬物品擺放的位置、角度等。AR的環境探索技術為3D SLAM (Simultaneous localization and mapping)，透過各種3D深度感測器去探索環境空間與其內的物件，進而定位自身位置與相對位置，並同時循序性地將現實環境慢慢建構成一個數位化的3D模型與地圖。SLAM可運用各種不同的深度感測器來量測環境，包括立體影像、雷射、聲納、雷達、慣性感測器等。

侯鈞元指出，測距的主流技術有三種，分別是三角測距(Triangulation)、結構光(StructureLight)、時差測距法(Time of Flight；ToF)。「三角測距法」利用兩具攝影機的中心點以及對焦於物體表面的同一點，形成一個空間上的三角；藉由找出兩攝影機投射線與基準線間的夾角，估算出3D座標，立體視覺攝影機便是此模式。「結構光法」將一維或二維的圖像投影至被測物上，根據圖像的形變狀態來估計距離，Intel 的RealSense便是使用結構光測距技術。「時差測距法」則是發射一個雷射光脈衝，打到物體表面反射，由感測器接收訊號，並記錄時間，由光速為已知，便可估算距離。Microsoft的 Kinect v2即是採用此方法。

圖五、Intel RealSense 3D攝影機之布局

圖片來源：Intel

（三）語言溝通

個人虛擬助理是一種具備人工智慧的數位虛擬人物角色，能連結大量知識與資料庫，以自然語言與人類溝通，提供專屬客製化的資訊與服務，目前知名的虛擬助理包括Apple的 Siri、Amazon的 Alexa、Microsoft的 Cortana等。Microsoft在今年發表論文表示，其語音辨識技術的詞錯率僅5.9%，已達專業人工聽寫的錯誤率。不過，由於人類語言具有顯著的歧義性，自然語言處理系統必須能夠搜索所有這些結構，找到當時語境下最合理的結構。對談式能力必須讓語音助理針對單一問題，和人類進行進行多次問答，目前的Apple Siri與Amazon Alexa仍不提供對談服務。

圖六、語音辨識技術四大重點環節發展

圖片來源：2016/11/11「眺望2017產業發展趨勢研討會」侯鈞元簡報

對話機器人(bots)能大幅降低人機溝通障礙

對話機器人Bots可透過自然聊天的過程，知道使用者的需求，並提供相對應的答案或服務，這項技術主要運用神經網路架構，再整合蒙地卡羅樹狀搜尋演算法，以及基本的自然語言處理技術。 目前各家大廠均已布局bots平台，如Microsoft於2016推出Azure平台基礎的bots開發架構，可讓第三方開發bots並佈署在Skype、Slack、Office等app上。

（四）光場顯示技術

全球有四家AR/VR界的獨角獸企業，分別是Magic Leap、Oculus、Blippar、Mindmaze。光是Magic Leap一家公司，在2015年到今年Q1就取得超過一半以上的投資資金。值得注意的是，這間公司至今尚未推出任何產品，也未公布任何產品原型，卻已吸引包括Google、阿里巴巴等知名企業與創投之青睞。

Magic Leap可能推出光場技術之MR頭盔

侯鈞元解釋，Magic Leap身為世界最大的AR獨角獸企業，最大特色正是「光場顯示技術」，運用光纖架構進行投影，能產生幾乎是真實3D的虛擬影像，目前擁有類似技術者僅有nVidia及Avegant。光纖顯示器原為醫療內視鏡，但透過光線逆轉，攝影機轉為顯示器，並維持原有光纖的體積。而3D顯像技術有兩種：現有3D電視與3D眼鏡（Stereoscopic）以及光場（Light Field），前者並非真實3D，人眼仍能判斷其虛假，但後者理論上人眼無法分辨真偽，這也是Magic Leap能獲得眾多投資的原因。

圖七、Magic Leap的光場顯示技術。

資料來源：Magic Leap(2015)，2016/11/11「眺望2017產業發展趨勢研討會」侯鈞元簡報

展望未來，當體感科技的技術更趨成熟後，所有人機介面模式都會改變，包含所有載具與服務，如手機、汽車、家電、工業、服務業等範疇，機器學習將會加速追蹤與辨識技術的準確率，進而提升體感科技效能。侯鈞元也預估，解決方案供應商將可獲得龐大的市場機會，依據各種垂直應用市場之需求而有不同技術因應，但難以出現贏者通吃或大者恆大的產業現象，因此對於台灣中小型技術開發商而言，會是有利的發展機會。

Facebook 在北美智權報粉絲團上追踪我們