2006年11月任天堂推出Wii之后，全球大卖超过1亿套，加入体感功能的游戏机令世人刮目相看，掀起一波游戏热潮。事隔十年，体感科技不再只能辨识肢体动作，透过穿戴式显示器，就算在虚拟与真实世界间自由来回也不是问题……

2016年是VR发展的元年，IEK预估今年全球VR头盔将出货1,610万台，2020年将成长至6,330万台，其中包含手机嵌入式的VR头盔。虽然AR头盔在2016年出货并不多，但预估2020年也可达到1.500万台规模，体感经济将伴随着AR/VR深入各行各业。

体感的目的在于直觉与自然的人机接口，2006年任天堂所发表的Wii，是着重在肢体辨识的体感游戏，当时全球热卖超过1亿套，随后Microsoft的Kinect及Sony PS游戏机也都陆续加入体感功能。透过体感技术的采用，让游戏不再受限于传统控制器，能够以更直觉的方式和游戏互动。

图一、2006年任天堂的Wii是早期的体感科技。

图片来源：http://www.williamlong.info/upload/972_2.jpg

相较于十年前由游戏机Wii所带起的体感经济，AR/VR所呈现出的则是新一代的体感科技，让虚拟世界更为真实、自然、直觉，透过穿戴式头戴显示器，让使用者不须局限在某固定框架内，甚至能在虚拟与真实世界自由来回。新体感科技藉由更自然更精准的人机接口，除了提升原有的服务，也创造出新应用，例如透过语音助理，用户可以用自然语言直接订购披萨、询问班机、操控家电等；工厂员工甚至不需解读复杂的报表，只要提出营运问题，机器人便能自动分析并将结果以语音、图形、VR等方式呈现出来。体感科技的动作捕捉技术，能将人类影像传送至远方进行虚拟会议，也能将捕捉数据拿来训练机器人进行学习，提供如下厨煮菜、自动驾驶、手术等各种精细动作。

经过十年的科技发展，新一代的体感技术走向全面性的捕捉自然身体语言， 人类身体每一个部分都可以传达讯息，感测技术的进步，将可以广泛捕捉这些细微的讯息。

图二、人类身体语言讯息示意图

数据源：Minecraft(2016)，2016/11/11「眺望2017产业发展趋势研讨会」侯钧元简报

台湾地区“工研院产业经济与趋势研究中心（IEK）”项目经理侯钧元指出，未来的体感科技趋势，是让人类和机器之间的沟通，能如同和另一位真人沟通般的无障碍且精准，这种新体感科技所创造出来的各种应用与市场机会，才是「新」体感经济。2016年另一个产业的焦点，是人工智能的广泛应用，特别是机器学习与深度学习算法的应用。

AR/VR技术涵盖的四大体感科技

（一）3D人物捕捉技术

3D人物捕捉技术是利用动作捕捉技术进行「行为传输」，VR藉由捕捉使用者的身体动作，将动作传输到远程机器人进行遥控操作；AR则是使用手势辨识。全球正在盛行VR+Drone无人机的竞速比赛，以第一人称视野方式控制无人机飞行。日本Katsumori Sakakibara开发出Caiba机器人，能够完全复制VR使用者的动作，并于VR头盔内看到机器人视野。Robots For Good计划正在开发一套运用VR头盔进行远程操控机器人的项目，原始目的是希望能让医院内的病童，能利用这项设备到户外探索世界。

图三、Robots For Good计划研发帮助病童的机器人项目
 
图片来源：http://www.robotsforgood.com/

Facebook Social VR 以虚拟替身在虚拟世界进行社交

Facebook认为未来所有人际互动都能够在VR里完成，完全不受地理限制，并在2016 F8会议上展示了Social VR。不过2016年4月展示的social VR，仅有简单的头部外型与少量表情，并非完整的人物影像；2016年10月所发布的版本，则多了丰富的表情变化，然而其表情是基于对话内容与手势动作，由系统判断后给予虚拟表情，而非真正捕捉人物真实脸部变化。

图四、Facebook今年10月所所发布的Social VR，已有表情变化。

图片来源：Facebook（2016/10）

尽管如此，目前表情捕捉技术发展仍处于初期阶段，仍均需外挂3D摄影机来完成。

（二）3D环境探索技术

AR头盔必须先知道实体桌面的三维数据，及穿戴者本身的位置与视觉角度，才能决定虚拟物品摆放的位置、角度等。AR的环境探索技术为3D SLAM (Simultaneous localization and mapping)，透过各种3D深度传感器去探索环境空间与其内的对象，进而定位自身位置与相对位置，并同时循序性地将现实环境慢慢建构成一个数字化的3D模型与地图。SLAM可运用各种不同的深度传感器来量测环境，包括立体影像、雷射、声纳、雷达、惯性传感器等。

侯钧元指出，测距的主流技术有三种，分别是三角测距(Triangulation)、结构光(StructureLight)、时差测距法(Time of Flight；ToF)。「三角测距法」利用两具摄影机的中心点以及对焦于物体表面的同一点，形成一个空间上的三角；藉由找出两摄影机投射线与基线间的夹角，估算出3D坐标，立体视觉摄影机便是此模式。「结构光法」将一维或二维的图像投影至被测物上，根据图像的形变状态来估计距离，Intel 的RealSense便是使用结构光测距技术。「时差测距法」则是发射一个雷射光脉冲，打到物体表面反射，由传感器接收讯号，并记录时间，由光速为已知，便可估算距离。Microsoft的 Kinect v2即是采用此方法。

图五、Intel RealSense 3D摄影机之布局

图片来源：Intel

（三）语言沟通

个人虚拟助理是一种具备人工智能的数字虚拟人物角色，能链接大量知识与数据库，以自然语言与人类沟通，提供专属客制化的信息与服务，目前知名的虚拟助理包括Apple的 Siri、Amazon的 Alexa、Microsoft的 Cortana等。Microsoft在今年发表论文表示，其语音识别技术的词错率仅5.9%，已达专业人工听写的错误率。不过，由于人类语言具有显著的歧义性，自然语言处理系统必须能够搜索所有这些结构，找到当时语境下最合理的结构。对谈式能力必须让语音助理针对单一问题，和人类进行进行多次问答，目前的Apple Siri与Amazon Alexa仍不提供对谈服务。

图六、语音识别技术四大重点环节发展

图片来源：2016/11/11「眺望2017产业发展趋势研讨会」侯钧元简报

对话机器人(bots)能大幅降低人机沟通障碍

对话机器人Bots可透过自然聊天的过程，知道使用者的需求，并提供相对应的答案或服务，这项技术主要运用神经网络架构，再整合蒙地卡罗树状搜寻算法，以及基本的自然语言处理技术。 目前各家大厂均已布局bots平台，如Microsoft于2016推出Azure平台基础的bots开发架构，可让第三方开发bots并布署在Skype、Slack、Office等app上。

（四）光场显示技术

全球有四家AR/VR界的独角兽企业，分别是Magic Leap、Oculus、Blippar、Mindmaze。光是Magic Leap一家公司，在2015年到今年Q1就取得超过一半以上的投资资金。值得注意的是，这间公司至今尚未推出任何产品，也未公布任何产品原型，却已吸引包括Google、阿里巴巴等知名企业与创投之青睐。

Magic Leap可能推出光场技术之MR头盔

侯钧元解释，Magic Leap身为世界最大的AR独角兽企业，最大特色正是「光场显示技术」，运用光纤架构进行投影，能产生几乎是真实3D的虚拟图像，目前拥有类似技术者仅有nVidia及Avegant。光纤显示器原为医疗内视镜，但透过光线逆转，摄影机转为显示器，并维持原有光纤的体积。而3D显像技术有两种：现有3D电视与3D眼镜（Stereoscopic）以及光场（Light Field），前者并非真实3D，人眼仍能判断其虚假，但后者理论上人眼无法分辨真伪，这也是Magic Leap能获得众多投资的原因。

图七、Magic Leap的光场显示技术。

数据源：Magic Leap(2015)，2016/11/11「眺望2017产业发展趋势研讨会」侯钧元简报

展望未来，当体感科技的技术更趋成熟后，所有人机接口模式都会改变，包含所有载具与服务，如手机、汽车、家电、工业、服务业等范畴，机器学习将会加速追踪与辨识技术的准确率，进而提升体感科技效能。侯钧元也预估，解决方案供货商将可获得庞大的市场机会，依据各种垂直应用市场之需求而有不同技术因应，但难以出现赢者通吃或大者恒大的产业现象，因此对于台湾中小型技术开发商而言，会是有利的发展机会。