从Facebook创办人Mark Zuckerberg宣誓在社群媒体的基础下,投入5千万美元打造元宇宙王国,各界热议如潮,「Metaverse」已成为2021年的科技热搜名词。元宇宙是一个连接到现实世界的虚拟现实空间,跳脱虚实定义,用户可以在其中与计算机生成的环境和其他使用者进行互动,是社会联系的下一个演变。
※本文为「从Magic Leap混合实境的GUI设计探讨Meta沉浸体验的UI设计趋势(一)」之第二部分
图片来源 : shutterstock、达志影像
透视图显示接口的深度及层次变化
利用大小、对比(如图10所示)、颜色等来凸显层次感。这些工具仍适用于虚拟现实,但稍有不同。大小取决于用户与目标物的距离(如图11所示),内容可以锁定在环境上,随着使用者在环境中四处走动,其视野中的内容也在不断变化。
图10:利用对比显示出UI的层次感
藉由将内容分层并将最重要的内容移动到最靠近观看者的位置,体验可以非常有效地引导使用者完成复杂的选择和互动。应注意不要调用太多层,通常不超过四个,以及在当前关卡后面使用模糊的内容来提高可读性并尽量减少干扰(如图11、12、13所示)。
图11:利用透视图显示多层次的接口设计
图12:利用透视图显示接口远近的层次感
图13:利用透视图显示接口远近的层次感
设计师想要一次显示所有可能的信息的想法很诱人,但这并不是一个好主意,因为它可能会导致认知超载并使使用者感到沮丧。在 VR/AR 接口设计的案例中,我们特别需要记住,好的UI设计就是要简单、易懂(如图14所示)。
图14:启动社交的圆形转盘接口设计
Magic Leap的Lumin OS接口应用程序启动器的圆形转盘包含了转盘上的八个应用程序,以及一个溢出按钮。我们在一个示例场景可以看到有三个Lanscape应用程序、screens应用程序、一个3D「学习树」,以及一个照片库。我们同时可以看到用于在空间环境中放置应用程序,然后关闭应用程序的UI。
图15:简单易懂的GUI设计
虚拟化身和图释
Magic Leap开放了Avatar Chat社交应用的免费下载。通过眼球和头部追踪,其中的虚拟化身能够模拟使用者的表情和动作,比如跟着眨眼、或者跟随走动。结合手势识别技术,它们还能够模仿使用者之间的击掌和碰拳等打招呼动作。使用者可以在该应用中使用虚拟化身进行交流,还可以插入Emoji表情、分享Gallery图片库和Helio AR浏览器中的内容。
接下来,也就是最好玩的部分之一:选择虚拟化身,选定的虚拟化身能够模拟使用者的手势和360°旋转、歪头等活动,虚拟化身模仿肢体语言的效果近乎实时,说明这款应用作为远程交流工具性能足够优秀。除了动作和手势追踪,使用者说话的表情还可以触发虚拟化身的表情变化,使用者眨眼的时候虚拟小人也会跟着眨眼。
图16:Magic leap 的3D虚拟化身设计
图17:Magic leap的 avatar的图释GUI设计
图18:Magic leap 的 avatar的图释UI设计
虚拟化身可以是真实或虚构的人(或生物或拟人化对象)在虚拟环境中的虚拟表示。例如,在两个使用者在混合现实环境中相互交互的远程呈现会话期间,观看者可以在观看者的环境中感知另一个使用者的虚拟角色,从而创建其他使用者在观看者的存在中的有形感觉。环境。虚拟化身还可以为使用者提供一种在共享虚拟环境中相互交互和一起做事的方式。例如,参加在线课程的学生可以在虚拟教室中感知代表其他学生或老师的虚拟角色并与之互动。
虚拟化身的面部表情可以使用混合形状的组合来动画化。Blendshapes[1]可以使用面向量进行组合,其中向量中的每个值代表单个 blendshape 的设置。blendshape 设置可以表示用于合并该 blendshape 的幅度(或权重)。每个混合形状可以为虚拟化身的面部添加额外的维度级别,这可以为使用者提供另一种方式来进一步操纵虚拟化身面部网格的变形。因此,每个混合形状可以被认为是用于动画虚拟化身的参数。
为了配置与面部表情相关的视觉效果,动画系统可以使用包括面部表情的二维(2D)投影的地图。地图可以是轮子的形状(例如,类似于图17所示的表情地图)或更矩形的布置(例如,类似于图18中所示的表情地图)。该地图可以作为一个接口来帮助动画师更直观地配置动画,因为动画师能够直观地看到选择的表情,而不是面部矢量中的一串数字和变量。
在某些情况下,表情地图也可以用作人(例如,AR/VR/MR设备的使用者)手动控制化身的面部表情(如上所述)的一种方式。例如,AR/VR/MR系统可以利用地图在化身的不同表情之间动态转换,通过在地图中生成并遵循例如初始表情(例如:中性表情)和最终表情之间的轨迹(例如:微笑)。在这个转换过程中,如果某个事件导致面部表情从最终表情发生变化(例如:化身不是转换为微笑,而是转换为惊讶的表情),系统可以动态地改变朝向以自然和现实的方式呈现新的最终表情(例如:惊讶的表情)。
因为虚拟化身可以是实时驱动的(例如,在AR/VR/MR环境中,或者通过远程计算设备),所以虚拟化身的表情可以实时地从第一表情改变为第二表情表达。从第一个表情到第二个表情的变化可以沿着表情变化轨迹发生。因此,第一或第二表情可以是表情变化轨迹中的中间表情。例如,表情变化轨迹可以包括担心、恐惧和恐惧,虚拟化身的表情可以从担心到恐惧再到恐惧。
为了提供不那么僵硬的过渡并在任何时间点提供从第一表情到第二表情的无缝流动,虚拟化身的动画系统可以提供表情之间的动态过渡并且允许表情扫过面部,更现实。例如,要从担心的表情变成开心的表情,系统可以从下巴开始向上扫,从担心的嘴巴变成微笑,然后担心的眼睛变成微笑的眼睛,或者系统可以从额头开始然后扫下,眼睛从担心变成微笑,然后嘴巴从担心变成微笑。
图19:Magic leap 的avatar的表情地图GUI设计
图20:Magic leap 的 avatar的表情地图UI设计
图21 Magic leap 的 avatar的图释转换示例[2]
备注:
- BlendShapes是一种动画制作方式,与骨骼动画相比,它主要应用在很小的局部,比如角色的面部表情。 骨骼只适合控制整体的动作,但太局部的动作使用骨骼制作会非常繁琐,同时太多的骨骼对性能也有影响。 BlendShapes的原理很简单,就是在相邻两个网格间做插值运算,从一上形状融合到另一个形状;或者说是单个网格变形以实现许多预定义形状和任何数量之间组合的技术。
- 2021年8月31日公告Magic leap的US US11107262B2发明专利「多维空间中的头像面部表情表示」。
好消息~北美智权报有微信公众号了!
《北美智权报》内容涵盖世界各国的知识产权新闻、重要的侵权诉讼案例分析、法规解析,以及产业与技术新知等等。
立即关注北美智权微信公众号→ NAIP_IPServices
~欢迎读者分享与转发~ |
|
|
【本文只反映专家作者意见,不代表本报及其任职单位立场。】
|
|
作者: |
叶雪美(Sherry H.M. Yeh) |
学历: |
(台湾) 世新大学法律研究所法学硕士
(台湾) 成功大学工业设计系学士 |
经历: |
(台湾) 「智慧财产局」专利一组 简任专利高级审查官 (台湾) 中央标准局新式样专利主任审查员(75-76)
(台湾) 中央标准局专利审查委员(80-89)
(台湾) 台湾科技大学 专利所 兼任助理教授 |
著作: |
《美国外观设计侵害认定相关问题研究-兼论我国新式样专利侵害认定问题》,2004。
《外观设计申请实务-台湾及美国专利申请策略》,元照出版公司,2008。 |
|
|
|