动态进入和离开由不同HMD用户浏览的虚拟现实环境的制作方法

文档序号:17439061发布日期:2019-04-17 04:30阅读:238来源:国知局
动态进入和离开由不同HMD用户浏览的虚拟现实环境的制作方法

本公开涉及在头戴式显示器(hmd)中呈现的虚拟现实(vr)环境内容,以及用于允许hmd用户动态地进入和离开不同hmd用户的vr环境的方法和系统以及用于允许在vr环境中的两个hmd用户之间进行虚拟交互的方法和系统。



背景技术:

通过头戴式显示器(hmd)呈现的虚拟现实(vr)正成为消费者与内容进行交互的越来越流行的方式。然而,虽然许多计算机娱乐行业已经转向提供更多与内容进行交互的社交和个人间平台,但vr已成为一个值得注意的例外。实际上,vr用户经常发现虚拟环境可能是孤立的,缺乏社交性。随着vr越来越受欢迎,有机会合并社交和个人间部件,以增强和人性化vr消费者体验。

当多个hmd用户共处一地时尤其如此。例如,两个共处一地的hmd用户各自在他们自己的vr中可能希望与另一个用户共享他们的vr,并且在vr环境中以其他方式彼此进行交互。也就是说,有机会不仅使共处一地的用户能够看到相同的vr,而且还允许在vr环境中的共处一地的用户的化身之间进行交互。这种个人间和“化身间”的交互增强了用户的vr体验,并允许内容创建者将社交和多用户维度合并到vr内容世界中。

正是在这种背景下,出现了本公开的实施方案。



技术实现要素:

本公开的实施方案提供用于共享虚拟现实环境的方法和系统,更具体地,用于允许客人hmd用户加入主人hmd用户的虚拟现实环境(或简称虚拟现实)。该方法和系统还定义了一旦客人已加入,第一用户和第二用户虚拟地在主人用户的虚拟现实(vr)环境内进行交互的实施方案。应当理解,本公开可以以多种方式实现,例如作为进程、装置、系统、设备或计算机可读介质上的方法。下面描述本公开的若干创造性实施方案。

在一个实施方案中,计算机实现的方法包括处理头戴式显示器(hmd)用户加入虚拟现实(vr)场景的操作。该方法包括向第一用户的第一hmd提供vr场景的第一视角,然后接收第二hmd的第二用户请求加入提供给第一hmd的vr场景的指示。此外,该方法包括获得第二hmd相对于第一hmd的现实世界定位和朝向数据,然后响应于第二用户加入vr场景的请求,基于现实世界定位和朝向数据,提供vr场景的第二视角。此外,该方法还规定vr场景的第一视角和第二视角各自在观看vr场景的同时由相应的定位和朝向变化来控制。

在另一实施方案中,一种用于向一个或多个hmd提供vr场景的系统包括:第一hmd,其被配置为向用户显示vr场景;以及能够执行vr内容的计算系统,其产生vr场景的第一视角。计算系统还建立用于向第一hmd提供vr场景的第一视角的第一通信信道,以及用于从请求加入vr场景的第二hmd接收信号的第二通信信道。第二通信信道还用于向第二hmd提供vr场景的第二视角。该系统还包括定位系统,用于跟踪第一hmd和第二hmd的现实世界定位和朝向以及其变化。根据该实施方案,vr场景的第二透视基于第二hmd相对于第一hmd的现实世界定位和朝向,而第一视角和第二视角中的每一个由第一hmd和第二hmd的相应的定位和朝向变化控制。

在另一实施方案中,描述了一种用于提供vr场景的系统,其包括:第一hmd,其被配置为向第一用户显示vr场景的第一视角;以及与第一hmd相关联的移动计算设备,其可用于执行vr内容以产生vr场景的第一视角。移动计算系统还包括用于与第二hmd交换数据的通信信道,所述通信信道可操作以使第二hmd能够向第二用户显示vr场景的第二视角,其中第二视角与第一视角不同。另外,移动计算设备还包括惯性传感器,用于跟踪第一hmd的现实世界定位和朝向。根据该实施方案,vr场景的第二视角基于第二hmd相对于第一hmd的现实世界定位和朝向。在某些实施方案中,移动计算设备可以包括智能电话、平板电脑、膝上型电脑或上网本中的一种。

在一个实施方案中,一种方法包括用于从主人hmd用户向客人hmd用户发送加入虚拟现实的邀请的操作。该方法包括通过hmd上的摄像头和惯性传感器和虚拟现实交互空间内的附加摄像头来确定客人的定位和朝向的操作。此外,该方法包括将第二用户的虚拟表示或化身引入vr中的操作,该化身所出现在的虚拟定位和朝向在主人看来相对于客人对应于客人的现实世界定位和朝向。另外,该方法包括以对应于第二用户相对于主人的定位和朝向的修改的视角向客人显示vr的操作。此外,该方法还可以跟踪两个用户的现实世界运动并将它们实时地映射到虚拟运动。因此,两个用户能够通过他们的化身进行交互(化身间交互),使得用户可以感知共享虚拟现实环境内的通信、交互和观看,就好像是在现实世界发生的个人间交互一样。

在另一实施方案中,提供了一种用于允许客人hmd用户加入主人hmd用户的vr的系统。该系统通过确定两个用户的相对定位和朝向来启动第二hmd用户加入vr的过程,并将客人插入vr中,位于对应于客人在现实世界中相对于主人的定位和朝向的定位和朝向处。该系统还可以从两个用户获得注视数据并处理所述注视数据以确定两个用户的注视点(pog)。另外,该系统还可以在主人vr内呈现第二用户的pog的指示,以及在第二用户的vr内呈现主人的pog的指示。例如,可以使用十字准线动画来向另一用户指出pog。在一些实施方案中,可以向另一个hmd用户显示幻影轨迹以显示用户随时间正在观看并注视的内容。这样,另一hmd用户可以跟踪并跟随另一hmd用户正在观看的内容。这种类型的功能的实施方案在多用户游戏中或在两个或更多个hmd用户将体验共享虚拟环境的环境中特别有用。

在另一实施方案中,体现在非暂时性计算机可读介质中的计算机程序在由一个或多个处理器执行时允许客人hmd用户加入主人hmd用户的vr。介质中包括用于获得两个hmd用户的定位和朝向数据的程序指令,其用于确定第二hmd用户在何处以及以何种视角加入vr。该介质还包括用于跟踪每个用户的现实世界运动并将它们映射到用户的化身的运动的程序指令。结果,用户可以彼此进行通信、交互和查看共享vr环境,就好像这些通信、交互和查看在现实世界中发生一样。该实施方案的其他方面包括用于跟踪注视数据的程序指令,使得每个hmd用户都可以看到或关注其他hmd用户正在观看的内容。例如,如果一个用户正在看vr环境中的一张桌子,则可以通过使用注视检测数据将该桌子识别为hmd用户正在看的对象。然后,可以将该注视检测信号传达给另一hmd用户,使得该另一hmd用户也可以看到相同的东西,例如桌子。这样,2个hmd用户可以共享或传达关于每个用户在共享虚拟环境中正在看的内容的信息。

在另一实施方案中,一种方法包括检测hmd用户的注视方向,以及渲染hmd用户的化身的一对眼睛的外观使其具有与现实世界中hmd用户的相同注视方向。在某些实施方案中,由于pog中的变化频率,不期望经由十字准线来不断地跟踪第二用户的pog。因此,在某些实施方案中,第一用户的注视方向可以由第二用户通过查看第一用户的化身,尤其是第一用户的化身的眼睛来估计。

根据下面结合附图的详细描述,本公开的其他方面将变得显而易见,附图通过示例说明了本发明的原理。

附图说明

通过参考以下结合附图的描述,可以更好地理解本公开,其中:

图1示出了虚拟现实交互空间的实施方案,其中在对两个共处一地的hmd用户的定位数据进行相互跟踪。

图2示出了从物理空间到虚拟现实空间的映射方法。

图3示出了能够允许动态进入和离开虚拟现实环境的系统的实施方案。

图4示出了允许主人邀请客人进入虚拟现实环境并允许客人加入主人的虚拟现实环境的方法的总体流程。

图5示出了用于将客人引入到主人的vr的方法的总体流程。

图6示出了用于允许共享vr的主人和客人虚拟地向彼此传递注视点(pog)的方法的流程。

图7示出了用于允许主人和客人通过查看另一个人的化身来确定彼此的pog的方法的流程。

图8a和8b示出了发送和接收加入共享vr的邀请的方法的实施方案。

图9a-9c示出了当客人加入主人的vr时,两个共处一地的hmd用户如何出现在共享物理空间以及共享vr空间中的第三方顺序视图。

图10a和10b示出了由两个共处一地的hmd用户在共享vr环境内的化身间交互。

图11a和11b示出了如何将第一用户的pog传达给第二用户以及执行相反的操作的实施方案。

图12a-12j示出了客人基于相应的vr“光晕”定位而动态地进入主人的vr。

图13a-13f示出了客人基于相应的vr“光晕”定位动态地离开主人vr。

图14a-14h示出了某些实施方案能够支持的共享vr内的主人和客人的相应的化身之间的各种类型的交互。

图15a-15e示出了用于通过镜像用户的化身的虚拟眼睛中的用户的实际注视方向来传达注视方向的另外的实施方案。

图16示出了根据一个实施方案的头戴式显示器的一些部件的实施方案。

具体实施方式

以下实施方案描述了用于使两个或更多个共处一地的头戴式显示器(hmd)用户能够动态地进入和离开共享虚拟现实以及经由用户的相应化身在共享vr内进行交互的方法、计算机程序和装置。然而,对于本领域技术人员来说,显而易见的是,本公开可以在没有这些具体细节中的一些或全部的情况下实施。在其他情况下,没有详细描述众所周知的过程操作,以免不必要地模糊本公开。

vr环境通常被配置为可由单个用户通过hmd和/或一个或多个控制器在一个时间浏览。这主要是由于hmd的性质以及它们在一个时间只为一个人提供vr的能力。因此,当两个或更多个hmd用户在现实世界中共处一地时,他们可能沉浸在不同的虚拟现实环境中并且完全不知道彼此的体验。

与此同时,计算机娱乐行业经历了一场变革,变得越来越社交化、合作化以及可分享。然而,通过hmd传递的vr环境是一个值得注意的例外。实际上,hmd用户经常发现,vr虽然很有娱乐性,但由于缺乏社交维度而变得非常孤立。结果,用户经常牺牲社交互动来进行沉浸式娱乐,反之亦然。因此,有机会向由hmd提供的vr环境引入社交化、合作化和可分享的成分,以使它们整体上更少隔离、更具公共性和更有娱乐性。

当两个hmd用户共处一地但体验完全不同的vr环境时尤其如此。例如,主人可能希望与第二用户共享他的vr,而第二用户可能希望看到主人正在看到什么。根据本公开的一个实施方案,可以向主人提供邀请第二玩家加入其vr的选项。可以通过多种方式,包括通过语音命令、vr命令、共享按钮或一些其他虚拟命令,来触发邀请其他用户加入。

触发后,邀请可能会传递给客人。主人和客人之间的邀请的传递可以以多种方式发生,例如经由局域网(lan)、wifi、近场通信(nfc)、蓝牙或其他合适的连接工具。客人可以通过一种或多种方式接收邀请。例如,可以通过语音、通过hmd显示的vr“助手”、由hmd显示的动画、由hmd显示的文本块或其他合适的通信形式来传达邀请。

通常,向用户提供vr的hmd通常具有与其相关联的“光晕”。光晕表示三维空间,在任何给定时刻,可以预期用户如vr所指示的那样在物理上移动和/或作手势。光晕可以呈现多种形状和大小中的一种,具体取决于用户和当前正在显示的vr。例如,需要用户坐下并保持静止的vr的光晕可能比要求用户一边挥动球拍一边移动他或她的脚的网球比赛的vr的光晕小。在实践中,光晕可以代表用户可以自由地与他或她的vr进行交互而不会被周围物体阻挡的空间。另外,一个或多个vr传递系统可以使用光晕来测量两个共处一地的hmd用户之间的间隔距离,并自动启动将客人和主人加入共享vr的过程。例如,如果共处一地的hmd用户不知道其他人的定位,则vr传递系统或方法可能检测到两个或更多个光晕太近或重叠,并且警告用户另一用户的接近。在某些实施方案中,vr传递系统或方法可以使第二用户(“客人”)加入第一用户(“主人”)的vr。在这些实施方案中,允许主人在他的vr中前进,同时给予主人和客人对两者分开的距离的感知和重新定位的机会。根据这些实施方案,可以给客人一个选择,要么留在主人的vr中,要么重新定位自己,使得相应光晕之间没有重叠。

一旦客人接收到邀请,他可以口头地、通过虚拟确认按钮、通过控制器或hmd上的物理按钮、通过手势或通过注视方向,接受加入主人的vr的邀请。根据一些实施方案,然后可以将客人插入到主人的vr环境中,位于与其相对于主人的现实世界的定位和朝向对应的虚拟定位和朝向处。例如,如果客人恰好位于5米外的2点钟定位处,则他可能会出现在主人的vr中,距离主人5米远,与主人的中心视线形成60度。

根据一些实施方案,现在客人hmd将以与主人的vr类似但不相同的vr显示。因为主人和客人在现实世界中具有不同的视角(例如,有利位置),所以他们也将具有vr的不同虚拟视角。例如,如果主人面向正北方而客人面向西方时,将给两人显示相差90度的视图。此外,由于主人和客人在现实世界空间中是分离的,因此,即使他们面向相同的方向,也可能会给他们显示vr的不同视角。

在某些实施方案中,主人和客人的实时、现实世界的移动被映射到vr空间。可以以多种方式检测这些实时、现实世界的移动,包括例如由hmd上的摄像头和虚拟现实交互空间中的附加摄像头、hmd和/或控制器中的惯性传感器等捕获。以这种方式,主人可以看到客人的化身在vr中移动,就像他在现实世界中移动一样,反之亦然。例如,如果主人在向客人挥手致意,则他的手臂和手的移动被捕获并被映射到虚拟空间。客人能够在vr内看到主人化身的挥手手势。客人可以选择还以挥手,同样这种挥手也被映射到虚拟空间以供主人查看。这种类型的化身间交互允许vr的更社交化和个人间的模态。

如本文所使用的,“虚拟现实交互空间”指的是三维现实世界空间,其中一个或多个用户可以经由hmd参与vr。另外,如本文所使用的,“映射到vr空间”是指根据映射规则,将现实世界中存在的物理对象(及其运动)转换为物理对象(及其运动)的对应虚拟表示以在虚拟现实空间中渲染的检测、计算和图形处理过程。

除了允许hmd用户看到彼此的移动之外,某些实施方案还可以允许hmd用户看到其他用户在注视或看着的位置和内容。在这些实施方案中,通过注视检测模块来跟踪主人和客人的注视。然后,可以由计算机分析注视数据以确定特定用户可能正在看什么。还可以通过投影用户正在看的位置的虚拟指示(例如,十字准线或注视指示符)将注视数据映射到虚拟空间。例如,主人可以通过在vr内找到客人的注视指示符来了解客人正在看什么。同样地,客人可能对主人正在看的内容感兴趣并且可以通过跟踪vr内的主人的注视指示符来了解它。

在某些其他实施方案中,hmd用户能够通过简单地看或瞥一眼其他用户的化身来传达注视。在这些实施方案中,从第一用户的眼睛成像的第一用户的注视方向被映射到第一用户的化身的一组眼睛。也就是说,化身以看起来具有与用户的现实世界注视方向相似的注视方向的方式渲染。因此,替代注视指示符或者作为注视指示符的补充,其他用户可以通过看第一用户的化身来收集第一用户的注视方向。进一步的实施方案允许主人和客人通过语音或通过控制器直接进行通信。

在某些时候,客人可能希望离开主人的vr,并且可以通过语音命令、控制器按钮、手势、注视或其他命令来这样做。然后,客人可以被放回他的虚拟现实中,位于与他曾离开去加入主人的vr的时间和位置相对应的时间和位置处。回到他的vr后,前客人可能希望作为主人,邀请前主人加入他的vr。因此,本公开的实施方案允许动态进入和离开一个vr环境或场景,进入由不同hmd用户浏览的另一vr环境或场景。

在其他实施方案中,不要求hmd用户共处一地。也就是说,主人和客人hmd用户可以在空间上分开。即使两个hmd用户不在同一个房间,动态进入和离开共享vr场景的原则同样适用。例如,位于加利福尼亚州库比蒂诺的hmd用户可能希望加入正在向位于纽约伊萨卡的hmd用户显示的vr场景。在向伊萨卡发送请求后,位于库比蒂诺的hmd用户(客人)可以加入位于伊萨卡的hmd用户(主人)的vr场景。在远程vr场景共享的情况下,两个用户的定位和朝向数据用于确定给予任一用户什么视角,就像两个hmd用户共处一地一样。

然而,在一些实施方案中,不是使用在位于库比蒂诺的用户和位于伊萨卡的用户之间检测到的相对距离来确定将位于库比蒂诺的用户插入vr场景的插入点,而是可以使用预定的虚拟定位来将客人插入或引入到主人的vr场景中。在其他实施方案中,可以使客人能够选择要插入或引入vr场景的相对于主人的虚拟定位的虚拟定位。根据某些实施方案,一旦将客人插入或引入主人的vr场景中,就可以将客人与主人“拴系”在一起。

根据这些实施方案,hmd用户被“拴系”到另一个hmd用户,因为通常单个hmd用户控制着vr场景,只要所述hmd用户正在控制vr场景内的进度和其中包含的交互内容。在这些实施方案中,主人hmd用户通常被指定为(vr场景内进度的)控制者,而客人通常被指定为旁观者。在某些其他实施方案中,例如,主人和客人可以切换角色,使得客人是vr场景的控制者,而主人是旁观者。根据这些实施方案,当控制者为游戏内的任务需要帮助,并且旁观者可以承担控制者的角色以帮助完成任务时,可能是这种情况。

这里使用的“旁观者”用于表示vr场景中不是vr场景的控制者的角色。应该注意的是,这里使用的“旁观者”并不意味着将角色仅限于观看。因此,vr场景内的旁观者虽然不控制场景的整体进度,但仍然可以参与到场景中并在其内进行交互以及与场景的控制者进行交互。例如,在一些实施方案中,旁观者可以通过与vr场景内的内容进行交互,例如帮助猜谜或击败敌人,来帮助控制者。在其他实施方案中,旁观者可以与控制者协作以通过例如将虚拟物品传给或递给控制者使用,来在vr场景内取得进展。

如本文所使用的,“拴系”用于描述vr场景内的控制者和旁观者之间的虚拟关系。具体地,只要向旁观者显示的vr场景取决于控制者的动作,旁观者就被与控制者拴系在一起。例如,如果控制者通过朝向vr场景内的感兴趣点行走来引导vr场景内的移动,则旁观者将需要跟随控制者以保持在vr场景内。如果旁观者不能设法停留在控制者的预定接近度范围内,则旁观者可以开始离开vr场景。然而,根据一些实施方案,旁观者可以通过定位在控制者的特定接近度范围内来重新进入vr场景。结果,客人或旁观者可以动态地进入和离开vr场景,而不影响vr场景内的进度。

如本文所使用的,vr场景内的“进度”通常意指由hmd用户与vr场景中的内容进行交互,作为非限制性示例,其可以包括在vr场景内完成任务、引导在vr场景内的移动、解决vr场景内的谜题、击败vr场景内的敌人、与vr场景内的非玩家角色(npc)进行交互、与vr场景内的玩家角色进行交互、在vr场景内得分、在vr场景内达到更高级别,以及在vr场景内获得虚拟资产。

图1示出了虚拟现实(vr)交互空间100的实施方案。第一用户150被示为戴着第一hmd106,第二用户110被示为戴着第二hmd104。hmd104和106经由无线和/或有线连接模式(例如经由lan、wan、nfc、蓝牙、wifi、蜂窝、互联网等)彼此连接。hmd104被示为具有前向摄像头112,hmd106被示为具有前向摄像头152。虽然未示出,但是hmd104和106都可以具有围绕hmd104或106的主体的附加摄像头,以产生现实世界的360度视图。

hmd106的定位被示为由定位跟踪160进行跟踪。该定位跟踪数据被传达(180)给hmd104。同样地,hmd104的定位数据被传达(120)给hmd106。结果,hmd104实时跟踪其自身定位和hmd106的定位,hmd106实时跟踪其自身定位和hmd104的定位。

尽管未在图1中示出,但是在一些实施方案中,执行要由hmd显示的vr内容的计算系统可以是与hmd位于相同的空间内的、与hmd分开的一个或多个单独的单元。在这些实施方案中,可以存在例如向两个hmd提供vr内容的单个计算系统单元。在其他实施方案中,每个hmd都可以具有指定的计算系统单元,其中计算系统单元交换数据以同步提供给hmd的vr内容。在这些实施方案中,hmd可以经由有线连接或无线连接而连接到计算单元。

在其他实施方案中,计算系统可以是hmd的组成部分,用于计算和显示目的。也就是说,计算系统可以被配置为装配在hmd上或hmd内,以便它可以向hmd用户提供vr内容的显示以及执行vr内容以产生vr场景。例如,如上所述,计算系统可以包括移动电话、平板电脑、笔记本电脑或上网本。

图2概念性地示出了物理到虚拟空间映射的过程。用户210和用户212被示为戴着hmd同时向其呈现共享vr。每个hmd都具有至少六个自由度,如图形表示214和216所示。由214和216表示的6个自由度包括“前-后”、“上-下”、“右-左”、侧倾、俯仰和横摆。在某些实施方案中,所有6个自由度都由设置在虚拟现实交互空间内的摄像头和/或位于hmd上以及其内的传感器(例如惯性传感器)跟踪。在其他实施方案中,所述自由度可以由包括位于vr交互空间内的红外(ir)发射器和位于hmd上的光敏二极管(psd)的系统进行跟踪。

根据一些实施方案,跟踪该数据并经由计算机(未示出)对其进行处理,可实现物理到虚拟空间映射220。该处理的结果是虚拟空间230和化身210b和212b,其分别对应于诸如用户210和212之类的用户移动之类的现实世界状态。例如,用户210能够在共享vr内看到用户212的用户化身212b。同样地,用户212能够在共享vr内看到用户210的用户化身210a。两个用户的移动也被设置在虚拟现实交互空间内的摄像头跟踪,使得在现实世界中发生的移动可以被映射到由化身210a和212b执行的虚拟移动。

图3示出了能够提供虚拟现实环境的动态进入和离开的系统300的实施方案。第一用户306被示为连接到第一hmd302,第一hmd又连接到第一计算机326。第二用户308被示为连接到第二hmd304,第二hmd又连接到第二计算机328。第一hmd302和第二hmd304都被示为分别具有安装到它们的ffc310和312。在本实施方案中,第一ffc310被示为具有可以捕获第二用户308hmd304的视野314。同样地,在本实施方案中,第二ffc312被示为具有可以捕获第一用户306和第一hmd302的视野315。

根据所示实施方案,第一计算机326被示为具有内容执行逻辑(cel)330,其负责决定在第一hmd302上显示什么内容。cel330被示为包含vr内容生成器332、vr内容共享逻辑334和定位朝向检测逻辑(podl)340。cel330可以使用vr内容生成器332来向第一hmd302提供vr场景。在一些实施方案中,所提供的vr场景可以包括虚拟现实游戏、虚拟现实电影、虚拟现实体育比赛、虚拟现实产品演示或虚拟现实电话会议。在某些其他实施方案中,vr可以包括游戏的流视频、视频游戏的“过关”、“电子竞技”的广播以及其他游戏内容。在更进一步的实施方案中,vr场景可以包括创意性内容,诸如虚拟现实音乐会、艺术演出、音乐表演、舞蹈表演、戏剧和音乐剧,以及其他种类的创意性内容。其他实施方案可以具有vr场景,其包括与教育、职业培训、军事应用、认知行为疗法(cbt)、自己动手(diy)、旅游、房地产旅游、执法、安全和监视相关的内容,等等。

第二计算机328被示为具有内容执行逻辑(cel)344,其包括vr内容生成器336、podl342和vr内容共享逻辑316。另外,计算机328还连接到第二用户308所对接的hmd304。由摄像头312捕获的图像被中继到计算机328,由摄像头322捕获的图像也被中继到该计算机。还示出了计算机326和328之间的连接。

在某些实施方案中,vr内容共享逻辑334能够与第二用户308共享(例如,经由第二hmd304)由vr内容生成器332生成的vr内容。在某些实施方案中,vr内容共享逻辑334能够获取由vr内容生成器332生成的vr内容、执行内容修改,然后经由第二计算机328或直接(未示出)将其呈现给第二hmd304。根据该实施方案,内容修改包括改变第二用户308的vr场景的视角,以及将第一用户306的化身渲染在第二用户308的vr场景中。

根据这些实施方案,vr内容共享逻辑334从podl340接收输入,用于修改由vr内容生成器332提供的vr场景的视角。基于来自摄像头318、310、312和322以及hmd302和304任一上的传感器(未示出)的输入,podl340提供关于第二用户308和第二hmd304相对于第一用户306和第一hmd302的定位和朝向的数据。结果,vr内容共享逻辑334和316能够修改和渲染第二hmd304的辅助vr场景,该辅助vr场景在vr场景内具有虚拟视角,其对应于第二hmd304和第二用户308在现实世界的视角。

另外,第二用户308的化身由vr内容共享逻辑334和316以及vr内容生成器332和336渲染。根据一些实施方案,然后,podl340和342,在已经检测到第二用户308相对于第一用户306的定位和朝向之后,可以向vr内容共享逻辑334和316以及vr内容生成器332和336通知关于如何渲染第二用户308的化身以呈现给第一用户302的信息。

应当注意,尽管示出了两个不同的计算机326和328来执行各个hmd302和304的vr内容,但是本领域技术人员将理解,计算机的数量对于在此提出的实施方案的制作和使用并不重要。例如,某些实施方案可以具有单个计算机,其为两个hmd提供vr内容以及进入和退出由不同hmd用户浏览的不同vr环境的能力。在某些其他实施方案中,计算机326和328可以在分布式计算系统上实例化,其中与动态进入和退出由不同用户浏览的vr场景/环境相关的操作是在网络上的远程服务器处执行的。

还应注意,尽管计算机326和328分别被示为是与hmd302和304分开的单元,但是本领域技术人员将容易理解,计算机的位置或放置对于制作和使用用于动态进入和离开其他hmd用户的vr场景的实施方案来说并不重要。例如,计算机326和328可以分别容纳在hmd302和304内。在这些实施方案中,例如,计算系统可以是移动计算设备,例如移动电话。在另一示例中,计算机326和328可以位于云平台上,而不是与用户306或308共处一地。

图3中还示出了红外光(ir)光源346和348,其被配置为向hmd发射ir光线。根据一些实施方案,hmd可以具有检测入射ir光线的光敏二极管(psd)阵列。podl340能够使用ir发射数据和psd检测数据来确定hmd302和304的定位和朝向。

本领域普通技术人员将理解,在不脱离用于动态进入和离开vr场景的系统和方法的原理的范围和精神的情况下,存在许多迄今为止所说明的方式之外的其他方式来实现跟踪诸如hmd之类的对象的定位和朝向。也就是说,跟踪hmd的特定模式对于共享vr场景或者动态地进入和退出由不同用户浏览的vr场景的功能是无关紧要的。

图4示出了用于允许动态进入和离开由不同用户浏览的vr环境的方法的实施方案。在操作400中,该方法为第一用户显示第一vr场景,为第二用户显示第二vr场景。然后,该方法进行到操作420,在该操作中,该方法接收第一用户希望与第二用户共享第一vr的指示。作为操作420的结果,操作440向第二用户发送加入第一用户的vr的邀请。如上所述,邀请可以采用多种形式中的一种,例如口头邀请、文本邀请和动画邀请等。

如果第二用户接受邀请,则该方法进行到操作460,在该操作中,接收到第二用户已接受邀请加入第一vr场景中的第一用户的指示。然后,该方法进行到操作480,在该操作中,第一vr场景被显示给第二用户。

尽管为了清楚起见未示出,但是要显示给第二用户的第一vr场景将被修改为具有虚拟视角,其与他在现实世界中相对于第一用户的视角相对应,如前所述。此外,当向第二用户显示第一vr场景时,可以暂停第二vr场景。如果并且当第二用户选择返回到第二vr时,第二vr可以从其暂停的点或从某个较早的点开始显示。

图5示出了使第二hmd用户加入第一hmd用户的vr的方法的实施方案。在操作506中,通过设置在hmd中和hmd上的摄像头和惯性传感器以及vr交互空间内的附加摄像头来确定第一用户和第二用户的定位和朝向(并由podl处理)。一旦确定了这些参数,该方法进行到操作508,该操作将第二用户的虚拟表示引入第一用户的vr中,该虚拟表示所出现在的虚拟定位和朝向对应于第二用户在现实世界中相对于第一用户的定位和朝向。例如,如果第二用户位于第一用户的正前方并且第一用户位于第二用户的正前方(例如,他们彼此面对),则该方法将第二用户的虚拟表示引入到位于第一用户正前方的vr中。在该示例中,第二用户的虚拟表示也将看起来面向第一用户(即,两者在共享vr中彼此看着对方)。

对于第二用户,操作510显示具有修改的视角的第一vr,该修改的视角对应于第二用户在现实世界中相对于第一用户的定位和朝向。因此,如果两个用户在现实世界中彼此面对,他们将在vr中看到完全不同的视野。但是,如果例如第二用户转180度以面向与第一用户相同的方向,则他的朝向变化将由方法512,通过hmd上的摄像头和vr交互空间内的摄像头实时跟踪。第二用户现在将具有类似于第一用户的视角的视角,因为他现在面向与第一用户相同的方向。第二用户的转身对于第一用户也是显而易见的,因为该方法进行到操作514,该操作向两个用户显示对应于实时跟踪的现实世界运动的虚拟运动。因此,第一用户不仅知道第二用户的转身,而且他还能够看到第二用户实时转身。

图6示出了用于允许具有共享vr的hmd用户确定另一用户的注视点(pog)的方法(例如,看另一用户正在看的位置或另一用户正在注视的内容)。例如,在操作608中,检测并处理客人(第二用户)和主人(第一用户)的注视信息以确定各个注视点。一旦确定了客人和主人的pog,操作610就在客人的共享vr内显示主人的pog的指示。操作610还在主人的共享vr内显示客人的pog的指示。注视指示可以采用多种形式中的一种或多种。例如,指示可以采用十字准线的形式。在其他实施方案中,指示可以表现为突出显示的虚拟物体或区域。在更进一步的实施方案中,指示采用一种形状的轮廓的形式。虽然未示出,但是也可以通过不同于另一用户的pog的指示向用户自己指示其自己的pog。在一些实施方案中,如果多于两个用户碰巧共享vr,则每个用户的注视指示可采用不同的形式以避免混淆。

然后,该方法进行到操作612,该操作通过注视跟踪摄像头,实时跟踪主人和客人的pog的变化。作为该跟踪的结果,操作614能够在共享vr内向另一个人显示主人和客人的pog的变化的指示。

图7示出了用于允许hmd用户通过观察另一个人的化身的眼睛来确定另一个人的注视方向的方法的流程。在该实施方案中,向主人和客人显示了共享vr,其中每个相应的化身都具有眼睛或某种其他相似的视觉能力(操作702、704和706)。在操作708和710中,例如通过相应hmd内的注视检测摄像头捕获主人和客人的眼睛的图像。另外,该方法渲染化身的眼睛的外观以匹配相应用户的眼睛。也就是说,主人的化身将使眼睛看起来注视与主人的实际注视方向相同的方向。同理也适用于客人。在操作712中,跟踪两个用户眼睛的实时变化,以便可以通过操作714提供两个化身眼睛的更新外观。

图8a和8b示出了发送和接收加入共享vr的邀请的方法的实施方案。例如,可以警告正向其显示vr场景810的第一玩家,第二玩家在附近,并提示其邀请第二玩家加入vr场景810。提示812可以采用如图8a所示的文本块的形式,但是如前所述,可以以多种方式之一传递提示。同样地,第一玩家可以以多种方式中的一种或多种,包括口头命令、按下控制器按钮、手势、注视行为和身体移动,来响应提示812,以便接受或拒绝提示812。

如果第一玩家碰巧接受邀请第二玩家的提示812,则诸如邀请816之类的指示可以出现在第二玩家的vr场景814中。同样,邀请816可以采用多种形式中的一种或多种,第二玩家可能希望以多种方式中的一种或多种接受或拒绝邀请816。

图9a-9c示出了当客人加入主人的vr时,两个共处一地的hmd用户如何出现在共享物理空间以及共享虚拟空间中的第三方顺序视图。主人902被示为在现实世界与客人904共处一地。两者都通过hmd参与vr环境。客人904接受加入主人902的vr的邀请。主人的定位908a和朝向908b以及客人的定位910a和朝向910b由计算机(未示出)跟踪。还示出了主人902和客人904之间的距离906被跟踪。

图9b示出了主人化身902a独自在vr内的第三方透视图。主人化身902a的定位912a和朝向912b被示为未变化。示出了客人化身将被插入到共享vr中的定位916a和朝向916b的指示。主人和客人906之间的距离在虚拟空间906a中保持大致相同。

图9c示出了共享vr的相同第三方视角,其中主人化身902a和客人化身904a都在视图中。客人化身904a被示为被引入共享vr中,位于对应于他在现实世界中的定位910a和朝向910b的定位916a和朝向916b处。

图10a示出了共享vr场景的相同的两个共处一地的hmd用户。1006是vr场景在主人1002的眼中可能的样子的二维快照。1008是客人1004视角的快照。主人1002通过他的hmd看到即将到来的桥。客人1004看到相同的桥,但是是从略微不同的视角看到的,视角的差异对应于客人相对于主人的现实世界位置的差异。客人1004还看到主人化身1002a正在接近桥。

图10b示出了稍后的相同的两个共处一地的hmd用户。主人1002被示为回头看他的身后。主人1002能够在快照1006中看到客人化身1004a,客人1004能够在快照1008中看到主人化身1002a。同时,客人1004希望在vr场景内鼓励或以其他方式与主人1002虚拟地进行交互,在现实世界中给出了竖起大拇指手势1010。竖起大拇指手势1010经由计算机被映射到虚拟空间,以显示由客人化身1004a给出了虚拟竖起大拇指手势1010a。主人1002看到手势1010a,如快照1006所示。。

图11a示出了正在观看相同vr场景的两个共处一地的hmd用户。vr场景包括行星1101和飞船1103。分别向主人1102和客人1104呈现vr场景1110和1112。尽管场景1110和1112看起来类似,但是主人1102和客人1104可能具有不同的pog(例如,正在看不同的东西)。在本示例中,主人1102的pog1106在飞船1103上,而客人1104的pog1108在行星1101上。在某些实施方案中,可以在vr场景中指出另一用户的pog。例如,可以通过方形指示1108a在vr场景1110中指出客人1104的pog1108,使得主人1102了解客人的pog。同时,主人1102的pog1106以方形指示1106a的形式在vr场景1112中对客人1104可见。在该示例中,主人1102可能希望通过口头传达1114,例如,“看看这个!”,将客人1104的注意力引导到飞船1103。

在图11b中,客人1104响应于主人1104的传达1114,改变他的pog1108。在某些实施方案中,由于主人pog的指示1106a,客人1104知道将他的注意力引向哪里。在该示例中,客人1104准备改变他的pog1108,也看向飞船1103。主人1102知道pog的这种变化,因为客人的pog的指示1108a被示为也指向飞船1103。

图12a-12j示出了客人基于相应的vr光晕定位,动态进入主人vr的实施方案。例如,图12a示出了在呈现不同的vr场景时主人1202和客人1204分别具有光晕1206和1208的示意图。图12b示出了来自现实世界第三方视角的与图12a相同的事务状态。尽管示出了光晕1206和1208具有相似的尺寸和形状,但是本领域技术人员将理解,任一光晕的尺寸和形状可以彼此不同,并且也可能来自不同的时间点。

在图12c和12b中,示出客人1204已移得更靠近主人1202,使得光晕1206和1208在程度1210范围内重叠。如前所述,光晕表示可以预期hmd的用户在其中移动或在其中作手势的空间。因此,当光晕重叠时,用户彼此碰撞的概率可能增大。当检测到两个或更多个光晕重叠时,将例如通过如图8a和8b所示的提示和邀请来通知用户1202和1204。如果不存在共享vr场景的共同愿望或指示,则可以向用户1202和1204提供在彼此之间产生间隔的指令。另一方面,如果存在共享vr场景的共同愿望或指示,则可向用户提供向彼此更靠近移动的指令,使得例如客人1204在光晕1206的范围内。

图12e和12f示出了位置更靠近的主人1202和客人1204,使得不仅存在重叠1210,而且至少客人1204在主人1208的光晕1206内。由于两个光晕尺寸和形状类似,因此,主人1202也同时在客人1204的光晕1208内。然而,在某些实施方案中,当客人1204位于主人1202的光晕1206内时,可以将客人1204引入主人1202的vr场景中。

图12g和12f示出了具有共享vr场景的主人1202和客人1204,如客人1204的光晕1208的丢失所表示的,两个用户共享光晕1206。在某些实施方案中,该方法可另外重新调整共享光晕的大小以适应两个用户的移动和动作,如图12i和12j所示。

图13a-13f示出了由客人基于相应的vr光晕定位而动态离开主人vr的方法的实施方案。例如,图13a和13b示出了共享vr场景的主人1302和客人1304。根据该示例,示出了与共享vr相关联的两个光晕,主光晕1306和次光晕1308。根据本实施方案,主光晕1306表示预期用户在任何给定时刻移动或作手势的典型空间。次光晕1308用作客人1304可以位于其中的外边界,并且仍然由主人1302的vr场景支持。在一些实施方案中,主光晕1306和次光晕1308之间的空间可以用作可以提示客人1308重新定位其自身(例如,客人1304碰巧在主光晕1306之外但在次光晕1308内)的缓冲区。结果,可以提示客人1304移动以更靠近主人1302以继续在共享vr场景中,或者进一步远离主人1302以离开共享vr场景。

图13c和13d示出了客人1304已经移动到远离主人1302达距离1316。结果,客人1304离开共享vr,并且重新进入具有光晕1318的他自己的vr。在一些实施方案中,为了确保在光晕1306和1318之间没有重叠,分离主人1302和客人1304的距离1316必须等于或大于半径1312和1314的总和。根据某些实施方案,次光晕1308的半径1310至少部分地由半径1312和1314的总和来确定。在允许客人1304重新进入他自己的vr之前,一些实施方案可能需要更大的间隔距离1316。例如,图13e和13f示出了由大于半径1312和1314的总和的距离1316分开的两个用户。

图14a-14h示出了某些实施方案能够支持的在共享vr内主人和客人之间的化身间交互的类型的各种示例。例如,图14a和14b示出了在共享vr中并排站立的主人1402和客人1404。客人1404希望将主人1402的注意力吸引到他所看到的怪物1401,并指向它,如他在现实世界中一样。主人1402看到客人化身1404a的指向手势,并朝相同方向看。根据该实施方案,用于传达兴趣点的自然现实世界行为可以替代诸如注视指示符之类的vr特定方法或者作为其补充使用。

图14c和14d示出了在共享vr场景中彼此面对的主人和客人。在一些实施方案中,共享vr场景可能够支持化身间交互,诸如将虚拟物体1403从一个化身递给另一个化身。主人化身1402a被示为将虚拟物体1403递到某个距离之外的1404a。与现实世界非常相似,两个用户必须通过各自的化身进行通信和协调才能完成任务。图14e和14f示出了类似类型的交互,其中主人1402和客人1404足够接近以将虚拟物体1405交给另一个人。再次,就像在现实世界中一样,化身间的交互取决于对其他化身的虚拟事件的适当传达、协调和意识。在某些其他实施方案中,可以支持涉及触摸1407的化身间交互。例如,图14g和14h示出了化身1402a和1404a握手,这可能是现实世界握手的结果。

图15a-15e示出了用于在共享vr中确定注视信息并将其传达给另一用户的另外的实施方案。例如,图15a示出了客人1504正在朝向主人1502看,以确定主人1502正在朝哪里看。图15b-15e示出了当主人1502向不同方向看时主人1502的化身可能呈现给客人1504的各种状态。例如,图15b示出了主人化身正在抬起头向远处眺望。虽然15c中的主人化身保持与图15b中相同的头部定位,但是化身眼睛的定位的变化显示主人1502正通过他的眼角看客人1504。图15d还示出了主人化身以头抬得稍高的方式看着客人,而15e示出主人化身向下看并且向客人的右侧看。

如前所述,某些实施方案支持对用户眼睛数据进行成像,并将用户眼睛数据映射到相应化身的眼睛。在这些实施方案中,用户能够通过看着另一个用户来传达注视的方向,就像是在现实世界中发生一样。

图16示出了可以与所提出的方法和/或系统一起使用的hmd1602的另外的实施方案。hmd1602包括诸如处理器1604、电池1606、虚拟现实生成器1608、按钮、传感器,开关1610、声音定位1612、显示器1614和存储器1616之类的硬件。hmd1602还被示为包括定位模块1328,其包括磁力计1618、加速计1620、陀螺仪1622、gps1624和罗盘1626。hmd102还包括扬声器1630、麦克风1632、led1634、用于视觉识别的对象1636、ir灯1638、前摄像头1640、后摄像头1642、注视跟踪摄像头1644、usb1646,永久存储器1648、振动-触觉反馈1650、通信链路1652、wifi1654、超声波通信1656、蓝牙1658和光敏二极管(psd)阵列1660。

尽管以特定顺序描述了方法操作,但是应当理解,其他内务操作可以在各个操作之间执行,或者可以调整操作,使得它们在稍微不同的时间发生,或者可以分布在允许处理操作以与处理相关联的各种间隔发生的系统中,只要对vr操作的改变的处理以期望的方式执行就行。

2014年3月12日提交的题为“switchingmodeofoperationinaheadmounteddisplay(在头戴式显示器中切换操作模式)”的序列号为第14/206219号的共同未决的美国申请的整个公开在此通过引用完全并入。2014年3月13日提交的题为“methodsandsystemstrackingheadmounteddisplay(hmdandcalibrtationsforhmdheadbandadjustments(跟踪头戴式显示器的方法和系统(hmd和hmd头带调整的校准))”的序列号为第14/658123号的共同未决的美国申请的整个公开在此通过引用完全并入本文。2015年2月5日提交的题为“motionsicknessmonitoringandapplicationofsupplementalsoundtocounteractsickness(运动不适监测和应用补充声音以对抗不适)”的序列号为第14/615,115号的共同未决的美国申请的整个公开在此通过引用完全并入。2014年3月13日提交的题为“methodsandsystemstrackingheadmounteddisplay(hmdandcalibrationsforhmdheadbandadjustments(跟踪头戴式显示器的方法和系统(hmd和hmd头带调整的校准))”的序列号为第14/658123号的共同未决的美国申请的整个公开在此通过引用完全并入本文。

一个或多个实施方案也可以被制造为计算机可读介质上的计算机可读代码。所述计算机可读介质是可以存储数据的任何数据存储设备,所述数据随后可由计算机系统读取。计算机可读介质的实例包括硬盘驱动器、网络附加存储器(nas)、只读存储器、随机存取存储器、cd-rom、cd-r、cd-rw、磁带以及其他光学和非光学数据存储设备。所述计算机可读介质可包括分布在网络耦合计算机系统上的计算机可读有形介质,使得计算机可读代码以分布式方式存储和执行。

虽然为了清楚理解的目的而略微详细地描述了前述实施方案,但很显然,可以在所附权利要求的范围内做出某些变化和修改。因此,当前实施方案将被认为是说明性的而非限制性的,且所述实施方案并不限于本文中给出的细节,而是可在所附权利要求书的范围和等效方案内修改。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1