视觉数据上的直观增强现实协作的制作方法

文档序号:19416181发布日期:2019-12-14 00:55阅读:284来源:国知局
视觉数据上的直观增强现实协作的制作方法



背景技术:

诸如增强现实或“混合”现实等先进技术已经被并入社会的各个方面。包括游戏、企业、设计、娱乐等在内的行业正在将这些技术并入各种产品供给中,以提高用户体验和生产力。通过这样的技术而被支持的生产力提高的一个特定领域涉及协作工作环境。

增强现实是一种本质上将计算机生成的图像叠加到用户的真实世界视图上的技术,使得该技术的用户可以感知包括被覆加有计算机生成的图像的真实世界视图的合成视图。在协作环境中,增强现实使得用户能够在真实世界环境内从多个角度探索感兴趣的主题。通常,该技术被并入单用户设备中,诸如被并入耦合到头戴式显示器的计算设备中。在这方面,基于用户在环境内的查看布置(viewingplacement),可以通过用户的头戴式显示器针对每个用户的个人感知来绘制合成视图。换言之,如果将计算机生成的对象叠加在真实世界环境(例如,房间)内部,则环境内的每个用户将基于其在房间内和/或相对于计算机生成的对象的位置和取向从唯一的角度感知对象。以这种方式,一个用户可以查看对象的正面,同时穿过房间的另一用户可以查看对象的背面。类似地,第三用户可以查看对象的左侧,同时第四用户则可以查看对象的右侧。

然而,在协作情况下,用户通常需要具有与其他协作方共享他们的贡献并且同样获取其他协作方的贡献的能力。然而,增强现实的单用户设备实现严重地限制了协作用户直观地获得其协作方的视图或状况。



技术实现要素:

提供本发明内容以便以简化的形式介绍下面在具体实施方式中进一步描述的概念的选择。本发明内容既不旨在标识所要求保护的技术方案的关键特征或必要特征,也不旨在单独用于帮助确定所要求保护的技术方案的范围。

本公开中描述的实施例旨在支持增强在现实(ar)环境中的视觉数据上的直观协作。换言之,实施例可以支持用于在协作的ar用户之间共享视图和/或状况的直观技术。尽管本公开主要将ar作为所实施的技术,但是诸如混合现实、全息术和虚拟现实等其他技术是仍然在本公开的范围内的技术。

在一些实施例中,至少第一头戴式显示器(hmd)和第二hmd(各自作为协作参与方能够访问共享数据集)可以访问共享数据集。共享数据集可以由hmd中的每一个访问以绘制对佩戴相应hmd的用户可感知的计算机生成的视图或“增强视图”(例如,叠加在用户的真实世界视图之上的计算机生成的对象)。可以基于来自共享数据集的一组视觉数据来绘制每个增强视图。在一些另外的实施例中,可以根据检测到的查看布置在相应hmd上绘制每个增强视图。换言之,每个用户可以基于相对于计算机生成对象的绘制位置的用户的检测到的查看位置和取向来感知所叠加的计算机生成对象的独特视角。尽管在至少部分地绘制的增强视图的上下文中描述本公开的实施例,但是所设想的是,完全计算机生成的视图也在本文中描述的实施例的范围内。

在一些实施例中,作为共享数据集的第一协作参与方的第一hmd可以初始化和/或检测被定向到作为共享数据集的第二协作参与方的第二hmd的交互。在各种实施例中,可以基于由与第一hmd和/或第二hmd相关联的一个或多个查看布置传感器支持的一个或多个用户输入来检测交互。在一些实施例中,可以基于第一hmd和第二hmd的相应查看布置来检测交互。例如,第一hmd的第一用户可以将他们的注视定向在第二用户处、第二用户的面部处、第二hmd处等(例如,与其对准),使得第一hmd的查看传感器可以确定第一用户的视线被定向的位置。然后,第一hmd可以基于第二hmd的所获取的位置来确定第一用户的注视被定向到第二用户等。以这种方式并且仅作为示例,第一hmd可以检测被定向到第二hmd的交互。

在一些实施例中,在检测到交互之后,第一hmd可以向第二hmd传送接收与第二hmd的状态相对应的一组视觉数据的请求。在各种实施例中,状态可以包括:由第二hmd当前绘制、提供以用于显示和/或显示的增强视图(下文中统称为“当前增强视图”);增强视图的状况(例如,缩放级别、位置、取向、深度、角度);与第二hmd相关联的状况;任何上述内容的存储副本;在语义上描述任何上述内容的描述性注释(下文中称为“描述性注释”);或其任何组合。

在一些实施例中,第二hmd可以基于被定向到第二hmd的第一hmd的交互来从第一hmd接收请求。第二hmd可以在对第一hmd进行响应之前处理各种任务。仅作为示例,第二hmd可以验证第一hmd是共享数据集的协作参与方。第二hmd还可以确定与请求的第一hmd相关联的各种特权和/或限制。例如,与第二hmd相关联的隐私策略可以指示可以响应于所接收的请求而被传送给第一hmd的状态信息的量和/或类型。在这方面,在一些实施例中,第二hmd可以响应于来自第一hmd的请求而传送与第二hmd的状态相对应的一组ar数据的至少一部分。仅作为示例,响应于所接收的请求并且根据引用的隐私策略,第二hmd可以传送其当前增强视图的任何部分、当前增强视图的状况、设备本身的状况(例如,电池水平、正在被执行的应用、正在被消耗的媒体、用户可用性等)、任何上述内容的存储副本、在语义上描述任何上述内容的描述性注释、或其任何组合。

在一些实施例中,第一hmd可以从第二hmd接收所传送的一组视觉数据或者该组视觉数据的至少所传送的部分。然后,第一hmd可以对该组视觉数据的所接收的至少一部分进行绘制、提供以用于显示和/或显示,作为由其用户感知到的计算机生成的(多个)对象。在一些另外的实施例中,第一hmd可以在由其用户可感知为与第二用户等相邻(例如,上方、旁边、下方、对角线、偏移)的位置处对新的计算机生成的对象和/或对其增强视图的增强进行绘制、提供以用于显示和/或显示,使得新的对象或添加物不妨碍第一用户的可见性和与第二用户(例如,第二用户的面部)的个人互动。以这种方式,协作的ar用户可以直观地了解其协作方的视图和/或状况,而无需弄清楚和/或中断协作工作流。

附图说明

下面参考附图详细描述本公开的方面,在附图中:

图1是根据本公开的一些实施例的示例操作环境的示图;

图2是描绘根据本公开的一些实施例的计算架构的示例性组件的框图;

图3是描绘根据本公开的一些实施例的计算架构的示例性组件的框图;

图4a-图4c是根据本公开的一些实施例的在增强现实环境中的视觉数据上的直观协作的示例性实现的示意图;

图5a-图5d是根据本公开的一些实施例的在增强现实环境中的视觉数据上的直观协作的示例性实现的示意图;

图6是根据本公开的一些实施例的示例性hmd的框图;

图7是示出根据本公开的一些实施例的用于支持在增强现实环境中的视觉数据上的直观协作的方法的流程图;

图8是示出根据本公开的一些实施例的用于支持在增强现实环境中的视觉数据上的直观协作的方法的流程图;以及

图9是适合用于实现本发明的实施例的示例性计算环境的框图。

具体实施方式

本文中具体描述本公开的方面的技术方案以满足法定要求。然而,说明书本身并不旨在限制本专利的范围。相反,发明人已经设想到,所要求保护的技术方案还可以结合其他当前或未来技术以其他方式实施,以包括与本文档中描述的步骤不同的步骤或步骤的组合。此外,尽管本文中可以使用术语“步骤”和/或“框”来表示所采用的方法的不同元素,但是除非和当明确地描述了个体步骤的顺序时,否则这些术语不应解释为暗示本文中公开的步骤之中或之间的任何特定顺序。

协作计算可以使得多方能够在电子文档、图形、媒体、视频游戏和很多其他形式的数字资产上进行协作,使得协作计算会话的每一方都可以与其他方一起在数字资产上工作和/或体验数字资产。当被并入增强或“混合”现实环境中时,协作计算可以提供这些相同的益处,并且还有更多好处。如本文中描述的,增强现实是一种可以采用计算设备向自然世界添加图形、声音、触觉反馈和/或其他感官输入的技术。增强现实通常在单用户设备中实现,并且通常以头戴式形状因子来实现,尽管根据本文中描述的实施例可以想到其他形状因子。在这方面,本文中将引用hmd来涵盖头戴式显示器、投影仪、眼镜、电话、平板计算机和可以增强用户对真实世界的感知的其他形状因子。在增强现实中,佩戴hmd的用户可以查看、听到、闻到和/或感觉(前述在本文中也称为“感知”)其真实世界环境,同时还可以感知似乎存在于环境内的计算机生成或计算机启动的体验,然而实际上,这些体验仅是增强他们的真实世界感知的计算机生成的或计算机启动的输出(例如,数字叠加、投影、声音、机械释放的气味、触觉反馈)。

当在增强现实环境中协作时,多个用户可以基于他们相对于计算机生成的输出的绘制位置的查看布置来独立地感知共同的计算机生成的输出。根据本文中描述的实施例,“查看布置”可以是hmd相对于原点的检测到的位置和/或取向。在各种实施例中,原点可以是传感器的位置、由至少一个传感器确定的指定位置、计算设备的位置、另一hmd的位置、绘制对象的位置、真实世界对象的位置、或可以被分配有坐标位置(例如,笛卡尔坐标)的任何其他真实世界或计算机生成的对象。作为示例,如果计算机生成的对象被绘制具有(0,0)处的位置,并且具有hmd的两个“用户”在增强现实环境中感知该对象,其中“用户1”定位于(3,0)处并且“用户2”定位于(-3,0)处,则用户将感知到对象的相对侧。

如果出于任何原因,“用户2”想要感知与“用户1”相同的视角,则“用户2”将只需要走到与“用户1”相同的位置即可以与“用户1”相同或相似的视角查看对象。然而,在某些情况下,围绕真实世界的移动在协作情况下并不总是方便或实用的。例如,如果用户的教室在增强现实环境中协作,而教授正在讨论他在增强现实环境中看到的内容,则每个用户走到教授的精确位置以便感知相同或相似的视图是不切实际且耗时的。同样,如果学生有问题或想与其他用户分享他们的观点,则教授或其他用户走到该学生处以便查看该学生正在参考的内容也是不切实际的。

此外,增强现实环境内的各种技术可以使得用户能够修改其感知到的视图。例如,“用户1”可以将计算机生成的对象放大到特定的细节级别。不幸的是,即使“用户2”物理地走到与放大了对象的“用户1”相同的位置,“用户2”也将无法感知与“用户1”正在感知的相同的视图。充其量,“用户2”将必须口头请求“用户1”正在感知对象的特性(例如,缩放系数、深度、坐标),并且然后修改其自己的视图以精确地匹配“用户1”的视图。在协作环境中,这些缺点可能导致混乱、中断、低效的通信和普遍令人沮丧的体验。

在这方面,当协作参与方沉浸在增强现实环境中时,期望以直观且无干扰的方式访问其他协作参与方的状态。这样,本文中描述的技术的方面涉及在增强现实环境中共享和访问协作参与方的状态。更特别地,本文中描述的实施例可以检测来自均是被表示在增强现实环境中的共享数据集的协作参与方的第一hmd和第二hmd的交互。在该环境内具有第一查看布置的第一hmd可以检测被定向到在该环境内具有第二查看布置的第二hmd的交互。检测到的交互可以使得第一hmd请求第二hmd的状态。在各种实施例中,第二hmd的状态可以由一组视觉数据表示,该组视觉数据包括第二hmd的当前增强视图、第二hmd的当前增强视图的状况、第二hmd的状况(例如,电池水平、活动、标识符)、任何上述内容的存储副本、在语义上描述任何上述内容的描述性注释(下文中称为“描述性注释”)、或其任何组合。

响应于接收到请求,第二hmd可以关于与第二hmd相关联的隐私策略来分析请求。在另一实施例中,该请求可以由第一hmd传送到服务器或云设备,在服务器或云设备中,该请求关于相关联的隐私策略被分析。在一些实施例中,隐私策略可以涉及特定hmd和/或与hmd相关联的用户帐户。为此,可以结合请求来分析第二hmd的隐私策略,以确定可以响应于该请求而被提供给第一hmd的状态信息的程度。在各种实施例中,通常或者针对特定用户和/或其设备,该策略可以设置对本文中描述的该组响应性视觉数据中包括的信息类型的限制。

在第二hmd准备好所请求的一组视觉数据或由于隐私策略合规性而导致的所请求的一组视觉数据的一部分之后,第二hmd可以将所准备的该组视觉数据传送给第一hmd,作为对请求的响应。然后,第一hmd可以从第二hmd接收所准备的该组视觉数据,然后对视觉数据的接收部分或该组视觉数据进行绘制、提供以用于显示和/或显示,以由第一hmd显示并且由其用户感知。在一些实施例中,第一hmd可以向其现有增强视图绘制、提供以用于显示和/或显示新的计算机生成的对象或附加对象,其中该新的或附加对象基于视觉数据的接收部分或该组视觉数据。新的对象或附加对象在由其用户可感知为与第二用户和/或第二hmd相邻(例如,上方、旁边、下面、对角线、偏移、重叠)的位置被增强到第一hmd的现有增强视图,使得新的计算机生成的对象或附加对象不妨碍第一用户的可见性和与第二用户(例如,第二用户的面部)的个人互动。以这种方式,协作的ar参与方可以直观且无障碍地了解其协作方的视图和/或状况,而无需弄清楚和/或中断协作工作流。

还可以设想,在一些另外的实施例中,至少第二用户和/或至少第二hmd也是计算机生成的对象。例如,某些ar技术已经使得远程位置的用户能够“迁移”到其他用户的环境中,使得用户可以感知其(多个)协作方和他们各自的环境(作为计算机生成的对象),并且同时,在一些实现中,他们的(多个)协作方可以将用户感知为他们自己的环境内的计算机生成的对象(例如,替身)。这样,第一用户和/或至少第二用户以及他们相应的hmd和/或环境可以是计算机生成的对象,并且可以想到的是,这种实现的包括在本公开的范围内。为此,在本文中描述的范围内,第一用户的环境内的远程用户(即,被呈现为计算机生成的对象的协作用户)仍然可以具有第二用户的特性和功能。

现在转向图1,提供了示出其中可以采用本公开的一些实施例的示例操作环境100的框图。应当理解,本文中描述的这种布置和其他布置仅作为示例阐述。除了或代替所示出的布置或要素,还可以使用其他布置和要素(例如,机器、接口、功能、命令和功能的分组),并且为了清楚起见,可以完全省略一些要素。此外,本文中描述的很多要素是可以被实现为离散或分布式组件或者与其他组件相结合实现并且以任何合适的组合和位置来实现的功能实体。本文中描述为由一个或多个实体执行的各种功能可以由硬件、固件和/或软件来执行。例如,某些功能可以由执行存储在存储器中的指令的处理器来执行。

除了未示出的其他组件,示例操作环境100还包括至少两个用户设备,诸如hmd110和120;网络130;至少一个服务器140;以及至少一个数据源150。应当理解,图1所示的环境100是一种合适的操作环境的示例。例如,图1所示的组件中的每一个可以经由任何类型的计算设备(诸如结合图9描述的计算设备900)来实现。这些组件可以经由网络130彼此通信,网络130可以包括但不限于一个或多个局域网(lan)和/或广域网(wan)。在示例性实现中,在各种可能的公共和/或私有网络中的任何一个中,网络130包括因特网和/或蜂窝网络。

应当理解,在本公开的范围内,在操作环境100内可以采用任何数目的用户设备、服务器和数据源。每一个可以包括单个设备或在分布式环境中协作的多个设备。例如,服务器140可以经由布置在分布式环境中的共同提供本文中描述的功能的多个设备来提供。另外,未示出的其他组件也可以被包括在分布式环境内。

用户设备110和120可以是操作环境100的客户端侧的客户端设备,而服务器140可以位于操作环境100的服务器侧。服务器140可以包括被设计为与用户设备110和120上的客户端侧软件协同工作以便实现本公开中讨论的特征和功能的任何组合的服务器侧软件。提供操作环境100的这种划分以图示合适的环境的一个示例,并且对于每种实现均不要求服务器140与用户设备110和120的任何组合保持为分离的实体。尽管未示出,但是在一些实施例中,用户设备110和120可以是对等操作环境中的对等设备。

用户设备110和120可以包括能够由用户使用的任何类型的计算设备。例如,在一个实施例中,用户设备110和120可以是本文中关于图9描述的类型的计算设备。作为示例而非限制,用户设备可以至少部分地被实施为个人计算机(pc)、膝上型计算机、头戴式显示器、蜂窝或移动设备、智能电话、平板计算机、智能手表、可穿戴计算机、个人数字助理(pda)、mp3播放器、全球定位系统(gps)或设备、视频播放器、手持通信设备、游戏设备或系统、娱乐系统、车辆计算机系统、嵌入式系统控制器、遥控器、电器、消费类电子设备、工作站、或这些描绘的设备的任何组合、投影系统、或者可以耦合到头戴式显示器、投影仪、眼镜、可穿戴设备或其他增强现实或hmd的任何其他合适的设备。hmd的一个非限制性示例是微软公司的尽管在本公开的范围内考虑了hmd或查看设备的很多其他实现。例如,hmd或查看设备可以包括设备的组合,诸如头戴式显示器、触摸屏设备、(多个)可穿戴式内部和/或外部感测设备、(多个)输入设备、(多个)输出设备、(多个)通信设备或其任何非限制性组合。可以协力地使用和/或组合任何前述设备以落入本文中描述的范围内,以用于支持收集与用户相关联的上下文信息(例如,以感测和获取位置、取向和/或其他生理测量)。

数据源150可以包括被配置为使数据可用于操作环境100的各个组成部分或者结合图2、图3和图6所描述的系统200、300、600中的任何一个的数据源和/或数据系统。例如,在一个实施例中,一个或多个数据源150可以提供用户数据(或使可用于访问)以用于存储在图2的存储器250中。数据源150可以与用户设备110和120以及服务器140分离,或者可以被并入和/或集成到这样的组件中的至少一个中。在一些实施例中,每个用户设备110、120可以从数据源150取回共用数据集,使得每个用户设备110、120可以独立地存储和采用共用数据集。在一些实施例中,数据源150可以包括可以在诸如用户设备110和120等多个用户设备之间共享的单个数据集。在一些实施例中,共享数据集可以由诸如服务器140等服务器进行访问控制。也就是说,每个用户设备110、120可以与用户账户相关联,并且每个用户设备110、120可以向服务器140传送访问共享数据集或其子集的请求。为此,服务器140可以确定每个用户帐户是否具有访问存储在数据源150中的共享数据集的适当特权。在各种实施例中,数据源150存储可以由用户设备110、120解译、分析和/或处理的共享数据集,使得增强现实环境由每个用户设备基于共享数据集被生成和/或绘制。在另外的一些实施例中,共享数据集包括可以由诸如用户设备110、120等hmd解译、分析、处理、绘制和/或提供用于显示和/或由hmd显示的视觉数据。

操作环境100可以用于实现图2中描述的系统200的组件中的一个或多个组件,包括用于以下操作的组件:绘制,提供以用于显示,和/或显示增强视图,检测或感测hmd的查看布置,处理计算机可执行指令,存储计算机可执行指令和视觉数据,与服务器140和/或其他hmd通信,从其他hmd请求和接收协作视图,和/或处理来自其他hmd的针对协作视图的请求,等等。

在一些实施例中,由系统200的组件执行的功能可以与一个或多个hmd应用、服务或例程相关联。特别地,这样的应用、服务或例程可以在一个或多个用户设备(诸如用户设备110或120)、服务器(诸如服务器140)和/或其组件上操作,和/或可以跨一个或多个用户设备和服务器分布,或者在云中实现。此外,在一些实施例中,系统200的组件可以跨包括一个或多个服务器(诸如服务器140)和客户端设备(诸如用户设备110、120)的网络而分布,分布在云中,或者可以驻留在诸如用户设备110、120等用户设备上。此外,这些组件、由这些组件执行的功能或由这些组件执行的服务可以在(多个)计算系统的适当的(多个)抽象层处实现,适当的(多个)抽象层诸如操作系统层、应用层、硬件层。备选地或另外地,这些组件和/或本文中描述的实施例的功能可以至少部分由一个或多个硬件逻辑组件执行。例如而非限制,可以使用的说明性类型的硬件逻辑组件包括现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑器件(cpld)。另外,尽管本文中关于示例系统200中示出的特定组件来描述功能,但是可以想到的是,在一些实施例中,这些组件的功能可以跨其他组件而共享或分布。

继续图2,hmd210是增强现实或混合现实计算设备,其通常负责感测或检测其查看布置,访问共享数据集,至少部分地基于hmd210的检测到的查看布置来绘制共享数据集的至少一部分,并且根据检测到的查看布置提供绘制数据的增强视图以用于显示。在一些实施例中,hmd210包括通信组件260,该通信组件260可以用来与诸如图1的服务器140等远程服务器设备通信,以从中获取共享数据集的至少一部分。在另外的一些实施例中,hmd210的通信组件260也可以用来与另一hmd(未示出,但是与hmd210类似地被配置)通信。如本文中所述的,hmd210及其组件可以被实现为任何类型的计算设备,诸如结合图9描述的计算设备900。

在一些实施例中,通信组件260可以从存储在服务器140或另一hmd上的共享数据集接收视觉数据(例如,一组视觉数据)。在另外的一些实施例中,视觉数据或其子集可以本地存储在诸如存储器250等存储器或高速缓存中。hmd210还可以包括可以感测或检测hmd210的位置和/或取向的至少一个查看布置传感器230。根据本文中描述的一些实施例,查看布置传感器230可以包括加速度计、陀螺仪、磁力计、接近传感器、红外传感器、红外增强器(blaster)、激光器、无线电信号发射器、或者确定电子设备在所限定的真实世界环境内的位置和/或取向而必须采用的任何其他硬件组件。在一些另外的实施例中,hmd210还可以包括配对的查看布置传感器(未示出),其远离查看布置传感器230固定地定位并且与(多个)查看布置传感器结合操作,以支持对hmd210的位置和/或取向的检测。甚至在另外的一些实施例中,一个或多个传感器可以定位在真实世界环境内,可操作以确定其中的每个用户的相应位置和/或注视。为此,可以将感测到的数据(例如,位置、取向、面对方向)传送到服务器和/或环境内的每个hmd,使得环境内的用户的相应位置和注视可以基于此被确定。这种传感器的一个非限制性示例可以是微软公司的微软设备。

在一些实施例中,hmd210包括至少一个处理器,诸如处理器240。处理器可以包括任何类型的计算处理器,包括图形处理器。处理器240可以由hmd用于执行本文中描述的功能或操作中的任一项,并且还可以绘制由hmd210获取的视觉数据以用于显示。hmd210可以采用显示组件,诸如显示组件220,该显示组件可以显示和/或投影计算机生成的对象以由hmd的用户感知为定位于真实世界中的增强对象。根据本文中描述的实施例,显示组件220可以包括透视显示器(例如,波导)、虚拟视网膜显示器、棱镜、投影仪、可操作以支持针对用户的混合现实体验的任何其他光子和/或非光子技术。

在一些实施例中,hmd210包括协作视图组件270,该协作视图组件可以用于支持协作方视图和/或状况的直观和非干扰性交换,而无需澄清和/或中断协作工作流。现在转到图3,提供了示出其中可以采用本公开的一些实施例的协作视图组件270的示例实现的框图。应当理解,本文中描述的这种布置和其他布置仅作为示例阐述。除了或代替所示出的布置或要素,还可以使用其他布置和要素(例如,机器、接口、功能、命令和功能的分组),并且为了清楚起见,可以完全省略一些要素。此外,本文中描述的很多要素是可以被实现为离散或分布式组件或与其他组件相结合实现并且以任何合适的组合和位置来实现的功能实体。本文中描述为由一个或多个实体执行的各种功能可以由硬件、固件和/或软件来执行。例如,某些功能可以由执行存储在存储器中的指令的处理器来执行。

协作视图组件270可以包括一组请求生成组件310和一组请求处理组件330。如本文中描述的,可以想到的是,参与协作工作流的至少两个hmd包括所描述的协作视图组件270的至少一些变化。

为了清楚和易于解释的目的,现在将结合上文中描述的“第一”hmd来描述请求生成组件310,而将结合也在上文中描述的“第二”hmd来描述请求处理组件330。然而,应当注意,两组组件310、330可以在参与协作环境的第一hmd和第二hmd的每一个中被实现。

如上所述,本文中描述的实施例可以检测来自第一hmd和第二hmd的交互,第一hmd和第二hmd均被配置为被表示在增强现实环境中的共享数据集或其子集的协作参与方。每个hmd必须具有对共享数据集的并发授权访问,以便被视为有效的协作参与方。因此,术语“协作参与方”在本文中与对具有对共享数据集的授权访问的hmd的引用可交换地使用。如所描述的,授权访问可以由诸如服务器140等服务器基于对每个hmd的认证来确定,或者在一些其他实施例中,可以基于对存储在hmd的存储器或另一hmd的存储器中的视觉数据的认证访问来确定。

请求协作参与方状态

根据本文中描述的一些实施例,在检测到交互之前,每个有效的协作参与方可以能够确定另一有效的协作参与方的相对位置。协作方定位组件312可以用于确定另一有效的协作参与方的存在以及在某些情况下的精确位置。在一些实施例中,每个有效的协作参与方可以向其他有效的协作参与方和/或服务器(诸如服务器140)主动报告其自己的所确定的查看布置,或者响应于由此传送的位置请求而向其他请求的有效的协作参与方和/或请求的服务器被动地报告其自己的所确定的查看布置。在一些实施例中,服务器可以将有效的协作参与方的所接收的查看布置分发给其他有效的协作参与方以支持它们之间的交互检测。在一些其他实施例中,有效的协作参与方可以基于其他有效的协作参与方的视线检测来检测另一有效的协作参与方的存在。可以利用在有效的协作参与方上配置的各种技术来支持视线检测,包括红外增强器和检测器、由光学组件(例如,相加)从所获取的视频馈送中进行的对象识别等。

在一些备选实施例中,可以在有效的协作参与方之间传送相对位置。例如,根据一些实施例,有效的参与方可以是处于远程位置的另一有效参与方的替身或虚拟表示。在这方面,可以将该用户的相对位置传送给其他有效参与方,使得其“虚拟”位置可以以使得他们看起来物理地位于同一真实世界环境中的方式被解译。还设想的是,可以采用各种实现,使得定向交互不是必需的,并且可以利用发起交互的其他方式。例如,简单的用户输入(例如,手势、语音提示、设备输入)可以初始化与另一有效参与方的交互。其他有效参与方的位置可以以各种方式来实现,诸如所有有效参与方的2d映射、有效参与方的列举等。

当协作方定位组件312确定另一有效参与方的相对位置时,协作交互感测组件314可以用于确定协作交互是否旨在用于另一有效参与方。作为示例,在第一hmd获取第二hmd的相对位置之后,利用协作方定位组件312,第一hmd的协作交互感测组件314可以采用各种方法来确定协作交互被定向到第二hmd。

在一些实施例中,可以由协作交互感测组件314来检测被定向到第二hmd的由第一hmd的注视。也就是说,在一些实施例中,当注视指示符或其他显示焦点(通常位于由第一hmd呈现的增强视图的中心)被确定为与第二hmd或其用户的位置相一致,并且注视指示符在该位置上被保持超过预定阈值的持续时间时,协作交互感测组件314可以确定意图在于从第一hmd定向到第二hmd的协作交互。在各种其他实施例中,可以由协作交互感测组件314来检测用于发起被定向到第二hmd的由第一hmd的协作交互的检测到的指令。检测到的指令可以包括识别的语音命令、检测到的用户运动或其他用户输入手段。根据一些实施例,当第二hmd与注视指示符一起在焦点内(例如,基本上位于竖直平面内)时,可以检测到这种交互。如本文中指出的,还进一步设想的是,可以采用用于发起交互的任何其他方法,并且服务器或第二hmd可以基于检测到的交互经由协作交互感测组件314来检测交互。还进一步设想的是,在检测到用于发起协作交互的指令之后,可以向第二hmd提供警报和/或接受提示,以允许和/或支持与其他hmd的协作交互。

协作视图取回组件316可以从协作交互感测组件314接收协作交互在第一有效协作参与方与第二有效协作参与方之间被建立的指示。当第一协作参与方发起协作交互时,其协作视图取回组件316可以响应于该指示而生成针对与第二协作参与方的当前状态相对应的一组视觉数据的请求。协作视图取回组件316可以采用诸如图2的通信组件260等通信组件将该请求发送给第二协作参与方。

如将描述的,第二协作参与方的请求处理组件330可以接收和处理所发送的请求,并且作为响应,发送与第二协作参与方的状态相对应的一组视觉数据。协作视图取回组件316可以接收该组视觉数据,并且采用诸如图2的(多个)处理器240等(多个)处理器与协作视图定位组件318相结合来绘制所接收的一组视觉数据以用于3d显示。

第一协作参与方的协作视图定位组件318可以采用(多个)处理器在至少与第二协作参与方的位置相对应的显示位置处绘制所接收的一组视觉数据。也就是说,协作视图定位组件318可以定位所绘制的一组视觉数据,使得其不妨碍第一协作参与方用户对第二协作参与方用户的视图。在一个优选实施例中,协作视图定位组件318将所绘制的一组视觉数据定位在第二协作参与方用户上方,这可以在概念上类似于出现在第二协作参与方用户上方的语音泡泡。然而,所设想的是,所绘制的一组视觉数据可以定位在与第二协作参与方用户相对应的任何地方,使得例如图像不妨碍第二协作参与方用户的清晰视线。如上所述,所设想的是,其他类型的感觉信息(诸如声音、触觉、气味)和其他感觉输入可能受到所绘制的一组视觉数据的对应位置的影响。

处理协作参与方状态请求

第二协作参与方可以采用请求处理组件330来接收、处理和响应从本文中描述的第一协作参与方接收和由本文中描述的第一协作参与方发送的请求。第二协作参与方可以采用请求接收组件332,该请求接收组件332经由第二协作参与方的通信组件(诸如图2的通信组件260)从第一协作参与方接收请求。

在一些实施例中,第二协作参与方可以确定从协作参与方接收到请求。也就是说,协作方验证组件334可以处理查询,包括与请求相关联并且与请求的第一协作参与方相对应的元数据。元数据尤其可以包括唯一标识符、密码或其加密版本、对共享数据集的引用、或者可以用于确定请求的第一协作参与方已经被授权访问共享数据集并且因此是有效的协作参与方的信息的任何其他集合。在一些实施例中,协作方验证组件334可以通过将所生成的授权请求传送到服务器(诸如图1的服务器140)来验证请求的第一协作参与方。在一些其他实施例中,协作方验证组件334可以利用所存储的凭证或存储在其上的其他验证信息来在本地验证请求的第一协作参与方。

在一些实施例中,第二协作参与方可以通过采用隐私策略过滤组件336来处理请求,以确定与请求的第一协作参与方相关联的访问级别。隐私策略过滤组件336可以参考本地或服务器存储的隐私策略,以确定与所接收的请求相关联的访问级别。在各种实施例中,隐私策略可以对响应于所接收的请求而发送给请求的第一协作参与方的视觉数据或其子集的量和/或类型施加限制。例如,隐私策略可以确定第二协作参与方的当前增强视图、第二协作参与方的增强视图的状况(例如,缩放级别、位置、取向、深度、角度)、与第二协作参与方相关联的状况、任何上述内容的存储副本、描述性注释、和/或其任何组合或变体对请求的第一协作参与方而言是否可访问。在各种实施例中,基于与所接收的请求相关联的元数据,隐私策略可以是全局的,基于组的和/或设备/用户特定的。在一些实施例中,隐私策略可以用作年龄限制策略,该年龄限制策略可以基于其年龄来对发送给请求的第一协作参与方的视觉数据的量和/或类型施加限制,其年龄通常与他们的简档信息相关联。

在一些实施例中,可以在第二协作参与方接收到请求时修改隐私策略。例如,可以向第二协作参与方呈现提示,以指示第一协作参与方正在请求协作交互。提示可以请求交互的接受,适用的隐私策略的各个方面的修改,交互的拒绝,等等。在一些另外的实施例中,所设想的是,即使在用户之间的协作已经开始之后,也可以改变隐私策略。例如,任何协作参与方可以通过说出请求来请求针对特定用户的附加(或受限)查看特权,并且类似地,该请求可以由特定用户通过说出肯定或否定的答案来接受或拒绝。在另一实例中,协作参与方可以以本文中描述的相同的交互方式单方面地设置针对特定用户的附加(或限制性)特权。在本公开的范围内,还考虑其他交互方法,包括手势、物理输入、物理触摸、物理交换等。

隐私策略过滤组件336然后可以向视觉数据集生成组件338提供与请求的第一协作参与方相关联的所确定的访问级别,或者在一些实施例中,提供与所确定的访问级别相对应的数据。视觉数据集生成组件338可以生成符合与请求的第一协作参与方相关联的所确定的访问级别的一组视觉数据。例如,如果与请求的第一协作参与方相关联的所确定的访问级别仅允许与第二协作参与方的状态相关联的描述性注释,则仅可以将在语义上描述状态(例如,状况、增强视图)的描述性注释包括到所生成的用于传送给请求的第一协作参与方的一组视觉数据中。根据由隐私策略过滤组件336确定的访问级别,该组视觉数据可以包括与第二协作参与方相关联的所有可访问状态信息,或者可以包括可访问状态信息的一部分。

然后,通过采用视觉数据集共享组件340,可以将由视觉数据集生成组件338生成的该组视觉数据传送给请求的第一协作参与方。视觉数据集共享组件340可以采用诸如图2的通信组件260等通信组件,来将响应于所接收的请求的所生成的一组视觉数据发送给请求的第一协作参与方。以这种方式,请求的第一协作参与方可以基于其与之的定向交互来查看第二协作参与方的状态。

现在转向图4a-图4c,提供了在增强现实环境中的视觉数据上的直观协作的示例性实现的示意图。参考图4a的400a,描绘了由与访问共享数据集的第一hmd(例如,第一协作参与方)相关联的第一用户感知的第一增强视图。第一用户可以看到佩戴也在访问共享数据集的第二hmd420(例如,第二协作参与方)的第二用户410。根据本文中描述的实施例,第一用户还可以在第一增强视图中感知类似于微型房屋的计算机生成的对象430,其看起来位于梳妆台的顶部上。

现在参考图4b的第一增强视图400b,根据本文中描述的一个实施例,注视指示符440被显示在第一协作参与方的第一增强视图内,并且对应于第一协作参与方的检测到的查看布置。也就是说,第一用户正在对第一协作参与方进行定位和取向,以将其显示的注视指示符440对准为对应于第二协作参与方420。

假设由第一协作参与方检测到阈值持续时间或用以与第二协作参与方420进行协作交互的其他指令,而同时注视指示符440被定位为与第二协作参与方420和/或用户410基本上对准,则第一用户的第一增强视图由此被增强,如图4c的第一增强视图400c所描绘的,其中具有当前由第二协作参与方420绘制并且在第二用户410的第二增强视图中被感知的计算机生成的对象430′。在一些实施例中,计算机生成的对象430′可以在计算机生成的边界图像450(诸如语音泡泡或其他非限制性形状)内而被配以边框。

现在转向图5a-图5c,根据本文中描述的实施例,提供了在增强现实环境中的视觉数据上的直观协作的示例性实现的更多示意图。在所示的示意图中,描绘了支持多个玩家的增强现实游戏。在所示的示例中,共享数据集对应于各种计算机生成的对象,其在真实世界环境中提供实景游戏场景。参考图5a的500a,描绘了由与访问共享数据集的第一hmd(例如,第一协作参与方)相关联的第一用户感知的第一增强视图505。第一用户可以看到佩戴也在访问共享数据集的第二hmd520′(例如,第二协作参与方)的第二用户510′。根据本文中描述的实施例,第一用户还可以在第一增强视图505中感知与飞行的外星人、被配置在第一用户510'的手上的武器、以及从计算机生成的武器延伸并且瞄准外星人的激光束类似的计算机生成的对象530。

参考图5b的500b,描绘了由与第二协作参与方相关联的第二用户感知的第二增强视图。这里,第二用户可以在第二增强视图500b的至少一部分505'中感知根据其在真实世界环境中的查看布置而绘制的计算机生成的对象530'。换言之,第二用户的独特视角可以提供与访问共享数据集的第二hmd520′的位置和/或取向相一致的独特的增强视图505′。

现在参考图5c的第一放大视图500c,注视指示符540被显示在第一协作参与方的第一增强视图内,并且对应于第一协作参与方的检测到的查看布置。也就是说,第一用户正在对第一协作参与方进行定位和取向,以将其显示的注视指示符540对准为对应于第二协作参与方520'。

假设由第一协作参与方检测到阈值持续时间或用以与第二协作参与方520'进行协作交互的其他指令,而同时注视指示符540被定位为与第二协作参与方520'和/或用户510'基本上对准,则第一用户的第一增强视图由此被增强,如图5d的第一增强视图500d所描绘的,其中具有由第二协作参与方520'并发绘制并且在第二用户510′的图5b的第二增强视图500b中被感知的计算机生成的对象530'。在一些实施例中,计算机生成的对象530'可以在计算机生成的边界图像550内(诸如语音泡泡或其他非限制性形状)而被配以边框。

转向图6,根据本文中描述的一个实施例描述了具有协作视图组件620的hmd605。除了其他外,hmd605还包括置于第一用户的眼睛625前面的类似于眼镜透镜的透明透镜607。所设想的是,可以提供一对透视透镜607,每个眼睛625一个。透镜607包括光学显示组件610,诸如分束器(例如,半镀银镜)。hmd605包括支持改变计算机生成的ar图像的亮度的增强现实发射器630。除了未示出的其他组件,hmd605还包括处理器632、存储器634、接口636、总线640和附加的增强查看组件645。增强现实发射器630发射表示一个或多个增强现实图像530、530′、550的光,如光线650所例示的。来自真实世界场景660的光线(诸如光线665)到达透镜607。附加光学元件可以用于重新聚焦增强现实图像530、530′、550,使得它们看起来源于距眼睛625若干英尺远而不是距显示组件610实际所在的位置一英寸远。存储器634可以包含由处理器632执行以使得增强现实发射器630能够执行所描述的功能的指令。处理器632中的一个或多个可以被认为是控制电路。增强现实发射器630使用总线640和其他合适的通信路径与附加的增强查看组件645通信。

除了或代替所示出的布置或要素,还可以使用其他布置和要素(例如,机器、接口、功能、命令和功能的分组等),并且可以完全省略一些要素。例如,hmd可以被配置为使得真实世界和/或增强场景不是通过透视透镜被感知的,而是在呈现经由一个或多个光学设备(例如,视频相机)捕获的视频馈送的显示器上被感知。此外,本文中描述的很多元件是可以被实现为离散或分布式组件或与其他组件相结合实现并且以任何合适的组合和位置来实现的功能实体。本文中描述为由一个或多个实体执行的各种功能可以由硬件、固件和/或软件来执行。例如,各种功能可以由执行存储在存储器中的指令的处理器来执行。

增强现实图像530、530'、550由显示组件610朝向第一用户的眼睛反射,如光线615所例示的,使得第一用户看到图像670。在图像670中,真实世界场景660的一部分(诸如佩戴第二hmd的第二用户510′)连同所有增强现实图像530、530′、550(诸如外星人、武器和激光束)都是可见的。因此,第一用户可以看到混合现实图像670,其中在该示例中,第二用户510′握住武器,并且来自第二hmd的包括外星人和激光束的3d状况视图550漂浮在第二用户头部的上方。

现在转向图7,提供了图示用于支持在增强现实环境中的视觉数据上的直观协作的一个示例方法700的流程图。根据本公开的一些实施例,可以由与另一hmd同时访问共享数据集的任何hmd来执行以下方法。根据本公开的实施例,以下方法利用术语“第一hmd”来引用正在执行该方法的hmd。然而,该术语的使用并非旨在限制,并且根据本文中描述的实施例,可以采用对执行该方法的hmd的任何引用。然而,所设想的是,方法700和本文中描述的其他方法的每个框或步骤包括可以使用硬件、固件和/或软件的任何组合来执行的计算过程。例如,各种功能可以由执行存储在存储器中的指令的处理器来执行。方法还可以被实施为存储在计算机存储介质上的计算机可用指令。方法可以由独立应用、服务或托管服务(独立的或与另一托管服务相结合)或另一产品的插件(仅举几例)提供。

在步骤710,检测第一hmd与第二hmd之间的交互。在一些实施例中,第一hmd和第二hmd必须同时访问共享数据集,第一hmd和第二hmd已经被授权访问该共享数据集。hmd可以经由网络彼此直接通信,和/或可以经由诸如图1的服务器140等服务器处于耦合通信。在一些实施例中,交互可以由第一hmd基于一个或多个检测到的条件来检测。例如,定向到第二hmd并且超过预定阈值持续时间的聚焦注视可以触发由第一hmd向第二hmd的协作交互的检测。所设想的是,可以由第一hmd来检测本文中描述的条件的任何组合以确定协作交互。在另一实例中,服务器可以基于本文中描述的检测的条件中的一个或多个来检测定向到第二hmd的由第一hmd的交互。在一些实施例中,从第一hmd到第二hmd或服务器的通信可以包括查看布置信息,该查看布置信息可以由第二hmd或服务器用来确定第一hmd是否正在将协作交互定向到第二hmd(例如,至少阈值持续时间)。在一些其他实施例中,可能需要第一hmd与第二hmd之间的相互注视来触发对第一hmd与第二hmd之间的协作交互的检测。在一些情况下,可能需要第二hmd确认或接受来自第一hmd的协作交互请求。

在步骤720,针对与第二hmd的状态相对应的一组视觉数据的请求由第一hmd生成,并且被发送给第二hmd。在一些实施例中,该请求可以是一般请求,包括针对与第二hmd相关联的所有可用状态信息的请求。在一些其他实施例中,该请求可以是特定请求,包括针对与第二hmd相关联的一种或多种类型的状态信息的请求。例如,特定请求可以包括针对电池寿命、有效应用、状况、当前用户面部表情、当前增强视图、所存储的增强视图、其描述性注释、或者与请求被定向到的第二hmd相关联的任何其他状态信息等的请求。

在一些实施例中,可以将请求从第一hmd直接发送给第二hmd。在一些其他实施例中,可以由第一hmd将请求经由诸如图1的网络130等网络或者在另一实施例中经由诸如图1的服务器140等服务器发送给第二hmd。在各种实施例中,hmd之间的通信可以经由它们相应的通信组件(诸如图2的通信组件260)来支持。

在步骤730,第一hmd可以从请求被定向到的第二hmd接收所请求的一组视觉数据的至少一部分。如本文中描述的,所接收的一组视觉数据可以是整个所请求的一组视觉数据,或者是所请求的一组视觉数据的一部分。根据本文中描述的一些实施例,所接收的一组视觉数据由第二hmd基于由第二hmd引用的隐私策略来生成。响应于所接收的请求,由第二hmd将所生成的一组视觉数据传送给请求的第一hmd。

在步骤740,第一hmd可以处理和/或绘制所接收的一组视觉数据。在一些实施例中,第一hmd可以确定从其接收该组视觉数据的第二hmd的位置或相对位置等。如本文中描述的,第二hmd的位置或相对位置可以被包括在第二hmd的查看布置中,第二hmd的查看布置由第一hmd采用诸如图3的协作方定位组件312等协作方定位组件来获取和/或确定。第一hmd可以确定用于定位基于所接收的一组视觉数据的计算机生成的(多个)对象的绘制坐标(例如,竖直位置、水平位置、深度)。在一些实施例中,绘制坐标是固定的,使得基于所接收的一组视觉数据的计算机生成的(多个)对象位于第二hmd上方,并且从而以不被阻碍的方式位于第二hmd的用户的头部和面部上方。在一些其他实施例中,作为示例,基于所接收的一组视觉数据的计算机生成的(多个)对象被配置为具有计算机生成的框架,诸如语音泡泡。在一些其他实施例中,绘制坐标可以将所接收的一组视觉数据定位为相对于第二hmd邻近、重叠、在下方或任何其他位置。

在步骤750,第一hmd可以提供所接收的一组视觉数据以用于显示和/或显示所接收的一组视觉数据。也就是说,第一hmd可以采用诸如图2的显示组件220等显示组件,以在其确定的绘制位置显示基于所接收的一组视觉数据的计算机生成的(多个)对象。根据本文中描述的实施例,基于所接收的一组视觉数据的计算机生成的(多个)对象可以被添加(例如,被增强)到或替换(例如,切换视图)可能已经由第一hmd绘制和提供以用于显示的任何现有的计算机生成的(多个)对象。在实施例中,计算机生成的对象被呈现为增强现实对象,使得计算机生成的对象被感知为与由第一hmd的用户感知的现实环境共存。还设想的是,在一些实施例中,一旦在第一hmd与第二hmd之间启用了协作交互,则第一hmd可以在它们的fov内或者相对于第二hmd的位置保持一组视觉数据或一子组视觉数据的显示。还设想的是,协作交互的启动还将自动支持视觉数据的相互交换,使得第一hmd和第二hmd可以相互接收和查看彼此的视觉数据集合或子集。

现在参考图8,提供了示出用于支持在增强现实环境中的视觉数据上的直观协作的另一示例方法800的流程图。根据本公开的一些实施例,可以由与另一hmd同时访问共享数据集的任何hmd来执行以下方法。根据本公开的实施例,以下方法利用术语“第二hmd”来引用正在执行该方法的hmd。然而,该术语的使用并非旨在限制,并且根据本文中描述的实施例,可以采用对执行该方法的hmd的任何引用。然而,所设想的是,方法800和本文中描述的其他方法的每个框或步骤包括可以使用硬件、固件和/或软件的任何组合来执行的计算过程。例如,各种功能可以由执行存储在存储器中的指令的处理器来执行。方法还可以被实施为存储在计算机存储介质上的计算机可用指令。方法可以由独立应用、服务或托管服务(独立的或与另一托管服务相结合)或另一产品的插件(仅举几例)提供。

在步骤810,第二hmd可以获取至少部分地基于共享数据集的第一组视觉数据,共享数据集至少对第二hmd和位于第二hmd的物理邻近度内(例如,在共同的真实世界环境或房间内)或虚拟化接近度(例如,虚拟地位于共同的真实世界环境或房间内的替身)内的第一hmd是可访问的。根据本文中描述的一些实施例,第二hmd可以将第一组视觉数据存储在其存储器或高速缓存中,和/或可以传送(例如,流发送)第一组视觉数据以用于存储在远程存储器或高速缓存(例如,服务器存储器或其他hmd存储器)中。在一些实施例中,所获取的第一组视觉数据包括与第二hmd相关联的状态信息。根据本文中描述的实施例,状态信息可以包括关联于与第二hmd相关联的当前状态、先前状态、当前增强视图或先前增强视图的任何信息。在一些实施例中,所获取的第一组视觉数据至少包括由第二hmd当前绘制、当前提供以用于显示或当前显示的当前增强视图。换言之,可以获取并且由此存储包括由第二hmd提供以用于显示的增强视图的当前帧的实时流。

在步骤820,第二hmd可以从第一hmd接收向第一hmd提供与第二hmd相关联的状态信息的请求。采用它们相应的通信组件(诸如图2的通信组件260),该请求可以由第一hmd发送,并且由第二hmd接收。如所描述的,根据本文中描述的实施例,所请求的状态信息可以对应于所获取的第一组视觉数据。

在步骤830,可以由第二hmd处理所接收的请求以确定请求的第一hmd被授权访问所获取的第一组视觉数据。在一些实施例中,第二hmd可以通过验证第一hmd是共享数据集的协作参与方来做出该确定。例如,第二hmd可以采用与所接收的请求相关联的元数据,并且将该元数据与存储在存储器中的授权协作参与方列表进行比较。在另一情况下,第二hmd可以将元数据传送给诸如图1的服务器140等服务器,以执行上述比较。在一些其他情况下,第一hmd能够与第二hmd通信的事实足以验证对所获取的第一组视觉数据的访问。所设想的是,在本公开的范围内,可以采用访问共享数据集的诸如第一hmd和第二hmd的两个用户设备之间的任何形式的访问验证。hmd和/或服务器中的任何一个可以被本文中描述的系统的任何组件用于支持访问验证。

在一些实施例中,第二hmd可以参考本地或远程存储(例如,在服务器上)的隐私策略,以确定所获取的第一组视觉数据的可以响应于所接收的请求而被共享的适当量。在一些情况下,隐私策略可以指示对所获取的第一组视觉数据的完全访问。在一些另外的情况下,隐私策略可以指示对所获取的第一组视觉数据的有限或受限访问。在一些另外的实施例中,隐私策略可以指示特定于用户简档、唯一标识符(例如,硬件标识符)、组标识符或与请求的元数据相关联并且被包括在请求的元数据中的任何其他特性的访问级别。在一些实施例中,第二hmd可以根据对应的隐私策略来生成响应于请求的特定的一组视觉数据。

在步骤840,第二hmd可以将所生成的一组视觉数据提供给请求的第一hmd。如本文中描述的,第二hmd可以采用在其上配置的相应通信组件直接地和/或经由网络将所生成的视觉数据提供给请求的第一hmd。如本文中描述的,并且根据一些实施例,仅当第一hmd被确定为共享数据集的有效协作参与方时,才可以将所生成的一组视觉数据传送给第一hmd。此外,根据另外的实施例,所生成的一组视觉数据可以是根据由第二hmd引用的隐私策略而生成的有限的一组视觉数据。以这种方式,协作ar环境中的有效协作参与方之间的协作交互可以是直观且安全的,以便根据所限定的访问范围来维护隐私。

因此,描述了用于支持在增强现实环境中的视觉数据上的直观协作的技术的各个方面。应当理解,本文中描述的实施例的各种特征、子组合和修改是实用的,并且可以在其他实施例中采用而无需引用其他特征或子组合。此外,示例方法700和800中示出的步骤的顺序和序列并不意味着以任何方式限制本发明的范围,并且实际上,这些步骤可以在其实施例内以各种不同的序列发生。这样的变化及其组合也被认为在本发明的实施例的范围内。

已经描述了本发明的各种实施例,现在描述适合于实现本发明的实施例的示例性计算环境。参考图9,示例性计算设备被提供,并且总体上被称为计算设备900。计算设备900仅是合适的计算环境的一个示例,并且不旨在对本发明的用途或功能的范围提出任何限制。也不应当将计算设备900解释具有与所示组件中的任何一个或组合相关的任何依赖性或要求。本发明的实施例可以在计算机代码或机器可用指令的一般上下文中描述,包括由诸如个人数据助理、智能电话、平板pc或其他手持设备等计算机或其他机器执行的计算机可用或计算机可执行指令,诸如程序模块。通常,包括例程、程序、对象、组件、数据结构等的程序模块指代执行特定任务或实现特定抽象数据类型的代码。本发明的实施例可以在各种系统配置中被实施,包括手持设备、消费电子产品、通用计算机、更专业的计算设备。本发明的实施例还可以在分布式计算环境中被实施,其中任务由通过通信网络而链接的远程处理设备来执行。在分布式计算环境中,程序模块可以位于包括存储器存储设备的本地和远程计算机存储介质中。

参考图9,计算设备900包括直接或间接耦合以下设备的总线910:存储器912、一个或多个处理器914、一个或多个呈现组件916、一个或多个输入/输出(i/o)端口918、一个或多个i/o组件920、以及说明性的电源922。总线910表示可以是一个或多个总线(例如,地址总线、数据总线或其组合)的内容。尽管为了清楚起见,图9的各种块用线条示出,但是实际上,这些框表示逻辑的但不一定是实际的组件。例如,可以将诸如显示设备的呈现组件视为i/o组件。此外,处理器具有存储器。发明人认识到,这是本领域的本质,并且重申图9的图表仅说明可以结合本发明的一个或多个实施例来使用的示例性计算设备。在诸如“工作站”、“服务器”、“膝上型计算机”、“手持设备”、“耳机”、“头戴式显示器”或“hmd”等类别之间没有区别,因为所有这些都设想在图9的范围内并且参考“计算设备”或“用户设备”。

计算设备900通常包括各种计算机可读介质。计算机可读介质可以是可以由计算设备900访问的任何可用介质,并且包括易失性和非易失性、可移除和不可移除介质。作为示例而非限制,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移除和不可移除介质两者。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字通用盘(dvd)或其他光盘存储器、磁带盒、磁带、磁盘存储器或其他磁存储设备、或可以用于存储所需信息并且可以由计算设备900访问的任何其他介质。计算机存储介质不包括信号本身。通信介质通常以诸如载波或其他传输机制等调制数据信号来实施计算机可读指令、数据结构、程序模块或其他数据,并且包括任何信息传递介质。术语“调制数据信号”表示以能够在信号中对信息进行编码的方式设置或改变其一个或多个特征的信号。作为示例而非限制,通信介质包括诸如有线网络或直接有线连接等有线介质以及诸如声学、rf、红外和其他无线介质等无线介质。上述的任何组合也应当被包括在计算机可读介质的范围内。

存储器912包括易失性和/或非易失性存储器形式的计算机存储介质。存储器可以是可移除的、不可移除的或其组合。示例性硬件设备包括固态存储器、硬盘驱动器、光碟驱动器。计算设备900包括从诸如存储器912或i/o组件920等各种实体读取数据的一个或多个处理器914。(多个)呈现组件916向用户或其他设备呈现数据指示。示例性呈现组件包括显示设备、扬声器、打印组件、振动组件等。

i/o端口918允许计算设备900在逻辑上耦合到包括i/o组件920的其他设备,其中的一些可以是内置的。示例性组件包括麦克风、操纵杆、游戏手柄、卫星天线、扫描仪、打印机、无线设备。i/o组件920可以提供自然用户界面(nui),其处理由用户生成的空中手势、语音或其他生理输入。在一些情况下,可以将输入发送到适当的网络元件以用于进一步处理。nui可以实现语音识别、触摸和触笔识别、面部识别、生物识别、屏幕上和与屏幕相邻的手势识别、空中手势、头部和眼睛跟踪、以及与计算设备900或耦合到其上的另一计算设备和/或输入设备上的显示相关联的触摸识别的任何组合。计算设备900可以配备有深度相机,诸如立体相机系统、红外相机系统、rgb相机系统以及这些的组合,以用于手势检测和识别。另外,计算设备900可以配备有使得运动、位置、旋转和/或取向能够检测的加速度计、陀螺仪、磁力计、gps等。可以将加速度计、陀螺仪或磁力计的输出提供给计算设备900的显示器,以绘制沉浸式增强现实、混合现实或虚拟现实。

计算设备900的一些实施例可以包括一个或多个无线电924(或类似的无线通信组件)。无线电924发送和接收无线电或无线通信。计算设备900可以是适于通过各种无线网络接收通信和媒体的无线终端。计算设备900可以经由无线协议进行通信以与其他设备通信,无线协议诸如码分多址(“cdma”)、全球移动系统(“gsm”)或时分多址(“tdma”)等。无线电通信可以是短距离连接、长距离连接、或者是短距离和长距离无线电信连接两者的组合。当提到“短”和“长”类型的连接时,并不意味着指代两个设备之间的空间关系。而是,通常将短距离和长距离称为不同类别或类型的连接(即,初级连接和次级连接)。作为示例而非限制,短距离连接可以包括与提供对无线通信网络的访问的设备(例如,移动热点)的连接,诸如使用802.11协议的wlan连接;与另一计算设备的蓝牙连接是短距离连接或近场通信连接的第二示例。作为示例而非限制,远距离连接可以包括使用cdma、gprs、gsm、tdma和802.16协议中的一个或多个的连接。

在不脱离所附权利要求的范围的情况下,所描绘的各种组件以及未示出的组件的很多不同布置是可能的。已经出于说明性而非限制性的目的描述了本发明的实施例。在阅读本公开之后并且由于阅读本公开,备选实施例对于本公开的读者将变得很清楚。在不背离所附权利要求的范围的情况下,可以完成实现前述内容的替代手段。某些特征和子组合是有用的,并且可以在不参考其他特征和子组合的情况下采用,并且被认为在权利要求的范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1