增强现实环境和/或虚拟现实环境中的会话结束检测的制作方法

文档序号:14685512发布日期:2018-06-13 00:08
增强现实环境和/或虚拟现实环境中的会话结束检测的制作方法

本申请是于2016年12月5日提交的美国申请第15/369,918号的 继续申请并要求其优先权,其全部内容通过引用合并于此。

技术领域

本文件总体上涉及在增强现实和/或虚拟现实环境中检测增强和/ 或虚拟现实会话的结束。



背景技术:

增强现实(AR)和/或虚拟现实(VR)系统可以生成沉浸式的三 维(3D)虚拟环境。用户可以使用各种电子设备与这种虚拟环境中的 虚拟对象、元素、特征等进行交互,该电子设备例如为头盔或其他头 戴式设备(包括显示器、眼镜或护目镜,用户在查看显示设备时通过 其进行观看)、一个或多个手持电子设备(诸如控制器,操纵杆等)、 装配有传感器的手套、键盘、鼠标和其他电子设备。



技术实现要素:

在一个方面,一种方法可以包括在周围环境中操作的头戴式显示 器(HMD)设备中生成虚拟环境;启动虚拟会话并且在所述虚拟会话 处于活动状态时接收用于在所述虚拟环境中执行至少一个对应命令的 至少一个用户输入;检测和跟踪所述周围环境中的所述HMD的位置或 定向中的至少一个;基于所述HMD的所述位置或所述定向中的所述至 少一个来检测姿势输入;基于检测到所述姿势输入来检测所述虚拟会 话的结束;以及响应于检测到的所述虚拟会话的结束,启动与在所述 虚拟会话处于所述活动状态期间接收到的所述至少一个用户输入相关 的处理。

在另一方面,一种系统可以包括计算设备,所述计算设备被配置 为生成虚拟现实环境。计算设备可以包括:存储器,所述存储器存储 可执行指令;以及处理器,所述处理器被配置为执行所述指令。指令 的执行可以使所述计算设备:在周围环境中操作的头戴式显示器 (HMD)设备中生成虚拟环境;启动虚拟会话并且在所述虚拟会话处 于活动状态时接收用于在所述虚拟环境中执行至少一个对应命令的至 少一个用户输入;检测并跟踪所述周围环境中的所述HMD的位置或定 向中的至少一个;基于所述HMD的所述位置或所述定向中的所述至少 一个来检测姿势输入;基于检测到所述姿势输入来检测所述虚拟会话 的结束;以及响应于检测到的所述虚拟会话的结束,启动与在所述虚 拟会话处于所述活动状态期间接收到的所述至少一个用户输入相关的 处理。

在另一方面,一种体现在非暂时性计算机可读介质上的计算机程 序产品,在该计算机可读介质上可以存储有指令序列。该指令序列在 被处理器执行时可以使处理器执行方法。该方法可以包括:在周围环 境中操作的头戴式显示器(HMD)设备中生成虚拟环境;启动虚拟会 话并且在所述虚拟会话处于活动状态时接收用于在所述虚拟环境中执 行至少一个对应命令的至少一个用户输入;检测并跟踪所述周围环境 中的所述HMD的位置和定向;基于所述HMD的所述位置或所述定向 中的所述至少一个来检测姿势输入;基于检测到所述姿势输入来检测 所述虚拟会话的结束;以及响应于检测到的所述虚拟会话的结束,在 所述周围环境中的计算设备处自动地启动与在所述虚拟会话处于所述 活动状态期间接收到的所述至少一个用户输入相关的处理,该计算设 备可操作地耦接到所述HMD并且在所述HMD外部。

在附图和下面的描述中阐述了一个或多个实施方式的细节。从说 明书和附图以及权利要求书中,将使其他特征显而易见。

附图说明

图1是根据本文所述的实施方式的包括与外部输入设备通信的头 戴式显示器的增强和/或虚拟现实系统的示例实施方式。

图2A和2B是根据本文所述的实施方式的示例头戴式显示设备的 立体图。

图3是根据本文所述的实施方式的增强和/或虚拟现实系统的框 图。

图4A-4F图示出了根据本文所述的实施方式的用于检测虚拟会话 的结束的系统。

图5A-5C图示出了根据如本文所述的实施方式的响应于虚拟会话 的结束的检测而启动的示例性处理。

图6A-6C图示出了根据本文所述的实施方式的用于检测虚拟会话 的结束的系统。

图7A-7C图示出了根据本文所述的实施方式的用于检测虚拟会话 的结束的系统。

图8是根据本文所述的实施方式的方法的流程图。

图9图示出了可以用于实现本文所述的技术的计算机设备和移动 计算机设备的示例。

具体实施方式

沉浸在穿戴例如头戴式显示器(HMD)设备的增强和/或虚拟现实 环境中的用户可以探索虚拟环境并通过各种不同类型的输入与虚拟环 境交互。这些输入可以包括例如HMD和/或与HMD可操作地耦接的一 个或多个外部电子设备的操作、和/或手部/臂部姿势,眼睛/头部注视等。 在没有特定用户干预的前提下检测用户已选择结束增强/虚拟现实会话 和/或已到达增强/虚拟现实会话中的暂时中止点并且进行外围任务和/ 或与用户在增强/虚拟现实会话中的活动相关的处理的能力可以增强用 户的体验并提高生产力。因此,外围任务涉及例如与在虚拟会话期间 采取的动作相关的对HMD外部的外围计算设备的处理。

在系统和方法中,根据本文描述的实施方式,在检测到用户已完 成接入虚拟现实会话时,系统可以自动地执行例如补充任务的进一步 动作,或者暂时暂停接入虚拟现实会话。该检测可以基于例如在虚拟 会话结束时特征地执行的动作或姿势,而不需要特定附加用户输入或 干预来启动补充任务。该动作或姿势可以包括例如基于由HMD中的传 感器和/或系统中其他组件中的其他传感器提供的数据而检测到的用户 移除HMD。该进一步的动作或补充任务可以包括与用户在接入到虚拟 环境中时实施的动作相关的任务,例如处理、编译、生成预览、生成 用于待采取的后续动作的建议等。虚拟会话的完成和/或虚拟会话的暂 时暂停可以由系统以被动方式检测,而不需要指示虚拟会话的终止和/ 或暂停的特定用户输入或干预。响应于虚拟会话的结束或虚拟会话中 的中间点的中断的检测而自动实施与虚拟环境中的用户动作相关的外 围任务的能力可以增强用户在虚拟环境中的整体体验环境以及完成现 实世界环境中的相关任务的整体体验。这可以提高用户的生产力,这 是因为进一步的动作可以基本上由系统自动执行,从而有效地使用本 将维持不使用的一段时间(在检测到的虚拟会话的结束与用户输入以 启动进一步的动作的时间之间)。

图1是穿戴HMD 100的用户的第三人称视图。在该示例的第三人 称视图中,用户处于可操作增强/虚拟现实系统的物理空间400中,并 且接入到显示在HMD 100的显示器上的虚拟环境中。图1示出了在虚 拟环境对HMD 100内的用户可见时在HMD 100的显示器上为用户显 示的虚拟环境(或其中的对象)的示例表示500,其是简化的以易于讨 论和说明。用户可以与一个或多个外部计算设备200进行交互,该外 部计算设备可以与HMD 100可操作地耦接并与其通信。这可以提供外 部设备200与HMD 100之间的通信以及外部设备与HMD之间的数据 交换。在图1所示的示例中,与HMD 100可操作地耦接的外部设备200 是手持电子设备200或手持控制器200。在一些实施方式中,多个手持 电子设备200、其他外部设备200(例如鼠标、键盘、操纵杆等)可以 可操作地耦接到HMD 100以接收用于在虚拟环境中的交互的用户输 入。在该实施方式中,在检测到用户已完成接入虚拟现实会话或者经 由HMD 100暂时暂停接入虚拟现实会话时,系统可以自动地执行任务。

图2A和2B是示例的HMD的立体图,例如图1所示的示例中的 由用户穿戴的HMD 100。HMD 100可以包括耦接到框架120的壳体 110,其中,包括例如安装在耳机中的扬声器的音频输出设备130也耦 接到框架120。在图2B中,壳体110的前部部分110a旋转远离壳体 110的基部部分110b,使得接收在壳体110中的一些组件可见。显示 器140可以安装在壳体110的前部部分110a的内侧。当前部部分110a 处于抵靠在壳体110的基部部分110b上的关闭位置时,镜片150可以 安装在用户的眼睛与显示器140之间的壳体110中。HMD 100可以包 括:感测系统160,该感测系统160包括各种传感器;以及控制系统 170,该控制系统170包括处理器190和用于促进HMD 100的操作的 各种控制系统设备。

例如,在一些实施方式中,感测系统160可以包括惯性测量单元 (IMU)162,该惯性测量单元包括各种不同类型的传感器,例如加速 计、陀螺仪、磁力计和其它这样的传感器。HMD 100的位置和定向可 以基于由包括在IMU 162中的传感器提供的数据来检测和跟踪。检测 到的MHD 100的位置和定向可以允许系统进而检测和跟踪用户的头部 注视方向和移动。

在一些实施方式中,HMD 100可以包括注视跟踪设备165,该注 视跟踪设备包括例如一个或多个传感器165A以检测和跟踪眼睛注视 方向和移动。由传感器165A捕获的图像可以被处理以检测和跟踪用户 的眼睛注视的方向和移动,并且所检测和跟踪的眼睛注视可以被处理 为待转换成在沉浸式虚拟体验中的对应交互的用户输入。摄像机180 可以捕获可用于帮助跟踪用户和/或与HMD 100通信/可操作地耦接的 其他外部设备的物理位置的静止和/或移动图像。在通过模式中,所捕 获的图像也可以在显示器140上被显示给用户。

在图3中示出了根据本文描述的实施方式的系统的框图。该系统 可以包括第一电子设备300(例如,如上文关于图1和2A-2B所述的 HMD)和与第一电子设备300通信的至少一个第二电子设备302(例 如,与上文关于图1所述的手持电子设备或其他外部设备)。

第一电子设备300可以包括感测系统360和控制系统370,其可 以分别类似于图2A和2B所示的感测系统160和控制系统170。感测 系统360可以包括不同类型的传感器(包括例如光学传感器、音频传 感器、图像传感器、距离和/或接近传感器)、IMU(包括例如陀螺仪、 加速计、磁力计等)、计时器和/或其他传感器和/或传感器的不同组合。 控制系统370可以包括例如接通/暂停控制设备、音频和视频控制设备、 光学控制设备、转换控制设备和/或其他这样的设备和/或不同的设备组 合。取决于特定的实施方式,感测系统360和/或控制系统370可以包 括更多或更少的设备。包括在感测系统360和/或控制系统370中的元 件可以具有例如在除了图2A和2B所示的HMD 100之外的HMD内的 不同的物理布置(例如,不同的物理位置)。第一电子设备300还可 以包括存储器380以及与感测系统360和控制系统370通信的处理器 390。处理器390可处理从感测系统360以及从其它外部源(例如,第 二电子设备302)接收的输入,并执行与检测到的输入对应的指令。第 一电子设备300还可以包括提供第一电子设备300与其他外部计算设 备(例如第二电子设备302与涉及处理系统相关信息的其他计算设备) 之间的通信的通信模块350。

第二电子设备302可以包括通信模块306,该通信模块提供第二 电子设备302与另一设备(例如第一电子设备300)之间的通信和数据 交换。在一些实施方式中,取决于第二电子设备302(即,手持电子设 备或控制器与键盘或鼠标)的特定配置,第二电子设备302可以包括 感测系统304,该感测系统包括例如图像传感器和音频传感器(诸如包 括在例如摄像机和麦克风中)、IMU、计时器、触摸传感器(诸如包括 在手持电子设备或智能电话的触敏表面中)以及其它这样的传感器和/ 或不同的传感器组合。处理器309可以与第二电子设备302的感测系 统304和控制器305通信,控制器305可以访问存储器308并控制第 二电子设备302的整体操作。

如上所述,用户可以接入虚拟环境中的应用,可以在虚拟会话结 束时执行对虚拟环境的补充或跟随的动作或任务。该补充动作或任务 可以包括例如与由用户在虚拟会话期间接入到虚拟环境中时提供的输 入、动作等和/或在虚拟会话期间运行的应用相关的处理。如果该补充 动作或任务可以在无需特定的用户干预的情况下由系统响应于检测到 的虚拟会话的结束而启动,则可以提高生产力。这可以允许有效地使 用在虚拟会话的结束与用户提供单独的输入以启动补充任务的时间点 之间的本来空闲的时间。因此,在系统和方法中,根据本文描述的实 施方式,系统可以基于例如由系统检测到的姿势而检测到接入虚拟环 境中的应用的用户已结束(或暂时脱离)虚拟会话。该姿势可以与由 用户在虚拟会话结束时特征性地采取的动作(例如移除HMD)关联, 并且不需要用户的一部分的特定附加动作。可以基于例如由HMD中的 传感器提供的位置和/或定向数据来检测这种类型的姿势。

图4A-4F图示出了一个示例实施方式,其中,系统检测HMD 100 的位置并且确定检测到的HMD 100的位置对应于从用户的头部移除 HMD 100或将其移出用户的视线。然后,系统将该检测到的HMD 100 的位置与虚拟会话的结束关联。响应于检测到的虚拟会话的结束,系 统启动跟随动作,例如处理与由用户在接入虚拟会话时所采取的动作 相关的数据。以这种方式,处理或其他动作可以在用户移除HMD 100 与用户另外在另一个计算设备(例如,与HMD 100可操作地耦接的计 算机终端)处手动启动该处理的时间点之间的时间内执行。这可以有 效地使用这种本来空闲的时间,并且提高生产力。

图4A是在物理空间400中的接入例如由HMD 100在HMD 100 的显示器上生成和显示的虚拟环境中的用户的第三人称视图。如图4A 所示,用户穿戴HMD 100,并且使用手持电子设备200与各种虚拟元 件交互,该虚拟元件与虚拟环境500中运行的应用关联,与基于用户 在虚拟环境中的交互来接收数据的另一外部计算设备250关联。在图 4A所示的示例中,示例的虚拟环境500的各种虚拟元件因为它们可以 显现给用户而被示出在用户前方,其是简化的以易于讨论和说明。将 相对于在虚拟环境500中运行的3D建模应用讨论图4A-4F和5A-5C 所示的示例实施方式,其是简化的以易于讨论和说明。然而,下文描 述的原理可以应用于待在虚拟环境中执行的许多其他应用和虚拟体 验,并且在虚拟会话结束之后和/或在虚拟会话的接入虚拟会话中的用 户已暂时暂停时的中间点具有待进行的附加动作。

如图4A、4B和4C所示,用户可以例如使用手持电子设备200和 /或手部/臂部姿势等与虚拟环境500中的各种虚拟对象、元件等交互。 与虚拟对象的用户交互可以对应于待在虚拟环境中执行的用户输入或 用户命令,以生成期望的结果,如在从图4A到图4B到图4C时虚拟 三维对象550的结构变化中所示。

如图4D和4E所示,当用户结束虚拟会话时或者当用户临时脱离 虚拟环境时,用户可以将HMD 100移出其视线,和/或可以从其头部移 除HMD 100。HMD 100的这种移动/移除可以被认为是与虚拟会话的结 束关联的移动或姿势或动作,其可以由系统检测到。HMD 100的这种 移动/移除是在用户脱离虚拟环境时由用户采用的自然动作,以终止虚 拟会话和/或暂时暂停接入虚拟会话。HMD 100的这种移动/移除可以使 得HMD 100被定向成使得HMD 100的前表面110a处于基本上水平的 位置或者基本上水平地定向,如图4E所示。

在一些实施方式中,HMD 100在预先设定的或预定义的位置中的 使HMD100的前表面110a沿着基本上水平的平面对准的这种定向可以 与HMD 100的非活动状态关联。当用户主动地接入到虚拟环境500中(其中HMD 100定位成与用户的视线对准)时,通常不会遇到HMD 100的使前表面110a沿着基本上水平的平面对准的定向,这是因为当 HMD 100处于活动状态时将被对准。相反,当HMD 100仍被定位成与 用户的视线对准时,HMD 100的这种基本上水平的定向将需要用户采 取并维持不自然的、相对笨拙的位置,直视。在大多数情况下,特别 是当HMD 100的基本水平的定向被暂停或维持大于预先设定的或预定 义的时间量时,HMD 100的这种基本上水平的定向可以与将HMD 100 从用户的视线移除和/或从用户的头部移除关联,并由此可以与HMD 100的非活动状态关联。由此,尽管移除HMD 100并且导致HMD 100 的基本上水平的定向是在虚拟会话结束时在用户的一部分上的相对正 常的无意识动作,但HMD 100的这种基本上水平的定向的检测可以被 认为是虚拟会话的结束的相对可靠的指示。以这种方式,除了上述相 对正常的无意识动作之外,用户不需要其他动作来启动处理或者与在 虚拟会话期间采用的动作相关的对HMD外部的计算设备的附加任务。

在一些实施方式中,与HMD 100的非活动状态关联的将HMD 100 从用户的视线移除和/或从用户的头部移除可以由HMD 100中的其他 传感器检测。例如,在一些实施方式中,光学跟踪设备165可以传感 用户眼睛的检测和/或跟踪中的损失,并且将检测和/或跟踪中的损失与 HMD 100移出用户的视线和/或从用户头部的移除以及HMD 100从活 动状态转换到非活动状态关联。在一些实施方式中,光学传感器可以 检测与将HMD 100从用户头的部移除以及HMD 100从活动状态转换 到非活动状态关联的光的变化。

通常,在虚拟会话结束时,用户将移动到外部计算设备250以进 行与在虚拟会话期间采取的动作相关的处理或附加任务,如图4F所示。 然而,在根据本文描述的实施方式的系统和方法中,响应于检测到HMD 100的移除,系统可以自动启动与在虚拟会话期间采取的动作相关的处 理或附加任务。这可以使得有效使用在移除HMD 100(如图4D所示) 与用户到达外部计算设备250以用于手动输入用户命令以启动处理(如 图4F所示)之间的本来空闲的时间。

在一些实施方式中,HMD 100的定向状态可以由例如HMD 100 中的传感器检测和/或跟踪。例如,HMD 100的IMU 162中的传感器(例 如,包括在HMD100的IMU 162中的陀螺仪)可以检测到HMD 100 被定向在基本上水平的状态,如上面相对于图4E所述。如上所述,当 HMD 100被主动地接入到虚拟环境中的用户穿戴时,通常不会遇到 HMD 100的这种基本上水平的状态。然而,为了避免基于HMD 100 的定向错误地识别虚拟会话的结束,在一些实施方式中,当确定出HMD 100保持定向在基本上水平的状态大于设定阈值时间量时,可以检测到 虚拟会话的结束的指示。例如,在一些实施方式中,当检测到HMD 100 保持在基本上水平的方向上大于或等于大约1秒时,可以确定出用户 已终止或暂时暂停虚拟会话。这种1秒设定阈值时间仅是一个示例, 并且设定阈值时间可以基于许多不同的因素而变化,例如特定应用的 特征和/或在该特定应用中的用户交互可以使得HMD 100定向在基本 上水平的位置中特定时间量的可能性。

在检测到HMD 100定向在基本上水平的状态中并且确定出如上 所述地基于HMD 100的基本上水平的定向而终止或暂停虚拟会话时, 系统可以启动与关于刚刚结束的虚拟会话相关的信息的进一步动作或 补充任务。例如,系统可以开始处理与在上文相对于图4A-4D描述的 配置下的虚拟3D对象550相关的信息和/或数据。可以由HMD 100和 /或由一个或多个外部计算设备(例如,图4A-4D所示的外部计算设备 250)执行该处理。由于如上所述地已经基于用户移除HMD 100检测 到虚拟会话的结束,所以该系统可以响应于例如在图4D所示的点处检 测到虚拟会话的结束而自动启动这种处理或补充任务,而不是如图4F 所示在用户到达外部计算设备之后等待特定用户命令以启动处理或补 充任务。在图4D所示的点与图4F所示的点之间这种空闲时间的使用 可以提高用户的便利性和生产力。

如上所述,响应于如上所述地检测到虚拟会话的结束,系统可以 由HMD 100和/或外部计算设备(例如图4A-4F所示的外部计算设备 250)自动启动处理。当检测到虚拟会话的结束时(在图4D所示的点) 启动处理,而不是当用户到达计算设备250以手动输入命令以启动处 理时(在图4F所示的点),可以允许有效使用可用时间。当处理计算 密集型任务(例如涉及图形处理等的处理)时,这可能是特别有益的。 例如,当如上所述地检测到虚拟会话的结束时,系统可以启动处理以 生成对象550的3D预览供用户查看,3D预览的生成是补充任务或外 围任务的示例或者是与图5A所示的在虚拟会话期间采取的动作和/或 图5B所示的对象550的多个不同视图和/或图5C所示的用于发布或共 享对象550和/或用于进一步编辑对象550的选项相关的(例如在HMD 外部的计算设备上的)附加任务的处理。这些仅是如上所述的由系统 响应于基于HMD 100的基本上水平的定向检测到的虚拟会话的结束而 可以启动和执行的处理类型的一些示例。

在一些实施方式中,HMD 100的持续空闲状态可以由传感器(例 如,包括在HMD 100的IMU 162中的传感器)检测,以指示虚拟会话 的结束(另外或替代地,检测HMD 100的水平定向以指示如上所述的 虚拟会话的结束)。当HMD 100被用户穿戴时,这些传感器可以检测 甚至相当轻微的移动。也就是说,即使当用户意图保持基本静止时, 用户仍未保持完全静止或固定,并且用户穿戴的HMD100的传感器将 检测到用户的轻微的自然移动(并因此,检测到用户穿戴的HMD 100 的轻微的自然移动)。这种检测到的移动可以指示用户保持在至少一 定程度上接入到虚拟环境中。

在一些实施方式中,指示虚拟会话的终止或暂时暂停的设定姿势 可以基于检测到HMD 100保持在同一位置中(基本上完全静止)大于 或等于预先设定的或预定义的时间量来限定。图6A-6C示出了在固定 支撑表面600上的各种不同位置中的从用户头部移除的HMD 100。如 图6A所示,用户已移除HMD 100并且将HMD 100定位于固定支撑表 面600上,其中,HMD 100基本水平地定向,并且例如HMD 100的示 例性中心线112基本上水平地定向。在图6B所示的示例中,用户已经 移除HMD 100并将HMD 100定位于固定支撑表面600上,其中,HMD 100定向为相对于水平面成一角度或倾斜,并且例如其中,HMD 100 的示例性中心线112定向为相对于水平方向成一角度或倾斜。在图6C 所示的示例中,用户已移除HMD 100并将HMD 100定位于固定支撑 表面600上,其中,HMD 100基本上竖直地定向,并且例如其中,HMD 100的示例性中心线112基本上竖直地定向。HMD 100的示例性中心 线112包括在图6A-6C中,其是简化的以易于说明和解释可以将HMD 100放置在固定支撑表面600上的各种不同位置。

在图6A-6C所示的每个不同示例位置中,位于固定支撑表面600 上的HMD 100可以保持基本上完全静止,并且不管HMD的定向如何, 都不具有由传感器(例如,HMD 100的IMU 162的传感器)检测到的 任何移动。基于由HMD 100的传感器提供的数据,系统可以确定出 HMD 100已保持静止(并且不移动)大于或等于一预先设定的或预定 义的时间量。基于确定出HMD 100已保持固定至少该设定时间量,系 统可以确定已检测到指示用户已经脱离虚拟环境的设定姿势。响应于 检测到虚拟会话的结束或虚拟会话的暂时暂停,系统可以自动启动处 理,例如如上所述的在不需要单独的用户干预来启动处理的情况下与 在虚拟会话期间实施的动作关联的处理。这可以允许在不具有用户手 动输入命令或其他特定用户干预的情况下启动后续处理、补充任务等。 在这种场境中,用户手动输入命令可以例如指的是用户在执行处理的 计算系统的用户界面上的手动输入。后续处理的这种自动启动可以提 高用户的便利性和生产力,从而使用用户移除HMD 100与用户录入特 定命令以启动处理之间的本来空闲的时间。

在一些实施方式中,系统可以基于不一定涉及将HMD 100移出用 户视线和/或将HMD 100从用户的头部移除的因素来检测指示虚拟会 话结束和/或用户接入到虚拟会话中的暂停的设定姿势。例如,在一些 实施方式中,系统可以基于穿戴HMD 100的用户在物理空间400中的 位置(例如,穿戴HMD 100的用户在物理空间400中相对于物理空间 400中的其他元件(例如,外部计算设备250)的位置)来检测虚拟会 话的结束和/或用户接入到虚拟会话中的暂停。在一些实施方式中,系 统可以基于用户通过物理空间400的移动(例如,用户朝向物理空间 400的某些元件(例如,外部计算设备250)的移动)来检测虚拟会话 的结束和/或用户接入到虚拟会话中的暂停。在一些实施方式中,系统 可以基于用户通过物理空间400的移速(rate)或速率(speed)或速度 (velocity)(例如,用户朝向物理空间400的某些元件(例如,外部 计算设备250)的移速或速率或速度)来检测虚拟会话的结束和/或用 户接入到虚拟会话中的暂停。系统可以基于例如检测到的用户在物理 空间中的速度和/或加速度相对于预先设定的或预定义的速度和/或加 速度值的比较来进行这种确定。

穿戴HMD 100并在位于物理空间400中的位置A(如图7A所示) 处时接入到虚拟环境500中的用户可以在物理空间400中移动到物理 空间400中的位置B(如图7B所示)和/或可以移动到物理空间400 中的位置C(如图7C所示)。当穿戴HMD 100的用户在物理空间400 中移动时,系统可以检测并跟踪穿戴HMD 100的用户在物理空间400 中的位置和/或定向。系统可以被设定成响应于穿戴HMD 100的用户在 物理空间400内的设定位置处和/或在设定方向上移动或接近物理空间 400中的设定元件和/或以大于或等于预先设定的移速或速率或速度在 设定方向上移动或接近设定元件的检测来检测设定姿势。响应于这些 设定姿势中的一个或多个,系统可以确定出用户已终止或暂时暂停接 入到虚拟会话中,并且可以启动如上所述的处理或补充任务,即使用 户不一定移除HMD 100。

例如,系统可以检测到穿戴HMD 100的用户处于或已经移动到图 7C所示的位置,并且基于用户物理地接近外部计算设备250而可以确 定出用户意图终止或暂时暂停虚拟会话,并且可以自动启动处理和/或 其他补充任务,例如,只要系统检测出用户在外部计算设备250的设 定接近度内,就会自动启动与最近终止或暂停的虚拟会话相关的处理 和/或任务。在不具有(例如,在外部计算设备150处的)特定手动用 户输入的情况下启动这种处理的能力可以提高生产力和有效性,并且 可以改善用户体验。

在一些实施方式中,系统可以例如沿着设定路径或方向检测用户 的移动,指示用户例如正朝向物理空间400中的某个元件移动,诸如 朝向外部计算设备250移动。系统可以基于检测到的用户在物理空间 400中的移动方向来确定用户正朝向例如外部计算设备250移动。例如, 系统可以检测到用户沿着朝向与图7C所示的外部计算设备250相距 预先设定接近度内的位置C的路径已从图7A所示的位置A移动到图 7B所示的位置B或朝向位置B移动。系统可以确定该检测到的用户移 动方向指示用户已脱离虚拟环境,并且趋于终止或暂时暂停虚拟会话。 基于例如在物理空间400中的用户位置B(或物理空间400中的另一位 置,基于系统设定)处的该检测到的移动方向,系统可以检测虚拟会 话的终止或暂时暂停,并且可以自动启动处理和/或其他补充任务,例 如,与最近终止或暂停的虚拟会话相关的处理和/或任务。

在一些实施方式中,系统可以检测例如从图7A所示的位置A朝 向图7B所示的位置B和/或朝向图7C所示的位置C的用户移动。系统 还可以基于例如从位置A处的检测到位置B处的检测所经过的时间量 而检测用户例如从位置A移动到位置B的移速;或者基于例如从位置 A处的检测到位置C的检测所经过的时间量而检测用户从位置A移动 到位置C的速率。系统可以基于检测到的用户在物理空间400中的移 动方向连同用户移动的移速确定出用户已脱离虚拟环境,并趋于终止 或暂时暂停虚拟会话。基于例如该检测到的移动连同检测到的移动移 速或速率(例如,大于或等于设定阈值),系统可以检测虚拟会话的 终止或暂时暂停,并且可以自动启动处理和/或其他补充任务,例如与 最近终止或暂停的虚拟会话相关的处理和/或任务。

在系统和方法中,根据本文所述的实施方式,响应于检测到虚拟 会话的结束和/或虚拟会话的暂时暂停,可以触发补充任务(诸如,启 动处理)的启动。如上面相对于图4A-4F所述的,可以响应于检测到 在设定方向上的HMD 100,而检测设定姿势。如上面相对于图6A-6C 所述的,可以响应于检测到HMD 100处于静止位置大于或等于设定时 间量,而检测设定姿势。如上面相对于图7A-7C所述的,可以响应于 检测到的用户在设定方向上和/或以大于设定速度的移动和/或在外部 对象的设定接近度内,而检测设定姿势。在一些实施方式中,当HMD 100内的光学跟踪设备检测到用户的眼睛的轨迹的损失时,可以检测设 定姿势,该损失与HMD 100离开视线的移动和/或从用户头部移除 HMD 100关联。在一些实施方式中,可以响应于检测到HMD 100在将 指示移除HMD 100的高度处(例如,在腰部水平处或腰部水平以下, 或在用户头部上方一竖直距离,该竖直距离与HMD 100在活动状态中 将不会自然定位一持续时间量的高度相对应),而检测设定姿势。在 一些实施方式中,可以响应于检测到沿着HMD 100移动离开用户视线 和/或从用户头部移除HMD 100的路径特征(例如,包括提升运动连同 特定旋转量)的HMD 100的移动,而检测设定姿势。这些仅是系统可 以检测到的设定姿势的一些示例,以指示虚拟会话的结束和/或虚拟会 话的暂时暂停,这可能进而自动触发后续处理任务(特别是,与在虚 拟会话期间用户采取的动作关联的任务)的启动。

在图8中示出了根据本文所述的实施方式的在增强和/或虚拟现实 环境中检测虚拟会话的结束的方法800。

用户可以使用例如计算设备来启动增强现实体验和/或虚拟现实 体验,该计算设备例如为包括如上所述的HMD设备的系统,其可以与 一个或多个外部设备可操作地耦接或配对以生成增强现实和/或虚拟现 实环境(框810)。系统可以检测和跟踪系统的元件,例如如上所述的 HMD,检测可与用户从虚拟环境脱离以及虚拟会话的终止和/或虚拟会 话的暂时暂停相对应的姿势(框820)。指示虚拟会话的终止和/或暂 时暂停的检测到的姿势可以包括检测到HMD的基本水平定向大于或 等于设定阈值时间量(框830),如上文相对于图4A-4F详细描述的。 指示虚拟会话的终止和/或暂时暂停的检测到的手势可以包括检测到 HMD已保持静止大于或等于阈值时间量,而没有任何检测到的移动(框 840),如上文相对于图6A-6C所述的。指示虚拟会话的终止和/或暂 时暂停的检测到的手势可以包括检测到穿戴HMD的用户处于特定位 置和/或检测到穿戴HMD的用户在特定方向上的移动和/或以大于或等 于设定阈值速度的速度的移动(框850),如上文相对于图7A-7C所 述的。响应于设定姿势中的一个或多个(框830、840、850),系统可 以检测虚拟会话的终止或暂时暂停,并且可以启动与虚拟会话相关的 处理(框870),如上文相对于图5A-5C所述的。该过程可以持续直 到确定当前增强现实和/或虚拟现实体验已被终止(框860)。

在根据本文描述的实施方式的系统和方法中,可以基于不涉及特 定用户输入或干预的设定姿势来检测虚拟会话的结束或虚拟会话的暂 时暂停。基于在虚拟会话期间的用户交互的后续处理和/或补充任务可 以由系统响应于检测到虚拟会话的结束而自动地启动,而无需单独的 用户干预或手动输入来启动处理,从而生产地使用可用时间和计算资 源。

图9示出了可以与本文描述的技术一起使用的计算机设备1000和 移动计算机设备1050的示例。计算设备1000包括处理器1002、存储 器1004、存储设备1006、连接到存储器1004和高速扩展端口1010的 高速接口1008、以及连接到低速总线1014和存储设备1006的低速接 口1012。组件1002、1004、1006、1008、1010和1012中的每一个使 用各种总线互连,并且可以适当地安装在公共主板上或以其他方式安 装。处理器1002可以处理用于在计算设备1000内执行的指令,包括 存储在存储器1004中或存储设备1006上的指令,以在外部输入/输出 设备(诸如耦接到高速接口1008的显示器1016)上显示用于GUI的 图形信息。在其他实施方式中,可以连同多个存储器以及多种存储器 适当地使用多个处理器和/或多个总线。此外,多个计算设备1000可以 与提供必要操作的部分的每个设备(例如,服务器群,一组刀片式服 务器或多处理器系统)连接。

存储器1004在计算设备1000内存储信息。在一个实施方式中, 存储器1004是易失性存储单元。在另一实施方式中,存储器1004是 非易失性存储单元。存储器1004还可以是另一种形式的计算机可读介 质,诸如磁盘或光盘。

存储设备1006能够为计算设备1000提供大容量存储。在一个实 施方式中,存储设备1006可以是或包含计算机可读介质,诸如软盘设 备、硬盘设备、光盘设备或磁带设备、闪存或其他类似的固态存储设 备、或者包括存储区域网络中的设备或其他配置的设备阵列。计算机 程序产品可以实体地体现在信息载体中。计算机程序产品还可以包含 指令,该指令在被执行时执行一个或多个方法,诸如上述的方法。信 息载体是计算机或机器可读介质,诸如存储器1004、存储设备1006或 处理器1002上的存储器。

高速控制器1008管理计算设备1000的带宽密集型操作,而低速 控制器1012管理较低带宽密集型操作。这种功能分配仅是示例的。在 一个实施方式中,高速控制器1008耦接到存储器1004、显示器1016 (例如,通过图形处理器或加速计)以及可接受各种扩展卡(未示出) 的高速扩展端口1010。在该实施方式中,低速控制器1012耦接到存储 设备1006和低速扩展端口1014。可以包括各种通信端口(例如,USB、 蓝牙、以太网、无线以太网)的低速扩展端口可以耦接到一个或多个 输入/输出设备,诸如键盘、指针设备、扫描仪或者诸如交换机或路由 器的网络设备,例如通过网络适配器。

如图所示,计算设备1000可以以多种不同的形式实现。例如,其 可以被实现为标准服务器1020,或者在一组这样的服务器中多次实现。 其也可以被实现为机架式服务器系统1024的一部分。此外,其可以为 个人计算机,诸如膝上型计算机1022。可替代地,来自计算设备1000 的组件可以与诸如设备1050的移动设备中的其他组件(未示出)组合。 这些设备中的每一个可以包含计算设备1000、1050中的一个或多个, 并且整个系统可以由彼此通信的多个计算设备1000、1050组成。

计算设备1050包括处理器1052、存储器1064,诸如显示器1054 的输入/输出设备、通信接口1066和收发器1068等。设备1050还可以 被提供有诸如微驱动器或其他设备的存储设备,以提供附加的存储。 组件1050、1052、1046、1054、1066和1068中的每一个使用各种总 线互连,并且该组件中的几个可以适当地安装在公共主板上或以其他 方式安装。

处理器1052可以执行计算设备1050内的指令,包括存储在存储 器1064中的指令。处理器可以被实现为包括单独的和多个模拟和数字 处理器的芯片的芯片集。处理器可以例如提供设备1050的其他组件的 协同,诸如用户界面的控制、由设备1050运行的应用以及设备1050 的无线通信。

处理器1052可以通过耦接到显示器1054的控制接口1058和显示 接口1056与用户通信。显示器1054可以是例如TFT LCD(薄膜晶体 管液晶显示器)或OLED(有机发光二极管)显示器或者其他适当的显 示技术。显示接口1056可以包括用于驱动显示器1054以向用户呈现 图形和其它信息的适当电路。控制接口1058可以从用户接收命令并将 其转换以提交给处理器1052。此外,外部接口1062可以提供与处理器 1052通信,以便能够使设备1050与其他设备进行近区域通信。在一些 实施方式中,外部接口1062可以提供例如有线通信,或者在其他实施 方式中提供无线通信,并且还可以使用多个接口。

存储器1064在计算设备1050内存储信息。存储器1064可以被实 现为计算机可读介质、易失性存储单元或非易失性存储单元中的一个 或多个。扩展存储器1074也可以通过扩展接口1072设置并连接到设 备1050,该扩展接口例如可以包括SIMM(单线存储模块)卡接口。 这种扩展存储器1074可以为设备1050提供额外的存储空间,或者还 可以存储用于设备1050的应用或其他信息。具体地,扩展存储器1074 可以包括执行或补充上述过程的指令,并且还可以包括安全信息。因 此,例如,扩展存储器1074可以被提供为用于设备1050的安全模块, 并且可以用允许设备1050的安全使用的指令来编程。此外,可以经由 SIMM卡连同附加信息来提供安全应用,诸如以不可攻击的方式将识别 信息放置在SIMM卡上。

存储器可以包括例如闪速和/或NVRAM存储器,如下所述。在一 个实施方式中,计算机程序产品被实体地体现在信息载体中。计算机 程序产品包含指令,该指令在被执行时执行一个或多个方法,诸如上 述的方法。信息载体是计算机或机器可读介质,诸如存储器1064、扩 展存储器1074或处理器1052上的存储器,其可以例如通过收发器1068 或外部接口1062接收。

设备1050可以通过通信接口1066进行无线通信,该通信接口可 以在必要时包括数字信号处理电路。通信接口1066可以在各种模式或 协议下提供通信,诸如GSM语音呼叫、SMS、EMS或MMS消息、 CDMA、TDMA、PDC、WCDMA、CDMA2000或GPRS等。这种通信 可以例如通过射频收发器1068发生。此外,可能发生短距离通信,诸 如使用蓝牙、Wi-Fi或其它这样的收发器(未示出)。此外,GPS(全 球定位系统)接收模块1070可以向设备1050提供附加的导航和位置 相关的无线数据,其可以由在设备1050上运行的应用适当地使用。

设备1050还可以使用音频编解码器1060音频地通信,该音频编 解码器可以从用户接收口语信息并将其转换为可用的数字信息。音频 编解码器1060同样可以诸如通过扬声器(例如,在设备1050的手持 设备中)为用户生成可听见的声音。这种声音可以包括来自语音电话 呼叫的声音,可以包括录音(例如,语音消息、音乐文件等),并且 还可以包括由在设备1050上操作的应用生成的声音。

计算设备1050可以以多种不同的形式来实现,如图所示。例如, 其可以被实现为蜂窝电话1080。其也可以被实现为智能电话1082、个 人数字助理或其他类似移动设备的一部分。

本文描述的系统和技术的各种实施方式可以在数字电子电路、集 成电路、专门设计的ASIC(专用集成电路)、计算机硬件、固件、软 件和/或其组合中实现。这些各种实施方式可以包括在可编程系统上可 执行和/或可解释的一个或多个计算机程序中的实施方式,该可编程系 统包括可以是专用或通用目的的至少一个可编程处理器,其被耦接以 从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令 以及将数据和指令传输到存储系统、至少一个输入设备和至少一个输 出设备。

这些计算机程序(也称为程序、软件、软件应用或代码)包括用 于可编程处理器的机器指令,并且可以以高级程序和/或面向对象编程 语言和/或汇编/机器语言实现。如本文所使用的,术语“机器可读介质”、 “计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据 的任何计算机程序产品、装置和/或设备(例如,磁盘、光盘、存储器、 可编程逻辑设备(PLD)),包括接收作为机器可读信号的机器指令的 机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供 机器指令和/或数据的任何信号。

为了提供与用户的交互,本文描述的系统和技术可以在具有用于 向用户显示信息的显示设备(例如,CRT(阴极射线管)或LCD(液 晶显示器)监视器)以及用户可以向计算机提供输入的键盘和指针设 备(例如,鼠标或轨迹球)的计算机上实现。其他类型的设备也可用 于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的感 觉反馈(例如,视觉反馈、听觉反馈或触觉反馈);并且可以以任何 形式接收来自用户的输入,包括声音、语音或触觉输入。

本文描述的系统和技术可以在包括后端组件(例如,作为数据服 务器)或包括中间件组件(例如,应用服务器)或包括前端组件(例 如,具有图形用户界面或Web浏览器的客户端计算机,用户可以通过 该图形用户界面或Web浏览器与本文描述的系统和技术的实施方式进 行交互)或者这些后端组件、中间件组件或前端组件的任何组合的计 算系统中实现。系统的组件可以通过任何形式或介质的数字数据通信 (例如,通信网络)互连。通信网络的示例包括局域网(“LAN”)、 广域网(“WAN”)和互联网。

计算系统可以包括客户端和服务器。客户端和服务器通常彼此远 离,且通常通过通信网络进行交互。客户端和服务器之间的关系是凭 借在相应的计算机上运行的计算机程序并且彼此之间具有客户端-服务 器关系而产生的。

在一些实施方式中,图9所示的计算设备可以包括与虚拟现实(VR 耳机/HMD设备1090)连接的传感器。例如,包括在图9所示的计算 设备1050或其他计算设备上的一个或多个传感器可以为VR耳机1090 提供输入,或者一般来说,可为VR空间提供输入。传感器可以包括但 不限于触摸屏、加速计、陀螺仪、压力传感器、生物传感器、温度传 感器、湿度传感器和环境光学传感器。计算设备1050可以使用传感器 来确定计算设备在VR空间中的绝对位置和/或检测到的旋转,然后其 可以用作VR空间的输入。例如,计算设备1050可以作为虚拟对象(诸 如,控制器、激光指针、键盘、武器等)并入VR空间中。当并入VR 空间中时,由用户定位计算设备/虚拟对象可以允许用户将计算设备定 位成使得以某些方式观看VR空间中的虚拟对象。例如,如果虚拟对象 表示激光指针,则用户可以像操纵实际激光指针一样操纵计算设备。 用户可以将计算设备左右移动、上下移动、圆形移动等,并以与使用 激光指针类似的方式使用该设备。

在一些实施方式中,包括在计算设备1050上或连接到计算设备 1050的一个或多个输入设备可以用作VR空间的输入。输入设备可以 包括但不限于触摸屏、键盘、一个或多个按钮、触控板、触摸板、指 针设备、鼠标、轨迹球、操纵杆、摄像机、麦克风、具有输入功能耳 机或耳塞、游戏控制器或其他可连接的输入设备。当计算设备并入到 VR空间中时,与包括在计算设备1050上的输入设备交互的用户可能 导致在VR空间中发生特定动作。

在一些实施方式中,计算设备1050的触摸屏可以被渲染为VR空 间中的触摸板。用户可以与计算设备1050的触摸屏交互。例如,在 VR耳机1090中,该交互被渲染为VR空间中的渲染的触摸板上的移 动。渲染的移动可以控制VR空间中的虚拟对象。

在一些实施方式中,包括在计算设备1050上的一个或多个输出设 备可以向VR空间中的VR耳机1090的用户提供输出和/或反馈。输出 和反馈可以是视觉、触觉或音频。输出和/或反馈可以包括但不限于振 动、一个或多个灯或闪光灯的打开和关闭或闪烁和/或闪光、发出警报、 发出鸣响、播放歌曲和播放音频文件。输出设备可以包括但不限于振 动电动机、振动线圈、压电设备、静电设备、发光二极管(LED)、闪 光灯和扬声器。

在一些实施方式中,计算设备1050可以在计算机生成的3D环境 中显示为另一对象。用户与计算设备1050的交互(例如,旋转、摇动、 触摸触摸屏、在触摸屏上滑动手指)可以被解释为与VR空间中的对象 的交互。在VR空间中的激光指针的示例中,计算设备1050在计算机 生成的3D环境中显示为虚拟激光指针。当用户操纵计算设备1050时,VR空间中的用户看到激光指针的移动。用户在计算设备1050或VR 耳机1090上接收来自与VR环境中的计算设备1050的交互的反馈。

在一些实施方式中,计算设备1050可以包括触摸屏。例如,用户 可以以特定的方式与触摸屏交互,其可以用在VR空间中发生的情况模 仿在触摸屏上发生的情况。例如,用户可以使用捏合式运动来缩放在 触摸屏上显示的内容。触摸屏上的这种捏合式运动可以使VR空间中提 供的信息被缩放。在另一示例中,计算设备可以在计算机生成的3D环 境中被渲染为虚拟书。在VR空间中,可以在VR空间中显示书的页面, 并且可以将用户的手指在触摸屏上的滑动解释为翻动/翻转虚拟书的页 面。随着每个页面被翻动/翻转时,除了看到页面内容变化之外,用户 可以被提供音频反馈,诸如翻动书中的页面的声音。

在一些实施方式中,除了计算设备(例如,鼠标、键盘)之外的 一个或多个输入设备可以在计算机生成的3D环境中被渲染。渲染的输 入设备(例如,渲染的鼠标,渲染的键盘)可以用于在VR空间中被渲 染以控制VR空间中的对象。

计算设备1000旨在表示各种形式的数字计算机和设备,包括但不 限于膝上型计算机、台式计算机、工作站、个人数字助理、服务器、 刀片式服务器、大型主机和其他适当的计算机。计算设备1050旨在表 示各种形式的移动设备,诸如个人数字助理、蜂窝电话、智能电话和 其他类似的计算设备。本文所示的组件、其连接和关系以及其功能仅 是示例性的,且并不意味着限制本文中描述和/或要求保护的发明的实 施方式。

在以下的示例中描述了其他实施方式:

示例1:一种方法,包括:在周围环境中操作的头戴式显示器 (HMD)设备中生成虚拟环境;启动虚拟会话并且在所述虚拟会话处 于活动状态时接收用于在所述虚拟环境中执行至少一个对应命令的至 少一个用户输入;检测所述周围环境中的所述HMD的位置或定向中的 至少一个;基于所述HMD的所述位置或所述定向中的所述至少一个来 检测姿势输入;基于检测到所述姿势输入来检测所述虚拟会话的结束; 以及响应于检测到的所述虚拟会话的结束,启动与在所述虚拟会话处 于所述活动状态期间接收到的所述至少一个用户输入相关的处理。

示例2:示例1的方法,基于所述周围环境中的所述HMD的所述 位置或所述定向中的所述至少一个来检测姿势输入,包括:检测所述 HMD的定向;将检测到的所述HMD的定向与设定定向进行比较;以 及当基于该比较而确定出检测到的所述HMD的定向与所述HMD的所 述预设定向匹配大于或等于设定时间量时,检测与检测到所述虚拟会 话的所述结束对应的所述姿势输入。

示例3:示例2的方法,其中,所述HMD的所述设定定向与由所 述用户穿戴的所述HMD的中心线的水平对准相对应。

示例4:示例1至3中一项的方法,基于所述周围环境中的所述 HMD的所述位置或所述定向中的所述至少一个来检测姿势输入,包括: 检测所述HMD的所述位置和所述定向;以及当基于所述HMD的所述 位置和所述定向确定出所述HMD保持静止大于或等于设定时间量时, 检测与检测到所述虚拟会话的所述结束对应的所述姿势输入。

示例5:示例1至4中一项的方法,基于所述周围环境中的所述 HMD的所述位置或所述定向中的所述至少一个来检测姿势输入,包括: 检测所述HMD的所述位置;以及当基于所述HMD的所述位置确定出 所述HMD位于小于或等于距所述周围环境中的计算设备的预设距离 时,检测与检测到所述虚拟会话的所述结束对应的所述姿势输入,该 计算设备可操作地耦接到所述HMD并且在所述HMD外部。

示例6:示例1至5中一项的方法,基于所述周围环境中的所述HMD的所述位置或所述定向中的所述至少一个来检测姿势输入,包括: 检测所述HMD的所述位置;基于所述HMD的所述位置检测所述HMD 的移动路径;以及当基于所述HMD的所述移动路径确定出所述HMD 的所述移动路径与所述周围环境中的计算设备对准时,检测与检测到 所述虚拟会话的所述结束对应的所述姿势输入,该计算设备可操作地 耦接到所述HMD并且在所述HMD外部。

示例7:示例6的方法,基于所述HMD的所述位置检测所述HMD 的移动路径,包括:检测所述HMD的移动方向;检测所述HMD的移 动速度;以及当所述HMD在检测到的移动方向上的所述移动速度大于 或等于设定速度时,检测与所述虚拟会话的所述结束对应的所述姿势 输入。

示例8:示例1至7中一项的方法,启动与在所述虚拟会话期间 接收的所述至少一个用户输入相关的处理,包括:在没有用户输入的 情况下自动启动所述周围环境中的所述计算设备处的处理,该计算设 备可操作地耦接到所述HMD并且在所述HMD外部。

示例9:一种系统,包括:计算设备,该计算设备被配置为生成 虚拟现实环境,该计算设备包括:存储器,该存储器存储可执行指令; 以及处理器,该处理器被配置为执行所述指令以使所述计算设备:在 周围环境中操作的头戴式显示器(HMD)设备中生成虚拟环境;启动 虚拟会话并且在所述虚拟会话处于活动状态时接收用于在所述虚拟环 境中执行至少一个对应命令的至少一个用户输入;检测所述周围环境 中的所述HMD的位置或定向中的至少一个;基于所述HMD的所述位 置或所述定向中的所述至少一个来检测姿势输入;基于检测到所述姿 势输入来检测所述虚拟会话的结束;以及响应于检测到的所述虚拟会 话的结束,启动与在所述虚拟会话处于所述活动状态期间接收到的所 述至少一个用户输入相关的处理。

示例10:示例9的系统,其中,在基于所述周围环境中的所述HMD 的所述位置或所述定向中的所述至少一个检测姿势输入中,所述指令 使所述计算设备:检测所述HMD的定向;将检测到的所述HMD的定 向与设定定向进行比较;以及当基于该比较检测出检测到的所述HMD 的定向与所述HMD的所述设定定向匹配大于或等于设定时间量时,检 测与检测到所述虚拟会话的所述结束对应的所述姿势输入。

示例11:示例10的系统,其中,所述HMD的所述设定定向与由 用户穿戴的所述HMD的中心线的水平对准相对应。

示例12:示例9至11中一项的系统,其中,在基于所述周围环 境中的所述HMD的所述位置或所述定向中的所述至少一个检测姿势 输入中,所述指令使所述计算设备:检测所述HMD的所述位置和所述 定向;以及当基于所述HMD的所述位置和所述定向确定出所述HMD 保持静止大于或等于设定时间量时,检测与检测到所述虚拟会话的所 述结束对应的所述姿势输入。

示例13:示例9至12中一项的系统,其中,在基于所述周围环 境中的所述HMD的所述位置或所述定向中的所述至少一个检测姿势 输入中,所述指令使所述计算设备:检测所述HMD的所述位置;以及 当基于所述HMD的所述位置确定出所述HMD位于小于或等于距所述 周围环境中的计算设备的设定距离时,检测与检测到所述虚拟会话的 所述结束对应的所述姿势输入,该计算设备可操作地耦接到所述HMD 并且在所述HMD外部。

示例14:示例9至13中一项的系统,其中,在基于所述周围环 境中的所述HMD的所述位置或所述定向中的所述至少一个检测姿势 输入中,所述指令使所述计算设备:检测所述HMD的所述位置;基于 所述HMD的所述位置检测所述HMD的移动路径;以及当基于检测到 的所述HMD的移动路径确定出检测到的所述HMD的所述移动路径与 所述周围环境中的计算设备对准时,检测与检测到所述虚拟会话的所 述结束对应的所述姿势输入,该计算设备可操作地耦接到所述HMD并 且在所述HMD外部。

示例15:示例14的方法,其中,在基于所述HMD的所述位置检 测所述HMD的移动路径时,所述指令使所述计算设备:检测所述HMD 的移动方向;检测所述HMD的移动速度;以及当所述HMD在检测到 的移动方向上的所述移动速度大于或等于设定速度时,检测与所述虚 拟会话的所述结束对应的所述姿势输入。

示例16:示例9至15中一项的系统,其中,在启动与在所述虚 拟会话期间接收到的所述至少一个用户输入相关的处理中,所述指令 使计算设备:在没有用户输入的情况下自动地启动所述周围环境中的 所述计算设备处的处理,该计算设备可操作地耦接到所述HMD并且在 所述HMD外部。

示例17:一种体现在非暂时性计算机可读介质上的计算机程序产 品,在该计算机可读介质上存储有指令序列,该指令序列在被处理器 执行时使所述处理器执行方法,该方法包括:在周围环境中操作的头 戴式显示器(HMD)设备中生成虚拟环境;启动虚拟会话并且在所述 虚拟会话处于活动状态时接收用于在所述虚拟环境中执行至少一个对 应命令的至少一个用户输入;检测所述周围环境中的所述HMD的位置 和定向;基于所述HMD的所述位置或所述定向中的所述至少一个来检 测姿势输入;基于检测到所述姿势输入来检测所述虚拟会话的结束; 以及响应于检测到的所述虚拟会话的结束,在所述周围环境中的计算 设备处自动地启动与在所述虚拟会话处于所述活动状态期间接收到的 所述至少一个用户输入相关的处理,该计算设备可操作地耦接到所述 HMD并且在所述HMD外部。

示例18:示例17的计算机程序产品,基于所述周围环境中的所 述HMD的所述位置或所述定向中的所述至少一个来检测姿势输入,包 括:检测所述HMD的定向;将检测到的所述HMD的定向与设定定向 进行比较;以及当基于检测到的所述HMD的定向确定出所述HMD被 大致水平地定向大于或等于设定时间量时,检测与检测到所述虚拟会 话的所述结束对应的所述姿势输入。

示例19:示例17或18的计算机程序产品,基于所述周围环境中 的所述HMD的所述位置或所述定向中的所述至少一个来检测姿势输 入,包括:检测所述HMD的所述位置和所述定向;以及当基于所述 HMD的所述位置和所述定向确定出所述HMD保持静止大于或等于设 定时间量时,检测与检测到所述虚拟会话的所述结束对应的所述姿势 输入。

示例20:示例17至19中一项的计算机程序产品,基于所述周围 环境中的所述HMD的所述位置或所述定向中的所述至少一个来检测 姿势输入,包括:检测所述HMD的所述位置;以及当基于所述HMD 的检测到和跟踪到的位置确定出所述HMD位于小于或等于距所述计 算设备的设定距离时,检测与检测到所述虚拟会话的所述结束对应的 所述姿势输入。

在另一示例中,在增强现实和/或虚拟现实系统中,可以基于检测 到头戴式显示器设备的位置和/或定向和/或由用户穿戴的头戴式显示 器设备的移动和位置/定向来检测虚拟会话的终止和/或虚拟会话的暂 停,其中,可以响应于检测到虚拟会话的终止和/或暂停而自动地启动 与最近终止的虚拟会话相关的后续处理和/或补充任务,而不需要用户 干预和/或手动输入指示系统启动处理的命令。

已经描述了许多实施例。然而应当理解,在不背离本说明书的精 神和范围的情况下,可以进行各种修改。

此外,附图中示出的逻辑流程不需要所示的特定顺序或相继次序 来实现期望的结果。此外,可以从所述的流程中提供其他步骤,或者 可以从所述的流程中去除步骤,并且可以将其他组件添加到所述的系 统中或从所述的系统中去除其他组件。因此,其它实施例在所附权利 要求的范围内。

虽然已经如本文所述地示出了所述实施方式的某些特征,但本领 域技术人员现在将会想到许多修改、替换、改变和等价物。因此,应 当理解,所附权利要求旨在覆盖落入实施方式的范围内的所有这样的 修改和改变。应当理解,它们仅作为示例而非限制地呈现,并且可以 进行形式和细节的各种改变。除了相互排斥的组合之外,本文描述的 装置和/或方法的任何部分可以以任何组合方式组合。本文描述的实施 方式可以包括所述不同实施方式的功能、组件和/或特征的各种组合和/ 或子组合。

再多了解一些
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1