用于识别虚拟现实头戴装置中的手势的设备和方法与流程

本申请总体上涉及虚拟现实(vr)头戴装置，并且更具体地说，涉及用于识别vr头戴装置的用户的手势的设备和方法。

背景技术：

本领域需要一种改善的设备和方法，用于识别虚拟现实(vr)头戴装置的用户的手势，以便使vr头戴装置的用户之外的入侵者的影响最小化。

技术实现要素：

为解决现有技术的以上讨论的缺陷，主要目的是提供一种被配置为由用户佩戴的虚拟现实(vr)头戴装置。在本公开的优选实施例中，vr头戴装置包括：i)前视视觉传感器，其用于检测vr头戴装置的前向视场中的对象；ii)下视视觉传感器，其用于检测vr头戴装置的向下视场中的对象；iii)控制器，其耦合到前视视觉传感器和下视视觉传感器。控制器被配置为：a)检测通过前视视觉传感器捕捉的第一图像中的手部；b)检测通过下视视觉传感器捕捉的第二图像中的用户的臂部；并且c)确定在第一图像中检测到的手部是否是用户的手部。

在一个实施例中，控制器通过将在第一图像中检测到的手部的相对位置与在第二图像中检测到的用户的臂部的相对位置进行比较来确定在第一图像中检测到的手部是否是用户的手部。

在另一个实施例中，控制器通过将在第一图像中检测到的手部的相对移动与在第二图像中检测到的用户的臂部的相对移动进行比较来确定在第一图像中检测到的手部是否是用户的手部。

在又一个实施例中，控制器通过将在第一图像中检测到的手部的相对排列与在第二图像中检测到的用户的臂部的相对排列进行比较来确定在第一图像中检测到的手部是否是用户的手部。

vr设备包括：检测器，其包括第一视觉传感器和第二视觉传感器；以及控制器，其与检测器操作地耦合。控制器被配置为通过第一视觉传感器来识别第一对象；并且基于通过第二视觉传感器识别出的第二对象来确定识别出的第一对象是否是vr设备的用户的对象。

一种操作vr设备的方法包括：通过第一视觉传感器来识别第一对象；以及基于通过第二视觉传感器识别出的第二对象来确定识别出的第一对象是否是vr设备的用户的对象。

在进行以下详细描述之前，阐明遍及本专利文档使用的某些词语和短语的定义可能是有利的：术语“包括”和“包含”以及其衍生词意味着没有限制的包括；术语“或”是包括的，意指和/或；短语“与……相关联”和“与其相关联”以及其衍生词可以意指包括、被包括在……内、与……互连、包含、被包含在……内、连接到或与……连接、耦合到或与……耦合、与……可通信、与……协同、交错、并列、接近于、结合到或与……结合、具有、具有……属性等；以及术语“控制器”意指控制至少一个操作的任何装置、系统或其一部分，这种装置可以硬件、固件或软件、或上述中的至少两者的某种组合来实现。应当注意的是，不论是本地或远程，与任何特定控制器相关联的功能可以是集中式的或分布式的。贯穿本专利文档提供某些词语和短语的定义，本领域普通技术人员应当理解，在许多(如果不是大多数)实例中，此类定义适用于如此定义的词语和短语的先前使用和未来使用。

附图说明

为了更完整地理解本公开和其优点，现在参考结合附图的以下描述，其中相同参考标号表示相同部分：

图1a是根据本公开的一个实施例的虚拟现实(vr)头戴装置的透视图。

图1b是根据本公开的一个实施例的vr头戴装置的前视图。

图2示出根据本公开的一个实施例的vr头戴装置的手势检测操作。

图3示出在根据本公开的一个实施例的vr头戴装置的前视视觉传感器的视场中检测到的手部和在下视视觉传感器的视场中检测到的臂部。

图4是根据本公开的一个实施例的vr头戴装置的示意性方框图。

图5是示出根据本公开的一个实施例的vr头戴装置的操作的流程图。

图6是根据本公开的一个实施例的用于确定识别出的手部是否是vr头戴装置的用户的对象的流程图。

图7是根据本公开的一个实施例的用于忽略vr头戴装置的用户之外的入侵者的手势的流程图。

图8是根据本公开的一个实施例的用于确定是否允许vr头戴装置的用户之外的入侵者的姿势的流程图。

具体实施方式

下文讨论的图1a至图8以及用于在本专利文档中描述本公开的原理的各种实施例仅仅是举例说明，并且不应当以任何方式被解释为限制本公开的范围。本领域技术人员将理解的是，本公开的原理可以在任何适当安排的虚拟现实头戴装置中实现。

在以下的本公开中，短语“虚拟现实”将一般地用于虚拟现实和增强现实两者，以便简化下面的描述。另外，除非另外指明，否则以下术语具有以下含义：i)“视觉传感器”是指任何摄像机(例如，rgb相机)、深度传感器或运动检测电路设备；ii)“主用户”或“用户”是指实际佩戴和操作虚拟现实(vr)头戴式显示器(hmd)或头戴装置的人；以及iii)“入侵者”是指用户之外的任何人，他们的手势在hmd/头戴装置的vr用户界面上有意或无意地触发不希望的影响。

图1a是根据本公开的一个实施例的vr头戴装置100的透视图。图1b是根据本公开的一个实施例的vr头戴装置100的前视图。vr头戴装置100包括底座(或外壳)105、前向视觉传感器100、头部绑带120、以及向下视觉传感器130。底座105容纳vr头戴装置100的电子件(electronics)。用户将vr头戴装置100放置在他或她的头部上并且系紧头部绑带120以将vr头戴装置100保持在适当位置。前向视觉传感器110捕捉前向视场(fov)150并且在vr头戴装置100的内部显示器上显示前向fov150。用户随后可在内部显示器上观看前向fov150中的任何对象。

当vr头戴装置100的前向视觉传感器110和内部处理器出于确定手势的目的而检测到前向fov150中的手部时，可能难以确定该手部属于主用户还是入侵者。有必要防止来自入侵者的手势对用户界面造成不希望的干扰。本公开提供一种通过使用向下视觉传感器130(其捕捉向下fov160)来区分真正(legitimate)用户手势和入侵者手势的方法。vr头戴装置100的向下视觉传感器130和内部处理器可操作来检测并识别向下fov160中的用户臂部，并且随后将用户手部移动与用户臂部移动相关和/或相关联。以此方式，vr头戴装置100能够确定在前向fov150中检测到的手部是属于vr头戴装置100的真正用户还是入侵者。一旦进行了此确定，vr头戴装置100的内部处理器将只处理来自用户的手势命令并且将忽略来自入侵者的手势。

图2示出根据本公开的一个实施例的vr头戴装置100的手势检测操作。在图2中，用户向前伸展她的臂部和手部以与虚拟世界中的对象交互。前向视觉传感器110检测前向fov150中的用户手部210，并且向下视觉传感器130检测向下fov160中的用户臂部220。vr头戴装置110随后通过将用户手部210与用户臂部220的排列和/或位置进行比较来确定用户手部210是否属于用户。vr头戴装置110还可通过将用户手部210与用户臂部220的相对移动进行比较来确定用户手部210是否属于用户。追踪的移动可以包括手部和臂部的左右(横向)移动、手部和臂部的上下(垂直)移动和/或手部和臂部远离或朝向用户身体的前向后向(伸展)移动。

图3示出在根据本公开的一个实施例的vr头戴装置100的前向视觉传感器110的前向fov150中检测到的手部310和320以及在向下视觉传感器130的向下fov160中检测到的臂部311和321。通常，用户将只能在vr头戴装置100的内部显示器上看见前向fov150中检测到的手部310和320。仅通过vr头戴装置100的内部处理器看见并分析检测到的臂部311和321。在图3中，检测到的臂部311和321的横向移动(由左右箭头指示)可以与检测到的手部310和320的类似横向移动相关，从而将检测到的手部310和320识别为vr头戴装置100的用户的手部而并非入侵者的手部。

图4是根据本公开的一个实施例的vr头戴装置100的示意性方框图。vr头戴装置100包括前向视觉传感器(vs)110和向下vs130。vr头戴装置100还包括vr头戴装置控制器410、存储器420、vr源视频430、视频处理器440、显示器450、以及扬声器460。在示范性实施例中，前向vs110和向下vs130可包括常规的摄像机(例如，rgb摄像机)。

vr头戴装置控制器410是微处理器或微控制器，其通过运行存储在存储器420中的操作系统程序和一个或多个应用程序来控制vr头戴装置410的整体操作。视频处理器440从vr源视频430接收源视频，视频处理器440随后将所述源视频显示在显示器450的一个或多个屏幕上。vr源视频430可以是无线地或有线地耦合到vr头戴装置410的外部vr视频播放器。可替代地，vr源视频430可以是内部存储器(包括存储器420的一部分)，vr视频内容存储在其中。在相机模式中，vr头戴装置控制器410将前向vs110和向下vs130的现实世界输出导向视频处理器440，使得用户可以在显示器450上看见用户周围的现实世界以及增强现实(ar)视频内容。

根据本公开的原理，vr头戴装置控制器410被配置为引导视频处理器440在前向vs110的视频输出中检测前向fov150中的用户手部并且在向下vs130的视频输出中检测向下fov160中的用户臂部。vr头戴装置控制器410进一步被配置为引导视频处理器440将用户手部移动与用户臂部移动相关和/或相关联。以此方式，视频处理器440能够确定在前向fov150中检测到的手部是属于vr头戴装置100的真正用户还是入侵者。

图5是示出根据本公开的一个实施例的vr头戴装置100的操作的流程图。最初，用户激活vr头戴装置100并且将vr头戴装置100放置在他或她的头部上(步骤505)。在激活之后，用户可以启动可由用户手势控制的应用。作为响应，视频处理器440检测前向fov150中的一个或多个手部(步骤510)。视频处理器440还检测向下fov160中的用户的至少一个臂部的一部分(例如，前臂)(步骤515)。

视频处理器440随后尝试确定在前向fov150中检测到的手部是用户的手部还是入侵者的手部。视频处理器440可以通过将在前向fov150与向下fov160中检测到的对象进行比较和分析以便将检测到的手部与检测到的前臂的排列和/或移动相关来完成此举(步骤520)。根据此比较，视频处理器440识别vr头戴装置100的真正用户的手部并且忽略检测到的入侵者的手部(步骤525)。然后，视频处理器440和/或vr头戴装置控制器410处理真正用户的手势(步骤530)。

图6是根据本公开的一个实施例的用于确定识别出的手部是否是vr头戴装置的用户的对象的流程图。

vr头戴装置100通过第一视觉传感器识别第一对象(步骤605)。第一视觉传感器可以是前向视觉传感器。第一对象可以是用户的手部210。vr头戴装置100基于通过第二视觉传感器识别出的第二对象来确定识别出的第一对象是否是用户的对象(步骤610)。第二视觉传感器可以是向下视觉传感器130。第二对象可以是用户的臂部220。

vr头戴装置100通过确定识别出的第一对象是否与识别出的第二对象相关来确定识别出的第一对象是否是用户的对象。如果识别出的第一对象是用户的对象，则vr头戴装置100允许识别出的第一对象的输入并且忽略入侵者的输入。另外，vr头戴装置100可以使用第一视觉传感器和第二视觉传感器而并不使用额外硬件(例如，臂带)来确定用户的对象。入侵者可以意指第三方。

图7是根据本公开的一个实施例的用于忽略vr头戴装置的用户之外的入侵者的手势的流程图。

vr头戴装置100识别前向fov150中的入侵者的手部(步骤705)。vr头戴装置100根据本公开的各种实施例来确定识别出的手部是否是入侵者的手部。vr头戴装置100识别向下fov160中的vr头戴装置100的用户的臂部311和321(步骤710)。图7示出按照次序执行步骤705和步骤710的流程图，但可以同时执行每个步骤。另外，根据实施方式可以按照相反的次序执行步骤705和步骤710。vr头戴装置100将前向fov150与向下fov160中的识别出的对象进行比较，以便确定位置、排列和/或移动是否与识别出的手部和识别出的臂部311和321相关(步骤715)。例如，vr头戴装置100可以使用与图5的步骤520所述的方法对应的方法来确定识别出的对象。vr头戴装置100确定入侵者的手部(步骤720)。换言之，vr头戴装置100确定步骤715中比较的对象中的入侵者的手部。vr头戴装置100忽略入侵者的手势(步骤725)。结果，vr头戴装置100可以防止入侵者的手势对用户界面造成不希望的影响。

图8是根据本公开的一个实施例的用于确定是否允许vr头戴装置的用户之外的入侵者的姿势的流程图。

vr头戴装置100确定在vr中是否允许入侵者的姿势(步骤805)。如果vr头戴装置100允许vr中的入侵者的姿势，则vr头戴装置100可以允许入侵者的姿势在应用中的输入(步骤810)。例如，如果vr头戴装置100允许入侵者的姿势，则vr头戴装置100可以实现用户和入侵者两者可以协同使用的应用。如果vr头戴装置100忽略vr中的入侵者的姿势，则vr头戴装置100可以半透明地显示入侵者的姿势(步骤815)。结果，vr头戴装置100可以通过在vr中半透明地显示入侵者的姿势来识别前向fov中的入侵者的对象的存在。

尽管已经利用示范性实施例来描述本公开，但是可以向一位本领域技术人员建议各种改变和修改。本公开旨在涵盖如落在所附权利要求书范围内的此类改变和修改。