在增强或虚拟现实环境中选择对象的制作方法

本发明总体涉及人机交互领域。

更具体地说，本发明针对与包括真实对象和/或虚拟对象的增强或虚拟现实环境中的对象的用户交互。

因此，本发明涉及一种在环境中选择对象的方法和相应的选择设备。本发明还涉及实现本发明的选择方法的计算机程序。

背景技术：

本部分中描述的内容可能在进行，但不一定是之前已经构思或进行的内容。因此，除非在本文中另行指示，否则在本部分中所描述的内容不是本申请权利要求的现有技术，并且不因包含在本部分中而被承认为现有技术。

与诸如计算机、智能电话和平板电脑等多媒体设备的常见用户交互通常依赖于用户输入，如键盘事件、鼠标事件以及诸如捏合、缩放、触摸等屏幕触摸事件。

其他交互也正变得很普遍，如语音命令和手势命令，它们经常用作间接触发，因为通常需要分析相关背景以引起用户期望的动作。

这种背景通常可以与用户当前使用的特定应用有关并有可能受到所述特定应用的限制。在这种情况下，所考虑的背景例如包括用户所做的最近查询或上次打开的菜单。

背景还可以包括直接用户环境，诸如用户在房间中的物理位置以及房间中存在的物品，因为用户可以通过他的肉眼或者使用透视设备或头戴式显示器(hmd)来感知这些信息。图1中示出了包括直接用户环境中的真实对象的背景的示例。

在图1的示例中，配备有头戴式显示器4的用户2可以与位于房间6中的大量真实对象进行交互。例如，这些对象包括放置在桌子7上的对象，例如，摄像机8和报纸10。

此外，在诸如改变现实或虚拟现实应用之类的一些情况下，背景可以包括来自用户周围的真实和/或虚拟对象。在图2中示出了这种背景的示例。

改变现实意味着增强现实(也称为混合现实)情况(即，场景中存在真实对象加上一些虚拟对象)以及改变(例如，在尺寸、颜色、存在或位置方面)用户直接看到或通过使用诸如透视眼镜等设备看到的真实对象的情况。

在图2的示例中，配备有头戴式显示器4的用户2可以与真实对象8、10交互。用户2也可以与位于房间6中的虚拟对象交互。例如，虚拟对象包括地球仪12、游戏柄14、均衡器16、角色18和齿轮20。这些虚拟对象可以与头戴式显示器4中的应用相关。例如，虚拟对象可以用作可用应用的化身，或可以被激活以触发一些相关应用程序的元素的化身，例如，用于游戏开启的游戏柄14。

在用户的直接环境中存在多个真实和/或虚拟对象的情况下，用户可能需要具体指示他打算与之交互的对象。这种对对象的选择需要非常准确，以避免由于选择错误对象而误解用户意图。

在常见游戏中，这种互动的触发一次限于几个对象。对象的数量通常与玩家使用的游戏柄的按钮数量相关联。一些游戏(例如playstation3和playstation4游戏机中的heavyrainmoveedition)在游戏场景中使用特定控制设备和精细调整布局的对象。

文献us2013/0328925描述了一种用于在混合现实环境中解释用户关注虚拟对象的系统。该系统包括耦接到一个或多个处理单元的透视头戴式显示设备。与该头戴式显示单元协作的处理单元可以向用户显示一个或多个虚拟对象，也称为全息对象。用户可以与所显示的虚拟对象进行交互。通过使用推理、表达手势和启发式规则，该系统确定用户可能关注且与之交互的虚拟对象。此时，系统可以相比于其他虚拟对象强调所选的虚拟对象，并以各种方式与所选的虚拟对象进行交互。

在该文献中，通过确定用户头部或眼睛或手相对于虚拟对象的位置或者通过确定用户的手相对于虚拟对象的移动，来选择用户想要与之交互的对象。

现有技术解决方案的一个问题在于在紧密相邻的成组对象的情况下不能精确地管理对象选择。此外，现有的解决方案不能准确地处理从用户视角部分或全部交迭的真实和/或虚拟对象。

图3示出了包含多个虚拟对象的现实增强场景的示例。这种场景不易通过现有的系统来管理。

图3场景中存在的对象与图2场景中存在的对象相同，其中相机8非常接近报纸10从而相机8部分覆盖报纸10。

例如，在对象如此接近或甚至部分或完全地遮挡的情况下，用户2如何能够例如通过移动他/她的手22来方便地触发与图3场景中的特定对象(诸如，桌子7上的摄像机8或报纸10)的一些交互？

技术实现要素：

本发明提出用于改进该情况的解决方案。

因此，本发明提供了一种在包括多个真实和/或虚拟对象的环境中选择对象的方法，所述环境通过显示设备显示给用户，其中所述方法包括向多个对象中的每个对象分配手势路径，所述手势路径包括要由用户执行以选择该对象的一系列手势。

因此，通过分配唯一区分环境中每个对象的手势路径，可以选择任何对象，即使从用户的视角该对象被另一个对象部分或完全覆盖。

根据一个实施例，所述方法包括：将每个对象的手势路径显示为叠加在该对象上或该对象附近的标签。

例如，对于从用户的视角可见的对象，标签具有叠加在该对象上的半透明覆盖纹理。对于用户从他的视角看不到的对象，标签放置在该对象附近以便可见。备选地，以半透明纹理显示遮挡对象，且标签叠加在该对象上，使得它本身是半可见的。

有利地，以根据手势方向进行指向的箭头形式显示手势路径的每个手势。

根据一个实施例，所述方法包括：

-检测用户执行的手势；

-显示为选择对象仍然要执行的手势路径的其余手势。

因此，用户在每个手势之后知道为选择每个对象仍然要执行的其余手势。

根据第一实施例，所述方法包括：

-检测对象，其中检测到的用户手势与针对所述对象待完成的其余手势中的第一手势不相对应；

-放弃检测到的对象。

优选地，通过在检测到的对象上叠加叉形标签来放弃检测到的对象，这些对象变成用户不可选择的。

根据第二实施例，所述方法包括：

-检测对象，其中检测到的用户手势与针对所述对象待完成的其余手势中的第一手势不相对应；

-改变检测到的对象的其余手势，其中，环境中每个对象的其余手势不同于环境中任何其他对象的其余手势。

因此，根据第二实施例，即使用户错误地执行与用户想要选择的目标对象的手势路径不对应的手势，由于相应手势路径被动态地改变，所以仍然可以选择该对象。

有利地，当分配给对象的手势路径已完全完成时，选择该对象。

根据一个实施例，手势是手部手势。

这是有利的，因为手部手势的方向易于检测。

有利地，手势路径的分配考虑用户的舒适度。

例如，在确定为了选择对象而要完成的手势时，考虑用户物理手部限制。

本发明还提供了一种用于在包括多个真实和/或虚拟对象的环境中选择对象的选择设备，所述环境通过显示器显示给用户，其中所述选择设备包括配置为向多个对象中的每个对象分配手势路径的分配模块，所述手势路径包括要由用户执行以选择该对象的一系列手势。

根据一个实施例，分配模块被配置为：

-检测对象，其中检测到的用户手势与针对所述对象待完成的其余手势中的第一手势不相对应；

-改变检测到的对象的其余手势，其中，环境中每个对象的其余手势不同于环境中任何其他对象的其余手势。

根据一个实施例，选择设备包括被配置为分析环境并检测环境中的多个对象的环境分析模块。

有利地，环境分析模块被配置为检测从用户的视角被部分或完全遮挡的对象。

根据一个实施例，选择设备包括被配置为分析由用户完成的手势的手势分析模块。

根据本发明的方法可以实现为可编程装置上的软件。可以单独地用硬件或软件或其组合方式来实现该方法。由于本发明可实现为软件，所以本发明可实现为计算机可读代码，用于在任意合适载体介质上提供给可编程装置。载体介质可以包括存储介质，例如软盘、cd-rom、硬盘驱动、磁带设备或固态存储设备等。

本发明因此提供了一种计算机可读程序，包括使计算机能够执行本发明的选择方法的计算机可执行指令。

图7的图示出了用于这种计算机程序的通用算法的示例。

附图说明

作为示例而非限制，在附图中示出本发明，其中相似的附图标记指代相似的元素，在附图中：

-图1是仅包括真实对象的环境的示意图，已对图1进行描述；

-图2是包括真实对象和虚拟对象的增强现实环境的示意图，已对图2进行描述；

-图3示出了包括许多彼此靠近的对象的增强现实环境的示例，已对图3进行描述；

-图4示出了在图3的环境中的本发明的实现方案的示例；

-图5示出了在图3的环境中的本发明的第一实施例的实现方案的示例；

-图6示出了在图3的环境中的本发明的第二实施例的实现方案的示例；

-图7是示出了根据本公开实施例的选择方法的步骤的流程图；以及

-图8是示出了根据本发明实施例的选择设备的示意图。

具体实施方式

在已参照图3描述的增强现实环境中实现本发明的实施例。

图4也呈现了这种环境。在这种环境下中，配备有头戴式显示器4的用户2可以与真实对象8、10交互。用户2也可以与对象12、14、16、18、20进行交互。例如，这些虚拟对象可以与头戴式显示器4中的应用(诸如，游戏)相关。图4中呈现的环境(也被称为场景)对应于配备有头戴式显示器4的用户2的视野。

有利地，用户2通过移动他/她的手22来与对象8、10、12、14、16、18、20中的对象进行交互。可以根据由箭头24表示的多种运动而移动手22。

在以下描述中，手势是指身体部位(优选地，手)在2d或3d空间中的最小移动，可通过负责用户命令检测的分析系统来检测。例如，用户将他/她的右手从静止位置稍微向右移动4cm，然后再次静止。这可以表示一个手势移动单位。

手势路径是指如上定义的单位手势的组合，即时间序列。

在通常围绕用户手部当前位置定义的2d空间中，手的深度变化通常被忽略，深度是从手到实时估计手部变化的观察设备的距离。这种观察设备包括例如摄像机等感测设备。

在3d空间中，还考虑相对于观察设备的手的深度位置的变化，以允许额外的单位手势，例如，一些“按压”手势(手稍微靠近负责估计手部手势的观察设备)或者一些“释放”手势(手稍微远离该设备)。

手势(相应地，手势路径)的起点和终点可以是在移动估计过程中检测到的移动消失。手势的终点还可以被定义为持续时间阈值(例如，单位手势可以被设置为最多3秒)，或手势路径可以被设置为一旦累积的手势单位不属于任何已知手势(即，系统试图识别为命令的手势)就结束。

此外，“手部”手势包括使用被用作控制器的任何对象(例如，遥控器)进行的手势。

有利地，在所示的实施例中，由用户的手部22执行的手势是2d手势，即，手势在靠近用户手部22的平面区域中。

根据另一示例，还针对手部生理限制或用户的舒适要求，考虑在用户2的手部22周围的边界区域中的3d手势。事实上，手部22应该保持接近其初始手势起点，并且例如不能远离用户的位置。

根据图4所示的实施例，当进行对象选择时，场景的每个候选对象被暂时呈现为或多或少地被部分标记，例如，通过使用半透明覆盖纹理。有利地，标签包括以一系列箭头的形式表示的动态信息，从而显示用户2为了最终选择每个对象而需要实现的其余手势。这些其余手势提供用户2为了选择对象而需要使用手部22来实现的手势路径。

为了作出期望的选择，每个时刻构成手势路径的其余手势被构建为具有区分性，即，该场景的适格对象不会同时具有相同的其余手势路径，如图4所示，场景中的每个对象的手势路径不同于其他对象的手势路径。

通过将手势路径与每个对象相关联，可以选择环境中的所有对象，即使例如由于对象完全或部分地被其他对象隐藏而对于用户2是不可见的。为了改善选择被遮挡对象的这种可能性，可以减小用于显示其相关手势路径的半透明纹理的对象覆盖层的尺寸。

根据图5所呈现的第一实施例，当用户2用手部22做出与针对给定对象要完成的其余手势的第一手势不相对应的手势时，则从选择中放弃该对象，即，用户2不能再选择这个对象。

例如，当用户2刚刚根据用箭头26表示的手势移动手部22时，该手势仅与对象18和20的手势路径的第一手势相对应，从选择中放弃所有其他对象8、10、12、14、16。

例如，通过在变为不可选择的对象8、10、12、14、16上叠加叉形标签，向用户2显示这种放弃。也可以通过缩小对象的尺寸来显示对象被放弃。

该第一实施例对于实现对期望对象的快速选择是有利的。但是，该第一实施例不是容错性的。事实上，用户2可能想要选择例如游戏柄14，但是不幸地做出了与和该游戏柄14相关联的其余手势路径的第一手势不对应的错误手势。

有利地，根据第二实施例，即使在用户2做出错误手势之后仍然有可能选择对象。

根据图6所示的第二实施例，当用户2做出的手势不对应于要针对对象完成的其余手势的第一手势时，该对象的其余手势被改变，且仍然不同于环境中的其他任何对象的其余手势。该第二实施例允许从用户2完成的任何错误手势进行恢复。

因此，不像第一实施例那样被放弃，对象8、10、12、14、16仍然是可选择的，但是用新的手势路径。

重要的是注意到只有对象8、10、12、14、16的手势路径被改变。没有改变对象18、20的手势路径，对于这些对象18、20，用户2的手势与手势路径的第一手势相匹配。尽管根据第二实施例激活了恢复选项，但是由于对于这些对象的选择过程保持相同，并且用户不会面对附加选择时间，所以这是有利的。

在错误手势的情况下，用户2仍然可以选择期望对象，而不必重新进行完整的手势检测，如稍后参考图7所述。因此，第二实施例允许以在执行对象选择的时间方面的最小成本来纠正错误手势。

本发明的第二实施例的方案导致对每个存在但可能被放弃的对象的每个手势路径的动态实时更新。

有利的是，手势路径的改变可以通过任何手段以可视方式通知给用户2，例如，通过使用新的红色或不连续的箭头。

当手势路径发生变化时，也考虑物理手部限制和用户的舒适度。因此，当手势路径引导手部22远离其初始位置或在用户2可能不舒服的区域中时，重新计算后的手势路径趋于将用户的手部22引回接近其初始位置的路径，或者甚至到一个更舒适的位置，同时保持所有对象的手势路径具有可区分性。

此外，有利地，当仅考虑2d手势且用户2做出3d手势时，手势路径被重新计算。备选地，可以首先根据用户的第一3d手势估计用户手势评估所在的2d平面方位，以便例如让用户定义其优选手势区域。

图7的流程图示出了根据本发明优选实施例的对象选择方法的步骤。

在第一步骤30期间，优选地通过3d扫描来估计环境布局(env)。

这种3d扫描可以包括以下步骤之一或其组合：

-深度感测；

-彩色立体捕捉；

-图像特征提取，可能通过例如数据库特征提取来完成，以便提取专属于用户2的位置和/或方位的特征。可以使用预先学习的已知对象的数据库，帮助估计用户环境的布局，在所述数据库中，通过空间/尺寸特征、颜色特征、深度特征等来描述对象。例如，可以将椅子、沙发、桌子的数据库用于此目的。

例如，所述估计可以识别用户2在家里的特定房间中并且可以认识到相关对象，例如，起居室中的沙发、tv、咖啡桌。

在检测到真实对象之后，将虚拟对象添加到场景中的相同位置(例如，在同一个房间中)或其他位置(例如，另一房间)。

在步骤32，检测环境中的一个或多个对象(obj)的部分或完全遮挡。这种遮挡通常是由于真实对象和/或虚拟对象之间的部分或完全覆盖。

然后，在步骤34通过改变呈现给用户的对象的外观，来处理(proc)检测到的遮挡。例如，从用户的视角来看被完全遮挡的对象通过例如半透明覆盖物被可视化地布置，以便为这些对象中的每一个进行一些显示分配。例如，完全遮挡另外两个对象的某一对象可以看起来其原始视图被一分为三，而将在原本遮挡对象区域中向另外两个其他对象分配一部分显示区域。用户界面中所呈现显示中的半透明和/或彩色子区域是这种遮挡处理的可能输出。

在步骤36，将手势路径(path)分配给可以由用户选择的每个对象(被称为可选对象)。该手势路径以标签形式显示在头戴式设备4上。

在步骤38，检测(det)用户的手势的起点。然后，估计手势实现(gestureachievement)。

在步骤40中，根据本发明的第二实施例，当检测到手势与一个或多个对象的一个或多个手势路径不匹配时，更新(upd)手势路径。

在步骤42中，当用户2已完成给定对象的手势路径时，选择(sel)该对象。

有利地，向用户显示用户可以使用所选对象执行的动作列表。

根据一个实施例，可以替代地或结合显示，执行音频反馈。

用户于是可以选择期望动作。此动作可以是用户界面动作，如缩放。也可以是内容播放或使用所选对象的任何其他动作。

在步骤44，执行期望动作(men)。

图8示出了根据本发明实施例的选择设备50。

选择设备50例如是头戴式显示器4本身，特别是当头戴式显示器具有足够的处理能力和感测硬件能力时。选择设备也可以是pc、智能电话、机顶盒、网关或具有一个或多个处理器、网络连接性和场景(3d)感测能力的任何其他设备。

选择设备50包括环境分析模块(env)52。该环境分析模块52有利地包括3d场景扫描仪。

选择设备50还包括分配模块54，其被配置为向由环境分析模块52检测到的每个可选对象分配手势路径(path)。根据本发明的第二实施例，分配模块54被配置为在必要时更新手势路径。

根据一个实施例，选择设备50包括被配置为分析由用户2完成的手势的手势分析模块(gest)56。该手势分析模块56优选地被配置成检测在平面中的用户手部22手势(2d手势)。

可以根据例如来自嵌入在头戴式显示器4中的和/或空间定位在用户环境中的相机的视觉线索估计(例如，图像分割)，来进行3d场景扫描和用户手势的识别/追踪，以实现准确的用户手部跟踪和场景布局估计。

备选地，可以通过使用深度相机进行3d特征提取，基于通过飞行时间选择进行的纯深度感测，或红外光投影图案或立体视觉相机的深度估计，或以上的组合，执行3d场景扫描和用户手势的识别/追踪。

尽管已经如上示意并说明了目前被视为本发明优选实施例的实施例，但本领域技术人员将理解，在不偏离本发明的真实范围的情况下，可以进行各种其他修改，也可以替换等同形式。另外，在不脱离本文所述的中心创造性构思的情况下可以作出许多修改以使特定情形适应于本发明的教导。此外，本发明的实施例可以不包括上述全部特征。因此，本发明不限于所公开的具体实施例，而是包括落在所附权利要求的范围内的所有实施例。

在解释说明书以及相关联的权利要求时，诸如“包括”、“包含”、“结合”、“含有”、“是”和“具有”之类的表达应以非排他的方式理解，即被理解为允许另外存在未明确指出的其他项目或组件。对单数的引用也应解释为对复数的引用，反之亦然。

本领域技术人员将容易地意识到，可以修改本说明书中公开的不同参数，并且可以合并所公开和/或所要求保护的不同实施例，而不背离本发明的范围。