用于向用户输入提供反馈的方法和设备与流程

本发明涉及向用户输入提供反馈，更具体地，涉及用于向用户输入提供反馈的计算机实现的方法和设备。

背景技术：

1、众所周知，计算机可以配置为基于用户输入来执行任务。已经开发了使用户能够向计算机输入的装置。一种已知的用户输入装置基于对用户的姿势或手势的识别，如根据由相机捕获的用户的图像所确定的。然而，计算机对用户输入的解释可能是不完美的。因此，由计算机解释的用户输入可能不同于用户所期望的用户输入。计算机基于错误解释的用户输入所采取的动作会浪费资源，并会导致低效的用户-计算机接口或交互。

2、向用户输入提供反馈的计算机在有限且特定的上下文中是已知的。具体地，已知用户对计算机鼠标的移动在计算机的显示屏上产生对应的光标移动。通过在显示屏上显示光标，向用户提供关于计算机对用户输入的解释的反馈。通过提供这种反馈，可以减少对用户输入的不正确解释所采取的行动，因此可以提供有效的用户-机器接口。然而，这种已知的反馈机制是有限的和不灵活的。例如，它仅适用于用户输入指的是计算机显示屏的一部分的情况。

3、希望向用户输入提供有效的计算机反馈，从而实现高效和有效的用户-计算机接口或交互，这至少减轻了现有技术的一些限制。

技术实现思路

1、根据本发明的第一方面，提供了一种用于向用户输入提供反馈的计算机实现的方法，该方法包括：获取表示从表示真实空间中场景的场景数据导出的场景模型的数据；获取表示标识真实空间中场景的第一部分的用户输入的数据；基于用户输入数据估计场景模型内对应于场景的第一部分的第一位置；确定用于控制光源将光引导在与场景模型内的第一位置相对应的真实空间中的第二位置处或附近的控制信息；以及输出控制信息以控制光源，从而提供对用户输入的反馈。

2、输出控制信息以控制光源允许光源将光引导到第二位置，从而允许向用户输入提供反馈。通过这种反馈，用户被告知计算机对用户输入的解释或理解。具体地，用户被告知计算机对场景模型内的第一位置的估计，该第一位置对应于由用户输入识别的真实空间中的场景的第一部分。因此，用户能够容易地评估计算机对用户输入的解释，以及例如，这是否对应于用户想要的解释。因此，可以减少计算机基于对用户输入的不正确解释而采取动作的发生。可以提供有效的用户-机器接口或交互。此外，输出控制信息以控制光源将光引导在真实空间中的第二位置处或附近允许在真实空间中的场景中以清晰和直接的方式提供反馈。因此可以提供有效的反馈。此外，可以为参考真实空间中场景的一部分的用户输入提供反馈，而不是局限于参考显示屏的一部分的用户输入。因此可以提供灵活的反馈。结合起来，提供了高效和有效的用户-计算机接口或交互。

3、可选地，用户输入数据包括表示用户的身体姿势的数据。

4、包括表示用户的身体姿势(诸如指向手势等)的数据的用户输入数据可以提供对场景的第一部分的准确和/或可靠的识别。

5、可选地，用户输入数据包括从用户的模型导出的向量或向量序列。

6、包括从用户的模型导出的向量或向量序列的用户输入数据可以允许对场景模型内的第一位置进行精确和/或可靠的估计。从用户的模型导出的一个或多个向量可以允许精确和/或可靠的估计，而不必用输入设备或传感器来妨碍用户。因此可以提供改进的用户-计算机接口或交互。包括从用户的模型导出的向量序列的用户输入数据可以允许在场景的第一部分的识别中以及因此在模型内的第一位置的估计中改进的灵活性。例如，使用向量序列可以允许用户输入对应于“套索(lassoing)”并因此识别场景的一个或多个对象或区域和/或定义第一部分的范围以及识别第一部分，第一部分例如真实空间中的场景的区域。

7、可选地，所述或每个向量是从用户的模型导出的肩到腕向量或头到腕向量。

8、作为从用户的模型导出的肩到腕向量的所述或每个向量可以允许一致地再现用户的指向或“套索”手势的意图。例如，肩到腕向量在用户的肘部可以弯曲的程度上是有弹性的，这可能因用户而异或对于给定用户因时间而异。作为从用户的模型导出的头到腕向量的向量可以允许合理准确地再现用户的指向或“套索”手势的意图，例如在肩到腕向量不可确定或不明确的情况下。

9、可选地，估计第一位置包括：确定与向量相交或被向量序列包围的场景模型的对象或区域；以及基于该对象或区域的位置来确定第一位置。

10、确定与向量相交或被向量序列包围的模型的对象或区域，然后基于该对象或区域在模型内的位置确定第一位置，允许提供绝对和/或明确的反馈。例如，这可以允许光被引导向第二位置或其附近，该第二位置对应于被估计为由用户输入识别的模型中的对象或区域。因此，例如与第二位置仅基于和/或直接基于向量的情况相比，可以相对于场景的对象或区域以精确、明确和绝对的方式提供反馈。

11、可选地，确定第一位置和确定控制指令响应于场景模型的对象或区域与向量相交或被向量序列包围的确定。这可以允许用户对场景的对象或区域进行“捕捉(snapping)”类型的选择，例如，除非并且直到确定用户输入对应于场景的对象或区域，否则不提供对用户输入的反馈。这可以提供要提供的更清晰、更不模糊和更直观的反馈。

12、可选地，用户输入数据包括表示用户的话语的数据。

13、包括表示用户的话语的数据的用户输入数据可以允许有效地处理用户输入并因此估计第一位置。例如，这可以与资源密集型的用户骨架建模相比较。在一些示例中，表示用户的话语的数据可以与其他用户输入数据(例如表示用户的身体姿势的数据)组合使用。话语数据与诸如姿势数据的其他用户数据的组合可以允许在场景模型内的第一位置的估计中提高准确性、消除歧义和/或用于故障保护。

14、可选地，用户输入数据包括从表示用户话语的声音数据导出的对象或区域的标识符。

15、包括从表示用户话语的声音数据导出的对象或区域的标识符的用户输入数据可以允许基于场景模型的对象或区域来确定第一位置，这又可以提供要提供的精确、明确和/或绝对的反馈。

16、可选地，估计第一位置包括：将标识符映射到场景模型的对象或区域上；以及确定标识符被映射到其上的对象或区域的位置作为第一位置。

17、这可以允许提供精确的、明确的和/或绝对的反馈。例如，这可以允许光被导向第二位置或其附近，该第二位置对应于映射到用户输入中的标识符上的模型中的对象或区域。因此，例如与基于定义相对于某个固定原点位置的位置的用户输入来确定第二位置的情况相比，可以相对于场景的对象或区域以精确、明确和绝对的方式提供反馈。

18、可选地，确定第一位置和确定控制指令响应于标识符映射到场景模型的对象或区域上的确定。这可以允许用户对场景的对象或区域进行“捕捉”类型的选择，例如，除非并且直到确定用户输入对应或映射到场景的对象或区域，否则不提供对用户输入的反馈。这可以提供要提供的更清晰、更不模糊和更直观的反馈。

19、可选地，基于表示场景模型内对应于用户在真实空间中的位置的第三位置的数据来确定控制信息。

20、将控制信息附加地基于场景模型内对应于用户在真实空间中的位置的位置可以允许确定控制信息，以便控制光源以引导光，使得当光落在第二位置处或附近时，用户可以清楚地看到光。这又可以提供更可靠和一致地传递给用户的反馈。替代地或附加地，这又可以在可以给出反馈的对象/区域、用户和光源的可能相对取向上提供改进的灵活性。

21、可选地，控制信息用于控制光源将光引导到真实空间中的第四位置，在第二位置处或附近，对应于模型内的第五位置，在第一位置处或附近，并且在第五位置和第三位置之间存在清晰的视线。

22、这可以帮助确保用户能够看到反馈，即落在真实空间中的第四位置的光，而不管对象/区域、用户和光源的相对取向，和/或考虑到对象/区域和用户之间可能存在的任何障碍物。例如，如果为其确定控制指令的光源在由用户输入给用户的所识别的对象的相对侧，则控制指令可以被确定为控制光源将光引导在靠近对象但与用户-对象-光源轴成直角放置的第四位置处，使得用户能够看到落在第四位置的光(或更具体地说，光的反射)，并因此接收反馈。因此，可以更可靠地传递反馈。

23、可选地，确定控制信息包括：当确定在第三位置和第一位置之间存在清晰的视线时，确定用于控制光源将光引导向第二位置的控制信息；以及当确定在第三位置和第一位置之间不存在清晰的视线时，确定用于控制光源将光引导向第四位置的控制信息。

24、将光引导在对应于模型中的第一位置的真实空间中的第二位置处可以允许光直接照射在由用户输入识别的第一部分，这可以帮助提供清晰和明确的反馈。然而，当确定这样做将会或可能导致用户看不到该光(特别是其反射)时，则光可以被替代地引导到第四位置，即靠近第二位置，但是对于该位置，确定用户将能够看到该光(特别是其反射)，并且因此仍然可靠地传递反馈。这可以有助于在给定用户、光源和对象/区域在那时的特定相对取向的情况下提供最清晰和最明确的反馈形式。

25、可选地，控制信息用于控制光源将符号投影到位于第二位置或其附近的第一表面上。例如，控制信息可以包括表示要投影的符号的数据。符号可以被定义为用于或被认为代表其他事物的东西。符号可以是图像、文本、指示符和/或标记。

26、用于控制光源在第二位置处或附近将符号投影到第一表面上的控制信息可以允许在反馈中提供进一步的信息，例如与单独的激光点相比。

27、可选地，该符号是动画符号。例如，符号可以是动态或移动的符号，例如动画或动态或移动的图像、文本、指示器和/或标记。

28、例如与投影到第一表面上的静态符号相比，作为动画符号的符号可以提供改进的符号的有效可见性。这可以提供要提供给用户的更清晰的反馈。

29、可选地，确定控制信息包括：确定仿射变换以校正向量从场景模型内的第六位置到场景模型内的第二表面的入射角，第六位置对应于光源在真实空间中的位置，第二表面对应于真实空间中的第一表面；以及对要投影到第一表面上的符号应用仿射变换。

30、仿射变换可以允许诸如图像或文本的符号在投影到第一表面上时保持正确的纵横比，而不管光源和第一表面的相对位置如何。这可以提供要可靠地提供给用户的清晰反馈。

31、可选地，符号包括箭头，并且其中确定控制信息包括：确定旋转变换以朝向第一位置定向箭头的点；并将旋转变换应用于箭头。

32、旋转变换可以允许箭头被投影到指向由用户输入标识的第一部分的第一表面上，而不管箭头被投影到其上的第一表面和第一部分的相对位置。对象/区域位于图像投影的第二位置处。这可以提供要可靠地提供给用户的清晰反馈。

33、可选地，符号包括文本，并且其中确定控制信息包括：确定旋转变换以将文本行的轴定向为平行于或与从第三位置到第一位置的向量成直角；并将旋转变换应用于文本。

34、旋转变换可以允许文本相对于用户的视角被正确地定向。这可以允许用户更容易地阅读文本，并因此提供更清晰的反馈。例如，当从用户的角度分别以垂直或水平方式阅读文本时，旋转变换可以将文本行的轴定向为平行于或与从第三位置到第一位置的向量成直角。

35、可选地，控制信息用于控制光源引导光以勾勒位于第二位置的真实空间中的区域。

36、这可以允许在反馈中清晰且明确地识别被估计为对应于在用户输入中识别的区域的区域和/或该区域的范围。这可替代地或附加地允许在反馈中清晰且明确地识别，或估计为对应于多个对象的多个对象，或包含在用户输入中识别的多个对象的区域。

37、可选地，控制信息包括用于控制光源的一个或多个可致动反射镜的致动以将光束引导在第二位置处或附近的信息。

38、这可以允许对光到第二位置的方向进行快速和/或能量有效的控制。例如，这可以与移动作为一个整体的整个光源来引导光相比较。操纵或引导光束的反射镜的致动可以足够快，以允许通过表面上的光束描绘出符号(无论是静态的还是动态的)，使得看起来好像符号作为一个整体被投影到该表面上。在一些示例中，光源包括激光器，并且光束可以是激光束。致动反射镜以引导光束的这种控制可以允许例如激光束被用作引导在第二位置处或其附近的光。例如，与来自诸如灯泡的非相干源的光相比，激光束是明亮且无发散的。因此，激光束的使用可以允许在距离光源的大范围距离上以精确的方式给出更清晰的反馈。

39、可选地，该方法还包括：由用户获取表示与场景的第一部分相关联的命令的数据；以及基于所估计的第一位置执行处理以制定所述命令。

40、这可以允许计算机根据基于用户输入的估计来制定命令，并且已经经由对在第二位置处或附近的光的引导的控制向用户提供了针对该命令的反馈。因此，可以减少与计算机对用户输入的不正确解释相关联的由用户发出的命令以及因此由计算机执行的命令的出现。可以提供有效的用户-机器接口或交互。

41、可选地，该方法还包括：获取表示与所识别的场景的第一部分的调整相关的进一步的用户输入的数据；基于所述进一步的用户输入并基于第一位置，估计模型内对应于场景的经调整的第一部分的经调整的第一位置；确定用于控制光源在对应于经调整的第一位置的真实空间中的经调整的第二位置处或附近引导光的经调整的控制信息；以及输出经调整的控制信息以控制光源。

42、提供对用户输入的调整，并相应地调整控制信息，可以允许用户输入和反馈的持续循环，并且因此可以允许对场景模型内对应于由用户输入识别的第一部分的第一位置进行更准确和/或精确的估计。在一些示例中，进一步的用户输入可以包括用户对位于第二位置的区域的轮廓的调整，或者可以包括用户对位于光被控制指向的位置处或附近的多个对象中的特定对象的调整。

43、可选地，进一步的用户输入识别相对于真实空间中的第一部分的方向，并且估计经调整的第一位置包括：确定模型内对应于真实空间中的方向的方向；以及基于所述模型内的所确定的方向来估计经调整的第一位置。

44、基于相对于第一位置的方向的第一位置的调节可以提供精确、有效和/或直观的调节机制。替代地或附加地，这可以允许向第一位置的绝对估计和控制指令的确定提供相对调整的元素。这可以允许提供明确的反馈，但也允许在需要时进行相对调整。例如，真实空间中的场景可以包括并排定位的两个对象。从用户的角度来看，场景模型内的估计的第一位置可以对应于左侧的对象，而用户的意图是识别右侧的对象。场景模型内的估计的第一位置对应于从用户的视角来看位于左侧的对象，该估计的第一位置经由光源的控制被反馈给用户。进一步的用户输入可以包括相对于对象第一部分的方向，例如，用户可以做出从用户的角度向右轻推的手势和/或用户可以说出诸如“不，对象向右”的话语。由此可以导出相对方向“右”，并且生成和获取表示进一步用户输入数据的数据。基于该数据，可以确定对应于真实空间中的方向的模型内的方向，并且基于该数据估计经调整的第一位置。例如，从用户的角度来看，第一位置可以被调整为对应于右侧对象的位置。这种调整可以经由控制指令的适当调整反馈给用户。

45、根据本发明的第二方面，提供了一种用于向用户输入提供反馈的设备，该设备包括：处理单元，处理单元被配置为：获取表示从表示真实空间中的场景的场景数据导出的场景模型的数据；获取表示标识真实空间中场景的第一部分的用户输入的数据；基于用户输入数据估计场景模型内对应于场景的第一部分的第一位置；确定用于控制光源将光引导在与场景模型内的第一位置相对应的真实空间中的第二位置处或附近的控制信息；以及输出控制信息以控制光源，从而提供对用户输入的反馈。

46、该设备可以允许提供高效且有效的用户-计算机接口或交互。

47、可选地，该设备包括光源，光源被配置为接收输出控制信息并根据控制信息引导光。

48、这可以使得由设备本身提供反馈。

49、可选地，该设备包括传感器，传感器被配置为捕获用户输入并向处理单元提供表示用户输入的数据。

50、这可以使得设备本身确定向其提供反馈的用户输入。传感器可以包括相机，例如深度相机，和/或麦克风。

51、可选地，设备包括配置为捕获场景数据的传感器。配置为捕获场景数据的传感器可以是例如深度相机。在一些示例中，配置为捕获用户输入的传感器是配置为捕获场景数据的传感器。

52、可选地，该设备是机器人。

53、机器人可以被定义为通过物理移动来执行任务的机器。作为机器人的设备可以允许设备通过与真实空间中的场景进行物理交互，基于标识场景的一部分的用户输入来执行任务。这可以提供效用。

54、从以下仅以示例方式给出的参考附图的描述中，进一步的特征将变得显而易见。