对用户手势进行分类的用户接口、运动工具和方法与流程

本发明涉及用于对在空间中自由实施的用户手势（也是“3d手势”）进行分类的用户接口、运动工具以及方法。本发明尤其涉及在用户接口的检测区域中实施的输入手势和回位手势之间的区别。

背景技术：

在现有技术中已知技术装置和尤其是运动工具，它们可以通过用户的滑动手势在与显示装置（“触摸屏”）的表面接触的情况下被操作。也越来越多地追求以下方案：在所述方案中将3d手势用于输入。在此，在预先定义的空间区域中借助传感器撑开检测区域，在所述检测区域内检测、解释用户的手势并且对其进行分析以用于与用户接口的交互。尤其对于滑动手势，现在信息处理的挑战在于，区分有意的用户输入与使用户的手例如仅仅回位到初始位置的“回位手势”。滑动手势通常尤其针对水平输入来定义。作为用于识别滑动手势的传感器的示例，提及mechaless的“leapmotion”或者“halios”。

在已知的实现中，定义为在两个期望的手势之间的运动的引导运动或者回位运动，经常被错误地解释为自身的手势，这导致用户接口的错误操作或者无意的反应。

de102014202834a1和wo2015/131954a1公开了可以通过在空间中自由地实施的用户手势来操作的用户接口。

技术实现要素：

本发明的任务是，能够实现在所使用的传感器的检测区域内的滑动手势与回位运动的可靠区分。

根据本发明，前面辨识的任务通过一种用于对在空间中自由实施的用户手势进行分类的方法解决。首先传感式检测第一手势和第二手势。这例如可以借助集成在用户终端设备的壳体中的传感器实现。替代地或者附加地，所述传感器可以布置在根据本发明设计的运动工具中。接着，比较所述第一手势的第一特征与所述第二手势的特征。例如可以将第一手势的方向和/或弯曲和/或速度和/或长度等与第二手势的对应特征进行比较。替代地，可以评估第一手势的轨迹与第二手势的轨迹的距离。根据所述比较，将所述第一手势分类为有意的用户输入。第二手势可以不同于此地分类为回位手势。根据本发明，因此根据用户的第二手势实施手势的分类。第一手势尤其可以直接在第二手势之前被检测。换言之，第一手势和第二手势涉及用户的相同的操作事件或者相同的操作步骤。第一手势和第二手势例如可以涉及基本上相同的屏幕内容。替代地或者附加地，第一手势和第二手势可以涉及用户接口的相同的应用程序的/相同的程序的操作。尤其在第一手势和第二手势之间不能检测到用户的输入。因此，第一手势尤其无缝地过渡到第二手势。替代用于对第一手势和第二手势进行分类的预先定义的参考——所述参考基本上对于根据本发明的用户接口的全部用户规定类似的运动——地，根据本发明因此设置，至少附加地、优选仅仅相互比较多个依次实施的手势并且因此尽可能好地考虑每一个用户的手势形态的个人特点。这导致特别高的识别速率和特别少的错误识别。根据本发明设计的用户接口的可接受度上升。只要根据本发明的用户接口布置在运动工具中，就还可以提高交通安全性。

从属权利要求示出本发明的优选扩展方案。

优选地，可以通过相应的基本上平行于显示单元的具有不同符号的速度分量来区分所述第一手势和所述第二手势。显示单元例如可以是通过3d用户手势可操作的触摸屏。如果矢量地分解第一手势的和第二手势的运动分量，对此例如可以使用预先定义的笛卡尔坐标系，则可以利用运动分量的相异的符号的机会来区分第一手势和第二手势或者将第一手势作为相对于第二手势的单独的手势来处理。因为回位手势经常基本上沿与输入手势相反的方向进行，所以通过这种方式可以确定对于存在第二手势的重要的第一指标。

可以在没有在此期间离开传感式检测区域的情况下检测所述第一手势和所述第二手势。在现有技术中经常需要离开检测区域，以便实施与第一手势类似的第三手势，而根据本发明，用户的手可以沿相反方向横穿检测区域，而不将第二手势错误地解释成有意的用户输入。因此，根据本发明，输入工具的位置的连续记录不妨碍成功的滑动手势识别。

根据本发明，第一手势例如可以通过其弯曲与第二手势区分，使得第一手势的沿用户操作的显示装置方向凸状的特性相比第二手势的相应确定的凸状的（或者甚至凹状的）特性更显著突出。替代地或者附加地，可以将第一手势的曲线走向与第二手势的曲线走向之间的平均距离与预先定义的参考进行比较并且在超出通过所述参考定义的距离的情况下将第一手势分类为有意的用户输入并且将第二手势分类为回位手势（或者相反）。在低于相应的参考的情况下，第一手势以及第二手势或者可以分类为有意的用户输入或者可以分类为回位运动。作为“平均距离”可以确定第一手势的曲线走向的线重心与第二手势的曲线走向的线重心的距离。

为了能够相继实施多个滑动手势，可能需要将滑动手势与其他运动结合。这些结合的运动也可以理解为“引导运动或者回位运动”。根据本发明提出的算法获得当前的手位置作为输入。根据运动分段和属性的提取接着可以决定，所述运动是否是滑动手势或者仅仅是引导运动或者回位运动。

作为分析功能可以使用神经网络。

为了改善识别速率，可以使用适配平面。

本发明能够实现引导运动或者回位运动的过滤以及平面确定的动态适配，在所述平面中实施所述运动。作为用于本发明的算法的输入，例如预期手中心的位置的序列。为了能够区分水平的滑动手势（即从左向右或者相反）与竖直的滑动手势（即从上向下或者相反），可以事先定义水平平面和垂直平面。借助所述平面可以将运动分解成各个运动分段。只要在平面中的运动方向的序列沿相同的方向进行，就可以将这些测量值归纳为一个运动分段。由前述确定的运动分段可以提取属性，所述属性对运动分类。例如，这可以根据速度、加速度、曲线描述、与先前的运动的相对位置以及根据相对于传感器的位置进行。运动分段的属性接着用于执行彼此相继的两个运动分段的比较。为此，可以事先训练神经网络，所述神经网络可以基于已知的属性组合来决定，运动是否为滑动手势或是引导运动或者回位运动。神经网络可以或者特定地仅仅对于目标人员来训练或者是一般性网络（优选地，当不应进行调准时），在所述一般性网络中，不同的人已经借助滑动手势训练了所述网络，可以被提供。因为不同的用户运动可以一方面单独地实施并且另一方面关于所述传感器不同地定位，所以还可能发生，运动不精确地在水平平面中或者在竖直平面中进行。为了使该事实根据本发明不掩盖识别问题，可以设置通过第一手势的或者第二手势的位置的均衡平面。该平面然后可以与预先定义的平面（例如水平平面和竖直平面）进行比较并且分配给两个平面中的最可能的那个平面。换言之，将基于测量值确定的均衡平面换算到参考平面上。这能够实现滑动手势的更好的并且更节省资源的识别。

根据本发明的第二方面，提出一种用于对在空间中自由实施的用户手势进行分类的用户接口。所述用户接口包括传感器，所述传感器被设置用于传感式检测第一手势和第二手势并且将对应的测量信号转发到分析单元上。所述分析单元被设置用于比较所述第一手势的第一特征与所述第二手势的第一特征并且根据所述比较，将所述第一手势不同于所述第二手势地分类为有意的用户输入。换言之，根据本发明的用户接口使用由用户在第一时刻实施的并且传感式检测的第一手势作为用于对在稍后时刻实施的第二手势进行分类的参考（尤其是也相反地进行）。用户接口因此被设置用于实现所述特征、特征组合、由它们产生的相应于首先提到的发明方面的优点，因此为了避免重复参考以上实施。

优选地，所述用户接口可以具有显示单元，所述显示单元被设置用于显示借助在空间中自由实施的用户手势可操作的显示内容。显示单元可以作为用于接收在接触下实施的3d手势的触摸灵敏的显示装置来实施。

显示单元可以优选地被设置用于作为中央的信息显示器、作为组合仪表等布置在运动工具中。

替代地或者附加地，显示单元可以被设置用于作为触摸灵敏的屏幕布置在便携式移动用户终端设备（例如无线通信终端设备，诸如智能手机、平板电脑等）中。通过这种方式，本发明可以不仅在运动工具中而且与便携式用户终端设备和另外的技术装置结合地支持在空间中自由实施的滑动手势的尽可能好的识别。

根据本发明的第三方面提出一种计算机程序产品（例如数据存储器），在其中存储有指令，所述指令使可编程处理器能够执行根据首先提到的发明方面的方法的步骤。计算机程序产品例如可以设计为cd、dvd、blue-ray-disc（蓝光光盘）、闪存、硬盘、ram/rom、缓存，等等。与适合用于3d手势识别的传感器相结合，所述计算机程序产品可以用于建立根据本发明的用户接口。

根据本发明的第四方面，提出代表指令的信号序列，所述指令使可编程处理器能够执行根据首先提到的发明方面的方法的步骤。通过这种方式对于以下情况也保护指令的信息技术提供：即对此所需的存储介质位于所附权利要求的适用范围之外。

附图说明

下面参考附图描述本发明的实施例。在附图中：

图1是具有根据本发明设计的用户接口的一个实施例的根据本发明的运动工具的一个实施例的示意性概览图；

图2是正交的两个平面的示意图，所述两个平面在根据本发明设计的用户接口的检测区域内撑开；

图3是到第一手势和第二手势的运行的根据本发明的分段的示意图；

图4是对于运动的分段，水平平面的适配的示意图；

图5是沿显示平面方向浸入的运动的示意图；

图6是由显示平面方向潜出的运动的示意图；以及

图7说明根据本发明的方法的一个实施例的步骤的流程图。

具体实施方式

图1示出载重货车10作为根据本发明的运动工具的实施例，在所述运动工具中，用户8在传感器5的检测区域9中引导他的手。检测区域9设置在作为用户接口7的显示单元的屏幕3的前面并且在所述屏幕上显示的内容可以通过由用户8实施的3d滑动手势来操纵。由传感器5检测的信号通过信息技术传播地转发到作为分析单元的电子控制设备4上，所述电子控制设备分析用户手势并且将相应操纵的图像信号转发到屏幕3上。用于预先定义的手势的参考和用于实施根据本发明的方法的指令存储在信息技术上与电子控制设备4连接的数据存储器6中并且准备好由电子控制设备4来使用。所示用户接口7的部件3、4、5和6可以通过相应的方式不布置在载重货车10中而布置在移动用户终端设备、尤其智能手机、平板电脑等中并且以相同的方式使用。

图2示出具有轴x、y、z的笛卡尔坐标系以及通过轴x、y、z撑开的平面x，y；x，z；y，z，所述平面全部至少部分地位于用于检测三维的用户输入的传感器5的检测区域9中。

图3示出两个线分段1、2作为第一手势和第二手势，它们在其沿x方向的速度的符号方面进行区分。第一手势1完全布置在正的y-值域中，而第二手势2主要布置在负的y-值域中。通过这种方式，到第一手势1和第二手势2的运行的根据本发明的分段可以通过以下方式来进行，即将以下位置区段作为第一手势1的组成部分来观察和分析：所述位置区段具有负的dx/dt-值，并且将以下这样的运动组成部分理解为第二手势，所述运动组成部分具有正的dx/dt-值。在此，dx/dt应是x值的时间导数，换言之，即沿x方向的速度。

图4示出用于匹配分析平面xa，ya的示例，所述分析平面相对于水平平面x，y已经绕y轴摆动。通过手势1、2内的位置基本上位于经匹配的平面xa，ya平面中并且可以忽略z值的方式，可以实现第一和第二手势1、2的在计算技术方面简化了的分析和因此更快速和可靠的分类。此外，该平面可以重新在用于将来的滑动手势的分段中使用。由此改善了分段的精度，如与运动矢量的符号变换相结合地提及的那样。

图5示出基本上在x，y平面中实施的弯曲的第一手势1，所述第一手势关于（未示出的）显示单元的布置在坐标系之后的表面凸状地设计。换言之，第一手势1首先浸入到与显示单元的表面平行的平衡表面（bilanzoberfläche）中并且在进一步的过程中又潜出。换言之，手势的曲线中心背离显示单元地取向。更重要地，所示第一手势1可以理解为向左定向的滑动手势。如所示那样浸入的手势通常代表有意的用户输入。换言之，用户通过滑动手势期望所示显示内容的操纵。

图6示出在x-y平面中潜出的手势的原理图，所述手势关于显示单元的布置在笛卡尔坐标系之后的表面具有凹状的形态。换言之，所述手势的曲线中心沿着显示单元的方向取向，而图5中的曲线中心背离显示单元地取向。

如所示那样相对于显示表面弯曲地取向的第二手势2通常当用户想要将所述运动理解为回位运动、即恰恰不为有意的并且要从具有所分配的显示内容操纵的系统退出的手势的时候由用户使用。

图7示出用于对在空间中自由实施的用户手势进行分类的根据本发明的方法的一个实施例的步骤。在步骤100中，传感式检测第一手势。在步骤200中，传感式检测第二手势。前述的两个步骤可以同时地并且在信息技术方面首先彼此独立地（例如连续地）进行。在步骤300中，通过相应的基本上平行于显示单元的具有不同的符号的速度分量来区分所述第一手势和所述第二手势。简言之，在用户输入中辨识沿第一方向实施的滑动手势和沿相反方向实施的第二滑动手势。在步骤400中，比较第一手势的第一特征和第二手势的第一特征。在步骤500中，根据所述比较，将所述第一手势不同于所述第二手势地分类为有意的用户输入，而将第二手势解释为回位运动。因此，仅仅第一手势导致用户接口的操纵。

即使根据与所附附图相结合地阐述的实施例详细描述了根据本发明的方面和有利的实施方式，对于本领域技术人员而言所示实施例的特征的改动和组合是可能的，而不脱离本发明的范围，本发明的保护范围通过所附权利要求来限定。

附图标记列表

1第一手势

2第二手势

3屏幕

4电子控制设备

5传感器

6数据存储器

7用户接口

8用户

9检测区域

10载重货车

100至500方法步骤

x，y，z坐标

xa，ya经匹配的坐标