用于触摸屏的手势识别方法与流程

本发明涉及手势识别技术，特别涉及适于汽车的一种用于触摸屏的手势识别方法。

背景技术

中控台是现有汽车中常见的控制部件。随着技术的不断发展，越来越多的汽车采用带有触摸屏的中控台，汽车的前排乘员(驾驶员或副驾座椅的其他成员)可以在触摸屏执行手势滑动操作，从而触发相应操作指令的产生。

对于驾驶员而言，在中控台的触摸屏执行手势滑动操作后，很容易出于驾驶安全的考虑而迅速将操作手回位至方向盘，而当操作手在回位过程中与触摸屏接触时，则有可能在触摸屏产生跟随正常手势滑动操作的误滑动操作，这样的误滑动操作可以称之为回程误差操作。

由于回程误差操作的轨迹同样可以被处理器识别，因此，有可能使处理器根据回程误差操作产生与正常手势滑动操作作用相反的操作指令，或者，也有可能使处理器根据正常手势滑动操作的轨迹和回程误差轨迹的组合产生错误的操作指令。

可见，回程误差操作会影响手势识别的准确性。

技术实现要素：

在一个实施例中，提供了一种用于触摸屏的手势识别方法，所述手势识别方法包括：

检测在所述触摸屏产生的第一手势滑动轨迹；

解析所述第一手势滑动轨迹以产生手势操作指令；

检测在所述触摸屏跟随所述第一手势滑动轨迹产生的第二手势滑动轨迹；

解析所述第二手势滑动轨迹以确定对所述手势操作指令的激活结果。

可选地，所述触摸屏设置在汽车的方向盘的一侧，并且，解析所述第二手势滑动轨迹以确定对所述手势操作指令的激活结果包括：确定所述第二手势滑动轨迹的矢量方向相对于所述方向盘所在方位的轨迹趋势；当所述轨迹趋势偏离于所述方向盘所在方位时，激活所述手势操作指令。

可选地，确定所述第二手势滑动轨迹的矢量方向相对于所述方向盘所在方位的轨迹趋势包括：在所述第二手势滑动轨迹的起始点创建向所述方向盘所在方位辐射的回程检测角度区间；确定所述第二手势滑动轨迹与所述回程检测角度区间的交叠关系；当所述第二手势滑动轨迹与所述回程检测角度区间无交叠时，确定所述轨迹趋势偏离于所述方向盘所在方位。

可选地，所述手势识别方法进一步包括：检测所述汽车的行驶速度；根据所述行驶速度调节所述回程检测角度区间的大小。

可选地，所述手势识别方法以所述方向盘的拇指操作握持区域表征所述方向盘所在方位。

可选地，所述手势识别方法进一步包括：检测所述方向盘的旋转角度；根据检测到的所述旋转角度的变化更新所述方向盘所在方位。

可选地，所述第一手势滑动轨迹为直线轨迹或曲线轨迹，所述第二手势滑动轨迹为直线轨迹。

可选地，解析所述第二手势滑动轨迹以确定对所述手势操作指令的激活结果进一步包括：确定所述第二手势滑动轨迹相对于所述第一手势滑动轨迹的矢量方向角度偏差；当所述矢量方向角度偏差处于预设的非确认操作角度区间外时，执行对所述轨迹趋势的确定。

可选地，所述第二手势滑动轨迹的触压检测值和/或行程检测值小于所述第一手势滑动轨迹。

在另一个实施例中，提供了一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储指令，所述指令在由处理器执行时使得所述处理器执行如上所述的手势识别方法中的步骤。

在又一个实施例中，提供了一种汽车，包括装设于中控台的触摸屏、位于所述中控台一侧的方向盘，所述汽车还包括如上所述的非瞬时计算机可读存储介质、以及与所述触摸屏和所述非瞬时计算机可读存储介质电连接的所述处理器。

基于上述的各实施例，跟随所述第一手势滑动轨迹的所述第二手势滑动轨迹可以引导操作手避开回程误差操作的轨迹，从而降低手势操作中产生回程误差的概率，由此提高手势识别的准确性。

附图说明

以下附图仅对本发明做示意性说明和解释，并不限定本发明的范围。

图1为一个实施例中用于触摸屏的手势识别方法的示例性流程示意图；

图2a和图2b为基于如图1所示手势识别方法的一种手势图形实例的示意图；

图3a和图3b为基于如图1所示手势识别方法的另一种手势图形实例的示意图；

图4为如图1所示实施例中确定手势操作指令是否激活的判断机制原理图；

图5为基于如图4所示的判断机制的实例流程示意图；

图6为如图5所示实例流程的一种具体实现的示意图；

图7为如图6所示的具体实现基于车速检测自适应收敛的扩展方式的示意图；

图8为如图5所示实例流程基于方向盘操作区域追踪的扩展方式的示意图；

图9为如图1所示实施例中确定手势操作指令是否激活的扩展判断机制原理图；

图10为基于如图9所示的扩展判断机制的实例流程示意图；

图11为一个实施例中的汽车的系统框架示意图。

具体实施方式

为了对发明的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式，在各图中相同的标号表示相同的部分。

在本文中，“示意性”表示“充当实例、例子或说明”，不应将在本文中被描述为“示意性”的任何图示、实施方式解释为一种更优选的或更具优点的技术方案。

为使图面简洁，各图中的只示意性地表示出了与本发明相关部分，而并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。

在本文中，“第一”、“第二”等仅用于彼此的区分，而非表示重要程度及顺序、以及互为存在的前提等。

图1为一个实施例中用于触摸屏的手势识别方法的示例性流程示意图。请参见图1，在一个实施例中，用于触摸屏的手势识别方法包括：

s101：检测在触摸屏产生的第一手势滑动轨迹。

s102：解析第一手势滑动轨迹以产生手势操作指令。

s103：检测在触摸屏跟随第一手势滑动轨迹产生的第二手势滑动轨迹。

其中，本文所述的“跟随”可以包括两种情况，即，第二手势滑动轨迹的起始位置与第一手势滑动轨迹的结束位置重合(两个手势滑动轨迹连续)、以及第二手势滑动轨迹的起始位置与第一手势滑动轨迹的结束位置之间具有小于预定间距的距离(两个手势滑动轨迹断开)，并且，这两种情况都可以被进一步限制为发生在具有特定时长的时间窗内。

s104：解析第二手势滑动轨迹以确定对手势操作指令的激活结果。

即，根据第二手势滑动轨迹的解析结果，判断其是否属于对第一手势的确认手势，如果是，则将通过解析第一手势滑动轨迹而产生的手势操作指令激活(activate)，否则，将通过解析第一手势滑动轨迹而产生的手势操作指令保持为去激活(inactivate)状态或丢弃。

上述流程中，第一手势滑动轨迹可以看作是正常操作手势的滑动轨迹，相应地，第二手势滑动轨迹可以看作是附加的确认操作手势的滑动轨迹。因此，通过跟随正常手势(对应第一手势滑动轨迹)的确认操作手势(对应于第二手势滑动轨迹)，可以引导操作手避开习惯性的回程误差操作的轨迹，即，以具有正确引导作用的确认操作手势替代习惯性的回程误差操作，从而降低手势操作中产生回程误差的概率，由此提高手势识别的准确性。

由于附加的确认操作手势的主要意图在于纠正操作手的习惯性回程误差操作，而可以不关注其是否具有标识精准编码信息的手势形状，因此，对确认操作手势的触压强度要求和行程要求可以低于正常操作手势。

即，对应于附加的确认操作手势的第二手势滑动轨迹的触压检测值可以小于对应于正常操作手势的第一手势滑动轨迹的触压检测值，和/或，对应于附加的确认操作手势的第二手势滑动轨迹的行程检测值可以小于对应于正常操作手势的第一手势滑动轨迹的行程检测值。

图2a和图2b为基于如图1所示手势识别方法的一种手势图形实例的示意图。在图2a和图2b所示的手势图形实例中，以第一手势滑动轨迹和第二手势滑动轨迹均为直线轨迹为例，但这并不意味着第一手势滑动轨迹和第二手势滑动轨迹必须严格被约束为直线的形状。

请参见图2a，图2a中的第一手势滑动轨迹21a由方向盘所在的左侧向远离方向盘的右侧滑动，意在触发同一菜单项内的“下一项”切换；跟随着该第一手势滑动轨迹21a产生的偏离于方向盘所在方位(图中为向下滑动)的第二手势滑动轨迹22a可以激活第一手势滑动轨迹21a对应的操作指令。为了产生确认作用的第二手势滑动轨迹22a的产生，操作手在完成向右滑动后不会立即执行具有向左滑动趋势的回程误差操作20a(如虚线所示)，从而避免了由于具有向左滑动趋势的回程误差操作20a而产生同一菜单项内的“上一项”的反向回切。

请参见图2b，图2b中的第一手势滑动轨迹21b自上向下滑动，意在触发菜单项的“下一项”切换；跟随着该第一手势滑动轨迹21b产生的偏离于方向盘所在方位(图中为水平向左滑动)的第二手势滑动轨迹22b可以激活第一手势滑动轨迹21b对应的操作指令。为了产生确认作用的第二手势滑动轨迹22b的产生，操作手在完成向下滑动后不会立即执行具有向上滑动趋势的回程误差操作20b(如虚线所示)，从而避免了由于具有向上滑动趋势的回程误差操作20b而产生菜单项的“上一项”的反向回切。

图3a和图3b为基于如图1所示手势识别方法的另一种手势图形实例的示意图。在图3a和图3b所示的手势图形实例中，以第一手势滑动轨迹为曲线轨迹、第二手势滑动轨迹为直线轨迹为例，但这并不意味着第一手势滑动轨迹必须严格约束为图中所示的指定曲线形状，也不意味着第二手势滑动轨迹必须严格被约束为直线的形状。

请参见图3a，图3a中的第一手势滑动轨迹31a由远离方向盘的右侧开始逆时针滑动3/4圆周，意在触发媒体播放器音量或者空调温度的“变低”调节；跟随该第一手势滑动轨迹31a产生的沿圆周径向方向滑动、并且偏离于方向盘所在方位(图中为向下滑动)的第二手势滑动轨迹32a可以激活第一手势滑动轨迹31a对应的操作指令。为了产生确认作用的第二手势滑动轨迹32a的产生，操作手在完成圆周滑动后不会立即执行具有沿顺时针切向方向滑动趋势的回程误差操作30a(如虚线所示)，从而避免了由于具有沿顺时针切向方向滑动趋势的回程误差操作30a而产生媒体播放器音量或者空调温度的“变高”的反向调节。

请参见图3b，图3b中的第一手势滑动轨迹31b由靠近方向盘的左侧开始顺时针滑动3/4圆周，意在触发媒体播放器音量或者空调温度的“变高”调节；跟随着该第一手势滑动轨迹31b产生的沿圆周径向方向滑动、并且偏离于方向盘所在方位(图中为向下滑动)的第二手势滑动轨迹32b可以激活第一手势滑动轨迹31b对应的操作指令。为了产生确认作用的第二手势滑动轨迹32b的产生，操作手在完成圆周滑动后不会立即执行具有沿顺时针切向方向继续滑动趋势的回程误差操作30b(如虚线所示)，从而避免了由于具有沿顺时针切向方向继续滑动趋势的回程误差操作30b而产生媒体播放器音量或者空调温度的“变高”的过度调节。

从图2a和图2b以及图3a和图3b所示的实例中可以看出，对应于附加的确认操作手势的第二手势滑动轨迹关注于其矢量方向是否偏离于方向盘所在方位，进一步地，该第二手势滑动轨迹还可以关注其矢量方向相对于对应正常操作手势的第一手势滑动轨迹的趋势改变程度。相应地，在该实施例中，至少可以基于第二手势滑动轨迹的矢量方向相对于方向盘所在方位的偏离程度来确定是否允许激活解析第一手势滑动轨迹产生的手势操作指令，并且还可以进一步考虑第二手势滑动轨迹的矢量方向相对于第一手势滑动轨迹的滑动趋势变化程度。

图4为如图1所示实施例中确定手势操作指令是否激活的一种判断机制原理图。请参见图4，当在装设于中控台41的触摸屏40先后检测到第一手势滑动轨迹411和第二手势滑动轨迹412之后，可以在第二手势滑动轨迹412的起始点创建向方向盘42所在方位辐射的回程检测角度区间400，然后根据第二手势滑动轨迹412是否与回程检测角度区间400存在交叠来判断第二手势滑动轨迹412的矢量方向相对于方向盘42所在方位的轨迹趋势。

在图4中，示出了第二手势滑动轨迹412与回程检测角度区间400不存在交叠的偏离方向盘42所在方位的情况，并以虚线示出了第二手势滑动轨迹412’位于回程检测角度区间400内的未偏离方向盘42所在方位的情况。

图5为基于如图4所示的判断机制的实例流程示意图。如图5所示，对于触摸屏设置在汽车的方向盘的一侧的情况，用于触摸屏的手势识别方法的一个实例流程可以包括：

s501：检测在触摸屏产生的第一手势滑动轨迹。

s502：解析第一手势滑动轨迹以产生手势操作指令。

s503：检测在触摸屏跟随第一手势滑动轨迹产生的第二手势滑动轨迹。

s504：确定第二手势滑动轨迹的矢量方向相对于方向盘所在方位的轨迹趋势。

s505：当轨迹趋势偏离于方向盘所在方位时，激活手势操作指令。

另外，当轨迹趋势未偏离方向盘所在方位时，可以保持手势操作指令的未激活状态、或者丢弃该手势操作指令。

图6为如图5所示实例流程的一种具体实现的示意图。如图6所示，图6中示出的用于触摸屏的手势识别方法的实例流程可以具体包括：

s601：检测在触摸屏产生的第一手势滑动轨迹。

s602：解析第一手势滑动轨迹以产生手势操作指令。

s603：检测在触摸屏跟随第一手势滑动轨迹产生的第二手势滑动轨迹。

s604：在第二手势滑动轨迹的起始点创建向方向盘所在方位辐射的回程检测角度区间。

s605：确定第二手势滑动轨迹与回程检测角度区间的交叠关系。

s606：当第二手势滑动轨迹与回程检测角度区间无交叠时，确定轨迹趋势偏离于方向盘所在方位。

s607：当轨迹趋势偏离于方向盘所在方位时，激活手势操作指令。

另外，当轨迹趋势未偏离方向盘所在方位时，可以保持手势操作指令的未激活状态、或者丢弃该手势操作指令。

上述的s604～s606可以看作是图5中的s504的具体实现。

请回看图4，回程检测角度区间400的角度范围α决定了回程检测角度区间400的大小，进而也决定了判断第二手势滑动轨迹是否偏离方向盘42所在方位的严苛程度。在汽车实际行驶过程中，随着车速的提升，驾驶员的专注力要求也会随之提升，因此，对于车速较快的情况，应当允许适当下调上述的严格程度。因此，如图6所示的具体实现方式可以进一步响应汽车的车速变化来实时补偿回程检测角度区间的大小。

图7为如图6所示的具体实现基于车速检测自适应收敛的扩展方式的示意图。如图7所示，图7中示出的用于触摸屏的手势识别方法的实例流程的扩展可以具体包括：

s701：检测在触摸屏产生的第一手势滑动轨迹。

s702：解析第一手势滑动轨迹以产生手势操作指令。

s703：检测在触摸屏跟随第一手势滑动轨迹产生的第二手势滑动轨迹。

s704：在第二手势滑动轨迹的起始点创建向方向盘所在方位辐射的回程检测角度区间。

s705：检测汽车的行驶速度、并根据行驶速度调节回程检测角度区间的大小。即，行驶速度越高，回程检测角度区间越小，反之，行驶速度越低，回程检测角度区间越大。

s706：确定第二手势滑动轨迹与调节的回程检测角度区间的交叠关系。

s707：当第二手势滑动轨迹与回程检测角度区间无交叠时，确定轨迹趋势偏离于方向盘所在方位。

s708：当轨迹趋势偏离于方向盘所在方位时，激活手势操作指令。

另外，当轨迹趋势未偏离方向盘所在方位时，可以保持手势操作指令的未激活状态、或者丢弃该手势操作指令。

上述的s704～s707可以看作是图5中的s504的具体实现。

再回看图4，图4中是以方向盘42的拇指操作握持区域420(即靠近方向盘控制面板的可握持部分)来表征方向盘42所在方位，这是考虑到操作手往往会习惯性地优先(或者也可以理解为存在较大概率)回位至拇指操作握持区域420，以便于利用拇指对方向盘的按键式或触摸屏式控制面板执行操控。而且，由于方向盘42是可旋转的(旋转方向如图4中的双箭头r所示)，因而拇指操作握持区域420的相位角度也是可变化的，即，方向盘42所在方位是一个可变的位置、而不是固定的。为了适应方向盘42所在方位的变化，用于触摸屏的手势识别方法可以进一步对其追踪。

图8为如图5所示实例流程基于方向盘操作区域追踪的扩展方式的示意图。如图8所示，对于触摸屏设置在汽车的方向盘的一侧、并且以方向盘的拇指操作握持区域来表征方向盘所在方位的情况，用于触摸屏的手势识别方法的一个实例流程可以包括：

s801：检测在触摸屏产生的第一手势滑动轨迹。

s802：解析第一手势滑动轨迹以产生手势操作指令。

s803：检测在触摸屏跟随第一手势滑动轨迹产生的第二手势滑动轨迹。

s804：检测方向盘的旋转角度。

s805：根据检测到的旋转角度的变化更新方向盘所在方位。

s806：确定第二手势滑动轨迹的矢量方向相对于方向盘所在方位的轨迹趋势。

s807：当轨迹趋势偏离于方向盘所在方位时，激活手势操作指令。

另外，当轨迹趋势未偏离方向盘所在方位时，可以保持手势操作指令的未激活状态、或者丢弃该手势操作指令。

上述的s806可以具体为图6中的s604～s606或图7中的s704～s707。

以上是基于第二手势滑动轨迹的矢量方向相对于方向盘所在方位的偏离程度实施激活判决的各实例，后续再说明进一步考虑第二手势滑动轨迹的矢量方向相对于第一手势滑动轨迹的滑动趋势变化程度的实例。

图9为如图1所示实施例中确定手势操作指令是否激活的扩展判断机制原理图。请参见图9，当在装设于中控台91的触摸屏90先后检测到第一手势滑动轨迹911和第二手势滑动轨迹912之后，可以在第二手势滑动轨迹912的起始点创建向方向盘92所在方位辐射的回程检测角度区间900，然后根据第二手势滑动轨迹912是否与回程检测角度区间900存在交叠来判断第二手势滑动轨迹912的矢量方向相对于方向盘92所在方位的轨迹趋势。并且，图9中还示出了角度大小为β的非确认操作角度区间910，该非确认操作区间角度910表示滑动趋势变化程度不足以形成附加的确认手势操作的区间，即，落入该非确认操作区间角度910的第二手势滑动轨迹将被视为失效。

在图9中，示出了第二手势滑动轨迹912与回程检测角度区间900不存在交叠的偏离方向盘92所在方位的情况，并且第二手势滑动轨迹912也处于非确认操作角度区间910外。同时，图9中还以虚线示出了第二手势滑动轨迹912’位于回程检测角度区间900内的未偏离方向盘92所在方位的情况、以及第二手势滑动轨迹912”由于位于非确认操作角度区间910内而失效的情况。

另外，非确认操作角度区间910的大小β也可以根据车速的大小而调节，例如，行驶速度越高，非确认操作角度区间910越小，反之，行驶速度越低，非确认操作角度区间910越大。

图10为基于如图9所示的扩展判断机制的实例流程示意图。如图10所示，对于触摸屏设置在汽车的方向盘的一侧的情况，用于触摸屏的手势识别方法的一个实例流程可以包括：

s1001：检测在触摸屏产生的第一手势滑动轨迹。

s1002：解析第一手势滑动轨迹以产生手势操作指令。

s1003：检测在触摸屏跟随第一手势滑动轨迹产生的第二手势滑动轨迹。

s1004：确定第二手势滑动轨迹相对于第一手势滑动轨迹的矢量方向角度偏差。

s1005：当矢量方向角度偏差处于预设的非确认操作角度区间外时，确定第二手势滑动轨迹的矢量方向相对于方向盘所在方位的轨迹趋势。

另外，当矢量方向角度偏差处于预设的非确认操作角度区间内时，可以将第二手势滑动轨迹确定为失效的轨迹，从而导致手势操作指令被保持在未激活状态、或者导致该手势操作指令被丢弃。

s1006：当轨迹趋势偏离于方向盘所在方位时，激活手势操作指令。

另外，当轨迹趋势未偏离方向盘所在方位时，可以保持手势操作指令的未激活状态、或者丢弃该手势操作指令。

上述的s1005可以具体为图6中的s604～s606或图7中的s704～s707。

图11为一个实施例中的汽车的系统框架示意图。如图11所示，汽车可以包括装设于中控台1101的触摸屏1102、位于中控台1101一侧的方向盘1103，汽车还可以包括非瞬时计算机可读存储介质1104、以及与触摸屏1102和非瞬时计算机可读存储介质1104电连接的处理器1105。该汽车还可以包括设置于方向盘1103、并用于检测方向盘1103旋转角度的传感器1106，处理器1105也与该传感器1106电连接。

其中，非瞬时计算机可读存储介质1104可以存储指令1100，指令1100在由处理器1105执行时可以使得处理器1105执行前文所述的如图1、图5至图8以及图10所示流程中的步骤。

另外，处理器1105可以是vcu(整车控制器)或ecu(电子控制单元)、或者独立于这二者之外的处理器。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，而并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方案或变更，如特征的组合、分割或重复，均应包含在本发明的保护范围之内。