一种基于指纹和手势识别的交互方法及交互系统与流程

本发明涉及一种人机交互方法，尤其涉及一种基于指纹和手势识别的交互方法，并涉及采用了该基于指纹和手势识别的交互方法的交互系统。

背景技术

目前的智能终端的人机交互大多建立在屏幕上面，通过电容屏幕感应到用户手指的压力和动作，通过点按位置的判断及滑动的动作来触发相应的命令。如安卓手机系统会提供三个位置，通过用户手指的点按实现返回、菜单和锁屏等动作，这种方式下，用户需要关注屏幕，通过视觉感官定位屏幕上显示的按钮位置，然后用手指在屏幕上点压和滑动来提交命令。

也就是说，这种传统的交互行为的使用，用户必须通过视觉感官定位终端及手指的空间位置，才能保证交互的顺利和准确，随着便携终端形态的不断演进，如vr设备、ar设备以及智能眼镜等可穿戴设备的应用日益广泛，在其使用中，如果还是需要视觉感官对手或者手指进行空间定位，然后通过在实际或者虚拟的屏幕上进行点击和滑动等动作交互，在使用感受上将会大打折扣，不能满足用户的需求，体验感差。

技术实现要素：

本发明所要解决的技术问题是如何有效避免需要视觉感官采集，进而真正做到“盲操作”，能够让大脑中的视觉充分接受信息，提高用户体验；并且本发明进一步提供采用了基于指纹和手势识别的交互方法的交互系统。

对此，本发明提供一种基于指纹和手势识别的交互方法，包括以下步骤：

步骤s1，检测手指与交互设备之间的接触；

步骤s2，根据接触的检测查询预设的指纹信息库，判断接触的手指指纹是否与指纹信息库中的指纹相匹配，若是则跳转至步骤s3，若否则返回步骤s1；

步骤s3，识别手指指纹与手势识别之间的组合所对应的动作指令；

步骤s4，输出所述动作指令所对应的指令信息；

其中，所述交互设备包括用于实现指纹识别的指纹识别模块以及用于识别手势的柔性触摸屏模块。

本发明的进一步改进在于，所述交互设备穿戴设置于用户的拇指上，所述步骤s1通过检测用户的其他手指与所述拇指上的交互设备之间的接触，进而得到该用户的手指指纹信息以及手势识别信息；所述其他手指为穿戴所述交互设备之外的手指。

本发明的进一步改进在于，所述步骤s1先通过所述指纹识别模块检测用户的其他手指与所述交互设备之间的接触，进而得到手指指纹；所述步骤s2，在所述指纹信息库中的匹配到所述手指指纹后，跳转至步骤s3，在所述步骤s3中通过所述柔性触摸屏模块识别接触后的手指和交互设备之间的相对位移以感知到其手势识别，进而获得手势识别的动作指令，最后结合所述手指指纹和手势识别的动作指令实现指令信息的输出。

本发明的进一步改进在于，所述交互设备预先设置并存储手指指纹信息，所述手指指纹信息包括手指指纹、手势识别以及手指指纹和手势识别之间的组合，将手指指纹以及手势识别之间的每一种组合分别与一个动作指令进行一一对应，进而实现所述动作指令所对应的指令信息的输出。

本发明的进一步改进在于，所述交互设备中的手指指纹信息还包括通过手指顺序组合而实现的顺序组合指令，当所述交互设备检测和识别出不同手指的接触顺序与预先设置的顺序组合相符合时，则发出该顺序组合指令所预先对应设置的控制指令。

本发明的进一步改进在于，所述顺序组合指令包括用于实现用户身份认证的密码指令。

本发明的进一步改进在于，所述手指指纹包括所述交互设备所在的手掌的手指指纹，或，包括该用户的双手手指指纹。

本发明的进一步改进在于，所述手势识别包括对长按、短按以及触摸滑动中的任意一种或几种手势的识别。

本发明的进一步改进在于，所述交互设备还包括传输模块，所述传输模块分别与所述指纹识别模块和柔性触摸屏模块相连接。

本发明还提供一种基于指纹和手势识别的交互系统，采用了如上所述的基于指纹和手势识别的交互方法，并包括所述交互设备。

与现有技术相比，本发明的有益效果在于：通过穿戴于拇指上的交互设备采集其他手指与拇指之间的滑动与触摸，进而提取方向信息和手指指纹信息作为人机交互的动作指令，避免了传统人机交互需要视觉感知来获取终端屏幕信息、屏幕及手指的空间关系信息的弊端，能够达到通过手指指纹与手势识别之间的组合所对应的动作指令来实现“盲打”的技术效果，并且，这种“盲打”的技术效果是通过手指指纹和手势识别进行组合来实现的，因此，本发明在使用方便和人性化设计程度高的基础上，还能够根据用户的使用习惯进行组合的设置，提高了产品的个性化设计；并且还能够有效实现密码认证，保证交互方法和交互系统的安全可靠性。

附图说明

图1是本发明一种实施例的工作流程示意图；

图2是本发明一种实施例的工作原理示意图。

具体实施方式

下面结合附图，对本发明的较优的实施例作进一步的详细说明。

本例提供一种基于指纹和手势识别的交互方法，包括以下步骤：

步骤s1，检测手指与交互设备1之间的接触；

步骤s2，根据接触的检测查询预设的指纹信息库，判断接触的手指指纹是否与指纹信息库中的指纹相匹配，若是则跳转至步骤s3，若否则返回步骤s1；

步骤s3，识别手指指纹与手势识别之间的组合所对应的动作指令；

步骤s4，输出所述动作指令所对应的指令信息；

其中，所述交互设备1包括用于实现指纹识别的指纹识别模块以及用于识别手势的柔性触摸屏模块3。所述指纹识别模块优选直接设置于所述柔性触摸屏模块3上。

本例通过所述交互设备1采集手指与手指之间的动作，结合指纹识别，进而提供新的交互方法，可以有效避免视觉感官采集，让大脑中的视觉充分接受信息；本例能够满足智能穿戴及智能终端之间的交互需求，使得交互行为脱离视觉感官的前置限制，让用户可以更加方便和准确的下达交互指令。

优选的，本例所述交互设备1穿戴设置于用户的拇指2上，如图2所示，便于用户的使用，所述步骤s1通过检测用户的其他手指与所述拇指2上的交互设备1之间的接触，进而得到该用户的手指指纹信息以及手势识别信息；所述其他手指为穿戴所述交互设备1之外的手指。也就是说，通过食指或中指等其他手指与拇指2上的交互设备1的接触实现指纹识别，并通过相对位移感知到滑动，形成方向指令；其中，其他手指在交互设备1上的触摸滑动能够产生唯一的滑动及方向反馈，进而可以作为动作指令。

本例所述步骤s1先通过所述指纹识别模块检测用户的其他手指与所述交互设备1之间的接触，进而得到手指指纹；所述步骤s2，在所述指纹信息库中的匹配到所述手指指纹后，跳转至步骤s3，在所述步骤s3中通过所述柔性触摸屏模块3识别接触后的手指和交互设备1之间的相对位移以感知到其手势识别，进而获得手势识别的动作指令，最后结合所述手指指纹和手势识别的动作指令实现指令信息的输出。

本例所述交互设备1预先设置并存储手指指纹信息，所述手指指纹信息包括手指指纹、手势识别以及手指指纹和手势识别之间的组合，将手指指纹以及手势识别之间的每一种组合分别与一个动作指令进行一一对应，进而实现所述动作指令所对应的指令信息的输出。

也就是说，本例通过拇指2上的交互设备1实现与其他手指的短暂触摸，感知指纹并识别出不同的指头，如左手食指、左手中指、左手无名指、左手小拇指以及右手食指等；然后根据存储和预设的不同手指的触摸识别作为不同的指令或功能，如左手食指短按为“确认”命令，左手中指短按为“返回”命令，左手无名指短按为“菜单”命令等等，这些都是可以通过用户的使用习惯进行提前的自定义设置的，当然，也可以直接采用交互系统的默认设置，这样，通过指纹识别和滑动感知就能够提供人机交互的动作指令，释放了视觉感官，提高了产品的人性化设计和个性化设计。

值得一提的是，本例所述交互设备1中的手指指纹信息还包括通过手指顺序组合而实现的顺序组合指令，当所述交互设备1检测和识别出不同手指的接触顺序与预先设置的顺序组合相符合时，则发出该顺序组合指令所预先对应设置的控制指令。所述顺序组合指令包括用于实现用户身份认证的密码指令。比如，设备身份认证的密码指令可以设置为依如下顺序完成指纹触摸：食指→无名指→中指→食指，若用户按照自己设置的顺序依次通过食指→无名指→中指→食指去触摸所述交互设备1，则视为输入合法的密码指令，打开设备，这样对于穿戴式设备来说，是一个非常好的密码认证方式，可以做到隐蔽性强且安全可靠，在此基础上，其灵活性强，人性化设计和个性化设计程度也非常高。

本例所述手指指纹包括所述交互设备1所在的手掌的手指指纹，或，包括该用户的双手手指指纹。也就是说，所述其他手指不仅仅可以包括所述交互设备1所在的手掌的手指，还可以包括用户双手的手指，那么，其密码的组合将更多样化，也能够使得可拓展功能变得更加强大。

本例所述手势识别包括对长按、短按以及触摸滑动中的任意一种或几种手势的识别。本例所述手势识别包括以下步骤：检测直到指纹匹配成功，检测手指是否滑动并计时，将手指滑动信息和计时信息反馈至交互设备1所在的交互系统进行计算，得到其对应的手势的识别；所述手指滑动信息也称方向指令信息。比如，左手食指长按、左手食指短按和左手食指触摸后滑动，这些识别出来的手势都可以分别对应不能的动作指令，进而输出不同的控制指令，这样，用户可以设置的交互方式就非常丰富了，能够很好地满足各种不同用户的需求，可拓展性强。

本例所述交互设备1还包括传输模块，所述传输模块分别与所述指纹识别模块和柔性触摸屏模块3相连接，用于实现数据的传输。

本例还提供一种基于指纹和手势识别的交互系统，采用了如上所述的基于指纹和手势识别的交互方法，并包括所述交互设备1。

综上所述，本例通过穿戴于拇指2上的交互设备1采集其他手指与拇指2之间的滑动与触摸，进而提取方向信息和手指指纹信息作为人机交互的动作指令，避免了传统人机交互需要视觉感知来获取终端屏幕信息、屏幕及手指的空间关系信息的弊端，能够达到通过手指指纹与手势识别之间的组合所对应的动作指令来实现“盲打”的技术效果，并且，这种“盲打”的技术效果是通过手指指纹和手势识别进行组合来实现的，因此，本例在使用方便和人性化设计程度高的基础上，还能够根据用户的使用习惯进行组合的设置，提高了产品的个性化设计；并且还能够有效实现密码认证，保证交互方法和交互系统的安全可靠性。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。