手势识别方法及装置与流程

1.本发明涉及人工智能技术领域，尤其涉及手势识别方法及装置。


背景技术：

2.本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
3.手机银行作为一种线上服务手机软件app，提供了高效、便捷和优质的金融服务。
4.目前，用户在操作手机银行时，由于对软件不了解难以找到期望的操作界面，或者需要进行多次点击操作等才可以找到期望的操作页面，操作过程较为复杂。


技术实现要素：

5.针对上述现有技术中的至少一个问题，本发明实施例提供一种手势识别方法，用以实现手机软件操作过程中的手势识别，识别过程高效且准确，能够提高用户体验，该方法包括：
6.接收目标用户的金融交易软件操作请求，该金融交易软件操作请求包括：手势图像；
7.根据预设的手势识别模型，对所述手势图像中的手势进行识别，得到所述目标用户对应的操作类型；
8.将所述操作类型对应的操作界面输出显示。
9.进一步地，所述的手势识别方法，还包括：
10.获取批量历史手势图像及其各自对应的标签；
11.根据批量历史手势图像及其各自对应的标签对基于ghost特征的mobilenet v1模型进行训练，构建得到所述手势识别模型。
12.进一步地，在所述根据预设的手势识别模型，对所述手势图像中的手势进行识别，得到所述目标用户对应的操作类型之前，还包括：
13.将所述预设的手势识别模型转化为tflite格式。
14.进一步地，所述金融交易软件操作请求还包括：用户唯一标识和操作类型；
15.相对应的，在所述接收目标用户的金融交易软件操作请求之后，还包括：
16.向所述目标用户的设备终端发送所述操作类型对应的身份认证提示信息，接收目标用户的用户唯一标识和身份认证手势图像；
17.根据预设的图像识别模型，确定所述身份认证手势图像对应的手势信息；
18.根据所述用户唯一标识和操作类型，获得所述目标用户对应的标准手势信息，判断所述手势信息和所述标准手势信息是否相同，若是，则确定所述目标用户的用户身份认证通过，将所述操作类型对应的操作界面输出显示。
19.本发明实施例还提供一种手势识别装置，用以实现手机软件操作过程中的手势识别，识别过程高效且准确，能够提高用户体验，该装置包括：
20.接收模块，用于接收目标用户的金融交易软件操作请求，该金融交易软件操作请求包括：手势图像；
21.识别模块，用于根据预设的手势识别模型，对所述手势图像中的手势进行识别，得到所述目标用户对应的操作类型；
22.操作模块，用于将所述操作类型对应的操作界面输出显示。
23.进一步地，所述的手势识别装置，还包括：
24.获取模块，用于获取批量历史手势图像及其各自对应的标签；
25.训练模块，用于根据批量历史手势图像及其各自对应的标签对基于ghost特征的mobilenet v1模型进行训练，构建得到所述手势识别模型。
26.进一步地，所述的手势识别装置，还包括：
27.转化模块，用于将所述预设的手势识别模型转化为tflite格式。
28.进一步地，所述金融交易软件操作请求还包括：用户唯一标识和操作类型；
29.相对应的，所述的手势识别装置，还包括：
30.提示模块，用于向所述目标用户的设备终端发送所述操作类型对应的身份认证提示信息，接收目标用户的用户唯一标识和身份认证手势图像；
31.手势确定模块，用于根据预设的图像识别模型，确定所述身份认证手势图像对应的手势信息；
32.身份认证模块，用于根据所述用户唯一标识和操作类型，获得所述目标用户对应的标准手势信息，判断所述手势信息和所述标准手势信息是否相同，若是，则确定所述目标用户的用户身份认证通过，将所述操作类型对应的操作界面输出显示。
33.本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述手势识别方法。
34.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述手势识别方法。
35.本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述手势识别方法。
36.本发明实施例中的手势识别方法及装置，接收目标用户的金融交易软件操作请求，该金融交易软件操作请求包括：手势图像；根据预设的手势识别模型，对所述手势图像中的手势进行识别，得到所述目标用户对应的操作类型；将所述操作类型对应的操作界面输出显示，能够实现手机软件操作过程中的手势识别，识别过程高效且准确，能够提高用户体验；具体地，采用轻量级mobilenet网络并扩展ghost特征，在保证轻量级模型的同时，采用低成本的操作生成更多隐藏的手势特征图，有效提升网络性能，实现手势的快速检测和识别；预测精度高，模型轻量化，tflite压缩后加载实时性好，能够便捷操作手机银行app。
附图说明
37.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图。在附图中：
38.图1是本技术实施例中的手势识别方法的流程示意图；
39.图2是本技术实施例中的手势识别方法的步骤201和步骤202的流程示意图；
40.图3是本技术另一实施例中的手势识别方法的流程示意图；
41.图4是本技术实施例中的手势识别装置的结构示意图；
42.图5是本技术另一实施例中的手势识别装置的结构示意图。
具体实施方式
43.为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
44.为了便于对本方案的理解，首先，对与本方案相关的技术内容进行说明。
45.ghost feature map：是ghostnet网络中提出的一种重影特征，用来高效扩展数据集特征，并增强信息提取能力。
46.需要说明的是，本技术公开的手势识别方法及装置可用于金融技术领域，也可用于除金融技术领域之外的任意领域，本技术公开的手势识别方法及装置的应用领域不做限定。本技术技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
47.为了实现手机软件操作过程中的手势识别，识别过程高效且准确，能够提高用户体验，本实施例提供一种执行主体是手势识别装置的手势识别方法，该手势识别装置包括但不限于服务器，如图1所示，该方法具体包含有如下内容：
48.步骤101：接收目标用户的金融交易软件操作请求，该金融交易软件操作请求包括：手势图像。
49.具体地，可以接收目标用户的移动终端设备发送的金融交易软件操作请求，所述移动终端设备可以是手机、平板电脑等；所述金融交易软件可以是手机银行等；所述手势图像可以是从目标用户的移动终端设备采集的操作金融交易软件的手势图像；举例来说，可以接收用户在金融交易软件的任一页面中输入的手势图像。
50.步骤102：根据预设的手势识别模型，对所述手势图像中的手势进行识别，得到所述目标用户对应的操作类型。
51.具体地，所述操作类型可以包括：查询账户余额、进入交易页面、查询历史交易记录和进入日常生活缴费专区等的一种。
52.步骤103：将所述操作类型对应的操作界面输出显示。
53.举例来说，若所述操作类型为查询账户余额，则可以将手机银行中的查询账户余额操作界面在目标用户的移动终端设备输出显示。
54.目前的手势识别方式还存在训练模型容量过大，不适合tflite进行压缩和在手机软件中进行加载的问题，影响手势识别的准确和效率等，进而影响用户体验等问题，基于此，为了进一步提高手势识别模型的可靠性，参见图2，在本技术一个实施例中，在步骤102之前，还包括：
55.步骤201：获取批量历史手势图像及其各自对应的标签。
56.具体地，所述标签可以包括：查询账户余额、进入交易页面、查询历史交易记录和
进入日常生活缴费专区等。
57.步骤202：根据批量历史手势图像及其各自对应的标签对基于ghost特征的mobilenet v1模型进行训练，构建得到所述手势识别模型。
58.具体地，可以应用包含28个卷积层的mobilenetv1网络模型，在中间卷积层中添加4层ghost模块，用于提取该手势图像的重影特征，从而构建出具备32个卷积层的改进mobilenetv1网络；根据每个历史手势图像各自对应的ghost重影特征数据对mobilenetv1模型进行训练，构建得到所述手势识别模型。
59.为了提高预设的手势识别模型加载的可靠性，进而提高手势识别过程的安全性，在本技术一个实施例中，在步骤102之前，还包括：将所述预设的手势识别模型转化为tflite格式。
60.一般在登录手机软件时进行身份验证，在操作过程中不再进行身份验证；但是对于金融交易软件，如手机银行等来说，操作过程的安全性十分重要，为了提高操作过程的安全性，参见图3，在本技术一个实施例中，在步骤102之后，还包括：
61.步骤301：向所述目标用户的设备终端发送所述操作类型对应的身份认证提示信息，接收目标用户的用户唯一标识和身份认证手势图像。
62.具体地，所述用户唯一标识用于区分不同的用户，可以由数字和字母组成的字符串，如身份证号、账号等；例如，可以将身份认证提示信息：“请绘制转账界面对应的图案密码”以及绘制图案密码界面在目标用户的设备终端显示，目标用户应用绘制图案密码界面输入身份认证手势图像。
63.步骤302：根据预设的图像识别模型，确定所述身份认证手势图像对应的手势信息。
64.具体地，所述预设的图像识别模型可以为对卷积神经网络预先训练得到的。
65.步骤303：根据所述用户唯一标识和操作类型，获得所述目标用户对应的标准手势信息，判断所述手势信息和所述标准手势信息是否相同，若是，则确定所述目标用户的用户身份认证通过，将所述操作类型对应的操作界面输出显示。
66.具体地，用户可以针对不同的操作类型，预先配置不同的标准手势信息，标准手势信息可以表示用户打开一操作界面所需的正确手势信息；所述手势识别装置本地可以预先存储用户唯一标识、操作类型和标准手势信息之间的对应关系；可以根据所述用户唯一标识、操作类型以及所述用户唯一标识和标准手势信息之间的对应关系，获得所述目标用户对应的标准手势信息。
67.为了进一步说明本方案，本技术提供一种手势识别方法的应用实例，具体描述如下：
68.1)数据集构建：构建针对操作手机银行app手势相关的数据集，并进行增强处理。
69.2)特征提取：构建ghost模块，以低成本生成原始特征发掘所需的ghost重影特征；即针对手势图像或视频采用mobilenetv1网络进行特征提取和分析，以低成本生成原始特征发掘所需的ghost重影特征；
70.3)模型训练：基于ghost的mobilenetv1模型进行训练，从而保证手势的识别率；即针对改造后mobilenetv1模型进行训练，保证模型的轻量化，提高训练模型效率，从而预测不同条件下的人体操作手势。
71.4)针对预测结果绑定app操作事件。
72.由上述描述可知，本应用实例提供的手势识别方法，使用人工智能的方式，拟采用深度学习方法，通过对传统手势的特征进行提取和分析，构建训练模型，从而在各种条件下对手势进行快速的检测和精准的识别，实现操纵手机银行app的功能。
73.本发明实施例中还提供了一种手势识别装置，如下面的实施例所述。由于该装置解决问题的原理与手势识别方法相似，因此该装置的实施可以参见手势识别方法的实施，重复之处不再赘述。
74.参见图4，在本技术一个实施例中，所述手势识别装置包括：
75.接收模块41，用于接收目标用户的金融交易软件操作请求，该金融交易软件操作请求包括：手势图像；
76.识别模块42，用于根据预设的手势识别模型，对所述手势图像中的手势进行识别，得到所述目标用户对应的操作类型；
77.操作模块43，用于将所述操作类型对应的操作界面输出显示。
78.如图5所示，在本技术一个实施例中，所述的手势识别装置，还包括：
79.获取模块51，用于获取批量历史手势图像及其各自对应的标签；
80.训练模块52，用于根据批量历史手势图像及其各自对应的标签对基于ghost特征的mobilenet v1模型进行训练，构建得到所述手势识别模型。
81.在本技术一个实施例中，所述的手势识别装置，还包括：
82.转化模块，用于将所述预设的手势识别模型转化为tflite格式。
83.在本技术一个实施例中，所述的手势识别装置，还包括：
84.提示模块，用于向所述目标用户的设备终端发送所述操作类型对应的身份认证提示信息，接收目标用户的用户唯一标识和身份认证手势图像；
85.手势确定模块，用于根据预设的图像识别模型，确定所述身份认证手势图像对应的手势信息；
86.身份认证模块，用于根据所述用户唯一标识和操作类型，获得所述目标用户对应的标准手势信息，判断所述手势信息和所述标准手势信息是否相同，若是，则确定所述目标用户的用户身份认证通过，将所述操作类型对应的操作界面输出显示。
87.本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述手势识别方法。
88.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述手势识别方法。
89.本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述手势识别方法。
90.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
91.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
92.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
93.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
94.以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。