移动终端握持手势识别方法、移动终端及可读存储介质与流程

本发明涉及终端技术领域，尤其涉及一种移动终端握持手势识别方法、移动终端及可读存储介质。

背景技术：

目前市场上已有双面屏移动终端，即在终端的正面和反面都设置有触摸屏。目前识别用户握持移动终端握持手势的识别方法为在移动终端侧边设置传感器，通过侧边的传感器来识别用户当前的握持手势，即识别用户当前是左手握持、右手握持还是双手握持。但是，由于目前的终端是双面屏移动终端，通过传感器来识别用户的握持手势，识别的错误率较高(当用户用右手握持双面屏移动终端，使用双面屏移动终端的背面屏时，此时双面屏移动终端容易识别成左手握持)，且通过传感器识别用户握持手势需要在移动终端的两侧设置多个传感器，从而导致移动终端的生产成本较高。

技术实现要素：

本发明的主要目的在于提出一种移动终端握持手势识别方法、移动终端及可读存储介质，旨在解决现有的双面屏移动终端识别用户握持手势错误率高，生产成本高的技术问题。

为实现上述目的，本发明提供了一种移动终端握持手势识别方法，所述移动终端握持手势识别方法包括：

当检测到用户握持移动终端的握持操作时，获取用户触摸所述移动终端触摸屏的触控图片；

预处理所述触控图片，得到预处理后的所述触控图片；

将预处理后的所述触控图片输入至预置的卷积神经网络模型中，以识别出用户当前的握持手势。

可选地，所述将预处理后的所述触控图片输入至预置的卷积神经网络模型中，以识别出用户当前的握持手势的步骤包括：

解析预处理后的所述触控图片，得到所述触控图片对应的像素点矩阵；

将所述像素点矩阵输入至预置的所述卷积神经网络模型中，以识别出用户当前的握持手势。

可选地，所述将所述像素点矩阵输入至预置的所述卷积神经网络模型中，以识别出用户当前的握持手势的步骤包括：

将所述像素点矩阵输入所述卷积神经网络模型中，得到输出结果；

根据所述输出结果对应标识信息确定用户当前的握持手势，其中，所述握持手势包括左手握持、右手握持和双手握持。

可选地，所述预处理所述触控图片，得到预处理后的所述触控图片的步骤包括：

对所述触控图片进行裁剪，并变更裁剪后所述触控图片的透明度，得到变更透明度后的所述触控图片；

将变更透明度后的所述触控图片转变为灰度图片，将所述灰度图片进行压缩，以得到预处理后的所述触控图片。

可选地，所述当检测到用户握持移动终端的握持操作时，获取用户触摸所述移动终端触摸屏的触控图片的步骤之前，还包括：

获取各个操作模式对应的触控图片集，并对各个触控图片集中的触控图片进行预处理操作，得预处理后的所述触控图片集，其中，所述触控图片集中的任一触控图片都对应着一个模式标识，每一模式标识对应一种操作模式；

在预处理后的所述触控图片集中选取预设第一比例的所述触控图片作为训练图片集；

根据所述训练图片集训练卷积神经网络模型。

可选地，所述根据所述训练图片集训练卷积神经网络模型的步骤之后，还包括：

在预处理后的所述触控图片集中选取预设第二比例的所述触控图片作为测试图片集；

将所述测试图片集对应的触控图片输入所述卷积神经网络模型，得到测试结果；

若所述测试结果满足预设条件，则确认所述卷积神经网络模型训练成功。

可选地，所述根据所述训练图片集训练卷积神经网络模型的步骤包括：

从所述训练图片集中获取训练图片数据，并初始化卷积神经网络模型的预置参数，得到初始化后的所述预置参数；

根据所述训练图片数据和所述预置参数进行卷积计算，得到卷积结果；

获取预置的第一偏置量参数，根据所述第一偏置量参数对所述卷积结果进行非线性化处理，得到第一结果；

对所述第一结果进行池化处理和归一化处理，得到处理后的所述第一结果；

获取预置的第二偏置量参数，根据所述第二偏置量参数对处理后的所述第一结果进行非线性化处理，得到第二结果；

基于预设函数，根据所述第二结果计算出预测握持标识序列；

计算所述预测握持标识序列与所述训练图片集中触控图片对应的训练握持标识序列之间的损失值；

根据所述损失值优化所述卷积神经网络模型的参数，得到优化后的参数，并根据优化后的参数得到所述卷积神经网络模型。

可选地，所述根据所述损失值优化所述卷积神经网络模型的参数，得到优化后的参数，并根据优化后的参数得到所述卷积神经网络模型步骤之后，还包括：

根据所述训练图片集中各个触控图片对应的模式标识确定所述训练图片集中各种握持手势的数量，记为第一数量；

获取训练所述卷积神经网络模型过程中所得的训练结果，确定所述训练结果中各种握持手势的数量，记为第二数量；

根据所述第一数量和所述第二数量计算所述卷积神经网络模型识别用户握持手势的准确率；

若所述准确率小于预设比例值，则继续训练所述卷积神经网络模型。

此外，为实现上述目的，本发明还提供一种移动终端，所述移动终端包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的握持手势识别程序，所述握持手势识别程序被所述处理器执行时实现如上文所述的移动终端握持手势识别方法的步骤。

此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有握持手势识别程序，所述握持手势识别程序被处理器执行时实现如上文所述的移动终端握持手势识别方法的步骤。

在本发明中，通过当检测到用户握持移动终端的握持操作时，获取用户触摸所述移动终端触摸屏的触控图片；预处理所述触控图片，得到预处理后的所述触控图片；将预处理后的所述触控图片输入至预置的卷积神经网络模型中，以识别出用户当前的握持手势。通过卷积神经网络模型识别出用户握持双面屏移动终端的握持手势，相对于现有的通过移动终端侧边传感器识别用户握持手势的识别方法，通过卷积神经网络模型识别握持手势，提高了识别用户握持手势的准确率，且由于不需要在移动终端侧边设置传感器识别用户的握持手势，降低了移动终端的生产成本。

附图说明

图1为实现本发明各个实施例一种终端的硬件结构示意图；

图2为本发明实施例提供的一种通信网络系统架构图；

图3为本发明移动终端握持手势识别方法第一实施例的流程示意图；

图4为本发明实施例中预处理触控图片，得到预处理后的触控图片的一种流程示意图；

图5a为本发明实施例中裁剪前触控图片的一种示意图；

图5b为本发明实施例中裁剪后触控图片的一种示意图；

图5c为本发明实施例中压缩后的触控图片的一种示意图；

图6为本发明实施例中将预处理后的触控图片输入至预置的卷积神经网络模型中，以识别出用户当前的握持手势的一种流程示意图；

图7为本发明移动终端握持手势识别方法第二实施例的一种流程示意图；

图8为本发明移动终端握持手势识别方法第三实施例的一种流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

移动终端可以以各种形式来实施。例如，本发明中描述的设备可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(personaldigitalassistant，pda)等移动终端。

本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。

请参阅图1，其为实现本发明各个实施例的一种移动终端的硬件结构示意图，该移动终端100可以包括：rf(radiofrequency，射频)单元101、wi-fi模块102、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解，图1中示出的移动终端100结构并不构成对移动终端100的限定，移动终端100可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图1对移动终端100的各个部件进行具体的介绍：

射频单元101可用于收发信息或通话过程中，信号的接收和发送，具体的，将基站的下行信息接收后，给处理器110处理；另外，将上行的数据发送给基站。通常，射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于gsm(globalsystemofmobilecommunication，全球移动通讯系统)、gprs(generalpacketradioservice，通用分组无线服务)、cdma2000(codedivisionmultipleaccess2000，码分多址2000)、wcdma(widebandcodedivisionmultipleaccess，宽带码分多址)、td-scdma(timedivisionsynchronouscodedivisionmultipleaccess，时分同步码分多址)、fdd-lte(frequencydivisionduplexing-longtermevolution，频分双工长期演进)和tdd-lte(timedivisionduplexing-longtermevolution，分时双工长期演进)等。

wi-fi属于短距离无线传输技术，移动终端100通过wi-fi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图1示出了wi-fi模块102，但是可以理解的是，其并不属于移动终端100的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器(liquidcrystaldisplay，lcd)、有机发光二极管(organiclight-emittingdiode，oled)等形式来配置显示面板1061。

用户输入单元107可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作)，并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器110，并能接收处理器110发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071，用户输入单元107还可以包括其他输入设备1072。具体地，其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种，具体此处不做限定。

进一步的，触控面板1071可覆盖显示面板1061，当触控面板1071检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中，触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能，具体此处不做限定。

接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。

存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器109可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

处理器110是移动终端100的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器109内的软件程序和/或模块，以及调用存储在存储器109内的数据，执行移动终端100的各种功能和处理数据，从而对移动终端100进行整体监控。处理器110可包括一个或多个处理单元；优选的，处理器110可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。

此外，在图1所示的移动终端100中，移动终端100的正面和背面都存在触摸屏，处理器110用于调用存储器109中存储的握持手势识别程序，并执行以下步骤：

当检测到用户握持移动终端100的握持操作时，获取用户触摸移动终端100触摸屏的触控图片；

预处理触控图片，得到预处理后的触控图片；

将预处理后的触控图片输入至预置的卷积神经网络模型中，以识别出用户当前的握持手势。

进一步地，将预处理后的触控图片输入至预置的卷积神经网络模型中，以识别出用户当前的握持手势的步骤包括：

解析预处理后的触控图片，得到触控图片对应的像素点矩阵；

将像素点矩阵输入至预置的卷积神经网络模型中，以识别出用户当前的握持手势。

进一步地，将像素点矩阵输入至预置的卷积神经网络模型中，以识别出用户当前的握持手势的步骤包括：

将像素点矩阵输入卷积神经网络模型中，得到输出结果；

根据输出结果对应标识信息确定用户当前的握持手势，其中，握持手势包括左手握持、右手握持和双手握持。

进一步地，预处理触控图片，得到预处理后的触控图片的步骤包括：

对触控图片进行裁剪，并变更裁剪后触控图片的透明度，得到变更透明度后的触控图片；

将变更透明度后的触控图片转变为灰度图片，将灰度图片进行压缩，以得到预处理后的触控图片。

进一步地，当检测到用户握持移动终端100的握持操作时，获取用户触摸移动终端100触摸屏的触控图片的步骤之前，处理器110用于调用存储器109中存储的移动终端100握持手势识别程序，执行以下步骤：

获取各个操作模式对应的触控图片集，并对各个触控图片集中的触控图片进行预处理操作，得预处理后的触控图片集，其中，触控图片集中的任一触控图片都对应着一个模式标识，每一模式标识对应一种操作模式；

在预处理后的触控图片集中选取预设第一比例的触控图片作为训练图片集；

根据训练图片集训练卷积神经网络模型。

进一步地，根据训练图片集训练卷积神经网络模型的步骤之后，处理器110用于调用存储器109中存储的移动终端100握持手势识别程序，执行以下步骤：

在预处理后的触控图片集中选取预设第二比例的触控图片作为测试图片集；

将测试图片集对应的触控图片输入卷积神经网络模型，得到测试结果；

若测试结果满足预设条件，则确认卷积神经网络模型训练成功。

进一步地，根据训练图片集训练卷积神经网络模型的步骤包括：

从训练图片集中获取训练图片数据，并初始化卷积神经网络模型的预置参数，得到初始化后的预置参数；

根据训练图片数据和预置参数进行卷积计算，得到卷积结果；

获取预置的第一偏置量参数，根据第一偏置量参数对卷积结果进行非线性化处理，得到第一结果；

对第一结果进行池化处理和归一化处理，得到处理后的第一结果；

获取预置的第二偏置量参数，根据第二偏置量参数对处理后的第一结果进行非线性化处理，得到第二结果；

基于预设函数，根据第二结果计算出预测握持标识序列；

计算预测握持标识序列与训练图片集中触控图片对应的训练握持标识序列之间的损失值；

根据损失值优化卷积神经网络模型的参数，得到优化后的参数，并根据优化后的参数得到卷积神经网络模型。

进一步地，根据损失值优化卷积神经网络模型的参数，得到优化后的参数，并根据优化后的参数得到卷积神经网络模型步骤之后，处理器110用于调用存储器109中存储的移动终端100握持手势识别程序，执行以下步骤：

根据训练图片集中各个触控图片对应的模式标识确定训练图片集中各种握持手势的数量，记为第一数量；

获取训练卷积神经网络模型过程中所得的训练结果，确定训练结果中各种握持手势的数量，记为第二数量；

根据第一数量和第二数量计算卷积神经网络模型识别用户握持手势的准确率；

若准确率小于预设比例值，则继续训练卷积神经网络模型。

移动终端100还可以包括给各个部件供电的电源111(比如电池)，优选的，电源111可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管图1未示出，移动终端100还可以包括蓝牙模块等，在此不再赘述。

为了便于理解本发明实施例，下面对本发明的移动终端100所基于的通信网络系统进行描述。

请参阅图2，图2为本发明实施例提供的一种通信网络系统架构图，该通信网络系统为通用移动通信技术的lte系统，该lte系统包括依次通讯连接的ue(userequipment，用户设备)201，e-utran(evolvedumtsterrestrialradioaccessnetwork，演进式umts陆地无线接入网)202，epc(evolvedpacketcore，演进式分组核心网)203和运营商的ip业务204。

具体地，ue201可以是上述移动终端100，此处不再赘述。

e-utran202包括enodeb2021和其它enodeb2022等。其中，enodeb2021可以通过回程(backhaul)(例如x2接口)与其它enodeb2022连接，enodeb2021连接到epc203，enodeb2021可以提供ue201到epc203的接入。

epc203可以包括mme(mobilitymanagemententity，移动性管理实体)2031，hss(homesubscriberserver，归属用户服务器)2032，其它mme2033，sgw(servinggateway，服务网关)2034，pgw(pdngateway，分组数据网络网关)2035和pcrf(policyandchargingrulesfunction，政策和资费功能实体)2036等。其中，mme2031是处理ue201和epc203之间信令的控制节点，提供承载和连接管理。hss2032用于提供一些寄存器来管理诸如归属位置寄存器(图中未示)之类的功能，并且保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过sgw2034进行发送，pgw2035可以提供ue201的ip地址分配以及其它功能，pcrf2036是业务数据流和ip承载资源的策略与计费控制策略决策点，它为策略与计费执行功能单元(图中未示)选择及提供可用的策略和计费控制决策。

ip业务204可以包括因特网、内联网、ims(ipmultimediasubsystem，ip多媒体子系统)或其它ip业务等。

虽然上述以lte系统为例进行了介绍，但本领域技术人员应当知晓，本发明不仅仅适用于lte系统，也可以适用于其他无线通信系统，例如gsm、cdma2000、wcdma、td-scdma以及未来新的网络系统等，此处不做限定。

基于上述终端硬件结构以及通信网络系统，提出本发明移动终端握持手势识别方法的各个实施例。

本发明提供一种移动终端握持手势识别方法。

参照图3，图3为本发明移动终端握持手势识别方法第一实施例的流程示意图。

在本实施例中，提供了移动终端握持手势识别方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

在本实施例中，移动终端100握持手势识别方法可选应用于正面和背面都存在触摸屏的移动终端100中，移动终端100握持手势识别方法包括：

步骤s10，当检测到用户握持移动终端100的握持操作时，获取用户触摸移动终端100触摸屏的触控图片。

当移动终端100检测到用户的握持操作时，获取用户触摸移动终端100背面触摸屏的触控图片。需要说明的是，在本发明实施例中，移动终端100的正面和背面分别设置有触摸屏，即移动终端100为双面屏终端。如在双面屏移动终端100中，移动终端100的正面可为普通彩色触摸屏，背面可为黑白电子墨水触摸屏。具体地，移动终端100可通过触摸屏中的传感器来检测用户的握持操作，获取用户触摸移动终端100触摸屏的触控图片。在本实施例中，以用户在移动终端100在正面触摸屏中进行触摸操作为例进行说明。

步骤s20，预处理触控图片，得到预处理后的触控图片。

当移动终端100获取到触控图片后，预处理触控图片，以得到预处理后的触控图片。其中，对触控图片进行预处理的步骤可为裁剪、变更透明度、灰度变换、压缩等操作中的一种或者多种。

进一步地，参照图4，步骤s20包括：

步骤s21，对触控图片进行裁剪，并变更裁剪后触控图片的透明度，得到变更透明度后的触控图片。

进一步地，移动终端100对触控图片进行预处理的具体过程可为：对触控图片进行裁剪，得到裁剪后的触控图片。其中，对触控图片的裁剪幅度可根据具体需要而设置，如裁剪掉触控图片中不含有用户手部图像的部分内容，具体地，参照图5a和图5b，图5a为本发明实施例中裁剪前触控图片的一种示意图，图5b为本发明实施例中裁剪后触控图片的一种示意图。由图5a和图5b可知，裁剪后的触控图片的面积小于裁剪前触控图片的面积。

当得到裁剪后的触控图片时，变更裁剪后触控图片的透明度，得到变更透明度后的触控图片。需要说明的是，在变更裁剪后触控图片透明度的过程中，可以将一幅裁剪后触控图片修改成多幅不同的透明度的触控图片，得到多张不同透明度的触控图片。

步骤s22，将变更透明度后的触控图片转变为灰度图片，将灰度图片进行压缩，以得到预处理后的触控图片。

当得到变更透明度后的触控图片时，将变更透明度后的触控图片转变为灰度图片，并将灰度图片进行压缩，以得到预处理后的触控图片。其中，压缩算法包括但不限于哈夫曼编码、预测编码和lzw(lempelzivwelch)编码。具体地，参照图5a和图5c，图5c为本发明实施例中压缩后的触控图片。由图5a和图5c可知，灰度图片经过压缩后，可减小灰度图片的大小。

需要说明的是，通过裁剪触控图片、对触控进行灰度变换以及压缩触控图片，以减少后续在通关触控图片训练卷积神经网络模型过程中，减少计算量，提高训练卷积神经网络模型的效率。

步骤s30，将预处理后的触控图片输入至预置的卷积神经网络模型中，以识别出用户当前的握持手势。

当得到预处理后的触控图片后，移动终端100将预处理后的触控图片输入至预置的卷积神经网络模型中，以识别出用户当前的握持移动终端100的握持手势。其中，用户握持移动终端100的握持手势包括三种，分别为左手握持、右手握持和双手握持。预置的卷积神经网络模型是通过触控图片训练出来的。

进一步地，参照图6，步骤s30包括：

步骤s31，解析预处理后的触控图片，得到触控图片对应的像素点矩阵。

步骤s32，将像素点矩阵输入至预置的卷积神经网络模型中，以识别出用户当前的握持手势。

进一步地，当得到预处理后的触控图片后，移动终端100解析预处理后的触控图片，得到触控图片对应的像素点矩阵，并将所得的像素点矩阵输入至预置的卷积神经网络模型中，以识别出用户当前的握持手势。

进一步地，步骤s32包括：

步骤a，将像素点矩阵输入卷积神经网络模型中，得到输出结果。

步骤b，根据输出结果对应标识信息确定用户当前的握持手势，其中，握持手势包括左手握持、右手握持和双手握持。

进一步地，当得到触控图片对应的触控图片后，移动终端100将像素点矩阵输入至卷积神经网络模型中，得到输出结果，并根据输出结果对应的标识信息确定用户当前的握持手势，即确定用户当前是左手握持、右手握持还是双手握持移动终端100。其中，不同握持手势对应的标识信息不同，如可设置为“1”表示右手握持、“2”表示左手握持，“3”表示双手握持；或者设置为“a”表示右手握持、“b”表示左手握持，“c”表示双手握持。

本实施例通过当检测到用户握持移动终端100的握持操作时，获取用户触摸移动终端100触摸屏的触控图片；预处理触控图片，得到预处理后的触控图片；将预处理后的触控图片输入至预置的卷积神经网络模型中，以识别出用户当前的握持手势。通过卷积神经网络模型识别出用户握持双面屏移动终端的握持手势，相对于现有的通过移动终端100侧边传感器识别用户握持手势的识别方法，通过卷积神经网络模型识别握持手势，提高了识别用户握持手势的准确率，且由于不需要在移动终端100侧边设置传感器识别用户的握持手势，降低了移动终端100的生产成本。

进一步地，基于第一实施例提出本发明移动终端100握持手势识别方法的第二实施例。移动终端100握持手势识别方法的第二实施例与移动终端100握持手势识别方法的第一实施例的区别在于，参照图7，移动终端100握持手势识别方法还包括：

步骤s40，获取各个操作模式对应的触控图片集，并对各个触控图片集中的触控图片进行预处理操作，得预处理后的触控图片集，其中，触控图片集中的任一触控图片都对应着一个模式标识，每一模式标识对应一种操作模式。

在训练卷积神经网络模型过程中，先获取各个操作模式对应的触控图片集，并对各个触控图片集中的触控图片进行预处理操作，以得到预处理后的触控图片集。其中，对触控图片集中触控图片进行预处理操作的过程和本发明第一实施例中预处理触控图片的过程一致，在此不再赘述。触控图片集中任一触控图片都对应着一个模式标识，每一个模式标识对应着一种操作模式。

用户握持移动终端100的操作模式包括但不限于下列所描述的操作模式。如当移动终端100在竖屏模式下，操作模式包括右手点击模式(a1)，右手滑动模式(a2)，右手输入模式(a3)；左手点击模式(b1)，左手滑动模式(b2)，左手输入模式(b3)；双手点击模式(c1)，双手滑动模式(c2)，双手输入模式(c3)。需要说明的是，“a1”、“a2”“b2”等为对应操作模式的模式标识。通过该模式标识，可以确定用户握持移动终端100的握持手势和操作模式。在本实施例中，模式标识中的第一位标识表示握持手势，第二位标识表示操作模式。在其它实施例中，模式标识也可为其它表现形式，在此不做限制。右手点击模式表示用户右手握持移动终端100，并在移动终端100触摸屏上触发点击操作；右手滑动模式表示用户右手握持移动终端100，并在移动终端100触摸屏上触发滑动操作；右手输入模式表示右手双手握持移动终端100，并在移动终端100触摸屏上触发文字输入操作。可以理解的是，其它操作模式的操作方式和用户右手握持移动终端100时类似，在此不再赘述。

当移动终端100处于横屏模式时，移动终端100的操作模式和移动终端100处于竖屏模式时的操作模式一致，在此不再赘述。

进一步地，在获取各个操作模式对应的触控图片集的过程中，先获取触控图片，根据触控图片对应的操作模式为所获取的触控图片添加模式标识，根据模式标识对触控图片进行分类，将模式标识相同的触控图片分为一类，得到触控图片集。其中，模式标识的表现形式并不限制上述描述的形式，在此不做限制。

进一步地，为了保证训练出来的卷积神经网络模型识别握持手势的准确度，每一触控图片集中触控图片的数量要大于预定数量，如每一触控图片集中触控图片的数量要大于2000，或者大于3000等。为了保证训练出来的卷积神经网络模型识别握持手势的准确度，在获取触控图片过程中，要进行无序获取，即不可以连续获取多张右手点击模式对应的触控图片，应交替获取不同操作模式对应的触控图片。为了保证训练出来的卷积神经网络模型识别握持手势的准确度，可获取不同用户对应的触控图片，且获取机型不同的移动终端100所采集的触控图片。

步骤s50，在预处理后的触控图片集中选取预设第一比例的触控图片作为训练图片集。

步骤s60，根据训练图片集训练卷积神经网络模型。

在得到预处理后的触控图片集后，移动终端100在预处理后的触控图片集中选取预设第一比例的触控图片作为训练图片集，并根据训练图片集训练卷积神经网络模型。需要说明的是，为了保证训练出来的卷积神经网络模型识别握持手势的准确度，在训练图片集中，应包含各个触控图片集中的触控图片，且各个触控图片集中触控图片的数量应达到一定比例。在本实施例中，预设第一比例可根据具体需要而设置，如可设置为60％，即从每一触控图片集选取60％的触控图片作为训练图片集。

进一步地，步骤s60包括：

步骤c，从训练图片集中获取训练图片数据，并初始化卷积神经网络模型的预置参数，得到初始化后的预置参数。

当得到训练图片集后，从训练图片集中获取训练图片数据。其中，训练图片数据为训练图片集中各个触控图片的像素点数据。初始化卷积神经网络模型的预置参数，得到初始化后的预置参数，如将卷积神经网络的预置参数初始化为32个5*5的卷积核，步长stride均为1，padding模式为same。

步骤d，根据训练图片数据和预置参数进行卷积计算，得到卷积结果。

当得到训练图片数据和初始化后的预置参数后，将训练图片数据作为输入，输入至卷积神经网络模型对应的计算公式中，得到卷积结果。卷积神经网络模型对应的计算公式为：

如采用32个5*5的卷积核对训练图片数据进行卷积计算，步长stride均为1，padding模式为same。需要说明的是，在本实施例中，不对卷积核尺寸、个数、步长和padding模式进行限制，也可以采用其它卷积核尺寸、个数、步长和padding模式对训练图片数据进行卷积计算。

步骤e，获取预置的第一偏置量参数，根据第一偏置量参数对卷积结果进行非线性化处理，得到第一结果。

当得到卷积结果后，获取预置的第一偏置量参数，根据第一偏置量参数使用激活函数对卷积结果进行非线性化处理，得到第一结果。其中，第一偏置量参数是预先设置好的，具体地，第一偏置量参数可根据具体需要而设置，如可以设置为0，0.1等。需要说明的是，偏置量参数在计算过程中会不断改变。激活函数包括但不限于relu激活函数和sigmoid激活函数，如选择relu激活函数，第一偏置量参数用bias1，卷积结果用kernel1，第一结果用conv1表示时，可以得到conv1＝relu(kernel1+bias1)。

步骤f，对第一结果进行池化处理和归一化处理，得到处理后的第一结果。

当得到第一结果后，对第一结果进行池化操作，得到池化后的第一结果。在本发明实施例中，池化方式包括但不限于最大池化方式和平均池化方式。当得到池化后的第一结果后，对池化后的第一结果进行归一化处理，具体地，可通过lrn(localresponsenormalizaiton)函数对池化后的第一结果进行归一化处理，得到处理后的第一结果。

进一步地，当得到处理后的第一结果后，对处理后的第一结果进行平坦化处理，以提高最终所得的卷积神经网络模型的准确度。

进一步地，当得到处理后的第一结果后，可再次初始化卷积神经网络模型的预置参数，得到初始化后的预置参数，然后执行步骤d，步骤e和步骤f，以优化处理后的第一结果。可以理解的，重复执行初始化卷积神经网络模型的预置参数，得到初始化后的预置参数，然后执行步骤d，步骤e和步骤f的次数可根据具体需要设置，在此不做限制。

步骤g，获取预置的第二偏置量参数，根据第二偏置量参数对处理后的第一结果进行非线性化处理，得到第二结果。

当得到处理后的第一结果后，获取预置的第二偏置量参数，根据第二偏置量参数使用激活函数对处理后的第一结果进行非线性化处理，得到第二结果。可以理解的是，步骤g的具体过程与步骤e的具体过程一致，在此不再赘述。需要说明的是，为了优化第二结果，可多次执行步骤g，步骤g重复执行的次数在此不做限制，可根据具体需要而设置。

步骤h，基于预设函数，根据第二结果计算出预测握持标识序列。

当得到第二结果后，基于预设函数，根据第二结果计算出预测握持标识序列。在本实施例中，预设函数为softmax函数，在其它实施例中，预设函数也可为和softmax函数具备同样功能的函数。其中，预测握持标识序列为在训练卷积神经网络模型过程中，根据输入卷积神经网络模型对应公式中训练图片数据的先后顺序所得的握持标识序列。具体地，可为训练图片集中的触控图片添加顺序标识，使所得训练图片数据中也含有顺序标识，使得所得预测握持标识序列中的各个握持标识中携带顺序标识。

步骤i，计算预测握持标识序列与训练图片集中触控图片对应的训练握持标识序列之间的损失值。

当得到预测握持标识序列后，计算预测握持标识序列与训练图片集中触控图片对应的训练握持标识序列之间的损失值。具体地。可通过交叉熵方式计算出该损失值。其中，训练握持标识序列是根据进行卷积计算的训练图片数据对应的触控图片的模式标识所得，训练握持标识序列与预测握持标识序列对应的顺序标识应一致。

下面举例说明计算损失值的过程：如当进行卷积计算的触控图片有5张，则对应的训练图片数据有5份，一张触控图片对应着一份训练图片数据，这5张触控图片都有对应的模式标识。若对这5份训练图片数据对应的顺序标识依次为1，2，3，4和5，且最终得到的对应预测握持标识序列为a、a、c、b、c，则对应在训练图片集中获取顺序标识为1，2，3，4和5的触控图片对应的训练握持标识序列，从而根据预测握持标识和训练握持标识序列计算出损失值。可以理解的是，进行卷积计算的训练图片数据是不携带模式标识。

步骤j，根据损失值优化卷积神经网络模型的参数，得到优化后的参数，并根据优化后的参数得到卷积神经网络模型。

当得到损失值后，根据损失值优化卷积神经网络模型的参数，得到优化后的参数，并根据优化后参数得到卷积神经网络模型，即将优化后的参数替换卷积神经网络模型中对应的参数，以得到可以识别用户握持手势的卷积神经网络模型。在本实施例中，通过优化器对卷积神经网络模型的参数进行优化，具体地，对优化器的种类不做限制，如可为adamoptimizer优化器。

进一步地，还可计算损失值的均值，通过损失值的均值来优化卷积神经网络模型的参数。

进一步地，若训练卷积神经网络模型的过程在另一终端中进行，则当成功训练出卷积神经网络模型后，将卷积神经网络模型通过相应的api(applicationprogramminginterface，应用程序编程接口)移植至需要识别用户握持手势的移动终端100中。

本实施例通过获取用户操作模式对应的触控图片集，并在触控图片集中选取触控图片作为训练图片集，根据训练图片集训练卷积神经网络模型。实现了根据具体的用户操作模式对应的触控图片来训练用于识别用户握持手势的卷积神经网络模型，使得最终所得的卷积神经网络模型能准确识别出用户的握持手势。

进一步地，基于第二实施例提出本发明移动终端100握持手势识别方法的第三实施例。移动终端100握持手势识别方法的第三实施例与移动终端100握持手势识别方法的第二实施例的区别在于，参照图8，移动终端100握持手势识别方法还包括：

步骤s70，在预处理后的触控图片集中选取预设第二比例的触控图片作为测试图片集。

步骤s80，将测试图片集对应的触控图片输入卷积神经网络模型，得到测试结果。

步骤s90，若测试结果满足预设条件，则确认卷积神经网络模型训练成功。

当训练得到卷积神经网络模型后，从预处理后的触控图片集中选取预设第二比例的触控图片作为测试图片集，获取测试图片集中对应触控图片的测试图片数据，将测试图片数据输入至卷积神经网络模型中，得到测试结果。若测试结果满足预设条件，即测试结果的准确率达到预定比例，则确认卷积神经网络模型训练成功。其中，预设第二比例小于预设第一比例，如可以设置为触控图片集的20％，或者10％等。预定比例可根据具体需要而设置，如可以设置为97％，或者99％等。若测试结果和对应进行测试的触控图片的握持手势一致，则认为该触控图片的测试结果准确，否者，则认为该触控图片的测试结果错误。

若测试结果不满足预设条件，即测试结果的准确率低于预定比例，则确认卷积神经网络模型训练失败，需要再次优化卷积神经网络模型的参数，或者继续训练卷积神经网络模型。

进一步地，若训练卷积神经网络模型的过程是在另一终端中进行的，则在将卷积神经网络模型移植到需要进行握持手势识别的移动终端100后，可选取一定数量的触控图片作为验证图片集以验证该卷积神经网络模型，根据验证图片集验证卷积神经网络模型的过程和采用测试图片集测试卷积神经网络模型的过程一致，在此不再赘述。

本实施例通过在训练出卷积神经网络模型后，获取一定数量的测试图片集测试该卷积神经网络模型的识别用户握持手势的准确率，以确保移动终端100最终所使用的卷积神经网络模型识别用户握持手势的准确率。

进一步地，基于第二实施例提出本发明移动终端100握持手势识别方法的第四实施例。移动终端100握持手势识别方法的第四实施例与移动终端100握持手势识别方法的第二实施例的区别在于，移动终端100握持手势识别方法还包括：

步骤k，根据训练图片集中各个触控图片对应的模式标识确定训练图片集中各种握持手势的数量，记为第一数量。

步骤l，获取训练卷积神经网络模型过程中所得的训练结果，确定训练结果中各种握持手势的数量，记为第二数量。

步骤m，根据第一数量和第二数量计算卷积神经网络模型识别用户握持手势的准确率。

步骤n，若准确率小于预设比例值，则继续训练卷积神经网络模型。

在训练出卷积神经网络模型后，移动终端100根据训练图片集中各个触控图片对应的模式标识确定训练图片集中各种握持手势的数量，记为第一数量；获取训练卷积神经网络模型过程中所得的训练结果，确定训练结果中各种握持手势的数量，记为第二数量。移动终端100根据第一数量和第二数量计算卷积神经网络模型识别用户握持手势的准确率，即根据第二数量和第一数量之间的商确定准确率。若准确率大于或者等于预设比例值，则确定训练所得的卷积神经网络模型符合要求；若准确率小于预设比例值，则继续训练该卷积神经网络模型。其中，预设比例值可根据具体需要而设置，如可以设置为98％，或者96％等。

本实施例通过计算卷积神经网络模型预测用户握持手势的准确率，若准确率小于预设比例值，则继续训练卷积神经网络模型，以使得训练所得的卷积神经网络模型符合要求，保证卷积神经网络模型预测用户握持手势的准确率。

此外，本发明实施例还提出一种计算机可读存储介质。

计算机可读存储介质上存储有握持手势识别程序，握持手势识别程序被处理器执行时实现如上文的移动终端握持手势识别方法的步骤。

本发明计算机可读存储介质具体实施方式与上述移动终端握持手势识别方法各实施例基本相同，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其它变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其它要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。