指关节操作的识别方法及电子设备与流程

本技术涉及人工智能(artificial intelligence，ai)，尤其涉及一种指关节操作的识别方法及电子设备。

背景技术：

1、触控屏(touch panel，tp)作为电子设备的人机交互装置，得到越来越广泛的应用。

2、目前，指关节是一种常用的用户与触控屏的交互方式。当用户将指关节在触控屏上进行触摸时，电子设备将检测到触摸点的信号发生变化。然后，电子设备可以根据变化的信号，识别出指关节交互方式，之后根据指关节与触控屏的触碰时间，以及指关节在触控屏的滑动距离等，执行截屏、录屏和切换窗口等快捷功能。

3、然而，传统指关节的触摸检测算法存在多种问题。比如，传统指关节的触摸检测算法泛化性能不足，导致对指关节交互方式的识别率低。再比如，传统指关节的触摸检测算法防伪能力不足，导致未能有效过滤非指关节交互方式，使得误触率高。因此，如何优化指关节的触摸检测算法称为亟待解决的技术问题。

技术实现思路

1、本技术提供一种指关节操作的识别方法及电子设备，解决了传统指关节的触摸检测算法存在的识别率低和误触率高等问题，提升了指关节的识别效果。

2、为达到上述目的，本技术采用如下技术方案：

3、第一方面，本技术实施例提供一种指关节操作的识别方法。该方法包括：

4、接收作用于触控屏的触控操作；

5、响应于触控操作，获取加速度(acceleration，acc)信号、电容(capacitor，cap)信号和触碰信号，acc信号为通过acc传感器采集的原始信号，cap信号为通过cap传感器采集的原始信号，触碰信号为对cap信号进行处理后得到的信号；

6、提取acc特征、置信度(score)特征和触摸特征，acc特征为acc信号中与指关节操作关联的特征，score特征为cap信号中与指关节操作关联的特征，触摸特征为触碰信号中与指关节操作关联的特征；

7、对acc特征、score特征和触摸特征进行特征融合；

8、将融合后的特征输入指关节分类模型，得到目标分类结果，目标分类结果指示触控操作为指关节操作或非指关节操作。

9、应理解，当指关节作用于触控屏的不同触控区域时，acc信号可能会呈现不同的变化趋势。因此，本技术实施例提出了从触碰信号提取触摸特征，用来判断接触面积和接触位置，acc信号中提取的acc特征，用来判断触摸屏幕的力度。另外，从cap信号中提取用于表征与指关节之间的相关性的score特征。然后，将acc特征、score特征和触摸特征进行特征融合输入指关节分类模型，从而可以获取更好的分类效果，提高指关节操作的识别率，并降低非指关节操作的误触率。

10、在一种可能的实现方式中，置信度特征为在加速度特征指示触控操作为指关节操作的情况下，从触碰信号中提取的特征。应理解，在加速度特征指示触控操作为非指关节操作的情况下，电子设备无需从触碰信号中提取的置信度特征，也无需进行后续的特征融合等操作。

11、在一种可能的实现方式中，提取acc特征、score特征和触摸特征，包括：

12、从acc信号中提取acc特征；

13、将acc特征输入acc二分类模型，得到初步分类结果；

14、在初步分类结果指示触控操作为指关节操作的情况下，将cap信号输入cap二分类模型，得到score特征，并从触碰信号中提取触摸特征。

15、在一种可能的实现方式中，提取acc特征、score特征和触摸特征，包括：

16、从acc信号中提取acc特征，并从触碰信号中提取触摸特征；

17、将acc特征输入acc二分类模型，得到初步分类结果；

18、在初步分类结果指示触控操作为指关节操作的情况下，将cap信号输入cap二分类模型，得到score特征。

19、应理解，通过取消手动设置的预设阈值，采用acc二分类模型对acc特征进行分类，实现了采用机器筛选方式代替人工筛选方式，从而提高了acc特征筛选效率，并且，提升了指关节信号的筛选效果。

20、在一种可能的实现方式中，触摸特征包括接触位置特征和接触面积特征中的至少一项。其中，接触位置特征用于表示身体部位在触控屏上的交互位置，接触面积特征用于表示身体部位与触控屏接触的面积。

21、在一种可能的实现方式中，接触位置特征用于表示触碰点所在网格的坐标网格编号。其中，触碰点所在网格为根据触控屏的分辨率，对触控屏划分得到的网格列表中的至少一个网格。

22、应理解，采用坐标表示触碰位置的方式存在计算量大和易泄漏用户隐私的问题，通过设置网格特征，可以实现在降低计算量和保护隐私的情况下，确定触碰点在触控屏中的大致位置，进而确定是否为指关节操作。

23、在一种可能的实现方式中，网格列表包括p行和q列网格。网格列表中的每个网格的长度等于触控屏的纵轴的像素点数除以p。网格列表中的每个网格的宽度等于触控屏的横轴的像素点数除以q。其中，p和q为正整数。

24、在一种可能的实现方式中，当触摸特征包括接触位置特征时，提取接触位置特征，包括：

25、根据触碰信号，确定触碰点的x轴坐标和y轴坐标；

26、根据x轴坐标和y轴坐标，确定表示触碰点所在网格的坐标网格编号的接触位置特征。

27、其中，x轴为触控屏所在平面的水平方向，y轴为触控屏所在平面的竖直方向。

28、在一种可能的实现方式中，acc特征包括以下至少一项：最大一阶差分特征，信号振幅特征，前段过零数特征，最大高通值特征，均值域绝对值之和特征，前段归一化值方差特征，前段归一化值振幅特征，快速傅立叶变换均值特征，以及部分快速傅立叶变换均值特征。

29、在一种可能的实现方式中，score特征为score得分。score得分用于表示cap信号与指关节操作的关联程度。

30、在一种可能的实现方式中，cap二分类模型为卷积神经网络模型。

31、在一种可能的实现方式中，acc二分类模型为全连接神经网络模型。

32、在一种可能的实现方式中，指关节分类模型为全连接神经网络模型。

33、在一种可能的实现方式中，该方法还包括：

34、在目标分类结果指示触控操作为指关节操作的情况下，确定触控操作属于的指关节手势，并执行与指关节手势对应的响应功能。其中，不同的指关节手势对应不同的响应功能。

35、在一种可能的实现方式中，指关节手势包括以下至少一项：指关节双击手势，指关节敲击并画圈手势，指关节敲击并画字母s手势，三个指关节沿着屏幕由上向下滑动手势，双指关节双击手势，指关节敲击并在屏幕中间画直线手势。

36、在一种可能的实现方式中，与指关节双击手势对应的响应功能为截取全屏功能。

37、在一种可能的实现方式中，与指关节敲击并画圈手势对应的响应功能为局部截屏功能。

38、在一种可能的实现方式中，与指关节敲击并画字母s手势对应的响应功能为滚动截屏功能。

39、在一种可能的实现方式中，与三个指关节沿着屏幕由上向下滑动手势对应的响应功能为滑动截屏功能。

40、在一种可能的实现方式中，与双指关节双击手势对应的响应功能为启动/停止录屏功能。

41、在一种可能的实现方式中，与指关节敲击并在屏幕中间画直线手势对应的响应功能为分屏功能。

42、第二方面，本技术提供一种识别装置，该装置包括用于执行上述第一方面的方法的单元/模块。该装置可对应于执行上述第一方面描述的方法，该装置中的单元/模块的相关描述请参照上述第一方面的描述，为了简洁，在此不再赘述。

43、第三方面，提供一种电子设备，包括处理器，该处理器与存储器耦合，该处理器用于执行该存储器中存储的计算机程序或指令，以使得电子设备实现如第一方面中任一项的指关节操作的识别方法。

44、第四方面，提供一种芯片，该芯片与存储器耦合，该芯片用于读取并执行该存储器中存储的计算机程序，以实现如第一方面中任一项的指关节操作的识别方法。

45、第五方面，提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，当该计算机程序在电子设备上运行时，使得电子设备执行如第一方面中任一项的指关节操作的识别方法。

46、第六方面，提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如第一方面中任一项的指关节操作的识别方法。

47、可以理解的是，上述第二方面至第六方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。