一种基于智能手表的人体手指动作识别方法与流程

本发明属于通信电子技术领域，具体涉及一种基于智能手表的人体手指细微动作识别方法。

背景技术：

近年来智能可穿戴设备得到了快速的发展，以智能手表和智能手环为代表的各类民用可穿戴设备得到大力普及。然而由于智能手表屏幕很小以及单一的按键，人们在进行信息交互和使用时十分不方便。

同时，现有的基于智能手表人体活动识别研究主要集中在下肢简单行为识别上，例如计步功能，智能硬件的能力并没有得到充分发挥，导致用户粘性不足。

如果智能手表能够区分不同的手指细微动作，会给智能手表带来巨大的商业价值，丰富智能手表的功能，简化人机交互过程。早期在人体手指细微运动的研究工作主要是利用特殊的传感器和专业设备等，例如肌肉电信号传感器和定制手套，虽然这些定制设备具有很强的能力去检测手指肌肉运动，但需要额外的硬件，增加了成本。同时，介于当前智能手表大多只配备了单枚加速度传感器，研究基于单枚加速度器的人体手指细微动作识别是非常有意义的。

为此本发明提出了一种基于智能手表的人体手指动作识别方法，通过智能手表内置的加速度传感器采集手指运动数据，在智能手表上识别手指细微动作得出手指识别结果，利用识别结果来对智能手表进行操作和控制。此发明在通用的智能手表上，不增加硬件成本，将为智能手表带来更多的智能应用，提高人表交互的便捷性。

技术实现要素：

本发明提供了一种基于智能手表的人体手指细微动作识别方法，用于解决用户与智能手表交互信息误操作以及依赖特殊设备对手指动作进行识别成本高等问题，利用通用智能手表理解识别人体手指动作，对智能手表进行操作和控制，提供了更加自然的交互方式，赋予智能手表新的应用契机。

为了精确识别理解人体手指动作和对智能手表进行正确操作，本发明利用通用的智能手表的内置加速度传感器和运算能力对数据进行采集和处理，同时设计了一套人体手指动作识别方法，来实现人体手指动作的精确识别，并对智能手表进行操作和控制，主要包含以下几个特征：

(1)精确提取手指动作片段算法。在智能手表采集人体手指细微动作过程中，通过数据预处理算法过滤原始采集数据的噪声，得到有效的手指动作产生的加速度信号数据。同时，采用数据序列分割提取动作片段算法，对手指动作产生的连续加速度信号数据序列进行分割，得到若干长度相等的数据片段，利用加速度和均值阈值过滤提取包含完整手指动作的数据片段，实现手指动作片段提取的自动化，主动让机器对动作进行认知。

(2)手指动作加速度特征值选取方法。智能手表提取到的手指动作片段仍然具有采集时的原始数据形态，要经过特征值提取获得该动作窗口内的加速度数据特征值。选取特征值算法。用于从手指运动全部加速度数据特征值中选取具有一部分优秀数据表征能力的特征值，降低系统开销。

(3)根据识别手指动作对智能手表进行控制和操作方案。在该方案中，通过大量手指动作样本训练集结合分类算法构建手指动作识别分类模型，并将该分类模型保存在智能手表应用当中。同时，将选取的数据特征值作为手指动作识别分类模型的输入，使智能手表正确理解识别不同的手指动作，得出识别结果。智能手表响应识别结果对智能手表进行相应操作和控制，达到人体手指动作控制和使用智能手表的目的。

附图说明

图1是本发明中系统整体流程的示意图

图2智能手表采集手指动作示意图

图3是本发明中动作片段提取流程图

图4是本发明中选取特征值流程图

图5是本发明中操作智能手表示意图

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好的理解本发明，并使本发明的上述目的、特征和优点能够更加明显易懂。需要特别提醒注意的是，在以下描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

在本发明中，包含对智能手表加速度传感器采集手指动作信号精确提取手指动作片段算法、手指动作片段加速度特征值选取方法以及根据识别手指动作对智能手表进行控制和操作方案，系统整体流程如图1所示，下面分别进行详细介绍。

(1)精确提取手指动作片段算法

1)采集连续手指动作原始数据

本文的人体手指细微动作数据采集主要是通过佩戴在人体手腕处智能手表中的三维加速度感应器获取人体在运动瞬间产生的加速度值。手指做出不同的细微动作时，会有不同的传感器变化幅度。这些不同的手指连接到手腕上肌腱组织，根据动作的不同，产生不同的加速度反馈至智能手表上。其中，加速度感应器提供了x、y、z三维方向的加速度矢量数据，x、y、z三个方向是固定的，它们与手表屏幕的关系如图2所示。

2)数据预处理(降噪和滤波)

采集到的数据会不可避免的受到噪声的影响，受到噪声干扰主要有两点：第一，智能手表内置加速度计会受到重力的影响，因此加速度输出包含了重力加速度的分量和运动产生的加速度分量；第二，人体手臂和手部会有不自主的微小抖动以及佩戴手表角度和方向的不同，这些噪声对手指细微动作识别造成了一定的干扰。为了能够进一步获取更加稳定和可用的数据特征，在提取动作片段和特征值之前，需要对采集的原始数据进行一些预处理操作，主要包括降噪、滤波等操作。

i.降噪

为了测量手指运动实际产生的加速度，必须从加速度计数据中去除重力的贡献。由于重力加速度分量在信号中是低频，可以使用低通滤波器来隔离重力，从原始加速度输出分离出了每个轴上重力加速度信号和运动产生加速度信号，最终得到手指运动产生的运动加速度信号数据。

ii.滤波

对于运动加速度信号的去噪，我们通过计算各个轴上的运动加速度平方和，如公式acc_squar＝ax²+ay²+az²，acc_squar是智能手表三维空间中的加速度向量的模，仅反映加速度大小的变化，过滤了佩戴手表角度和方向的影响，提取了不同手指动作中手腕肌腱反馈的力度；由于采集过程中人体的手臂和手指不自觉的轻微抖动，此时输出的数据仍然掺杂了一定的噪声信号后，毛刺和抖动较多，本发明利用移动均值滤波器消除原始数据加速度平方和acc_squar中的噪声，使运动加速度更加平滑，过滤毛刺和随机信号，得到过滤后的数据为acc_filter。

3)精确提取单个手指动作片段

i.滑动窗口分割

由于从加速度传感器采集的连续性原始数据序列，经过预处理之后，仍不能直接地表征人体的行为活动，需要重新变换数据形式，对数据进行分割提取手指细微动作片段。本发明采用了滑动窗口分割法来进行动作片段分割，滑动窗口大小为n,覆盖率为cov,对手指细微动作数据序列进行数据片段分割。

ii.提取手指动作数据片段

滑动窗口分割的数据片段{d1,d2,d3...dn}也包含了静止行为或者其他动作干扰片段，因此需要提取到合适的手指动作数据片段di。本发明采用滑动窗口内的加速度方差阈值vt和均值阈值mt作为数据波动的具体衡量标准，当滑动窗口内的所有采样点加速度方差va和均值ma满足于va＞vt∩ma＞mt时，分割出满足条件的细微手指动作片段di。精确提取手指动作片段流程如图3所示。

(2)手指动作片段加速度特征值选取方法

1)特征提取

经过处理的传感数据仍然具有采集时的数据形态，需要经过特征值提取获得该动作窗口内的行为特征，从而通过分类模型准确的判断行为类别。通过3维加速度数据(x轴，y轴，z轴)、acc_filter数据共4个维度分别提取出均值、方差、标准差、偏度、峰度、均方根、最大值、峰谷值间距等8个时域特征，共32个特征值来进行动作的表征和分类。

2)选取最优特征值

为了计算这些特征值的价值，我们使用基于信息增益的特征评估。在划分数据集之前之后信息发生的变化成为信息增益，通过计算每个特征值划分数据集获得的信息增益，获得信息增益最高的特征就是最好的选择。选取特征值过程如图4所示：

(3)根据识别手指动作对智能手表进行控制和操作方案

1)分类识别模型构建

为了对人体手指细微动作进行识别，首先要构建分类器模型来手指动作进行分类。通过对大量的手指动作训练样本集进行处理和选取特征值之后，结合分类算法构建优秀的手指识别分类模型将其保存在智能手表上。

2)操作控制智能手表

智能手表正确识别手指动类别，得到手指动作结果，发送给操作智能手表模块，用于接收手指动作的识别结果，对结果作出响应，控制操作智能手表。操作过程如图5所示。

本发明手指动作在智能手表的应用与识别方法具有以下优点：

1)精确提取手指动作片段

本发明中，智能手表采集人体手指动作原始数据是连续的数据序列且受到了外界噪声干扰，利用精确提取手指动作片段算法，采用数据预处理技术对采集的手原始数据进行降噪和过滤，得到处理后连续的有效数据序列。通过数据序列分割提取动作片段算法，将连续序列分割成长度相等的数据片段，采用阈值比较的方式精确提取出手指动作片段。

2)准确理解识别手指动作而且对设备要求低

本发明中，基于通用的智能手表内置的单枚加速度传感器对人体手指动作进行准确识别，相对于早期利用定制设备来识别手指动作，不仅降低了成本、而且简化人机交互过程，丰富智能手表的功能。

3)通过手指动作对智能手表进行操作，交互方便自然

本发明中，用户可在佩戴智能手表不使用细小屏幕按键的情况下，仅仅通过人体手指动作对智能手表进行控制和操作。

尽管上面对本发明的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。