操作姿势识别方法及装置与流程
本发明涉及信息处理技术领域，尤其涉及一种操作姿势识别方法及装置。
背景技术：
随着信息技术和电子技术的迅速发展，电子设备，如手机、平板电脑等移动终端的功能越来越强大及丰富。用户可以利用电子设备进行通话、收发消息、进行信息存储、社交、购物、办公及参与投票、点评等各种活动。这样的话，电子设备中存储的信息和应用功能的安全性就显得越来越重要。为了提高电子设备的信息安全和使用安全，在现有技术中提出了对操作姿势进行识别来确保安全的机制。在现有技术中对操作姿势进行识别，通过对操作姿势的采集和特征提取，能够拦截部分非法用户的操作，可是实践证明，识别精确度还不够高，识别误差导致电子设备的信息安全和使用安全的问题依然还很大。
技术实现要素：
有鉴于此，本发明实施例期望提供一种操作姿势识别方法及装置，至少部分解决识别精确度低的问题。
为达到上述目的，本发明的技术方案是这样实现的：
本发明实施例第一方面提供一种操作姿势识别方法，所述方法包括：
采集指定部位的操作姿势，检测形成姿势序列；
对所述姿势序列进行小波包分解，获得小波包分解信号；
对指定频带的所述小波包分解信号进行重构，获得重构信号；其中，所述指定频带的所述小波包分解信号包括所述小波包分解信号中的形状特征子带信号及生物抖动特征子带信号；
提取所述小波包分解信号的能量特征；
基于所述重构信号和所述能量特征，识别所述操作姿势是否为预设操作姿势。
基于上述方案，所述采集指定部位的操作姿势，检测形成姿势序列，包括：
利用三轴加速度传感器，采集所述指定部位的操作姿势，获得采集信号；
利用差分算法对所述采集信号的进行信号处理，获得所述加速度的差分序列；
利用加速度差分阈值，筛选出所述差分序列中的有效项构成所述姿势序列。
基于上述方案，所述对所述姿势序列进行小波包分解，获得小波包分解信号，包括：
对所述姿势序列进行三重小波包分解，在第三层分解中形成8个小波包分解信号；
所述对指定频带的所述小波包分解信号进行重构，获得重构信号，包括：
利用预设重构函数，对所述8个小波包分解信号中的低频带的特征子带信号进行重构，获得所述重构信号。
基于上述方案，所述对所述姿势序列进行三重小波包分解，在第三层分解中形成8个小波包分解信号，包括：
利用公式
所述利用预设重构函数，对所述8个小波包分解信号中的低频带的特征子带信号进行重构，获得所述重构信号，包括：
利用公式
基于上述方案，所述基于所述重构信号和所述能量特征，识别所述操作姿势是否为预设操作姿势，包括：
将所述重构信号与预设合法姿势的重构信号进行匹配，确定匹配度；
确定所述指定频带的信号能量与所述操作姿势的总能量的能量比值；
当所述匹配度大于预设匹配值且所述能量比值大于预设比值时，确定所述操作姿势为合法姿势。
本发明实施例第二方面提供一种操作姿势识别装置，所述装置包括：
采集检测单元，用于采集指定部位的操作姿势，检测形成姿势序列；
分析单元，用于对所述姿势序列进行小波包分解，获得小波包分解信号；
重构单元，用于对指定频带的所述小波包分解信号进行重构，获得重构信号；其中，所述指定频带的所述小波包分解信号包括所述小波包分解信号中的形状特征子带信号及生物抖动特征子带信号；
提取单元，用于提取所述小波包分解信号的能量特征；
识别单元，用于基于所述重构信号和所述能量特征，识别所述操作姿势是否为预设操作姿势。
基于上述方案，所述采集检测单元，具体用于利用三轴加速度传感器，采集所述指定部位的操作姿势，获得采集信号；利用差分算法对所述采集信号的进行信号处理，获得所述加速度的差分序列；利用加速度差分阈值，筛选出所述差分序列中的有效项构成所述姿势序列。
基于上述方案，所述分解单元，具体用于对所述姿势序列进行三重小波包分解，在第三层分解中形成8个小波包分解信号；
所述重构单元，具体用于利用预设重构函数，对所述8个小波包分解信号中的低频带的特征子带信号进行重构，获得所述重构信号。
基于上述方案，所述分解单元，具体用于利用公式
所述重构单元，具体用于利用公式
基于上述方案，所述识别单元，具体用于将所述重构信号与预设合法姿势的重构信号进行匹配，确定匹配度；确定所述指定频带的信号能量与所述操作姿势的总能量的能量比值；当所述匹配度大于预设匹配值且所述能量比值大于预设比值时，确定所述操作姿势为合法姿势。
本发明实施例提供的操作姿势识别方法及装置，在进行小波包分解之后，将会同时对形状特征子带信号和生物抖动特征子带信号进行重构，形成重构信号；这样形成的重构信号一方面能够表征操作姿势的形状特征，同时还将将表征操作姿势的生物抖动特征；再根据重构信号及小波包分解信号的能量特征，从而两个维度来分析所述操作姿势的特征，提高了操作姿势识别的精确度，从而提高了电子设备利用操作姿势进行安全机制的管控时的安全性和可靠性。
附图说明
图1为本发明实施例提供的操作姿势识别方法的流程示意图之一；
图2为本发明实施例提供的姿势序列的形成流程示意图；
图3为本发明实施例提供的三重小波包分解信号的树形结构示意图；
图4为本发明实施例提供的同一个用户的两次有效手势序列波形比对示意图；
图5为本发明实施例提供的不同用户的有效手势序列波形比对示意图；
图6为本发明实施例提供的小波包分解信号及重构信号的波形示意图；
图7为本发明实施例提供的一种小波包分解信号的能量特征示意图；
图8为本发明实施例提供的正手势能量特征比较示意图；
图9为本发明实施例提供的正手势和负手势能量特征比较示意图；
图10为本发明实施例提供的一种归一化正手势能量特效示意图；
图11为本发明实施例提供的一种正手势1和正手势模板1的能量特征比较示意图；
图12为基于edtw匹配校准之后的正手势1和正手势模板1的能量特征比较示意图；
图13为本发明实施例提供的一种操作手势识别装置的结构示意图；
图14为本发明实施例提供的操作手势识别方法的流程示意图之二。
具体实施方式
以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。
实施例一：
如图1所示，本实施例提供一种操作姿势识别方法，所述方法包括：
步骤s110：采集指定部位的操作姿势，检测形成姿势序列；
步骤s120：对所述姿势序列进行小波包分解，获得小波包分解信号；
步骤s130：对指定频带的所述小波包分解信号进行重构，获得重构信号；其中，所述指定频带的所述小波包分解信号包括所述小波包分解信号中的形状特征子带信号及生物抖动特征子带信号；
步骤s140：提取所述小波包分解信号的能量特征；
步骤s150：基于所述重构信号和所述能量特征，识别所述操作姿势是否为预设操作姿势。
本实施例所述的操作姿势识别方法，可以应用于各种电子设备，进行操作姿势的识别。在本实施例中所述操作姿势可包括手势。在本实施例的步骤s110中将可采集用户的手部的操作姿势，形成姿势序列。这里的利用各种传感器采集手势操作等。例如，图像采集器通过图像采集的方式采集所述操作姿势，通过解析图像，获得姿势序列。这里的姿势序列为进行信息解析得到的离散序列。
在步骤s120中将对姿势序列进行小波包分解，获得小波包分解信号。小波包分解(waveletpacketdecomposition)也可称为小波包(waveletpacket)或子带树(subbandtree)及最佳子带树结构(optimalsubbandtreestructuring)，通过利用分析树来表示小波包，即利用多次叠代的小波转换分析输入讯号的细节部分，从而获得不同操作姿势的姿势特征。
小波包分解信号按照频率划分，形成的多个小波包分解信号，可能形成频率不一致的多个特征子带信号。在步骤s130中将对指定频带的特征子带信号进行信号重建。在步骤s120中分解形成的小波包分解信号，有的能够反映出操作姿势的形状特征，有的能够反映出操作姿势的生物抖动特征。这里的形状特征可包括操作姿势的滑动轨迹特征，指定部位的姿态特征，例如手势形状特征。所述生物抖动特征可包括在形成滑动轨迹的过程中的抖动幅度及抖动频率等各种特征。总之，在步骤s130中将对包括对形状特征和生物抖动特征都有表现的指定频带的特征子带信号进行信号重构。进行了信号重构之后，形成的重构信号，能够更加凸显出不同操作姿势的在形态特征和生物抖动特征之间的异同。
步骤s140中将提取小波包分解信号的能量特征。
在步骤s150中将基于重构信号和能量特征，这两个维度来对操作姿势进行识别，且重构信号不仅能够表征操作姿势的形状特征，还将表征操作姿势的生物抖动特征；增加了对操作姿势识别的依据参数，能够提高识别的精确度。
如图2所示，在本实施例中所述步骤s110可包括：
步骤s121：利用三轴加速度传感器，采集所述指定部位的操作姿势，获得采集信号；
步骤s122：利用差分算法对所述采集信号的进行信号处理，获得所述加速度的差分序列；
步骤s123：利用加速度差分阈值，筛选出所述差分序列中的有效项构成所述姿势序列。
在本实施例中所述步骤s110中将利用三周加速度传感器，这里的三轴可对应于三维直角坐标系的三个坐标轴。这三个坐标轴中的任意两个两两互相垂直。在本实施例中若假设三个所述坐标轴分别为x轴、y轴及z轴。这里的三轴加速度传感器将分别检测x轴、y轴和z轴上的加速度作为所述采集信号。接下来利用差分算法对三个坐标轴对应的方向上的加速度进行差分处理，获得差分序列。具体地如，利用公式
进一步地，所述步骤s120可包括：对所述姿势序列进行三重小波包分解，在第三层分解中形成8个小波包分解信号。对应的，所述步骤s130可包括：利用预设重构函数，对所述8个小波包分解信号中的低频带的特征子带信号进行重构，获得所述重构信号。
图3所示的为进行三重小波包分解的示意图，显然进行了三次小波包分解之后，形成了8个小波包分解信号。图3中用s(x1，x2)来标识小波包分解信号，其中x1用于表示分解的层次，x2表示x1层分解的第x2个信号。例如，(3，1)表示第三层分解得到的第0个信号。
通过分析操作姿势的特点，发现操作姿势的特征主要集中在低频段。在本实施例中将从8个小波包分解信号中选择处于低频带的4个小波包分解信号，来进行信号重构。在本实施例中，参考图3可以选择信号s(3，0)、s(3，1)、s(3，2)及s(3，3)作为指定频带的特征子带信号进行重构，获得重构信号。通过信号分析确定出，信号s(3，0)通常可表示出操作姿势的形状特征，信号s(3，1)、s(3，2)及s(3，3)能够反映出操作姿势形成过程中的生物抖动特征。其中，信号s(3，1)是最能够反映生物抖动特征的。
通过信号重构，更加图像出这种生物抖动特征。
在步骤s150中，将结合重构信号，对该操作姿势进行识别。
作为本实施例中的进一步改进，所述步骤s120具体可包括：利用公式
所述步骤s130可包括：
利用公式
图4展示的不同用户的手势操作对应的重构信号的波形比对图；图5展示的相同用户的手势操作对应的重构信号的波形比对图；通过实验分析，加速度信号波形在跳变点处的不同频率成分的能量与各跳变点处的个人特性关系极大。由图4和图5可以看出，不同人的同一手势s(3,0)和s(3,1)波形差别较大，个性特征比较明显，而s(3,2)和s(3,3)波形幅值波动小，差别较小，个性特征不明显。对于同一个人的两组手势，其s(3,0)与s(3,1)重构波形走势大致相同但略有差别，表明s(3,0)波形可以反映出不同人做手势的差异，具有一定的个性与稳定性。s(3,0)重构波形能代表手势实施者的个性但并不稳定与s(3,3)重构波形较为相近，幅度值比较小，表现出一定的稳定性的特点，二者既有联系又有区别。
本发明实施例在综合考虑重构波形的个性及稳定性特征的基础上，结合用户手势形状特征与用户手势抖动生物特征，通过认证用户操作手势时所执行的手势形状特征，以及用户本人的抖动生物特征，对用户认证的特征进行多特征融合处理，有效避免单个特征认证时易受噪声影响和鲁棒性低等缺点，提高了用户认证的精度。小波包分解及重构结果，如图6所示，经过小波分解与重构后的手势信号与原信号趋势相近，表明小波包处理在提取低频特征的同时，对原始信号起到了滤除高频噪声的效果，提高了提取特征的可靠性。显然，可以从图4和图5的这种重构信号的这种比对，识别出不同用户，从而实现合法用户的手势操作的识别。
图7所示的为对三重小波包分解形成的8个特征子带信号的能量提取后的示意图。在本实例中可以利用如下公式提取小波包重构信号的分段能量信号：
其中，ak表示指定频带的特征子带信号s＝s(3,0)+s(3,1)+s(3,2)+s(3,3)重构信号的小波系数，n＝2，i＝1,2,...,m，m表示能量分段个数；所述j表示的为第三重分解的小波包的序号。为了减少频谱能量泄漏，以加窗的方式进行局部能量区域的划分，通过滑动窗口依次计算出局部能量特征点，可以窗口大小为2n+1。窗的中心点的小波系数作为局部能量的初始计算点，并以n限制窗口的大小由于欧式距离可以不失真的反映出空间两点的真实差异，以欧式距离公式计算出局部能量段的系数，其误差的影响可以达到最小，反映出真实不失真的能量特征，有效提高了用户认证的成功率。
图8为3个正手势的能量特征比较示意图。这里的正手势即为前述的合法手势。这里的正手势1、正手势2及正手势3都为合法用户的正确操作手势。显然这三个正手势之间的能量特征曲线之间的波形很相似。
图9为提取的正手势与负手势能量特征比较结果。这里的负手势为前述的非法手势，即为合法手势以外的非法手势。从图9可知正手势能量特征曲线与负手势能量特征曲线的差异很大。这里的负手势为非法用户模仿合法用户的操作手势形成操作手势。
为了方便比对，如图7所示，所以需要对提取的能量特征进行归一化处理，能量归一化可以减小同类手势相对于手势幅度大小的影响，将归一化将数据规整到[0,1]范围之间，根据分段能量公式可以得到重构信号的总能量为：
利用以下公式分别对分段能量进行能量归一化处理：
其中，i＝1,2,3,...,m，m为重构信号的能量分段个数，分段能量归一化处理后的结果，如图10所示，归一化后的本人同类手势的幅度偏差减小，适当提高了识别的精度。
在本实施例中在进行操作手势的识别时，为了解决时间序列长度不一致的问题，需要对信号序列v(i)和w(j)的动态时间规整。v(i)为待识别操作姿势的小波包分解重构信号的分段能量特征。w(j)表示预先设定的合法操作姿势的小波包分解重构信号的分段能量特征，其中，i对于分段的位置。具体的如，所述v(i)可为可对应于图10和图11中的正手势1。所述w(j)可为可对应于图10和图11中的正手势模板1的小波包分解信号的信号序列。在本实施例中可以采用基于欧几里得距离的动态时间包装(dynamictimewrapbasedoneucliddistance，edtw)在dtw算法计算出累积距离矩阵的基础上，按照最优路径搜索的方法，找出最优匹配路径，按照欧氏距离计算出其累计距离，并按一定的方式得到匹配分值φ，实现匹配过程，再将匹配分值φ与优化阈值θeer进行比较，如果φ<θeer成立，则匹配通过；反之，则匹配不通过。
作为本实施例的进一步改进，所述步骤s150可包括：
将所述重构信号与预设合法姿势的重构信号进行匹配，确定匹配度；
确定所述指定频带的信号能量与所述操作姿势的总能量的能量比值；
当所述匹配度大于预设匹配值且所述能量比值大于预设比值时，确定所述操作姿势为合法姿势。
在本实施例中为了提升操作姿势的识别精确度，将从重构信号的匹配度和指定频带的信号占总能量的能力比值，这两个维度来判断当前的操作姿势是否为合法用户的操作姿势，从而实现对电子设备的信息安全性和使用安全性的严格把控，提升电子设备的信息安全和使用安全性。
实施例二：
如图13所示，本实施例提供一种操作姿势识别装置，所述装置包括：
采集检测单元110，用于采集指定部位的操作姿势，检测形成姿势序列；
分析单元120，用于对所述姿势序列进行小波包分解，获得小波包分解信号；
重构单元130，用于对指定频带的所述小波包分解信号进行重构，获得重构信号；其中，所述指定频带的所述小波包分解信号包括所述小波包分解信号中的形状特征子带信号及生物抖动特征子带信号；
提取单元140，用于提取所述小波包分解信号的能量特征；
识别单元150，用于基于所述重构信号和所述能量特征，识别所述操作姿势是否为预设操作姿势。
本实施例所述操作姿势识别装置，能够实现前述操作姿势识别方法的任意一个技术方案，为实施例一所述的方法提供支撑硬件；同样具有姿势识别精确度高及安全性和可靠性高的特点。
在本实施例中所述采集检测单元110可包括各种能够采集操作姿势的结构，例，例如照相机或摄影机等图像采集结构，还可包括触控面板或悬浮触控面板等触控采集结构。
所述分析单元120、重构单元130、提取单元140及识别单元150可对应于电子设备中的处理器或处理电路；所述处理器可包括中央处理器、微处理器、数字信号处理器或可编程阵列等结构。所述处理电路可包括专用集成电路。所述处理器或处理电路可通过执行存储与所述处理器或处理电路连接的存储介质中的代码，实现前述分析单元120、重构单元130、提取单元140及识别单元150的功能。
进一步地，所述采集检测单元110，具体用于利用三轴加速度传感器，采集所述指定部位的操作姿势，获得采集信号；利用差分算法对所述采集信号的进行信号处理，获得所述加速度的差分序列；利用加速度差分阈值，筛选出所述差分序列中的有效项构成所述姿势序列。在本实施例中所述采集检测单元110可包括所述三轴加速度传感器，采集的加速度；同时所述采集检测单元110还可包括其他加速度检测结构，例如可在设置在不同方向上的陀螺仪等能够检测加速度的设备。所述采集检测单元110还包括能够对所述数据进行处理的处理器或处理电路，通过差分算法及加速度差分阈值的进行信号处理，获得姿势序列；采用这样的采集检测单元110形成的姿势序列，有利于提升识别的精确度。
进一步地，所述分解单元120，具体用于对所述姿势序列进行三重小波包分解，在第三层分解中形成8个小波包分解信号；所述重构单元130，具体用于利用预设重构函数，对所述8个小波包分解信号中的低频带的特征子带信号进行重构，获得所述重构信号。在本实施例中所述分解单元120将采用三重分解，获得8个小波包分解信号。其中这8个小波包分解信号按照波形频率可分为低频部分和高频部分。在本实施例中所述低频部分包括4个小波包分解信号，剩余的为高频部分。在本实施例中所述重构单元130将对低频部分的小波包分集信号进行重构，形成重构信号。重构信号更能体现操作姿势的波形和频率特征，以方便精确识别。
进一步地，所述分解单元120，具体用于利用公式
所述重构单元130，具体用于利用公式
所述分解单元120和所述重构单元130可包括计算器或具有计算功能的处理器，能够根据上述函数关系式，进行小波包分解和小波包分解信号的重构，具有结构简单、实现简便及识别精确度高的特点。
进一步地，所述识别单元150，具体用于将所述重构信号与预设合法姿势的重构信号进行匹配，确定匹配度；确定所述指定频带的信号能量与所述操作姿势的总能量的能量比值；当所述匹配度大于预设匹配值且所述能量比值大于预设比值时，确定所述操作姿势为合法姿势。
在本实施例中所述识别单元150会将重构信号与预设合法姿势的重构信号进行匹配，确定出匹配度；同时将会将制定频带的信号能量和操作姿势的总能量的进行比较获得能量比值，进而基于匹配度和能量比值，确定出当前的操作姿势是否为合法姿势。这里的识别单元150具体可包括比较器，可用于进行重构信号的匹配比较，比较傲器还可用于能量比值与比值阈值的比较，再根据比较的逻辑值的逻辑与处理等，确定出该操作姿势是否为合法姿势。当然所述识别单元150也可以对应于处理器或处理电路等结构，能够进行上述匹配和处理，精确的进行姿势识别。
基于上述实施例任意一个技术方案，还提供一个具体示例：
如图14所示，本示例提供一种手势识别方法，包括：
步骤s1：加速度手势数据的采集，获得表征加速度的手势信号；
步骤s2：手势信号的差分检测；具体可利用前述实施例中的差分算法来进行。
步骤s3：小波包分解与重构。
步骤s4：采用edtw算法进行匹配，若匹配成功，进入步骤s6，若未匹配成功，进入步骤s7。
步骤s6：确定该手势为合法用户的手势。
步骤s7：确定该手势为非法用户的手势。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
- 还没有人留言评论。精彩留言会获得点赞！