一种主动故意手势动作的检测装置及检测方法与流程

本发明涉及人机交互技术领域，具体而言，涉及一种主动故意手势动作的检测装置及检测方法。

背景技术：

手势动作作为人体行为动作的一种，具有方便快捷、含义丰富、通俗易懂的特点，能够让人们在日常生活中以一种更自然、更直接的方式进行交互。因此，如何利用手势动作实现人机交互的问题越来越受到研究学者的重视。

手势识别技术是一种融合基于先进感知技术与计算机模式识别技术的新型人机自然交互控制技术，可以分为基于视觉传感器的手势识别和基于可穿戴传感器的手势识别。由于手势识别交互系统具有安装方便、成本低廉以及用户体验好的特点，在智能无人系统、养老助残、虚拟现实等领域有着广阔的应用前景。

现有的手势动作检测方法无法识别手势是主动手势还是被动手势，因此，影响了手势交互控制的可靠性。

技术实现要素：

为解决上述问题，本发明的目的在于提供一种主动故意手势动作的检测装置及检测方法，可以穿在在操控者的身上，检测出操控者是否是有意主观手势，提高手势交互控制的可靠性。

本发明提供了一种主动故意手势动作的检测装置，该检测装置包括：

肌电信号获取装置，用于获取操控者的手势肌电信号，所述肌电信号获取装置包括以环形阵列方式布置在操控者小臂上的若干个肌电电极，每个小臂上分别布置四个肌电电极，拇短伸肌处布置第一肌电电极，指总伸肌处布置第二肌电电极，尺侧腕屈肌处布置第三肌电电极，指浅屈肌处布置第四肌电电极，分别对应采集指总伸肌信号、拇短伸肌信号、指浅屈肌信号和尺侧腕屈肌信号；

脑电信号获取装置，用于获取操控者的脑电信号，所述脑电信号获取装置包括分别布置在右耳垂a2区域、右前额fp2区域、右头顶中央c4区域的三个爪式干电极，电极定位按照国际10-20标准系统进行，其中，a2区域的第一电极的电压作为基准电压，fp2区域的第二电极用于采集判断是否是故意动作的脑电信号，c4区域的第三电极用于采集判断是否是主动动作的脑电信号；

脑肌信号采集装置，用于采集所述肌电信号获取装置获取的手势肌电信号和所述脑电信号获取装置获取的脑电信号，所述脑肌信号采集装置分别与所述肌电信号获取装置、所述脑电信号获取装置连接；

脑肌信号处理装置，用于对采集到的操控者的手势肌电信号和脑电信号进行处理，判断出操控者的手势动作是故意动作还是无意动作、是主动动作还是被动动作，所述脑肌信号处理装置与所述脑肌信号采集装置连接。

作为本发明进一步的改进，所述脑肌信号采集装置采用ads1298芯片。

作为本发明进一步的改进，所述脑肌信号处理装置包括去噪模块和处理模块；

所述去噪模块用于对采集到的脑电信号进行去噪处理，包括：

进行陷波滤波去除脑电信号中的工频干扰；

进行共空间模式滤波提高脑电信号的空间分辨率；

进行独立成分分析去除脑电信号中的伪迹；

所述处理模块对采集到手势肌电信号和去噪后的脑电信号进行处理，判断出操控者的手势动作是故意动作还是无意动作、是主动动作还是被动动作，包括：

对fp2区域的第二电极采集到的脑电信号和和手势肌电信号同步化后进行相关性分析，判断出操控者的手势动作是故意动作还是无意动作；

对c4区域的第三电极采集到的脑电信号和手势肌电信号同步化进行相关性分析，判断出操控者的手势动作是主动动作还是被动动作。

作为本发明进一步的改进，所述处理模块对采集到手势肌电信号进行判断，当检测出操控者有手势动作发出时：

对操控者fp2区的脑电信号的频率范围进行检测，当其频率在14hz-30hz之间时，则判断该手势动作是有意动作，其他频率范围内则判断是无意动作；

对操控者c4区域的脑电信号和手势肌电信号的相干系数进行计算，当相干系数大于0.15时，则判断该手势动作是主动动作，否则判断为被动动作。

本发明还提供了一种主动故意手势动作的检测方法，该检测方法包括：

步骤1，分别对肌电信号获取装置和脑电信号获取装置进行设置：

在操控者小臂的指总伸肌、拇短伸肌、拇短伸肌和尺侧腕屈肌处以环形阵列方式分别布置四个肌电电极，用于采集操控者的手势肌电信号；

在操控者脑部的右耳垂a2区域、右前额fp2区域和右头顶中央c4区域分别布置三个爪式干电极，电极定位按照国际10-20标准系统进行，其中，a2区域的第一电极的电压作为基准电压，fp2区域的第二电极用于采集判断是否是故意动作的脑电信号，c4区域的第三电极用于采集判断是否是主动动作的脑电信号；

步骤2，操控者开始进行手势动作，所述肌电信号获取装置和所述脑电信号获取装置获取手势肌电信号和脑电信号；

步骤3，对肌电信号获取装置获取的手势肌电信号进行采集，包括指总伸肌信号、拇短伸肌信号、指浅屈肌信号和尺侧腕屈肌信号；

对脑电信号获取装置获取的脑电信号号进行采集，包括a2区域脑电信号、fp2区域脑电信号和c4区域脑电信号；

步骤4，脑肌信号处理装置对采集到的脑电信号进行去噪处理；

步骤5，脑肌信号处理装置对采集到的脑电信号和手势肌电信号进行处理，包括：

采用小波变换对采集到的手势动作的手势肌电信号的时域信息和频域信息进行分析；

采用小波变换对去噪处理后的脑电信号的时域信息和频域信息进行分析；

同时，对fp2区域的第二电极采集到的脑电信号和和手势肌电信号进行同步化，对c4区域的第三电极采集到的脑电信号和手势肌电信号进行同步化；

步骤6，对采集到手势肌电信号进行判断，当检测出操控者有手势动作发出时，对手势动作的肌电信号和脑电信号的相干性进行分析，判断出操控者的手势动作是故意动作还是无意动作、是主动动作还是被动动作。

作为本发明进一步的改进，步骤4具体包括：

步骤401，进行陷波滤波，去除脑电信号中的工频干扰；

步骤402，进行共空间模式滤波，提高脑电信号的空间分辨率；

步骤403，进行独立成分分析，去除脑电信号中的伪迹。

作为本发明进一步的改进，步骤6具体包括：

步骤601，将操控者a2区域的第一电极的脑电信号的电压作为基准电压；

步骤602，对操控者fp2区的脑电信号的频率范围进行检测，当其频率在14hz-30hz之间时，则判断该手势动作是有意动作，其他频率范围内则判断是无意动作；

步骤603，对操控者c4区域的脑电信号和手势肌电信号的相干系数进行计算，当相干系数大于0.15时，则判断该手势动作是主动动作，否则判断为被动动作。

作为本发明进一步的改进，步骤603中，脑电信号和肌电信号的相干系数为：

其中，

sj,n(f)为脑电信号和肌电信号的互谱，

sjj(f)为肌电信号的自谱，

snn(f)为脑电信号的自谱，

其中，ji(f)为手势肌电信号函数，ni(f)为脑电信号函数，ji^*(f)为手势肌电信号共轭函数，ni^*(f)为脑电信号共轭函数。

作为本发明进一步的改进，步骤603还包括：

让操控者做出20组的手势动作，相同的手势动作主动动作、被动动作各做一次，分别记录做主动动作与被动动作时的c4区域脑电信号、手臂肌电信号，对记录的c4区域脑电信号、手臂肌电信号分别进行相干性计算，确定出判断主动动作和被动动作的相干系数阈值为0.15。

本发明的有益效果为：

可以穿在在操控者的身上，检测出操控者是否是有意主观手势，提高手势交互控制的可靠性。

附图说明

图1为本发明实施例所述的一种主动故意手势动作的检测装置中第一肌电电极、第二肌电电极的布置位置示意图；

图2为本发明第一实施例所述的一种主动故意手势动作的检测装置中第三肌电电极、第四肌电电极的布置位置示意图；

图3为本发明第一实施例所述的一种主动故意手势动作的检测装置中fp2区域的第二电极的布置位置示意图；

图4为本发明第一实施例所述的一种主动故意手势动作的检测装置中c4区域的第三电极的布置位置示意图；

图5为本发明第一实施例所述的一种主动故意手势动作的检测装置中三个爪式干电极在头部的布置位置示意图；

图6为本发明第二实施例所述的一种主动故意手势动作的检测方法的原理图。

图中，

1、第一肌电电极；2、第二肌电电极；3、第三肌电电极；4、第四肌电电极。

具体实施方式

下面通过具体的实施例并结合附图对本发明做进一步的详细描述。

实施例1，本发明实施例的一种主动故意手势动作的检测装置，其特征在于，该检测装置包括肌电信号获取装置、脑电信号获取装置、脑肌信号采集装置和脑肌信号处理装置。

肌电信号获取装置，用于获取操控者的手势肌电信号，手势肌电信号包括：指总伸肌、拇短伸肌、指浅屈肌、尺侧腕屈肌的信号。如图1和2所示，肌电信号获取装置包括以环形阵列方式布置在操控者小臂上的若干个肌电电极，每个小臂上分别布置四个肌电电极，拇短伸肌处布置第一肌电电极1，指总伸肌处布置第二肌电电极2，尺侧腕屈肌处布置第三肌电电极3，指浅屈肌处布置第四肌电电极4，分别对应采集指总伸肌信号、拇短伸肌信号、指浅屈肌信号和尺侧腕屈肌信号。

脑电信号获取装置，用于获取操控者的脑电信号，脑电信号包括自发性脑电信号(fp2区域脑电信号)和手势运动诱发性脑电信号(c4区域脑电信号)。自发性脑电信号是大脑自发产生的有节律的电位信号，可以通过在头部的fp2区域(如图3所示)布置的第二电极进行检测。fp2区域脑电波与人所处的精神状态可以通过检测fp2区脑电波的频率范围来确定意识状态。手势运动诱发性脑电信号可以通过在头部c4区域(如图4所示)布置的第三电极进行检测，c4区域脑电信号与手势动作肌肉信号的相关程度最高。具体的，如图5所示，脑电信号获取装置包括分别布置在右耳垂a2区域、右前额fp2区域、右头顶中央c4区域的三个爪式干电极，电极定位按照国际10-20标准系统进行，其中，a2区域的第一电极的电压作为基准电压，fp2区域的第二电极用于采集判断是否是故意动作的脑电信号，c4区域的第三电极用于采集判断是否是主动动作的脑电信号。10-20标准系统，其前后方向的测量是以从鼻根到枕骨粗隆连成的正中线为基准，将该距离分成10等份，按10，20，20，20，20，10(％)的顺序做好标记，在此线左右等距的相应部位标定出左右前额点(fp1，fp2)、额点(f3，f4)、中间点(c3，c4)、顶点(p3，p4)和枕点(o1，o2)，前额点的位置在鼻根上相当于鼻根至枕骨粗隆的10％处，额点在前额点之后相当于鼻根至前额点距离的两倍，即鼻根正中线距离20％处，向后中央、顶、枕诸点的间隔均为20％。

脑肌信号采集装置用于采集肌电信号获取装置获取的手势肌电信号和脑电信号获取装置获取的脑电信号，脑肌信号采集装置分别与肌电信号获取装置、脑电信号获取装置连接。脑肌信号采集装置采用ads1298芯片。ads1298芯片内部集成了8个低噪音可编程增益放大器(pga)和8个24位高分辨率模数转换器，共模抑制比达到-115db，内置的驱动电路可有效抑制工频干扰。集成了spi数字接口，采样频率最高可达32khz。使用该芯片可以使系统集成度大大提高，同时也提高了系统的稳定性。ads1298的主要功能是通过控制其内部寄存器来实现的，如信号输入模式、采样速率、放大倍数等。ads1298通过spi与外部处理器进行通信，实现数据的同步收发。ads1298的参考电压可设置为2.4v或4v，因为它的分辨率为24b，所以最低可分辨的电压分别为0.286μf、0.477μf。而脑电信号的幅度一般为0.001～0.1mv，所以在信号进入ads1298之前不需要再经过放大处理，其自带的放大模块就能满足要求，这样就大大简化了信号调理电路，极大地缩小了整体脑肌信号采集装置的面积和体积。

脑肌信号处理装置，用于对采集到的操控者的手势肌电信号和脑电信号进行处理，判断出操控者的手势动作是故意动作还是无意动作、是主动动作还是被动动作，脑肌信号处理装置与脑肌信号采集装置连接。其中，脑肌信号处理装置包括去噪模块和处理模块；

去噪模块用于对采集到的脑电信号进行去噪处理，包括：

进行陷波滤波去除脑电信号中的工频干扰；

进行共空间模式滤波提高脑电信号的空间分辨率；

进行独立成分分析去除脑电信号中的伪迹；

处理模块对采集到手势肌电信号和去噪后的脑电信号进行处理，判断出操控者的手势动作是故意动作还是无意动作、是主动动作还是被动动作，包括：

对fp2区域的第二电极采集到的脑电信号和和手势肌电信号同步化后进行相关性分析，判断出操控者的手势动作是故意动作还是无意动作；

对c4区域的第三电极采集到的脑电信号和手势肌电信号同步化进行相关性分析，判断出操控者的手势动作是主动动作还是被动动作。

处理模块对采集到手势肌电信号进行判断，当检测出操控者有手势动作发出时：

对操控者fp2区的脑电信号的频率范围进行检测，当其频率在14hz-30hz之间时，则判断该手势动作是有意动作，其他频率范围内则判断是无意动作；

对操控者c4区域的脑电信号和手势肌电信号的相干系数进行计算，当相干系数大于0.15时，则判断该手势动作是主动动作，否则判断为被动动作。

实施例2，本发明第二实施例所述的一种主动故意手势动作的检测方法，如图6所示，该检测方法包括：

步骤1，分别对肌电信号获取装置和脑电信号获取装置进行设置：

在操控者小臂的指总伸肌、拇短伸肌、拇短伸肌和尺侧腕屈肌处以环形阵列方式分别布置四个肌电电极，用于采集操控者的手势肌电信号；如图1和2所示，拇短伸肌处布置第一肌电电极1，指总伸肌处布置第二肌电电极2，尺侧腕屈肌处布置第三肌电电极3，指浅屈肌处布置第四肌电电极4。

如图5所示，在操控者脑部的右耳垂a2区域、右前额fp2区域和右头顶中央c4区域分别布置三个爪式干电极，电极定位按照国际10-20标准系统进行，其中，a2区域的第一电极的电压作为基准电压，fp2区域的第二电极用于采集判断是否是故意动作的脑电信号，c4区域的第三电极用于采集判断是否是主动动作的脑电信号。

步骤2，操控者开始进行手势动作，肌电信号获取装置和脑电信号获取装置获取手势肌电信号和脑电信号。拇短伸肌处布置第一肌电电极1、指总伸肌处布置第二肌电电极2、尺侧腕屈肌处布置第三肌电电极3和指浅屈肌处布置第四肌电电极4，分别对应获取指总伸肌信号、拇短伸肌信号、指浅屈肌信号和尺侧腕屈肌信号。fp2区域的第二电极获取自发性脑电信号(fp2区域脑电信号)，c4区域的第三电极获取手势运动诱发性脑电信号(c4区域脑电信号)。

步骤3，对肌电信号获取装置获取的手势肌电信号进行采集，包括指总伸肌信号、拇短伸肌信号、指浅屈肌信号和尺侧腕屈肌信号；

对脑电信号获取装置获取的脑电信号号进行采集，包括a2区域脑电信号、fp2区域脑电信号和c4区域脑电信号。

步骤4，脑肌信号处理装置对采集到的脑电信号进行去噪处理，具体包括：

步骤401，进行陷波滤波，去除脑电信号中的工频干扰；

步骤402，进行共空间模式滤波，提高脑电信号的空间分辨率；

步骤403，进行独立成分分析(ica)，去除脑电信号中的伪迹，提取脑电信号的有用信息。

步骤5，脑肌信号处理装置对采集到的脑电信号和手势肌电信号进行处理，包括：

采用小波变换对采集到的手势动作的手势肌电信号的时域信息和频域信息进行分析；

采用小波变换对去噪处理后的脑电信号的时域信息和频域信息进行分析；

同时，对fp2区域的第二电极采集到的脑电信号和和手势肌电信号进行同步化，对c4区域的第三电极采集到的脑电信号和手势肌电信号进行同步化。

大脑是一个非常复杂的由大量神经元相互作用组成的动力学系统，各个区域的脑电信号之间存在着耦合，通过同步化可以将不同区域的脑电信号和手势肌电信号相互联系，便于后面的脑肌信号的相干分析。

步骤6，对采集到手势肌电信号进行判断，当检测出操控者有手势动作发出时，对手势动作的手势肌电信号和脑电信号的相干性进行分析，判断出操控者的手势动作是故意动作还是无意动作、是主动动作还是被动动作，步骤6具体包括：

步骤601，将操控者a2区域的第一电极的脑电信号的电压作为基准电压；

步骤602，对操控者fp2区的脑电信号的频率范围进行检测，当其频率在14hz-30hz之间时，则判断该手势动作是有意动作，其他频率范围内则判断是无意动作；

步骤603，对操控者c4区域的脑电信号和手势肌电信号的相干系数进行计算，当相干系数大于0.15时，则判断该手势动作是主动动作，否则判断为被动动作；

其中，脑电信号和手势肌电信号的相干系数为：

其中，

sj,n(f)为脑电信号和肌电信号的互谱，

sjj(f)为肌电信号的自谱，

snn(f)为脑电信号的自谱，

其中，ji(f)为手势肌电信号函数，ni(f)为脑电信号函数，ji^*(f)为手势肌电信号共轭函数，ni^*(f)为脑电信号共轭函数。

本发明中对四种肌电信号(指总伸肌信号、拇短伸肌信号、指浅屈肌信号和尺侧腕屈肌信号)和c4区域脑电信号都需要分别计算相干系数，分别判断出各种组合动作的主被动性。

进一步的，为了确定步骤603中的相干性判断阈值，让操控者做出20组的手势动作，相同的手势动作主动动作、被动动作各做一次，分别记录做主动动作与被动动作时的c4区域脑电信号、手臂肌电信号的时域、频域信息，对记录的c4区域脑电信号、手臂肌电信号分别进行相干性计算，确定出判断主动动作和被动动作的相干系数阈值为0.15。

本发明通过手势肌电信号与自发性脑电波信号即fp2区域脑电信号的相干性来判断操控者所发出的动作是故意动作还是无意动作；通过佩戴在操作者头部fp2区的电极检测fp2区脑电波的频率范围来确定意识状态，包括fp2区脑电信号与操作者所处的精神状态。通过手势肌电信号与手势运动诱发性脑电信号即c4区域脑电信号的相干性来判断操控者所发出的动作是主动动作还是被动动作。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。