本发明涉及人工交互技术领域，具体而言，涉及一种脑电-肌电信号融合装置及融合方法。
背景技术：
肌电信号是一种由神经肌肉活动产生的生物电信号，蕴含了很多与肢体运动相关联的信息，是肌肉的生物电活动在皮肤表面处时间和空间上的综合结果。脑电信号是一种非常微弱的非平稳信号，包含了大量脑神经细胞的电生理活动信息，体现了人的思维活动和肢体动作行为。根据肌电信号和脑电信号的特点，将两者结合应用到了人机交互领域。目前，人机交互中手势交互是最直接的操作方法，但目前的手势交互存在无法正确捕捉大脑意图，造成误触发等问题。
技术实现要素：
为解决上述问题，本发明的目的在于提供一种脑电-肌电信号融合装置及融合方法，能够捕捉快速大脑思维意图，识别手势指控动作，剔除因无意动作或被动动作所造成的误触发，提高了人机自然交互式操控的可靠性。
本发明提供了一种脑电-肌电信号融合装置，包括：
脑电采集头盔，其采集操作者的脑电信号，并根据所述脑电信号捕捉操作者的大脑思维意图；所述脑电采集头盔采集操作者视区内的视频信号，并根据所述视频信号进行识别映射；所述脑电采集头盔采集操作者头部温度信号，并根据所述温度信号感知操作者运动时的头部温度对操作者的头部进行降温处理；
肌电采集装置，其采集操作者的手势指控动作的肌电信号，并根据所述肌电信号识别操作者的指控动作；
嵌入式计算机，其与所述脑电采集头盔和所述肌电采集装置信号连接，所述嵌入式计算机接收所述脑电信号和所述肌电信号，并将这两种信号进行融合处理，所述嵌入式计算机结合大脑思维意图和操作者的指控动作，检测出操作者的指控动作的意图，剔除因无意动作或被动动作或故意动作所造成的误触发动作，确定操作者正确的指控动作，并向操作者显示指控动作的内容。
作为本发明进一步的改进，所述脑电采集头盔包括：头盔本体、传感电极阵列、变刚度电极稳定支架、脑电采集模块、脑电处理模块、头部微环境温度调控模块和视知觉ar增强现实信息显示模块；
所述传感电极阵列包括均匀布置在所述头盔本体内部的若干个脑电电极，每个脑电电极均安装在对应的变刚度电极稳定支架上，所述脑电电极通过导线与所述脑电采集模块连接，所述脑电采集模块与所述脑电处理模块连接；所述视知觉ar增强现实信息显示模块包括镜片显示器和摄像头，所述镜片显示器和所述摄像头均与所述脑电处理模块连接；所述头部微环境温度调控模块包括降温模块和均匀布置在所述头盔本体内部的若干个温度传感器，所述降温模块和所述温度传感器与所述脑电处理模块连接；
所述脑电电极接收操作者的脑电信号，所述脑电采集模块采集所述脑电信号，所述头部微环境温度调控模块中的温度传感器采集操作者在运动过程中的头部温度信号，所述视知觉ar增强现实信息显示模块中的摄像头采集操作者视区内的视频数据；所述脑电处理模块接收所述脑电信号捕捉操作者的大脑思维意图；所述脑电处理模块接收所述头部温度信号，感知操作者运动时的头部温度并将降温信号反馈给所述头部微环境温度调控模块中的降温模块上对操作者的头部进行降温处理；所述脑电处理模块接收所述视频数据，并对视频数据进行识别，将该视频映射在所述视知觉ar增强现实信息显示模块内的镜片显示器中。
作为本发明进一步的改进，所述脑电电极为梳状电极。
作为本发明进一步的改进，所述脑电处理模块包括第一放大电路、第一滤波电路、第一a/d转换电路、第一fpga处理器和第一无线传输模块；
所述脑电电极的输出端与所述脑电采集模块的输入端连接，所述脑电采集模块的输出端与所述第一放大电路的输入端连接，所述第一放大电路的输出端与所述第一滤波电路的输入端连接，所述第一滤波电路的输出端与所述第一a/d转换电路的输入端连接，所述第一a/d转换电路的输出端与所述第一fpga处理器的输入端连接，所述第一fpga处理器的输出端通过所述第一无线传输模块与所述嵌入式计算机连接；
所述脑电电极接收操作者的脑电信号并将脑电信号作为所述脑电采集模块的输入信号，所述脑电采集模块输出的信号依次经过所述第一放大电路、所述第一滤波电路、所述第一a/d转换电路后进入所述第一fpga处理器进行消噪和特征提取，获取操作者的大脑思维意图信号，并通过所述第一无线传输模块传输至所述嵌入式计算机进行融合处理。
作为本发明进一步的改进，所述肌电采集装置包括以环形阵列方式布置在操作者小臂上的若干个肌电电极、肌电采集模块和肌电处理模块，所述肌电电极粘贴在操作者皮肤表面，所述肌电电极通过导线与所述肌电采集模块连接，所述肌电采集模块与所述肌电处理模块连接；
每个小臂上分别布置四个肌电电极，分别采集指总伸肌信号数据、拇短伸肌信号数据、指浅屈肌信号数据和尺侧腕屈肌信号数据。
作为本发明进一步的改进，所述肌电处理模块包括第二放大电路、第二滤波电路、第二a/d转换电路、第二fpga处理器和第二无线传输模块；
所述肌电电极的输出端与所述肌电采集模块的输入端连接，所述肌电采集模块的输出端与所述第二放大电路的输入端连接，所述第二放大电路的输出端与所述第二滤波电路的输入端连接，所述第二滤波电路的输出端与所述第二a/d转换电路的输入端连接，所述第二a/d转换电路的输出端与所述第二fpga处理器的输入端连接，所述第二fpga处理器的输出端通过所述第二无线传输模块与所述嵌入式计算机连接；
所述肌电电极接收操作者的肌电信号并将该肌电信号作为所述肌电采集模块的输入信号，所述肌电采集模块输出的信号依次经过所述第二放大电路、所述第二滤波电路、所述第二a/d转换电路后进入所述第二fpga处理器进行消噪和特征提取，获取操作者的指控动作信号，并通过所述第二无线传输模块传输至所述嵌入式计算机进行融合处理。
作为本发明进一步的改进，所述嵌入式计算机内设置有第三fpga处理器和第三无线传输模块；
所述第一fpga处理器处理后的大脑思维意图信号通过所述第一无线传输模块送入所述第三fpga处理器的输入端，所述第二fpga处理器处理后的指控动作信号通过所述第二无线传输模块送入所述第三fpga处理器的输入端，所述第三fpga处理器的输出端通过所述第三无线传输模块与所述镜片显示器连接；
所述第三fpga处理器分别对所述大脑思维意图信号和所述指控动作信号进行分类训练、模式识别、特征融合，剔除因无意动作或被动动作或故意动作所造成的误触发动作，确定操作者正确的指控动作，并将需要向操作者显示指控动作的内容通过所述第三无线传输模块传输至所述镜片显示器，并在所述镜片显示器显示该内容。
本发明还提供了一种脑电-肌电信号融合方法，该方法包括：
步骤1，脑电采集头盔上设置的视知觉ar增强现实信息显示模块内的摄像头采集操作者视区内的视频数据，并将该视频数据传输至脑电处理模块；
步骤2，所述视频数据通过所述脑电处理模块中的第一无线传输模块传输至所述嵌入式计算机内设置的第三fpga处理器对视频数据进行识别，并将该视频映射在视知觉ar增强现实信息显示模块内的镜片显示器中；
步骤3，启动脑电采集头盔上均匀布置的若干个脑电电极，这些脑电电极接收操作者的脑电信号，脑电采集头盔上设置的脑电采集模块采集操作者的脑电信号，所述脑电采集头盔上设置的头部微环境温度调控模块采集操作者在运动过程中的头部温度信号；
采集后的脑电信号经过脑电处理模块中的第一放大电路、第一滤波电路、第一a/d转换电路后进入第一fpga处理器进行消噪和特征提取，获取操作者的大脑思维意图信号，并通过所述脑电处理模块中的第一无线传输模块传输至所述第三fpga处理器进行融合处理；
采集后的头部温度信号经过所述第一fpga处理器处理感知操作者运动时的头部温度，当头部温度高于预先设定的温度阈值时，所述第一fpga处理器将降温信号反馈给头部微环境温度调控模块上的降温模块对头部进行降温处理；
步骤4，肌电采集装置上的肌电采集模块通过环形阵列方式布置在操作者小臂上的若干个肌电电极采集肌电信号，其中，每个小臂上分别布置四个肌电电极，分别采集指总伸肌信号、拇短伸肌信号、指浅屈肌信号和尺侧腕屈肌信号，采集后的肌电信号经过肌电处理模块中的第二放大电路、第二滤波电路、第二a/d转换电路后进入第二fpga处理器进行消噪和特征提取，获取操作者的指控动作信号，并通过所述处理模块中的第二无线传输模块传输至所述第三fpga处理器进行融合处理；
步骤5，所述第三fpga处理器对获取的大脑思维意图信号和指控动作信号进行分类训练、模式识别、特征融合，融合后进行意识辨识，剔除因无意动作或被动动作或故意动作所造成的误触发动作，确定操作者正确的指控动作，并将需要向操作者显示指控动作的内容通过所述嵌入式计算机内的第三无线传输模块传输至所述镜片显示器，并在所述镜片显示器显示该内容，便于与操作者的下一步交互。
作为本发明进一步的改进，步骤3中，采集后的多个通道的脑电信号经过放大、滤波滤除干扰、a/d转换后成为数字脑电信号，将数字脑电信号传输至第一fpga处理器中，所述第一fpga处理器接收到数字脑电信号后，采用小波变换对脑电信号进行消噪处理，通过排列组合熵对脑电信号进行提取，得到脑电信号的特征向量；同时，采集的脑电信号分为两组，一组用于svm训练，一组用于d-s验证；
步骤4中，采集后的肌电信号经过放大、滤波滤除干扰、a/d转换后成为数字肌电信号，将数字肌电信号传输至第二fpga处理器中，所述第二fpga处理器接收到数字肌电信号后，采用小波分解重构消噪，根据肌电信号的能量阈值判断工作的起止位置，减少计算量和去除与动作无关的新号段，求取基本尺度熵，通过基本尺度熵对肌电信号进行特征提取，得到肌电信号的特征向量，同时，采集的肌电信号分为两组，一组用于svm训练，一组用于d-s验证；
步骤5中，所述第三fpga处理器对脑电信号和肌电信号进行模式预分类，构造两个多类svm分类器；
用脑电信号的训练样本对第一svm分类器进行训练确定其参数，将脑电信号的验证样本作为输入通过所述第一svm分类器进行识别，得到基本概率赋值；
用肌电信号的训练样本对第二svm分类器进行训练确定其参数，将肌电信号的验证样本作为输入通过所述第二svm分类器进行识别，得到基本概率赋值；
将所述第一svm分类器输出的识别结果和所述第二svm分类器输出的识别结果经d-s证据融合后，根据判决规则得到最后的识别结果。
本发明的有益效果为：
1、能够捕捉快速大脑思维意图，识别手势指控动作，由于有机地融合了人体脑电与肌电信号，能够检测出士兵指控动作的意图，剔除因无意动作或被动动作所造成的误触发，提高了人机自然交互式操控的可靠性；
2、针对脑电电极阵列拓扑结构特点，设立头戴式网格化的变刚度电极稳定支架，材料半固化，可降低因头部颠簸、振动等引起的运动伪迹，解决现有脑电传感电极在运动场景下存在滑动或接触不稳等运动伪迹干扰，提升采集高质脑电信息的长期稳定性；
3、通过头部微环境温度调控模块的散热结构设计，实现对头部温度场进行有效调节，可减弱采集过程因环境温度过高或其它因素(如大活动量)而引起的出汗对脑电基线漂移、信号短接等严重影响(出汗伪迹)；
4、通过脑电采集头盔、肌电采集装置和嵌入式计算机内的单独设计的fpga处理器，使得脑电采集头盔、肌电采集装置和嵌入式计算机内的信号可以并行进行处理，加快了处理的速度，提高了信号处理的效率，信号之间互不干扰，提高了信号处理的准确度，进一步避免了信号干扰导致的误触发。
附图说明
图1为本发明实施例所述的一种脑电-肌电信号融合装置的结构示意图。
具体实施方式
下面通过具体的实施例并结合附图对本发明做进一步的详细描述。
实施例1，如图1所示，本发明第一实施例的一种脑电-肌电信号融合装置，包括脑电采集头盔、肌电采集装置和嵌入式计算机。脑电采集头盔用于采集操作者的脑电信号，并根据脑电信号捕捉操作者的大脑思维意图；脑电采集头盔采集操作者视区内的视频信号，并根据视频信号进行识别映射；脑电采集头盔采集操作者头部温度信号，并根据温度信号感知操作者运动时的头部温度对操作者的头部进行降温处理。肌电采集装置用于采集操作者的手势指控动作的肌电信号，并根据肌电信号识别操作者的指控动作。嵌入式计算机与脑电采集头盔和肌电采集装置信号连接，嵌入式计算机接收脑电信号和肌电信号，并将这两种信号进行融合处理，嵌入式计算机结合大脑思维意图和操作者的指控动作，检测出操作者的指控动作的意图，剔除因无意动作或被动动作或故意动作所造成的误触发动作，确定操作者正确的指控动作，并向操作者显示指控动作的内容。
进一步的，脑电采集头盔包括：头盔本体、传感电极阵列、变刚度电极稳定支架、脑电采集模块、脑电处理模块、头部微环境温度调控模块和视知觉ar增强现实信息显示模块。
传感电极阵列包括均匀布置在头盔本体内部的若干个脑电电极，每个脑电电极均安装在对应的变刚度电极稳定支架上，脑电电极通过导线与脑电采集模块连接，脑电采集模块与脑电处理模块连接；视知觉ar增强现实信息显示模块包括镜片显示器和摄像头，镜片显示器和摄像头均与脑电处理模块连接；头部微环境温度调控模块包括降温模块和均匀布置在头盔本体内部的若干个温度传感器，降温模块和温度传感器与脑电处理模块连接。脑电电极接收操作者的脑电信号，脑电采集模块采集脑电信号，头部微环境温度调控模块中的温度传感器采集操作者在运动过程中的头部温度信号，视知觉ar增强现实信息显示模块中的摄像头采集操作者视区内的视频数据；脑电处理模块接收脑电信号捕捉操作者的大脑思维意图；脑电处理模块接收头部温度信号，感知操作者运动时的头部温度并将降温信号反馈给头部微环境温度调控模块中的降温模块上对操作者的头部进行降温处理；脑电处理模块接收视频数据，并对视频数据进行识别，将该视频映射在视知觉ar增强现实信息显示模块内的镜片显示器中。
其中，脑电处理模块包括第一放大电路、第一滤波电路、第一a/d转换电路、第一fpga处理器和第一无线传输模块；
脑电电极的输出端与脑电采集模块的输入端连接，脑电采集模块的输出端与第一放大电路的输入端连接，第一放大电路的输出端与第一滤波电路的输入端连接，第一滤波电路的输出端与第一a/d转换电路的输入端连接，第一a/d转换电路的输出端与第一fpga处理器的输入端连接，第一fpga处理器的输出端通过第一无线传输模块与嵌入式计算机连接；
脑电电极接收操作者的脑电信号并将脑电信号作为脑电采集模块的输入信号，脑电采集模块输出的信号依次经过第一放大电路、第一滤波电路、第一a/d转换电路后进入第一fpga处理器进行消噪和特征提取，获取操作者的大脑思维意图信号，并通过第一无线传输模块传输至嵌入式计算机进行融合处理。
优选的，脑电电极为梳状电极，在电极近端通过第一放大电路形成有源电极，将原始微弱的脑电信号进行原位放大后再进行传输，提高脑电信号抗干扰性。
进一步的，肌电采集装置包括以环形阵列方式布置在操作者小臂上的若干个肌电电极、肌电采集模块和肌电处理模块，肌电电极粘贴在操作者皮肤表面，肌电电极通过导线与肌电采集模块连接，肌电采集模块与肌电处理模块连接；
每个小臂上分别布置四个肌电电极，分别采集指总伸肌信号数据、拇短伸肌信号数据、指浅屈肌信号数据和尺侧腕屈肌信号数据。
其中，肌电处理模块包括第二放大电路、第二滤波电路、第二a/d转换电路、第二fpga处理器和第二无线传输模块；
肌电电极的输出端与肌电采集模块的输入端连接，肌电采集模块的输出端与第二放大电路的输入端连接，第二放大电路的输出端与第二滤波电路的输入端连接，第二滤波电路的输出端与第二a/d转换电路的输入端连接，第二a/d转换电路的输出端与第二fpga处理器的输入端连接，第二fpga处理器的输出端通过第二无线传输模块与嵌入式计算机连接；
肌电电极接收操作者的肌电信号并将该肌电信号作为肌电采集模块的输入信号，肌电采集模块输出的信号依次经过第二放大电路、第二滤波电路、第二a/d转换电路后进入第二fpga处理器进行消噪和特征提取，获取操作者的指控动作信号，并通过第二无线传输模块传输至嵌入式计算机进行融合处理。
进一步的，嵌入式计算机内设置有第三fpga处理器和第三无线传输模块；
第一fpga处理器处理后的大脑思维意图信号通过第一无线传输模块送入第三fpga处理器的输入端，第二fpga处理器处理后的指控动作信号通过第二无线传输模块送入第三fpga处理器的输入端，第三fpga处理器的输出端通过第三无线传输模块与镜片显示器连接；
第三fpga处理器分别对大脑思维意图信号和指控动作信号进行分类训练、模式识别、特征融合，剔除因无意动作或被动动作或故意动作所造成的误触发动作，确定操作者正确的指控动作，并将需要向操作者显示指控动作的内容通过第三无线传输模块传输至镜片显示器，并在镜片显示器显示该内容。
本发明的脑电采集头盔针对脑电信号传输过程中易受外部复杂环境干扰等问题，采用了一种梳状柱阵列电极体结构，并在电极近端集成放大模块形成有源电极，将原始微弱脑电信号进行原位放大后再进行传输，提高脑电信号抗干扰性。针对脑电电极阵列拓扑结构特点，通过头戴式脑电电极稳定支架空间力学建模、刚度各向异性的支架稳定设计以及采用半固化仿形材料，实现基于变刚度和双层结构的电极稳定支架，解决现有脑电传感电极在运动场景下存在滑动或接触不稳等运动伪迹干扰。利用微型制冷与热交换技术，通过微尺度散热结构设计，实现对头部温度场进行有效调节，可解决在复杂战场环境下由于头部环境温度过高或其它因素(大活动量)而引起的出汗对脑电信号采集的严重影响，即出汗伪迹。通过脑电采集头盔、肌电采集装置和嵌入式计算机内的单独设计的fpga处理器，使得脑电采集头盔、肌电采集装置和嵌入式计算机内的信号可以并行进行处理，加快了处理的速度，提高了信号处理的效率，信号之间互不干扰，提高了信号处理的准确度，进一步避免了信号干扰导致的误触发。
实施例2，本发明第二实施例所述的一种脑电-肌电信号融合方法，该方法包括：
步骤1，脑电采集头盔上设置的视知觉ar增强现实信息显示模块内的摄像头采集操作者视区内的视频数据，并将该视频数据传输至脑电处理模块；
步骤2，视频数据通过脑电处理模块中的第一无线传输模块传输至嵌入式计算机内设置的第三fpga处理器对视频数据进行识别，并将该视频映射在视知觉ar增强现实信息显示模块内的镜片显示器中；
步骤3，启动脑电采集头盔上均匀布置的若干个脑电电极，这些脑电电极接收操作者的脑电信号，脑电采集头盔上设置的脑电采集模块采集操作者的脑电信号，脑电采集头盔上设置的头部微环境温度调控模块采集操作者在运动过程中的头部温度信号；
采集后的多个通道的脑电信号经过放大、滤波滤除干扰、a/d转换后成为数字脑电信号，将数字脑电信号传输至第一fpga处理器中，第一fpga处理器接收到数字脑电信号后，采用小波变换对脑电信号进行消噪处理，通过排列组合熵对脑电信号进行提取，得到脑电信号的特征向量；同时，采集的脑电信号分为两组，一组用于svm训练，一组用于d-s验证；获取操作者的大脑思维意图信号，并通过脑电处理模块中的第一无线传输模块传输至第三fpga处理器进行融合处理；
采集后的头部温度信号经过第一fpga处理器处理感知操作者运动时的头部温度，当头部温度高于预先设定的温度阈值时，第一fpga处理器将降温信号反馈给头部微环境温度调控模块上的降温模块对头部进行降温处理；
步骤4，肌电采集装置上的肌电采集模块通过环形阵列方式布置在操作者小臂上的若干个肌电电极采集肌电信号，其中，每个小臂上分别布置四个肌电电极，分别采集指总伸肌信号、拇短伸肌信号、指浅屈肌信号和尺侧腕屈肌信号，采集后的肌电信号经过放大、滤波滤除干扰、a/d转换后成为数字肌电信号，将数字肌电信号传输至第二fpga处理器中，第二fpga处理器接收到数字肌电信号后，采用小波分解重构消噪，根据肌电信号的能量阈值判断工作的起止位置，减少计算量和去除与动作无关的新号段，求取基本尺度熵，通过基本尺度熵对肌电信号进行特征提取，得到肌电信号的特征向量，同时，采集的肌电信号分为两组，一组用于svm训练，一组用于d-s验证；获取操作者的指控动作信号，并通过处理模块中的第二无线传输模块传输至第三fpga处理器进行融合处理；
步骤5，第三fpga处理器对获取的大脑思维意图信号和指控动作信号进行模式预分类，构造两个多类svm分类器；
用脑电信号的训练样本对第一svm分类器进行训练确定其参数，将脑电信号的验证样本作为输入通过第一svm分类器进行识别，得到基本概率赋值；
用肌电信号的训练样本对第二svm分类器进行训练确定其参数，将肌电信号的验证样本作为输入通过第二svm分类器进行识别，得到基本概率赋值；
将第一svm分类器输出的识别结果和第二svm分类器输出的识别结果经d-s证据融合后，根据判决规则得到最后的识别结果；
融合后进行意识辨识，剔除因无意动作或被动动作或故意动作所造成的误触发动作，确定操作者正确的指控动作，并将需要向操作者显示指控动作的内容通过嵌入式计算机内的第三无线传输模块传输至镜片显示器，并在镜片显示器显示该内容，便于与操作者的下一步交互。
本发明的特征融合方法不仅仅限于svm和d-s融合，还可以采用神经网络、小波变换、模糊数学、进化计算等融合方法，主要都是解决意识辨识，剔除因无意动作或被动动作或故意动作所造成的误触发动作，确定操作者正确的指控动作。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。