一种基于行为动作触发与脑电波感知的人机交互方法与流程

本发明属于人机交互方法技术领域，具体涉及一种基于行为动作触发与脑电波感知的人机交互方法。

背景技术：

人类大脑由几十亿个神经元组成，轴突的总长度约为170000公里。每当产生一个想法的时候，大脑就会产生与其相关联的、微弱但清晰的电信号。这些电脉冲由神经元之间的化学反应产生，因此是可以记录和测量的。此前的研究，是将这些脑电波输入计算机，借助计算机接收这些信号继而做出响应或做出一系列动作。

基于脑电波通讯技术，可以应用到人机交互领域，实现读心式的人机交互，完成更加智能化的交互功能。目前，人机交互基本都基于众多的人体输入设备将人体的信号自主输入，再根据输入的信号进行交互动作，同时人体脑电波的应用也都限于穿戴和可接触式设备，无法实现通过人体本身行为动作和自动读取人体脑电波信号进行人机交互控制。

技术实现要素：

本发明的目的在于：解决目前，人机交互基本都基于众多的人体输入设备将人体的信号自主输入，再根据输入的信号进行交互动作，同时人体脑电波的应用也都限于穿戴和可接触式设备，无法实现通过人体本身行为动作和自动读取人体脑电波信号进行人机交互控制的问题。

本发明采用的技术方案如下：

一种基于行为动作触发与脑电波感知的人机交互方法，方法步骤包括：

步骤1、通过包括不固定安装的带有运动探测的空气芯片传感器和固定安装的行为动作感知模块的任一种或组合的方式识别人体行为动作，并在识别到人体行为动作后传感器或行为动作感知模块输出触发信号至中央处理器；

步骤2、通过包括场地中分布设置的带有电波探测的空气芯片传感器感知人体脑电波和与人体接触式的脑电波传感器的任一种或组合的方式感知人体脑电波，所述中央处理器收到触发信号后通过通讯网络控制空气芯片传感器或脑电波传感器开始工作采集人体脑电波信号；

步骤3、所述人体脑电波信号数据通过通讯网络传输至中央处理器，中央处理器将采集到的人体脑电波信号经过深度学习的网络学习方法得到人体精神状态数据；

步骤4、所述中央处理器将得到的人体精神状态数据通过通讯网络传输至人机交互设备，人机交互设备根据人体精神状态数据进行交互。

进一步，所述行为动作感知模块包括有以下任意一个或任意几个的组合：识别人体肢体和运动动作的图像采集及图像处理装置、人体识别装置、语音识别装置。

进一步，所述空气芯片包括包括由微处理器、双向无线接收装置、无线网络组成的智能尘埃，所述智能尘埃通过无线网络将一些微尘散放在一个场地中，它们就能够相互定位，进一步通过双向无线接收装置收集数据并向微处理器传递信息，所述微处理器向基站的云端系数库传递信息；还包括形态不固定的空气芯片，所述空气芯片包括依次连接的第一电极层、功能材料层、第二电极层；还包括与第二电极层连接的第三运算层和云端传递层，其中：所述第一电极层用于模拟突触后，所述第二电极层用于模拟突触前，所述功能材料层的材料为硫系化合物，所述功能材料层的电导用于模拟突触权重；通过给所述第一电极层施加第二脉冲信号来模拟突触后刺激，通过给所述第二电极层施加第一脉冲信号来模拟突触前刺激；所述功能材料层的电阻用于模拟生物神经元的激发态或静息态；所述第三运算层用于空气芯片的高仿生，提取运算模拟功能，模拟生物神经元完成高智能运算，并将运算数据通过云端传递层上传至云端系数库储存；所述神经网络的行为是由网络架构所决定的，网络架构包括：神经元个数、层数、层与层之间的连接类型，智能尘埃上附着有与微处理器连接的脑电波信号捕捉模块和人体行为感知模块，空气芯片通过智能尘埃进行人体脑电波信号捕捉，智能尘埃通过无线网络接收控制信号。

进一步，所述步骤3中由人体脑电波信号得到人体精神状态数据的方法为：

步骤3.1、将历史人体脑电波信号数据进行精神状态分类，将每一个类别的人体脑电波信号数据进行独立成分分析并对每个独立成分进行认知电位提取分析；

步骤3.2、对步骤3.1得到的每一个分类的包含分类标签的数据通过深度学习模型训练，提取包含每一类脑电波信号的认知电位全局和局部信息的特征，对该特征进行线性判别分析完成深度学习模型训练；

步骤3.3、将步骤2采集到的人体脑电波号信号进行独立成分分析并对每个独立成分进行认知电位提取分析，将得到的数据输入步骤3.2训练好的深度学习模型，得到人体精神状态类别数据。

进一步，所述人机交互设备包括有智能控制设备和智能显示设备，智能显示设备包括有沉浸式全息投影、空气成像系统。

进一步，根据权利要求1所述的一种基于行为动作触发与脑电波感知的人机交互方法，其特征在于：所述人体脑电波信号在通信网络中传输采用压缩感知的方法进行传输。

进一步，所述通讯网络采用5g通讯网络。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、本发明中，基于人体行为感知信号探测触发控制探测人体脑电波信号，实现通过人体本身行为动作触发脑电波信号采集处理装置工作，自动读取人体脑电波信号进行人机交互控制，并结合脑电波技术识别该人当时的各类感情、情绪、状态等精神状态实现实时的适合此人的各类情景或功能交互。通过包括不固定安装的带有运动探测的空气芯片传感器和固定安装的行为动作感知模块的任一种或组合的方式识别人体行为动作，可实现更灵活的人体行为识别，不会受限于人体行为感知模块固定设置的识别位置范围限定，通过包括场地中分布设置的空气芯片传感器感知人体脑电波和与人体接触式的脑电波传感器的任一种或组合的方式感知人体脑电波，实现远距离主动探测人体脑电波信号，不会收到现在脑电波探测设备必须是人体佩戴和安装接触式设备的限制。

2、本发明中，采用神经网络学习模型的方法由人体脑电波信号得到人体精神状态数据，数据处理效率高，准确率高。

3、本发明中，人体脑电波信号在通信网络中传输采用压缩感知的方法进行传输，先转换为二制编码进行压缩传输，再进行解码读取，可以满足脑电波数据的远距离传输，能够满足更多的应用场景。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明方法流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明，即所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

一种基于行为动作触发与脑电波感知的人机交互方法，方法步骤包括：

步骤1、通过包括不固定安装的带有运动探测的空气芯片传感器和固定安装的行为动作感知模块的任一种或组合的方式识别人体行为动作，并在识别到人体行为动作后传感器或行为动作感知模块输出触发信号至中央处理器；

步骤2、通过包括场地中分布设置的带有电波探测的空气芯片传感器感知人体脑电波和与人体接触式的脑电波传感器的任一种或组合的方式感知人体脑电波，所述中央处理器收到触发信号后通过通讯网络控制空气芯片传感器或脑电波传感器开始工作采集人体脑电波信号；

步骤3、所述人体脑电波信号数据通过通讯网络传输至中央处理器，中央处理器将采集到的人体脑电波信号经过深度学习的网络学习方法得到人体精神状态数据；

步骤4、所述中央处理器将得到的人体精神状态数据通过通讯网络传输至人机交互设备，人机交互设备根据人体精神状态数据进行交互。

本发明中，基于人体行为感知信号探测触发控制探测人体脑电波信号，(人体行为包括肢体行为、语音等)实现通过人体本身行为动作触发脑电波信号采集处理装置工作，自动读取人体脑电波信号进行人机交互控制的问题，并结合脑电波技术识别该人当时的各类感情、情绪、状态等精神状态实现实时的适合此人的各类情景或功能交互。通过包括不固定安装的带有运动探测的空气芯片传感器和固定安装的行为动作感知模块的任一种或组合的方式识别人体行为动作，可实现更灵活的人体行为识别，不会受限于人体行为感知模块固定设置的识别位置范围限定，通过包括场地中分布设置的空气芯片传感器感知人体脑电波和与人体接触式的脑电波传感器的任一种或组合的方式感知人体脑电波，实现远距离主动探测人体脑电波信号，不会收到现在脑电波探测设备必须是人体佩戴和安装接触式设备的限制。

进一步，所述行为动作感知模块包括有以下任意一个或任意几个的组合：识别人体肢体和运动动作的图像采集及图像处理装置、人体识别装置、语音识别装置。

进一步，所述空气芯片包括包括由微处理器、双向无线接收装置、无线网络组成的智能尘埃，所述智能尘埃通过无线网络将一些微尘散放在一个场地中，它们就能够相互定位，进一步通过双向无线接收装置收集数据并向微处理器传递信息，所述微处理器向基站的云端系数库传递信息；还包括形态不固定的空气芯片，所述空气芯片包括依次连接的第一电极层、功能材料层、第二电极层；还包括与第二电极层连接的第三运算层和云端传递层，其中：所述第一电极层用于模拟突触后，所述第二电极层用于模拟突触前，所述功能材料层的材料为硫系化合物，所述功能材料层的电导用于模拟突触权重；通过给所述第一电极层施加第二脉冲信号来模拟突触后刺激，通过给所述第二电极层施加第一脉冲信号来模拟突触前刺激；所述功能材料层的电阻用于模拟生物神经元的激发态或静息态；所述第三运算层用于空气芯片的高仿生，提取运算模拟功能，模拟生物神经元完成高智能运算，并将运算数据通过云端传递层上传至云端系数库储存；所述神经网络的行为是由网络架构所决定的，网络架构包括：神经元个数、层数、层与层之间的连接类型，智能尘埃上附着有与微处理器连接的脑电波信号捕捉模块和人体行为感知模块，空气芯片通过智能尘埃进行人体脑电波信号捕捉，智能尘埃通过无线网络接收控制信号。

进一步，所述步骤3中由人体脑电波信号得到人体精神状态数据的方法为：

步骤3.1、将历史人体脑电波信号数据进行精神状态分类，将每一个类别的人体脑电波信号数据进行独立成分分析并对每个独立成分进行认知电位提取分析；

步骤3.2、对步骤3.1得到的每一个分类的包含分类标签的数据通过深度学习模型训练，提取包含每一类脑电波信号的认知电位全局和局部信息的特征，对该特征进行线性判别分析完成深度学习模型训练；

步骤3.3、将步骤2采集到的人体脑电波号信号进行独立成分分析并对每个独立成分进行认知电位提取分析，将得到的数据输入步骤3.2训练好的深度学习模型，得到人体精神状态类别数据。

本发明中，采用神经网络学习模型的方法由人体脑电波信号得到人体精神状态数据，数据处理效率高，准确率高。

进一步，所述人机交互设备包括有智能控制设备和智能显示设备，智能显示设备包括有沉浸式全息投影、空气成像系统。

进一步，根据权利要求1所述的一种基于行为动作触发与脑电波感知的人机交互方法，其特征在于：所述人体脑电波信号在通信网络中传输采用压缩感知的方法进行传输。

本发明中，人体脑电波信号在通信网络中传输采用压缩感知的方法进行传输，先转换为二制编码进行压缩传输，再进行解码读取，可以满足脑电波数据的远距离传输，能够满足更多的应用场景。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

进一步，所述通讯网络采用5g通讯网络。