基于深度学习的脑电波智能学习机及其程序控制方法与流程

本发明涉及脑电波控制技术领域，尤其涉及一种基于深度学习的脑电波智能学习机及其程序控制方法。

背景技术：
：

基于脑电波的数据终端，是物联网和大数据背景下的一个非常重要的数据终端，是一门新兴技术。脑电波是在大脑活动时在大脑皮质的细胞外产生的生物电流，不同的脑活动会产生不同的电流波。因此我们可以通过电极来采集这些脑电波信号，然后通过深度学习模型的建立和分析，就能得到不同的脑电波与不同的脑活动之间的对应关系，再将脑电波信号进行特殊的数据处理，就可以通过这些数据对应的脑活动，来进行简单的电子设备的控制。

技术实现要素：
：

针对上述问题，本发明要解决的技术问题是提供一种基于深度学习的脑电波智能学习机及其程序控制方法。

本发明的基于深度学习的脑电波智能学习机，包括脑电信号采集设备和学习机，所述脑电信号采集设备包括脑电信号采集处理模块、参考电极、脑电信号采集电极、电源模块和第一无线通信模块，所述脑电信号采集处理模块分别与参考电极、脑电信号采集电极、电源模块和第一无线通信模块连接，所述学习机包括控制器、触摸屏控制器、触摸显示屏、FLASH存储器、第二无线通信模块、电源、音频编码器芯片、SD卡及USB接口，所述控制器分别与触摸屏控制器、FLASH存储器、第二无线通信模块、电源、音频编码器芯片、SD卡及USB接口连接，所述触摸屏控制器连接有触摸显示屏，所述第一无线通信模块与第二无线通信模块无线连接。

优选的，所述参考电极包括前额电极及耳朵电位夹。

优选的，所述脑电信号采集处理模块为ThinkGear TGAM模块。

优选的，所述控制器采用arm处理器。

本发明的基于深度学习的脑电波智能学习机的程序控制方法，包括以下步骤：

a.建立和训练单词记忆深度的脑电信号深度学习模型，建立一个DBN深度学习模型，构建包含3个隐含层的DBN网络，相邻层构成受限玻尔兹曼机RMB，输入层为x，输出层为y，在x层输入待检图像特征向量，经由三个隐含层，得到分类结果y，其激活函数采用sigmoid激活函数公式为：

；

b.通过脑电信号采集设备采集用户的原始脑电信号，通过无线通信模块发送到学习机上；

c.接收到采集的原始脑电信号后，送往深度学习模型，同时按照ThinkGear传输数据包格式进行数据解析，获得信号质量值和专注度值；

d.通过深度学习模型判断当前单词是否需要学习；

e.根据信号质量值和专注度值来分析用户当前的注意力集中程度；

f.根据步骤d中的单词是否继续学习的判断和步骤e中注意力集中程度的判断，决定是否切换到下一个单词进行学习。

优选的，所述步骤b中通过通过脑电信号采集设备采集用户的原始脑电信号是通过前额电极、耳朵电位夹和脑电信号采集处理模块来进行采集的。

本发明有益效果：本发明通过监测使用者的单词记忆深度和精神注意力，通过单词记忆深度来判断当前单词是否需要继续记忆学习。并通过与注意力相关的脑电信号的强弱，来判断使用者注意力是否集中，依此控制记忆单词的进度，提高外语单词记忆的效率。

附图说明：

为了易于说明，本发明由下述的具体实施及附图作以详细描述。

图1是DBN分类器结构；

图2是脑电信号采集设备结构图；

图3是学习机结构图；

图4是脑电信号数据包解析过程；

图5是学习机控制过程；

图6是脑电信号采集设备电路原理图；

图7-8是CPU主电路图；

图9是CPU-总线电路图；

图10是时钟电路；

图11是VGA接口电路图；

图12是FLASH存储器电路图；

图13是SD卡电路图；

图14是USB接口电路图；

图15-16是电源模块电路图；

图17是音频编码器芯片电路图；

图18是无线通信模块电路图；

图19是触摸屏控制器电路图。

图中：Q1-脑电信号采集处理模块；Q2-参考电极；Q3-脑电信号采集电极；Q4-电源模块；Q5-第一无线通信模块；P1-控制器；P2-触摸屏控制器；P3-触摸显示器；P4-FLASH存储器；P5-第二无线通信模块；P6-电源；P7-音频编码器芯片；P8-SD卡；P9-USB接口。

具体实施方式：

为使本发明的目的、技术方案和优点更加清楚明了，下面通过附图中示出的具体实施例来描述本发明。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

如图1-19所示，本实施例的一种基于深度学习的脑电波智能学习机，包括脑电信号采集设备和学习机，所述脑电信号采集设备包括脑电信号采集处理模块Q1、参考电极Q2、脑电信号采集电极Q3、电源模块Q4和第一无线通信模块Q5，所述脑电信号采集处理模块Q1分别与参考电极Q2、脑电信号采集电极Q3、电源模块Q4和第一无线通信模块Q5连接，所述学习机包括控制器P1、触摸屏控制器P2、触摸显示屏P3、FLASH存储器P4、第二无线通信模块P5、电源P6、音频编码器芯片P7、SD卡P8及USB接口P9，所述控制器PQ分别与触摸屏控制器P2、FLASH存储器P4、第二无线通信模块P5、电源P6、音频编码器芯片P7、SD卡P8及USB接口P9连接，所述触摸屏控制器P2连接有触摸显示屏P3，所述第一无线通信模块Q5与第二无线通信模块P5无线连接。

具体地，参考电极Q2包括前额电极及耳朵电位夹；脑电信号采集处理模块Q1为ThinkGear TGAM模块；控制器P1采用arm处理器。

本实施例的一种基于深度学习的脑电波智能学习机的程序控制方法，包括以下步骤：

a.建立和训练单词记忆深度的脑电信号深度学习模型；

b.通过脑电信号采集设备采集用户的原始脑电信号，通过无线通信模块发送到学习机上；

c.接收到采集的原始脑电信号后，送往深度学习模型，同时按照ThinkGear TGAM传输数据包格式进行数据解析，获得信号质量值和专注度值；

d.通过深度学习模型判断当前单词是否需要学习；

e.根据信号质量值和专注度值来分析用户当前的注意力集中程度；

f.根据步骤d中的单词是否继续学习的判断和步骤e中注意力集中程度的判断，决定是否切换到下一个单词进行学习。

具体地，步骤a中建立和训练单词记忆深度的脑电信号深度学习模型是指建立一个DBN深度学习模型，再通过大量的不同学习者的单词记忆深度脑电信号样本来训练该模型；建立一个DBN深度学习模型，如图1所示，通过大量的不同学习者的单词记忆深度脑电信号样本来训练该模型。首先将要学习的外语单词库让学习者学习，然后测试学习者的记忆情况，采集测试者的脑电信号，并将信号送入DBN网络中进行逐层学习，获取单词记忆脑电信号的特征，待学习完毕之后，DBN网络最后一层将按单词的记忆深度信号特征，对信号进行分类。低于某个分类级别的单词，认为记忆不是很牢，需要重新推荐记忆学习，而高于某个级别的说明记忆很深很牢，就不再推荐记忆学习。

具体地，步骤B中脑电信号的采集处理是通过前额电极、耳朵电位夹和ThinkGear TGAM脑电信号处理模块来完成的，采集到的数据是通过无线通信模块发送到学习机上，无线通信模块为蓝牙。

具体地，步骤c中学习机通过蓝牙接收b中采集到的脑电信号数据，并将原始信号送往深度学习模型，同时按照ThinkGear TGAM传输数据包格式进行数据解析，获得信号质量值和专注度值。解析出数据包中的第3字节的值为信号质量值，第34字节的值即为专注度值；第7～30字节可以解析出delta波、theta波、alpha波、beta波、gamma波的值。

具体地，步骤d中将步骤c中获得的单词脑电信号量送到步骤a中建立的DBN深度学习模型，并判断当前单词是否需要学习。

具体地，步骤e中根据专注度和信号质量值来分析使用者当前的注意力集中程度。

具体地，步骤f中根据步骤d中的单词是否继续学习的判断和步骤e中注意力集中程度的判断，按照一定的记忆时间间隔要求，决定是否切换到下一个单词进行学习。

现在结合附图及实例对本发明作进一步的说明。

图1描述了DBN分类器结构：考虑均衡DBN网络的训练时间和识别时间，本发明设计了含有3个隐含层的DBN网络，结构如图1所示。其中，h₁-h₃分别为网络中的三个隐含层，相邻层构成受限玻尔兹曼机RMB，x为输入层，y为输出层，在x层输入待检图像特征向量，经由三个隐含层，得到分类结果y，k₁-k₃分别为隐含层包含的单元个数。由于输入端输入的是二值向量，所以这里选用二值单元，其激活函数采用sigmoid激活函数，如公式（1）所示。

（1）

图2描述了脑电信号采集设备的结构图。

脑电信号采集处理模块：可采用ThinkGear TGAM模块，模块可以对采集的脑电信号进行处理，输出整型值的信号质量值、注意力值、原始脑电波采样值等；

参考电极：包括前额电极及耳朵电位夹，取耳垂做参考电位，使用耳夹电极；

脑电信号采集电极：采集原始的脑电信号；

电源模块：可以使用锂电池对各个模块供电；

第一无线通信模块：可以使用蓝牙通信。

图3描述了学习机的结构图。

控制器：可选用arm处理器；

触摸屏控制器：连接处理器和触摸屏，接收触摸信息，并将它转换成触点坐标，再送给处理器；

触摸屏：用于显示单词记忆的操作界面；

第二无线通信模块：可以与第一无线通信模块通信。

Flash存储卡：存储应用程序和单词数据；

音频编解码芯片：用来对单词读音音频进行编解码；

SD卡：用来存储单词库，扩展存储，扩大词库；

USB接口：用来供电，或者从设备上上传或下载文件。

电源：可以使用锂电池或USB接口对各个模块供电。

图4描述了脑电信号数据包的解析过程。

步骤S1：学习机上的蓝牙接受到脑电信号采集设备的信号数据包；

步骤S2：按照ThinkGear TGAM模块数据包格式来解析数据；

步骤S3：首先解析出信号质量的值，然后存储单词记忆深度脑的电信号量和信号质量值。信号质量值的取值在0到200之间，越小越好，越小说明噪声越小；

步骤 S4：将存储的单词记忆深度脑电信号作为输入送入DBN网络；

步骤S5：通过DBN网络判断当前单词是否需要学习，不需要继续返回读取数据，需要就继续下一步；

步骤S6：判断信号质量值是否小于等于50，如果小于，则转到步骤S5，否则，解析下一个脑电信号数据包；

步骤S7：存储解析出的注意力值，取值在0到100之间，注意力值越大越好，说明注意力越集中；

步骤S8：判断注意力值是否小于等于60，如果是的话，解析下一个脑电信号数据包，否则转到步骤S7；

步骤S9：若注意力值大于60，则置标志位Fnext=1，表示允许记忆下一个单词。

图5描述了学习机控制过程。

步骤U1：在单词需要继续学习时，获取之前记忆的单词的序号变量值；

步骤U2：判断标志位Fnext是否等于1，若是则转到步骤U3，否则等待标志位Fnext被置为1；

步骤U3：当前单词序号变量值加1，显示下一个单词；

步骤U4：获取当前单词需要记忆的时间，并在屏幕上显示单词相应的时间长度；

步骤U5：同时判断信号质量值是否小于等于50，并且注意力值是否大于60，是的话，继续显示下一个单词，否则转到步骤U6；

步骤U6：把Fnext标志位清零，等待Fnext标志位被置为1。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。