一种脑电采集装置、脑电目标识别方法和装置与流程

1.本发明涉及目标检测与识别技术领域，尤其涉及一种脑电采集装置、脑电目标识别方法和装置。


背景技术：

2.在目标检测与识别领域，深度学习等方法已取得广泛应用。但深度学习等方法需要依靠大样本建模，对于样本量较少、样本信噪比低等情况下其性能会大大降低。当前，对于小样本目标检测与识别主要依靠人工手动方法来实现。
3.然而，人工手动方法效率低，无法在大数据背景样本的情况快速检测识别出目标。目前已有一些基于脑电的目标快速检测与识别方法，但受限于脑电传感电极性能，尤其是干电极的界面性能，导致采集到的脑电信号信噪比较低，使得对脑电目标检测与识别性能不够高。


技术实现要素：

4.鉴于上述的分析，本发明实施例旨在提供一种干电极、其脑电采集装置及脑电目标识别方法和装置，用以解决现有脑电信号信噪比低，使得对脑电目标检测与识别性能低的问题。
5.一方面，本发明实施例提供了一种脑电采集装置包括：多个干电极，用于采集脑电信号，其上表面与导线连接，以及其下表面用于与待测皮肤接触的界面处涂覆或蒸镀有生物膜-纳米管，其中，所述生物膜-纳米管，包括：tio2纳米管，与所述干电极下表面连接，其中，每个tio2纳米管从根部到整个管壁均镶嵌有au或pt纳米粒子；以及生物膜，为由高生物相容性、静电吸附、高电化学活性的生物膜结合多级别尺度au纳米粒子组成的固态电解质并位于所述tio2纳米管外表面处。
6.上述技术方案的有益效果如下：使用生物膜/金(或铂)/tio2纳米管对干电极表面进行修改，提高干电极对脑电信号的传感能力。干电极由于不需要导电膏，可直接佩戴就能使用，快捷方便。每个tio2纳米管从根部到整个管壁均镶嵌着au或pt纳米粒子，具有高的电子输运能力；其表面的固态电解质膜，可起到粘附皮肤、富集水分、降低异相界面电荷转移电阻的作用，提高电极对脑电的传感采集性能。
7.基于上述装置的进一步改进，脑电采集装置还包括放大器，与多个干电极中每个干电极上表面的导线连接，用于放大所述脑电信号。
8.另一方面，本发明实施例提供了一种脑电目标识别方法，包括：在所述增强现实眼镜中快速呈现已知标签图片并使用以上所述的脑电采集装置同步采集所述第一脑电信号；构建长短时记忆神经网络模型，并利用所述第一脑电信号训练所述长短时记忆神经网络模型以获取脑电解码模型；在所述增强现实眼镜中呈现多张待识别图片并同步采集第二脑电信号；以及将所述第二脑电信号输入所述脑电解码模型，以对与所述第二脑电信号相对应的所述多张待识别图片进行分类。
9.基于上述方法的进一步改进，在所述增强现实眼镜中快速呈现已知标签图片进一步包括：对多张图片中的每张图片进行类别标注，以构建图片库，其中，所述图片库包括多张已知标签图片；人员佩戴所述增强现实眼镜；以及以包为单位按预设帧速在所述增强现实眼镜中快速呈现所述多张已知标签图片，其中，每包包括n张所述已知标签图片，n为所述预设帧速的1.5倍。
10.基于上述方法的进一步改进，对多张图片中的每张图片进行类别标注进一步包括：将存在第一目标的图片标注为标签1；将存在第二目标的图片标注为标签2；将存在第三目标的图片标注为标签3；以及将没有所述第一目标、所述第二目标和所述第三目标的图片标注为标签4，其中，所述第一目标、第二目标和第三目标分别为人、汽车或动物。
11.基于上述方法的进一步改进，使用包括多个生物膜-纳米管干电极的脑电采集装置同步采集所述第一脑电信号进一步包括：在以包为单位，按预设帧速在所述增强现实眼镜中快速呈现所述多张已知标签图片的同时，所述脑电采集装置在人员注视所述多张已知标签图片过程中采集所述第一脑电信号；以及在每包开始呈现的时刻，所述增强现实眼镜向所述脑电采集装置发送同步标签。
12.基于上述方法的进一步改进，利用所述第一脑电信号训练所述长短时记忆神经网络模型以获取脑电解码模型进一步包括：按照每张已知标签图片呈现的时间长度为100毫秒，将所述第一脑电信号划分为多个训练样本；每个训练样本为t*c的二维矩阵，所述每个训练样本利用与所述每个训练样本相对应的已知标签图片的标签进行标注，其中，t为每一张图片呈现的时间长度内截取的脑电数据长度，c为脑电采集通道数；以及利用所述多个训练样本训练所述所述长短时记忆神经网络模型以获取脑电解码模型。
13.基于上述方法的进一步改进，在所述增强现实眼镜中呈现待识别图片并同步采集第二脑电信号进一步包括：以包为单位按预设帧速在所述增强现实眼镜中快速呈现所述多张待识别图片，所述脑电采集装置在人员注视所述多张待识别图片过程中采集所述第二脑电信号；以及在每包开始呈现的时刻，所述增强现实眼镜向所述脑电采集装置发送同步标签。
14.基于上述方法的进一步改进，将所述第二脑电信号输入所述脑电解码模型，以对与所述第二脑电信号相对应的所述多张待识别图片进行分类进一步包括：按照每张待识别图片呈现的时间长度为100毫秒，将所述第二脑电信号划分为多个待分类脑电信号；每个待分类脑电信号为t*c的二维矩阵，其中，t为每一张图片呈现的时间长度内截取的脑电数据长度，c为脑电采集通道数；以及所述脑电解码模型对每包15张待识别图片呈现1秒时间段内的待分类脑电信号进行分析，并对包内的待识别图片进行分类和标注。
15.又一方面，本发明实施例提供了一种脑电目标识别装置，包括：训练集获取模块，用于在所述增强现实眼镜中快速呈现已知标签图片并使用以上所述的脑电采集装置同步采集所述第一脑电信号；脑电解码模型构建模块，用于构建长短时记忆神经网络模型，并利用所述第一脑电信号训练所述长短时记忆神经网络模型以获取脑电解码模型；待测信号获取模块，用于在所述增强现实眼镜中呈现待识别图片并同步采集第二脑电信号；以及识别模块，用于将所述第二脑电信号输入所述脑电解码模型，以对与所述第二脑电信号相对应的所述待识别图片进行分类。
16.与现有技术相比，本发明至少可实现如下有益效果之一：
17.1、使用生物膜/金(或铂)/tio2纳米管对干电极表面进行修改，提高干电极对脑电信号的传感能力。干电极由于不需要导电膏，可直接佩戴就能使用，快捷方便。由tio2(二氧化钛)纳米管高密度聚集而成，每个tio2纳米管从根部到整个管壁均镶嵌着au或pt纳米粒子，具有高的电子输运能力；其表面则由纳米粒子被电活性生物膜包覆构成了与皮肤接触的固态电解质膜，可起到粘附皮肤、富集水分、降低异相界面电荷转移电阻的作用，提高电极对脑电的传感采集性能。
18.2、对多目标图片样本量要求较少，图片质量要求低，可提升对多目标的检测与识别效率，并且建模时间短，可快速适应新任务。
19.3、采用穿戴式增强现实作为图片呈现载体，方便移动和户外实用。
20.本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
21.附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。
22.图1为根据本发明实施例的生物膜-纳米管干电极的结构图。
23.图2为根据本发明实施例的生物膜-纳米管干电极阵列的结构图。
24.图3为根据本发明实施例的脑电目标识别方法流程图。
25.图4为根据本发明实施例的脑电目标识别方法的具体示例的流程图。
26.图5为根据本发明实施例的脑电目标识别装置的框图。
具体实施方式
27.下面结合附图来具体描述本发明的优选实施例，其中，附图构成本技术一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
28.本发明的一个具体实施例，公开了一种脑电采集装置。参考图1和图2，脑电采集装置，包括：多个干电极，用于采集脑电信号，其上表面与导线连接，以及其下表面用于与待测皮肤接触的界面处涂覆或蒸镀有生物膜-纳米管，其中，所述生物膜-纳米管，包括：tio2纳米管，与所述干电极下表面连接，其中，每个tio2纳米管从根部到整个管壁均镶嵌有au或pt纳米粒子；以及生物膜，为由高生物相容性、静电吸附、高电化学活性的生物膜结合多级别尺度au纳米粒子组成的固态电解质并位于所述tio2纳米管外表面处。具体地，生物膜位于tio2纳米管与待测皮肤接触的界面处。
29.与现有技术相比，本实施例提供的脑电采集装置，使用生物膜/金(或铂)/tio2纳米管对干电极表面进行修改，提高干电极对脑电信号的传感能力。干电极由于不需要导电膏，可直接佩戴就能使用，快捷方便。每个tio2纳米管从根部到整个管壁均镶嵌着au或pt纳米粒子，具有高的电子输运能力；其表面的固态电解质膜，可起到粘附皮肤、富集水分、降低异相界面电荷转移电阻的作用，提高电极对脑电的传感采集性能。
30.参考图2，脑电采集装置还包括放大器，与多个干电极中每个干电极上表面的导线
连接，用于放大所述脑电信号。
31.下文中，参考图1和图2，以具体示例的方式对脑电采集装置进行详细描述。
32.使用生物膜/金(或铂)/tio2纳米管对干电极表面进行修改，提高干电极对脑电信号的传感能力。干电极由于不需要导电膏，可直接佩戴就能使用，快捷方便。由tio2(二氧化钛)纳米管高密度聚集而成，每个tio2纳米管从根部到整个管壁均镶嵌着au或pt纳米粒子，具有高的电子输运能力；其表面则由纳米粒子被电活性生物膜包覆构成了与皮肤接触的固态电解质膜，可起到粘附皮肤、富集水分、降低异相界面电荷转移电阻的作用，提高电极对脑电的传感采集性能。干电极为dsi-24脑电传感采集装置。
33.生物膜/金(或铂)/tio2纳米管，由tio2纳米管高密度聚集而成，每个tio2纳米管从根部到整个管壁均镶嵌着au或pt纳米粒子，具有高的电子输运能力；其表面则由纳米粒子被电活性生物膜包覆构成了与皮肤接触的固态电解质膜，起到测试时的类似导电膏的作用，即粘附皮肤、富集水分、降低异相界面电荷转移电阻。
34.(1)结合电化学还原及阳极氧化法制备au-tio2纳米管阵列，使纳米管依附于au纳米粒子成核，且使tio2管壁镶嵌au纳米粒子，实现高的电子输运，低的电极电阻。
35.(2)由高生物相容性、静电吸附、高电化学活性的生物膜结合多级别尺度au纳米颗粒们组成固态电解质，降低了皮肤与电极之间的界面电阻，免去了涂抹导电膏的繁琐、提高了的舒适性。
36.本发明的另一个具体实施例，公开了脑电目标识别方法。参考图3，脑电目标识别方法，包括：步骤s302，在增强现实眼镜中快速呈现已知标签图片并使用包括多个生物膜-纳米管干电极的脑电采集装置同步采集第一脑电信号；步骤s304，构建长短时记忆神经网络模型，并利用第一脑电信号训练长短时记忆神经网络模型以获取脑电解码模型；步骤s306，在增强现实眼镜中呈现多张待识别图片并同步采集第二脑电信号；以及步骤s308，将第二脑电信号输入脑电解码模型，以对与第二脑电信号相对应的多张待识别图片进行分类。
37.下文中，参考图3，对脑电目标识别方法的步骤s302、步骤s304、步骤s306和步骤s308进行详细描述。
38.参考图3，步骤s302，在增强现实眼镜中快速呈现已知标签图片并使用包括多个生物膜-纳米管干电极的脑电采集装置同步采集第一脑电信号。具体地，在增强现实眼镜中快速呈现已知标签图片进一步包括：首先，对多张图片中的每张图片进行类别标注，以构建图片库，其中，图片库包括多张已知标签图片。对多张图片中的每张图片进行类别标注进一步包括：将存在第一目标的图片标注为标签1；将存在第二目标的图片标注为标签2；将存在第三目标的图片标注为标签3；以及将没有第一目标、第二目标和第三目标的图片标注为标签4，其中，第一目标、第二目标和第三目标分别为人、汽车或动物。接下来，人员佩戴增强现实眼镜。最后，以包为单位按预设帧速(例如，10张/秒)在增强现实眼镜中快速呈现多张已知标签图片，其中，每包包括n张(例如，15张)已知标签图片，其中，n为预设帧速的1.5倍。具体地，使用包括多个生物膜-纳米管干电极的脑电采集装置同步采集第一脑电信号进一步包括：在以包为单位，按预设帧速(例如，10张/秒)在增强现实眼镜中快速呈现多张已知标签图片的同时，脑电采集装置在人员注视多张已知标签图片过程中采集第一脑电信号；以及在每包开始呈现的时刻，增强现实眼镜向脑电采集装置发送同步标签。
39.步骤s304，构建长短时记忆神经网络模型，并利用第一脑电信号训练长短时记忆神经网络模型以获取脑电解码模型。具体地，利用第一脑电信号训练长短时记忆神经网络模型以获取脑电解码模型进一步包括：按照每张已知标签图片呈现的时间长度为100毫秒，将第一脑电信号划分为多个训练样本；每个训练样本为t*c的二维矩阵，每个训练样本利用与每个训练样本相对应的已知标签图片的标签进行标注，其中，t为每一张图片呈现的时间长度内截取的脑电数据长度，c为脑电采集通道数；以及利用多个训练样本训练长短时记忆神经网络模型以获取脑电解码模型。
40.步骤s306，在增强现实眼镜中呈现多张待识别图片并同步采集第二脑电信号。具体地，在增强现实眼镜中呈现待识别图片并同步采集第二脑电信号进一步包括：以包为单位按预设帧速(例如，10张/秒)在增强现实眼镜中快速呈现多张待识别图片，脑电采集装置在人员注视多张待识别图片过程中采集第二脑电信号；以及在每包开始呈现的时刻，增强现实眼镜向脑电采集装置发送同步标签。
41.步骤s308，将第二脑电信号输入脑电解码模型，以对与第二脑电信号相对应的多张待识别图片进行分类。具体地，将第二脑电信号输入脑电解码模型，以对与第二脑电信号相对应的多张待识别图片进行分类进一步包括：按照每张待识别图片呈现的时间长度为100毫秒，将第二脑电信号划分为多个待分类脑电信号；每个待分类脑电信号为t*c的二维矩阵，其中，t为每一张图片呈现的时间长度内截取的脑电数据长度，c为脑电采集通道数；以及脑电解码模型对每包15张待识别图片呈现1秒时间段内的待分类脑电信号进行分析，并对包内的待识别图片进行分类和标注。
42.下文中，参考图4，以具体示例的方式对脑电目标识别方法进行详细描述。
43.在本发明的具体实施例中，参考图4，脑电目标识别方法包括以下步骤：
44.在第一步骤中，在干电极表面修饰生物膜/金(或铂)/tio2纳米管。
45.使用生物膜/金(或铂)/tio2纳米管对干电极表面进行修改，提高干电极对脑电信号的传感能力。干电极由于不需要导电膏，可直接佩戴就能使用，快捷方便。由tio2(二氧化钛)纳米管高密度聚集而成，每个tio2纳米管从根部到整个管壁均镶嵌着au或pt纳米粒子，具有高的电子输运能力；其表面则由纳米粒子被电活性生物膜包覆构成了与皮肤接触的固态电解质膜，可起到粘附皮肤、富集水分、降低异相界面电荷转移电阻的作用，提高电极对脑电的传感采集性能。干电极为dsi-24脑电传感采集装置。
46.生物膜/金(或铂)/tio2纳米管，由tio2纳米管高密度聚集而成，每个tio2纳米管从根部到整个管壁均镶嵌着au或pt纳米粒子，具有高的电子输运能力；其表面则由纳米粒子被电活性生物膜包覆构成了与皮肤接触的固态电解质膜，起到测试时的类似导电膏的作用，即粘附皮肤、富集水分、降低异相界面电荷转移电阻。
47.(1)结合电化学还原及阳极氧化法制备au-tio2纳米管阵列，使纳米管依附于au纳米粒子成核，且使tio2管壁镶嵌au纳米粒子，实现高的电子输运，低的电极电阻。
48.(2)由高生物相容性、静电吸附、高电化学活性的生物膜结合多级别尺度au纳米颗粒们组成固态电解质，降低了皮肤与电极之间的界面电阻，免去了涂抹导电膏的繁琐、提高了的舒适性。
49.在第二步骤中，在增强现实眼镜中快速呈现已知标签的图片，并使用第一步骤修饰的干电极同步采集人员脑电信号。
50.将已知类别标签的15000张图片按10张/秒的帧速快速呈现在增强现实眼镜中。已知类别标签的图片库中对每张图片进行了类别标注。15000张图片有20张图片中存在人(标签为1)，30张图片中存在汽车(标签为2)，20张图片中存在动物(标签为3)，而剩下的14930张图片中没有人、汽车或动物，也就是有14930张非目标图片(标签为0)。人员戴上增强现实眼镜和干电极脑电采集装置，人员需集中注意力注视增强现实眼镜中呈现的图片序列中是否有目标类的图片。干电极脑电信号采集装置采集人员注视图片序列过程中的脑电信号。每包开始呈现时刻，增强现实眼镜往干电极脑电采集装置发送同步标签信号(发送同步标签能够将人员脑电信号与包相对应，以便于根据脑电信号判断目标图片存在与那个包中)。每张图片可能存在要找的目标类图片，且存在目标的图片在整个序列中占比百分之一以下。其中增强现实眼镜为微软公司hololens 2。
51.在第三步骤中，训练并建立脑电解码模型的为长短时记忆神经网络(lstm)模型。
52.其中长短时记忆神经网络(lstm)模型为单层的lstm，内部隐含层神经元个数为50个，在tensorflow框架内使用tf.nn.rnn_cell.basiclstmcell核心函数来构建lstm。脑电解码模型的训练过程如下：将每一包图片呈现过程中所采集到的脑电信号作为训练样本，每张图片呈现的时间长度为100毫秒，每个训练样本为t*c的二维矩阵，对应的样本标签为0、1、2、3，其中t为每一张图片呈现的时间内下截取的脑电数据长度1000，c为64(脑电采集通道数)，多个包所对应脑电信号和标签就构成整个模型训练所需的训练数据样本集，样本集为1000个。
53.在第四步骤中，将未知类别标签、待检测与识别的图片呈现在增强现实眼镜中，并同步采集人员脑电信号。
54.将待检测与识别的4500张图片，图片可能存在人、车、动物等目标，依次呈现在增强现实眼镜中。
55.在第五步骤中，脑电解码模型对每一张图片对应所截取的脑电信号进行分析，自动判断对应图片的类别，并对对应图片包自动进行有无标记。
56.脑电解码模型对每一包15张图片呈现1秒时间段内的脑电信号进行分析，自动判断对应图片包内是否存在有目标的图片，并标注类别标签0、1、2、3。
57.至此，实现了小样本多类图像目标快速检索。
58.本发明给出了一种基于增强现实眼镜与脑电的脑电目标识别，对多目标图片样本量要求较少，图片质量要求低，可提升对多目标的检测与识别效率，并且建模时间短，可快速适应新任务。同时，采用穿戴式增强现实作为图片呈现载体，方便移动和户外实用。
59.本发明的另一个具体实施例，公开了一种脑电目标识别装置。参考图5，脑电目标识别装置包括：训练集获取模块502，用于在增强现实眼镜中快速呈现已知标签图片并使用包括多个生物膜-纳米管干电极的脑电采集装置同步采集第一脑电信号；模型构建模块504，用于构建长短时记忆神经网络模型，并利用第一脑电信号训练长短时记忆神经网络模型以获取脑电解码模型；待测信号获取模块506，用于在增强现实眼镜中呈现待识别图片并同步采集第二脑电信号；以及识别模块508，用于将第二脑电信号输入脑电解码模型，以对与第二脑电信号相对应的待识别图片进行分类。
60.1、使用生物膜/金(或铂)/tio2纳米管对干电极表面进行修改，提高干电极对脑电信号的传感能力。干电极由于不需要导电膏，可直接佩戴就能使用，快捷方便。由tio2(二氧
化钛)纳米管高密度聚集而成，每个tio2纳米管从根部到整个管壁均镶嵌着au或pt纳米粒子，具有高的电子输运能力；其表面则由纳米粒子被电活性生物膜包覆构成了与皮肤接触的固态电解质膜，可起到粘附皮肤、富集水分、降低异相界面电荷转移电阻的作用，提高电极对脑电的传感采集性能。
61.2、对多目标图片样本量要求较少，图片质量要求低，可提升对多目标的检测与识别效率，并且建模时间短，可快速适应新任务。
62.3、采用穿戴式增强现实作为图片呈现载体，方便移动和户外实用。
63.本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
64.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。