癫痫发作间期的异常放电检测方法、装置、介质及设备与流程

本公开的实施方式涉及生物医学检测，更具体地，本公开的实施方式涉及一种癫痫发作间期的异常放电检测方法方法、癫痫发作间期的异常放电检测方法装置、计算机可读存储介质及电子设备。

背景技术：

1、本部分旨在为权利要求中陈述的本公开的实施方式提供背景或上下文，此处的描述不因为包括在本部分中就承认是现有技术。

2、癫痫是一种大脑突发异常反应并以复发为特征的慢性神经系统疾病，是由大脑神经元的异常活动所引起的。这种神经元过度放电引起的癫痫发作通常伴有运动、感觉、情绪或精神功能的紊乱。一旦这种突发性神经系统疾病发作，患者的大脑就会停止正常工作，从而表现出昏厥、身体失衡、抽搐、肌肉收缩、失去意识和直觉等异常反应。对于任何癫痫患者来说，癫痫的发作对患者及其家庭的生活各方面都造成了很大的影响，甚至会危害患者的生命。

3、脑电图(electroencephalogram，eeg)是一种用于临床记录脑相关活动的无创信号采集方法。它具有较高的时间分辨率，在癫痫的检测、诊断、治疗、疗效评价和病理学研究中具有重要作用。目前，基于脑电图的癫痫诊断主要是癫痫发作的检测，然而，癫痫发作并不常见。相比之下，近80％的癫痫患者在发作间期存在神经元异常放电，这些在eeg中可观测到的异常放电被称为发作间期癫痫样放电(interictal epileptiform discharges，ied)。ied是癫痫诊断或癫痫发作风险评估的有力支持。在癫痫间期异常放电评估中，伪差识别是一项非常重要的工作。睡眠伪差就是其中的一种。

技术实现思路

1、然而，患者在睡眠状态产生的脑电图，与癫痫间期异常放电的波形非常接近，这使得预估会出现一些误判情况。

2、为此，非常需要一种癫痫发作间期的异常放电检测方法，将患者的睡眠状态辨别出来，以在一定程度上提高阳性识别的准确率。

3、在本上下文中，本公开的实施方式期望提供一种癫痫发作间期的异常放电检测方法、癫痫发作间期的异常放电检测装置、计算机可读存储介质及电子设备。

4、根据本公开的第一方面，提供一种癫痫发作间期的异常放电检测方法，所述方法包括：获取目标用户的待测电信号和视频数据，并对所述待测电信号进行预处理，得到所述待测电信号的一次信号和二次信号；所述待测电信号包括脑电信号、心电信号和肌电信号；所述视频数据包括身体图像和面部图像；将所述待测电信号中预设通道的脑电信号输入已训练睡眠预测模型进行处理，输出睡眠预测结果；所述已训练睡眠预测模型由第一训练集训练得到，所述第一训练集包括多个第一训练样本；所述第一训练样本包括基于视频数据校正过的睡眠状态下的预设通道脑电信号样本及对应的标签、基于视频数据校正过的非睡眠状态下的预设通道脑电信号样本及对应的标签；所述预设通道至少包括fz通道和cz通道；将所述待测电信号的一次信号、二次信号、所述视频数据和所述睡眠预测结果输入已训练神经网络模型进行处理，输出所述待测电信号存在异常放电的预测值；所述已训练神经网络模型由第二训练集训练得到，所述第二训练集包括多个第二训练样本；所述第二训练样本包括癫痫患者发作间期存在异常放电的电信号及对应的标签、癫痫患者发作间期不存在异常放电的电信号及对应的标签、非癫痫患者的电信号及对应的标签、睡眠特征、视频特征；所述视频特征是通过对视频数据进行特征提取得到的。

5、在一种实施方式中，所述对所述待测电信号进行预处理，得到所述待测电信号的一次信号和二次信号，包括：针对所述脑电信号中的每一通道，计算所述通道的电位与所述通道对应的参考电极的电位差，得到所述脑电信号的一次信号；对所述心电信号和所述肌电信号进行预处理，分别得到所述心电信号的一次信号和所述肌电信号的一次信号；将所述脑电信号的一次信号、所述心电信号的一次信号和所述肌电信号的一次信号进行连接，得到所述待测电信号的一次信号；基于所述待测电信号的一次信号，确定所述待测电信号的二次信号。

6、在一种实施方式中，所述待测电信号的二次信号包括所述待测电信号的时频谱图；所述基于所述待测电信号的一次信号，确定所述待测电信号的二次信号，包括：对所述待测电信号的一次信号进行短时傅里叶变换，得到所述待测电信号的时频谱图。

7、在一种实施方式中，所述将所述待测电信号的一次信号、二次信号、所述视频数据和所述睡眠预测结果输入已训练神经网络模型进行处理，输出所述待测电信号存在异常放电的预测值，包括：获取所述待测电信号的一次信号、二次信号、所述视频数据和所述睡眠预测结果；对所述待测电信号的一次信号、二次信号进行特征提取，得到第一中间特征；所述第一中间特征包括所述待测电信号的原始信号特征、频率谱特征；对所述视频数据进行特征提取，得到第二中间特征；所述第二中间特征包括所述目标用户的时序身体特征、时序面部特征、身体关键点运动特征、面部关键点运动特征；对所述睡眠预测结果进行特征提取，得到第三中间特征；将所述第一中间特征、所述第二中间特征和所述第三中间特征进行融合，得到融合特征；对所述融合特征进行降维，得到嵌入特征；根据所述嵌入特征，确定所述待测电信号存在异常放电的预测值。

8、在一种实施方式中，所述对所述待测电信号的特征进行特征提取，得到第一中间特征，包括：对所述待测电信号的一次信号进行特征提取，得到所述待测电信号的原始信号特征；对所述待测电信号的二次信号进行特征提取，得到所述待测电信号的频率谱特征；将所述待测电信号的原始信号特征和频率谱特征作为所述第一中间特征。

9、在一种实施方式中，所述对所述视频数据进行特征提取，得到第二中间特征，包括：对所述视频数据进行身体特征提取和面部特征提取，得到身体感兴趣区域、身体信息、面部感兴趣区域、面部信息；对所述身体感兴趣区域和所述面部感兴趣区域分别进行特征提取，得到时序身体特征和时序面部特征；对所述身体信息和所述面部信息进行帧差计算，得到身体关键点运动特征和面部关键点运动特征。

10、在一种实施方式中，所述对所述待测电信号进行预处理，还包括：对所述待测电信号进行重采样、滤波、去噪、分段、数值标准化中的至少一项。

11、在一种实施方式中，所述已训练神经网络模型的训练过程，包括：获取第二训练集；所述第二训练集包括多个第二训练样本；所述第二训练样本包括癫痫患者发作间期存在异常放电的电信号及对应的标签、癫痫患者发作间期不存在异常放电的电信号及对应的标签、非癫痫患者的电信号及对应的标签、睡眠特征、视频特征；所述视频特征是通过对视频数据进行特征提取得到的；将所述第二训练集输入神经网络模型中，得到所述第二训练集的预测分类；所述预测分类包括阳性或阴性；所述阳性表示训练样本存在异常放电，所述阴性表示训练样本不存在异常放电；根据所述第二训练集的预测分类和所述第二训练集的标签，确定所述神经网络模型的损失值；根据所述损失值，对所述神经网络模型进行迭代训练，直至达到预设的收敛条件，得到所述已训练神经网络模型。

12、在一种实施方式中，所述将所述训练集输入神经网络模型中，得到训练集的预测分类，包括：将所述第二训练集输入神经网络模型，得到所述第二训练样本存在异常放电的预测值；根据所述第二训练样本存在异常放电的预测值，确定所述第二训练样本的预测分类。

13、在一种实施方式中，所述根据损失值，对神经网络模型进行迭代训练，直至达到预设的收敛条件，得到已训练神经网络模型，包括：根据所述损失值，更新所述神经网络模型的模型参数；所述模型参数包括权重和偏差；在所述损失值满足预设的收敛条件时，结束训练，得到所述已训练神经网络模型。

14、根据本公开的第二方面，提供一种癫痫发作间期的异常放电检测装置，所述装置包括：数据获取模块，被配置为获取目标用户的待测电信号和视频数据，并对所述待测电信号进行预处理，得到所述待测电信号的一次信号和二次信号；所述待测电信号包括脑电信号、心电信号和肌电信号；所述视频数据包括身体图像和面部图像；睡眠预测模块，被配置为将所述待测电信号中预设通道的脑电信号输入已训练睡眠预测模型进行处理，输出睡眠预测结果；所述已训练睡眠预测模型由第一训练集训练得到，所述第一训练集包括多个第一训练样本；所述第一训练样本包括基于视频数据校正过的睡眠状态下的预设通道脑电信号样本及对应的标签、基于视频数据校正过的非睡眠状态下的预设通道脑电信号样本及对应的标签；所述预设通道至少包括fz通道和cz通道；异常放电预测模块，被配置为将所述待测电信号的一次信号、二次信号、所述视频数据和所述睡眠预测结果输入已训练神经网络模型进行处理，输出所述待测电信号存在异常放电的预测值；所述已训练神经网络模型由第二训练集训练得到，所述第二训练集包括多个第二训练样本；所述第二训练样本包括癫痫患者发作间期存在异常放电的电信号及对应的标签、癫痫患者发作间期不存在异常放电的电信号及对应的标签、非癫痫患者的电信号及对应的标签、睡眠特征、视频特征；所述视频特征是通过对视频数据进行特征提取得到的。

15、在一种实施方式中，所述数据获取模块被配置为：针对所述脑电信号中的每一通道，计算所述通道的电位与所述通道对应的参考电极的电位差，得到所述脑电信号的一次信号；对所述心电信号和所述肌电信号进行预处理，分别得到所述心电信号的一次信号和所述肌电信号的一次信号；将所述脑电信号的一次信号、所述心电信号的一次信号和所述肌电信号的一次信号进行连接，得到所述待测电信号的一次信号；基于所述待测电信号的一次信号，确定所述待测电信号的二次信号。

16、在一种实施方式中，所述数据获取模块被配置为：对所述待测电信号的一次信号进行短时傅里叶变换，得到所述待测电信号的时频谱图。

17、在一种实施方式中，所述异常放电预测模块被配置为：获取所述待测电信号的一次信号、二次信号、所述视频数据和所述睡眠预测结果；对所述待测电信号的一次信号、二次信号进行特征提取，得到第一中间特征；所述第一中间特征包括所述待测电信号的原始信号特征、频率谱特征；对所述视频数据进行特征提取，得到第二中间特征；所述第二中间特征包括所述目标用户的时序身体特征、时序面部特征、身体关键点运动特征、面部关键点运动特征；对所述睡眠预测结果进行特征提取，得到第三中间特征；将所述第一中间特征、所述第二中间特征和所述第三中间特征进行融合，得到融合特征；对所述融合特征进行降维，得到嵌入特征；根据所述嵌入特征，确定所述待测电信号存在异常放电的预测值。

18、在一种实施方式中，所述异常放电预测模块被配置为：对所述待测电信号的一次信号进行特征提取，得到所述待测电信号的原始信号特征；对所述待测电信号的二次信号进行特征提取，得到所述待测电信号的频率谱特征；将所述待测电信号的原始信号特征和频率谱特征作为所述第一中间特征。

19、在一种实施方式中，所述异常放电预测模块被配置为：对所述视频数据进行身体特征提取和面部特征提取，得到身体感兴趣区域、身体信息、面部感兴趣区域、面部信息；对所述身体感兴趣区域和所述面部感兴趣区域分别进行特征提取，得到时序身体特征和时序面部特征；对所述身体信息和所述面部信息进行帧差计算，得到身体关键点运动特征和面部关键点运动特征。

20、在一种实施方式中，所述数据获取模块被配置为：对所述待测电信号进行重采样、滤波、去噪、分段、数值标准化中的至少一项。

21、在一种实施方式中，所述装置还包括模型训练模块，所述模型训练模块被配置为：获取第二训练集；所述第二训练集包括多个第二训练样本；所述第二训练样本包括癫痫患者发作间期存在异常放电的电信号及对应的标签、癫痫患者发作间期不存在异常放电的电信号及对应的标签、非癫痫患者的电信号及对应的标签、睡眠特征、视频特征；所述视频特征是通过对视频数据进行特征提取得到的；将所述第二训练集输入神经网络模型中，得到所述第二训练集的预测分类；所述预测分类包括阳性或阴性；所述阳性表示训练样本存在异常放电，所述阴性表示训练样本不存在异常放电；根据所述第二训练集的预测分类和所述第二训练集的标签，确定所述神经网络模型的损失值；根据所述损失值，对所述神经网络模型进行迭代训练，直至达到预设的收敛条件，得到所述已训练神经网络模型。

22、在一种实施方式中，所述模型训练模块被配置为：将所述第二训练集输入神经网络模型，得到所述第二训练样本存在异常放电的预测值；根据所述第二训练样本存在异常放电的预测值，确定所述第二训练样本的预测分类。

23、在一种实施方式中，所述模型训练模块被配置为：根据所述损失值，更新所述神经网络模型的模型参数；所述模型参数包括权重和偏差；在所述损失值满足预设的收敛条件时，结束训练，得到所述已训练神经网络模型。

24、根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种方法。

25、根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一种方法。

26、根据本公开实施方式的癫痫发作间期的异常放电检测方法、癫痫发作间期的异常放电检测装置、计算机可读存储介质及电子设备，获取目标用户的待测电信号和视频数据，并对所述待测电信号进行预处理，得到所述待测电信号的一次信号和二次信号；所述待测电信号包括脑电信号、心电信号和肌电信号；所述视频数据包括身体图像和面部图像；将所述待测电信号中预设通道的脑电信号输入已训练睡眠预测模型进行处理，输出睡眠预测结果；所述已训练睡眠预测模型由第一训练集训练得到，所述第一训练集包括多个第一训练样本；所述第一训练样本包括基于视频数据校正过的睡眠状态下的预设通道脑电信号样本及对应的标签、基于视频数据校正过的非睡眠状态下的预设通道脑电信号样本及对应的标签；所述预设通道至少包括fz通道和cz通道；将所述待测电信号的一次信号、二次信号、所述视频数据和所述睡眠预测结果输入已训练神经网络模型进行处理，输出所述待测电信号存在异常放电的预测值；所述已训练神经网络模型由第二训练集训练得到，所述第二训练集包括多个第二训练样本；所述第二训练样本包括癫痫患者发作间期存在异常放电的电信号及对应的标签、癫痫患者发作间期不存在异常放电的电信号及对应的标签、非癫痫患者的电信号及对应的标签、睡眠特征、视频特征；所述视频特征是通过对视频数据进行特征提取得到的。如此，通过对视频数据、睡眠分期的学习，模型可以减少将睡眠状态下产生的疑似异常放电的电信号判定为阳性的情况；从而，提高阳性判断的准确率。