多模态数据驱动的注意力康复反馈方法及系统

本发明涉及注意力康复，特别涉及多模态数据驱动的注意力康复反馈方法及系统。

背景技术：

1、注意力缺陷多动障碍(adhd)是一种主要在儿童期发现的神经发育障碍，分为注意力不集中型、多动/冲动型和混合型，这些儿童常有专注障碍和短暂的注意力，虽然主要在儿童期出现，约5％的患者症状持续到成年，影响其社交和适应能力，adhd的原因可能与遗传、脑部结构、神经递质和环境因素有关，症状与其他疾病如孤独症相似，增加了误诊的风险。

2、但现有的注意力诊断和康复反馈的方法较为主观，主要由医生进行临床量表等方法进行注意力判断，但此类主观判断方法严重依赖主观评估，不利于注意力评估和康复的判断。

3、因此，研究一种客观的多模态数据的注意力康复反馈方法及系统具有重要意义。

技术实现思路

1、本发明的目的在于提供多模态数据驱动的注意力康复反馈方法及系统，以解决现有注意力康复反馈判断存在主观判断的问题。

2、为了解决上述技术问题，第一技术方案，本发明提供了一种多模态数据驱动的注意力康复反馈方法，包括以下步骤：

3、采集脑电数据和虚拟数据；

4、利用ssrl算法对所述脑电数据进行滤波除噪处理，并引入更新规则更新除噪后脑电数据的滤波系数，得到预处理后的脑电数据；

5、利用基于加权函数的改进自动同步算法对所述预处理后的脑电数据和所述虚拟数据进行同步对齐，得到同步对齐后的脑电数据和虚拟数据；

6、提取所述同步对齐后的脑电数据和虚拟数据的特征，得到脑电数据特征和虚拟数据特征；

7、将所述脑电数据特征和所述虚拟数据特征输入至多模态数据网络分类模型进行分类，得到分类结果。

8、在第一技术方案的一些实施例中，在利用ssrl算法对所述脑电数据进行滤波除噪处理，并引入更新规则更新除噪后脑电数据的滤波系数，得到预处理后的脑电数据，这一步骤中，具体包括以下步骤：记录预设电极位置的原始脑电图数据、垂直眼电数据和水平眼电数据；利用滤波器处理所述垂直眼电数据和所述水平眼电数据，得到滤波处理后的垂直眼电数据和水平眼电数据；基于所述原始脑电图数据减去所述滤波处理后的垂直眼电数据和水平眼电数据，得到真实脑电数据；利用所述更新规则更新所述真实脑电数据的滤波系数，得到预处理后的脑电数据。

9、在第一技术方案的一些实施例中，所述更新规则的公式如下：

10、

11、

12、上式中，为垂直眼电数据的第m个时间下的滤波系数，为垂直眼电数据的第m+1个时间下的滤波系数，为水平眼电数据的第m个时间下的滤波系数，为水平眼电数据的第m+1个时间下的滤波系数，e(m)为真实脑电数据，e3(m)为真实脑电数据的三次方，0<μ<1，μ为固定步长，rh(m)为水平眼点数据，rv(m)为垂直眼点数据，l为时间点的长度。

13、在第一技术方案的一些实施例中，在利用基于加权函数的自动同步算法对所述预处理后的脑电数据和虚拟数据进行同步对齐，得到同步对齐后的脑电数据和虚拟数据，这一步骤中，具体包括以下步骤：利用滑动窗口确定候选匹配路径；利用加权函数计算每个所述候选匹配路径的权重得分，根据所述权重得分确定不同数据流的最优匹配路径；利用所述最优匹配路径对所述预处理后的脑电数据和虚拟数据进行匹配对齐，得到同步对齐后的脑电数据和虚拟数据。

14、在第一技术方案的一些实施例中，所述加权函数，表示如下：

15、ω(p)＝ωk(p)·ωv(p)

16、

17、

18、上式中，ω(p)为路径p的加权函数，ωk(p)为路径p的路径权重，ωv(p)为路径p的方差权重，ωk为路径权重，k是路径长度的实际值，ke表示预期路径长度，ωv为方差权重，r为正则化器控制方差权重贡献，v为路径距离的方差。

19、在第一技术方案的一些实施例中，在提取所述同步对齐后的脑电数据和虚拟数据的特征，得到脑电数据特征和虚拟数据特征，这一步骤中，具体包括以下步骤：计算所述同步对齐后虚拟数据的运动速度，得到所述虚拟数据特征，所述虚拟数据特征包括眼动运动速度、手动运动速度和头动运动速度；利用小波变换函数对所述同步对齐后的脑电数据进行信号分解，得到多段所述脑电数据特征。

20、在第一技术方案的一些实施例中，所述小波变换函数，表示如下：

21、

22、上式中，x(n)为小波变换函数，aj,k为低频小波系数，dj,k为高频小波信号，ψ(2-jn-k)为低频基函数，φ(2―in―k)为高频基函数，j表示基函数的缩放，k表示基函数的扩张，n表示不同的时间点。

23、在第一技术方案的一些实施例中，所述多模态数据网络分类模型包括依次信号连接的卷积层、对接层、合并层、循环神经网络层、全连接层、激活函数层和反向传播马夸特层；所述反向传播马夸特层，表示如下：

24、

25、上式中，j为矩阵雅可比矩阵，为第i个矩阵雅可比矩阵的转置，为第i个网络权值和第i个偏差函数的正值，μ是控制步长的参数，i为单位向量，wi为第i个单位向量，wi+1为第i+1个单位向量，e是一个向量。

26、第二技术方案，本技术提供了一种多模态数据驱动的注意力康复反馈系统，应用了第一技术方案中所述的多模态数据驱动的注意力康复反馈方法，包括：

27、采集模块，用于采集脑电数据和虚拟数据；

28、预处理模块，用于利用ssrl算法对所述脑电数据进行滤波除噪处理，并引入更新规则更新除噪后脑电数据的滤波系数，得到预处理后的脑电数据；

29、同步对齐模块，用于利用基于加权函数的改进自动同步算法对所述预处理后的脑电数据和虚拟数据进行同步对齐，得到同步对齐后的脑电数据和虚拟数据；

30、提取模块，用于提取所述同步对齐后的脑电数据和虚拟数据的特征，得到脑电数据特征和虚拟数据特征；

31、分类模块，用于将所述脑电数据特征和所述虚拟数据特征输入至多模态数据网络分类模型进行分类，得到分类结果。

32、本发明的有益效果如下：

33、一、由于使用ssrl算法对脑电数据进行预处理，能对受试者原始脑电图信号的伪影有较好的消除；并且，通过跟踪和估计非平稳信号，成功地消除了不需要的眼点数据信号；再者，通过增加滤波器的长度而收敛到均方偏差的最小值，均方偏差方面比传统算法具有更好的收敛性。

34、二、由于在ssrl算法对脑电数据进行预处理的过程后，引入更新规则更新除噪后脑电数据的滤波系数，有效地减少脑电数据的误差。

35、三、由于利用基于加权函数的改进自动同步算法对所述预处理后的脑电数据和虚拟数据进行同步对齐，实现了虚拟数据与脑电数据两种不同数据流间的有效对齐，从而为多模态数据分析提供了一种高效可靠的同步解决方案。

36、四、通过将提取后的虚拟数据和脑电数据输入至多模态数据网络分类模型进行分类，根据分类结果来进行注意力康复的判断，并将判断结果反馈至用户，相比传统的主观判断方法，本方案更加客观，对于用户的注意力判断更准确。