一种多源数据融合的用户康复水平评估系统

1.本发明属于康复医学技术领域，尤其涉及一种多源数据融合的用户康复水平评估系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.中风是全世界死亡和残疾的主要原因之一。全世界有超过1亿人经历过卒中的影响，并且在过去的几十年里，70岁以下人群中风的发病率、死亡率和流行率都在增加。由于中风患者在言语表达方面会出现表达不清晰，说话不连贯等症状，严重影响患者的正常生活，故急需一种对中风准确有效的评估方法。
4.目前，对中风的研究手段主要分为基于量表评价的主观评估和基于生理信号的客观测量，单一的量表只能说明患者存在的认知、记忆等方面的问题，而生理信号可以反映这些能力对应的脑区间的激活度和连接关系，但是这些方法对数据处理的维度过于单一，容易受到患者行为的影响，难以达到良好的诊断效果。因此，需要一种更全面、更准确的方法来帮助医生了解患者的康复水平来制定最佳的治疗方案。


技术实现要素：

5.为了解决上述背景技术中存在的技术问题，本发明提供一种多源数据融合的用户康复水平评估系统，通过分析患者的脑功能、行为和主观量表数据，构建脑功能连接网络和脑效应连接网络，从多模态多维度的视角为后续制定康复方案提供了参考指标。
6.为了实现上述目的，本发明采用如下技术方案：
7.本发明的第一个方面提供一种多源数据融合的用户康复水平评估系统，其包括：
8.数据获取模块，其被配置为：获取受试者的量表数据、行为数据、以及静息态和任务态的脑功能数据；
9.网络构建模块，其被配置为：以采集所述脑功能数据的电极位置所在的大脑区域为节点，以所述节点间的连接为边，以区域间相位相干性为权值分别对静息态和任务态构建脑功能连接网络，并以区域间格兰杰因果关系分别对静息态和任务态构建脑效应连接网络；其中，区域间相位相干性为两个区域间所有通道对的小波相位相干性的均值；区域间格兰杰因果关系为两个区域间所有通道对的格兰杰因果关系的均值；
10.评估模块，其被配置为：基于量表数据、行为数据、脑功能连接网络和脑效应连接网络，通过映射模型，得到受试者脑功能的综合评价结果。
11.进一步地，还包括相干性计算模块，其被配置为：计算脑功能数据的两两通道之间的小波相位相干性，并且对于两个通道的脑功能数据，分别使用傅里叶变换生成若干个替代信号对，计算替代信号对之间的小波相位相干性值的均值，以及替代信号对之间的小波相位相干性值的两倍标准差，通过比较替代信号对之间的小波相位相干性值与所述均值加
上两倍标准差之后的结果，判断是否将两个通道对间的小波相位相干性值置为0。
12.进一步地，还包括预处理模块，其被配置为：去除脑功能数据中的异常值、生理活动噪声和运动伪迹。
13.进一步地，所述评估模块，其被配置为：基于行为数据，计算用于受试者脑功能评价的行为指标；其中，行为指标包括上肢速度、上肢速度标准偏差、中位上肢速度、上肢加速度、上肢加速度标准偏差和左臂平均运动角。
14.进一步地，所述大脑区域包括左前额叶皮质、右前额叶皮质、左运动皮质、右运动皮质、左枕叶和右枕叶。
15.进一步地，所述行为数据为在任务态的脑功能数据采集过程中，捕获受试者的上肢运动数据。
16.进一步地，所述映射模型采用包含两个分支的keras深度学习框架；一个分支是一个多层感知器，用于处理数值输入；另一个分支是卷积神经网络，用于对邻接矩阵进行操作。
17.进一步地，所述多层感知器包含具有relu激活的完全连接输入层、完全连接的隐藏层和一个回归输出。
18.本发明的第二个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如下步骤：
19.获取受试者的量表数据、行为数据、以及静息态和任务态的脑功能数据；
20.以采集所述脑功能数据的电极位置所在的大脑区域为节点，以所述节点间的连接为边，以区域间相位相干性为权值分别对静息态和任务态构建脑功能连接网络，并以区域间格兰杰因果关系分别对静息态和任务态构建脑效应连接网络；其中，区域间相位相干性为两个区域间所有通道对的小波相位相干性的均值；区域间格兰杰因果关系为两个区域间所有通道对的格兰杰因果关系的均值；
21.基于量表数据、行为数据、脑功能连接网络和脑效应连接网络，通过映射模型，得到受试者脑功能的综合评价结果
22.本发明的第三个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下步骤：
23.获取受试者的量表数据、行为数据、以及静息态和任务态的脑功能数据；
24.以采集所述脑功能数据的电极位置所在的大脑区域为节点，以所述节点间的连接为边，以区域间相位相干性为权值分别对静息态和任务态构建脑功能连接网络，并以区域间格兰杰因果关系分别对静息态和任务态构建脑效应连接网络；其中，区域间相位相干性为两个区域间所有通道对的小波相位相干性的均值；区域间格兰杰因果关系为两个区域间所有通道对的格兰杰因果关系的均值；
25.基于量表数据、行为数据、脑功能连接网络和脑效应连接网络，通过映射模型，得到受试者脑功能的综合评价结果。
26.与现有技术相比，本发明的有益效果是：
27.本发明提供了一种多源数据融合的用户康复水平评估系统，其针对当前脑卒中患者的传统康复治疗受治疗师主观临床经验的制约，以及难以实时反映患者康复进展的问题，通过分析患者的脑功能、行为和主观量表数据，从多模态多维度的视角为后续制定康复
方案提供了参考指标，其优点在于可以准备直观的显示患者的康复水平，能对医生的诊断提供很好的帮助，并有望降低医疗压力和提高医疗效率。
附图说明
28.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
29.图1是本发明实施例一的一种多源数据融合的用户康复水平评估系统的结构图；
30.图2是本发明实施例一的节点位置图；
31.图3是本发明实施例一的基于小波相位相干性的脑功能连接网络图；
32.图4是本发明实施例一的基于格兰杰因果关系的脑效应连接网络图。
具体实施方式
33.下面结合附图与实施例对本发明作进一步说明。
34.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
35.实施例一
36.本实施例提供了一种多源数据融合的用户康复水平评估系统，如图1所示，包括如下模块：
37.数据获取模块，其被配置为：获取受试者的量表数据、行为数据、以及静息态和任务态的脑功能数据。
38.在每一次采集中风患者脑功能数据采集前，于安静环境中记录用户的年龄、性别、身高、体重等信息，并通过brunnstrom、mmse、moca、fugl-meyer和nihss量表评估患者的脑损伤状态和各项能力指标。
39.单次任务下，患者通过穿戴近红外设备来采集脑功能数据，在穿戴完成后进行实验，实验分为两个部分：静息状态和任务状态，任务状态实验过程中同步采集用户的行为数据。
40.其中，如图2所示，近红外设备在人脑上的采集通道位置包括左前额叶皮质(lpfc)、右前额叶皮质(rpfc)、左运动皮质(lmc)、右运动皮质(rmc)、左枕叶(lol)和右枕叶(rol)6个脑区，电极位置按照国际标准10/10设置。
41.其中，近红外设备使用丹阳慧创医疗器械有限公司的nirsmart便携式近红外脑功能成像系统，频率为10hz，使用的波长为730和850nm，共18个通道，将这些通道遵循国际通用的10/10电极分布系统布置在大脑的左前额叶皮质(lpfc)、右前额叶皮质(rpfc)、左运动皮质(lmc)、右运动皮质(rmc)、左枕叶(lol)和右枕叶(rol)上方。
42.具体的，在穿戴完成后于安静环境中对受试者采集10分钟的所述近红外数据，这些数据为受试者的静息态数据，受试者全程处于睁眼坐姿的放松状态中；在休息10分钟后，受试者根据要求执行任务，此时记录的近红外数据为任务态，并打开kinect设备以捕获上肢运动数据采集数据，数据采集时间同样为10分钟；行为数据采集使用微软的kinect v2设备，kinect v2使用红外光实时跟踪身体的多个部位，最多支持25个骨架节点，并选择编号
为1
–
11和20
–
24的节点进行上肢数据分析。数据对象类型以骨架框架的形式提供。在实验开始前，每个受试者都会被讲解任务规则，以确保他们了解规则并为测试做好准备，并且受试者会有10分钟的休息时间已保证患者处于放松状态。在任务开始时和结束时会通过打标标记数据。
43.预处理模块，其被配置为：对数据获取模块获取的数据进行预处理，包括去除近红外数据中的异常值、生理活动噪声和运动伪迹。
44.其中，首先根据打标的结果截取任务过程中采集到的近红外和行为数据，然后对近红外数据通过滑动平均处理来消除绝对值阈值超过5的异常值，研究时采取异常点前5个点的均值来代替异常结果，然后对每一个通道的近红外数据都使用基于稳健回归的时间导数方法tddr去除运动伪迹，最后使用6阶的butterworth滤波器来对信号进行滤波，选取的通频带为0.01-0.08。
45.相干性计算模块，其被配置为：计算预处理模块得到的所述数据的两两通道之间的小波相位相干性(wpco)，评估所得数据间的关联性，并通过生成这两个通道数据的100个替代信号来测试wpco的显著性。
46.其中，测试的方式为：计算替代信号对间小波相位相干性值的均值与两倍标准差之和，若这个值小于原始数据间的小波相位相干性值，则认为原始数据有效，否则将该通道对间结果置为0。
47.其中，两个近红外设备采集通道间数据的小波相位相干性的计算公式为：两个时间序列数据x1(t)和x2(t)经过连续小波变换后，它们在某频率f和时刻tn时的对应的瞬时相位分别φ1(f,tn)和φ2(f,tn)，计算它们的瞬时相位差δφ(f,tn)＝φ1(f,tn)-φ2(f,tn)，然后将cosδφ(f,tn)和sinδφ(f,tn)在时域内进行平均化，即式中n是时间序列中的总时间点数，此时得到两个信号在频率f下的小波相位相干性的值为：将它们在所有频率f下的小波相位相干性值进行平均即可得到两个信号间的小波相位相干性值(wpco)。得到的小波相位相干性应在0-1之间，因上述使用的近红外设备有18个通道，那么此处得到的通道之间的结果应为18*18的矩阵，并且对角线元素为0。
48.对于计算得到的两个通道数据间的小波相位相干性值，通过生成这两个通道数据的100个替代信号来测试它的显著性；其中测试的方式为：对于两个通道的原始的近红外数据，分别使用傅里叶变换生成100个替代信号对，同样计算100个替代信号对之间的wpco的均值，以及这100个wpco结果的两倍标准差，通过比较原始通道数据的wpco与替代信号结果的均值加上两倍标准差之后的结果，若这个值小于原始数据间的小波相位相干性值，则认为原始数据有效，否则将该通道对间结果置为0。
49.网络构建模块，其被配置为：以采集所述脑功能数据的电极位置所在的大脑区域为节点，以所述节点间的连接为边，以区域间相位相干性为权值分别对静息态和任务态构建脑功能连接网络，由此分析大脑不同脑区之间的协同作用，即大脑功能的神经活动和连接性；其中区域间相位相干性为两个区域间所有通道对的小波相位相干性值的均值。
50.具体的，如图3所示，以采集所述数据的电极位置所在的大脑区域为节点，即一共存在6个节点，分别代表6个脑区，以所述节点间的连接为边，计算区域间小波相位相干性作为边的权值，例如nirsmart的通道中，脑区1包含13、14、17、18四个通道，脑区2包含11、12、15、16四个通道，则脑区1与脑区2之间的小波相位相干性结果为步骤5中得到的16个通道对(13-11，13-12，13-15，13-16，14-11，
…
,18-16)的小波相位相干性值的均值，由此分别构建静息态和任务态下的脑功能连接网络。
51.网络构建模块，其被配置为：对于预处理模块得到的数据进行格兰杰因果关系计算，并同样以采集所述数据的电极位置所在的大脑区域为节点，以区域间格兰杰因果关系分别对静息态和任务态构建脑效应连接网络，由此分析大脑区域之间相互作用的因果关系。
52.具体的，如图4所示，对于预处理模块得到的数据进行格兰杰因果关系计算，计算使用hermes软件，并同样以采集所述数据的电极位置所在的大脑区域为节点，根据区域间格兰杰因果关系分别构建静息态和任务态下的脑效应连接网络，例如在得到数据间的格兰杰因果关系(gc)后，脑区1指向脑区2之间的效应连接结果为步骤五所提到的脑区1、2间16个通道对(13
→
11，13
→
12，13
→
15，13
→
16，14
→
11，
…
,18
→
16)的gc均值，而脑区2指向脑区1的效应连接结果为反向的11
→
13，11
→
14，11
→
17，11
→
18，12
→
13，
…
,16
→
18这16个通道对间gc结果的均值。
53.评估模块，其被配置为：基于预处理模块所采集的行为数据提取行为指标，并根据数据获取模块所采集的主观量表数据和网络构建模块得到的脑功能连接和效应连接网络这些多源数据，寻求有丰富临床经验的医生判定该次任务下受试者脑功能的综合评价结果。
54.具体的，基于预处理模块所得到的行为数据，利用python读取kinect设备生成的json文件，json文件记录的是每个关节点的位置信息(也就是不同时间的坐标)，并且每个位置都有对应的时间。因此可以通过位置间的距离除以时间得到每个点在相应时刻的速度。此外，整体上肢速度即为所有上肢点速度的均值，同理可以求得上肢速度标准偏差、中位上肢速度(即对应点的速度均值)、整体上肢加速度、整体上肢加速度标准偏差等，其他指标如左臂平均运动角的计算公式为:对于三个点e(x,y,z),s(x,y,z)和h(x,y,z)，标如左臂平均运动角的计算公式为:对于三个点e(x,y,z),s(x,y,z)和h(x,y,z)，根据计算得到的行为数据结果，并结合数据获取模块所采集的主观量表和网络构建模块得到的脑功能连接和效应连接网络这些多源数据，寻求有丰富临床经验的医生判定该次任务下受试者脑功能的综合评价结果。
55.隔一段时间后，再次对患者进行数据采集任务，重复执行数据获取模块、预处理模块、相干性计算模块、网络构建模块和评估模块，同样记录此次任务下的患者的量表、脑功能连接网络、脑效应连接网络、行为指标以及医生判定的综合评价结果。
56.在多次实验后，通过python的keras深度学习框架将所有实验下得到的量表、脑功能连接网络、脑效应连接网络、行为指标这些多源数据与医生判定的综合评价结果建立一
个映射模型，并据此在后续的治疗中通过进行采集任务数据直接得到受试者脑功能的综合评价结果，评估用户的康复水平。
57.具体的，在多次实验后，随着数据的增多，可以通过python的keras深度学习框架将所有实验下得到的量表、脑功能连接网络、脑效应连接网络、行为指标这些多源数据与医生判定的综合评价结果建立一个映射模型，例如每一个量表在不同时间的结果上作为一个时间序列输入，当使用的量表为brunnstrom、mmse、moca、fugl-meyer和nihss时，量表特征的输入为5个量表的时间序列。对于脑功能连接网络和脑效应连接网络，将静息态和任务态下四个网络的邻接矩阵分别作为变量输入，即网络特征的输入为时间维度上的4个邻接矩阵序列。对于每一个行为指标，同样作为单独的变量进行输入，如步骤7所使用的整体上肢速度、上肢速度标准偏差、中位上肢速度、整体上肢加速度、整体上肢加速度标准偏差、左臂平均运动角这6个指标，即行为特征的输入为6个行为指标的时间序列数据。因此，keras深度学习框架的输入为11个时间序列数据和4个邻接矩阵序列，输出为每一次医生所给的综合评价结果。对于这些多源数据的输入，通过在keras中建立两个分支，第一个分支是一个简单的多层感知器(mlp)，用于处理数值输入，第二个分支是卷积神经网络，用于对邻接矩阵进行操作，然后将这些分支连接在一起，形成最终的多输入keras模型。其中mlp包含具有relu激活的完全连接输入层、一个完全连接的隐藏层(也带有relu)、一个线性激活的可选的回归输出；对于邻接矩阵的cnn模块，将所有提取到的特征组成一维特征向量，添加一个带有batchnormalization和dropout的全连接层。通过将两个分支的输出结果结合在一起，最后添加一个完全连接层，其输出为每一次医生所给的综合评价结果，通过训练这个模型建立一个由量表、脑功能、行为数据构建的脑功能综合评价模型，即可在后续的治疗中通过进行采集任务数据直接得到受试者脑功能的综合评价结果，评估用户的康复水平。
58.本实施例提供的一种多源数据融合的用户康复水平评估系统，针对当前脑卒中患者的传统康复治疗受治疗师主观临床经验的制约，以及难以实时反映患者康复进展的问题，通过分析患者的脑功能、行为和主观量表数据，从多模态多维度的视角为后续制定康复方案提供了参考指标，其优点在于可以准备直观的显示患者的康复水平，能对医生的诊断提供很好的帮助，并有望降低医疗压力和提高医疗效率。
59.本实施例提供的一种多源数据融合的用户康复水平评估系统，针对当前难以实时反映患者康复进展的问题，通过结合用户脑功能、行为和主观量表这些多源数据一同对患者进行康复评估，可以更全面、更准确的方法来帮助医生了解患者的康复水平来制定最佳的治疗方案。
60.实施例二
61.本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如下步骤：
62.获取受试者的量表数据、行为数据、以及静息态和任务态的脑功能数据；
63.以采集所述脑功能数据的电极位置所在的大脑区域为节点，以所述节点间的连接为边，以区域间相位相干性为权值分别对静息态和任务态构建脑功能连接网络，并以区域间格兰杰因果关系分别对静息态和任务态构建脑效应连接网络；其中，区域间相位相干性为两个区域间所有通道对的小波相位相干性的均值；区域间格兰杰因果关系为两个区域间所有通道对的格兰杰因果关系的均值；
64.基于量表数据、行为数据、脑功能连接网络和脑效应连接网络，通过映射模型，得到受试者脑功能的综合评价结果。
65.实施例三
66.本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如下步骤：
67.获取受试者的量表数据、行为数据、以及静息态和任务态的脑功能数据；
68.以采集所述脑功能数据的电极位置所在的大脑区域为节点，以所述节点间的连接为边，以区域间相位相干性为权值分别对静息态和任务态构建脑功能连接网络，并以区域间格兰杰因果关系分别对静息态和任务态构建脑效应连接网络；其中，区域间相位相干性为两个区域间所有通道对的小波相位相干性的均值；区域间格兰杰因果关系为两个区域间所有通道对的格兰杰因果关系的均值；
69.基于量表数据、行为数据、脑功能连接网络和脑效应连接网络，通过映射模型，得到受试者脑功能的综合评价结果。
70.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。