一种多模态视觉神经功能检测方法及其系统

本发明涉及多模态数据处理，具体涉及一种多模态视觉神经功能检测方法及其系统。

背景技术：

1、筛查与诊断是目前针对青少年视觉健康问题的重点措施之一，为了有效预防眼睛出现近视、散光等问题，只能尽可能地频繁进行视力筛查，尽早地发现眼部视力的变化。有研究表明近视与健康患者的视觉神经功能与脑活动存在差异，利用视觉系统光信号的输入研究近视发生、发展的中枢机制与神经成像可辅助诊断青少年近视程度。但目前对近视的检测与诊断主要是通过验光仪、视力表等视光学方法人工采集眼部参数，专业的诊断医疗资源需要较高的人力成本和金钱成本，且模式较为单一，主观判断的诊断结果可能会造成一些误诊、漏诊等事故。而目前仍然难以实现青少年近视状况在校普查，难以令青少年在近视后及时获得诊断与矫正，因此，目前亟需一种便携式、低成本、且客观准确的视觉检测设备与方法对近视人群进行全自动视觉诊断，以满足社区医疗机构的诊断需求。

技术实现思路

1、鉴于以上所述现有方法的局限，本发明的目的在于提供一种多模态视觉神经功能检测方法及其系统， 通过对待测者进行裸眼视觉测试，同步采集视觉脑部生理数据，进行特征提取得到单生理特征；并根据单生理特征进行多模态耦合分析，得到脑眼功能耦合特征；根据单生理特征和脑眼功能耦合特征，利用集成学习方法构建视觉功能检测模型，建立待测者的个人视觉矫正数据库，输入视觉功能检测模型得到对应的视力量化程度，达到提高视觉检测准确度并便携实时检测青少年近视情况的目的。

2、为了实现上述目的，根据本公开的一方面，提供一种多模态视觉神经功能检测方法，所述方法包括以下步骤：

3、s100，对待测者进行裸眼视觉测试，同步采集视觉脑部生理数据，包括视觉数据和脑部数据；

4、s200，对所述视觉脑部生理数据进行数据预处理，得到预处理多模态信号数据；

5、s300，对所述预处理多模态信号数据进行特征提取得到单生理特征，包括视觉信号特征和脑部信号特征；

6、s400，根据所述单生理特征对所述预处理多模态信号数据进行多模态耦合分析，得到脑眼功能耦合特征；

7、s500，输入所述单生理特征和脑眼功能耦合特征，利用集成学习方法构建视觉功能检测模型；

8、s600，对所述待测者进行多次视觉矫正训练，构建个人视觉矫正数据库；将所述个人视觉矫正数据库输入所述视觉功能检测模型，输出视力量化程度。

9、进一步地，在s100中，所述视觉数据包括眼电信号，所述脑部数据包括同步采集的多个特定脑区对应的脑电信号和脑氧数据，其中所述特定脑区包括额叶、顶叶和枕叶。

10、进一步地，在s200中，对所述视觉脑部生理数据进行数据预处理包括：滤波去噪、基线矫正和伪迹去除，得到所述预处理多模态信号数据，包括眼电处理信号、脑电处理信号和脑氧处理信号。

11、进一步地，在s300中，所述视觉信号特征包括：眼电处理信号的眨眼次数、扫视角度和视觉诱发电位；所述脑部信号特征包括：脑电处理信号的事件相关电位、视觉诱发电位和小波包系数，以及脑氧处理信号的血红蛋白浓度和脑激活状态；其中，对所述预处理多模态信号数据进行特征提取得到单生理特征的方法包括：

12、s301，对所述眼电处理信号进行特征提取得到所述视觉信号特征，包括眨眼次数、扫视角度和视觉诱发电位；

13、s302，对所述脑电处理信号进行特征提取得到所述脑部信号特征，包括事件相关电位、视觉诱发电位和小波包系数；

14、s303，对所述脑氧处理信号进行特征提取得到所述脑部信号特征，包括血红蛋白浓度和脑激活状态。

15、进一步地，在s400中，根据所述单生理特征对所述预处理多模态信号数据进行多模态耦合分析，得到脑眼功能耦合特征的方法为：所述脑眼功能耦合特征包括神经血管耦合系数、脑功能连接特征以及视觉诱发神经传导时间，其计算方法包括：

16、s401，根据所述预处理多模态信号数据中的脑电处理信号和脑氧处理信号，计算神经血管耦合系数，其计算方法为：选择在特定频率的所述脑电处理信号对应的脑部信号特征利用线性模型拟合得到线性脑部信号特征，所述脑电处理信号与标准血流动力学函数进行卷积得到耦合矩阵，将所述线性脑部信号特征与所述耦合矩阵中特定频率对应的数值计算比值得到神经血管耦合系数；其中，所述脑部信号特征包括事件相关电位、视觉诱发电位和小波包系数；

17、s402，根据所述预处理多模态信号数据中的脑电处理信号和脑氧处理信号，计算脑功能连接特征，包括脑部功能相关系数和源相位耦合度，其计算方法为：

18、s4021，对所述脑电处理信号和脑氧处理信号对应的所有采集通道进行源分析，得到传导至所有采集通道对应的脑部源传输模型记作bstm，其计算公式为：

19、；

20、其中，计算所有采集通道对应的脑氧处理信号的协方差构成脑部源协方差矩阵记作r，计算所有采集通道对应的系统噪声的协方差得到噪声协方差矩阵记作c，g表示为所述脑电处理信号映射到所有采集通道的增益矩阵，λ为采用l曲线法确定的正则化参数，eeg为所述脑电处理信号由所有采集通道构建的脑电信号矩阵，t表示为计算转置矩阵（所述脑部源协方差矩阵表示关于脑部源传输模型分布的先验知识，λ为正则化参数用于表征模型精度和复杂性）；

21、s4022，基于所述脑部源传输模型进行脑部功能连接分析，将所述脑电处理信号和脑氧处理信号分别输入所述脑部源传输模型，得到各个采集通道对应的脑电源功能信号和脑氧源功能信号；

22、s4023，计算所述脑电源功能信号和脑氧源功能信号的脑部功能相关系数记作bfcc，其计算公式为：

23、；

24、其中，x(t)为所述脑电源功能信号在某一通道对应的时刻为t上的采样值，t∈[t1,t2]，t1为初始计算时刻，t2为末始计算时刻；为所述脑电源功能信号在t∈[t1,t2]的采集时间段内x(t)的平均值，y(t)为所述脑氧源功能信号在同一通道对应的时刻为t上的光强度值，为所述脑氧源功能信号在t∈[t1,t2]的采集时间段内y(t)的平均值；

25、s4024，计算所述脑电源功能信号和脑氧源功能信号的源相位耦合度记作pcv，其计算公式为：

26、；

27、其中，(t2-t1+1)为在时域上所述采集时间段[t1,t2]内的采样值总数即时刻总数，∅x(t)为所述脑电源功能信号在t时刻的瞬时相位值，∅y(t)为所述脑氧源功能信号在t时刻的瞬时相位值, t∈[t1,t2]；

28、s403，计算所述眼电处理信号和脑电处理信号对应的视觉诱发电位中p100潜伏期的时长之间的差值，得到视觉诱发神经传导时间（现有的视力检测方法一般为单一模态，通过视力学方法获得眼部视网膜参数，容易受到测量环境和运动伪影的噪声影响，诊断效率低且与视力相关性较差；在s400中，利用多种特征耦合发现更深层次生理信号与视力程度之间的联系，对所述预处理多模态信号数据进行多模态耦合分析，能够反映与视力程度相关的神经功能异常，其中脑眼功能耦合特征包括脑电-脑氧信号基于线性模型拟合的神经血管耦合系数、脑电-脑氧信号基于脑部源传输模型的脑功能连接特征，以及眼电-脑电信号基于视觉诱发电位的视觉诱发神经传导时间；计算得到脑眼功能耦合特征可作为表征视觉神经功能与脑功能耦合相关的评估标准，结合多模态信号数据的单生理特征构建输入数据库，能进一步提高s500中视觉功能检测模型的识别准确率）。

29、进一步地，在s500中，输入所述单生理特征和脑眼功能耦合特征，利用集成学习方法构建视觉功能检测模型的方法为：

30、s501，对多个待测者分别重复步骤s100~s400获得各个待测者对应的单生理特征和脑眼功能耦合特征；

31、s502，将多个待测者对应的所述单生理特征和脑眼功能耦合特征集合作为输入数据集，按照一定比例划分为训练数据集、测试数据集和验证数据集；利用机器学习方法对进行所述训练数据集进行分类训练，构建初级分类模型；

32、s503，对所述初级分类模型采用十折交叉验证方法或留一法验证进行模型验证，选取每个验证数据集上对应识别准确率最高的模型组成集成初级模型；

33、s504，利用 bp神经网络模型、多层感知网络(mlp)、卷积神经网络(cnn)作为集成次级模型，将所述集成初级模型的输出端作为所述集成次级模型的输入端，训练得到最终决策模型，即为视觉功能检测初级模型；

34、s505，利用所述测试数据集对所述视觉功能检测初级模型进一步优化训练，得到最优的视觉功能检测模型。

35、进一步地，在s600中，对所述待测者进行多次视觉矫正训练，构建个人视觉矫正数据库的具体方法为：对待测者进行多次视觉矫正训练，包括vr裸眼3d矫正训练，其中每次视觉矫正训练后进行s100~s400完成多次数据采集及数据耦合分析，构建个人视觉矫正数据库；将所述个人视觉矫正数据库输入所述视觉功能检测模型，输出视力量化程度；其中所述个人视觉矫正数据库包括多次视觉矫正训练后对应的单生理特征和脑眼功能耦合特征；所述视力量化程度，至少包括高度近视、近视和健康三种类别的视力量化程度的输出结果（现有的近视矫正训练的量化评价仅通过矫正前后近视度数的大小来评估变化，而忽略了矫正训练后视觉神经功能的变化特征；而在s600中，对每次视觉矫正训练均进行数据采集及耦合分析，构建个人视觉矫正数据库，可包括对比视觉矫正训练前后的特征变化，表征大脑视觉神经机制的改变以及结合视觉功能检测模型反应的视力量化程度的变化，可以通过多维度来对视力矫正的程度进行量化评价）。

36、根据本公开的另一方面，还提供一种多模态视觉神经功能检测系统，所述处理器执行所述计算机程序运行在以下系统的单元中：

37、视觉脑部数据采集单元，利用多模态视觉数据采集装置同步采集待测者的视觉脑部生理数据，包括视觉数据和脑部数据；

38、多模态数据预处理单元，用于对所述视觉脑部生理数据进行数据预处理，得到预处理多模态信号数据；

39、单生理特征提取单元，用于对所述预处理多模态信号数据进行特征提取得到单生理特征，包括视觉信号特征和脑部信号特征；

40、脑眼功能耦合分析单元，用于根据所述单生理特征对所述预处理多模态信号数据进行多模态耦合分析，得到脑眼功能耦合特征；

41、视觉功能检测模型建立单元，用于输入所述单生理特征和所述脑眼功能耦合特征，利用集成学习方法构建视觉功能检测模型；

42、视力量化程度评估单元，用于构建个人视觉矫正数据库，将所述个人视觉矫正数据库输入所述视觉功能检测模型，输出视力量化程度。

43、如上所述，本发明所述的一种多模态视觉神经功能检测方法及系统，具有以下有益效果：（1）本技术利用近视所导致的神经功能异常进行视力判别，选择脑电、脑氧、眼电与神经活动密切相关的多模态生理参数，利用vr裸眼3d进行数据采集能直观反映出由于视力所导致的视觉神经功能与脑功能的改变；（2）利用单生理特征与多模态生理参数耦合提取的脑眼功能耦合特征，构建视觉功能检测模型，进一步提高识别率；（3）在一定程度上解决单一生理参数进行视力程度的量化准确度较低且特征与近视相关性较差的问题；（4）构建个人视觉矫正数据库，可包括对比视觉矫正训练前后的特征变化，表征大脑视觉神经机制的改变以及结合视觉功能检测模型反应的视力量化程度的变化。