另一方面提出一种基于注意和情感信息融合的抑郁症诊断方法，包括如下 步骤：
[0061] 步骤Sl，设置多个情绪刺激任务并W预设顺序将所述多个情绪刺激任务提供至受 测者，W诱发所述受测者的情绪；
[0062] 步骤S2,采集所述受测者在进行所述情绪刺激任务时的眼部图像和面部图像；
[0063] 步骤S3,对所述眼部图像和面部图像进行预处理，得到预处理后的眼部图像和面 部图像；
[0064] 步骤S4,对所述预处理后的眼部图像进行分析，计算所述受测者的注视点位置和 瞳孔直径；
[0065] 步骤S5,根据所述受测者的注视点位置、瞳孔直径W及预处理后的面部图像，提取 反映所述受测者的注意力的注意类特征和反映所述受测者的情感状态的情感类特征；
[0066] 步骤S6,对所述注意类特征和所述情感类特征进行融合W对所述受测者进行抑郁 症诊断识别。
[0067] 根据本发明的一个方面，所述多个情绪刺激任务至少包括：一段正性情绪刺激视 频、一段中性情绪刺激视频、一段负性情绪刺激视频、同时提供的一段正性情绪刺激视频和 中性刺激视频、同时提供的一段负性情绪刺激视频和中性刺激视频，
[0068] 其中，所述正性情绪刺激视频用于对所述受测者产生正性情绪刺激，所述中性情 绪刺激视频用于对所述受测者产生中性情绪刺激，负性情绪刺激视频用于对所述受测者产 生负性情绪刺激。
[0069] 根据本发明的一个方面，在所述步骤S2中，所述采集所述受测者在进行所述情绪 刺激任务时的眼部图像和面部图像，包括如下步骤：
[0070] 采用设置于所述受测者眼睛的邻近处的第一摄像机采集所述受测者在进行所述 情绪刺激任务时的眼部视频，并从所述眼部视频中采集所述受测者的眼部图像，
[0071] 采用设置于所述受测者面部的邻近处的第二摄像机采集所述受测者在进行所述 情绪刺激任务时的面部视频，并从所述面部视频中采集所述受测者的面部图像。
[0072] 根据本发明的一个方面，在所述步骤S3中，对所述眼部图像进行预处理，包括如 下步骤：对所述眼部图像进行归一化处理，再将归一化处理后的眼部图像进行灰度转换W 生成眼部灰度图像，对所述眼部灰度图像进行直方图均衡化处理和二值化处理，将二值化 处理后的眼部图像进行图像膨胀处理和图像腐蚀处理，得到预处理后的眼部图像。
[0073] 根据本发明的一个方面，在所述步骤S3中，对所述面部图像进行预处理，包括如 下步骤：对所述面部图像进行归一化处理，再将归一化处理后的面部图像进行灰度转换W 生成面部灰度图像，对所述面部灰度图像进行拉伸变换和去噪，得到预处理后的面部图像。
[0074] 根据本发明的一个方面，在所述步骤S4中，所述计算所述受测者的注视点位置包 括如下步骤：
[0075] 首先，建立所述受测者在头部位置固定情况下的视线映射函数模型：
[0077] 其中34^^。。>为注视点坐标，（Xi，Yi)为所述受测者在观看屏幕固 定点坐标时的瞳孔中屯、坐标，曰。、曰1、曰2、曰3、曰4、曰5、6。、131、62、63、64和6 5为系数，其中，3。、曰1、 曰2、曰3、曰4、曰5、b。、bi、bz、bs、b4和b述过预先让所述受测者观看6个预设屏幕上固定点坐标 和观看固定点时计算得到的6组瞳孔中屯、坐标组成的12个方程计算得到；
[007引然后，获取所述受测者在观看屏幕固定点时瞳孔中屯、的坐标值（X，，y,)，根据所述 视线映射函数模型和瞳孔中屯、的坐标值（x，，y,)，得到所述受测者的视线在屏幕上落点坐标 、為i城織嫩: 家数滅tk,巧'、、、' O
[0079] 根据本发明的一个方面，获取所述受测者在观看屏幕固定点时瞳孔中屯、的坐标值 (X，，y,)，包括如下步骤：对所述预处理后的眼部图像进行边缘检测，得到瞳孔边界点，采用 最小二乘圆拟合法得到所述受测者在观看屏幕固定点时瞳孔中屯、的坐标值（X，，y,)。
[0080] 根据本发明的一个方面，在所述步骤S4中，所述计算所述受测者的瞳孔直径，包 括如下步骤：对所述预处理后的眼部图像进行边缘检测，得到瞳孔边界点，采用最小二乘圆 拟合法对瞳孔区域进行拟合，得到受测者观看每个情绪刺激任务时采集到的每帖图像的瞳 孔直径值。
[0081] 根据本发明的一个方面，所述计算在进行每个情绪刺激任务时采集到的每帖图像 的瞳孔直径值，包括：所述受测者观看正性情绪刺激视频时每帖图像的瞳孔直径值揉/斤 述受测者观看中性情绪刺激视频时每帖图像的瞳孔直径值據和所述受测者观看负性情 绪刺激视频时每帖图像的瞳孔直径值dt。
[0082] 根据本发明的一个方面，所述注意类特征包括：所述受测者的注视点中屯、距特征 和注意偏向分数特征；所述情感类特征包括所述受测者的情感带宽特征和面部表情特征。
[0083] 根据本发明的一个方面，在所述步骤S5中，所述提取反映所述受测者的注意力的 注意类特征，包括如下步骤：首先，计算所述受测者在进行每个所述情绪刺激任务时的注视 点位置和视频位置的中屯、点坐标（X。，y。）的欧式距离，得到所述受 测者的注视点中屯、距d，，
[0085] 然后，将计算得到的注视点中屯、距特征存入矩阵Xi，
[0086] Xi= (di，d2，d3，…，dn)T;
[0087] 其中Xi为注视点中屯、距特征矩阵，n为特征个数。
[0088] 根据本发明的一个方面，在所述步骤S5中，所述提取所述受测者的注意偏向分数 特征包括如下步骤：
[0089] 首先，计算所述受测者的正性注意偏向分数特征和负性注意偏 向分数特征臘寫巧、 5
[0090] 然后，将计算得到的正性注意偏向分数特征和负性注意偏向分数特征存入矩阵 又2:
[0091] 又2二(fix曰tioni正性偏向，…，fixation。正性偏向，fixationi巧性偏向，…，fixation。巧性 偏向)T，
[0092] 其中，X2是一个2*i维的特征矩阵，表示所述受测者的注意偏向分数特征，i为正 性注意偏向分数特征或负性注意偏向分数特征个数，i = 1，2, 3，…，n。
[0093] 根据本发明的一个方面，所述受测者的正性注意偏向分数特征錢Iiti錢 如下：
[0094]
[009引其中1?説kmL为落在正性视频区域内注视点个数，为落在中性视频 it 区域内注视点个数，帛为计算得到的正性注意偏向分数特征；
[0096] 所述受测者的负性注意偏向分数特征如下：
[0097]
[009引其中?落在负性视频区域内注视点个数，&：a槪纖为落在中性视频 .申 区域内注视点个数，自1§]为计算得到的负性注意偏向分数特征。
[0099] 根据本发明的一个方面，在所述步骤S5中，所述提取所述受测者的情感带宽特征 包括如下步骤：
[0100] 首先，根据所述受测者观看正性情绪刺激视频时每帖图像的瞳孔直径值發g.和观 看中性情绪刺激视频时每帖图像的瞳孔直径值cfti，计算所述受测者的正性情感带宽特 征：
[0101] 雖这狡狱渡)^聲|5…-游i ?
[0102] 根据所述受测者观看中性情绪刺激视频时每帖图像的瞳孔直径值dii和观看负性 情绪刺激视频时每帖图像的瞳孔直径值di，计算所述受测者的负性情感带宽特征：
[0103] 論勝微4-C. i
[0104] 然后，将计算得到所述受测者的正性情感带宽特征和负性情感带宽特征存入矩阵 馬：
[0105] ^ 一 巧. r % ^ 1?匿；礎沒狡》V，…*端孩W，端孩搬，％:沒歷，…，器1纖禪^;
[0106] 其中，X3是一个2*i维的特征矩阵，表示所述受测者的情感带宽，i为图像序列的 帖数，i = 1，2, 3，…，n。
[0107] 根据本发明的一个方面，在所述步骤S5中，所述提取所述受测者的面部表情特 征包括如下步骤：首先，根据预处理后的面部图像分别提取所述受测者观看所述正性情绪 刺激视频、中性情绪刺激视频和负性情绪刺激视频时的面部表情图像的表情特征点向量 ^&钱 &申缝和炙性， > 9
[010引然后，根据^!;推法和器分别计算正性差分表情特征向量么^和负性差 分表情特征向量
[0109] 最后，将计算得到的正性差分表情特征向量Sjg和负性差分表情特征向量4 存入矩阵X4,其中，
[0110] % - i 念 S^,念 , '、**, A ? A ' A > ?*、？ A%%.},
[0111] 其中，X4是一个2*i维的特征向量，表示所述受测者的面部特征点运动情况，i为 图像序列的帖数，i = l，2, 3，…，n。
[0112] 根据本发明的一个方面，所述正性差分表情特征向量& ^:为： 盆％ :心％接樣.所述负性差分表障特征向量么^为：茲％""%沒 '''"為牲 i 0.
[0113] 根据本发明的一个方面，在所述步骤S6中，所述对所述注意类特征和所述情感类 特征进行融合W对所述受测者进行抑郁症诊断识别，包括如下步骤：将所述特征提取模块 提取的所述受测者的注视点中屯、距特征、注意偏向分数特征、情感带宽特征和面部表情特 征输入至训练完成的支持向量机分类模型中进行识别诊断，并W符号函数形式输出诊断结 果。
[0114] 本发明实施例提供的基于注意和情感信息融合的抑郁症诊断方法，对抑郁症的诊 断采用了四项注意和情感类反应指标，利用注视点中屯、距特征、注意偏向分数特征、情感带 宽和面部表情特征四项注意和情感类特征进行模式分类，实现全面、系统、定量的对抑郁症 进行识别，从而达到对抑郁症的准确、高效识别、低成本的特点，具有广阔的医用前景。
【附图说明】
[0115] 图1是根据本发明实施方式的基于注意和情感信息融合的抑郁症诊断系统的结 构图；
[0116] 图2是根据本发明实施方式的图像采集模块的结构图；
[0117] 图3是根据本发明实施方式的数据预处理模块的结构图；
[0118] 图4是根据本发明实施方式的数据处理模块的结构图；
[0119] 图5为根据本发明实施方式的基于注意和情感信息融合的抑郁症诊断方法的流 程图；
[0120] 图6是根据本发明实施方式的注视点中屯、距特征提取的流程图；
[0121] 图7是根据本发明实施方式的注意偏向分数特征提取的流程图；
[0122] 图8是根据本发明实施方式的情感带宽特征提取的流程图；
[0123] 图9是根据本发明实施方式的面部表情特征提取的流程图；
[0124] 图10是根据本发明实施方式的诊断识别的流程图。
【具体实施方式】
[0125] 为使本发明的目的、技术方案和优点更加清楚明了，下面结合【具体实施方式】并参 照附图，对本发明进一步详细说明。应该理解，运些描述只是示例性的，而并非要限制本发 明的范围。此外，在W下说明中，省略了对公知结构和技术的描述，W避免不必要地混淆本 发明的概念。
[0126] 本发明实施方式提供了一种基于注意和情感信息融合的抑郁症诊断系统，在详细 介绍该系统的技术方案之前，首先对该系统基于的抑郁症识别标准进行说明：
[0127] 抑郁症是W注意损伤和情感障碍为主的精神类疾病，其对愉快情感的接受敏感度 下降，并伴随着信息加工的注意偏向。具体表现为：抑郁症患者面对正性刺激时，正性情感 带宽变窄，对正性信息的注意减少，导致对正性刺激的体验能力不足，其高兴面部表情特征 变化幅度小于正常人；面对负性刺激时，抑郁症患者对负性信息的注意增加，导致其负性情 绪加工过度，其悲伤面部表情特征变化幅度大于正常人。另外，抑郁症患者存在注意受损， 其注意范围变小、