一种基于注意和情感信息融合的抑郁症诊断系统及方法
【技术领域】
[0001] 本发明设及图像处理、生物特征提取、模式识别技术领域，特别设及一种基于注意 和情感信息融合的抑郁症诊断系统及方法。
【背景技术】
[0002] 目前抑郁症最广泛的诊断标准是美国精神疾病诊断和统计手册第四版值SM-IV)， 并且抑郁症诊断局限于W临床症状为主，其诊断主要依据精神科医生的经验和相关的抑郁 症量表，但是抑郁症量表的评分结果不能准确的反映患者的屯、理状况，患者可能存在主观 隐瞒的情况，诊断结果往往会受到医生自身主观因素和实际临床经验的影响，并且在抑郁 症诊断方面缺少量化的诊断指标和可靠、高效的诊断系统，诊断效率低、误诊率高、资源耗 费大的情况一直得不到解决。
【发明内容】
[0003] 本发明的目的是提供一种基于注意和情感信息融合的抑郁症诊断系统及方法，该 系统利用注视点中屯、距特征、注意偏向分数特征、情感带宽和面部表情特征，可W全面、系 统、定量的对抑郁症进行识别。
[0004] 为实现上述目的，本发明一方面提供一种基于注意和情感信息融合的抑郁症诊断 系统，包括：情绪刺激模块，用于设置多个情绪刺激任务并W预设顺序将所述多个情绪刺激 任务提供至受测者，W诱发所述受测者的情绪；图像采集模块，用于采集所述受测者在进行 所述情绪刺激任务时的眼部图像和面部图像；数据传输模块，用于获取并发送所述眼部图 像和面部图像；数据预处理模块，用于接收来自所述数据传输模块的眼部图像和面部图像， 并对所述眼部图像和面部图像进行预处理；数据处理模块，用于对所述预处理后的眼部图 像进行分析，计算所述受测者的注视点位置和瞳孔直径；特征提取模块，用于提取反映所述 受测者的注意力的注意类特征和反映所述受测者的情感状态的情感类特征；识别反馈模 块，用于对所述注意类特征和所述情感类特征进行融合W对所述受测者进行抑郁症诊断识 别。
[0005] 根据本发明的一个方面，所述多个情绪刺激任务至少包括：一段正性情绪刺激视 频、一段中性情绪刺激视频、一段负性情绪刺激视频、同时提供的一段正性情绪刺激视频和 中性刺激视频、同时提供的一段负性情绪刺激视频和中性刺激视频，其中，所述正性情绪刺 激视频用于对所述受测者产生正性情绪刺激，所述中性情绪刺激视频用于对所述受测者产 生中性情绪刺激，负性情绪刺激视频用于对所述受测者产生负性情绪刺激。
[0006] 根据本发明的一个方面，所述图像采集模块包括：
[0007] 第一摄像机，所述第一摄像机设置于所述受测者眼睛的邻近处，用于采集所述受 测者在进行所述情绪刺激任务时的眼部视频；
[0008] 眼部图像采集单元，所述眼部图像采集单元的输入端与所述第一摄像机相连，所 述眼部图像采集单元的输出端与所述数据传输模块相连，用于接收所述眼部视频并从所述 眼部视频中采集所述受测者的眼部图像，将所述眼部图像发送至数据传输模块；
[0009] 第二摄像机，所述第二摄像机设置于所述受测者面部的邻近处，用于采集所述受 测者在进行所述情绪刺激任务时的面部视频；
[0010] 面部图像采集单元，所述面部图像采集单元的输入端与所述第二摄像机相连，所 述面部图像采集单元的输出端与所述数据传输模块相连，用于接收所述面部视频并从所述 面部视频中采集所述受测者的面部图像，将所述面部图像发送至数据传输模块。
[0011] 根据本发明的一个方面，所述数据预处理模块包括：
[0012] 眼部图像预处理单元，用于对所述眼部图像进行预处理，得到预处理后的眼部图 像；
[0013] 面部图像预处理单元，用于对所述面部图像进行预处理，得到预处理后的面部图 像。
[0014] 根据本发明的一个方面，所述眼部图像预处理单元对所述眼部图像进行预处理， 包括：对所述眼部图像进行归一化处理，再将归一化处理后的眼部图像进行灰度转换W生 成眼部灰度图像，对所述眼部灰度图像进行直方图均衡化处理和二值化处理，将二值化处 理后的眼部图像进行图像膨胀处理和图像腐蚀处理，得到预处理后的眼部图像。
[0015] 根据本发明的一个方面，所述面部图像预处理单元对所述面部图像进行预处理， 包括：对所述面部图像进行归一化处理，再将归一化处理后的面部图像进行灰度转换W生 成面部灰度图像，对所述面部灰度图像进行拉伸变换和去噪，得到预处理后的面部图像。
[0016] 根据本发明的一个方面，所述数据处理模块包括：注视点位置计算单元，用于根据 所述预处理后的眼部图像，计算所述受测者在进行所述情绪刺激任务时的注视点位置；瞳 孔直径计算单元，用于根据所述预处理后的眼部图像，计算所述受测者在进行所述情绪刺 激任务时的瞳孔直径。
[0017] 根据本发明的一个方面，所述注视点位置计算单元计算所述受测者在进行所述情 绪刺激任务时的注视点位置，包括：
[0018] 首先，建立所述受测者在头部位置固定情况下的视线映射函数模型：
[0020] 其中为注视点坐标，（Xi，Yi)为所述受测者在观看屏幕固 定点坐标时的瞳孔中屯、坐标，曰。、曰1、曰2、曰3、曰4、曰5、6。、131、62、63、64和6 5为系数，其中，曰。、曰1、 曰2、曰3、曰4、曰5、b。、bi、bz、bs、b4和b述过预先让所述受测者观看6个预设屏幕上固定点坐标 和观看固定点时计算得到的6组瞳孔中屯、坐标组成的12个方程计算得到；
[0021] 然后，获取所述受测者在观看屏幕固定点时瞳孔中屯、的坐标值（X,，y,)，根据所述 视线映射函数模型和瞳孔中屯、的坐标值（x，，y,)，得到所述受测者的视线在屏幕上落点坐标
[0022] 根据本发明的一个方面，所述注视点位置计算单元获取所述受测者在观看屏幕固 定点时瞳孔中屯、的坐标值（X，，y,)，包括如下步骤：对所述预处理后的眼部图像进行边缘检 ，得到瞳孔边界点，采用最小二乘圆拟合法得到所述受测者在观看屏幕固定点时瞳孔中 屯、的坐标值（Xj，yj)。
[0023] 根据本发明的一个方面，所述瞳孔直径计算单元计算所述受测者在进行所述情绪 刺激任务时的瞳孔直径，包括：
[0024] 对所述预处理后的眼部图像进行边缘检测，得到瞳孔边界点，采用最小二乘圆拟 合法对瞳孔区域进行拟合，得到受测者观看每个情绪刺激任务时采集到的每帖图像的瞳孔 直径值。
[0025] 根据本发明的一个方面，所述瞳孔直径计算单元计算在进行每个情绪刺激任务时 采集到的每帖图像的瞳孔直径值，包括：所述受测者观看正性情绪刺激视频时每帖图像的 瞳孔直径值所述受测者观看中性情绪刺激视频时每帖图像的瞳孔直径值和所述 、 受测者观看负性情绪刺激视频时每帖图像的瞳孔直径值《t。
[0026] 根据本发明的一个方面，所述注意类特征包括：所述受测者的注视点中屯、距特征 和注意偏向分数特征；所述情感类特征包括所述受测者的情感带宽特征和面部表情特征。
[0027] 根据本发明的一个方面，所述特征提取模块提取所述受测者的注视点中屯、距特征 包括：
[0028] 首先，计算所述受测者在进行每个所述情绪刺激任务时的注视点位置 和视频位置的中屯、点坐标（X。，y。）的欧式距离，得到所述受测者的 注视点中屯、距dj，
[0030] 然后，将计算得到的注视点中屯、距特征存入矩阵Xi，
[00；31] Xi= (di'dz'ds，…，dn)T;
[003引其中Xi为注视点中屯、距特征矩阵，n为特征个数。
[0033] 根据本发明的一个方面，所述特征提取模块提取所述受测者的注意偏向分数特征 包括：首先，计算所述受测者的正性注意偏向分数特征和负性注意偏向分 数特征姓德窝?
[0034] 然后，将计算得到的正性注意偏向分数特征和负性注意偏向分数特征存入矩阵 X2:
[00；35] 又2= (fixation 1正性偏向，…，fixationn正性偏向，fixationi巧性偏向，…，fixationn巧性 偏向)T，
[0036] 其中，X2是一个2*i维的特征矩阵，表示所述受测者的注意偏向分数特征，i为正 性注意偏向分数特征或负性注意偏向分数特征个数，i = 1，2, 3,…，n。
[0037] 根据本发明的一个方面，所述受测者的正性注意偏向分数特征自 如下：
[0038]
[003引其中fka餘为落在正性视频区域内注视点个数，fk;施辩为落在中性视频 区域内注视点个数，自为计算得到的正性注意偏向分数特征；
[0040] 所述受测者的负性注意偏向分数特征如下：
[0041]
[004引其中敵绒!觸5受为落在负性视频区域内注视点个数，转微tk)鸣为落在中性视频 区域内注视点个数，帛为计算得到的负性注意偏向分数特征。
[0043] 根据本发明的一个方面，所述特征提取模块提取所述受测者的情感带宽特征包 括：
[0044] 首先，根据所述受测者观看正性情绪刺激视频时每帖图像的瞳孔直径值和观 ?V 看中性情绪刺激视频时每帖图像的瞳孔直径值计算所述受测者的正性情感带宽特 9 征：
[004引璋嫌雜(孩)-4-C;
[0046] 根据所述受测者观看中性情绪刺激视频时每帖图像的瞳孔直径值(4和观看负性 情绪刺激视频时每帖图像的瞳孔直径值结^ ,计算所述受测者的负性情感带宽特征：
[0047] %繩W 泌艰…隸^..
[0048] 然后，将计算得到所述受测者的正性情感带宽特征和负性情感带宽特征存入矩阵 又3:
[0049] 苦， W f巧玄 巧度 《:议 巧i 《茲 《没 、 瓜3 "…、。护城從，部嫌W* ，識線W,。贼拠 f , %嫌微子…％嫌W
[0050] 其中，X3是一个2*i维的特征矩阵，表示所述受测者的情感带宽，i为图像序列的 帖数，i = 1，2, 3，…，n。
[0051] 根据本发明的一个方面，所述特征提取模块提取所述受测者的面部表情特征包 括：
[0052] 首先，根据预处理后的面部图像分别提取所述受测者观看所述正性情绪刺激 视频、中性情绪刺激视频和负性情绪刺激视频时的面部表情图像的表情特征点向量 《重 ^￡健3取銭和澈錠. '、 ，
[0053] 然后，根据^￡稳 康和分别计算正性差分表情特征向量念和负性 差分表情特征向量A
[0054] 最后，将计算得到的正性差分表情特征向量A Sjg和负性差分表情特征向量 琴存入矩阵X"其中，
[00 巧] , . . <. T % ? C .怒霉f .念S金.S 、'、"，'惠送苗.，念S苗f滋S每f…A SL J
[0056] 其中，X4是一个2*i维的特征向量，表示所述受测者的面部特征点运动情况，i为 图像序列的帖数，i = l，2, 3，…，n。
[0057] 根据本发明的一个方面，所述正性差分表情特征向量送为： ^ Sj臣綾? $若健所述负性差分表情特征向量忿送为：'^ S苗稳浅 ； 筑 。
[0058] 根据本发明的一个方面，所述识别反馈模块对所述注意类特征和所述情感类特征 进行融合W对所述受测者进行抑郁症诊断识别，包括：将所述特征提取模块提取的所述受 测者的注视点中屯、距特征、注意偏向分数特征、情感带宽特征和面部表情特征输入至训练 完成的支持向量机分类模型中进行识别诊断，并W符号函数形式输出诊断结果。
[0059] 本发明实施例提供的基于注意和情感信息融合的抑郁症诊断系统，对抑郁症的诊 断采用了四项注意和情感类反应指标，利用注视点中屯、距特征、注意偏向分数特征、情感带 宽和面部表情特征四项注意和情感类特征进行模式分类，实现全面、系统、定量的对抑郁症 进行识别，从而达到对抑郁症的准确、高效识别、低成本的特点，具有广阔的医用前景。
[0060] 本发明