算.
[0261] 步骤S708,计算受测者的负性注意偏向分数特征线,纔巧 O
[0262] 受测者的负性注意偏向分数特征&^&^^玲練竊窝如下：
[0263]
[0264] 其中为落在负性视频区域内注视点个数，11織||微15^为落在中性视频 区域内注视点个数，帛帛为计算得到的负性注意偏向分数特征。
[0265] 步骤S709,将计算得到的正性注意偏向分数特征和负性注意偏向分数特征存入矩 阵而：
[0266] 又2= (fixation 1正性偏向，…，fixation。正性偏向，fixationi巧性偏向，…，fixation。巧性 、T 偏向/ ，
[0267] 其中，X2是一个2*i维的特征矩阵，表示受测者的注意偏向分数特征，i为正性注 意偏向分数特征或负性注意偏向分数特征个数，i = 1，2, 3,…，n。
[026引此外，在本步骤中，如图8所示，提取受测者的情感带宽特征包括如下步骤：
[0269] 步骤S801，分别对正性、中性和负性情绪刺激下眼部图像进行二值化处理；
[0270] 步骤S802,对二值化处理后的图像进行噪声滤除；
[0271] 步骤S803,对噪声滤除后的图像进行形态学处理；
[0272] 步骤S804,对形态学处理后的图像进行边缘检测；
[027引步骤S805,建立圆方程；
[0274] 步骤S806~步骤S808,参考上述步骤描述分别计算受测者观看正性情绪刺激视 频时每帖图像的瞳孔直径值观看中性情绪刺激视频时每帖图像的瞳孔直径值殘1、和 观看负性情绪刺激视频时每帖图像的瞳孔直径值 Q
[027引步骤S809,根据受测者观看正性情绪刺激视频时每帖图像的瞳孔直径值4和观 看中性情绪刺激视频时每帖图像的瞳孔直径值
[0276] 步骤S810,计算受测者的正性情感带宽特征：
[0277] 璋疆媒4…起. ，':
[027引步骤S811，根据受测者观看中性情绪刺激视频时每帖图像的瞳孔直径值和观 看负性情绪刺激视频时每帖图像的瞳孔直径值
[0279] 步骤S812,计算受测者的负性情感带宽特征：
[0280] 壤&BW 巧"""""屯聲双
[0281] 然后，将计算得到受测者的正性情感带宽特征和负性情感带宽特征存入矩阵&:
[0282] 、、 W %紛巧泌西、孩從，，讀诚微，器襄滤彼，S哀嫌微滤微、）
[0283] 其中，X3是一个2*i维的特征矩阵，表示受测者的情感带宽，i为图像序列的帖数， i = 1,2,3,…，n。
[0284] 图9是根据本发明实施方式的面部表情特征提取的流程图。
[02财如图9所示，提取受测者的面部表情特征包括如下步骤：
[0286] 步骤S901~步骤S903,根据预处理后的面部图像分别提取受测者观看正性情绪 刺激视频、中性情绪刺激视频和负性情绪刺激视频时的面部表情图像的表情特征点向量 接 S' 。淀傑。中'建和。衆姓。 、 9
[0287] 步骤S904,根据沒^ 计算正性差分表情特征向量A 。：
[028引其中，正性差分表情特征向量逸为姓"'~%姓
[0289] 步骤S905,根据和分别负性差分表情特征向量忿缓^。
[0290] 其中，负性差分表情特征向量A为：^ ^巧^巧 巧I P
[0291] 步骤S906,将计算得到的正性差分表情特征向量和负性差分表情特征向量 么存入矩阵X"其中，
[0292] 、 、 ?旷 （么象主t 罐t ，盆讀，A讀，…，A霉），
[0293] 其中，X4是一个2*i维的特征向量，表示受测者的面部特征点运动情况，i为图像 序列的帖数，i = 1，2,3，…，n。
[0294] 步骤S6,对注意类特征和情感类特征进行融合W对受测者进行抑郁症诊断识别。
[0295] 图10是根据本发明实施方式的诊断识别的流程图。
[0296] 如图10所示，对注意类特征和情感类特征进行融合W对受测者进行抑郁症诊断 识别，包括如下步骤：
[0297] 步骤S1001，将特征提取模块提取的受测者的注视点中屯、距特征、注意偏向分数 特征、情感带宽特征和面部表情特征输入至训练完成的支持向量机分类模型中进行识别诊 断，并W符号函数形式输出诊断结果，判断该受测者为正常人（步骤S1002)，或者受测者患 有抑郁症（步骤S1003);或者该受测者的症状无法判定（步骤S1004)。
[029引综上，本实施例的基于注意和情感信息融合的抑郁症诊断方法，对抑郁症的诊断 采用了四项注意和情感类反应指标，利用注视点中屯、距特征、注意偏向分数特征、情感带宽 和面部表情特征四项注意和情感类特征进行模式分类，实现全面、系统、定量的对抑郁症进 行识别，从而达到对抑郁症的准确、高效识别、低成本的特点，具有广阔的医用前景。
[0299] 应当理解的是，本发明的上述【具体实施方式】仅仅用于示例性说明或解释本发明的 原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何 修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨 在涵盖落入所附权利要求范围和边界、或者运种范围和边界的等同形式内的全部变化和修 改例。
【主权项】
1. 一种基于注意和情感信息融合的抑郁症诊断系统，其特征在于，包括： 情绪刺激模块，用于设置多个情绪刺激任务并W预设顺序将所述多个情绪刺激任务提 供至受测者，W诱发所述受测者的情绪； 图像采集模块，用于采集所述受测者在进行所述情绪刺激任务时的眼部图像和面部图 像； 数据传输模块，用于获取并发送所述眼部图像和面部图像； 数据预处理模块，用于接收来自所述数据传输模块的眼部图像和面部图像，并对所述 眼部图像和面部图像进行预处理； 数据处理模块，用于对所述预处理后的眼部图像进行分析，计算所述受测者的注视点 位置和瞳孔直径； 特征提取模块，用于提取反映所述受测者的注意力的注意类特征和反映所述受测者的 情感状态的情感类特征； 识别反馈模块，用于对所述注意类特征和所述情感类特征进行融合W对所述受测者进 行抑郁症诊断识别。2. 根据权利要求1所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述多 个情绪刺激任务至少包括：一段正性情绪刺激视频、一段中性情绪刺激视频、一段负性情绪 刺激视频、同时提供的一段正性情绪刺激视频和中性刺激视频、同时提供的一段负性情绪 刺激视频和中性刺激视频， 其中，所述正性情绪刺激视频用于对所述受测者产生正性情绪刺激，所述中性情绪刺 激视频用于对所述受测者产生中性情绪刺激，负性情绪刺激视频用于对所述受测者产生负 性情绪刺激。3. 根据权利要求1或2所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述 图像采集模块包括： 第一摄像机，所述第一摄像机设置于所述受测者眼睛的邻近处，用于采集所述受测者 在进行所述情绪刺激任务时的眼部视频； 眼部图像采集单元，所述眼部图像采集单元的输入端与所述第一摄像机相连，所述眼 部图像采集单元的输出端与所述数据传输模块相连，用于接收所述眼部视频并从所述眼部 视频中采集所述受测者的眼部图像，将所述眼部图像发送至数据传输模块； 第二摄像机，所述第二摄像机设置于所述受测者面部的邻近处，用于采集所述受测者 在进行所述情绪刺激任务时的面部视频； 面部图像采集单元，所述面部图像采集单元的输入端与所述第二摄像机相连，所述面 部图像采集单元的输出端与所述数据传输模块相连，用于接收所述面部视频并从所述面部 视频中采集所述受测者的面部图像，将所述面部图像发送至数据传输模块。4. 根据权利要求1所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述数 据预处理模块包括： 眼部图像预处理单元，用于对所述眼部图像进行预处理，得到预处理后的眼部图像； 面部图像预处理单元，用于对所述面部图像进行预处理，得到预处理后的面部图像。5. 根据权利要求4所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述眼 部图像预处理单元对所述眼部图像进行预处理，包括：对所述眼部图像进行归一化处理，再 将归一化处理后的眼部图像进行灰度转换w生成眼部灰度图像，对所述眼部灰度图像进行 直方图均衡化处理和二值化处理，将二值化处理后的眼部图像进行图像膨胀处理和图像腐 蚀处理，得到预处理后的眼部图像。6. 根据权利要求4所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述面 部图像预处理单元对所述面部图像进行预处理，包括：对所述面部图像进行归一化处理，再 将归一化处理后的面部图像进行灰度转换W生成面部灰度图像，对所述面部灰度图像进行 拉伸变换和去噪，得到预处理后的面部图像。7. 根据权利要求2所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述数 据处理模块包括： 注视点位置计算单元，用于根据所述预处理后的眼部图像，计算所述受测者在进行所 述情绪刺激任务时的注视点位置； 瞳孔直径计算单元，用于根据所述预处理后的眼部图像，计算所述受测者在进行所述 情绪刺激任务时的瞳孔直径。8. 根据权利要求7所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述注 视点位置计算单元计算所述受测者在进行所述情绪刺激任务时的注视点位置，包括： 建立所述受测者在头部位置固定情况下的视线映射函数模型：其中^xLation，Fkati如.）为注视点坐标，为所述受测者在观看屏幕固定点坐 标时的瞳孔中屯、坐标，a。、曰1、曰2、曰3、曰4、曰5、b。、bi、bz、bs、b4和b 5为系数，其中，a。、曰1、曰2、曰3、 曰4、曰5、b。、bi、bz、bs、b4和b述过预先让所述受测者观看6个预设屏幕上固定点坐标和观看 固定点时计算得到的6组瞳孔中屯、坐标组成的12个方程计算得到； 获取所述受测者在观看屏幕固定点时瞳孔中屯、的坐标值（X，，y，），根据所述视线 映射函数模型和瞳孔中屯、的坐标值（X，，y，），得到所述受测者的视线在屏幕上落点坐标9. 根据权利要求8所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述注 视点位置计算单元获取所述受测者在观看屏幕固定点时瞳孔中屯、的坐标值（x，，y，），包括如 下步骤：对所述预处理后的眼部图像进行边缘检测，得到瞳孔边界点，采用最小二乘圆拟合 法得到所述受测者在观看屏幕固定点时瞳孔中屯、的坐标值（X，，y，）。10. 根据权利要求7所述的基于注意和情感信息融合的抑郁症诊断系统，其中，所述瞳 孔直径计算单元计算所述受测者在进行所述情绪刺激任务时的瞳孔直径，包括： 对所述预处理后的眼部图像进行边缘检测，得到瞳孔边界点，采用最小二乘圆拟合法 对瞳孔区域进行拟合，得到受测者观看每个情绪刺激任务时采集到的每帖图像的瞳孔直径 值。
【专利摘要】一种基于注意和情感信息融合的抑郁症诊断系统及方法，该系统包括：情绪刺激模块，用于设置多个情绪刺激任务并提供至受测者；图像采集模块，用于采集受测者在进行情绪刺激任务时的眼部图像和面部图像；数据传输模块，用于获取并发送眼部图像和面部图像；数据预处理模块，用于对眼部图像和面部图像进行预处理；数据处理模块，用于计算受测者的注视点位置和瞳孔直径；特征提取模块，用于提取注意类特征和情感类特征；识别反馈模块，用于对受测者进行抑郁症诊断识别。本发明利用注视点中心距特征、注意偏向分数特征、情感带宽和面部表情特征，可以全面、系统、定量的对抑郁症进行识别。
【IPC分类】A61B5/16
【公开号】CN105559802
【申请号】CN201510468260
【发明人】栗觅, 吕胜富, 孙建康, 王刚, 丰雷, 钟宁
【申请人】北京工业大学, 首都医科大学附属北京安定医院
【公开日】2016年5月11日
【申请日】2015年8月3日