视野受限，呈现中屯、特性。与正常人相比，抑郁症患者的情感体验能力和 注意能力均受损，对于外界呈现的情绪刺激，表现为不同的注视点中屯、距特征、注意偏向分 数特征、情感带宽模式和面部表情特征序列，运为抑郁症的识别提供了客观、可靠的标准， 也为抑郁症诊断系统的准确、高效诊断提供了有力保障。
[012引基于上述对于抑郁症的识别诊断标准，本发明提出一种基于注意和情感信息融合 的抑郁症诊断系统。
[0129] 如图1所示，本发明提供一种基于注意和情感信息融合的抑郁症诊断系统，包括： 情绪刺激模块1、图像采集模块2、数据传输模块3、数据预处理模块4、数据处理模块5、特征 提取模块6和识别反馈模块7。
[0130] 具体来说，情绪刺激模块1设置多个情绪刺激任务并W预设顺序将多个情绪刺激 任务提供至受测者，W诱发受测者的情绪。其中，多个情绪刺激任务至少包括：
[0131] 1)正性情绪刺激任务1 : 一段正性情绪刺激视频；
[0132] 2)中性情绪刺激任务2 :-段中性情绪刺激视频；
[0133] 3)负性情绪刺激任务3 :-段负性情绪刺激视频；
[0134] 4)情绪刺激任务4 :同时提供的一段正性情绪刺激视频和中性刺激视频；
[0135] 5)情绪刺激任务5 :同时提供的一段负性情绪刺激视频和中性刺激视频。
[0136] 需要说明的是，正性情绪刺激视频是指用于对受测者产生正性情绪刺激，中性情 绪刺激视频是指用于对受测者产生中性情绪刺激，负性情绪刺激视频是指用于对受测者产 生负性情绪刺激。
[0137] 优选的，每段情绪刺激视频的时长为30秒。
[013引具体来说，情绪刺激模块1首先从视频库中选取正性、中性、负性情绪刺激视频各 一段，时长30s。然后将上述=段情绪刺激视频排列组合为上述5个情绪刺激任务。首先将 情绪刺激任务1、2、3呈现给用户，再将情绪刺激任务4、5呈现给用户。目P，先将正性情绪刺 激任务1、中性情绪刺激任务2和负性情绪刺激任务3呈现给用户，再将情绪刺激任务4和 情绪刺激任务5呈现给用户。
[0139] 图像采集模块2采集受测者在进行情绪刺激任务时的眼部图像和面部图像，并发 送至数据传输模块3。
[0140] 具体地，如图2所示，图像采集模块2包括：第一摄像机21、眼部图像采集单元22、 第二摄像机23和面部图像采集单元24。
[0141] 第一摄像机21设置于受测者眼睛的邻近处，采集受测者在进行情绪刺激任务时 的眼部视频。眼部图像采集单元22的输入端与第一摄像机21相连，眼部图像采集单元22 的输出端与数据传输模块3相连，接收眼部视频并从眼部视频中采集受测者的眼部图像， 例如，受测者分别进行上述5个情绪刺激任务时的眼部图像，然后将眼部图像发送至数据 传输模块3。
[0142] 第二摄像机23设置于受测者面部的邻近处，用于采集受测者在进行情绪刺激任 务时的面部视频。面部图像采集单元24的输入端与第二摄像机23相连，面部图像采集单 元24的输出端与数据传输模块3相连，用于接收面部视频并从面部视频中采集受测者的面 部图像，例如，受测者分别进行上述5个情绪刺激任务1至3时的面部图像，将面部图像发 送至数据传输模块3。
[0143] 换言之，情绪刺激模块1先将情绪刺激任务1、2、3呈现给用户，同时第一摄像机21 和眼部图像采集单元22进行眼部图像采集，第二摄像机23和面部图像采集单元24进行面 部图像采集，即分别采集用户在情绪刺激任务1、2、3下的眼部图像和面部表情图像。然后， 情绪刺激模块1再将情绪刺激任务4、5呈现给用户，只由第一摄像机21和眼部图像采集单 元22采集用户在此情绪刺激任务下的眼部图像。
[0144] 数据传输模块3获取并向数据预处理模块4发送眼部图像和面部图像。
[0145] 数据预处理模块4接收来自数据传输模块3的眼部图像和面部图像，并对眼部图 像和面部图像进行预处理。
[0146] 具体地，如图3所示，数据预处理模块4包括眼部图像预处理单元41和面部图像 预处理单元42。
[0147] 眼部图像预处理单元41对受测者观看每个情绪刺激任务时的眼部图像进行预处 理，包括：对眼部图像进行归一化处理，即对眼部图像进行图像切割、旋转、缩放处理，得到 符合要求的归一化眼部图像。再将归一化处理后的眼部图像进行灰度转换W生成眼部灰度 图像，对眼部灰度图像进行直方图均衡化处理，利用瞳孔灰度与周围区域的灰度差异，对经 过直方图均衡化处理的灰度图像进行二值化处理，最后经过多次图像膨胀处理和图像腐蚀 处理，获得眼部二值化图像。
[0148] 面部图像预处理单元42对面部图像进行预处理，包括：对受测者观看情绪刺激任 务1至3时的面部图像进行归一化处理，即W双眼坐标和两眼距离为依据进行图像切割、旋 转、缩放处理，得到符合要求的归一化面部表情图像，再将归一化处理后的面部图像进行灰 度转换W生成面部灰度图像，为了增强图像的对比度，对灰度图像进行拉伸变换，对拉伸处 理完的图像进行滤波，滤除噪声，得到预处理后的面部表情图像。
[0149] 数据处理模块5对预处理后的眼部图像进行分析，计算受测者的注视点位置和瞳 孔直径。
[0150] 具体地，如图4所示，数据处理模块5包括注视点位置计算单元51和瞳孔直径计 算单元52。
[0151] 注视点位置计算单元51根据预处理后的眼部图像，计算受测者在进行每个情绪 刺激任务时的注视点位置。
[0152] 首先，注视点位置计算单元51利用视线估计技术中眼球转动时相对位置不变的 特征作为参照，在位置变化特征和不变特征之间提取视线估计参数，建立受测者在头部位 置固定情况下的视线映射函数：
[0154] 其中注视点坐标，（Xi，Yi)为受测者在观看屏幕固定点 坐柄C时的目里孔中心、坐柄^，曰。、曰1、曰2、曰3、曰4、曰5、b。、、bz、b]、b*巧I b 5戈/系数，其中，曰。、曰1、曰2、 a3、a4、a5、b〇A、b2、b3、b4和b述过预先让受测者观看6个预设屏幕上固定点坐标和观看固 定点时计算得到的6组瞳孔中屯、坐标组成的12个方程计算得到。具体地，为了确定12个 未知参数a。，曰1，曰2,曰3,曰4,曰5, b。，bi，bz，bs，b" bs的值，选取屏幕上固定的6个点，其坐标为
子 (讀曲孩f減在献。)，让受测者依次观看运6个点的同时获得其相应的眼部图像。
[0155] 下面对计算上述12个未知参数的过程进行说明：将受测者观看屏幕上6个固定点 时采集到的眼部图像，交由眼部图像预处理单元41进行预处理，对预处理后的图像进行边 缘检测，检测到瞳孔边界点，使用最小二乘圆拟合法得到观看屏幕固定点时瞳孔中屯、的坐 申不值（又1，Yi)，（又2，Yz)，（?, 73)，（X" 74)，（义5，Ys)，（Xe, Ye)。然后将
Y2)，（如y3)，（X" y4)，柄，ys)，柏，ye)分别代入视线映射函数模型，获得12个方程，确定 出参数a。，曰1，曰2,曰3,曰4,曰5, b。，bi，bz，bs, b4, bs的值，进而得到视线映射函数：
[0157] 然后，注视点位置计算单元51对预处理后的眼部图像进行边缘检测，得到瞳孔边 界点，采用最小二乘圆拟合法对瞳孔区域进行拟合，得到受测者观看每个情绪刺激任务时 采集到的每帖图像的瞳孔直径值。
[015引瞳孔直径计算单元52根据预处理后的眼部图像，计算受测者在进行情绪刺激任 务1至3时的瞳孔直径。
[0159] 瞳孔直径计算单元52对预处理后的眼部图像进行边缘检测，得到瞳孔边界点，采 用最小二乘圆拟合法得到受测者在观看屏幕固定点时瞳孔中屯、的坐标值（x，，y,)，采用最小 二乘圆拟合法对瞳孔区域进行拟合，得到受测者观看每个情绪刺激任务时采集到的每帖图 像的瞳孔直径值，包括：受测者观看正性情绪刺激视频时每帖图像的瞳孔直径值、受测 者观看中性情绪刺激视频时每帖图像的瞳孔直径值:iif和受测者观看负性情绪刺激视频时 每帖图像的瞳孔直径值。
[0160] 特征提取模块6提取反映受测者的注意力的注意类特征和反映受测者的情感状 态的情感类特征。其中，注意类特征包括：受测者的注视点中屯、距特征和注意偏向分数特 征。情感类特征包括受测者的情感带宽特征和面部表情特征。
[0161] 下面分别对特征提取模块6提取注视点中屯、距特征、注意偏向分数特征、情感带 宽特征和面部表情特征的过程进行说明。
[0162] 1)注视点中屯、距特征
[0163] 特征提取模块6首先计算受测者在进行情绪刺激任务1至3时的注视点位置 和狐频位*自勺中屯、点坐标（X。，y。）自勺欧式距离，得到敎则者?自勺注视 点中屯、距dj，
[0165] 然后，特征提取模块6将计算得到的注视点中屯、距特征存入矩阵Xi，
[016Wxi=(di，d2，d3，...，dn)T;
[0167] 其中Xi为一个j维的特征矩阵，表示受测者的视野范围，i为特征个数，j = 1，2， 3，???，]!〇
[016引 2)注意偏向分数特征
[0169] 特征提取模块6计算受测者的正性注意偏向分数特征和负性注意偏向分数特 征。首先，特征提取模块6对预处理完的受测者观看情绪刺激任务4和5时的眼部图像 进行边缘检测，检测到瞳孔边界点，使用最小二乘圆拟合法得到观看屏幕固定点时瞳孔 中屯、的坐标值（Xk，Yk),代入计算完成的视线映射函数中，得到视线在屏幕上的落点坐标 ?、、. ^51 .?] 、 4、及於3战技议技，累转段公& ：〇.
[0170] 然后，特征提取模块6计算正性注意偏向分数特征，包括如下步骤：
[017。 情绪刺激任务4中播放正性视频的窗口在电脑屏幕上位置满足：ki《k2， y正《k4;播放中性视频的窗口在电脑屏幕上位置满足：k X中《ke，y中《ks。
[0172]情绪刺激任务4中，若计算的注视点的坐标UL細' iL^ >满足： 技i《為s&ti。。《技：且衫3么fL齡《挺去，则判断注视点落在正性视频区域，其个数 为fix被km苗。
[0173] 若计算的銭点的坐标C.4曲f 方巧沁城。巧 /細足：公:及教Xi滅。&公:技S且 k?《結巧。細《I%，则判断注视点落在中性视频区域，其个数为皿。
[0174] 将落在正性视频区域内的注视点个数和落在中性视频区域内注视点个数进行差 分运算得到的差值，与落在正性视频区域内的注视点个数和落在中性视频区域内注视点个 数的和的比值作为正性注意偏向分数特征，具体如下：
[0175]
[017引其中，数線渝纖Jg为落在正性视频区域内注视点个数，賴絲辕为落在中性视 频区域内注视点个数，嫌帛为计算得到的正性注意偏向分数特征。
[0177] 特征提取模块6计算负性注意偏向分数特征，包括如下步骤：
[017引情绪刺激任务5中播放负性视频的窗口位置与情绪刺激任务4中播放正性视频的 窗口位置一致，满足屯《X ^《kz，y ^《k4;播放中性视频的窗口与情绪刺激任务4 中播放中性视频的窗口位置一致，細足屯^ X中^ kg，k：7^ y中^ kgD
[0179]情绪刺激任务5中，若计算的注视点的坐标Uix&t自9,、言满足： k:s沒也。。《k.3且1?《《故4，则判断注视点落在负性视频区撤其个数为 撼城沁如敦。
[0180] 若计算的注视点的坐标满足：診胃滋接&且 耗了《《每S，则判断注视点落在中性视频区域，其个数为自。
[0181] 将落在负性视频区域的注视点个数和落在中性视频区域内注视点个数的差值，与 落在负性视频区域内的注视点个数和落在中性视频区域内注视点个数的和的比值作为负 性注意偏向分数特征，具体如下：
[0