一种用于精神状态辅助诊断的计算机视觉方法与流程

本发明涉及计算机视觉方法领域，具体是一种用于精神状态辅助诊断的计算机视觉方法。

背景技术：

对病人精神状态诊断作用和目的是诊断出病人在心理即精神行为状态以及是否发生改变，针对不同的精神状态来改善病人精神行为状态是在治疗过程中十分重要的一环。病人在治疗的过程中会受一些应激源如手术、对自己病情的了解等的影响，产生比较剧烈的心理与生理应激反应，这些应激反应如果十分强烈，可能会对内分泌系统、神经系统产生影响，产生焦虑、抑郁等心理，甚者会干扰诊断、手术、治疗等的实施和效果。因此，对于病人的精神状态特点和变化，及时发现并给予相应的心理治疗是十分重要的。现在对病人精神状态评估多数为问卷调查和自我评估，缺少一些客观的辅助判断来帮助医生诊断病人的精神状态，易造成评估不准，导致诊断出现误差。

而病人的微表情可以辅助医生进行精神状态的判断，微表情是一种持续时间仅为1/25～1/5s非常快速的表情，它是人们试图压抑或隐藏自己真实情感时表现出短暂的、不能自主控制的面部表情。在临床上，医生如果能发现病人的微表情，则可以更好的判断病人的精神状态及其变化，从而针对性地进行治疗，缩短治疗时间，提高治疗效果。未经过系统训练的人对微表情识别能力不高，而用计算机来自动检测微表情是很好的检测方法，微表情的自动检测可以在不被病人察觉的情况下进行，从而加强了判断的真实性和有效性。将计算机自动检测结合到临床诊断里，会帮助医生更好的对病人精神状态进行诊断。

技术实现要素：

本发明的目的是提供一种用于精神状态辅助诊断的计算机视觉方法，以解决现有技术对于病人精神状态评估方法单一、缺少客观评估的问题。

为了达到上述目的，本发明所采用的技术方案为：

一种用于精神状态辅助诊断的计算机视觉方法，其特征在于：将微表情视频中的图像帧使用含有卷积层和池化层的卷积神经网络方法进行特征提取和融合，之后使用随机梯度下降算法进行卷积神经网络的优化得到已训练的网络模型，再将待测视频中的图像帧输入进已训练的网络模型中，得到检测结果，其步骤如下：

(1)、选取多个对象的多个面部表情视频作为训练数据库，训练数据库中包含无表情视频和微表情视频；

(2)、将训练数据库中每个视频的每帧图像取出并灰度化，将每帧图像剪裁成多个等大小的正方形块状的人脸图像作为训练样本；

(3)、将步骤(2)得到的训练样本输入到卷积神经网络进行网络的训练，此卷积神经网络共包括多层卷积层多层池化层，卷积与池化的操作交替进行，其中卷积层中处理过程为：

第一层为卷积层，已知有多个卷积核，分别将卷积核与原图像进行离散卷积并加上偏置项之后，通过relu激活函数得出提取后的图像特征，表示如下：

其中l代表网络层数，i代表像素的位置，代表第l-1层中图像的第i个像素，代表第l层中第j个的图像特征，mj代表输入的所有图像的集合，k代表卷积核，代表第l层中的第j个卷积核中第i个值，代表第l层中的第j个偏置项。f(x)代表relu激活函数，表示如下：

f(x)＝max(0,x)(2)，

卷积完成之后将结果输入到下一层即与卷积层交替相邻的池化层进行池化运算；

池化层中处理过程为：

卷积后的图像特征输入到交替相邻的下一层池化层中，将上一层即与池化层交替相邻的卷积层的图像特征分成n*n的块，在每一块中求出最大的图像特征值，再将此特征最大值乘以乘性偏置项，然后加上偏置项，最后通过relu激活函数得出融合后的图像特征，表示如下：

其中l代表网络层数，代表第l-1层中的第j个图像特征，代表第l层中的第j个图像特征，代表第l层中的第j个乘性偏置项，代表第l层中的第j个偏置项，f(x)代表relu激活函数，g(x)代表输入的图像特征中的最大值，表示如下：

g(x)＝max(xi)i∈mj(4)，

其中mj代表输入的所有图像特征的集合；

(4)、重复步骤(3)直至计算完所有的卷积层和池化层；

(5)、使用随机梯度下降法优化卷积神经网络，经过至少1000次迭代后得到已训练的网络；

(6)、已知有一待检测是否出现微表情的患者的视频中的图像帧序列，将待测视频的每帧图像输入进步骤(5)中得到的已训练的网络中去，由卷积神经网络输出是否出现微表情，如果含有微表情则将含有微表情的图像帧标记出来作为结果。

所述的一种用于精神状态辅助诊断的计算机视觉方法，其特征在于：使用卷积神经网络来进行视频中图像帧的特征提取和融合并使用随机梯度下降法进行网络优化得到已训练的网络，进而进行微表情检测。

本发明通过从已知的微表情视频数据中进行训练的基础上，检测病人的面部是否出现微表情，依据结果辅助医生对病人精神状态进行诊断，从而达到提高对病人精神状态诊断准确率和诊断效率以及提高医生工作的效率并减轻医生工作量的目标。该技术可应用于对病人精神状态诊断的辅助诊断。

本发明中，随机梯度下降算法是一种优化算法，比较适用于控制变量较多，受控系统比较复杂，无法建立准确数学模型的最优化控制过程。在训练网络过程中目标是使网络的输出结果与正确结果的误差最小，经过多次迭代，得到目标函数的极小值。

本发明使用卷积神经网络的方法进行特征提取和图像分类。该方法从提取低层次特征逐步到提取高层次抽象的特征，从而更好的提取了有效的特征信息，提高了计算准确率，并且卷积神经网络有很高的灵活性，可以根据不同的实际情况进行不同参数的调整，再应用到不同的场合中去。

本发明的有益效果是：将卷积神经网络对于视频信息的特征提取用于临床微表情检测，从而辅助医生对病人的精神状态进行诊断，实现了将微表情的自动检测运用到临床诊断中去，提高了对病人精神状态诊断准确率和效率。

附图说明

图1是本发明的实现流程框架图。

图2是本发明实验中的检测结果。

具体实施方式

如图1所示，一种用于精神状态辅助诊断的计算机视觉方法，过程如下：

(1)、选取12个对象的343个面部表情视频序列作为训练数据库。其中包括无表情视频和微表情视频。

(2)、将视频每帧图像取出并灰度化，将每帧图像剪裁出等大小的人脸图像，先作为训练样本。

(3)、使用卷积神经网络进行网络的训练，此卷积神经网络共包括4层卷积层4层池化层，卷积与池化的操作交替进行，首先将图像输入到第一层卷积层中，已知有多个卷积核，分别将卷积核与原图像进行离散卷积并加上偏置项之后，通过relu激活函数得出提取后的图像特征，表示如下：

其中l代表网络层数，i代表像素的位置，代表第l-1层中图像的第i个像素，代表第l层中第j个的图像特征，mj代表输入的所有图像的集合，k代表卷积核，代表第l层中的第j个卷积核中第i个值，代表第l层中的第j个偏置项。f(x)代表relu激活函数，表示如下：

f(x)＝max(0,x)(2)，

卷积完成之后将结果输入到下一层即与卷积层交替相邻的池化层进行池化运算；

卷积后的图像特征输入到交替相邻的下一层池化层中，将上一层即与池化层交替相邻的卷积层的图像特征分成n*n的块，在每一块中求出最大的图像特征值，再将此特征最大值乘以乘性偏置项，再加上偏置项，通过relu激活函数得出融合后的图像特征，表示如下：

其中l代表网络层数，代表第l-1层中的第j个图像特征，代表第l层中的第j个图像特征，代表第l层中的第j个乘性偏置项，代表第l层中的第j个偏置项，f(x)代表relu激活函数，g(x)代表输入的图像特征中的最大值，表示如下：

g(x)＝max(xi)i∈mj(4)；

其中mj代表输入的所有图像特征的集合。

(4)、重复步骤(3)直至计算完所有的卷积层和池化层。

(5)、使用随机梯度下降法优化卷积神经网络，经过近1000次迭代后得到已训练的网络。

(6)、已知有一待检测是否出现微表情的患者的视频中的图像帧序列，将待测视频的每帧图像输入进步骤(5)中得到的已训练的网络中去，由卷积神经网络输出是否出现微表情，如果含有微表情则将含有微表情的图像帧标记出来作为结果，如图2所示，此5幅图像为待检测是否含有微表情的视频中的图像帧序列，图中第三幅含有边框的图是被检测出微表情的图像，其他四幅没有被检测出微表情。将此结果作为医生做出诊断的参考。图2中图片来自casme数据库。