基于双通道特征深度学习的新生儿疼痛表情识别方法与流程

本发明涉及一种基于双通道特征深度学习的新生儿疼痛表情识别方法，属于图像处理与情感识别领域。

背景技术：

疼痛是人体常见的一种不舒适症状，它不仅使人遭受痛苦，还会带来一系列生理和心理上的不良影响。研究表明，新生儿出生后便具有感受疼痛的能力，能够对有害的刺激传递、感知、回应甚至记忆。从一出生就开始接受的各项检查和治疗，都会给新生儿带来疼痛刺激。疼痛刺激可以引起机体的全身反应，如呼吸、免疫改变，心血管机能不稳定等；这种疼痛感还可能导致新生儿发育迟缓、中枢神经系统永久损伤以及情感紊乱等远期影响。早期反复的操作性疼痛刺激会引起颅内压的波动，使新生儿对疼痛的反应性和敏感性降低，致使其应急调控系统发生改变，严重影响脑的发育。疼痛的对新生儿的健康成长有很大的影响，所以对新生儿疼痛的研究日益受到关注。

尽快发现，越早进行疼痛干预，就能越早的减少疼痛应激对新生儿成长发育的不良影响。疼痛评估是进行疼痛管理的第一步。目前新生儿的疼痛评估主要是人为判断，由经验丰富并受过专业培训的医护人员评定新生儿的疼痛程度。该方法耗时耗力，不宜推广，且评估结果很可能受到评估人员主观性影响。因此开发出一种客观、准确、高效的新生儿疼痛自动评估系统对临床上对新生儿的疼痛干预，以及新生儿健康成长具有重要意义。

新生儿疼痛时会引起一系列面部表情的变化，面部表情被认为是评估新生儿疼痛的一种有效方式。目前新生儿疼痛表情识别一般采用人工设计特征的方法对新生儿面部图像进行特征学习，然后训练分类器。由于人工设计的特征本身具有局限性，对特征提取不充分，所以导致分类效果不理想，并且识别率的进一步提高也遇到瓶颈。

技术实现要素：

针对开发新生儿疼痛自动评估系统的需求，本发明提供一种基于双通道特征深度学习的新生儿疼痛表情识别方法，解决传统方法对新生儿面部表情图像特征提取不充分，不能获得较为准确的识别结果的问题，为临床提供客观准确的疼痛自动评估工具开辟一条新的途径。

本发明为解决上述技术问题采用以下技术方案：

本发明提供一种基于双通道特征深度学习的新生儿疼痛表情识别方法，具体步骤如下：

A，采集新生儿面部图像，并由专业医护人员按疼痛程度将其分为n类表情，建立新生儿面部表情图像库；

B，对新生儿面部表情图像库中的样本进行预处理，得到l×l像素大小的图像；

C，将预处理过后的新生儿面部表情图像灰度化，提取其局部二值模式LBP特征图谱；

D，构建双通道卷积神经网络，用于对并行输入的灰度图像及其LBP特征图谱两个通道的图像特征进行深度学习；

E，将步骤3中新生儿面部表情图像的灰度图像及其LBP特征图输入双通道卷积神经网络，对网络进行训练、调优，并保存训练好的网络模型；

F，利用训练好的双通道卷积神经网络模型对输入的测试样本进行疼痛表情分类识别。

作为本发明的进一步优化方案，步骤D中，构建双通道卷积神经网络的具体如下：

双通道卷积神经网络的第一部分为特征提取网络，由两个相互独立的卷积神经网络分支构成，其中，两个卷积神经网络分支的网络结构相同，由输入层、三个卷积层和两个池化层构成；第二部分包括串接层、全连接层和分类层，串接层将两个卷积神经网络分支的输出进行串接；双通道卷积神经网络的具体结构如下：

D1、双通道卷积神经网络的第一层为输入层，包含两个通道，第一个通道用于输入样本图像的灰度图，第二个通道用于输入样本图像的LBP特征图谱；

D2、双通道卷积神经网络的第二层为卷积层，在两个卷积神经网络分支中，分别采用n₁个h₁×h₁维的卷积核对输入图像进行二维卷积，卷积响应的和经过非线性激励函数ReLU，映射得到n₁个l₁×l₁维的特征图；

D3、双通道卷积神经网络的第三层为池化层，在两个卷积神经网络分支中，分别将上层卷积层输出的每个l₁×l₁维的特征图平均分割成为l₂×l₂个不重叠的矩形子区域，取每个子区域的最大值进行降采样操作，生成n₁个l₂×l₂维的特征图；

D4、双通道卷积神经网络的第四层为卷积层，在两个卷积神经网络分支中，分别采用n₂个h₂×h₂维的卷积核对上层池化层的输出图像进行二维卷积，卷积响应的和经过非线性激励函数ReLU，映射得到n₂个l₃×l₃维的特征图；

D5、双通道卷积神经网络的第五层为池化层，在两个卷积神经网络分支中，分别将上层卷积层输出的每个l₃×l₃维的特征图平均分割成为l₄×l₄个不重叠的矩形子区域，取每个子区域的最大值进行降采样操作，生成n₂个l₄×l₄维的特征图；

D6、双通道卷积神经网络的第六层为卷积层，在两个卷积神经网络分支中，分别采用n₃个h₃×h₃维的卷积核对上层池化层的输出图像进行二维卷积，卷积响应的和经过非线性激励函数ReLU，映射得到n₃个l₅×l₅维的特征图；

D7、双通道卷积神经网络的第七层为串接层，将两个卷积神经网络分支的输出进行串接，得到n₃+n₃个l₅×l₅维的特征图；

D8、双通道卷积神经网络的第八层为全连接层，将上层的n₃+n₃个特征图全连接到n₄个神经元，经过非线性激励函数ReLU，映射得到一个n₄维的特征向量，该向量即为融合了输入样本两个通道特征的融合特征向量；另外采用Dropout方法控制隐藏层节点的工作方式；

D9、双通道卷积神经网络的第九层为分类层，采用softmax回归分类器，将上层全连接层输出的特征向量全连接到n个输出节点，每个节点对应数据库中的一类表情，经过softmax回归后得到一个n维列向量，向量中每一个维度的数代表输入样本属于该类别的概率。

作为本发明的进一步优化方案，非线性激励函数ReLU的表达式为ReLU(·)＝max(0,·)。

作为本发明的进一步优化方案，步骤D9中，softmax回归的假设函数定义为：

其中，j＝1,2,...,n，n为表情类别数，ω_j为分类器权值矩阵ω的第j列，x为第八层全连接层输出的特征向量，即，输入样本的融合特征向量，为输入样本属于第j类的概率；

输入样本最终所属的类别表示为：在n个概率中寻找最大值，最大概率h_ω(x)_j所对应的j即为输入样本的分类结果，用class(x)表示：

作为本发明的进一步优化方案，步骤E中，步骤3中将新生儿面部表情图像的灰度图像及其LBP特征图输入双通道卷积神经网络，对网络进行训练、调优，具体步骤如下：

E1、首先将双通道卷积神经网络的权值初始化为均值为0、方差为常数的高斯分布，偏置参数初始化为0；

E2、将训练数据的灰度图像由第一个通道输入，其LBP特征图谱由第二个通道输入，计算网络实际输出与相应的理想输出的误差，按极小化误差的方法反向传播，调整权值矩阵；其中，训练过程中两个分支网络独立更新自己的参数；

E3、重复迭代训练，Softmax分类器的损失函数值趋于稳定时结束训练，保存训练好的网络模型。

作为本发明的进一步优化方案，Softmax分类器的损失函数定义为：

其中，i＝1,2,...,m，j＝1,2,...,n，m为样本数，n为表情类别数，x⁽ⁱ⁾为第i个输入样本的融合特征向量，y⁽ⁱ⁾＝1,2,...,n为第i个输入样本对应的标签，ω_j为分类器权值矩阵ω的第j列，1{·}为指示函数，大括号中值为真时，函数值取1，反之取0。

作为本发明的进一步优化方案，步骤B中对新生儿面部表情图像库中的样本进行预处理包括对样本进行裁剪、对齐、尺度归一化。

本发明采用以上技术方案与现有技术相比，本发明通过引入基于双通道特征深度学习的新生儿疼痛表情识别方法，将其运用于新生儿疼痛表情分类识别工作中，能有效地识别出平静、哭、轻度疼痛、剧烈疼痛等四种表情，为开发新生儿疼痛自动评估系统提供了一种新的方法和途径。与现有的方法相比，本发明的优点在于：

(1)融合面部表情图像的灰度图及其LBP特征图两个通道的特征，相比于提取单通道特征的方法，所提取的特征更具有稳定性，对新生儿面部图像中的光照、噪声与遮挡问题也具有很好的鲁棒性；

(2)利用卷积神经网络在提取图像特征方面的优势，发掘新生儿面部表情图像更具代表性的深层特征，来进行新生儿疼痛表情分类识别。

附图说明

图1是本发明的基于双通道特征深度学习的新生儿疼痛表情识别方法流程图。

图2是新生儿面部表情图像库中的部分图像。

图3是新生儿面部表情图像的灰度图及其LBP特征图。

图4是双通道卷积神经网络结构图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明提供一种基于双通道特征深度学习的新生儿疼痛表情识别方法，如图1所示，具体步骤如下：

A，采集新生儿面部图像，并由专业医护人员按疼痛程度将其分为n类表情，建立新生儿面部表情图像库。

B，对新生儿面部表情图像库中的样本进行裁剪、对齐、尺度归一化等预处理，得到l×l像素大小的图像。

C，将预处理过后的新生儿面部表情图像灰度化，提取其局部二值模式(Local BinaryPattern，LBP)特征图谱。

D，构建双通道卷积神经网络，用于对并行输入的灰度图像及其LBP特征图谱两个通道的图像特征进行深度学习。

双通道卷积神经网络的第一部分为特征提取网络，由两个相互独立的卷积神经网络分支构成，其中，两个卷积神经网络分支的网络结构相同，由输入层、三个卷积层和两个池化层构成；第二部分包括串接层、全连接层和分类层，串接层将两个卷积神经网络分支的输出进行串接；双通道卷积神经网络的具体结构如下：

D1、双通道卷积神经网络的第一层为输入层，包含两个通道，第一个通道用于输入样本图像的灰度图，第二个通道用于输入样本图像的LBP特征图谱；

D2、双通道卷积神经网络的第二层为卷积层，在两个卷积神经网络分支中，分别采用n₁个h₁×h₁维的卷积核对输入图像进行二维卷积，卷积响应的和经过非线性激励函数ReLU(ReLU(·)＝max(0,·))，映射得到n₁个l₁×l₁维的特征图；

D3、双通道卷积神经网络的第三层为池化层，在两个卷积神经网络分支中，分别将上层卷积层输出的每个l₁×l₁维的特征图平均分割成为l₂×l₂个不重叠的矩形子区域，取每个子区域的最大值进行降采样操作，生成n₁个l₂×l₂维的特征图；

D4、双通道卷积神经网络的第四层为卷积层，在两个卷积神经网络分支中，分别采用n₂个h₂×h₂维的卷积核对上层池化层的输出图像进行二维卷积，卷积响应的和经过非线性激励函数ReLU，映射得到n₂个l₃×l₃维的特征图；

D5、双通道卷积神经网络的第五层为池化层，在两个卷积神经网络分支中，分别将上层卷积层输出的每个l₃×l₃维的特征图平均分割成为l₄×l₄个不重叠的矩形子区域，取每个子区域的最大值进行降采样操作，生成n₂个l₄×l₄维的特征图；

D6、双通道卷积神经网络的第六层为卷积层，在两个卷积神经网络分支中，分别采用n₃个h₃×h₃维的卷积核对上层池化层的输出图像进行二维卷积，卷积响应的和经过非线性激励函数ReLU，映射得到n₃个l₅×l₅维的特征图；

D7、双通道卷积神经网络的第七层为串接层，将两个卷积神经网络分支的输出进行串接，得到n₃+n₃个l₅×l₅维的特征图；

D8、双通道卷积神经网络的第八层为全连接层，将上层的n₃+n₃个特征图全连接到n₄个神经元，经过非线性激励函数ReLU，映射得到一个n₄维的特征向量，该向量即为融合了输入样本两个通道特征的融合特征向量；另外采用Dropout方法控制隐藏层节点的工作方式；

D9、双通道卷积神经网络的第九层为分类层，采用softmax回归分类器，将上层全连接层输出的特征向量全连接到n个输出节点，每个节点对应数据库中的一类表情，经过softmax回归后得到一个n维列向量，向量中每一个维度的数代表输入样本属于该类别的概率；

softmax回归的假设函数定义为：

其中，j＝1,2,...,n，n为表情类别数，ω_j为分类器权值矩阵ω的第j列，x为第八层全连接层输出的特征向量，即，输入样本的融合特征向量，为输入样本属于第j类的概率；

输入样本最终所属的类别表示为：在n个概率中寻找最大值，最大概率h_ω(x)_j所对应的j即为输入样本的分类结果，用class(x)表示：

E，将步骤3中新生儿面部表情图像的灰度图像及其LBP特征图输入双通道卷积神经网络，对网络进行训练、调优，并保存训练好的网络模型，具体为：

E1、首先将双通道卷积神经网络的权值初始化为均值为0、方差为常数的高斯分布，偏置参数初始化为0；

E2、将训练数据的灰度图像由第一个通道输入，其LBP特征图谱由第二个通道输入，计算网络实际输出与相应的理想输出的误差，按极小化误差的方法反向传播，调整权值矩阵；其中，训练过程中两个分支网络独立更新自己的参数；

Softmax分类器的损失函数定义为：

其中，i＝1,2,...,m，j＝1,2,...,n，m为样本数，n为表情类别数，x⁽ⁱ⁾为第i个输入样本的融合特征向量，y⁽ⁱ⁾＝1,2,...,n为第i个输入样本对应的标签，ω_j为分类器权值矩阵ω的第j列，1{·}为指示函数，大括号中值为真时，函数值取1，反之取0。

E3、重复迭代训练，Softmax分类器的损失函数值趋于稳定时结束训练，保存训练好的网络模型。

F，利用训练好的双通道卷积神经网络模型对输入的测试样本进行疼痛表情分类识别。

下面通过具体实施例对本发明的技术方案作进一步阐述：

本发明的基于双通道特征深度学习的新生儿疼痛表情识别方法的实现主要包含以下步骤：

步骤1：建立新生儿面部表情数据库：

用摄像机或者数码照相机记录新生儿、早产儿进行常规的致痛性操作(如疫苗接种、采血)时的面部表情变化过程及静态面部图像。将采集来的新生儿视频截取成图像帧，对视频中婴儿脸部无遮挡或遮挡较轻时刻的图像采用人工截取的方式保存。由专业人士采用国际上公认的新生儿疼痛评估工具——新生儿面部编码系统(Neonatal Facial Coding System，NFCS)，并结合其他生理指标，按照1到10的疼痛评分标准对采集的新生儿图像进行评估，将评分值介于1～5的表情归类为轻度疼痛表情，评分值介于6～10的表情归类为剧烈疼痛表情。此外，再分别拍摄新生儿处于安静状态下、因饥饿等原因引起哭闹时的非疼痛表情图像。最后对采集到的每幅图像按所属类别标注标签(在本实施例中，1代表安静，2代表非疼痛状态下的哭，3代表轻度疼痛，4代表剧烈疼痛)，建立新生儿面部表情图像库。

步骤2：对新生儿面部表情图像库中的样本进行预处理操作：

对新生儿面部表情库中的样本进行裁剪、对齐、尺度归一化等预处理，使得所有的图像校准为如图2所示的256×256像素大小；

步骤3：提取新生儿面部表情图像的灰度图及其LBP特征图：

本实施例中采用加权平均的方法将预处理过后的新生儿面部彩色图像转化为灰度图像，然后采用一个3×3维的LBP算子提取灰度图像的LBP特征图谱，图像的LBP特征图谱如图3所示；

步骤4：构建双通道卷积神经网络，如图4所示：

本实施例设计的双通道卷积神经网络的第一部分为特征提取网络，由两个相互独立的卷积神经网络分支构成，其中，两个卷积神经网络分支的网络结构相同，由输入层、三个卷积层和两个池化层构成；第二部分包括串接层、全连接层和分类层，串接层将两个卷积神经网络分支的输出进行串接；

双通道卷积神经网络的第一层为输入层，包含两个通道，第一个通道用于输入新生儿面部图像的灰度图，第二个通道用于输入其对应的LBP特征图；

双通道卷积神经网络的第二层为卷积层，在两个卷积神经网络分支中，分别采用50个11×11维的卷积核、以5为步长对输入图像进行二维卷积，卷积响应的和经过非线性激励函数ReLU(ReLU(·)＝max(0,·))，映射得到50个50×50维的特征图；

双通道卷积神经网络的第三层为池化层(max-pooling)，在两个卷积神经网络分支中，分别将上层卷积层输出的每个50×50维的特征图平均分割成为25×25个不重叠的矩形子区域，取每个子区域的最大值进行降采样操作，生成50个25×25维的特征图；

双通道卷积神经网络的第四层为卷积层，在两个卷积神经网络分支中，分别采用80个3×3维的卷积核、以2为步长对上层的输出图像进行二维卷积，卷积响应的和经过非线性激励函数ReLU，映射得到80个12×12维的特征图；

双通道卷积神经网络的第五层为池化层(max-pooling)，在两个卷积神经网络分支中，分别将上层卷积层输出的每个12×12维的特征图平均分割成为6×6个不重叠的矩形子区域，取每个子区域的最大值进行降采样操作，生成80个6×6维的特征图；

双通道卷积神经网络的第六层为卷积层，在两个卷积神经网络分支中，分别采用128个3×3维的卷积核、以2为步长对上层的输出图像进行二维卷积，卷积响应的和经过非线性激励函数ReLU，映射得到128个4×4维的特征图；

双通道卷积神经网络的第七层为串接层，将两个卷积神经网络分支的输出进行串接，得到256个4×4维的特征图；

双通道卷积神经网络的第八层为全连接层，将上一层生成的256个特征图全连接到500个神经元，经过非线性激励函数ReLU，映射得到一个500维的特征向量，并采用Dropout方法控制隐藏层节点的工作方式，以减轻过拟合问题；

双通道卷积神经网络的第九层为分类层，采用softmax回归分类器，将上层全连接层输出的特征向量全连接到4个输出节点，每个节点对应数据库中的一类表情，经过softmax回归后得到一个4维列向量，向量中每一个维度的数代表输入样本属于该类别的概率；

步骤5：将训练数据输入双通道深度网络，对网络进行训练、调优；

本实施例中首先将双通道卷积神经网络的权值初始化为均值为0、方差为常数的高斯分布，偏置参数初始化为0；然后将预处理过后的新生儿面部图像的灰度图及其LBP特征图输入步骤4所构造的双通道卷积神经网络，灰度图像由第一个通道输入，其LBP特征图谱由第二个通道输入，计算网络实际输出与相应的理想输出的误差，按极小化误差的方法反向传播，调整权值矩阵，训练过程中两个分支网络独立更新自己的参数；重复迭代训练，softmax损失函数的值趋于稳定时结束训练，保存训练好的网络模型；

步骤6：利用训练好的双通道卷积神经网络模型对输入的测试样本进行疼痛表情分类识别。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内，因此，本发明的保护范围应该以权利要求书的保护范围为准。