一种儿科肺炎辅助诊断模型的训练方法及训练所得的模型

本发明涉及医学计算机技术领域，特别涉及一种儿科肺炎辅助诊断模型及其训练方法。

背景技术：

肺炎是一种影响肺部功能的急性呼吸道感染疾病，肺炎使得肺炎泡发炎导致呼吸道产生脓液，让人呼吸困难。根据世界卫生组织的报告，2015年肺炎估计造成世界约92万名5岁以下儿童死亡，占造成5岁以下儿童死亡人数的16％，直至2017年全球仍有80余万5岁以下儿童死于肺炎。目前诊断的方法主要是依靠胸部x光检查来诊断肺炎，肺炎在胸部x光图像中表现为不透明增加的区域。

部分偏远地区的医护人员由于经验不足等情况使得鉴别胸部x光图像是否为患有肺炎的图像成为一个具有挑战的性的工作，同时诊断过程中需要大量的时间和精力，而且还十分容易受到观察人员主观因素的影响导致误诊。

通过使用基于深度学习的儿科肺炎辅助诊断算法能够很好的辅助医务人员对肺炎的判别，从而减轻医生的负担、提高医院检测工作效率。近年来随着深度学习的研究不断深入，可以说深度学习模型是图像分类问题的一个强有力的工具。依靠深度学习来解决如图片分类等实际问题也越来越可靠。因此若能实现一种儿科肺炎辅助诊断模型，一方面可以为医生的诊断提供帮助，另一方面还可以让该模型作为医生学习诊断的工具，无疑会为医生的快速成长提供巨大的助力。

技术实现要素：

本发明要解决的技术问题，在于提供一种儿科肺炎辅助诊断模型及其训练方法，通过对现有儿科肺炎患者的医学图像及对应的医学诊断语句进行训练，让训练所得的模型作为医生学习诊断的工具，帮助医生快速成长。

第一方面，本发明提供了一种儿科肺炎辅助诊断模型的训练方法，包括：

s1、获取儿科肺炎患者的医学图像及对应的医学诊断语句，将获得的医学图像处理为统一规格m×m像素大小的医疗图像集合，m由网络模型大小决定；根据医学诊断语句将医学图像分为有病和没病两类，并混合后形成训练集；

s2、对所述训练集分别提取lbp特征图集合mlbp、多尺度特征图集合mm、以及多级别特征图集合mw；

s3、将所述lbp特征图集合mlbp、多尺度特征图集合mm、以及多级别特征图集合mw分别采用注意力模块进行注意力处理；

s4、将注意力处理后的所述lbp特征图集合mlbp、多尺度特征图集合mm、以及多级别特征图集合mw进行特征融合，获得新的特征图集合msum；

s5、将所获得的特征图集合msum输入到分类器中进行分类，获得训练好的模型。

第二方面，本发明提供了一种儿科肺炎辅助诊断模型，其经由第一方面的训练方法训练获得。

本发明实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：在儿科肺炎患者的医学图像上提取出lbp特征后，得到特征图集合mlbp，还提取了多尺度特征图集合mm和多级别特征图集合mw，并与降维后的lbp特征相融合，作为新的特征再输入到分类器中进行训练，从而获得儿科肺炎辅助诊断模型。由于本发明捕捉了更多关于肺炎特征信息，从而提高了分类的准确度。另外，多尺度特征图集合mm是通过采用不同的扩张因子进行空洞卷积获得多尺度的特征集合，从而达到通过多尺度窗口获取特征；同时多级别特征图集合是逐级提取，包括浅层特征信息和深层特征信息，从而获得的特征信息更多，并进行融合以达到获取全局上下文特征信息，进而能够从全局的角度推断肺炎目标与背景之间的关系，能够突出目标区域，淡化背景信息的干扰。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1为本发明用于训练儿科肺炎辅助诊断模型的方法的流程图；

具体实施方式

本申请实施例通过提供一种儿科肺炎辅助诊断模型及其训练方法，通过对现有儿科肺炎患者的医学图像及对应的医学诊断语句进行训练，让训练所得的模型作为医生学习诊断的工具，无疑会为医生的快速成长提供巨大的助力。

本申请实施例中的技术方案，总体思路如下：本发明除了在儿科肺炎患者的医学图像上提取出lbp特征，还提取了多尺度特征图集合mm和多级别特征图集合mw，并将三种特征进行融合，作为新的特征再输入到分类器中进行训练，从而获得儿科肺炎辅助诊断模型。由于捕捉了更多关于肺炎特征信息，从而提高了分类的准确度。

实施例一

如图1所示，本实施例提供一种儿科肺炎辅助诊断模型的训练方法，包括：

s1、获取5岁以下儿科肺炎患者的医学图像及对应的医学诊断语句，将获得的医学图像处理为m×m的像素大小，获得统一规格医疗图像集合，m由用于提取特征的网络模型的大小决定(如resnet模型输入的图片大小是224x224，即m＝224)；根据医学诊断语句将医学图像分为有病和没病两类，再将所述医学图像集合按照64％、16％和20％的比例划分为训练集、验证集和测试集，其中训练集、验证集和和测试集均包含一定比例的有病和没病两类医学图像；比如将医学图像集合按照是否患有肺炎分类为0、1两个集合，0表示患有肺炎，1则表示健康，0集合中的图片命名都以0开头，1集合中的图片命名都以1开头。

训练集用来训练模型；通过验证集的反馈可以及时修改模型中的各种参数，避免过拟合的问题；测试集用来检测模型的效果。

s2、对所述训练集分别提取lbp特征图集合mlbp、多尺度特征图集合mm、以及多级别特征图集合mw；

s3、将所述lbp特征图集合mlbp、多尺度特征图集合mm、以及多级别特征图集合mw分别采用注意力模块进行注意力处理；

s4、将注意力处理后的所述lbp特征图集合mlbp、多尺度特征图集合mm、以及多级别特征图集合mw进行特征融合，获得新的特征图集合msum；

s5、将所获得的特征图集合msum输入到分类器中进行分类，获得训练好的模型。

其中，作为本实施例的一种更优或更为具体的实现方式，所述步骤s1中还对所述医学图像进行图像扩充处理，图像扩充处理具体是：

s11、将所述医学图像作为初始图像；

s12、对所述初始图像进行旋转处理，如旋转90°、180°和270°，得到旋转医学图像；在所述初始图像上添加噪声处理，得到噪声医学图像；

其中，所述旋转采用下述公式1计算：

公式1中，(i2,j2)是原图像f(i2,j2)的像素点的坐标，θ为旋转角度，(i1,j1)是将对应像素点(i2,j2)旋转之后的像素点的坐标；

所述添加噪声处理采用下述公式2计算：

(i1,j1)＝(i2,j2)+xmeans+sigma*g(d)公式2；

公式2中，(i2,j2)是原图像f(i2,j2)的像素点的坐标，(i1,j1)是将对应像素点(i2,j2)加入高斯噪声之后的像素点的坐标，xmeans代表高斯分布的平均值，sigma代表高斯分布的标准方差，d为一个线性的随机数，g(d)是随机数的高斯分布随机值；

s13、将所述初始图像、所述旋转医学图像和所述噪声医学图像进行放缩处理，获得统一规格的医疗诊断图像，并作为所述训练图像集合。

所述缩放处理采用下述公式3计算：

公式2中，(i2,j2)是原图像某一像素点的坐标，为水平方向缩放的比率，为垂直方向缩放的比率，(i1,j1)是将对应像素点(i2,j2)缩放之后的像素点的坐标。

通过图片旋转、图片加噪声的方法，对肺部x光图片进行扩充。

所述步骤s2中，对所述训练集提取lbp特征图集合mlbp的具体过程是：

(11)将所述训练集中的医学图像划分成像素大小为n×n的子块，m和n为正整数且m能被n整除，如m＝224，n＝16，共可划分为196个子块，则该196个子块为一个检测窗口；

(12)取每一子块作为中心子块，在中心子块中选择一个像素点作为窗口中心像素点(xc,yc)，在邻域半径为r的圆形区域内选取p个相邻子块的像素点作为采样点(通常p＝8，包括中心子块的上、下、左、右、左上斜、左下斜、右上斜、右下斜8个相邻子块)，所述窗口中心像素点采用的算子分别与p个采样点进行灰度值比较，若所述采样点的灰度值更大，则该窗口中心像素点的位置标记为1，否则标记为0，从而产生p位二进制数，得到该中心子块的窗口中心像素点(xc,yc)的lbp特征值；如公式4所示：

公式4中，ic是中心子块的窗口中心像素点(xc,yc)的灰度值，ip是采样点的灰度值，s是一个符号函数，如公式5所示：

对于所述窗口中心像素点(xc,yc)，它的采样点集合p中的某个采样点p(xp,yp)而言，p∈p用以下公式计算：

公式6中，如果计算的结果不在像素坐标上，则采用双线性插值进行近似处理，具体计算公式如下：

(13)计算每个子块的直方图，并对所述直方图进行归一化处理，从而将所述lbp特征值与图形的空间信息结合在一起，得到各子块的统计直方图lbph；

(14)将各子块的统计直方图lbph连接成为一张肺部x光图片的lbp特征集合a，所述lbp特征集合a中的lbp特征的维度为2×n²×m/n，若m＝224，n＝16，则lbp特征的维度是100352；

(15)通过pca对所述lbp特征集合a中的lbp特征进行降维处理，得到h维的lbp特征，h为用户设定值，如h＝224。

pca的做法就是通过原来的变量做线性投影形成新的变量，一般通过公式8来计算特征的主成分：

y＝u^t(xi-x)公式8；

公式8中，y表示主成分特征，x表示训练样本的特征均值，xi为需要降维的特征，u^t为协方差矩阵计算公式，如公式9所示：

所述步骤s2中，所述多尺度特征图集合mm的提取具体是：

(21)采用resnet50模型通过次残差后提取特征图mm1，

(21)使用不同的扩张因子对所述特征图mm1进行空洞卷积处理；同时，采用自适应平均池化操作，获取相同分辨率、相同通道数以及不同尺度的上下文特征信息，将所述上下文特征信息进行级联，得到所述多尺度特征图集合mm；所述空洞卷积处理的输出计算公式表示如下：

mi＝cov(mm1,r),r∈[1,3,5,7]

mag＝avgpool(mm1)公式10；

mm＝c(m1,m3,m5,m7,mag)

公式10中，mi为不同的扩张因子1，3，5，7卷积后的特征图，cov(mm1,r)为对特征图进行扩张率为r的空洞卷积，mag为平均池化后的特征图，avgpool(mm1)为对特征图mm1进行平均池化运算，c(m1，m3，m5，m7，meg)为对所有的特征图即m1，m3，m5，m7和meg进行级联。

所述步骤s2中，所述多级别特征图集合mw的提取具体为：

(31)获得所述多尺度特征图集合mm，并进行全局平均池化操作后得到全局上下文特征信息；

(32)校准所述全局上下文特征信息，生成具有全局信息的掩码；浅层特征经过卷积运算与所述掩码相乘，再经过卷积运算得到特征图的输出；

mg＝cov(mlow)×mask(mglobal)

m1＝cov(mhigh)×mask(mlow)

mh＝mask(mhigh)×cov(mlow)

ma＝c(mg,ml,mh)公式11；

mb＝c(cov(mglobal,mlow,mhigh))

mw＝add(cov(ma,mb))

公式11中，mlow为浅层特征信息，mhigh为深层特征信息，mglobal为全局上下文特征信息，mg为全局上下文信息生成的掩码与浅层特征融合的结果，ml为浅层特征生成的掩码与深层特征融合的结果，mh为深层特征生成的掩码与浅层特征融合的结果，cov(·)为卷积运算，mask(·)为不同级别特征生成对应的掩码，add(·)为特征图对应元素相加，ma为mg、ml和mh级联后的特征图,mb为mglobal、mlow和mhigh经过卷积后联的特征图,mw为ma和mb相加后的特征图。

所述步骤s3中，将所述lbp特征图集合mlbp、多尺度特征图集合mm、以及多级别特征图集合mw分别采用注意力模块处理具体是：

s31、将上述特征图像集合mm，mw，mlbp分别进行两次卷案件操作，分别得到：第一次卷积后获得的多尺度特征集合mmc1、多层次特征集合mwc1和lbp特征集合mlbpc1，第二次卷积后获得的多尺度特征集合mmc2、多层次特征集合mwc2和lbp特征集合mlbpc2；

s32、然后分别将第一次卷积获得的所有特征集合mc1和第二次卷积获得的所有特征集合mc2做相乘和相加运算，其中，mc1＝mmc1+mwc1+mlbpc1；mc2＝mmc2+mwc2+mlbpc2；最后获得校准后的特征图集合moc作为解码阶段的输入，具体计算公式如下：

moc＝mc1×mc2+mc1+mc2公式12。

所述步骤s4中，将所述特征集合mm，所述特征集合mw，所述特征集合mlbp进行特征融合处理具体是：

s41、将所述特征集合mm的掩码和所述特征集合mw的掩码相乘，获得初步融合特征集合mmw；

s42、将所述初步融合特征集合mmw的掩码和所述特征集合mlbp的掩码相乘，获得新的特征图集合msum。

所述步骤5具体为：

s51、将所述融合特征c后接一个k维的全连接层，利用softmax分类器进行分类，由softmax分类器中的softmax函数将一个k维的任意实数向量压缩成另一个k维的实数向量，其中实数向量中的每个元素取值都介于(0，1)之间，计算公式如下：

在本实施例中，由于只需将病例诊断为有病与非有病两类，因此k取2。

最后，将所述测试集中的肺部x光图片输入到训练好的模型得出预测值，并将预测值与真实值进行比较算出模型的准确率，模型的输入为图片的像素点(在计算机中读取的是一个矩阵)，输出的是预测结果。预测值指的是通过模型预测出来的值，真实值指的是实际的值。准确率等于预测值与真实值相等的个数/总个数。

基于同一发明构思，本申请还提供了一种儿科肺炎辅助诊断模型，是由上述实施例一中的训练方法训练得到，详见实施例二。

实施例二

在本实施例中提供了一种儿科肺炎辅助诊断模型，如图1所示，是由上述实施例一中的训练方法训练得到。

由于本实施例二中的儿科肺炎辅助诊断模型即为经实施例一中的儿科肺炎辅助诊断模型训练方法训练得到，因此本实施例中未详尽说明之处，请参见实施例一中的说明。

本申请实施例中提供的技术方案，至少具有如下技术效果或优点：

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。