一种基于卷积神经网络的X光片肺炎结果预测装置的制作方法

本发明属于人工智能技术领域，具体涉及一种基于卷积神经网络的x光片肺炎结果预测装置。

背景技术：

x光片作为检测肺炎的重要手段，传统检测方法是由人工查看x光片识别出有无肺炎及肺炎的区域，但是x光片中肺炎区域的特征不明显，通过x光片来检测肺炎是一项具有挑战性的任务，需要专业的放射科医师进行识别，工作繁重耗时。并且x光片中肺炎的特征往往是模糊的，可能与其他诊断重叠，甚至会与其他良性的异常混淆，因此不同的放射科医师在诊断肺炎方面有相当大的差异。

cn106355035a公开了一种基于增量式神经网络模型的肺炎预测方法，包括如下步骤：建立肺炎日常数据数据库；对神经网络模型进行训练；采集日常生活数据发送至服务器，保存至用户日常数据记录表中；从用户日常数据记录表中提取当日数据，形成n维向量，做归一化处理后输入肺炎病理神经网络模型中进行肺炎概率预测；智能家庭肺炎护理设备判断肺炎概率值是否大于0.5；当用户判定为得了肺炎时，用户自行去医院检查，并将检查结果通过智能家庭肺炎护理设备传送回服务器，服务器判断检查结果是否正确；当检查结果错误时执行增量式算法，对神经网络模型进行动态修正。

随着计算机技术的发展，x光片中的肺炎区域可以借助计算机进行初步筛查。图像目标检测(objectdetection)是计算机视觉中的一个重要研究方向，其任务是通过计算机算法生成矩形框将单张图像中目标区域标注出来。目标检测任务在自动驾驶，物体识别等场景中都有着重要应用。在医疗影像中，目标检测常常被用于检测图像中的细胞、病灶等。目前已经提出了许多目标检测算法，它们在目标区域建议、图像特征表示、候选区域分类等步骤采用了不同的处理策略。

但是，因为x光片中肺炎区域模糊不清，特征不明显，难以识别，目前计算机检测x光肺炎区域的准确率不高，精度较差。

在目标检测问题中，模型需要给输入图像的目标区域生成一个矩形框，要保证矩形框是能覆盖目标区域的最小矩形，相比于图像级的分类问题是相当困难的。目标检测问题早在二十世纪九十年代就成为了计算机视觉领域中的一个子领域，但是直到2013年，端到端的深度学习模型(卷积神经网络)才在自然图像目标检测问题上做出比较好的成果。而对于比较复杂的医学图像，目前尚没有比较好的目标检测模型提出。

技术实现要素：

本发明的目的在于提供一种基于卷积神经网络的x光片肺炎结果预测装置，肺炎结果预测的准确率和精度高，能够大量减轻放射科医生繁重的工作量。

一种基于卷积神经网络的x光片肺炎结果预测装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中存有肺炎结果预测模型，其包括分类模型和检测模型；

所述计算机处理器执行所述计算机程序时实现以下步骤：

接收x光片，并对x光片进行预处理；

将预处理后的x光片输入到分类模型中，输出有肺炎的预测概率；将预测概率值高于阀值的x光片输入到检测模型，输出肺炎预测结果，所述肺炎预测结果包括肺炎区域和与肺炎区域对应的肺炎结果预测概率。

所述的肺炎结果预测模型的获得过程为：

建立训练样本数据集：对x光片进行预处理，对于有肺炎的x光片，用矩形框标注出肺炎区域，作为阳性样本；无肺炎的x光片作为阴性样本，并用数据增强的方法扩增样本数量；

搭建肺炎结果预测模型：所述分类模型为resnet-50，所述检测模型为fasterr-cnn；

训练肺炎结果预测模型：采用训练样本数据集作为训练数据对分类模型和检测模型进行训练，根据分类模型和检测模型的预测结果与标签的重合度对网络的参数进行调节，直到收敛，得到训练完成后的分类模型和检测模型。

所述的预处理为常规操作，包括：将x光片输出为dicom格式的原始x光文件，然后转换为512*512像素的jpg格式的rgb三通道图片。

具体地，实现分类功能的分类模型用于判断输入的x光片是否存在肺炎，挑选出可能有肺炎的x光片作为检测模型的输入：分类模型输出有肺炎的概率，低于阈值时判断为无肺炎，高于阈值时判断为可能有肺炎，作为检测模型的输入。检测模型输出的肺炎预测结果的方式为：矩形框用于定位x光片中的肺炎区域，如果判断输入的x光片中无肺炎区域，则不输出矩形框；如果输出矩形框，则x光片有肺炎，且矩形框为肺炎检测结果。

所述的数据增强方法包括平移、旋转、镜像、随机噪声扰动、对比度随机变换操作。

数据增强方法可以增加模型的鲁棒性并缓解模型过拟合或欠拟合问题，原因在于：卷积神经网络具有平移不变性等特征，其关注的角度与人关注图像的角度不同，人往往可以直观地观察到图像中的图形、颜色等信息，而卷积神经网络只可以关注到图像中的像素点的值，这样使得对图像进行轻微的变化就可以获得对卷积神经网络来说完全不同的图像。

将上述取得的x光片进行平移、旋转、镜像、随机噪声扰动、对比度随机变换操作，并将这些操作自由组合，这样同一张x光片可以扩展为数十张不同的图像。

所述的resnet-50的卷积层数为50层，所述fasterr-cnn的骨干网络采用resnet-101-fpn。

所述的resnet-50的网络结构包括依次连接的：

步长为2，卷积核大小为7*7的卷积层；步长为2，池化窗口大小为3*3的最大池化层；3个串联模块block1，输出通道数为256；4个串联模块block2，输出通道数为512；6个串联模块block3，输出通道数为1024；3个串联模块block4，输出通道数为2048；全局平均池化层；激活函数为softmax的输出2个值的全连接层，输出的2个值分别代表有肺炎的概率、无肺炎的概率；

模块block1由3个连续的卷积层组成，卷积核大小分别为1*1、3*3和1*1；模块block2由3个连续的卷积层组成，卷积核大小分别为1*1、3*3和1*1；模块block3由3个连续的卷积层组成，卷积核大小分别为1*1、3*3和1*1；模块block4由3个连续的卷积层组成，卷积核大小分别为1*1、3*3和1*1。

所述fasterr-cnn的网络结构包括：

resnet-101-fpn层，提取输入x光片的特征，得到可能存在肺炎的区域，输出特征图；

roi池化层，将输入的特征图分别进行池化后输出到全连接层；

全连接层，输出维度为1024；

bbox分类分支层，输出肺炎结果预测概率；

bbox定位分支层，输出矩形框的位置信息。

所述的resnet-101-fpn层的网络结构包括依次连接的：

步长为2，卷积核大小为7*7的卷积层；步长为2，池化窗口大小为3*3的最大池化层；3个串联模块conv1,输出通道数为256；4个串联模块conv2，输出通道数为512；23个串联模块conv3，输出通道数为1024；3个串联模块conv4，输出通道数为2048；

模块conv1由3个连续的卷积层组成，卷积核大小分别为1*1、3*3和1*1；模块conv2由3个连续的卷积层组成，卷积核大小分别为1*1、3*3和1*1；模块conv3由3个连续的卷积层组成，卷积核大小分别为1*1、3*3和1*1；模块conv4由3个连续的卷积层组成，卷积核大小分别为1*1、3*3和1*1。

在训练肺炎结果预测模型过程中，所述的肺炎结果预测模型的收敛方法，包括：

(1)使用crossentropyloss计算分类模型的损失；对于检测模型，使用crossentropyloss函数计算检测区域的分类损失，使用smoothl1函数计算检测区域的定位损失，检测模型的损失为分类损失加定位损失；

(2)运用分类模型的损失、检测模型的损失分别不断更新分类模型的和检测模型的参数，直至肺炎结果预测模型收敛。

所述的肺炎结果预测模型使用sgd算法更新参数。

所述的肺炎结果预测模型在线下训练完成，然后存储在x光片肺炎结果预测装置中；

或在线上训练完成，且每次应用时接收的待预测的x光片经预处理后作为训练样本，对肺炎结果预测模型模型做优化更新。

本发明提出使用分类模型首先确定一部分无肺炎的x光片，分类模型认为有肺炎的图片再输入给检测模型进一步检测，可以有效减少检测模型输出假阳性检测结果的概率。

与现有技术相比，本发明具有以下有益效果：

1)本发明能够大量减轻放射科医生繁重的工作量。

2)本发明提供的x光片肺炎检测的准确率和精度高。

附图说明

图1为本发明实施例中分类模型resnet-50基本模块的结构图和resnet-101基本模块的结构图；

图2为本发明实施例中分类模型resnet-50结构图；

图3为本发明实施例中fasterr-cnn结构图；

图4为本发明实施例中fasterr-cnn中的resnet-101结构图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

本实施例提供了一种基于卷积神经网络的x光片肺炎结果预测装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中存有肺炎结果预测模型，其包括分类模型和检测模型；该肺炎结果预测模型的获得过程如下：

s1、建立训练样本数据集。

首先对x光片进行预处理，得到jpg格式的x光片，然后对于有肺炎的x光片，用矩形框标注出肺炎区域，作为阳性样本，剩余无肺炎的x光片作为阴性样本。

将上述取得的x光片进行平移、旋转、镜像、随机噪声扰动、对比度随机变换操作，并将这些操作自由组合，这样同一张x光片可以扩展为数十张不同的图像，且为了平衡阳性样本和阴性样本数量，对于数量占比较少的一类样本，所采用的数据增强次数比另一类多，使得最终得到的数据集阳性和阴性样本数量比例为1:1。

s2、搭建肺炎结果预测模型。

肺炎结果预测模型包括分类模型和检测模型，其中，分类模型为resnet-50，检测模型为fasterr-cnn。

如图2所示，resnet-50的网络结构包括：一个步长为2的卷积核大小为7乘7的卷积层；步长为2，池化窗口大小为3乘3的最大池化层；3个输出通道数为256的串联模块block1；4个输出通道数为512的串联模块block2；6个输出通道数为1024的串联模块block3；3个输出通道数为2048的串联模块block4；一个全局平均池化层；一个激活函数为softmax的输出2个值的全连接层，一个值代表有肺炎的概率，另外一个值代表无肺炎的概率。

模块block1由3个连续的卷积层组成，卷积核大小分别为1*1、3*3和1*1；模块block2由3个连续的卷积层组成，卷积核大小分别为1*1、3*3和1*1；模块block3由3个连续的卷积层组成，卷积核大小分别为1*1、3*3和1*1；模块block4由3个连续的卷积层组成，卷积核大小分别为1*1、3*3和1*1。

即，依次连接的卷积层、最大池化层、3个串联模块block1共9层、4个串联模块block2共12层、6个串联模块block3共18层、3个串联模块block4共9层组成resnet-50中的卷积层数，共50层。

resnet-50的模块block1如图1所示，包含一个输入和一个输出，首先将256通道的特征图输入到block1中，然后进行卷积核大小为1乘1的卷积运算，输出64通道的特征图，然后进行卷积核大小为3乘3的卷积运算，得到的64通道的特征图进行卷积核大小为1乘1的卷积运算，得到的256通道特征图和block1输入的256通道特征图对于位置元素相加得到block1的输出。

fasterr-cnn的网络结构如图3所示，骨架网络采用resnet-101-fpn提取输入图片的特征，并且得到可能存在目标的区域，然后进行roipooling，然后经过1024维度的全连接层，最终bbox分类分支输出bbox的属于某个类别的概率，bbox定位分支输出矩形框的位置信息。

fasterr-cnn中的resnet-101结构如图4所示，包含一个步长为2的卷积核大小为7乘7的卷积层；步长为2的池化窗口大小为3乘3的最大池化层；3个输出通道数为256的串联模块conv1，4个输出通道数为512的串联模块conv2，23个输出通道数为1024的串联模块conv3；3个输出通道数为2048的串联模块conv4。resnet-101的基本模块中conv2的结构如图1所示。

s3、训练肺炎结果预测模型。

将步骤s1得到的训练数据集分别输入到resnet-50和fasterr-cnn中，对于resnet-50使用crossentropyloss计算当前模型的损失，对于fasterr-cnn，使用crossentropyloss函数计算检测区域的分类损失，使用smoothl1函数计算检测区域的定位损失，最终检测模型的损失为分类损失加定位损失。运用sgd算法不断更新模型的参数，降低损失直至收敛，完成模型的训练，得到收敛的分类模型resnet-50和检测模型fasterr-cnn。

获得的肺炎结果预测模型存储在肺炎结果预测装置的存储器中，应用时，接收x光片，并对x光片进行预处理；将预处理后的x光片输入到分类模型中，输出有肺炎的预测概率；将预测概率值高于阀值的x光片输入到检测模型，输出肺炎预测结果，所述肺炎预测结果包括肺炎区域和与肺炎区域对应的肺炎结果预测概率。

本实施例中的计算机处理器可以为任意型号的处理器，存储器可以为随机存取储器(ram)、只读存储器(rom)、闪存(flashmemory)、先进先出存储器(fifo)以及先进后出存储器(filo)等。

以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。