基于卷积神经网络的新冠肺炎X射线图像识别方法及系统与流程

本发明涉及医学x-ray图像识别技术领域，尤其是一种基于卷积神经网络的新冠肺炎x射线图像识别方法及系统。

背景技术：

covid-19为新型冠状病毒肺炎，简称新冠肺炎。covid-19包含一些可以被胸部x射线(x-ray)检测到的放射学特征，因此可通过对x-ray图像进行识别筛选出含covid-19放射学特征的x-ray图像。但是现有技术中还没有一种可准确、快速地识别出含covid-19放射学特征的x-ray图像的方法。

技术实现要素：

本发明提供一种基于卷积神经网络的新冠肺炎x射线图像识别方法及系统，用于克服现有技术中准确度不高、识别速率较低等缺陷。

为实现上述目的，本发明提出一种基于卷积神经网络的新冠肺炎x射线图像识别方法，包括：

获取若干带标识的x-ray图像；若干所述x-ray图像中包括含covid-19放射学特征的图像、含普通肺炎放射学特征的图像和正常图像；

对x-ray图像进行预处理，并将预处理后的x-ray图像分成训练集和测试集；

利用训练集对预先构建的基于卷积神经网络的图像识别模型进行训练，利用测试集对训练后的图像识别模型进行测试；所述图像识别模型包括若干通道特征权重提取模块，所述通道特征权重提取模块用于获取图像特征提取过程中每个通道的权重系数，放大权重靠前的通道特征、抑制权重靠后的通道特征；

利用测试后的图像识别模型对待识别的x-ray图像进行识别，获得x-ray图像的类别。

为实现上述目的，本发明还提出一种基于卷积神经网络的新冠肺炎x射线图像识别系统，包括：

图像获取模块，用于获取若干带标识的x-ray图像；若干所述x-ray图像中包括含covid-19放射学特征的图像、含普通肺炎放射学特征的图像和正常图像；

预处理模块，用于对x-ray图像进行预处理，并将预处理后的x-ray图像分成训练集和测试集；

模型训练模块，用于利用训练集对预先构建的基于卷积神经网络的图像识别模型进行训练，利用测试集对训练后的图像识别模型进行测试；所述图像识别模型包括若干通道特征权重提取模块，所述通道特征权重提取模块用于获取图像特征提取过程中每个通道的权重系数，放大权重靠前的通道特征、抑制权重靠后的通道特征；

图像识别模块，用于利用测试后的图像识别模型对待识别的x-ray图像进行识别，获得x-ray图像的类别。

为实现上述目的，本发明还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。

为实现上述目的，本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的方法的步骤。

与现有技术相比，本发明的有益效果有：

本发明提供的基于卷积神经网络的新冠肺炎x射线图像识别方法，针对x-ray图像类别间相似度高且类别内变异性低的问题，构建了包括若干通道特征权重提取模块的图像识别模型，该通道特征权重提取模块可有效预防随着图像识别模型层数增多而退化的问题、并减少图像识别模型的参数量，利用该通道特征权重提取模块可精确、快速地获取图像特征提取过程中每个通道的权重系数，放大权重靠前的通道特征、抑制权重靠后的通道特征，通过在图像识别模型中设计若干该通道特征权重提取模块可有效增强图像识别模型的特征提取能力，尤其是对x-ray图像的特征提取能力，因此利用本发明提供的基于卷积神经网络的图像识别模型进行covid-19x-ray图像识别的精度高且识别速率快。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明提供的基于卷积神经网络的新冠肺炎x射线图像识别方法流程图；

图2为covid-19x-ray图像；

图3为普通肺炎x-ray图像；

图4为正常x-ray图像；

图5为本发明实施例中通道特征权重提取模块的结构图；

图6为本发明实施例中图像识别模型的分类器结构图；

图7为本发明另一实施例中图像识别模型的分类器结构图；

图8为不同图像识别模型的参数量对比图；

图9为不同图像识别模型的计算量对比图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。

本发明提出一种基于卷积神经网络的新冠肺炎x射线图像识别方法，如图1所示，包括：

101：获取若干带标识的x-ray图像；若干所述x-ray图像中包括含covid-19放射学特征的图像、含普通肺炎放射学特征的图像和正常图像；

102：对x-ray图像进行预处理，并将预处理后的x-ray图像分成训练集和测试集；

预处理以使处理后的图像可顺利输入图像识别模型中，并实现x-ray图像的扩充。

103：利用训练集对预先构建的基于卷积神经网络的图像识别模型进行训练，利用测试集对训练后的图像识别模型进行测试；所述图像识别模型包括若干通道特征权重提取模块，所述通道特征权重提取模块用于获取图像特征提取过程中每个通道的权重系数，放大权重靠前的通道特征、抑制权重靠后的通道特征；

通道，指图像识别模型中输出特征的通道。

通道特征，指的是对应得这个通道的特征图。

104：利用测试后的图像识别模型对待识别的x-ray图像进行识别，获得x-ray图像的类别。

本发明提供的基于卷积神经网络的covid-19x-ray图像识别方法，针对x-ray图像类别间相似度高且类别内变异性低的问题，构建了包括若干通道特征权重提取模块的图像识别模型，该通道特征权重提取模块可有效预防随着图像识别模型层数增多而退化的问题(随着图像识别模型层数的增多，x-ray图像的信息会产生丢失，从而导致图像识别模型识别性能退化)、并减少图像识别模型的参数量，利用该通道特征权重提取模块可精确、快速地获取图像特征提取过程中每个通道的权重系数，放大权重靠前的通道特征、抑制权重靠后的通道特征，通过在图像识别模型中设计若干该通道特征权重提取模块可有效增强图像识别模型的特征提取能力，尤其是对x-ray图像的特征提取能力，因此利用本发明提供的基于卷积神经网络的图像识别模型进行covid-19x-ray图像识别的精度高且识别速率快。

在其中一个实施例中，对于步骤101，采用两个开源数据集，第一个数据集来自github(https：//github.com/ieee8023/covid-chestxray-dataset)，该数据集由感染了covid-19和其他肺炎的不同患者的x射线和ct扫描图像组成，一共有760张图像，本实施例选取了其中412幅covid-19阳性患者的x射线(x-ray)图像。第二个数据集来自kaggle的胸部x射线图像(肺炎)(https://www.kaggle.com/paultimothymooney/chest-xray-pneumonia)，这个数据集由正常和普通肺炎患者的胸部x射线图像组成，其中包含了5863张胸部x射线图像，本实施例从该数据集中选取了4265张普通肺炎x射线图像和1575张正常x射线图像。covid-19x-ray图像、普通肺炎x-ray图像和正常x-ray图像分别如图2、图3和图4所示，从图可知，x-ray图像类别间相似度高并且类别内变异性低，这增加了模型对x-ray图像进行识别的难度。

在下一个实施例中，对于步骤102，对x-ray图像进行预处理，包括：

对x-ray图像进行缩放处理以便于输入至图像识别模型中；

对x-ray图像进行旋转、放大、亮度调整、对比度调整和倾斜，以扩充x-ray图像数量，降低模型过拟合风险。

在本实施例中，还包括将预处理后的x-ray图像分成训练集和验证集，训练集包含5526张x-ray图像，其中covid-19患者图像310张，正常图像1341张，普通肺炎3875张。测试集包含726张x-ray图像，其中covid-19患者x射线图像102张，正常x射线图像234张，普通肺炎x射线图像390张。

在另一个实施例中，对于步骤103，由于x-ray图像类别间相似度高并且类别内变异性低，这将导致图像识别模型偏差和过度拟合，从而导致图像识别模型的性能和泛化性降低。因此，本发明设计了通道特征权重提取模块。

通道特征权重提取模块，如图5所示，依次包括：

短连接层，包含多种尺寸的卷积核，用于减少图像识别模型的参数量；所述短连接层的输入端和输出端进行短连接，用于预防x-ray图像信息丢失；

全局平均池化层(gap)，用于将通道上的特征图压缩成一个全局特征；所述池化层的输入为短连接层的输出特征图与输入特征图进行对应特征值的相加后的特征图；

第一全连接层(fc1)，用于降低特征维度；

第二全连接层(fc2)，用于恢复特征维度，输出获得每个通道的权重系数；

输出层，用于将每个通道与对应的权重系数相乘，放大权重靠前的通道特征、抑制权重靠后的通道特征。

通过通道特征权重提取模块的设计，图像识别模型可以学习到每个通道的权重系数。在特征提取过程中，权重系数可以帮助图像识别模型提取到更多重要的通道特征，抑制不重要的通道特征，增强图像识别模型的特征提取能力。

在某个实施例中，短连接层如图5所示，依次包括1×1的卷积层(conv1)、3×3的卷积层(conv3)和1×1的卷积层(conv1)；

第一个1×1的卷积层用于降低特征图维度，第二个1×1的卷积层用于升高特征图维度。

“conv”表示为一个包含了“卷积”、“批标准化”和“激活函数”的复合结构。

在下一个实施例中，图像识别模型包括：

输入层，用于对输入的x-ray图像进行初步特征提取，所述输入层包括1个卷积层和1个最大池化层；

特征提取子网络，包括4个短连接模块和3个通道特征权重提取模块，所述短连接模块和通道特征权重提取模块交替连接；所述短连接模块包括若干串连的短连接层；

输出层，用于根据最后1个短连接输出的特征图进行图像识别，输出图像类别；所述输出层包括分类器(classifier)和softmax层。

在某个实施例中，构建了三个包含不同数量短连接层的图像识别模型cfw-net56、cfw-net107和cfw-net158，具体如表1所示(图中每层后的标号为当前层的输出通道数量，如conv1-64，64表示当前conv1的输出通道数量为64)：

cfw-net56：输入层，1个7×7的卷积层(conv7，64个输出通道，步长(stride)为2)和1个3×3的最大池化层(maxpool，步长为2)；

特征提取子网络，包括4个短连接模块和3个通道特征权重提取模块，短连接模块和通道特征权重提取模块交替连接；第一个短连接模块包括2个串连的短连接层，第二个短连接模块包括3个串连的短连接层，第三个短连接模块包括5个串连的短连接层，第四个短连接模块包括3个串连的短连接层；

输出层，分类器(classifier)和softmax层。

cfw-net107：输入层，1个7×7的卷积层(conv7，64个输出通道，步长(stride)为2)和1个3×3的最大池化层(maxpool，步长为2)；

特征提取子网络，包括4个短连接模块和3个通道特征权重提取模块，短连接模块和通道特征权重提取模块交替连接；第一个短连接模块包括2个串连的短连接层，第二个短连接模块包括3个串连的短连接层，第三个短连接模块包括22个串连的短连接层，第四个短连接模块包括3个串连的短连接层；

输出层，分类器(classifier)和softmax层。

cfw-net158：输入层，1个7×7的卷积层(conv7，64个输出通道，步长(stride)为2)和1个3×3的最大池化层(maxpool，步长为2)；

特征提取子网络，包括4个短连接模块和3个通道特征权重提取模块，短连接模块和通道特征权重提取模块交替连接；第一个短连接模块包括2个串连的短连接层，第二个短连接模块包括7个串连的短连接层，第三个短连接模块包括35个串连的短连接层，第四个短连接模块包括3个串连的短连接层；

输出层，分类器(classifier)和softmax层。

表1三种图像识别模型的具体结构表

在下一个实施例中，基于传统的alexnet，vggnets等网络以三层全连接层作为分类器，其包含了大量参数，对内存要求极高，因此本实施例采用单层全连接层(fc)作为分类器。

在其中一个实施例中，分类器为gfc分类器，如图6所示，包括1个全局平均池化层(gap)和1个全连接层(fc)；

所述全局平均池化层用于将输入分类器的特征图的尺寸降为1×1；

所述全连接层用于根据降尺寸后的特征图进行图像识别。

因为卷积层输出的特征图数量极多，使用单层全连接层作为分类器仍然会导致参数量过大。因此本实施例通过先用全局平均池化层将特征图尺寸降为1×1，然后再使用全连接层进行分类，大大减少了参数量。

在另一个实施例中，分类器为cgap分类器，如图7所示，包括1个1×1的点卷积层(conv1)和1个全局平均池化层(gap)；

所述点卷积层用于对输入分类器的特征图进行降维处理；

所述全局平均池化层用于根据降维后的特征图进行图像识别。

本实施例根据gap结构的特性，通过使用1×1的点卷积层将输入分类器的特征进行降维处理，然后再用gap进行分类。这种分类器没有全连接层，进一步减少了参数量。

在某个实施例中，为了研究不同深度和不同分类器对图像识别模型计算量和参数量的影响，对比了分别使用不同分类器的图像识别模型和不同深度图像识别模型的参数量和计算量。以三分类任务为例，设图像识别模型最后一层输出特征图大小为h×w×d(h为高度，w为宽度，d为通道数)。当使用单层全连接层(fc)作为分类器时，分类器参数量为3×h×w×d+3。当使用gfc分类器时，以全局平均池化代替了全连接层。由于池化层没有参数，因此可以进一步减少参数量，节省内存，分类器的参数量为d+d×3+3。当使用cgap分类器时，分类器的参数量为d×3+h×w×3+3。对比结果如图8和图9所示。由图8可知，相同深度下的图像识别模型，使用fc作为分类器的模型比使用gfc分类器和cgap分类器的模型多了大约29万参数量。因此在保证准确率的情况下应该避免使用fc作为分类器，这样可以减少模型参数量。虽然使用不同分类器的模型的参数量有区别，但是相比模型深度，分类器对本发明图像识别模型参数量影响不大。cfw-net158-cgap的参数量是cfw-net56-cgap的2.46倍，cfw-net107-cgap的参数量是cfw-net56-cgap的1.8倍，由此可以看出模型深度对模型参数量影响最大。所以当设备内存不足，硬件条件不支持过多的参数量时，cfw-net56是一个比较好的选择。由图9可知，计算量受模型深度的影响比较大，cfw-net158的计算量是cfw-net107的1.47倍，cfw-net107的计算量是cfw-net56的1.91倍，cfw-net158和cfw-net107的计算量十分庞大。因此当模型准确率差距不大时，cfw-net56模型具有最高的性价比。

此外，通过对比使用三种不同分类器的模型的计算量和参数量，可以发现使用cgap和gfc的模型参数量比使用fc的网络节省了大约29万参数量，使用gfc的模型的计算量比使用cgap和fc的网络计算量节省了大约30万计算量。因此，在准确率得到保证的情况下，优先考虑使用gfc分类器。

在下一个实施例中，对于步骤103，在对图像识别模型进行训练和验证之前，先把训练集和测试集中的x-ray图像下采样为224×224尺寸的固定分辨率，然后对训练集数据进行数据增强：以0.75的概率在-10°到10°之间随机旋转图像，以0.75的概率在1到1.1倍之间随机放大图片，以0.75的概率在0.4和0.6之间进行随机调整图片亮度，以0.75的概率在0.8和1.25之间进行随机调整图片对比度，以0.75的概率在-0.2到0.2的幅度之间倾斜图片。经过数据增强，训练集扩充了4倍，一定程度上解决了x-ray图像不足的问题，减少了模型过拟合的风险。

在训练过程中，采用学习率预热训练的方式，即从一个较小的学习率逐渐变大。然后再使用学习率衰减方式逐渐减少学习率。通过反复实验，最终的训练参数为：初始学习率设置为0.00004，共训练20个周期。在0-10个epoch中，学习率从0.00004逐步增加到0.0001。在11-20个epoch中，学习率从0.0001逐步减少到0.000046。

在本实施例中，构建了9种不同深度和不同分类器的图像识别模型对x-ray图像进行识别，结果如表2所示，由表2可知，使用fc作为分类器的cfw-net的性能低于使用另外两种分类器的模型。cfw-net158-cgap在数据集上的整体表现最好，整体准确率，精度，灵敏度，特异度和f1(f1分数是精度和召回率的加权平均值)得分都最高，分别为95.18％，96.65％，94.56％，97.60％，95.60％，但其covid-19分类准确率较低。cfw-net56-gfc在covid-19类别准确率达到了最高100％，其整体准确率为94.35，比cfw-net107高了1％左右，比cfw-net158低了1％左右，表明随着模型的不断加深，模型的性能没有明显变化。cfw-net158和cfw-net107的计算量分别是cfw-net56的2.81倍和1.91倍，参数量分别是cfw-net56的2.46倍和1.80倍。虽然cfw-net158的识别性能最好，但是其计算量和参数量相比cfw-net56分别增加了2.81倍和2.46倍，准确率却只高了不到1％。cfw-net56-gfc在covid-19类别上的准确率最高且整体准确率高于cfw-net56-cgap和cfw-net56-fc。经过综合考量，cfw-net56-gfc性价比最高。

表29种不同图像识别模型对x-ray图像进行识别的结果表

本实施例进一步将cfw-net56-gfc与传统卷积神经网络vgg-19，googlenet，resnet-50，densenet-121进行比较(以本发明的训练集作为测试样本)，结果如表3所示，由表3可知，densenet121在训练集上达到了不错的分类准确率，但准确率仍然低于本发明的cfw-net56-gfc，且其因为深度的增加导致计算量和参数量明显高于cfw-net56-gfc。googlenet在训练集上分类准确率最低。vgg19的准确率比cfw-net56-gfc低了1％左右，因为其深度较浅，难以充分提取图像特征，导致图像份分类准确率较低。而且由于vgg19使用三层全连接层作为分类器，导致参数量和计算量十分庞大，对设备要求极高，计算时间较长。resnet50在训练集上实现了不错的识别性能，但是其各项性能指标全部低于cfw-net56-gfc。

表3采用不同模型进行x-ray图像识别的结果表

综上，本发明提供的基于卷积神经网络的图像识别模型对covid-19x-ray图像的识别准确率高、速率快，尤其对covid-19x-ray图像的识别准确率很高。

本发明还提出一种基于卷积神经网络的新冠肺炎x射线图像识别系统，包括：

图像获取模块，用于获取若干带标识的x-ray图像；若干所述x-ray图像中包括含covid-19放射学特征的图像、含普通肺炎放射学特征的图像和正常图像；

预处理模块，用于对x-ray图像进行预处理，并将预处理后的x-ray图像分成训练集和验证集；

模型训练模块，用于利用训练集对预先构建的基于卷积神经网络的图像识别模型进行训练，利用验证集对训练后的图像识别模型进行验证；所述图像识别模型包括若干通道特征权重提取模块，所述通道特征权重提取模块用于获取图像识别模型中每个通道的权重系数，提取权重靠前的通道特征、抑制权重靠后的通道特征；

图像识别模块，用于利用验证后的图像识别模型对待识别的x-ray图像进行识别，获得x-ray图像的类别。

在其中一个实施例中，预处理模块还包括：

对x-ray图像进行缩放处理以便于输入至图像识别模型中；

对x-ray图像进行旋转、放大、亮度调整、对比度调整和倾斜，以扩充x-ray图像数量。

在下一个实施例中，对于模型训练模块，通道特征权重提取模块依次包括：

短连接层，包含多种尺寸的卷积核，用于减少图像识别模型的参数量；所述短连接层的输入端和输出端进行短连接，用于预防x-ray图像信息丢失；

全局平均池化层，用于将通道上的特征图压缩成一个全局特征；所述池化层的输入为短连接层的输出特征图与输入特征图进行对应特征值的相加后的特征图；

第一全连接层，用于降低特征维度；

第二全连接层，用于恢复特征维度，输出获得每个通道的权重系数；

输出层，用于将每个通道与对应的权重系数相乘，放大权重靠前的通道特征、抑制权重靠后的通道特征。

在另一个实施例中，对于模型训练模块，所述短连接层依次包括1×1的卷积层、3×3的卷积层和1×1的卷积层；

第一个1×1的卷积层用于降低特征图维度，第二个1×1的卷积层用于升高特征图维度。

在某个实施例中，对于模型训练模块，图像识别模型包括：

输入层，用于对输入的x-ray图像进行初步特征提取，所述输入层包括1个卷积层和1个最大池化层；

特征提取子网络，包括4个短连接模块和3个通道特征权重提取模块，所述短连接模块和通道特征权重提取模块交替连接；所述短连接模块包括若干串连的短连接层；

输出层，用于根据最后1个短连接输出的特征图进行图像识别，输出图像类别；所述输出层包括分类器和softmax层。

在下一个实施例中，对于模型训练模块，分类器为gfc分类器，包括1个全局平均池化层和1个全连接层；

所述全局平均池化层用于将输入分类器的特征图的尺寸降为1×1；

所述全连接层用于根据降尺寸后的特征图进行图像识别。

在另一个实施例中，对于模型训练模块，分类器为cgap分类器，包括1个1×1的点卷积层和1个全局平均池化层；

所述点卷积层用于对输入分类器的特征图进行降维处理；

所述全局平均池化层用于根据降维后的特征图进行图像识别。

本发明还提出一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述所述方法的步骤。

本发明还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的方法的步骤。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。