本申请涉及一种重症肿瘤影像识别系统及方法，尤其是一种基于大数据的脑肿瘤影像磁共振图像两阶段多模型自动脑肿瘤诊断系统。
背景技术：
脑肿瘤是一种严重的疾病，它是由于大脑内部组织的异常生长而破坏正常的大脑功能。近三十年来，我国每年因脑肿瘤而死亡的人数呈逐步上升趋势。快速、准确的脑肿瘤诊断技术十分必要。以往由内科医生凭经验和肉眼观察的手工诊断方式，准确度因医生的经验而异，并且非常耗时。
磁共振成像是一种先进的医学成像技术，它能够提供丰富的有关人体软组织解剖的大量数据信息。利用磁共振图像进行自动脑肿瘤检测的目的是通过分析成像数据，对图像中有无脑肿瘤进行分类。因此，可以将诊断问题转换为图像分类挑战。近年来脑肿瘤的高发性导致产生了大量的磁共振图像数据。因此，利用历史诊断大数据，从大数据中进行有效信息挖掘和特征提取，深度探索和学习历史诊断大数据中的经验，开发实现快速检测和准确定位的自动脑肿瘤诊断系统是至关重要的。通过大数据驱动的机器学习和深度学习方法在计算机辅助脑图像分析、分割、配准和肿瘤组织分类中发挥着核心作用。
虽然已有多项研究将深度学习方法应用于脑肿瘤诊断，但尚未有完整基于大数据的肿瘤自动分类、分级和定位系统。此外，在单一诊断系统中集成肿瘤分类分级和定位的精度仍然是一个开放的挑战。在单一系统中，在肿瘤定位之前有脑肿瘤检测阶段会导致正常图像在定位阶段被丢弃。这为自动肿瘤诊断系统的实时部署打开了大门。
技术实现要素：
本发明所要解决的技术问题是提供一套基于卷积神经网络的磁共振图像两阶段多模型自动脑肿瘤诊断系统，通过从历史诊断大数据中进行信息挖掘、特征提取和经验学习，用于高准确度的计算机辅助脑图像数据分析，将脑肿瘤的有无、脑肿瘤的类别、脑肿瘤的分级等问题转换图像分类问题，利用卷积神经网络对脑肿瘤图像进行分类的同时进行脑胶质瘤术前智能分级，并精准定位脑肿瘤所在区域的位置，为医生提供快速和精准的辅助诊断，使诊断准确度独立于医生的经验，同时加快诊断速度。
本发明基本思想是将脑肿瘤的诊断转换为磁共振脑成像的分类问题，利用分类卷积神经网络能够通过历史诊断大数据的分析，进而从中提取图像数据的深度特征并进行高准确度分类的优点，将不同类别以及不同级别的脑肿瘤视为不同类别的图像，将历史病例中人工诊断的不同类别的磁共振脑成像数据集进行训练并用于脑肿瘤的分类和胶质肿瘤分级，解决脑肿瘤快速、高准确度的诊断。利用定位卷积神经网络能够对病灶位置进行精准区域定位的优点，对有脑肿瘤的磁共振脑成像进行病灶区域的精准定位，为医生提供快速和准确的诊断辅助。具体包括如下步骤：
步骤一：数据集收集和标注，数据集包括：分类数据集和定位数据集，对从历史诊断病例数据中收集的不同类别和不同级别的磁共振脑成像图像分类，作为第一阶段使用的分类数据集。采用图像标注工具labelimg对有肿瘤的图像进行肿瘤区域标注，每幅图像中肿瘤所在的区域用矩形框标记出来，每幅标注后的图像会对应生成一个xml格式的标注文件，记录矩形框的长、宽以及中心坐标等信息。按8:2的比例将标注后的图像划分为训练集和测试集。将训练集和测试集中的所有脑肿瘤磁共振图像放在同一个文件夹下，将其所有标注文件放在另一个文件夹下，并将每幅图像和相应的标注文件命名相同。将其作为第二阶段使用的定位数据集。
步骤二：图像预处理。针对第一阶段的分类数据集，首先，将数据集中的图像分别进行左右翻转、对比度增强、亮度增强，以及分别顺时针、逆时针旋转10度的数据增广，将数据集中的图像数量增广为原来的5倍。其次，将所有图像使用插值的方法缩小为224×224×3的像素尺寸大小，以适应卷积神经网络的输入。最后，按8:2的比例将数据集划分为训练集和测试集。
步骤三：建立分类模型。分类模型负责将需要诊断的磁共振脑成像图像输入进行特征提取和数据分析，并进行脑肿瘤类别检测和分级，将分类为脑膜瘤和1-4级脑胶质瘤的图像输入定位模型。本发明对图像分类网络se-resnet的基本组成结构进行了改进，并采用改进后的模型用于第一阶段的分类任务。改进后的网络模型的基本组成结构见图1。
se-resnet由一个输入层、4个残差结构组合模块和一个输出层组成。每个残差结构组合模块由若干带注意力机制的残差结构组成，这是模型的基本组成结构。每个组合模块中第一个带注意力机制的残差结构对图像进行降采样以减小图像的空间尺寸，其捷径层用一个步长为2，尺寸为1×1的卷积核进行卷积计算，使得不同大小的跨层特征图能够相加。
本发明的主要改进为，将se-resnet的每个残差结构组合模块中第一个带注意力机制的残差结构的捷径层变为两层计算模式，第一层采用步长为1，尺寸为1×1的卷积核进行卷积计算，接着的第二层采用步长为2，尺寸为2×2的核进行平均池化计算，以解决原模型降采样时信息丢失造成分类准确度下降的问题，改进的结构如图1所示。
本发明在改进的基础上，采用101层的网络结构，并将其输出层改为6个神经元输出，对应分类的6种类别。模型各层参数见表1。采用深度学习工具库pytorch搭建改进后的se-resnet网络结构。pytorch是由facebook公司开源的深度学习张量库，其采用gpu加速神经网络编程计算。利用pytorch可以搭建出改进后的se-resnet网络结构，并且可以选择和设置训练需要的多种超参数组合即优化器类型。
步骤四：建立定位模型。定位模型将分类模型检测为有脑肿瘤的图像作为输入，训练好的定位模型可将图像中的脑肿瘤位置用矩形框标记出来，作为诊断依据提供给医生参考，因而具有一定的诊断辅助功能。本发明采用开源的卷积神经网络yolov3进行病灶定位。yolov3是开源的全卷积神经网络，该定位网络具有较高的定位准确度。
本发明所采用的yolov3模型，其主干网络由52层卷积层用于提取模型特征，并将提取到的特征信息进行三次目标定位，分别定位图像中的较小目标、中等大小目标以及较大目标，并输出定位信息。最后根据卷积神经网络输出的定位矩形框的坐标信息，在输入的有脑肿瘤的磁共振脑成像图像上画出相应的定位矩形框，并输出定位后的图像。此时脑肿瘤病灶部位已被系统用矩形框标记出来，供医生诊断参考。本发明采用的yolov3模型主干网络各层参数见表2，模型结构见图2。
步骤五：模型训练与保存。
采用合适的超参数和优化器对两个模型进行训练，每当所有训练集参与一次训练后采用测试集对模型进行评估，在经过足够多次的迭代训练使得模型损失非常小时，保存模型。保存的两个模型将用于本发明设计的诊断系统中，对输入的磁共振脑成像进行分类，并将检测为含有脑肿瘤的图像进行脑肿瘤区域精准定位。
系统使用过程中将不再训练两个模型，直接使用已训练好并保存的模型进行脑肿瘤快速诊断。随着诊断病例数据的增加，为更好的应用历史病例数据，以从中进行数据分析和特征学习，进一步提高系统的诊断准确度和定位精度，可在病历数据增加至一定数量后，将其磁共振脑成像图像合并入训练数据集，在原有模型基础上继续执行训练步骤，并保存模型。
步骤六：系统测试。
将患者的磁共振脑成像图像输入系统，首先进行图像预处理：将图像缩放为224×224×3像素。将预处理后的图像输入训练好并保存的分类模型进行分类，如果图像被分类为无脑肿瘤，则结束程序；若图像被分类为脑膜瘤或1-4级的脑胶质瘤，则输出脑肿瘤的分级(脑膜瘤标记为0级)，并将该图像输入训练好并保存的定位模型进行脑肿瘤区域定位。最终输出用矩形框标记脑肿瘤位置区域的磁共振脑成像图像，结束程序。
与现有技术相比，本发明的有益效果是：1)有效利用以往病历大数据，采用深度学习的方法对大量脑肿瘤磁共振脑成像历史病例进行数据分析，特征提取和经验学习，为医生提供准确度较高的脑肿瘤诊断辅助，使脑肿瘤诊断准确度独立于医生经验。2)能够对脑肿瘤类别进行智能诊断并对脑胶质瘤进行术前精准分级，对患者下一步的治疗计划制定和术后评估都有积极作用。3)极大的提高了诊断速度，可以使患者早发现早治疗，为患者争取到宝贵的早期治疗时间。4)自动化处理水平较高，自动化分析并智能检测脑肿瘤及定位其病灶区域，可以极大地降低操作人员工作量。
附图说明
图1为本发明改进的se-resnet模型基本组成结构图。
图2为本发明采用的yolo-v3模型结构图。
图3为本发明基于卷积神经网络的磁共振图像两阶段多模型自动脑肿瘤诊断系统工作流程图。
表1为本发明采用的se-resnet模型各层参数表。
表2为本发明采用的yolo-v3模型主干网络各层参数表。
具体实施方式
下面结合实施例对本发明作进一步阐述。
步骤一：数据集收集和标注。本发明共用到两个数据集：分类数据集和定位数据集。本发明从历史诊断病例数据中收集了957张不同类别和不同级别的磁共振脑成像图像，根据医生的手工诊断结果，将其分为1)脑膜肿瘤(184张)，2)脑胶质肿瘤1级(112张)，3)脑胶质肿瘤2级(130张)，4)脑胶质肿瘤3级(157张)，5)脑胶质肿瘤4级(149张)，6)无脑肿瘤(225张)，共6种类别，分别将其放在相应的6个文件夹下，作为第一阶段使用的分类数据集。
采用图像标注工具labelimg对有肿瘤的图像进行肿瘤区域标注，每幅图像中肿瘤所在的区域用矩形框标记出来，每幅标注后的图像会对应生成一个xml格式的标注文件，记录矩形框的长、宽以及中心坐标等信息。按8:2的比例将标注后的图像划分为训练集和测试集，其中训练集包含766幅图像，测试集包含191幅图像。将训练集和测试集中的所有脑肿瘤磁共振图像放在同一个文件夹下，将其所有标注文件放在另一个文件夹下，并将每幅图像和相应的标注文件命名相同。将其作为第二阶段使用的定位数据集。
步骤二：图像预处理。针对第一阶段的分类数据集，首先，将数据集中的图像分别进行左右翻转、对比度增强、亮度增强，以及分别顺时针、逆时针旋转10度的数据增广，将数据集中的图像数量增广为原来的5倍。其次，将所有图像使用插值的方法缩小为224×224×3的像素尺寸大小，以适应卷积神经网络的输入。最后，按8:2的比例将数据集划分为训练集和测试集，其中训练集包含3828张图像，测试集包含957张图像。
步骤三：建立分类模型。分类模型负责将需要诊断的磁共振脑成像图像输入进行特征提取和数据分析，并进行脑肿瘤类别检测和分级，将分类为脑膜瘤和1-4级脑胶质瘤的图像输入定位模型。本发明对图像分类网络se-resnet的基本组成结构进行了改进，并采用改进后的模型用于第一阶段的分类任务。改进后的网络模型的基本组成结构见图1。
se-resnet由一个输入层、4个残差结构组合模块和一个输出层组成。每个残差结构组合模块由若干带注意力机制的残差结构组成，这是模型的基本组成结构。每个组合模块中第一个带注意力机制的残差结构对图像进行降采样以减小图像的空间尺寸，其捷径层用一个步长为2，尺寸为1×1的卷积核进行卷积计算，使得不同大小的跨层特征图能够相加。
本发明的主要改进为，将se-resnet的每个残差结构组合模块中第一个带注意力机制的残差结构的捷径层变为两层计算模式，第一层采用步长为1，尺寸为1×1的卷积核进行卷积计算，接着的第二层采用步长为2，尺寸为2×2的核进行平均池化计算，以解决原模型降采样时信息丢失造成分类准确度下降的问题，改进的结构如图1所示。其算法如下：
设输入为x，其数据经两路计算并提取特征，一路为残差块r(x)，输出y1，其中x，r(x)，y1之间的关系为：
r(x)＝y1-x，
其中上标w,h分别表示特征图的宽和高。该式表示网络结构要学习的残差r(x)是输出与输入之差，并且输出空间尺寸减半。另一路经过改进后的捷径层，先通过步长为1，尺寸为1×1的卷积层：
其中i,j和m,n表示特征图的长和宽的坐标，θ表示卷积核。
将卷积计算后的输出x1再通过步长为2，尺寸为2×2的平均池化层得到捷径层的输出y2：
其中p,q表示滤波器内邻域像素的索引。经过以上两步后有：
即输入经过捷径层计算后，空间尺寸也减小为原来的一半，进而可将y1和y2在通道维度相加，在相加前对y1进行注意力校准，其计算如下：
y＝w*y1+y2
其中w为注意力机制学习得到的通道权重，y即为结构的输出。
以上为本发明改进的se-resnet基本结构的计算流程。本发明在改进的基础上，采用101层的网络结构，并将其输出层改为6个神经元输出，对应分类的6种类别。模型各层参数见表1。
表1
采用深度学习工具库pytorch搭建改进后的se-resnet网络结构。pytorch是由facebook公司开源的深度学习张量库，其采用gpu加速神经网络编程计算。利用pytorch可以搭建出改进后的se-resnet网络结构，并且可以选择和设置训练需要的多种超参数组合即优化器类型。
步骤四：建立定位模型。定位模型将分类模型检测为有脑肿瘤的图像作为输入，训练好的定位模型可将图像中的脑肿瘤位置用矩形框标记出来，作为诊断依据提供给医生参考，因而具有一定的诊断辅助功能。本发明采用开源的卷积神经网络yolov3进行病灶定位。yolov3是开源的全卷积神经网络，该定位网络具有较高的定位准确度。
本发明所采用的yolov3模型，其主干网络由52层卷积层用于提取模型特征，并将提取到的特征信息进行三次目标定位，分别定位图像中的较小目标、中等大小目标以及较大目标，并输出定位信息。最后根据卷积神经网络输出的定位矩形框的坐标信息，在输入的有脑肿瘤的磁共振脑成像图像上画出相应的定位矩形框，并输出定位后的图像。此时脑肿瘤病灶部位已被系统用矩形框标记出来，供医生诊断参考。本发明采用的yolov3模型主干网络各层参数见表2，模型结构见图2。
表2
步骤五：模型训练与保存。
采用合适的超参数和优化器对两个模型进行训练，每当所有训练集参与一次训练后采用测试集对模型进行评估，在经过足够多次的迭代训练使得模型损失非常小时，保存模型。保存的两个模型将用于本发明设计的诊断系统中，对输入的磁共振脑成像进行分类，并将检测为含有脑肿瘤的图像进行脑肿瘤区域精准定位。
系统使用过程中将不再训练两个模型，直接使用已训练好并保存的模型进行脑肿瘤快速诊断。随着诊断病例数据的增加，为更好的应用历史病例数据，以从中进行数据分析和特征学习，进一步提高系统的诊断准确度和定位精度，可在病历数据增加至一定数量后，将其磁共振脑成像图像合并入训练数据集，在原有模型基础上继续执行训练步骤，并保存模型。
本申请虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本申请的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本申请技术方案的内容，依据本申请的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本申请技术方案的保护范围。