一种基于U-Net分割及ResNet训练的乳腺X线图像的处理方法与流程

本发明一种基于u-net分割及resnet训练的乳腺x线图像的处理方法，属于对乳腺x线图片进行分类处理的技术领域。

背景技术：

据权威机构统计，常见恶性肿瘤之一的乳腺癌发病率越来越高，降低乳腺癌肿瘤的死亡率的任务迫在眉睫，早期的诊断发现并治疗成为降低乳腺癌病症的重中之重。乳腺癌筛查和诊断的主要手段为乳腺x线图像的影像手段，而其中乳腺x线中的肿块大小、形状、边缘以及钙化点的分布，对临床诊断有着重要的评判依据。

乳腺x线图像主要病例特征包括肿块、钙化点、肿块和钙化点同时出现、结构扭曲、非对称致密影以及其余相关特征，乳腺放射医师结合内外侧斜位（mlo位）与头尾位（cc位）的乳腺x线图像，捕捉病理区域的相关特征，对是否患有乳腺癌进行判断。肿块是乳腺癌临床诊断的主要病理征象，乳腺癌病情判断的重要依据有肿块的形状、大小、边缘等。一般良性肿块外状规则，比较接近圆形抑或椭圆形，轮廓细节通常比较清晰。恶性肿块通常呈不规则的形状，放射态的边缘，如分叶状、星芒状或者毛刺状肿块。因此，乳腺放射医师区分乳腺良恶性病变，并主要观察肿块的特点。许多研究都己表明规范和详尽的描述肿块特征，对乳腺肿瘤良恶性病变的鉴别有较高的诊断价值。

但现有诊断乳腺图像良恶性肿瘤的方法，主要是基于医生的临床观察x线图像的经验知识进行的。由于乳腺x线图像中的钙化点、肿块经常会隐藏在图像中肉眼识别不太精确且形态多变，所以，只凭医生经验，会造成漏诊和误诊的情况发生。因此从信号处理和深度学习模型的角度实现基于u-net分割及cnn的乳腺图像良恶性诊断在临床上与现实中都具有很重要的意义。因而最关键在于对乳腺x线图像肿块进行分割。在图像分割中对于图像理解最为重要的一环是图像语义分割(semanticsegmentation)，即一种图像处理和机器视觉技术（是ai领域中一个重要的分支）。图像语义分割目前应用已经成熟，其分类效果为像素级的，旨在对图像中每一点的像素进行分类，确定每个点的类别（如属于背景、乳腺、肿块等），从而进行区域划分。

u-net（网络形状像u型结构如图2所示，适合应用于医学图像的分割）是参加isbichallenge时提出的一种分割网络，能够适应很小的训练集。u-net是个很小的分割网络，既没有使用空洞卷积，同时也没有后接crf结构简单，同时巧妙地利用了底层的特征、同分辨率级联改善上采样的信息不足（由于医学图像数据集一般较少，低层特征同样重要）。通过u-net网络分割后能清晰的分离出乳腺x线图像的背景、肿块区域等，同时该网络分割更为准确，分割速度更快。

乳腺x线图片主要是人工观察、分类和判断，自行凭经验诊断，误差时有发生，严重时影响到医患关系。

技术实现要素：

本发明克服现有技术存在的不足，所要解决的技术问题为：一种基于u-net分割及resnet训练的乳腺x线图像的处理方法，协助相关人员对乳腺x线图片进行客观识别，准确分类。

为了解决上述技术问题，本发明采用的技术方案为：一种基于u-net分割及resnet训练的乳腺x线图像的处理方法，包括以下步骤：包括以下步骤：第一步，对乳腺x线图像进行预处理，将乳腺x线图像转化为灰度图，并对图像的钙化点、腺体、肿块、良恶进行标记；

第二步，对所得的图像利用u-net进行图像分割，得到输出按区域划分的乳腺图片，按照比例设置训练集、测试集；

第三步，多次重复第一和第二步，取得大量乳腺图片的训练集数据，利用resnet网络对训练集数据进行训练，训练完成后，从而得到乳腺图片resnet网络模型；

第四步，将第二步得到的乳腺图片测试集数据输入到乳腺图片resnet网络模型中，验证该模型对测试数据集的判断。

本发明与现有技术相比具有以下有益效果：

本发明将对所得的图像利用u-net进行图像分割，得到输出按区域划分的乳腺图片，按照比例设置训练集、测试集，并利用resnet网络对训练集数据进行训练，训练完成后，从而得到乳腺图片resnet网络模型；乳腺图片测试集数据输入到乳腺图片resnet网络模型中，验证该模型对测试数据集的判断，分类标记；即利用u-net进行图像分割，再用resnet网络对训练集数据进行训练，讲这些应用到乳腺x线图片进行分类处理技术中，利用计算机强大的信息处理能力，识别、标记和分类乳腺x线图片，辅助医生判断乳腺病灶的良恶可能性，在医学影像领域具有重要意义，为临床的诊断和治疗提供了一种新的有效的辅助方法。

深度残差网络resnets（deepresidualnetwork）思想是在标准的前馈卷积网络上，加一个跳跃绕过一些层的连接。每绕过一层就产生一个残差块(residualblock)，卷积层预测加输入张量的残差，经resnet训练过的网络准确度很高，使得本发明的处理方法准确度大大提升。

附图说明

下面结合附图对本发明做进一步详细的说明；

图1为本发明的流程图。

图2为本发明中残差学习模型结构示意图。

图3为本发明中改进resnet网络结构shortcutconnectionblock示意图。

具体实施方式

结合图1、图2和图3对本发明做进一步描述：一种基于u-net分割及resnet训练的乳腺x线图像的处理方法，具体步骤如下：

一种基于u-net分割及resnet训练的乳腺x线图像的处理方法，包括以下步骤：

（1）通过hologic全数字化乳腺x线机检查得到的行乳腺x线摄影(ffdm)乳腺病例。

通过山西医科大学第一医院的hologic全数字化乳腺x线机检查得到的行乳腺x线摄影(ffdm)乳腺病例。有2000例图像数据。其中包括恶性图像1000例，良性图像1000例。

（2）对所得到的图像进行标签良恶性的标记，标记好后对其进行灰度转换，然后将图像中无用信息背景进行处理，得到有效信息（可以使得神经网络计算量大大降低）。

（3）将处理后的乳腺图像对其钙化点、腺体，肿块等进行标记。

（4）对（2）得到的所有图片上数据利用u-net网络（optimizer：adamoptimization，lossfunction：binarycrossentroy）进行分割，并将图像随机按一定比例分为训练集、测试集。

（5）下载公共医疗数据集对其利用resnet网络进行训练，训练完成后将其中的参数保留将（4）所得到的乳腺图像输入经公共医疗数据集训练得到的网络中，对其进行微调。从而得到网络模型。或者，采用多次重复第一和第二步，取得大量乳腺图片的训练集数据，利用resnet网络对训练集数据进行训练，训练完成后，从而得到乳腺图片resnet网络模型；

（6）然后取（4）所得的测试集数据输入到resnet网络模型中，验证该模型对测试数据集的判断准确率。验证该模型对测试数据集的判断，分类标记。

本发明可用其他的不违背本发明的精神或主要特征的具体形式来概述。因此，无论从哪一点来看，本发明的上述实施方案都只能认为是对本发明的说明而不能限制发明，权利要求书指出了本发明的范围，而上述的说明并未指出本发明的范围，因此，在与本发明的权利要求书相当的含义和范围内的任何变化，都应认为是包括在权利要求书的范围内。