乳腺肿块良恶性判断方法及设备与流程

本发明涉及图像处理领域，尤其是涉及一种乳腺肿块良恶性判断方法及设备。

背景技术：

乳腺x线摄影图像是对整个乳腺的一个影像数据分析是广泛使用的乳腺癌早期检测的工具，具有成本低，废片率少，高检出率的优点。乳腺x线摄影主要通过人体组织对x射线吸收的程度的不用，来反应出乳腺组织的密度，再由医生观察乳腺x线摄影的成像观察乳腺中存在病变的情况。乳腺肿块是乳腺疾病的常见病症，也是乳腺癌的主要表现。因此，自动化的对乳腺肿块的良恶性进行精准判别，是有效控制和治疗乳腺癌的方法之一。

目前，大部分的针对乳腺肿块的良恶性判别的方法，绝大多数是直接从乳腺肿块中提取肿块的纹理和几何等低层特征，或是利用深度神经网络提取乳腺肿块的良恶性的抽象语义特征，处理过程复杂，同时判别准确率不高，没有利用到乳腺肿块的表征特点，因此需要提出一种利用乳腺肿块表征特点来判断乳腺肿块良恶性的判断方法。

技术实现要素：

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种乳腺肿块良恶性判断方法，能够利用乳腺肿块表征特点来判断乳腺肿块良恶性。

第一方面，本发明的一个实施例提供了a：一种乳腺x线摄影图像的预处理方法，包括：

获取乳腺x线摄影图像；

对所述乳腺x线摄影图像进行预处理，所述预处理包括：去噪、增加对比度、轮廓粗分割、轮廓细化、提取乳腺图像、调整乳腺图像大小。

进一步地，所述去噪的过程为：首先进行中值滤波进行初步去噪，然后对所述初步去噪的结果利用小波阈值方法进行再次去噪得到乳腺影像；

所述增加对比度的过程为：对所述乳腺影像利用伽马校正增加乳腺结构与背景之间的对比度，突出乳腺轮廓；

所述轮廓粗分割的过程为：利用最大类间方差法对所述增加对比度得到的乳腺x线摄影图像中乳腺图像和背景进行粗分割，得到乳腺粗轮廓；

所述轮廓细化的过程为：利用形态学开操作和形态学闭操作对所述乳腺粗轮廓进行平滑分割得到乳腺平滑轮廓；

所述提取乳腺图像的过程为：统计所述乳腺平滑轮廓中各连通区域的像素个数，选择像素数最多的连通区域作为乳腺组织区域，并生成对应的掩码区域，在经过去噪的所述乳腺影像中提取所述掩码区域对应的乳腺组织结构图像，并用像素值为0的像素点填充背景区域；

所述调整乳腺图像大小的过程为：对所述乳腺组织结构图像利用像素值为0的像素点进行像素填充，使所述乳腺组织结构图像的行列比为1:1，得到经过预处理后的乳腺x线摄影图像。

进一步地，所述像素填充的过程为：

获取乳腺组织朝向；

以所述乳腺组织结构图像的宽度中心点将图像分为左部分和右部分；

统计所述左部分和右部分的像素和，当左部分像素和大于右部分像素和，则判定乳腺组织朝向为右，并对图像右侧进行边缘填充，反之对图像的左侧进行边缘填充。

第二方面，本发明的一个实施例提供了b：一种乳腺肿块目标检测定位方法，包括：

获取乳腺x线摄影图像，并利用如第一方面任一项所述的一种乳腺x线摄影图像的预处理方法进行预处理，得到待检测乳腺x线摄影图像；

将所述待检测乳腺x线摄影图像输入到目标检测定位网络中进行目标检测定位，得到乳腺肿块位置。

进一步地，所述目标检测定位网络使用darknet-53网络，同时所述darknet-53网络的每一层卷积网络结构中引入由bn和in组合形成的归一化层，使用k-means算法进行聚类得到训练数据集中的乳腺肿块的锚框大小。

第三方面，本发明的一个实施例提供了c：一种乳腺肿块良恶性判断方法，包括：

获取经过如第二方面任一项所述的一种乳腺肿块目标检测定位方法得到乳腺x线摄影肿块图像；

将所述乳腺x线摄影肿块图像输入目标分类网络中，进行形状预测和边缘预测，

将所述乳腺x线摄影肿块图像输入目标分类网络中，进行形状预测和边缘预测，同时得到对应乳腺肿块的良恶性分类结果；

所述目标分类网络包括：主干网络结构和特征融合结构。

进一步地，训练所述目标分类网络时，输入数据格式包括：乳腺x线摄影肿块图像以及对应的形状标签、边缘标签和良恶性标签，所述目标分类网络的损失函数为交叉熵损失函数，表示为：

lcls＝λ1ls+λ2lm+ld

其中，lcls、ls、lm、ld分别表示整体损失、形状属性分类损失、边缘属性分类损失和乳腺肿块良恶性分类损失，λ1、λ2分别表示形状属性损失系数和边缘属性损失系数。

进一步地，测试所述目标分类网络时，输入数据为无标注的乳腺x线摄影肿块图像，根据所述目标分类网络得到所述乳腺肿块的包括形状概率、边缘概率和良恶性概率的分类概率，对所述分类概率进行加权融合得到最终的分类结果。

第四方面，本发明提供一种乳腺肿块良恶性判断设备，包括：

至少一个处理器，以及与所述至少一个处理器通信连接的存储器；

其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如第三方面任一项所述的方法。

第五方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第三方面任一项所述的方法。

本发明的有益效果是：

本发明通过获取乳腺x线摄影图像，并对其进行预处理，得到待检测乳腺x线摄影图像，将待检测乳腺x线摄影图像输入到目标检测定位网络中进行目标检测定位，得到乳腺肿块位置，将检测出的乳腺肿块的乳腺x线摄影图像输入目标分类网络中，进行形状预测和边缘预测，同时得到对应乳癌肿块的分类结果。基于乳腺肿块的表征特点对应的语义描述特征，通过目标分类网络实现对乳腺x线摄影中的乳腺肿块进行良恶性的判断，依据目标分类网络对各属性的概率得分进行加权融合获得最终的乳腺肿块良恶性判别结果，提高了判别准确性和检测效率。

可广泛应用于乳腺x线摄影图像处理领域。

附图说明

图1是本发明实施例一中乳腺x线摄影图像预处理方法的流程示意图；

图2是本发明实施例一中乳腺x线摄影图像预处理方法的预处理流程图；

图3是本发明实施例二中乳腺肿块目标检测定位方法的流程示意图；

图4是本发明实施例二中乳腺肿块目标检测定位方法的卷积网络结构示意图；

图5是本发明实施例三中乳腺肿块良恶性判断方法的流程示意图；

图6是本发明实施例三中乳腺肿块良恶性判断方法的目标分类网络结构示意图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。

实施例一：

本发明实施例一提供一种乳腺x线摄影图像的预处理方法，图1为本实施例提供的一种乳腺x线摄影图像预处理方法的实现流程图，如图1所示，该方法包括以下步骤：

s11：获取乳腺x线摄影图像；

s12：对乳腺x线摄影图像进行预处理，本实施例中预处理包括：去噪、增加对比度、轮廓粗分割、轮廓细化、提取乳腺图像、调整乳腺图像大小，具体如下所述：

1)去噪的过程为：首先进行中值滤波进行初步去噪，然后对初步去噪的结果利用小波阈值方法进行再次去噪得到乳腺影像。

例如，可选3x3的中值滤波器，小波阈值方法采用haar小波，同时设置小波分解的层次为3，最佳阈值系数为0.65，haar小波变换就是利用haar滤波器进行小波计算。

2)增加对比度的过程为：对乳腺影像利用伽马校正增加乳腺结构与背景之间的对比度，突出乳腺轮廓。

伽马校正就是对图像的伽马曲线进行编辑，以对图像进行非线性色调编辑的方法，检出图像信号中的深色部分和浅色部分，并使两者比例增大，从而提高图像对比度效果。本实施例可选的gama系数取0.5。

3)轮廓粗分割的过程为：利用最大类间方差法对增加对比度得到的乳腺x线摄影图像中乳腺图像和背景进行粗分割，得到乳腺粗轮廓。

最大类间方差法即大津法，是由日本学者大津(nobuyukiotsu)于1979年提出的，是一种自适合于双峰情况的自动求取阈值的方法，简称otsu。它是按图像的灰度特性，将图像分成背景和目标2部分，背景和目标之间的类间方差越大，说明构成图像的2部分的差别越大，当部分目标错分为背景或部分背景错分为目标都会导致2部分差别变小。

还包括根据乳腺粗轮廓得到标记信息。

4)轮廓细化的过程为：利用形态学开操作和形态学闭操作对乳腺粗轮廓进行平滑分割得到乳腺平滑轮廓。

形态学的基本操作包括腐蚀、膨胀、开操作、闭操作，以b结构中心点为准心，在a中找能满足b结构的点即为腐蚀，把a结构的每个点放到b中心点，以b结构外扩即为膨胀，而开操作表示先腐蚀后膨胀，它具有消除细小物体，在纤细处分离物体和平滑较大物体边界的作用；闭操作表示先膨胀后腐蚀，它具有填充物体内细小空洞，连接邻近物体和平滑边界的作用。因此本实施例利用形态学开操作和形态学闭操作对乳腺粗轮廓进行平滑分割。

进一步地，开操作使用尺度为25的圆盘元素，闭操作使用尺度为35的圆盘元素。

5)提取乳腺图像的过程为：统计乳腺平滑轮廓中各连通区域的像素个数，选择像素数最多的连通区域作为乳腺组织区域，并生成对应的掩码区域，在经过去噪的乳腺影像中提取掩码区域对应的乳腺组织结构图像，并用像素值为0的像素点填充背景区域。

6)调整乳腺图像大小的过程为：对乳腺组织结构图像利用像素值为0的像素点进行像素填充，使乳腺组织结构图像的行列比为1:1，得到经过预处理后的乳腺x线摄影图像，像素填充的过程为：

s121：首先获取乳腺组织朝向，例如朝左或者朝右；

s122：以乳腺组织结构图像的宽度中心点将图像分为左部分(side_left)和右部分(side_right)；

s123：统计左部分像素sum(side_left)和与右部分的像素和sum(side_right)，当左部分像素和大于右部分像素和，即sum(side_left)>sum(side_right)，则判定乳腺组织朝向为右，并对图像右侧进行边缘填充，反之对图像的左侧进行边缘填充。

填充方法如下：获得乳腺组织结构图像的大小为row*column(行*列)，判断row和column的大小，边缘填充的大小为padding＝|row-column|，当row>column时，依据判断的乳腺朝向在图像对应左或右侧添加row*padding大小的以0为像素的边缘填充，当row<column时，直接在图像的上方和下方分别添加0.5*padding*column大小的以0为像素的边缘填充，当row＝column时，乳腺组织结构图像不做填充。之后，再将补充背景后的乳腺组织结构图像的尺寸样调整为1024*1024大小的rgb三通道的uint8数据类型。

如图2所示，为本实施例预处理流程图，从图中可以看出，首先输入原始的乳腺x线摄影图像，然后依次进行：1)中值滤波结合小波变换的去噪过程；2)伽马校正提高乳腺结构对比度；3)通过最大类间方差法进行轮廓粗分割；4)利用形态学开操作和形态学闭操作细化乳腺边缘；5)将提取的最大连通区域定义为乳腺结构；6)进行图像填充和尺寸调整，输出得到经过预处理的乳腺x线摄影图像。

本实施例的乳腺x线摄影图像的预处理方法能够对原始乳腺x线摄影图像做预处理，得到便于后续计算的乳腺x线摄影图像，提高处理效率和处理精度。

实施例二：

本实施例提供一种乳腺肿块目标检测定位方法，如图3所示，为本实施例的乳腺肿块目标检测定位方法实现流程图，包括：

s21：获取乳腺x线摄影图像，并利用如实施例一的一种乳腺x线摄影图像的预处理方法进行预处理，得到待检测乳腺x线摄影图像；

s22：将待检测乳腺x线摄影图像输入到目标检测定位网络中进行目标检测定位，得到乳腺肿块位置。

本实施例采用yolov3目标检测框架实现对乳腺肿块的定位与检测，yolov3在v1和v2的基础上进行创新，在保持速度优势的前提下，提升了预测精度，尤其是加强了对小物体的识别能力。由于yolov3具有多尺度预测的特性，通过上采样能够获得更丰富的语义信息，可以获得前几层的特征图中获得更多细粒度信息，使得网络对小目标的表现优于中尺寸和大尺寸的目标。对于乳腺x线摄影数据中，乳腺肿块常以小目标的形式呈现。因此本实施例选择使用yolov3目标检测框架

具体的，采用darknet-53网络作为骨干神经网络，该网络借鉴了残差网络residualnetwork的做法，在一些层之间设置了快捷链路(shortcutconnections)，同时darknet-53网络的每一层卷积网络结构中引入由bn和in组合形成的归一化层。

如图4所示，为本实施例的卷积网络结构示意图。从图中可以看出，卷积层之后连接由bn(batchnormalization，批量归一化)和in(instancenormalization，实例归一化)组合的归一化层，优化深度网特征，加号表示为参数的级联操作，激活函数为leakyrelu激活函数，如此改进的目的是因为：bn可以保留亮度，颜色等信息，in可以更好的保留乳腺肿块数据样式等抽象信息，因此这种bn和in的组合结构更有利于对提取和保留医学图像中的特征。

进一步地，在检测乳腺肿块时，提前采用k-means聚类算法对训练数据集中乳腺肿块进行聚类，得到对应的乳腺肿块的锚框大小，有利于对实现了乳腺肿块的定位。由于在yolov3中具有对9个锚框的预设，这一步操作的目的yolov3中固定的锚框值并不适用于乳腺x线摄影数据中，因此根据数据中的肿块在图像中大小，利用k-means方法求得了训练数据中的肿块锚框大小，以求更好的实现对肿块位置和大小的云测，对训练集中的乳腺x线摄影图像中检测得到的乳腺肿块大小进行聚类，获得了9个聚类中心，表示为：

[11*11,18*18,25*2528*28,31*31,43*43,86*58,80*80,110*110]

本实施例利用改进的卷积网络结构构成的目标检测定位网络实现对乳腺x线摄影图像中乳腺肿块的检测以及该肿块的中心位置定位，便于后续的结果分析和数据处理。

实施例三：

由于临床医学角度对乳腺肿块的观察可知，良性的乳腺肿块多呈现为形状规则、边缘明显等特点，恶性的乳腺肿块多呈为形状不规则、边缘分界模糊等特点，因此可以结合乳腺肿块的表征特性进行良恶性判断。本实施例提供一种乳腺肿块良恶性判断方法。

如图5所示，为本实施例的乳腺肿块良恶性判断方法实现流程图，包括：

s31：获取经过如实施例二任一项所述的一种乳腺肿块目标检测定位方法得到乳腺x线摄影肿块图像；

s32：将乳腺x线摄影肿块图像输入目标分类网络中，进行形状预测和边缘预测，同时得到对应乳癌肿块的分类结果；

如图6所示，为本实施例的目标分类网络结构示意图，可见，目标分类网络包括：

输入层：大小为224*224，第一部分为主干网络结构，包括：3组卷积操作和1组池化操作；第二部分是特征融合结构，对网络中的各环节得到的卷积特征图进行的下采样或是上采样的操作，进行多尺度的特征融合，实现对形状语义预测、边缘语义预测。

具体的特征融合为双向特征融合：其中正方向为沿着网络方向对不同大小的特征图使用下采样的方式，将其调整为同一尺寸大小的特征图，实现多尺度特征拼接，反方向为沿着网络的反方向对特征图进行上采样，调整为同一大小的特征图，实现多尺度特征拼接，图中带圆圈加号表示直接将特征图串联拼接操作。

网络结构中还包括三组全连接操作(fc)，分别用于对乳腺肿块的形状语义预测(规则形状，不规则形状)、边缘语义预测(清晰边界，不清晰的边界)和乳腺肿块良恶性预测(良性，恶性)。

下表1为本实施例的目标分类网络中各层的参数示意：

表1目标分类网络中各层的参数示意

训练阶段，输入数据格式包括：乳腺x线摄影肿块图像以及对应的形状标签、边缘标签和良恶性标签，形状标签包括：规则形状，不规则形状，边缘标签：清晰边界，不清晰的边界；良恶性标签：良性，恶性，训练数据是由临床放射科医生进行标注以及该乳腺肿块的最终病理检测结果得到。

目标分类网络的损失函数为交叉熵损失函数，整体损失函数表示为：

lcls＝λ1ls+λ2lm+ld

其中，lcls、ls、lm、ld分别表示整体损失、形状属性分类损失、边缘属性分类损失和乳腺肿块良恶性分类损失，λ1、λ2分别表示形状属性损失系数和边缘属性损失系数，通过调节不同的损失系数来调节损失权重，可选的，分别取λ1＝0.5和λ2＝0.5，乳腺肿块良恶性分类损失系数默认为1。

测试目标分类网络时，输入数据为无标注的乳腺x线摄影肿块图像，根据目标分类网络得到乳腺肿块的包括形状概率ss、边缘概率sm和良恶性概率sd的分类概率，对分类概率进行加权融合得到最终的分类结果，表示为：

s＝α1ss+α2sm+α3sd

α1+α2+α3＝1

其中，s表示分类概率，α1、α2、α3分别表示加权系数。

可选的，设置α1＝0.2，α2＝0.2，α3＝0.6分别计算：

s良性＝0.2*s形状规则+0.2*s边缘规则+0.6*s预测良性

s恶性＝0.2*s形状不规则+0.2*s边缘不规则+0.6*s预测恶性

再比较s良性和s恶性得分大小，当s良性>s恶性时，判定该乳腺肿块为良性，反之为恶性。

本实施例在网络结构的设计上使用卷积神经网络，并采用多任务的网络结构实现对乳腺肿块的良恶性判别，利用多个属性特征(如形状特征、边缘特征、良恶性特征)联合训练，得到乳腺肿块良恶性结果与其形状特征和边缘特征之间的关联性，同时为了更有效的整合网络提取的特征多样性，利用双向特征融合实现对乳腺肿块形态特征的多尺度融合，大大提高对乳腺x线摄影中乳腺肿块的良恶性判别准确率。

另外，本发明还提供乳腺肿块良恶性判断设备，包括：

至少一个处理器，以及与所述至少一个处理器通信连接的存储器；

其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如实施例一所述的方法。计算机程序即程序代码，当程序代码在乳腺肿块良恶性判断设备上运行时，程序代码用于使乳腺肿块良恶性判断设备执行本说明书上述实施例三部分描述的乳腺肿块良恶性判断方法中的步骤。

另外，本发明还提供一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，其中计算机可执行指令用于使计算机执行如实施例三所述的方法。

本发明通过获取乳腺x线摄影图像，并对其进行预处理，得到待检测乳腺x线摄影图像，将待检测乳腺x线摄影图像输入到目标检测定位网络中进行目标检测定位，得到乳腺肿块位置，将检测出的乳腺肿块的乳腺x线摄影图像输入目标分类网络中，进行形状预测和边缘预测，同时得到对应乳癌肿块的分类结果。基于乳腺肿块的表征特点对应的语义描述特征，通过目标分类网络实现对乳腺x线摄影中的乳腺肿块进行良恶性的判断，依据目标分类网络对各属性的概率得分进行加权融合获得最终的乳腺肿块良恶性判别结果，提高了判别准确性和检测效率。

以上各实施例仅用以说明本发明的技术方案，而非对其限制，尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。