乳腺钼靶图像的自动标注方法、系统及存储介质与流程

本发明涉及深度学习技术领域，尤其是乳腺钼靶图像的自动标注方法、系统及存储介质。

背景技术：

乳腺癌是一个备受关注的健康问题，是导致世界上女性死亡率增高的原因之一。在这十年中，乳腺癌成为第二种最常见的癌症类型，同时也是女性的第一杀手。几乎每四个女性恶性肿瘤患者中，就有一个是乳腺癌患者。美国每年约有4000名乳腺癌患者死亡。而在中国，这一数字则达到了触目惊心的4.5万。更加严峻的是，中国无论是乳腺癌的发病率还是死亡率总体都呈现出逐年上升的趋势。

目前，乳腺癌的筛查措施主要有乳腺钼靶检查、乳腺超声检查和乳腺mri检查等。其中，乳腺钼靶检查是最广泛使用的筛查乳腺癌的方法，它射线剂量低，不会危害妇女健康，可以在乳腺癌的早期筛查中发挥重要作用。基于乳腺钼靶图像，如今利用深度学习技术构建的乳腺癌辅助诊断系统已经取得不错的成效，其结果也获得了专业医生的认可。

不过，这类系统需要大量的标注数据作为训练样本，而这些训练数据通常需要发射科医生来完成标注。医生标注需要凭借大量的临床经验，而且不同的医生会具备不同的评价标准，这一标注过程耗时耗力，当数据量特别大的时候，这项工作变成一个巨大的挑战。

技术实现要素：

有鉴于此，本发明实施例提供一种效率高且成本低的，乳腺钼靶图像的自动标注方法、系统及存储介质。

第一方面，本发明实施例提供了一种乳腺钼靶图像的自动标注方法，包括以下步骤：

对采集到的乳腺钼靶图像进行裁剪；

对裁剪后的乳腺钼靶图像进行全局对比度的归一化处理；

对归一化处理后的乳腺钼靶图像进行尺度调整；

基于预设的深度神经网络模型，对尺度调整后的乳腺钼靶图像的进行深度迁移特征的提取，并将同侧乳腺两个视图的特征进行融合；

基于可视化辅助方法，对提取及融合的深度迁移特征进行聚类分析；

根据聚类分析的结果，对乳腺钼靶图像进行自动标注。

进一步，还包括采集乳腺钼靶图像的步骤，所述采集乳腺钼靶图像的步骤具体为：

基于采集规则进行大规模图像集的采集，所述大规模图像集表示该图像集至少包含有8000幅的乳腺钼靶图像；

所述采集规则为：从每个患例中采集左乳cc位、左乳mlo位、右乳cc位和右乳mlo位的乳腺钼靶图像。

进一步，所述对采集到的乳腺钼靶图像进行裁剪这一步骤，包括以下步骤：

计算乳腺钼靶的前景和背景之间的类间方差；

通过遍历法生成类间方差的最大阈值；

根据最大阈值将乳腺钼靶图像的前景和背景进行二值化分割。

进一步，所述基于预设的深度神经网络模型，对尺度调整后的乳腺钼靶图像的进行深度迁移特征的提取，并将同侧乳腺两个视图的特征进行融合这一步骤，包括以下步骤：

将灰度乳腺钼靶图像进行rgb三通道叠加，得到彩色乳腺钼靶图像；

将彩色乳腺钼靶图像输入到预训练好的深度神经网络模型中，将模型的第一个全连接层的输出作为提取的深度迁移特征。

进一步，所述预训练好的深度神经网络模型为vggnet-16网络模型。

进一步，所述基于可视化辅助方法，对提取及融合的深度迁移特征进行聚类分析这一步骤，包括以下步骤：

通过k均值方法对提取及融合的深度迁移特征进行聚类分析，其中，聚类数目为三类：正常、良性和恶性；

通过t-sne方法对提取及融合的深度迁移特征进行可视化辅助分析。

进一步，所述通过k均值方法对提取及融合的深度迁移特征进行聚类分析这一步骤，包括以下步骤：

从提取及融合的深度迁移特征中随机选取三个深度迁移特征作为三个簇的聚类中心；

根据每个深度迁移特征到各个聚类中心的距离，将深度迁移特征分配到新生成的三个簇中；

计算新生成的三个簇的聚类中心；

返回执行根据每个深度迁移特征到各个聚类中心的距离，将深度迁移特征分配到新生成的三个簇中，以及计算新生成的三个簇的聚类中心的步骤，直到三个聚类中心不再发生变化。

第二方面，本发明实施例还提供了一种乳腺钼靶图像的自动标注系统，包括：

裁剪模块，用于对采集到的乳腺钼靶图像进行裁剪；

归一化模块，用于对裁剪后的乳腺钼靶图像进行全局对比度的归一化处理；

尺度调整模块，用于对归一化处理后的乳腺钼靶图像进行尺度调整；

特征提取融合模块，用于基于预设的深度神经网络模型，对尺度调整后的乳腺钼靶图像的进行深度迁移特征的提取，并将同侧乳腺两个视图的特征进行融合；

聚类分析模块，用于基于可视化辅助方法，对提取及融合的深度迁移特征进行聚类分析；

标注模块，用于根据聚类分析的结果，对乳腺钼靶图像进行自动标注。

第三方面，本发明实施例还提供了一种乳腺钼靶图像的自动标注系统，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的乳腺钼靶图像的自动标注方法。

第四方面，本发明实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述的乳腺钼靶图像的自动标注方法。

上述本发明实施例中的一个或多个技术方案具有如下优点：本发明的实施例首先对采集到的乳腺钼靶图像进行裁剪、归一化处理以及尺度调整处理，然后提取深度迁移特征，最后基于可视化辅助方法，对提取及融合的深度迁移特征进行聚类分析并进行自动标注；本发明能够客观的对未标注图像的完成标注分组，大大减轻了医生标注的工作量，相较于现有人工标注的方法，本发明提高了工作效率且降低了人工成本。

附图说明

图1为本发明实施例的步骤流程图；

图2为本发明实施例的深度神经网络模型结构示意图。

具体实施方式

下面结合说明书附图和具体实施例对本发明作进一步解释和说明。对于本发明实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。

参照图1，本发明实施例提供了一种乳腺钼靶图像的自动标注方法，包括以下步骤：

对采集到的乳腺钼靶图像进行裁剪；

对裁剪后的乳腺钼靶图像进行全局对比度的归一化处理；

对归一化处理后的乳腺钼靶图像进行尺度调整；

基于预设的深度神经网络模型，对尺度调整后的乳腺钼靶图像的进行深度迁移特征的提取，并将同侧乳腺两个视图的特征进行融合；

基于可视化辅助方法，对提取及融合的深度迁移特征进行聚类分析；

根据聚类分析的结果，对乳腺钼靶图像进行自动标注。

本发明通过对采集到的乳腺钼靶图像进行裁剪，从而去除图像中的多余背景。

进一步作为优选的实施方式，还包括采集乳腺钼靶图像的步骤，所述采集乳腺钼靶图像的步骤具体为：

基于采集规则进行大规模图像集的采集，所述大规模图像集表示该图像集至少包含有8000幅的乳腺钼靶图像；

所述采集规则为：从每个患例中采集左乳cc位、左乳mlo位、右乳cc位和右乳mlo位的乳腺钼靶图像。

进一步作为优选的实施方式，所述对采集到的乳腺钼靶图像进行裁剪这一步骤，包括以下步骤：

计算乳腺钼靶的前景和背景之间的类间方差；

通过遍历法生成类间方差的最大阈值；

根据最大阈值将乳腺钼靶图像的前景和背景进行二值化分割。

进一步作为优选的实施方式，所述基于预设的深度神经网络模型，对尺度调整后的乳腺钼靶图像的进行深度迁移特征的提取，并将同侧乳腺两个视图的特征进行融合这一步骤，包括以下步骤：

将灰度乳腺钼靶图像进行rgb三通道叠加，得到彩色乳腺钼靶图像；

将彩色乳腺钼靶图像输入到预训练好的深度神经网络模型中，将模型的第一个全连接层的输出作为提取的深度迁移特征。

进一步作为优选的实施方式，所述预训练好的深度神经网络模型为vggnet-16网络模型。

进一步作为优选的实施方式，所述基于可视化辅助方法，对提取及融合的深度迁移特征进行聚类分析这一步骤，包括以下步骤：

通过k均值方法对提取及融合的深度迁移特征进行聚类分析，其中，聚类数目为三类：正常、良性和恶性；

通过t-sne方法对提取及融合的深度迁移特征进行可视化辅助分析。

进一步作为优选的实施方式，所述通过k均值方法对提取及融合的深度迁移特征进行聚类分析这一步骤，包括以下步骤：

从提取及融合的深度迁移特征中随机选取三个深度迁移特征作为三个簇的聚类中心；

根据每个深度迁移特征到各个聚类中心的距离，将深度迁移特征分配到新生成的三个簇中；

计算新生成的三个簇的聚类中心；

返回执行根据每个深度迁移特征到各个聚类中心的距离，将深度迁移特征分配到新生成的三个簇中，以及计算新生成的三个簇的聚类中心的步骤，直到三个聚类中心不再发生变化。

与图1的方法相对应，本发明实施例还提供了一种乳腺钼靶图像的自动标注系统，包括：

裁剪模块，用于对采集到的乳腺钼靶图像进行裁剪；

归一化模块，用于对裁剪后的乳腺钼靶图像进行全局对比度的归一化处理；

尺度调整模块，用于对归一化处理后的乳腺钼靶图像进行尺度调整；

特征提取融合模块，用于基于预设的深度神经网络模型，对尺度调整后的乳腺钼靶图像的进行深度迁移特征的提取，并将同侧乳腺两个视图的特征进行融合；

聚类分析模块，用于基于可视化辅助方法，对提取及融合的深度迁移特征进行聚类分析；

标注模块，用于根据聚类分析的结果，对乳腺钼靶图像进行自动标注。

具体地，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。

与图1的方法相对应，本发明实施例还提供了一种乳腺钼靶图像的自动标注系统，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现所述的乳腺钼靶图像的自动标注方法。

上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述方法实施例相同，并且达到的有益效果与上述方法实施例所达到的有益效果也相同。

与图1的方法相对应，本发明实施例还提供了一种存储介质，其中存储有处理器可执行的指令，所述处理器可执行的指令在由处理器执行时用于执行所述的乳腺钼靶图像的自动标注方法。

下面详细描述本发明一种乳腺钼靶图像的自动标注方法的具体实施步骤：

s1、采集乳腺钼靶图像数据并进行预处理，具体方法如下：

s11、每个患例采集左乳cc位、左乳mlo位、右乳cc位和右乳mlo位共四张乳腺钼靶图像，从而完成大规模图像集的采集；所述大规模图像集表示该图像集至少包含有8000幅的乳腺钼靶图像。

s12、将所述乳腺钼靶图像集使用otsu算法对乳腺区域进行裁剪，具体方法为：将乳腺钼靶图像的背景和前景的分割阈值记作t，通过遍历的方法求出使得类间方差g最大的阈值t，将背景和前景进行二值化分割，从而完成乳腺区域的裁剪，类间方差g的计算公式为：

g＝ω0ω1(μ0-μ1)²；

其中，ω0是属于前景的像素点数占整幅图像的比例，μ0是前景的平均灰度，ω1是属于背景的像素点数占整幅图像的比例，μ1是背景的平均灰度。

s13、对裁剪后的乳腺钼靶图像进行全局对比度归一化，具体方法为：对于m×n像素大小的图像，令xi,表示乳腺钼靶图像(x∈r^m×n)的张量，计算每个乳腺钼靶图像的平均强度归一化后的图像张量

s14、将归一化之后的图像调整到224×224像素大小。

s2、使用预训练好的深度神经网络模型提取乳腺钼靶图像的深度迁移特征，具体方法如下：

s21、将灰度乳腺钼靶图像(x∈r^224×224)进行rgb三通道叠加，得到彩色乳腺钼靶图像(x'∈r^224×224×3)；

s22、将乳腺钼靶图像输入到预训练好的深度神经网络模型vggnet-16中，将模型的第一个全连接层的输出作为提取的深度迁移特征。

s3、将同侧乳腺两个视图的钼靶图像的深度迁移特征进行融合，具体方法为：将同侧乳腺提取的cc位钼靶图像特征fcc和mlo位钼靶图像特征fmlo进行融合，得到一侧乳腺钼靶图像特征f(fcc；fmlo)。

s4、对提取及融合的深度迁移特征进行聚类分析，同时使用可视化方法进行辅助，具体方法如下：

s41、使用k均值方法对提取及融合的深度迁移特征进行聚类分析，聚类数目为三类：正常、良性和恶性；

s42、使用t-sne方法对提取及融合的深度迁移特征进行可视化辅助分析，具体方法为：将m×8192的高维数据矩阵(m为样本个数，8192为融合后的特征长度)通过t-sne方法降维成m×2的二维数据矩阵，根据聚类结果将不同标签的样本分别取出后在二维平面上赋予不同的颜色，从而实现降维可视化。

在本实施例中，所述的深度神经网络模型vggnet-16的结构如图2所示，由16个网络层组成，其中包括13个卷积层和5个池化层，网络使用的卷积核大小均为3×3，卷积操作步长为1，进行图像边缘扩增使得卷积操作后的图像大小相同，池化层采用最大值采样的采样方式，采样窗大小为2×2，采样步长为2，下采样操作后图像缩小4倍，网络的第一个全连接层包含4096个节点，通过提取该层输出可以得到1×4096大小的特征向量。

在本实施例中，所述使用k均值方法对提取及融合的深度迁移特征进行聚类分析具体如下：

s411、对于样本数量为m的样本集d＝{x1,x2,…,xm}，需要划分的簇为c＝{c1,c2,c3}，从中随机选取3个样本作为初始的聚类中心μ＝{μ1,μ2,μ3}；

s412、计算每个样本点xi(i＝1,2,…,m)到聚类中心μj(j＝1,2,3)的距离将每个数据点分配到距离其最近的聚类中心所属的簇cj(j＝1,2,3)；

s413、计算新生成的簇的聚类中心μj′(j＝1,2,3)，计算公式为：

s414、重复步骤s412和步骤s413，不断进行迭代更新，直到3个聚类中心不再发生变化，得到最终划分的簇c＝{c1,c2,c3}，从而实现正常、良性和恶性三类乳腺钼靶图像的自动标注；

s415、计算davies-bouldin指数(dbi)和dunn指数(di)作为评价指标，计算公式为：

其中，avg(c)是簇c样本间的平均聚类，diam(c)是簇c样本间的距离，dmin(ci,cj)是簇间最近样本间的距离，dcen(ci,cj)是簇间中心点之间的距离。

综上所述，相较于现有技术，本发明的乳腺钼靶图像的自动标注方法、系统及存储介质具有以下优点：

本发明采用基于深度迁移特征的k均值方法对乳腺钼靶图像进行聚类分析，同时使用t-sne方法进行可视化辅助分析，能够客观的对未标注图像的完成初步标注分组，大大减轻医生标注的工作量，同时为乳腺癌的辅助诊断提供极大便利。本发明解决了现有基于乳腺钼靶图像的乳腺癌辅助诊断系统需要大量标注样本和医生标注过程耗时耗力的技术问题。本发明的方法实现灵活，实用性强，对乳腺癌的风险评估具有重要意义。

在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。

以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。