用于乳腺钼靶的图像处理方法及装置与流程

本申请涉及医疗影像处理领域，具体而言，涉及一种用于乳腺钼靶的图像处理方法及装置。

背景技术：

乳腺癌需要早预防、早治疗。通过面向乳腺钼靶射线图像的计算机辅助肿块检测技术可以帮助影像科医师在早期发现乳腺病变。

发明人发现，现有图像处理方法仅采用单侧乳腺，准确率不高。进一步，对于医疗影像中的边缘特征也缺乏有效利用。

针对相关技术中对于乳腺钼靶的图像处理效果不佳的问题，目前尚未提出有效的解决方案。

技术实现要素：

本申请的主要目的在于提供一种用于乳腺钼靶的图像处理方法及装置，以解决对于乳腺钼靶的图像处理效果不佳的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种用于乳腺钼靶的图像处理方法。

根据本申请的用于乳腺钼靶的图像处理方法包括：输入待处理图像，其中，所述待处理图像至少包括：双侧钼靶影像；对所述待处理图像采用图像双侧对齐处理，得到的结果输入预设网络学习模型；以及根据所述网络学习模型输出目标图像的检测结果，得到所述乳腺钼靶的目标图像区域。

进一步地，输入待处理图像之后还包括：根据获取的乳腺钼靶影像和所述乳腺钼靶影像对应的窗宽窗位统计出乳腺组织的灰度分布；根据输入待处理图像对窗宽窗位进行动态搜索，以使在映射后的影像中的乳腺组织的灰度分布与所述灰度分布接近；对所述窗宽窗位进行图像归一化预处理。

进一步地，对所述待处理图像采用图像双侧对齐处理包括：

对至少两幅乳腺钼靶图像进行配准，将配准后的图像共同输入到非对称结构检测模型中，用于确定出乳腺钼靶可疑病灶区域。

进一步地，根据所述网络学习模型输出目标图像的检测结果，得到所述乳腺钼靶的目标图像区域包括：所述网络模型采用预设目标检测框架下作为主干网络，并依次设置特征提取网络、特征融合网络、区域举荐网络、分类回归网络；其中，所述特征提取网络，用于采用多层卷积神经网络作为骨干网路，在不同尺度上进行特征图提取；所述特征融合网络，用于对不同分支上的所述特征图的图像特征进行的特征融合；所述区域举荐网络，用于生成目标定位框得到目标区域；所述分类回归网络，用于对目标区域分类或框回归。

进一步地，根据所述网络模型输出目标图像的检测以及分割结果包括：在所述特征融合网络中，还用于采用不同或相同的特征提取网路；在所述特征融合网络或所述特征提取网络中，采用在同一侧乳腺不同拍摄角度的图像或采用双侧乳腺同一拍摄位置的图像。

进一步地，根据所述网络模型输出目标图像的检测以及分割结果之后还包括：对所述所述乳腺钼靶的目标图像区域的假阳性消除的步骤，所述假阳性消除包括：基于预设深度学习网络进行样本训练数据的抑制，样本训练之前，随机预留部分阴性数据；用训练完成的检出网络对此部分数据进行预测，收集预测检出置信度高的区域，以及之前步骤训练时涉及的困难样例作为负样本；同时重复利用之前标注所得的病灶为正样本进行训练。

为了实现上述目的，根据本申请的另一方面，提供了一种用于乳腺钼靶的图像处理装置。

根据本申请的用于乳腺钼靶的图像处理装置包括：输入模块，用于输入待处理图像，其中，所述待处理图像至少包括：双侧钼靶影像；对齐处理模块，用于对所述待处理图像采用图像双侧对齐处理，得到的结果输入预设网络模型；以及网络模型模块，用于根据所述网络学习模型输出目标图像的检测结果，得到所述乳腺钼靶的目标图像区域。

进一步地，所述装置还包括：大数据归一化模块，所述大数据归一化模块包括：获取单元，用于根据获取的乳腺钼靶影像和所述乳腺钼靶影像对应的窗宽窗位统计出乳腺组织的灰度分布；搜索单元，用于根据输入待处理图像对窗宽窗位进行动态搜索，以使在映射后的影像中的乳腺组织的灰度分布与所述灰度分布接近；处理单元，用于对所述窗宽窗位进行图像归一化预处理。

进一步地，所述对齐处理模块包括：配准单元，用于对至少两幅乳腺钼靶图像进行配准，将配准后的图像共同输入到非对称结构检测模型中，用于确定出乳腺钼靶可疑病灶区域。

进一步地，所述网络模型模块包括如下结构：所述网络模型采用预设目标检测框架下作为主干网络，并依次设置特征提取网络、特征融合网络、区域举荐网络、分类回归网络；其中，所述特征提取网络，用于采用多层卷积神经网络作为骨干网路，在不同尺度上进行特征图提取；所述特征融合网络，用于对不同分支上的所述特征图的图像特征进行的特征融合；所述区域举荐网络，用于生成目标定位框得到目标区域；所述分类回归网络，用于对目标区域分类或框回归。

在本申请实施例中用于乳腺钼靶的图像处理方法及装置，采用输入待处理图像的方式，通过对所述待处理图像采用图像双侧对齐处理，得到的结果输入预设网络学习模型，达到了根据所述网络学习模型输出目标图像的检测结果，得到所述乳腺钼靶的目标图像区域的目的，从而实现了双侧乳腺钼靶提高准确率以及有效利用边缘特征的技术效果，进而解决了对于乳腺钼靶的图像处理效果不佳的技术问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请第一实施例中的用于乳腺钼靶的图像处理方法流程示意图；

图2是根据本申请第二实施例中的用于乳腺钼靶的图像处理方法流程示意图；

图3是根据本申请第三实施例中的用于乳腺钼靶的图像处理方法流程示意图；

图4是根据本申请第一实施例中的用于乳腺钼靶的图像处理装置结构示意图；

图5是根据本申请第二实施例中的用于乳腺钼靶的图像处理装置结构示意图；

图6是根据本申请实施例的基于多视角的钼钯肿块检测算法原理示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

如图1所示，该方法包括如下的步骤s102至步骤s106：

步骤s102，输入待处理图像，

在所述待处理图像至少包括：双侧钼靶影像。

在待处理图像中的肿块或不对称的识别需要结合左右双侧和轴斜两位多个视角。而如果腺体密度较大，肿块边缘被覆盖时，其检测难度会大幅增加，事实上，有经验的医师在怀疑某一侧乳腺有疑似病变时，除了会参考同侧乳腺的其他机位，还会通过对比相同机位的对侧影像来进行确诊。基于上述考虑，在本申请的实施例中引入了双侧钼靶影像的图像特征作为待处理图像输入。

需要注意的是输入待处理图像为乳腺钼靶影像，在本申请的实施例中以肿块泛指在钼靶检查中出现非正常的组织结构的包块。而在实际应用中可以是：肿块、结构扭曲、不对称、乳头内陷、淋巴结肿大等非正常征象，本领域技术人员可以根据实际使用情况进行选择。

步骤s104，对所述待处理图像采用图像双侧对齐处理，得到的结果输入预设网络学习模型；

对所述待处理图像采用图像双侧对齐处理之后，将经过图像双侧对齐处理之后的处理结果输入到预设网络学习模型中。

所述预设网络学习模型，不仅可对图像中的目标进行检测，还可以对每一个目标给出一个高质量的分割结果。

步骤s106，根据所述网络学习模型输出目标图像的检测结果，得到所述乳腺钼靶的目标图像区域。

通过所述网络学习模型输出目标乳腺钼靶图像的检测结果，即得到的检测结果为所述乳腺钼靶的目标图像区域。

从以上的描述中，可以看出，本申请实现了如下技术效果：

采用输入待处理图像的方式，通过对所述待处理图像采用图像双侧对齐处理，得到的结果输入预设网络学习模型，达到了根据所述网络学习模型输出目标图像的检测结果，得到所述乳腺钼靶的目标图像区域的目的，从而实现了双侧乳腺钼靶提高准确率以及有效利用边缘特征的技术效果，进而解决了对于乳腺钼靶的图像处理效果不佳的技术问题。

根据本申请实施例，作为本实施例中的优选，如图2所示，输入待处理图像之后还包括：

步骤s202，根据获取的乳腺钼靶影像和所述乳腺钼靶影像对应的窗宽窗位统计出乳腺组织的灰度分布；

由于乳腺钼靶影像灰度值受许多因素影响比如不同拍摄投影x光强度，患者受拍摄组织密度及厚度以及器材成像重建算法及其后处理等。

乳腺钼靶影像和所述乳腺钼靶影像对应的窗宽窗位是指，根据同一医院同一品牌设备拍摄所得的大量钼靶影像及其对应的窗宽窗位统计出乳腺组织的灰度值分布。

乳腺钼靶影像和所述乳腺钼靶影像对应的窗宽窗位也可以是指，根据不同设备或不同医院拍摄所得的大量钼靶影像及其对应的窗宽窗位统计出乳腺组织的灰度值分布。

需要注意的是，是否同一医院或者同一品牌设备在本申请的实施例中并不进行限定，本领域技术人员可以根据实际使用情况进行选择。

步骤s204，根据输入待处理图像对窗宽窗位进行动态搜索，以使在映射后的影像中的乳腺组织的灰度分布与所述灰度分布接近；

根据所述输入待处理图像对窗宽、窗位进行动态搜索，使得在图像动态搜索一组窗宽、窗位，使得线性映射后影像中的乳腺组织的灰度分布与上述步骤中统计所得的分布尽可能接近。

根据所述输入待处理图像对窗宽、窗位进行动态搜索，使得在图像动态搜索一组窗宽、窗位，使其根据统计分别动态规划灰度映射表进行映射后，使得影像中的乳腺组织的灰度分布与上述步骤中统计所得的分布尽可能接近。

或者，通过在预设网络学习模型中的输入端嵌入映射模块，使得在图像动态搜索一组窗宽、窗位。

步骤s206，对所述窗宽窗位进行图像归一化预处理。

根据上述步骤获得的窗宽、窗位，做图像归一化处理。

上述步骤中，考虑到医生在阅片时会根据实际拍摄影像调整窗宽窗位，使患者正常身体组织保持在同一亮度范围内，并最大限度提高与异常组织的对比度，上述方法是一种基于大数据的图像归一化处理方法。

根据本申请实施例，作为本实施例中的优选，对所述待处理图像采用图像双侧对齐处理包括：对至少两幅乳腺钼靶图像进行配准，将配准后的图像共同输入到非对称结构检测模型中，用于确定出乳腺钼靶可疑病灶区域。

具体地，对于待处理图像中的双侧乳腺钼靶影像分析时，将属于同一时期的左、右两侧乳房的乳腺x线图像进行研究，由于同一个人的双侧乳腺具有某种相似的内部结构，可根据两侧乳腺出现的非对称结构进行分析，进而确定可疑病灶区域。

进一步，通过比较双侧乳腺钼靶影像来确定肿块区域，首先需要对两幅乳腺钼靶影像即乳腺x线图像进行配准，然后将配准过的图像共同输入到训练好的检出模型中，从而确定出腺钼靶影像中的可疑病灶区域。

根据本申请实施例，作为本实施例中的优选，根据所述网络学习模型输出目标图像的检测结果，得到所述乳腺钼靶的目标图像区域包括：所述网络模型采用预设目标检测框架下作为主干网络，并依次设置特征提取网络、特征融合网络、区域举荐网络、分类回归网络；其中，所述特征提取网络，用于采用多层卷积神经网络作为骨干网路，在不同尺度上进行特征图提取；所述特征融合网络，用于对不同分支上的所述特征图的图像特征进行的特征融合；所述区域举荐网络，用于生成目标定位框得到目标区域；所述分类回归网络，用于对目标区域分类或框回归。

所述特征提取网络在网络的前几层学习的是相对泛化的特征，比如边缘、颜色等，而靠后几层的网络学习到的特征更高层。

所述特征融合网络在网络中采用一个分支通过双侧相应尺度的特征相减而得，另一个单通道卷积层生成注意力概率图(attentionmap)，二者运算后可以获得新的融合特征。

所述区域举荐网络中对前景与背景，用于是将少数前景候选proposal和大量不包含任何物体的背景候选proposal区分开。

所述分类回归网络中对区域举荐网络中的举荐的感兴趣区域分别进行最终输出。

优选地，所述网络模型采用预设目标检测框架包括：目标检测框架maskr-cnn。maskr-cnn是一个小巧、灵活的通用对象实例分割框架。不仅可针对图像中的目标进行检测，还可以对每一个目标给出一个高质量的分割结果。

根据本申请实施例，作为本实施例中的优选，根据所述网络模型输出目标图像的检测以及分割结果包括：在所述特征融合网络中，还用于采用不同或相同的特征提取网路；在所述特征融合网络或所述特征提取网络中，采用在同一侧乳腺不同拍摄角度的图像或采用双侧乳腺同一拍摄位置的图像。

根据本申请实施例，作为本实施例中的优选，根据所述网络模型输出目标图像的检测以及分割结果之后还包括：对所述所述乳腺钼靶的目标图像区域的假阳性消除的步骤，所述假阳性消除包括：

步骤s302，基于预设深度学习网络进行样本训练数据的抑制；

通常在乳腺钼靶检查中由于阳性病例与阴性病例数量比是极度不均衡的。为保证检出算法的召回率，需要对训练数据的阳性与阴性数据进行调整。

步骤s304，样本训练之前，随机预留部分阴性数据；

具体地，在训练检测算法模型之前，在不同可能影响检出效果维度比如，不同医院，不同拍摄机型以及不同乳腺密度等级的情况，提前随机预留部分阴性数据。

步骤s306，用训练完成的检出网络对此部分数据进行预测，收集预测检出置信度高的区域，以及之前步骤训练时涉及的困难样例作为负样本；

用训练完成的检出网络对此部分数据进行预测，收集预测检出置信度高的区域，以及之前步骤训练时涉及的困难样例作为负样本，同时重复利用之前标注所得的病灶为正样本进行训练。

步骤s308，同时重复利用之前标注所得的病灶为正样本进行训练。

通过用与检出网络相同的多角度融合策略，以及学习能力更强的densenet做为基础网络进行学习，同时增添更多样更大范围的样本增强或、及相对位置信息等先验知识，以达到最佳区分效果。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

根据本申请实施例，还提供了一种用于实施上述方法的用于乳腺钼靶的图像处理装置，如图4所示，该装置包括：输入模块10，用于输入待处理图像，其中，所述待处理图像至少包括：双侧钼靶影像；对齐处理模块20，用于对所述待处理图像采用图像双侧对齐处理，得到的结果输入预设网络模型；以及网络模型模块30，用于根据所述网络学习模型输出目标图像的检测结果，得到所述乳腺钼靶的目标图像区域。

本申请实施例的输入模块10中在所述待处理图像至少包括：双侧钼靶影像。

在待处理图像中的肿块或不对称的识别需要结合左右双侧和轴斜两位多个视角。而如果腺体密度较大，肿块边缘被覆盖时，其检测难度会大幅增加，事实上，有经验的医师在怀疑某一侧乳腺有疑似病变时，除了会参考同侧乳腺的其他机位，还会通过对比相同机位的对侧影像来进行确诊。基于上述考虑，在本申请的实施例中引入了双侧钼靶影像的图像特征作为待处理图像输入。

需要注意的是输入待处理图像为乳腺钼靶影像，在本申请的实施例中以肿块泛指在钼靶检查中出现非正常的组织结构的包块。而在实际应用中可以是：肿块、结构扭曲、不对称、乳头内陷、淋巴结肿大等非正常征象，本领域技术人员可以根据实际使用情况进行选择。

本申请实施例的对齐处理模块20中对所述待处理图像采用图像双侧对齐处理之后，将经过图像双侧对齐处理之后的处理结果输入到预设网络学习模型中。

所述预设网络学习模型，不仅可对图像中的目标进行检测，还可以对每一个目标给出一个高质量的分割结果。

本申请实施例的网络模型模块30中通过所述网络学习模型输出目标乳腺钼靶图像的检测结果，即得到的检测结果为所述乳腺钼靶的目标图像区域。

根据本申请实施例，作为本实施例中的优选，如图5所示，装置还包括：大数据归一化模块40，所述大数据归一化模块40包括：获取单元401，用于根据获取的乳腺钼靶影像和所述乳腺钼靶影像对应的窗宽窗位统计出乳腺组织的灰度分布；搜索单元402，用于根据输入待处理图像对窗宽窗位进行动态搜索，以使在映射后的影像中的乳腺组织的灰度分布与所述灰度分布接近；处理单元403，用于对所述窗宽窗位进行图像归一化预处理。

本申请实施例的获取单元401中由于乳腺钼靶影像灰度值受许多因素影响比如不同拍摄投影x光强度，患者受拍摄组织密度及厚度以及器材成像重建算法及其后处理等。

乳腺钼靶影像和所述乳腺钼靶影像对应的窗宽窗位是指，根据同一医院同一品牌设备拍摄所得的大量钼靶影像及其对应的窗宽窗位统计出乳腺组织的灰度值分布。

乳腺钼靶影像和所述乳腺钼靶影像对应的窗宽窗位也可以是指，根据不同设备或不同医院拍摄所得的大量钼靶影像及其对应的窗宽窗位统计出乳腺组织的灰度值分布。

需要注意的是，是否同一医院或者同一品牌设备在本申请的实施例中并不进行限定，本领域技术人员可以根据实际使用情况进行选择。

本申请实施例的搜索单元402中根据所述输入待处理图像对窗宽、窗位进行动态搜索，使得在图像动态搜索一组窗宽、窗位，使得线性映射后影像中的乳腺组织的灰度分布与上述步骤中统计所得的分布尽可能接近。

根据所述输入待处理图像对窗宽、窗位进行动态搜索，使得在图像动态搜索一组窗宽、窗位，使其根据统计分别动态规划灰度映射表进行映射后，使得影像中的乳腺组织的灰度分布与上述步骤中统计所得的分布尽可能接近。

或者，通过在预设网络学习模型中的输入端嵌入映射模块，使得在图像动态搜索一组窗宽、窗位。

本申请实施例的处理单元403中根据上述步骤获得的窗宽、窗位，做图像归一化处理。

上述模块中，考虑到医生在阅片时会根据实际拍摄影像调整窗宽窗位，使患者正常身体组织保持在同一亮度范围内，并最大限度提高与异常组织的对比度，上述方法是一种基于大数据的图像归一化处理方法。

根据本申请实施例，作为本实施例中的优选，所述对齐处理模块20包括：配准单元，用于对至少两幅乳腺钼靶图像进行配准，将配准后的图像共同输入到非对称结构检测模型中，用于确定出乳腺钼靶可疑病灶区域。

在本申请的对齐处理模块20中具体地，对于待处理图像中的双侧乳腺钼靶影像分析时，将属于同一时期的左、右两侧乳房的乳腺x线图像进行研究，由于同一个人的双侧乳腺具有某种相似的内部结构，可根据两侧乳腺出现的非对称结构进行分析，进而确定可疑病灶区域。

进一步，通过比较双侧乳腺钼靶影像来确定肿块区域，首先需要对两幅乳腺钼靶影像即乳腺x线图像进行配准，然后将配准过的图像共同输入到训练好的检出模型中，从而确定出腺钼靶影像中的可疑病灶区域。

根据本申请实施例，作为本实施例中的优选，所述网络模型模块30包括如下结构：

所述网络模型采用预设目标检测框架下作为主干网络，并依次设置特征提取网络、特征融合网络、区域举荐网络、分类回归网络；其中，所述特征提取网络，用于采用多层卷积神经网络作为骨干网路，在不同尺度上进行特征图提取；所述特征融合网络，用于对不同分支上的所述特征图的图像特征进行的特征融合；所述区域举荐网络，用于生成目标定位框得到目标区域；所述分类回归网络，用于对目标区域分类或框回归。

所述特征提取网络在网络的前几层学习的是相对泛化的特征，比如边缘、颜色等，而靠后几层的网络学习到的特征更高层。

所述特征融合网络在网络中采用一个分支通过双侧相应尺度的特征相减而得，另一个单通道卷积层生成注意力概率图(attentionmap)，二者运算后可以获得新的融合特征。

所述区域举荐网络中对前景与背景，用于是将少数前景候选proposal和大量不包含任何物体的背景候选proposal区分开。

所述分类回归网络中对区域举荐网络中的举荐的感兴趣区域分别进行最终输出。

优选地，所述网络模型采用预设目标检测框架包括：目标检测框架maskr-cnn。maskr-cnn是一个小巧、灵活的通用对象实例分割框架。不仅可针对图像中的目标进行检测，还可以对每一个目标给出一个高质量的分割结果。

根据本申请实施例，作为本实施例中的优选，所述装置还包括：假阳性消除模块，所述假阳性消除包括：抑制单元，用于基于预设深度学习网络进行样本训练数据的抑制；预留单元，用于在样本训练之前，随机预留部分阴性数据；负样本单元，用训练完成的检出网络对此部分数据进行预测，收集预测检出置信度高的区域，以及之前步骤训练时涉及的困难样例作为负样本；正样本单元，用于同时重复利用之前标注所得的病灶为正样本进行训练。

在本申请实施例的抑制单元中通常在乳腺钼靶检查中由于阳性病例与阴性病例数量比是极度不均衡的。为保证检出算法的召回率，需要对训练数据的阳性与阴性数据进行调整。

在本申请实施例的预留单元中具体地，在训练检测算法模型之前，在不同可能影响检出效果维度比如，不同医院，不同拍摄机型以及不同乳腺密度等级的情况，提前随机预留部分阴性数据。

在本申请实施例的负样本单元中用训练完成的检出网络对此部分数据进行预测，收集预测检出置信度高的区域，以及之前步骤训练时涉及的困难样例作为负样本，同时重复利用之前标注所得的病灶为正样本进行训练。

在本申请实施例的正样本单元中通过用与检出网络相同的多角度融合策略，以及学习能力更强的densenet做为基础网络进行学习，同时增添更多样更大范围的样本增强或、及相对位置信息等先验知识，以达到最佳区分效果。

本申请的实现原理如下：

请参考附图6以乳腺钼靶肿块检测算法为例，对本申请用于乳腺钼靶的图像处理方法的实现原理进行详细说明。

在现有技术中目标检测算法，大多仅仅基于单侧乳腺，即通过训练一个分类器，检出单张乳腺钼钯图像中的病灶。缺点在于如果只凭单侧图像往往无法确定是否是肿块，原因是每个患者的腺体分布不同，双侧对称的高密度区如果单独考虑其中一侧图像容易产生误报。如果只考虑单侧图像特征或者只考虑双侧图像的对比特征，都会忽略医生诊断过程中需要融合单侧图像特征和双侧图像对比特征的事实，从而降低检测的准确率。此外，在乳腺钼钯图像中除了缺少双侧信息，也没有利用对肿块来说最有效的边缘特征。

在本申请的实施例中发现，相较于正常腺体，肿块最明显的特征在于其边缘。肿块的边缘特征可以是边界清晰、模糊、小分叶及毛刺。为了更好地利用肿块的边缘信息，本申请采用基于maskr-cnn的乳腺钼钯检出模型同时优化目标检测和语义分割，并通过多视角学习达到同时考虑双侧图像的效果。以下是对基于maskr-cnn的乳腺钼钯检出模型的详细说明。

在包括了预处理过程，所述预处理过程包括：

(1)对图像的预处理：归一化

与乳腺钼靶成像相同，乳腺钼靶影像灰度值受许多因素影响比如，拍摄投影x光强度，患者受拍摄组织密度及厚度，器材成像重建算法及其后处理等等，不同患者在不同品牌设备拍摄出的钼靶灰度值分布可能会相差一个量级甚至更多数量级。医生在阅片时会根据实际拍摄影像调整窗宽窗位，使患者正常身体组织保持在同一亮度范围内，并最大限度提高与异常组织的对比度。可选地，可以根据不同设备或不同医院分别进行统计。

相对应的，为保证检测算法能够在不同拍摄条件下的鲁棒性，在本申请的实施例中采用了一种基于大数据图像归一化方法，具体如下：

根据同一医院同一品牌设备拍摄所得的大量钼靶影像及其对应的窗宽、窗位统计出乳腺组织的灰度分布，在输入图像动态搜索一组窗宽、窗位，使其线性映射后影像中的乳腺组织的灰度分布与之前统计所得的分布尽可能接近，根据所得的窗宽、窗位做图像归一化处理。可选地，可由采用分别动态规划灰度映射表进行映射。

(2)对图像的预处理：双侧对齐

双侧乳腺腺钼钯图像分析是将同一时期的左右两侧乳房的乳腺x线图像进行研究，由于同一个人的双侧乳腺具有某种相似的内部结构，可根据两侧乳腺出现的非对称结构进行分析，进而确定可疑病灶区域。通过比较双侧乳腺x线图像来确定肿块区域，首先需要对两幅乳腺x线图像进行配准，然后将配准过的图像共同输入到检出模型中，从而确定可疑病灶区域。

优选地，对于给定的检测对象，首先要找到对侧相同机位的图像。具体步骤如下：

降采样图像并做二值化处理提取前景或者用机器学习的方法替代。

通过泛洪填充(floodfilling)算法找出最大联通区域，即为整个乳腺。

通过开操作去除多余肌肉部分，只保留感兴趣区域，从而最大限度地对齐左右侧乳腺。此外，开操作使用的核大小也需要根据乳腺大小动态调整，防止较小的乳腺被过度腐蚀。

泛洪填充的开操作m(i)＝open(floodfilling(m))

其中，open表示形态学的开操作。

请参考附图6，是本申请实施例中的乳腺钼靶肿块检测算法结构示意图。

本文算法模型是基于当前效果最好的目标检测框架maskr-cnn。maskr-cnn是小巧、灵活的通用对象实例分割框架(objectinstancesegmentation)。不仅可对图像中的目标进行检测，还可以对每一个目标给出一个高质量的分割结果。

乳腺钼靶肿块检测算法结构主要包括如下的网络：

(1)特征提取网络，用于根据预处理后的双侧乳腺钼靶为输入，分别提取特征。可以采用双侧输入经过相同的特征提取网路，也可以采用不同的特征提取网路针对性的提取特征。

具体地，r-cnn的头部的特征提取网络由多个卷积层组成，该些卷积层即是使用预训练网络的前面若干层来初始化。以最常用的resnet50为例，使用前4个卷积块作为特征提取网络，则输入(w，h，3)的原始图像，经过4个卷积网络块会下采样16倍，即输出的featuremap是(w/16，h/16，3)。在本申请中的双侧融合模型中，双侧钼钯图像共享特征提取网络，即输入到相同网络中输出各自的featuremap。网络的前几层学习的是相对泛化的特征，比如边缘、颜色等，而靠后几层的网络学习到的特征更高层。

优选地，所述特征提取网络由多层卷积神经网络为骨干网路，在多个不同尺度的中间层提取特征图。其骨干网可以采用多种架构，可以采用vggnet，resnet，resnext，densenet，fpn等。在本申请的实施例中并不进行具体限定。

(2)特征汇合网络，包括至少一个分支用于通过双侧相应尺度的特征相减而得，另一个单通道卷积层生成注意力概率图(attentionmap)，二者相乘获得新的融合特征。

为了强调出左右侧乳腺差异，突出肿块特征，通过将两侧乳腺的featuremap特征图作差后，作为当前训练图像的featuremap特征图的attentionmap注意力概率图，从而使用两侧的差异信息来辅助肿块检出。故采用分支用于通过双侧相应尺度的特征相减。

在神经网络中，注意力模块通常是一个额外的神经网络，能够硬性选择输入的某些部分或者给输入的不同部分分配不同的权重。本申请中引入了注意力机制。所述注意力机制主要是指借助双侧图像featuremap图像特征的差异来给单侧图像的featuremap特征图像进行分配权重，从而强调疑似肿块区域。故，采用单通道卷积层生成注意力概率图(attentionmap)。

所述特征提取网络和所述特征汇合网络中的可以针对于双侧乳腺同一拍摄位置的乳腺钼靶图像作为输入，可以使用同一侧乳腺不同角度的乳腺钼靶图像作为输入。

优选地，所述特征汇合网络可以简化为单个联合或卷积操作，也可扩展为多层、多分支的相加、相减、相乘等操作，在本申请的实施例中并不进行具体限定。

(3)生成目标定位框的区域举荐网络(regionproposalnetwork，rpn)，这一步只对前景与背景做出，不考虑目标的类别。

具体地，在rpn阶段仅关注前景即是指肿块与背景即不包含目标物体的二分类问题，并不关注前景物体类别标签。其目标是将少数前景proposal和大量不包含任何物体的背景proposal区分开。

具体地，针对同一个检出框，分类是为了输出该框的类别标签，框回归是为了对框的位置进行修正从而更贴近物体，分割则是为了得到物体的外轮廓。

优选地，所述区域举荐网络rpn，连接在多视角融合网络之后，用来检测并定位物体。它使用不同大小、长宽比的默认检测框来找到不同大小、形状的目标。打分最高的那些检测框将作为举荐区域输入到网络后续模块。

(4)分类/回归网络，用于对之前举荐的感兴趣区域分别进行最终输出。从功能上来说，该模块会同时进行分类，框回归，以及分割三个任务。

可选地，对于不需要像素级别统计的使用场景，图像分割可以省略。

对所述所述乳腺钼靶的目标图像区域还包括假阳性消除的步骤，具体步骤包括：在乳腺钼靶检查中，由于阳性病例与阴性病例数量比是极度不均衡的。为保证检出算法的召回率，通常会对训练数据的阳性与阴性数据进行调整即可以包括切不限于对阳性数据过采样，和、或对阴性数据降采样，但是出现误报数也会相应增多。针对上述问题，在本申请的实施例中采用深度学习网络来抑制此类问题，具体方法如下：

首先，在训练之前的检出模型时，在不同可能影响检出效果维度下比如，医院，拍摄机型，乳腺密度等级，并提前随机预留部分阴性数据。

其次，采用训练完成的检出网络对此部分数据进行预测，收集预测检出置信度高的区域以及之前在检出模型训练时涉及的困难样例作为负样本，同时重复利用之前标注所得的病灶为正样本进行训练。

最后，采用与检出网络相同的多角度融合策略以及及学习能力更强的densenet做为基础网络进行学习。同时还增添了更多样更大范围的样本增强以及相对位置信息等先验知识，以达到最佳区分效果。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。