用于乳腺摄影多视图肿块识别的方法和装置与流程

用于乳腺摄影多视图肿块识别的方法和装置
相关申请的交叉引用
1.本技术要求于2020年8月31日提交的美国临时专利申请号63/072,379的优先权。本技术还要求于2021年2月2日提交的美国专利申请号17/165,087的优先权，其内容通过引用整体并入。
技术领域
2.本发明涉及医疗器械技术领域，尤其涉及一种乳腺摄影多视图肿块识别的方法及装置。


背景技术：

3.乳房x光照相术被广泛用作性价比高的乳腺癌早期检测方法。计算机辅助诊断(computer-aided diagnosis，cad)系统有望检测数字化乳房x光图像上的异常区域。大多数基于深度神经网络(基于dnn)的乳房x光照片分析方法都是为单视图分析而设计的。特别是随着基于dnn的方法的改进，cad系统的性能方面最近取得了重大进展。尽管如此，乳房x光异常检测仍然具有挑战性，很大程度上是由于临床实践设定的高精度要求。
4.标准的乳房x光照相术筛查程序为每个乳房获取两个低剂量x射线投影视图，即头尾(craniocaudal，cc)视图和侧斜位(mediolateral oblique，mlo)视图。放射科医生通常会在乳腺癌诊断中使用所有视图。同侧分析是指根据同一乳房的cc视图和mlo视图进行诊断，而双侧分析结合了两个乳房的相同视图(即两个cc视图或两个mlo视图)的结果。例如，放射科医生可以通过同侧分析交叉检查病变位置，并利用双侧分析的对称信息来提高决策准确性。
5.许多现有的乳腺摄影病变检测方法集中于一个视图，因此它们无法从多视图分析中捕获丰富的信息。最近提出了几种基于dnn的双视图方法，执行同侧分析或双侧分析。然而，现有的基于dnn的架构仍需要进一步改进，以便为多视图分析提供所需的性能。所公开的用于乳腺摄影多视图肿块识别的方法和装置旨在解决上述一个或多个问题以及本领域中的其他问题。


技术实现要素：

6.本公开的第一方面提供一种应用于用于乳腺摄影多视图肿块识别的装置的方法。所述方法包括：接收主图像、第一辅助图像和第二辅助图像。所述主图像和所述第一辅助图像为人的一个乳房的图像，所述第二辅助图像为该人的另一个乳房的图像。该方法还包括：基于所述主图像和所述第一辅助图像检测乳头位置；基于所述主图像、所述第一辅助图像和所述乳头位置，生成所述主图像的第一概率图；基于所述主图像、所述第二辅助图像和所述乳头位置，生成所述主图像的第二概率图；及基于所述第一概率图和所述第二概率图生成并输出融合概率图。
7.本公开的另一方面提供一种用于乳腺摄影多视图肿块识别的装置。所述装置包
括:乳头检测器，配置为接收人的一个乳房的主图像和第一辅助图像，并且基于所述主图像和所述第一辅助图像检测乳头位置；同侧分析器，配置为接收所述主图像、所述第一辅助图像和由所述乳头检测器获得的所述乳头位置，并生成及输出所述主图像的第一概率图；双侧分析器，配置为接收所述主图像、所述乳头位置和第二辅助图像，并生成及输出所述主图像的第二概率图。所述第二辅助图像为该人的另一个乳房的图像。该装置还包括集成融合网络设备，配置为接收所述主图像、所述第一概率图和所述第二概率图，并生成及输出融合概率图。
8.本领域的技术人员根据本公开的说明书、权利要求和附图能够理解本公开的其他方面。附图的简要说明
9.下列附图仅是根据各种公开的实施例用于说明目的的示例，并不旨在限制本公开的范围。
10.图1示出了根据本公开的各种实施例的用于乳腺多视图肿块识别的示例性的装置的结构示意图；
11.图2示出了根据本公开的各种实施例的用于乳腺多视图肿块识别的示例性的装置的操作过程的数据流示意图；
12.图3示出了图1所示的用于乳腺多视图肿块识别的装置中的示例性的双侧分析器的结构示意图；
13.图4示出了图1所示的用于乳腺多视图肿块识别的装置中的示例性的同侧分析器的结构示意图；
14.图5示出了头尾图像和侧斜位(mediolateral oblique image)图像中roi到乳头距离的相似性的示例；
15.图6示出了图1所示的用于乳腺多视图肿块识别的装置中的示例性的集成融合网络设备的结构示意图；
16.图7示出了根据本公开的各种实施例的乳头检测器的操作过程的流程图；
17.图8示出了根据本公开的各种实施例的图像配准器的操作过程的流程图；
18.图9示出了根据本公开的各种实施例的同侧分析器的操作过程的流程图；
19.图10示出了根据本公开的各种实施例的双侧分析器的操作过程的流程图；及
20.图11示出了根据本公开的各种实施例的集成融合网络设备的操作过程的流程图。
具体实施方式
21.现在将详细参考在附图中示出的本发明的示例性实施例。附图将尽可能使用相同的标记来指代相同或相似的部分。
22.先前已经认识到来自多视图乳房x光照片的信息融合的重要性。许多现有的多视图信息融合方法依赖于手工制作的特征和融合规则。随着深度学习技术的发展，基于dnn的方法的应用在医学图像处理和计算机视觉领域取得了广泛的成功。
23.深度学习已经应用于乳房x线摄影肿块检测，并且大部分工作集中在基于单视图的方法上。最近，基于多视图的方法引起了越来越多的兴趣，并且已经提出了不同的基于dnn的方法来用于多视图乳房x线照片的同侧分析。然而，大多数现有方法都没有明确地对
跨视图的几何关系进行建模。例如，在现有方法中，在siamese networks中添加一个跨视图关系网络用于肿块检测，但是用于关系网络的几何特征和嵌入与用于单视图对象检测的方法中使用的几何特征和嵌入相同。在另一个示例中，提出了基于dnn的方法用于双侧分析，而不同时提供同侧分析。其他示例性的基于多视图的方法包括用于肿块分类的基于rnn的多视图方法、用于乳腺癌筛查的基于dnn的多视图方法等。
24.根据所公开的用于乳腺摄影多视图肿块识别的装置和方法，具有连体输入的faster-rcnn网络模块和具有连体输入的deeplab网络模块并行工作以同时执行同侧分析和双侧分析。本公开的关系网络被明确设计为与基于dnn的乳头检测器一起编码肿块到乳头的距离以用于同侧分析。本公开的方法将肿块到乳头的距离明确地嵌入到dnn体系结构中以用于乳房x线摄影病变检测。
25.本公开提供了一种用于乳腺摄影多视图肿块识别的装置。图1示出了本公开的各种实施例的用于乳腺摄影多视图肿块识别的示例性的装置的结构示意图。参考图1，该装置可包括乳头检测器、图像配准器、同侧分析器、双侧分析器和集成融合网络设备。
26.所述乳头检测器可以被配置为接收人的乳房的主图像和乳房的第一辅助图像，并且基于所述主图像和所述第一辅助图像检测乳头位置。所检测的乳头位置可能有助于在后续过程中确定从感兴趣区域(region of interest，roi)到乳头的距离。在一个实施例中，所述乳头检测器可以是基于dnn的乳头检测器。
27.在一个实施例中，所述主图像可以是右头尾(right craniocaudal，rcc)图像，并且所述第一辅助图像可以是同侧图像，例如，右侧斜位(right mediolateral oblique，rmlo)图像。也就是说，所述主图像可以是右乳房的cc图像并且所述第一辅助图像可以是右乳房的mlo图像。需要说明的是，所述主图像和所述第一辅助图像可以是同一乳房的同侧图像。在许多情况下，可能有四种乳腺x线摄影图像可用：rcc图像、rmlo图像、左头尾(left craniocaudal，lcc)图像和左侧斜位(left mediolateral oblique，lmlo)图像，因此，所述主图像和所述第一辅助图像的组合可以有四种不同的选择：所述主图像是rcc图像，而所述第一辅助图像是rmlo图像；所述主图像为rmlo图，而所述第一辅助图像为rcc图；所述主图像是lcc图像，而所述第一辅助图像是lmlo图像；所述主图像是lmlo图像，而所述第一辅助图像是lcc图像。
28.所述图像配准器可以被配置为接收所述主图像和初始辅助图像，翻转所述初始辅助图像，然后根据乳房轮廓将翻转后的初始辅助图像向所述主图像扭曲以生成第二辅助图像。由所述图像配准器接收的所述主图像可以与由所述乳头检测器所接收的所述主图像相同。在一个实施例中，所述图像配准器接收的所述初始辅助图像可以是双侧图像，例如lcc图像。在对所述初始辅助图像进行翻转和扭曲之后，可以将获得的第二辅助图像发送到所述双侧分析器，以促进基于dnn的双侧图像对称约束学习。例如，所输入的是一对相同的视图图像(例如，所述两个cc视图图像或所述两个mlo视图图像)，包括所述主图像和所述初始辅助图像，可以被配准，可以将作为所述初始辅助图像的图像根据乳房轮廓向所述主图像水平翻转和扭曲以获得所述第二辅助图像。所述主图像可以是从两对图像中选择的图像，该两对图像包括一对cc图像和一对mlo图像。一旦选择了所述主图像，所述初始辅助图像可以是来自同一对的另一图像，并且所述第一辅助图像可以是来自另一对的图像。例如，当所述主图像为一个乳房的一个cc图像时，所述初始辅助图像也可以为cc图像，但对应另一个
乳房，所述第一辅助图像可以为同一乳房的mlo图像。因此，所述第一辅助图像和所述主图像可以从同一乳房拍摄，使得所述第一辅助图像和所述主图像可以是一对同侧图像。例如，当所述主图像为lcc图像时，所述第一辅助图像可以为lmlo图像，所述初始辅助图像可以为rcc图像；当所述主图像为rmlo图像时，所述第一辅助图像可以为rcc图像，及所述初始辅助图像可以为lmlo图像。
29.所述同侧分析器可以被配置为接收所述主图像、所述第一辅助图像和由所述乳头检测器获得的所述乳头位置。所述同侧分析器还可以被配置为基于所述主图像、所述第一辅助图像和所述乳头位置生成和输出所述主图像的第一概率图(例如，同侧概率图(ipsi-prob map))。
30.所述双侧分析器可以被配置为接收所述主图像连同所述乳头位置和由图像配准获得的所述第二辅助图像。所述双侧分析器还可以被配置为基于所述主图像、所述乳头位置以及扭曲和翻转的双侧图像生成并输出所述主图像的第二概率图(例如，双概率图(bi-prob map))。
31.所述第一概率图和所述第二概率图可以是所述同侧图像和所述双侧图像的综合信息的关注点。例如，所述第一概率图和所述第二概率图可以分别包括由所述同侧分析器和所述双侧分析器生成的所述主图像中的像素点的肿瘤信息。所述主图像中的像素点的肿瘤信息可以包括由所述像素点的亮度所确定的纹理密度。另外，还可以将亮度相近的相邻像素点进一步确定为一个区域以进行进一步分析。例如，所述同侧分析器和所述双侧分析器中的每一个还可以进一步被配置为基于两个输入图像计算相邻像素点之间的相似度(例如，用于所述同侧分析器的所述主图像和所述第一辅助图像，以及用于所述双侧分析器的所述主图像和所述第二个辅助图像)以确定包含具有相似亮度的像素点的每个区域。此外，可以将亮度、形状、面积大小和/或位置偏离预期值的区域确定为roi。例如，可以为亮度、形状、面积大小、相对于乳头位置的相对位置等参数中的每一者预设一个阈值，当某一区域的所述参数中的至少一者超过对应的阈值时，确定该区域为roi。
32.在一个实施例中，所述第一概率图还可以包括所述主图像上的每个像素点的病变可能性；所述第二概率图还可以包括所述主图像上的每个像素点的病变可能性。所述同侧分析器和所述双侧分析器中的每一者可以基于输入图像来确定每个像素点的病变可能性。此外，可以将具有病变可能性超过预设可能性的像素区域确定为roi。
33.需要说明的是，所述第一概率图和所述第二概率图均为根据本公开的用于乳腺多视图肿块识别的装置进行病灶分析的中间结果。可以在所述集成融合网络设备中进一步分析所述第一概率图和所述第二概率图，以便生成更准确的所述主图像的概率图。
34.所述集成融合网络设备可以被配置为接收所述主图像、来自所述同侧分析器的所述第一概率图和来自所述双侧分析器的所述第二概率图。此外，所述集成融合网络设备可以被配置为基于所述主图像和所述两个概率图生成并输出融合概率图。所述融合概率图可以包括所述主图像上的每个像素点的病变可能性。通过将所述第一概率图和所述第二概率图一起分析以生成所述融合概率图，可以更准确地判断所述主图像上的每个像素点的病变可能性。因此，所公开的用于乳腺摄影多视图肿块识别的装置可以提高确定乳腺摄影病变的准确性。进一步地，可以根据所述融合概率图确定一个或多个roi，并且还可以确定每个roi的位置、大小和形状。
35.图2示出了根据本公开的各种实施例的用于乳腺摄影多视图肿块识别的示例性的装置的操作过程的数据流的示意图。该装置可以与图1所示的装置一致。参考图2所示，首先，可以选择一个乳房的一张图像作为所述主图像，选择其对应的同侧视图和双侧视图作为所述辅助图像。所述主图像和所述辅助图像可以一起输入到所述装置中。例如，所述主图像可以是rcc视图，所述辅助图像可以包括与所述主视图对应的同侧视图和双侧视图。所述同侧视图可以是rmlo视图，而所述双侧视图可以是lcc视图。所述rcc视图和所述rmlo视图可以一起输入到所述同侧分支。并行地，所述rcc视图和所述lcc视图可以一起输入到所述双侧分支中。每个分支可以生成所述主图像的概率图(例如，图2中所示的ipsi-prob图和bi-prob图；或者如上所述的第一概率图和第二概率图)并且由所述两个分支生成的概率图可以与所述主图像(rcc视图)一起输入到所述集成融合网络设备中，以生成最终输出，例如，所述融合概率图。在所述同侧分支中，可以添加基于dnn的乳头检测器以提取两个视图(例如，rcc视图和rmlo视图)上的乳头位置。然后可以将所述乳头位置连同用于同侧分析的所述两个视图一起输入到所述同侧分析器中。在所述双侧分支内部，所述双侧视图(lcc视图)可以在与所述主图像(rcc视图)一起发送到所述双侧分析器之前在所述图像配准器中配准。这种组合的同侧分析和双侧分析可以应用于用作所述主图像的任何给定图像。
36.根据所公开的装置，图像配准器和同侧分析器可能都需要使用从输入图像中提取的乳头位置。在一个实施例中，所述乳头检测器可以包括基于faster-rcnn的关键点检测框架，这样能够以令人满意的精度识别所述乳头位置。例如，在包含总共11,228张图像的内部数据集中，只有一张乳头预测不正确。
37.大多数女性具有在密度和质地方面大致对称的乳房。放射科医生充分利用此属性来识别乳房x线照片中的异常。依靠双侧双视图，放射科医生能够根据其独特的形态外观和与另一侧图像中相应区域的相对位置来定位肿块。
38.为了合并该诊断信息并促进对称约束的学习，开发了双侧分析器。图3示出了图1所示的用于乳腺摄影多视图肿块识别的装置中的示例性的双侧分析器的架构。如图3所示，所述双侧分析器可能源自deeplab v3+结构，增强了第一siamese输入模式和像素级焦损(pixel-wise focal loss，pwfl)函数。所述第一siamese输入模式可以包括两个空洞卷积模块。所述两个空洞卷积模块可以共享相同的权重，并以相同的方式从双侧图像中提取特征图。每个空洞卷积模块可能包括五个50层的残差网络(resnet-50)所串联形成的一个五级网络，以及一个非局部(non-local，nl)块位于第四级(stage 4)和第五级(stage 5)之间。每个空洞卷积模块中的resnet-50都可以充当主干。接收所述主图像的空洞卷积模块还可以包括在第三阶段(stage 3)的低级特征的输出。两个空洞卷积模块提取的特征图可以分别是主特征图和辅助特征图。然后可以将所述辅助特征图假定为参考并与所述主要特征图连接。反过来，同一位置的特征差异可以突出异常。例如，来自两个空洞卷积模块的主干的输出可以执行通道级联，而1
×
1卷积可以将级联张量的通道数下采样为一半。所述双侧分析器还可以生成所述主图像的分割图。在训练过程中，可以使用pwfl函数来提高所述双侧分析器的性能。
39.同侧图像提供来自两个不同视图的同一乳房的信息。因此，同侧图像中的肿块通常呈现与乳头相似的亮度、形状、大小和距离。这些知识对于帮助放射科医生做出决定至关重要。为了结合这种诊断知识，开发了同侧分析器。图4示出了图1所示的用于乳腺摄影多视
图肿块识别的装置中的示例性的同侧分析器的架构。参考图4，所述同侧分析器可能建立在faster-rcnn检测架构上。所述同侧分析器可以包括第二siamese输入模式、特征金字塔网络(feature pyramid networks，fpn)模块和关系块。所述第二siamese输入模式与所述fpn模块一起可以使两个输入分支共享相同的权重并以相同的方式从两个同侧视图中提取特征。因此，可以使用关系块计算来自两个分支的roi之间的外观相似性和几何约束。进一步地，可以检测主图像中的像素点的肿块信息并转换成概率图。此外，在训练过程中，可以使用焦点损失(focal loss，fl)和距离交叉联合损失(distance-intersection-over-union loss，diou)来提高同侧分析器的性能，并可以启用负样本(正常情况)的训练。应当注意，所述同侧分析器可以包括多个关系块以改进输出。例如，如图4所示，可以使用第二关系块(关系块中没有显示细节)再次计算roi之间的外观相似度和几何约束，从而提升结果的准确性。
40.如图4所示，所述关系块可以根据外观和几何特征的相似性对单个图像中的两个roi之间基于注意力的关系进行建模，从而提高检测精度。例如，所述关系块可以基于roi的亮度、形状、大小和位置的相似性对单个图像中两个roi之间的关系进行建模。在一个实施例中，roi的相对位置可以包括从roi到由乳头检测器确定的乳头位置的距离。此外，可以建议由所述关系块来强调两个同侧图像中病变roi的外观和几何相似性。在一个实施例中，外观和几何相似性可以描述为：其中ε(
·
,
·
)代表几何嵌入操作，代表所述主图像的第i个roi的几何因子，代表所述辅助图像的第j个roi的几何因子，是所述主图像的第i个roi的roi到乳头(roi-to-nipple)的距离，是所述辅助图像的第j个roi的roi到乳头的距离，是所述主图像的第i个roi的宽度，是所述辅助图像的第j个roi的宽度，是所述主图像的第i个roi的高度，是所述辅助图像的第j个roi的高度。
41.为了整合同侧学习和双侧学习的输出，集成融合网络被设计为接受三个输入：所述主图像和来自所述同侧分析器和所述双侧分析器的所述两个概率图(参见图1至图2)。这两个概率图可能是对来自双侧图像和同侧图像的综合信息的关注。该策略也适用于乳房x光癌症筛查。图6示出了图1所示的用于乳腺多视图肿块识别的装置中的一个示例性的集成融合网络设备的结构示意图。需要注意的是，图6中的resnet-50主干网来自所述同侧分析器，并在训练过程中被冻结。所述集成融合网络可以被配置为处理所述输入并生成预测结果。
42.本公开还提供了一种用于乳腺摄影多视图肿块识别的方法。该方法可以应用于符合本公开各个实施例的装置。也就是说，该装置可以包括乳头检测器、图像配准器、同侧分析器、双侧分析器和集成融合网络设备。图7示出了根据本公开的各个实施例的乳头检测器的操作过程的的流程图。
43.如图7所示，该方法可以包括：在s101中，所述乳头检测器接收人的乳房的主图像和第一辅助图像；在s102中、所述乳头检测器根据所述主图像和所述第一辅助图像检测乳
头位置；在s103中，所述乳头检测器输出检测到的乳头位置。在一个实施例中，所述主图像可以是rcc图像，所述第一辅助图像可以是同侧图像，例如rmlo图像。
44.图8示出了根据本公开的各种实施例的图像配准器的操作过程的流程图。参图8所示，该方法还可以包括：s201、所述图像配准器接收所述主图像和初始辅助图像；s202、翻转所述初始辅助图像；s203、根据乳房轮廓将翻转后的所述初始辅助图像向所述主图像扭曲，得到第二辅助图像；在s204中，所述图像配准器输出所述第二辅助图像。在一个实施例中，所述图像配准器接收的所述初始辅助图像可以是双侧图像，例如lcc图像。
45.图9示出了根据本公开各个实施例的同侧分析器的操作过程的示意性流程图。参考图9所示，该方法可以包括：在s301中，所述同侧分析器接收所述主图像、所述第一辅助图像和所述乳头位置；在s302中，所述同侧分析器根据所述主图像、所述第一辅助图像和所述乳头位置生成并输出所述主图像的第一概率图(例如ipsi-prob图)。
46.图10示出了根据本公开的各种实施例的双侧分析器的操作过程的示意性流程图。参考图10所示，该方法可以包括：在s401中，所述双侧分析器接收所述主图像、所述第二辅助图像和所述乳头位置；在s402中，所述双侧分析器根据所述主图像、所述第二辅助图像和所述乳头位置生成并输出所述主图像的第二概率图(例如，bi-prob图)。
47.图11示出了根据本公开的各种实施例的集成融合网络设备的操作过程的示意性流程图。参考图11所示，该方法还可以包括：在s501中，所述集成融合网络设备接收所述主图像、所述第一概率图和所述第二概率图；在s502中，根据所述主图像、所述第一概率图和所述第二概率图生成并输出融合概率图。
48.所述组合分析可以应用于可用的数据集中的所有视图以在每个视图上生成肿块检测。实际上，可用的数据集包括公共数据集和内部数据集。公共数据集是乳腺x光筛查的数字数据库(ddsm)数据集，已广泛用于乳腺x光病变检测。ddsm数据集包含2,620个患者病例，每个病例都有乳房x线照片的四个视图(每个乳房的两个视图：左侧cc和mlo，右侧cc和mlo)。排除一些有缺陷/损坏的案例，2,578个案例(总共10,312个图像)被应用于所公开的装置。所有案例都按大约8:1:1的比例随机分为训练集、验证集和测试集，在各自的集中产生8,256、1,020和1,036张图像。内部数据集是从一家医院获得的，以验证所提出的方法。内部乳房x光数据集有2,749个病例，包括正常、癌症和良性病例，接近实际分布。病变区域首先由两名放射科医生进行注释，然后由一名高级放射科医生进行审查。与公共ddsm数据集上的划分策略相同，所有案例按8:1:1随机划分，训练集、验证集和测试集分别有8,988、1,120和1,120张图像。应该注意的是，有些病例在多个日期拍摄了乳房x光照片。
49.为了促进基于dnn从所述双侧图像学习对称性约束，可以配准相同视图图像输入对(例如，两个cc视图图像或两个mlo视图图像)。在一个实施例中，如2图所示，输入图像对可以是两个cc视图图像，例如rcc图像和lcc图像。应当注意，在其他实施例中，输入图像对可以是两个mlo视图图像，例如rmlo和lmlo。进一步地，可以将输入到图像配准器中的辅助图像水平翻转，然后根据乳房轮廓向主图像扭曲。此外，乳头位置可用于在扭曲前粗略对齐两个mlo图像。翻转和扭曲的cc视图示例在图2中示出。
50.每个数据集上的模型是基于预训练的imagenet模型独立训练的。可以选择最先进的(state-of-the-art，sota)自由响应操作特性(free-response operating characteristic，froc)作为评估指标，以与已知方法进行比较。当预测输出与正确的标注
的交并比(intersection-over-union，iou)大于0.2时，可以假定肿块已成功识别。
51.所述双侧分析器、所述同侧分析器和所述同侧分析器的降级版本，例如“ipsidualnet w/o relation blocks”(来自主图像和辅助图像的两个特征流在roi对齐阶段后直接连接)，使用同侧图像和双侧图像进行训练和测试。表1显示了ddsm的结果(例如，消融研究结果)，这表明双侧分析器总是在双侧图像上获得最高的召回分数，而同侧分析器通常在同侧图像上具有更好的性能。此外，同侧分析器在同侧图像上的性能优于降级版本，表明设计的所述关系模块显著提高了同侧分析器的性能。因此，双侧分析器和同侧分析器可以分别应用于乳腺摄影多视图肿块识别的装置中的双侧分析和同侧分析。因此，分割网络可能能够保持空间信息，因此可能更适合对称学习，而检测网络可能更适合基于roi的关系学习。表1
52.此外，还研究了不同几何特征对同侧分析器的影响，包括roi的形状和位置、虚拟乳头和roi到乳头的距离。表2显示了不同几何特征对内部数据集的预测性能的影响。如表2所示，结果表明基于roi到乳头的距离的几何特征可能能够产生同侧分析器的最佳性能。表2
53.表3比较了各种方法在ddsm数据集上的性能。选择不同的单视图方法和双视图方法作为竞争方法，这些方法报告了使用froc指标的正常患者数据对ddsm的评估。所公开的三视图方法展示了比任何现有的单视图方法或双视图方法更高的召回分数。在表3中，cvr-rcnn表示基于跨视图关系区域的卷积神经网络(cross-view relation region-based convolutional neural network)，cbn表示对比双侧网络(contrasted bilateral network)。表3
54.如表4所示，还在内部数据集上测试了各种方法。所公开的三视图方法再次在所有fpi上实现了最高的召回分数。此外，由于图像质量更高，所提出的方法在内部数据集上的召回率分数明显高于ddsm数据集。此外，应当注意，所公开的装置能够接受具有不完整的视图的乳房x线照片。表4
55.与现有的乳腺摄影病变检测系统和方法相比，所公开的装置和方法展示了以下示例性优点。
56.根据所公开的装置和方法，采用第一三视图dnn架构来充分聚合来自所有视图的信息，从而执行共同的端到端的同侧分析和双侧分析。此外，开发了一种与基于dnn的乳头检测器串联设计的新型关系网络，以合并跨视图的几何约束，从而提高了分析的准确性。此外，通过采用所公开的装置和方法，在ddsm数据集和内部数据集上都实现了sota froc性能。
57.本发明提供的实施例采用递进的方式描述。每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部件可以互相引用。对于实施例中公开的装置，由于其与所公开的方法具有对应关系，所以描述的比较简单。所公开的装置的细节可以参见方法描述中的相应内容。
58.本领域技术人员还可以认识到，结合本文中所公开的实施例描述的单元和算法步骤可以通过电子硬件、计算机软件或者两者的结合来实现。为了清楚地说明硬件和软件的互换性，各种示例的元件和步骤已经根据它们的功能进行了一般性描述。这些功能是通过硬件还是软件来实现，取决于具体的应用和技术方案的设计约束。对于每个特定的应用，本领域的技术人员可以使用不同的方法来实现所描述的功能。然而，这样的实施不应被认为超出本公开的范围。
59.本文所公开的实施例所描述的方法或算法的步骤可以直接通过硬件、处理器可执行的软件模块或两者的组合来实现。所述软件模块可以位于随机存取存储器(ram)、内部存储器、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom或其他存储介质中，这在该领域是众所周知的。
60.以上对所公开的实施例的描述使得本领域的技术人员能够实现或使用本公开。对所述实施例的各种修改对于本领域技术人员来说是显而易见的。在不脱离本公开的精神或范围的情况下，本文的一般原理可以在其他实施例中实现。因此，本公开不应限于在此描述的这些实施例，而是应该符合与在此公开的原理和新颖特征一致的最宽范围。