病理图像的显示方法及装置与流程

1.本发明涉及医疗技术领域，特别涉及病理图像的显示方法及装置。


背景技术：

2.近年来，癌症发病率和死亡率不断上升，造成了严重的社会经济和公共健康负担。病理检查作为癌症确诊的金标准，病理科医生需要进行大量的阅片工作，才能完成一例病例的病理诊断。在传统的显微镜阅片中,病理图像的放大倍数固定，阅片医生需要在低倍镜下寻找合适的视野，然后将该视野移至中央后再换高倍镜继续观察，最终得到合适的观察结果。随着病理图像数字化进程的不断加快，越来越多的场景中能够使用全画幅的数字病理图像，如：常规阅片、图像数据储存、远程会诊等，同时，数字化病理图像的广泛使用也为人工智能辅助病理阅片成为可能。在人工智能辅助下，通过直接显示全画幅病理图像中医生可能的感兴趣区域，并对该区域中的细胞进行标记，能够辅助医生更加高效的完成阅片工作，并且提高阅片质量。
3.针对上述的现有技术，目前的阅片软件只能够提供对数字化病理图像的放大及查看功能，但对于全画幅病理图像内信息的提取和展示方面功能较为单一，因此能够提供合适的交互方式，帮助医生快速的做出诊断，避免病理阅片时繁复的放大缩小等重复操作成为本领域亟待解决的问题。


技术实现要素：

4.本发明提供一种病理图像的显示方法及装置，自动提取病理图像中需要关注区域及对应该区域的信息，并以较为直观的列表方式进行显示，使医生快速的了解病理图像的关键信息。
5.为了实现上述目的，本发明提供的一种病理图像的显示方法，包括：
6.识别病理图像中的细胞信息；
7.根据所述病理图像中的细胞信息生成多个目标区域；
8.统计所述目标区域中的目标细胞数量，并按目标细胞的数量对目标区域进行排序显示。
9.可选的，所述方法中，所述目标细胞为非肿瘤细胞、肿瘤细胞、阳性肿瘤细胞、阴性肿瘤细胞、免疫细胞中的一种或多种。
10.可选的，所述方法中，当所述目标区域的目标细胞的数量一致时，通过目标区域的其他细胞的数量进行目标区域的排序并显示。
11.可选的，所述方法中，所述统计所述细胞区域中的目标细胞，并按目标细胞的数量进行细胞区域的排序并显示，包括：
12.当目标细胞为两种细胞时，按两种细胞的比值排序并显示。
13.可选的，所述方法中，所述目标区域包括第一目标区域和/或第二目标区域，根据所述病理图像中的细胞信息生成目标区域包括：
14.将所述病理图像均分成n个区域，其中n为大于1的自然数；
15.在n个区域中根据所包含的至少一种指定细胞的数量确定预设数量的第一目标区域，
16.响应于用户的第一操作，在所述病理图像中生成自定义区域；
17.将所述自定义区域作为第二目标区域。
18.可选的，所述的方法还包括识别病理图像中的目标细胞，所述识别病理图像中的目标细胞包括：
19.确定病理图像中各细胞核的中心点，基于所述细胞核的中心点确定细胞核；
20.将所述细胞核输入至第一分类模型以获得细胞是目标细胞的置信度；
21.基于所述细胞是目标细胞的置信度和第一阈值识别所述病理图像中的目标细胞。
22.可选的，所述方法还包括：
23.当所述目标细胞是肿瘤细胞时，将所述肿瘤细胞输入至第二分类模型以获得细胞是阳性肿瘤细胞的置信度；
24.基于所述细胞是阳性肿瘤细胞的置信度和第二阈值识别所述病理图像中的阳性肿瘤细胞。
25.可选的，所述方法中，基于所述细胞核的中心点确定细胞核包括：在所述病理图像中，以所述细胞核的中心点为中心，形成预设邻域，所述细胞核包含于所述预设邻域中。
26.本发明还提供一种病理图像的显示装置，包括：
27.识别单元，用于识别病理图像中的细胞信息；
28.区域生成单元，用于根据所述病理图像中的细胞信息生成多个目标区域；
29.显示单元，用于统计所述目标区域中的目标细胞数量，并按目标细胞的数量对目标区域进行排序显示。
30.本发明还提供一种计算机设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行所述的病理图像的显示方法。
31.本发明的病理图像的显示方法及装置，通过预设条件，确定病理图像中医生可能感兴趣的区域(目标区域)，并将所述区域通过指定方式标记后显示，使医生能快速找到感兴趣区域(目标区域)，并对该区域进行确认。本发明的病理图像的显示方法及装置，可以将所述感兴趣区域以目标细胞(医生关注的细胞)的数量排序、或以不同目标细胞的数量比值等方式排序后形成列表并进行显示，能更好的辅助医生选择和观察感兴趣区域。
32.进一步地，本发明的病理图像的显示方法及装置，还提供医生自定义感兴趣区域的功能，根据医生的选择，统计医生选择区域的目标细胞的数量，将医生自定义的区域(第二目标区域)和自动生成区域(第一目标区域)一起进行排序，进一步方便了医生解读病理图像。
33.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
34.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
35.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
36.图1为根据本发明实施例的病理图像的显示方法的流程图；
37.图2为根据本发明实施例的识别病理图像中的目标细胞的流程图；
38.图3为根据本发明实施例的病理图像的显示界面的示意图；
39.图4为根据本发明实施例的自定义目标细胞的界面示意图。
具体实施方式
40.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
41.本实施例的技术方案中的细胞染色图像，涉及了免疫检查和结果判断。免疫检查点抑制剂作为一种新的抗癌手段，通过激活患者自身的免疫系统，从而实现对癌细胞的识别和杀伤。作为此类药物的伴随诊断或补充诊断，病理免疫组化检测在确定患者是否适用该治疗方法上有着关键作用。对免疫检查点(以pd
‑
1/pd
‑
l1为例)的免疫组化染色结果判读，是通过在显微镜下选择若干视野，以大致计算全片的阳性肿瘤细胞、免疫细胞的比例，得出检测结果。
42.数字切片系统将整个载玻片全信息、全方位快速扫描，使传统物质化的载玻片变成数字化病理切片，可使病理医生脱离显微镜，随时随地通过电子设备解决病理诊断，实现在线同步远程会诊或离线远程会诊。由于提供全切片信息，使诊断价值等同显微镜观察。其可用于病理临床诊断、病理教学、组织学细胞成像、荧光分析、免疫组化数字成像。数字切片包含了玻璃切片上的所有病变信息，此数字切片(超大空间、高分辨率图片)可以在电脑上进行任意的放大和缩小，且利用数字切片可以观测到玻璃切片上的任何一个位置，也可以将相应的位置放大到5倍、10倍、20倍、40倍，如同在显微镜上的放大缩小一样。
43.图1为根据本发明实施例的病理图像的显示方法的流程图。如图1所示，为了便于医生判读病理图像，本实施例提供的病理图像的显示方法，包括：
44.s11，识别病理图像中的细胞信息。
45.s12，根据所述病理图像中的细胞信息生成多个目标区域。
46.s13，统计所述目标区域中的目标细胞数量，并按目标细胞的数量对目标区域进行排序显示。
47.执行s11，识别病理图像中的细胞信息。本实施例中的病理图像以免疫组化染色图像为例，所述病理图像中包括：非肿瘤细胞、肿瘤细胞、免疫细胞等，所述肿瘤细胞又可以细分为阳性肿瘤细胞和阴性肿瘤细胞，因此所述识别细胞信息是指识别病理图像中的细胞为上述细胞中的哪一种细胞。本实施例中根据用户的需求，所述各类细胞都可以成为目标细胞，以下以识别病理图像中的目标细胞为例对识别病理图像中的细胞信息进行相应的说明。
48.图2为根据本发明实施例的识别病理图像中的目标细胞的流程图。本实施例中识
别病理图像中的目标细胞，包括：
49.s21，确定病理图像中各细胞核的中心点，基于所述细胞核的中心点确定细胞核。
50.s22，将所述细胞核输入至第一分类模型以获得细胞是目标细胞的置信度。
51.s23，基于所述细胞是目标细胞的置信度和第一阈值识别所述病理图像中的目标细胞。
52.执行s21，确定病理图像中各细胞核的中心点，基于所述细胞核的中心点确定细胞核。首先，可以将所述病理图像输入至分割模型以获得每一个像素点为细胞核的中心点的置信度。所述分割模型可以为以vgg作为backbone的u
‑
net神经网络模型，也可以是全卷积神经网络(fcn，fully convolutional network)模型等。所述分割模型可以包括依次连接的特征提取模块、下采样模块和上采样模块。其中，特征提取模块可以包括连续的第一卷积单元和第二卷积单元，第一卷积单元可以包括一个2d卷积层、一个批量归一化(bn，batch narmalization)层和一个激励函数层，第二卷积单元也可以包括一个2d卷积层、一个批量归一化层和一个激励函数层。本实施例中的激励函数可以为多种类型的激励函数，如，可以为线性整流函数(relu，rectified linear unit)。
53.本实施例中，上采样模块和下采样模块的数量可以由本领域技术人员根据实际经验设定，如可以包括一个下采样模块和一个上采样模块，也可以包括多个(两个或两个以上)上采样模块和下采样模块。其中，每个下采样模块可以包括一个2d下采样层以及一个卷积特征提取模块，2d下采样层的尺寸可以为2
×
2。相应地，每个上采样模块可以包括一个2d反卷积上采样层、一个拼接层以及一个卷积特征提取模块，2d反卷积上采样层的尺寸可以为2
×
2。本发明实施例中，上采样模块的拼接层可以与下采样模块的下采样层的输出结果相对应，从而可以拼接下采样层的输出结果，得到特征图。最后对特征图进行卷积可以得到分割的结果。本实施例中，输入为病理图像时，输出为病理图像中的每一个像素点为细胞核的中心点的置信度。
54.然后，判断在以病理图像中的每一个像素点为中心的预定邻域中，该像素点为细胞核的中心点的置信度是否为最大，若是最大，则以该像素点为细胞核的中心点的置信度和中心点判断阈值确定病理图像中细胞核的中心点。
55.具体地，本实施例中，以每一个像素点为中心的预定邻域可以为正方形、也可以为矩形、圆形等。若该邻域为正方形，其边长可以为7～15个像素点之间，如，以该像素点为中心的边长为11个像素点的正方形。在确定该像素点为细胞核的中心点的置信度为预定邻域中所有像素点为细胞核的中心点的置信度中最大的那个时，以该像素点为细胞核的中心点的置信度和中心点判断阈值来确定病理图像中细胞核的中心点。本实施例中，所述中心点判断阈值可以根据实际经验而定，如中心点判断阈值可以为0.3。也即当像素点为细胞核的中心点的置信度为其预定邻域中最大时，若该像素点为细胞核的中心点的置信度大于0.3，则该像素点为细胞核的中心点。
56.最后，基于所述细胞核的中心点确定细胞核。具体地，本实施例中，可以在所述病理图像中，以所述细胞核的中心点为中心，形成预设邻域，所述细胞核包含于所述预设领域中。预设邻域可以为正方形、矩形、圆形等。所述预设邻域为正方形，则正方形的边长可以在18～30个像素点之间，如可以为24个像素点。所述细胞核则位于该预设邻域中。
57.执行s22，将所述细胞核输入至第一分类模型以获得细胞是目标细胞的置信度。本
实施例中，所述第一分类模型可以包括：特征提取网络和分类网络，特征提取网络的输出作为分类网络的输入。特征提取网络，可以包括若干个连续的卷积模块，以输出特征图。每一个卷积模块可以均包括一个3
×
3的2d卷积层，一个批归一化层(bn，batch normalization)、一个激活层和一个2
×
2的最大池化(max pooling)层。激活函数可以为线性整流函数(relu，recified linear unit)。分类网络可以包括2个依次连续的全连接层，全连接层和全连接层之间可以为通过率为0.5的dropout层。第二个全连接层输出细胞是目标细胞的置信度，并通过softmax操作使得细胞是目标细胞的置信度和细胞不是目标细胞的置信度之和为1。如：若目标细胞为肿瘤细胞，则输出目标细胞是肿瘤细胞的置信度，并通过softmax操作使得细胞是肿瘤细胞的置信度和细胞不是肿瘤细胞的置信度之和为1。
58.执行s23，基于所述细胞是目标细胞的置信度和第一阈值识别所述病理图像中的目标细胞。本实施例中，所述第一阈值可以为0.5，也即当细胞是目标细胞的置信度大于0.5时，确定该细胞为病理图像中的目标细胞。
59.如上所述，当病理图像为免疫组化染色图像时，会包括非肿瘤细胞、肿瘤细胞、免疫细胞等，所述肿瘤细胞又可以细分为阳性肿瘤细胞和阴性肿瘤细胞，本实施例中，所述目标细胞可以为上述细胞中的任意一种，而当目标细胞为肿瘤细胞时，本实施例的病理图像的显示方法还包括：将所述肿瘤细胞输入至第二分类模型以获得细胞是阳性肿瘤细胞的置信度。
60.基于所述细胞是阳性肿瘤细胞的置信度和第二阈值识别所述病理图像中的阳性肿瘤细胞。
61.第二分类模型的结构与第一分类模型的结构相类似，此处不再赘述。本实施例中，所述第二阈值也可以为0.5，也即当细胞是阳性肿瘤细胞的置信度大于0.5时，该细胞为阳性肿瘤细胞。
62.此外，本实施例中还可以通过其他分类模型知晓病理图像中免疫细胞和其他细胞的分布情况，将所述细胞核输入至对应的分类模型，则可以获得细胞是免疫细胞的置信度或细胞为其他细胞的置信度。分类模型的结构与第一分类模型的结构相类似，此处不再赘述。然后基于所述细胞是免疫细胞的置信度和相应的阈值识别病理图像中的免疫细胞，基于所述细胞是其他细胞的置信度和相应的阈值识别病理图像中的其他细胞。
63.通过上述方法确定了病理图像中的肿瘤细胞和阳性肿瘤细胞后，则可以获得肿瘤细胞、阳性肿瘤细胞的数量，进而可以计算阳性肿瘤细胞占肿瘤细胞的比例以获得阳性肿瘤细胞的分布情况，即肿瘤比例评分(tps，tumor proportion score)。还可以计算免疫细胞占病理图像中所有细胞的比例来知晓免疫细胞的分布情况。
64.执行s12，根据所述病理图像中的细胞信息生成多个目标区域。
65.本实施例中，具体地，可以先对病理图像进行切分获得多个细胞区域。本实施例中可以将所述病理图像切分为512
×
512大小的多个细胞区域，也可以切分为比其大或者小的细胞区域，本领域技术人员可以根据实际需求将病理图像切分为不同大小的细胞区域。细胞区域的形状可以是相同或不同大小的正方形、矩形或其他形状。
66.所述目标区域是根据经验，如考虑医生阅片时频繁关注的细胞区域，在多个细胞区域中选取若干个目标区域。具体的，可以选取细胞数最多的前n个细胞区域，或选取肿瘤细胞最多的前m个细胞区域，或选取阳性肿瘤细胞最多的前l个细胞区域，也可以个在前述
细胞区域中综合选取，其中n、m、l可以为相同的自然数。本实施例中，可以选取细胞数最多的前10个细胞区域和肿瘤细胞最多的前10个细胞区域及阳性肿瘤细胞最多的前10个细胞区域作为目标区域。
67.执行s13，统计所述目标区域中的目标细胞数量，并按目标细胞的数量对目标区域进行排序显示。具体地，本实施例中可以根据用户的指定，统计目标区域的目标细胞，所述目标细胞可以为非肿瘤细胞、肿瘤细胞、阳性肿瘤细胞、阴性肿瘤细胞、免疫细胞中的一种，并可以按照所述一种目标细胞的数量进行目标区域的排序和显示。
68.图3为根据本发明实施例的病理图像的显示界面的示意图。如图3所示，在“图像显示”区域中显示病理图像，所述病理图像上有以正方形标记的目标区域，在显示界面的右侧，通过列表的方式，将所述目标区域按指定的方式进行排序并显示。如，若排序的规则是按阳性肿瘤细胞数量的多少进行排序，则是将多个目标区域以阳性肿瘤细胞的数量从大到小的顺序进行排序。
69.在按照指定的规则进行排序时，可能会发生在指定的规则下，细胞的数量相同的问题，如，用户指定根据阳性肿瘤细胞的多少进行排序，此时有两个目标区域的阳性肿瘤细胞的个数相同。本实施例中，当所述目标区域的目标细胞的数量一致时，可以通过目标区域的其他细胞的数量进行目标区域的排序并显示。如当两个目标区域的阳性肿瘤细胞的数量一致时，可以以该两个目标区域的肿瘤细胞的数量进行排序。
70.在其他的实施例中，当目标细胞为两种细胞时，按两种细胞的比值排序并显示。目标细胞为两种目标细胞可以是：目标细胞是非肿瘤细胞、肿瘤细胞、阳性肿瘤细胞、阴性肿瘤细胞、免疫细胞中的两种细胞，并按所述两种细胞数量的比值的大小排序并显示。如前文中提到tps值是观察病理图像时医生关注的重要指标，表示是阳性肿瘤细胞在肿瘤细胞的占比，通过某一目标区域的阳性肿瘤细胞数量和肿瘤细胞数量的比值获取。
71.本实施例中，所述目标区域包括第一目标区域和/或第二目标区域，根据所述病理图像中的细胞信息生成目标区域包括：
72.将所述病理图像均分成n个区域，其中n为大于1的自然数。
73.在n个区域中根据所包含的至少一种指定细胞的数量确定预设数量的第一目标区域。
74.响应于用户的第一操作，在所述病理图像中生成自定义区域，将所述自定义区域作为第二目标区域。
75.如前文所述，在执行s12生成多个目标区域时，可以先对所述病理图像进行切分获得多个细胞区域，而在生成第一目标区域时，同样地，可以先将所述病理图像均分成n个区域(细胞区域)，其中n为大于1的自然数，然后在n个区域中根据不同细胞的数量确定预设数量的第一目标区域。
76.本实施例中还提供用户自定义目标区域的功能。用户可在病理图像上通过细胞区域的选取功能自定义目标区域，并将此目标区域作为第二目标区域。所述自定义目标区域是用户根据感兴趣的细胞信息来定义的。
77.图4为根据本发明实施例的自定义目标细胞的界面示意图。如图4(a)所示，在病理图像中，已有三个第一目标区域1、2、3，如图4(b)所示，用户对病理图像中的某一区域感兴趣时，可以通过细胞区域的选取功能在病理图像中选取感兴趣区域(第二目标区域)，如图4
(b)中的第二目标区域4，本实施例中选取的感兴趣区域是矩形区域，在其他实施例中，选取的感兴趣区域也可以是圆形、或其他多边形、或自定义的图形，还可以是对原有第一目标区域标记框进行移动后获得的区域。
78.在用户选取第二目标区域后，生成对应第二目标区域的编号，并统计所述第二目标区域中的目标细胞，然后加入至排序的列表中并显示。
79.在其他实施例中，所述目标区域可以只包括第二目标区域，也即，用户在病理图像的显示界面上，通过手动选取，自定义若干个第二目标区域，统计所述若干个第二目标区域中的目标细胞，并按目标细胞的数量对第二目标区域进行排序并显示。
80.本发明还提供一种病理图像的显示装置，其特征在于，包括：
81.识别单元，用于识别病理图像中的细胞信息。
82.区域生成单元，用于根据所述病理图像中的细胞信息生成多个目标区域。
83.显示单元，用于统计所述目标区域中的目标细胞数量，并按目标细胞的数量对目标区域进行排序显示。
84.基于相同的技术构思，本发明实施例提供了一种计算机设备，包括至少一个处理器、以及至少一个存储器，其中，所述存储器存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器能够执行上述的病理图像的显示方法。
85.基于相同的技术构思，本发明实施例提供了一种计算机可读存储介质，当所述存储介质中的指令由设备内的处理器执行时，使得所述设备能够执行上述的病理图像的显示方法。
86.本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
87.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
88.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
89.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
90.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造
性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
91.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。