一种目标细胞的智能检测方法

1.本发明涉及图像处理技术领域，具体为一种针对超高分辨率免疫组化数字图像中目标细胞的智能检测方法。


背景技术：

2.随着深度学习技术的快速发展，以卷积神经网络为代表的计算机视觉方法逐渐在医学图像分析领域得到广泛应用。病理数字图像作为最主要的应用场景之一，相关方法主要集中在对使用苏木精和伊红染料染色的数字切片的智能分析上，而对于免疫组化染色切片的智能分析方法寥寥无几。
3.医学图像的多个领域的相关事实可以证明，传统分析方法与基于深度学习的人工智能分析方法存在较大差距，而现有的针对免疫组化图像的智能分析方法中，一类做法为先在苏木精和伊红染料染色的图像上做分析，再将分析结果映射到配准后到免疫组化图像上，这种方法同时依赖两种图像的信息，且面临着图像配准的过程复杂、精度难以保障等问题；另一类方法虽然直接在免疫组化图像上进行分析，但要么以裁剪后的低分辨率免疫组化图像为分析起点，要么出于精度要求采用高度重叠的裁剪方法裁剪出大量图像块并逐一分析，整体分析速度较慢。
4.本发明提出一种直接对超高分辨率的免疫组化图像中的目标细胞进行检测的方法，且检测精度不依赖于裁剪的重叠率，只需要以低重叠率进行裁剪即可达到要求的精度，从而极大地提高检测的速度。


技术实现要素：

5.本发明提供了一种针对免疫组化数字图像中目标细胞的智能检测方法，其特征在于，所述方法包括：
6.步骤1，将超高分辨率免疫组化数字图像均匀地、低重叠地裁剪成多个大尺寸概览图像；
7.步骤2，将概览图像输入卷积神经网络提取得到不同尺度的特征；
8.步骤3，将所述不同尺度的特征进行自适应加权融合，计算出候选细胞的分布概率图；
9.步骤4，将所述分布概率图映射到输入的概览图像中，得到多个位置坐标；
10.步骤5，根据所述位置坐标信息，对概览图像进行局部裁剪，得到候选细胞的小尺寸近距离图像；
11.步骤6，将所述候选细胞的小尺寸近距离图像输入分类网络，输出候选细胞是否为目标细胞的精确分类结果；
12.步骤7，融合所有概览图像中候选细胞的位置坐标信息和精确分类结果，最后输出目标细胞的检测结果。
13.具体地，在步骤1中，将所述超高分辨率免疫组化数字图像以s％的重叠率裁剪为
边长为x个像素的大尺寸概览图像，其中，s其2*y/x*100，y为根据先验知识统计获得的目标细胞的平均直径像素个数；
14.具体地，在步骤2中，获取卷积神经网络中位于分类结构之前的卷积模块的输出，提取倒数三个不同分辨率的输出f1,f2,f3作为三个不同尺度的图像特征；
15.具体地，在步骤2中，如果使用mobilenetv2，则选取其第5、6、7个bottleneck的输出；如果使用ghostnet，则选取其第6、12、16个g
‑
bneck的输出；
16.具体地，步骤3中，对f1和f2分别乘以一个降维矩阵d，得到与f3相同大小的特征f'1和f'2；分别将f'1,f'2和f3按通道随机平分为三份送入三条并行的支路，在每条支路中，对来自各个尺度的特征合并后乘以一个权重计算矩阵c，得到空间权重矩阵w1，w2，w3；计算得到自适应加权融合特征f＝w1*f'1+w2*f'2+w3*f3；将f输入单个卷积层预测得到候选细胞的概率分布图p；
17.具体地，步骤4中，将所述候选细胞的概率分布图的各个位置元素值p
11
,p
12
,
…
,p
hw
按从大到小的顺序排序，按顺序依次查看排序后的元素值p
ij
；设置阈值τ，判断p
ij
是否大于τ，若是，则取出位置坐标(i,j)，并将其周围的八个位置对应的元素值，即p
i
‑
1,j
‑1,p
i
‑
1,j
,p
i
‑
1,j+1
,p
i,j
‑1,p
i,j+1
,p
i+1,j
‑1,p
i+1,j
,p
i+1,j+1
，均置为0，否则跳过该元素；将取出的各个位置坐标p(i,j)映射到步骤1中对应概览图像中的位置坐标p'，若p'距离概览图像边缘的距离小于y个像素内，则该位置坐标将被丢弃，其中，y为根据先验知识统计获得的目标细胞的平均直径像素个数；
18.具体地，在步骤5中，对于步骤4输出的每一个位置坐标p'，在步骤1中对应的概览图像中以该坐标为中心点，以2*y为边长进行裁剪，得到候选细胞的小尺寸近距离图像；
19.具体地，在步骤7中，对于每一张概览图像，将步骤6中分类结果为真的候选细胞在步骤4中对应在概览图像中的位置坐标p'(a,b)提取出来，将其坐标映射到原始超高分辨率免疫组化数字图像中的坐标，得到目标细胞的检测结果，映射后的坐标为((m
‑
1)*(1
‑
s％)*x+a,(n
‑
1)*(1
‑
s％)*x+b)；其中，s为裁剪重叠率，x为概览图像边长像素个数，n为裁剪出的概览图像数量。
20.本发明针对现有的直接对免疫组化图像进行智能分析的方法只能处理低分辨率免疫组化图像，或出于精度要求必须采用高度重叠的裁剪方法裁剪出大量图像块并逐一分析，整体分析速度较慢的情况，以超高分辨率的免疫组化图像为分析起点，提出一种只需要以低重叠率进行裁剪即可达到要求的精度的目标细胞检测方法，从而极大地提高了检测的速度。
附图说明
21.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
22.图1为针对超高分辨率免疫组化数字图像中目标细胞的智能检测方法步骤流程图；
23.图2为所述超高分辨率免疫组化数字图像的示例图；
24.图3a为概览图像示例图；
25.图3b为候选细胞概率分布图示例图；
26.图3c为候选细胞小尺寸近距离图像示例图；
27.图4为所述超高分辨率免疫组化数字图像的目标细胞检测结果示例图。
具体实施方式
28.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
29.医学图像的多个领域的相关事实可以证明，传统分析方法与基于深度学习的人工智能分析方法存在较大差距，而现有的直接针对免疫组化图像进行智能分析的方法中，要么以裁剪后的低分辨率免疫组化图像为分析起点，要么出于精度要求采用高度重叠的裁剪方法裁剪出大量图像块并逐一分析，整体分析速度较慢。本发明以超高分辨率的免疫组化图像为分析起点，提出一种只需要以低重叠率进行裁剪即可达到要求的精度的目标细胞检测方法，从而极大地提高了检测的速度。具体步骤如下：
30.s101：将超高分辨率免疫组化数字图像均匀地、低重叠地裁剪成多个大尺寸概览图像。
31.具体地，将超高分辨率免疫组化数字图像i(如图2所示)以s％的重叠率裁剪为边长为x个像素的大尺寸概览图像i1,i2,
…
,i
n
(概览图像如图3a所示，n为裁剪出的概览图像数量)，其中x的取值大于一般的医学图像分析网络输入图像的边长，根据实际使用情况通常不小于600。若根据先验知识统计得知目标细胞的平均直径大小为y个像素，则s的取值略大于2*y/x*100即可，即只需要保证s105的裁剪过程中一张图像边缘位置的候选细胞能够被其相邻图像完全裁出，满足此条件之前，s值越大则精度越高、速度越慢，满足此条件之后，最终精度只与后续步骤有关，没有继续增大s值的必要。例如，当x取值为600，y取值为30时，s的推荐取值范围为[10,15]。
[0032]
s102：将概览图像输入卷积神经网络提取得到不同尺度的特征。
[0033]
具体地，对于概览图像i
i
(i取值范围为[1,n])，将其输入任一轻量级分类卷积神经网络中，获取卷积神经网络中位于分类结构之前的卷积模块的输出，提取倒数三个不同分辨率的输出f1,f2,f3作为三个不同尺度的图像特征。例如，如果使用mobilenetv2，则选取其第5、6、7个bottleneck的输出；如果使用ghostnet，则选取其第6、12、16个g
‑
bneck的输出。
[0034]
s103：将不同尺度的特征进行自适应加权融合，并计算出候选细胞的分布概率图。
[0035]
具体地，对f1和f2分别乘以一个降维矩阵d，得到与f3相同大小的特征f'1和f'2(假设大小为c*h*w，其中c，h，w分别为特征在通道、高度、宽度上的维度大小)，随后，分别将f'1,f'2和f3沿通道随机平分为三份送入三条并行的支路，在每条支路中，对来自各个尺度的特征合并后(来自每个尺度的特征大小为合并后大小为c*h*w)乘以一个权重计算矩阵c，得到空间权重矩阵。假设三条支路得到的空间权重矩阵分别为w1，w2和w3(大小为
1*h*w)，则可计算得到自适应加权融合特征f＝w1*f'1+w2*f'2+w3*f3(式中乘法为逐通道逐空间位置元素相乘)。特别地，所述自适应是指，在训练过程中，降维矩阵d和权重计算矩阵c自动调整自身数值以适应不同的输入特征数据，在实际使用中，即使d和c固定不变，也可以根据输入特征数据的变化计算得到最优的空间权重矩阵，进而得到高质量的加权融合特征f。最后，将f输入单个卷积层预测得到候选细胞的概率分布图p(如图3b所示)，其大小为1*h*w，其中每个元素值的取值范围为[0,1]，表示在f的各个空间位置上对应特征表征为一个目标细胞的可能性。
[0036]
s104：将分布概率图映射到输入的概览图像中，得到多个位置坐标。
[0037]
具体地，对s103中候选细胞的概率分布图p的各个位置元素值p
11
,p
12
,
…
,p
hw
按从大到小的顺序排序，按顺序依次查看排序后的元素值p
ij
，设置阈值t，若p
ij
>t，则取出位置坐标(i,j)，并将其周围的八个位置对应的元素值(p
i
‑
1,j
‑1,p
i
‑
1,j
,p
i
‑
1,j+1
,p
i,j
‑1,p
i,j+1
,p
i+1,j
‑1,p
i+1,j
,p
i+1,j+1
)置为0，否则跳过该元素。其中，t的推荐取值为0.3。最后，将取出的各个位置坐标p(i,j)映射到s101中对应概览图像中的位置坐标p'(li*x/h|,lj*x/w|)，若p'距离概览图像边缘的距离小于y个像素内，则该位置坐标将被丢弃。特别地，被丢弃的候选细胞不会被遗漏，因为它将出现在其相邻的概率图像中距离边缘大于y个像素的位置坐标处，并被裁剪出来。
[0038]
s105：根据位置坐标信息，对概览图像进行局部裁剪，得到候选细胞的小尺寸近距离图像。
[0039]
具体地，对于s104输出的每一个位置坐标p'，在s101中对应的概览图像中以该坐标为中心点，以2*y个像素为边长进行裁剪，得到完整的候选细胞的小尺寸近距离图像(如图3c所示)。例如，若y取值为60像素，则裁剪得到的小尺寸近距离图像边长为120像素，小于一般的医学图像分类网络输入图像的边长。
[0040]
s106：将候选细胞的近距离图像输入简单分类网络，输出候选细胞是否为目标细胞的精确分类结果。
[0041]
具体地，将s105中裁剪得到的小尺寸近距离图像输入简单的分类网络进行精细辨别，输出是否为目标细胞的精确分类结果。所述简单分类网络是指，由于输入图像为候选细胞的近距离图像，图像信息足够丰富且噪声信息较少，因此使用简单的分类网络即可得到足够高的分类精度，且这种网络的速度非常快。例如，可以直接使用含有18层残差模块的resnet18作为简单分类网络，也可以保留更少的残差模块，进一步提高速度。
[0042]
s107：融合所有概览图像中候选细胞的位置坐标信息和精确分类结果，最后输出目标细胞的检测结果。
[0043]
具体地，对于每一张概览图像i
i
，将s106中分类结果为真的候选细胞在s104中对应在i
i
内的位置坐标p'(a,b)提取出来，将其坐标映射到原始超高分辨率免疫组化数字图像中的坐标，得到目标细胞的检测结果(如图4所示，特别需要注意的是，实际的目标细胞非常小，为了能够看出检测结果，在图中的用较大的方框框出了检测到的所有目标细胞)。假设i
i
为裁剪出的第m行第n列的图像，则映射后的坐标为((m
‑
1)*(1
‑
s％)*x+a,(n
‑
1)*(1
‑
s％)*x+b)。特别地，s104保证了每一个候选细胞既不会被重复裁剪，也不会被遗漏，因此，无需像其他方法一样对重叠区域的检测结果进行去重融合。
[0044]
本发明以超高分辨率的免疫组化图像为分析起点，提出一种只需要以低重叠率进
行裁剪即可达到要求的精度的目标细胞检测方法，先以高召回率从大尺寸概览图像中筛选出候选细胞位置，再以高准确率对候选细胞的小尺寸近距离图像进行辨别，不仅能比其他方法更快速地得到检测的结果，还能保证检测的精度。