一种基于上下文特征融合的细胞核分割方法及相关设备与流程

本发明涉及医学图像处理领域，尤其涉及一种基于上下文特征融合的细胞核分割方法、系统、终端及计算机可读存储介质。

背景技术：

1、医学图像分割是医学图像处理与分析过程的重要组成部分，也是计算机辅助诊断的关键步骤；医学图像分割的目的就是将医学图像中解剖或病理结构的变化更加清晰，它在计算机辅助诊断和智慧医疗中发挥着至关重要的作用，极大地提高了诊断效率和准确性。目前常见的医学图像分割任务包括肝脏和肝脏肿瘤分割、脑和脑肿瘤分割、细胞分割、肺分割和肺结节等，其中细胞核分割主要应用于癌症诊断过程中。细胞核分割是整个组织细胞图像分析中的关键一步。在数字显微组织图像中，细胞核分割可以提取高质量的特征，用于核形态的检测和其他计算病理学的分析，如果分割结果不准确会对后续的分析步骤产生很大的影响。在不同患者、器官和疾病状态的组织图像中精准分割细胞核的技术也可以为临床和医学研究软件的开发做出重要的贡献。如果可以达到精确分割，就可以得到详细的形态和外观特征，如细胞核与细胞质的比例、细胞核的平均大小和多边形性等。根据细胞核的分割结果可以识别不同类型的细胞核，还可以获得有关腺体形状的信息，这些信息不仅可以用来评估癌症分级，还可以用来预测治疗效果，并对开发抗癌药物提供帮助。

2、但是医学细胞图像常常会存在细胞边缘模糊，多个细胞相互堆叠的问题；但现有技术中是对整张图像进行逐像素的分割，再进行聚类处理得到独立的实例细胞，当有多个细胞堆在一起并相互遮挡时，这种方法往往不能达到比较好的分割性能；然而，最近的一些研究表明特征金字塔网络结构还存在一些问题。首先，它只是在不鼓励信息传播的情况下将不同的特征层叠加起来以扩大感受野，多层次的特征图仅通过自顶向下的逐像素相加的方式进行合并，忽略了不同层次的特征图之间所具有的语义鸿沟。同时，在进行合并的过程中，低层次的特征可以通过融合高层次的特征来获得更强的语义特征，高层次的特征在通过1×1卷积改变通道数的过程中却会损失信息。因此，如何防止特征金字塔网络结构在最高级别特征映射和次优特征融合策略的信息丢失，以提高病理切片细胞核分割精度是当前大环境下亟需解决的问题。

3、因此，现有技术还有待于改进和发展。

技术实现思路

1、本发明的主要目的在于提供一种基于上下文特征融合的细胞核分割方法及相关设备，旨在解决现有技术中特征金字塔网络结构在最高级别特征映射和次优特征融合策略的造成信息丢失，导致病理切片细胞核分割精度较低的问题。

2、为实现上述目的，本发明提供一种基于上下文特征融合的细胞核分割方法，所述基于上下文特征融合的细胞核分割方法包括如下步骤：

3、获取医学细胞图像，将所述医学细胞图像输入至卷积神经网络进行堆叠得到多个特征图，并将每个所述特征图输入至特征金字塔，所述特征金字塔中的上下文增强模块对每个所述特征图进行特征融合得到输出特征；

4、将所述输出特征输入到区域提取网络，所述区域提取网络根据所述输出特征得到候选框，感兴趣区域对齐层将根据所述候选框得到感兴趣区域特征；

5、将所述感兴趣区域特征发送给特征自适应选择模块，所述特征自适应选择模块根据所述感兴趣区域特征得到感兴趣区域中所有特征级别的组合特征表示；

6、基于所述组合特征表示分别计算出所述感兴趣区域的类别分类、所述候选框的坐标和边缘感知掩码，并基于所述类别分类、所述坐标和所述边缘感知掩码对病理图像细胞核进行分割。

7、可选地，所述的基于上下文特征融合的细胞核分割方法，其中，所述获取医学细胞图像，将所述医学细胞图像输入至卷积神经网络进行堆叠得到多个特征图，并将每个所述特征图输入至特征金字塔，所述特征金字塔中的上下文增强模块对每个所述特征图进行特征融合得到输出特征，具体包括：

8、获取所述医学细胞图像，将所述医学细胞图像输入至所述卷积神经网络进行堆叠，根据下采样改变所述医学细胞图像的分辨率，并根据所述分辨率的不同得到不同的阶段的特征图；

9、获取多个不同扩张率的空洞卷积，根据密集连接的方式将每个不同扩张率的空洞卷积进行结合得到特征金字塔，并将所述特征图输入至所述特征金字塔中；

10、所述特征金字塔中根据上下文增强模块增强所述特征图的粗粒度信息，并将增强后的粗粒度信息与原始的粗粒度信息进行像素相加融合，得到所述输出特征。

11、可选地，所述的基于上下文特征融合的细胞核分割方法，其中，所述将所述特征图输入至所述特征金字塔中，之后还包括：

12、对所述特征图的输入信号进行空洞卷积操作得到的输出信号为：

13、

14、其中，y[i]为空洞卷积操作后得到的输出信号，i为特征图某一像素的位置下标，d为扩张率，w[k]为卷积核的第k个参数，其中，当d＝1时，所述空洞卷积为普通卷积；

15、所述密集连接的输出方式为：xl＝hl([x1,x2,…,xl])；

16、其中，l为层数，xl为第l层的输出，hl为对第l层非线性变换。

17、可选地，所述的基于上下文特征融合的细胞核分割方法，其中，所述空洞卷积的计算公式为：

18、其中，yi为前一阶段第i层的输出特征图，h为输入特征图的高，di为第i层的扩张率，k为空洞卷积层的尺寸，[yi,yi-1,…,y1]为之前所有特征层进行级联所产生的特征图，y1表示前一阶段第一层的输出特征图。

19、可选地，所述的基于上下文特征融合的细胞核分割方法，其中，所述获取多个不同扩张率的空洞卷积，根据密集连接的方式将每个不同扩张率的空洞卷积进行结合得到密集金字塔，并将所述特征图输入至所述密集金字塔中，之后还包括：

20、对全局平均池化层处理得到全局特征向量，将所述全局特征向量进行上采样得到目标全局特征向量，并将所述目标全局特征向量与空洞卷积层的输出进行连接获得特征图；

21、将所述特征图输入到一个1×1的卷积层中，并融合所述特征图的粗粒度和细粒度特征。

22、可选地，所述的基于上下文特征融合的细胞核分割方法，其中，所述基于上下文增强模块增强所述特征图的粗粒度信息，并将增强后的粗粒度信息与原始的粗粒度信息进行像素相加融合，得到输出特征，之后还包括：

23、获取输入特征图f，根据卷积层wq和卷积层wk分别将所述输入特征图的特征映射转换到潜在特征空间，得到特征图q和特征图k’；

24、对所述特征图q和所述特征图k’进行特征维度重组得到目标特征图，对所述目标特征图处理得到关系矩阵，并对所述关系矩阵进行归一化处理得到注意力矩阵r。

25、可选地，所述的基于上下文特征融合的细胞核分割方法，其中，所述特征图q的计算公式：

26、其中，q为经过卷积层wq后得到的特征图，t为矩阵转置操作；

27、所述特征图k’的计算公式为：

28、其中，k’为经过卷积层wk后得到的特征图；

29、所述注意力矩阵r的计算公式为：r＝qtk'。

30、可选地，所述的基于上下文特征融合的细胞核分割方法，其中，所述对所述关系矩阵进行归一化处理得到注意力矩阵r，之后还包括：

31、获取卷积层wv，基于所述卷积层wv对所述输入特征图处理得到新的特征图v，并将所述注意力矩阵r与所述特征图v进行逐像素相乘得到注意力增强的特征图e；

32、所述特征图v的表达式为：

33、其中，f为输入特征图；

34、所述特征图e的表达式为：ei＝r⊙vi；

35、其中，⊙为逐元素对应相乘操作，ei为第i个特征图。

36、可选地，所述的基于上下文特征融合的细胞核分割方法，其中，所述所述将所述输出特征输入到区域提取网络，所述区域提取网络根据所述输出特征得到候选框，感兴趣区域对齐层将根据所述候选框得到感兴趣区域特征，具体包括：

37、根据感兴趣区域对齐层将所述特征金字塔的每一个特征层进行特征映射，得到感兴趣区域的区域特征金字塔，将所述区域特征金字塔输入到特征融合模块中，并基于所述特征融合模块将所述区域特征金字塔的区域特征图根据通道进行拼接得到输出特征图；

38、获取所述输出特征图的通道，根据全局平均池将所述通道的空间特征进行编码得到全局特征，对所述全局特征的维度进行压缩，并将压缩后的维度进行扩张得到所述通道的注意力权重系数；

39、将所述注意力权重系数进行拆分得到四个权值向量，将所述权值向量与所述区域特征金字塔的特征进行逐层逐像素相乘，得到加权后的区域特征金字塔，并将加权后的区域特征金字塔中的特征进行逐像素相加，得到感兴趣区域特征。

40、可选地，所述的基于上下文特征融合的细胞核分割方法，其中，所述输出特征图的计算公式为：

41、

42、其中，q[i]为输出特征图，p[i]为输入特征图，⊙为逐元素相乘的操作，i为特征图某一像素的位置下标，w为输入特征图的宽；

43、其中，所述的计算过程为：

44、u＝conv(x)；

45、

46、其中，x为输入特征，conv为卷积层操作，u为卷积操作后的输出，c为特征图的某一个通道，i和j均为特征图某一像素的位置下标，h为输入特征图的高，zc为操作后得到的输出。

47、此外，为实现上述目的，本发明还提供一种基于上下文特征融合的细胞核分割系统，其中，所述基于上下文特征融合的细胞核分割系统包括：

48、数据输入模块，用于获取医学细胞图像，将所述医学细胞图像输入至卷积神经网络进行堆叠得到多个特征图，并将每个所述特征图输入至特征金字塔；

49、上下文增强模块，用于对每个所述特征图进行特征融合得到输出特征；

50、候选框获取模块，用于将所述输出特征输入到区域提取网络，所述区域提取网络根据所述输出特征得到候选框；

51、候选框处理模块，用于感兴趣区域对齐层将根据所述候选框得到感兴趣区域特征，将所述感兴趣区域特征发送给特征自适应选择模块；

52、特征自适应选择模块，用于根据所述感兴趣区域特征得到感兴趣区域中所有特征级别的组合特征表示；

53、细胞核分割模块，用于基于所述组合特征表示分别计算出所述感兴趣区域的类别分类、所述候选框的坐标和边缘感知掩码，并基于所述类别分类、所述坐标和所述边缘感知掩码对病理图像细胞核进行分割。

54、此外，为实现上述目的，本发明还提供一种终端，其中，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于上下文特征融合的细胞核分割程序，所述基于上下文特征融合的细胞核分割程序被所述处理器执行时实现如上所述的基于上下文特征融合的细胞核分割方法的步骤。

55、此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其中，所述计算机可读存储介质存储有基于上下文特征融合的细胞核分割程序，所述基于上下文特征融合的细胞核分割程序被处理器执行时实现如上所述的基于上下文特征融合的细胞核分割方法的步骤。

56、本发明中，获取医学细胞图像，将所述医学细胞图像输入至卷积神经网络进行堆叠得到多个特征图，并将每个所述特征图输入至特征金字塔，所述特征金字塔中的上下文增强模块对每个所述特征图进行特征融合得到输出特征；将所述输出特征输入到区域提取网络，所述区域提取网络根据所述输出特征得到候选框，感兴趣区域对齐层将根据所述候选框得到感兴趣区域特征；将所述感兴趣区域特征发送给特征自适应选择模块，所述特征自适应选择模块根据所述感兴趣区域特征得到感兴趣区域中所有特征级别的组合特征表示；基于所述组合特征表示分别计算出所述感兴趣区域的类别分类、所述候选框的坐标和边缘感知掩码，并基于所述类别分类、所述坐标和所述边缘感知掩码对病理图像细胞核进行分割。本发明通过在上下文增强模块中，基于注意力机制的上下文增强模块注重挖掘广泛的上下文信息，捕获具有重要的语义，以减少最高金字塔级特征映射的信息丢失；然后将特征发送给特征自适应选择模块，在每个感兴趣区域的所有特征级别上自适应地获得一个组合特征表示，最后根据这些特征表示分别计算出感兴趣区域类别的分类，候选框的坐标和边缘感知掩码，从而实现医学病理切片图像的分割。