乳腺病理图像有丝分裂检测方法、系统、存储介质、设备

本发明涉及图像处理技术，尤其涉及乳腺病理图像有丝分裂检测方法、系统、存储介质、设备。

背景技术：

1、有丝分裂计数是判别乳腺癌恶性程度的重要指标，可以辅助诊断、治疗及预后。在临床实践上，乳腺癌切片中有丝分裂细胞的检测主要是通过人工进行的，病理学家通常在高功率场(通常为40倍放大的)的显微镜下观察病理组织切片以识别感兴趣区域(roi)，随后分析细胞的整体组织结构和局部信息，再根据自身经验做出判断。一方面，人工检测的过程非常复杂繁琐且耗时，且要求病理学家需要极强的专业能力。另一方面，人工检测是基于病理学家的个人经验和主观判断的，不同的病理学家对同一个病理切片常常会得到不同的结果，分级诊断结果的一致性不高。为此，人工检测流程的局限性产生了有丝分裂细胞计数自动化的需要，对检测效率的提高和计数结果的可靠性至关重要。

2、随着深度学习发展，计算机视觉领域取得了长足的进步。有丝分裂检测基于深度学习框架提出了多种模型，主要可以分为像素分类、语义分割和物体检测。用于这些模型训练过程使用的有丝分裂数据集主要为质心注释。质心标注(即弱标记)只提供每个有丝分裂细胞的质心坐标，这种更容易标记。通常卷积神经网络r-cnn会被用于处理这种质心注释的数据集，但由于缺乏质心标注的包围框标签，处理弱标注的数据集效率较低。深度检测模型通常需要精确的有丝分裂边界框标注。然而，弱监督深度分割网络生成的边界框通常是粗略估计，基准真实值(ground truth)监督不可靠，影响了质心标注数据集的检测性能。目前，现有的有丝分裂检测方法仍不能有效解决有丝细胞类内形态变化大的问题，由于有丝分裂细胞在分裂的四个阶段(前期、中期、后期和末期)中染色体的形态变化多样，这将导致检测结果存在较高的假阴性和假阳性，从而影响整个模型的检测性能和泛化性。

技术实现思路

1、为了解决上述问题，本发明提出任务引导的径向基网络对乳腺病理图像有丝分裂检测方法，包括以下步骤：

2、s1、获取乳腺病理图像，从乳腺病理图像中采集图像块样本，图像块样本包含正样本和负样本，正样本包含图像块样本的类别信息和中心偏移量信息，负样本仅包含图像块样本的类别信息，并从图像块样本中选取有丝分裂样本；

3、s2、构建有丝分裂检测的训练模型，包括：候选模块和验证模块，候选模块包括特征提取层、侧输出层、融合层；

4、特征提取层输出不同尺度的特征图，侧输出层利用深度监督与注意力机制对每个特征提取层输出的不同尺度的特征图进行监督学习并输出，融合层对不同尺度的侧输出层的输出进行加权融合，得到加权融合后的特征；

5、验证模块包括特征提取模块、径向基网络、中心更新模块；

6、特征提取模块基于加权融合后的特征对病理图像有丝分裂细胞进行初步分类，径向基网络使用嵌入径向基函数的卷积网络，径向基网络根据有丝样本特征，对病理图像有丝分裂细胞进行进一步类别判断，得到病理图像有丝分裂检测结果，中心更新模块用于迭代更新径向基网络的径向基函数中心；

7、s3、使用所述图像块样本对所述候选模块进行训练，得到训练后的候选模块；

8、将乳腺病理图像输入训练后的候选模块，得到锚点阵列，其中正锚点作为有丝分裂细胞候选点，以有丝分裂细胞候选点为中心从乳腺病理图像中提取候选块，根据每个有丝分裂细胞候选点坐标与手工标注位置坐标的距离确定每个候选块的标签；

9、s4、构建一个特征提取器，所述特征提取器和验证模块的特征提取模块相同，将提取的候选块输入验证模块的特征提取模块进行分类预训练，得到特征提取模块的初始权值；径向基网络基于候选块分类任务引导径向基函数的中心初始化，并通过中心更新模块迭代更新确定最优径向基函数中心，将有丝分裂样本输入所述特征提取器，并用所述初始权值更新特征提取器权重，所述特征提取器输出有丝分裂样本的特征表达，对所述有丝分裂样本的特征表达运行k-means聚类算法初始化嵌入径向基函数的卷积网络的径向基函数中心，使用初始化后的嵌入径向基函数的卷积网络对特征提取模块的输出进行再分类，采用迭代聚类更新确定最优径向基函数中心；

10、s5、连接训练好的候选模块和验证模块的径向基网络，构成有丝分裂检测模型，将待检测的整幅乳腺病理组织图像输入所述有丝分裂检测模型，得到有丝分裂细胞的检测结果。

11、进一步地，正样本采样以乳腺病理图像中人工标注的位置为参照点进行随机偏移，之后以偏移后的位置为中心采样相同尺寸且参照点位于内部的图像块，并保存该偏移量用于位置回归任务；负样本由乳腺病理图像中随机采样和正样本相同尺寸的图像块产生，负样本中心和参照点距离大于图像块采样尺寸。

12、进一步地，特征提取层以卷积神经网络为主干网络，所述主干网络不采用全连接层，主干网络的每层卷积后采用批量归一化层和激活函数relu，连续的卷积层之间插入最大池化层；

13、侧输出层的输入连接特征提取层的每个池化层和最后一个卷积层，每个侧输出层的输入经过一个注意力模块重新校准通道特征，得到校准后的不同通道的特征，使用一个核大小为1×1的卷积层对校准后的不同通道的特征进行组合，得到组合特征，使用完全卷积层做为组合特征的分类器，通过softmax层得到侧输出层的输出；融合层对不同尺度的侧输出层的输出进行加权融合，得到加权融合后的特征。

14、进一步地，候选模块训练时的总损失函数由侧输出层的损失函数和融合层的损失函数两部分组成；

15、侧输出层的损失函数包括位置损失、类别的损失；

16、融合层的损失函数包括位置损失、类别的损失；

17、候选模块训练时的总损失函数的表达式如下：

18、

19、其中，l(w)为候选模块训练时的总损失函数，w表示在候选模块中要学习的所有参数，表示侧输出层的第s个输出的类别损失，l表示图像块样本的二值标签真值，负样本用0标识，正样本用1标识，为每个侧输出层softmax分类器得到的[0,1]范围内的预测有丝分裂细胞核概率；表示融合层的类别损失，γ是一个平衡分类和回归任务之间成本的超参数，为侧输出层的位置损失，(x,y)为图像块采样过程中所记录的细胞核中心偏移量的真值，为候选模块估计的候选块的偏移量，为融合层的位置损失。

20、进一步地，侧输出层的每个输出的类别损失由交叉熵函数定义，表示如下：

21、

22、其中，表示侧输出层的第s个输出的类别损失，n+表示正样本图像块的数量；n-表示负样本图像块的数量，li表示第i个输入图像块样本的二值标签真值。

23、进一步地，融合层的位置损失使用欧几里得l2范数来定义，表示如下：

24、

25、其中1(·)为指示函数，1(li＝1)表示在li＝1时为1，li表示第i个输入图像块样本的二值标签真值。

26、进一步地，径向基网络的训练使用二元交叉熵损失函数对候选块进行类别判断学习：

27、

28、其中，为径向基网络的类别损失，n表示样本的个数，li表示第i个候选块的二值标签真值，非有丝分裂细胞用0标识，有丝分裂细胞用1标识，为不同径向基函数的加权组合得到第i个候选块有丝分裂细胞核预测概率。

29、本发明还提出任务引导的径向基网络对乳腺病理图像有丝分裂检测系统，包括：

30、数据获取模块，用于获取乳腺病理图像，从乳腺病理图像中采集图像块样本，图像块样本包含正样本和负样本，正样本包含图像块样本的类别信息和中心偏移量信息，负样本仅包含图像块样本的类别信息，并从图像块样本中选取有丝分裂样本；

31、模型构建模块，用于构建有丝分裂检测的训练模型，包括：候选模块和验证模块，候选模块包括特征提取层、侧输出层、融合层；

32、特征提取层输出不同尺度的特征图，侧输出层利用深度监督与注意力机制对每个特征提取层输出的不同尺度的特征图进行监督学习并输出，融合层对不同尺度的侧输出层的输出进行加权融合，得到加权融合后的特征；

33、验证模块包括特征提取模块、径向基网络、中心更新模块；

34、特征提取模块基于加权融合后的特征对病理图像有丝分裂细胞进行初步分类，径向基网络使用嵌入径向基函数的卷积网络，对特征提取模块初步分类结果进行进一步类别判断，得到病理图像有丝分裂检测结果，中心更新模块用于迭代更新径向基网络的径向基函数中心；

35、模型第一阶段训练模块，用于使用所述图像块样本对所述候选模块进行训练，得到训练后的候选模块；将乳腺病理图像输入训练后的候选模块，得到锚点阵列，其中正锚点作为有丝分裂细胞候选点，以有丝分裂细胞候选点为中心从乳腺病理图像中提取候选块，根据每个有丝分裂细胞候选点坐标与手工标注位置坐标的距离确定每个候选块的标签；

36、模型第二阶段训练模块，用于根据下述方法训练验证模块：构建一个特征提取器，所述特征提取器和验证模块的特征提取模块相同，将提取的候选块输入验证模块的特征提取模块进行分类预训练，得到特征提取模块的初始权值；径向基网络基于候选块分类任务引导径向基函数的中心初始化，并通过中心更新模块迭代更新确定最优径向基函数中心；将有丝分裂样本输入所述特征提取器，并用所述初始权值更新特征提取器权重，所述特征提取器输出有丝分裂样本的特征表达，对所述有丝分裂样本的特征表达运行k-means聚类算法初始化嵌入径向基函数的卷积网络的径向基函数中心，使用初始化后的嵌入径向基函数的卷积网络对特征提取模块的输出进行再分类，采用迭代聚类更新确定最优径向基函数中心；

37、检测模块，用于连接训练好的候选模块和验证模块的径向基网络，构成有丝分裂检测模型，将待检测的整幅乳腺病理组织图像输入所述有丝分裂检测模型，得到有丝分裂细胞的检测结果。

38、本发明还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的乳腺病理图像有丝分裂检测方法的步骤。

39、本发明还提出一种电子设备，包括处理器和存储器，所述处理器与所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括计算机可读指令，所述处理器被配置用于调用所述计算机可读指令，执行上述的乳腺病理图像有丝分裂检测。

40、本发明提供的技术方案带来的有益效果是：

41、本发明构建了任务引导的深度径向基网络，包括候选模块和验证模块，使用正负样本训练候选模块，利用训练好的候选模块和整张乳腺病理图像获取候选点从而得到候选块，将位置表达添加到了图像块信息中，在候选块检测网络中融入了深监督机制以获取高质量的有丝分裂细胞候选块和更加精确的位置定位，验证模块使用特征提取和径向基函数表达整合为统一框架，充分发挥了径向基网络良好的逼近能力和泛化能力的优势；将径向基函数中心定义结合了有丝细胞鉴别任务，利用不同的径向基函数中心更好地处理有丝分裂细胞形态结构的多变性。