一种基于多任务协同学习的细胞分割方法及装置

本发明涉及机器学习领域，具体而言，涉及一种基于多任务协同学习的细胞分割方法及装置。

背景技术：

1、细胞实例分割任务是活细胞实验图像分析中的基础任务，是对细胞图像进行统计分析的前提条件，因此，开发精度更高，速度更快的细胞实例分割方法一直是行业的焦点。

2、细胞实例分割的主要任务是要在显微观测结果中划分每个独立细胞的区域。该任务的难点主要在于：1)显微图像的模态通常会发生剧烈变化，例如在不同的实验环境中，不同的染色剂，不同的成像方式等。2)同一张图像中细胞的表型相似，难以用单一标准区分细胞个体。3)活细胞图像中，细胞相互运动、融合，难以区分相邻细胞的边界。目前自动化细胞实例分割的方法可以分为传统算法以及基于学习的算法。传统算法主要是利用数字图像处理算法等技术，通过阈值法、形态学变换、分水岭算法等对细胞图像进行分割。该技术的缺陷为：1)需要手动设计特征参数，不具备泛化能力。2)对一些特殊情况例如细胞融合、分裂等，难以设计相应的特征算子。

3、随着深度学习技术的发展，基于学习的方法已经在计算机视觉领域取得了重要进展，深度学习技术在细胞图像自动化处理任务上变得越来越流行。

4、多任务协同学习是指在同一个神经网络中设计多个不同的任务同时训练，从而使网络学习到的特征泛化性更好。目前，多任务协同学习已经被广泛应用在其他的计算机视觉任务中，例如，单目深度估计、语义分割等。

5、maskrcnn是一种两阶段实例分割算法，其由区域推荐网络(rpn)以及一个掩膜预测网络组成。区域推荐网络通常采用cnn作为特征提取的主干网络，而掩膜预测网络通常由一个轻量级的网络构成。这种方法的基本流程为，首先在待处理的图像中预先设置大规模的锚点(anchors)。通过rpn网络对预先设置的锚点打分，判断其中是否包含一个独立的细胞个体。之后，通过掩膜预测网络对置信度高的锚点进行进一步的预测优化，得到初步的掩膜结果。最后，通过nms等后处理算法去除多余的预测结果。

6、cellpose是一种一阶段的实例分割方法。如图1所示，其通过热量扩散的梯度场来建模细胞实例，从而使得细胞实例能够通过各个像素上的梯度方向来确定。具体流程为：通过unet(一种多尺度跳跃连接的卷积神经网络)来预测两个方向的梯度强度(垂直方向与水平方向)。同时，cellpose还会预测一个判断是否为细胞区域的二进制掩膜图，用于辅助修正连续值在边界中断的情况。cellpose根据预测到的梯度场进行数值模拟，将最终收敛到同一个中心的像素归类为同一个细胞，由此得到最后的分割结果。

7、在现有技术中，maskrcnn由于使用两阶段预测过程，使得其在实际应用中非常耗时。同时由于预先设置的锚(anchors)存在，需要通过后处理算法来筛选多余的预测结果，这些特性使得其并不能端到端得训练。从而提升了该方法的实际应用成本。cellpose的梯度场在边缘部分存在着突变的情况，如图2所示，图中各像素的值代表了cellpose预测与真实值的差异，可以看出cellpose的误差主要出现在细胞边缘、细胞交界、细胞中心。因此，根据神经网络连续性假设，基于梯度场的细胞实例表示对网络的拟合过程特别不友好。

技术实现思路

1、本发明实施例提供了一种基于多任务协同学习的细胞分割方法及装置，以至少解决现有细胞实例分割方法的性能低的技术问题。

2、根据本发明的一实施例，提供了一种基于多任务协同学习的细胞分割方法，包括以下步骤：

3、构建细胞分割模型；

4、细胞分割模型中的输入层接受细胞图像作为输入，经过前向传播后得到细胞的梯度场表示及细胞的温度场表示；其中细胞的温度场表示是连续的，细胞分割模型中特征提取部分的参数由细胞的梯度场任务及细胞的温度场任务两个任务共享；

5、将利用协同学习算法与细胞的梯度场一起参与训练，增强神经网络的表示能力。

6、进一步地，细胞的温度场表示处处连续，作为一个额外的辅助任务来引导神经网络对细胞图像的学习。

7、进一步地，细胞的温度场表示处处连续，去除了跳变高频信号对网络拟合的不利影响。

8、进一步地，对于一个细胞实例，其中心温度恒定为1，外侧、背景温度恒为0，通过均值滤波器模拟温度扩散过程。

9、进一步地，使用分辨率为3*3的卷积核，进行200步模拟温度场收敛到稳定状态；得到温度场后，对每个像素上的温度值求导，得到梯度场的表示。

10、进一步地，使用插值法对温度场求导：

11、设xi.j为温度场中纵坐标i，横坐标j的温度值，其梯度由下式得到：

12、

13、进一步地，细胞分割模型采用了u-net的网络结构，包含一个输入层、三个下采样模块、三个上采样模块以及两个预测头；每个下采样及上采样模块由卷积层，激活层，归一化层组成。

14、进一步地，细胞分割模型中的输入层接受细胞图像作为输入后，经过前向传播后由两个预测头分别得到细胞的梯度场表示及细胞的温度场表示。

15、进一步地，细胞分割模型中损失函数采用了通用的l2-loss函数。

16、根据本发明的另一实施例，提供了一种基于多任务协同学习的细胞分割装置，包括：

17、模型构建单元，用于构建细胞分割模型；

18、细胞表示单元，用于细胞分割模型中的输入层接受细胞图像作为输入，经过前向传播后得到细胞的梯度场表示及细胞的温度场表示；其中细胞的温度场表示是连续的，细胞分割模型中特征提取部分的参数由细胞的梯度场任务及细胞的温度场任务两个任务共享；

19、训练单元，用于将利用协同学习算法与细胞的梯度场一起参与训练，增强神经网络的表示能力。

20、一种存储介质，存储介质存储有能够实现上述任意一项基于多任务协同学习的细胞分割方法的程序文件。

21、一种处理器，处理器用于运行程序，其中，程序运行时执行上述任意一项的基于多任务协同学习的细胞分割方法。

22、本发明实施例中的基于多任务协同学习的细胞分割方法及装置中，新颖细胞实例表示处处连续，很好的符合神经网络的连续性假设，并利用协同学习算法将其与梯度场一起参与训练，增强神经网络的表示能力。本发明利用深度神经网络实现了端到端的细胞实例分割结果预测，在精度及速度上都具备了较强的应用能力，从而实现细胞图像的自动化处理，将实验人员从繁重的实验数据处理工作中解放出来，提升效率。

技术特征：

1.一种基于多任务协同学习的细胞分割方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于多任务协同学习的细胞分割方法，其特征在于，细胞的温度场表示处处连续，作为一个额外的辅助任务来引导神经网络对细胞图像的学习。

3.根据权利要求1所述的基于多任务协同学习的细胞分割方法，其特征在于，细胞的温度场表示处处连续，去除了跳变高频信号对网络拟合的不利影响。

4.根据权利要求1所述的基于多任务协同学习的细胞分割方法，其特征在于，对于一个细胞实例，其中心温度恒定为1，外侧、背景温度恒为0，通过均值滤波器模拟温度扩散过程。

5.根据权利要求4所述的基于多任务协同学习的细胞分割方法，其特征在于，使用分辨率为3*3的卷积核，进行200步模拟温度场收敛到稳定状态；得到温度场后，对每个像素上的温度值求导，得到梯度场的表示。

6.根据权利要求5所述的基于多任务协同学习的细胞分割方法，其特征在于，使用插值法对温度场求导：

7.根据权利要求6所述的基于多任务协同学习的细胞分割方法，其特征在于，细胞分割模型采用了u-net的网络结构，包含一个输入层、三个下采样模块、三个上采样模块以及两个预测头；每个下采样及上采样模块由卷积层，激活层，归一化层组成。

8.根据权利要求7所述的基于多任务协同学习的细胞分割方法，其特征在于，细胞分割模型中的输入层接受细胞图像作为输入后，经过前向传播后由两个预测头分别得到细胞的梯度场表示及细胞的温度场表示。

9.根据权利要求1所述的基于多任务协同学习的细胞分割方法，其特征在于，细胞分割模型中损失函数采用了通用的l2-loss函数。

10.一种基于多任务协同学习的细胞分割装置，其特征在于，包括：

技术总结
本发明涉及机器学习领域，具体涉及一种基于多任务协同学习的细胞分割方法及装置。该方法及装置首先构建细胞分割模型；其次细胞分割模型中的输入层接受细胞图像作为输入，经过前向传播后得到细胞的梯度场表示及细胞的温度场表示；其中细胞的温度场表示是连续的，细胞分割模型中特征提取部分的参数由细胞的梯度场任务及细胞的温度场任务两个任务共享；再将利用协同学习算法与细胞的梯度场一起参与训练，增强神经网络的表示能力。本发明利用深度神经网络实现了端到端的细胞实例分割结果预测，在精度及速度上都具备了较强的应用能力，从而实现细胞图像的自动化处理，将实验人员从繁重的实验数据处理工作中解放出来，提升效率。

技术研发人员：徐俊德,廖祥云,王琼
受保护的技术使用者：中国科学院深圳先进技术研究院
技术研发日：
技术公布日：2024/1/13