一种基于组织切片的荧光图像转换方法

本发明属于荧光成像，具体涉及一种基于组织切片的荧光图像转换方法。

背景技术：

1、荧光显微技术主要用于检测特异荧光材料，在了解大分子结构、代谢物和其他亚细胞成分中起着至关重要的作用。但是，现阶段，荧光显微技术的使用仍存在一些限制。例如：荧光显微技术涉及耗时的准备步骤、昂贵的试剂以及光漂白导致的信号偏倚等。

2、深度学习是一种新兴的技术，目前已被广泛应用于各种领域。随着深度学习在显微技术领域的深入应用，深层神经网络提供了将某通道的荧光图像转换为同一视野中其他通道荧光图像的可能性。换言之，深度学习技术可以在荧光图像的不同通道之间找到预测关系。基于此，提供了基于组织切片的不同荧光转换成像的可行性。

技术实现思路

1、为解决上述问题，提供一种基于深度学习策略的组织切片荧光图像转换方法，可将某通道的组织切片的荧光图像转换为同一视野中其他通道的荧光图像，进而减少(多标)荧光成像过程中重复和费时的工作，节约成本和时间，本发明采用了如下技术方案：

2、本发明提供了一种基于组织切片的荧光图像转换方法，用于将组织切片的某一通道的荧光图像转换为同一视野中其他通道荧光图像，其特征在于，包括以下步骤：步骤s1，构建深度学习网络pix2pix；步骤s2，构建损失函数；步骤s3，获取训练所需的数据集；步骤s4，将数据集输入至深度学习网络pix2pix，采用损失函数和adam优化算法对深度学习网络pix2pix进行优化训练，并将训练好的深度学习网络pix2pix作为荧光图像转换模型；步骤s5，将待转化荧光图像输入至荧光图像转换模型，以获取对应的同一视野中其他通道的荧光图像。

3、本发明提供的一种基于组织切片的荧光图像转换方法，还可以具有这样的技术特征，其中，深度学习网络pix2pix包含一个生成器g和一个鉴别器d，生成器g采用u-net网络结构，鉴别器d采用条件判别器patchgan。

4、本发明提供的一种基于组织切片的荧光图像转换方法，还可以具有这样的技术特征，其中，损失函数通过在对抗损失函数的基础上加入l1损失函数和ms-ssim损失函数得到，损失函数为：

5、

6、式中，表示对抗损失函数，表示l1损失函数，表示ms-ssim损失函数，λ1表示l1损失函数的正则化参数，λ2表示ms-ssim损失函数的正则化参数，表示在g为常数的情况下，选择合适的d使得能够最大化，然后选择合适的g使得能够最小化。

7、本发明提供的一种基于组织切片的荧光图像转换方法，还可以具有这样的技术特征，其中，对抗损失函数为：

8、

9、式中，pdata(x)是训练集中的真实图像分布，pdata(x,y)是荧光图像x和荧光图像y的联合概率分布，是(x，y)的对数似然期望，g表示试图最小化目标，d表示试图最大化目标；

10、l1损失函数为：

11、

12、ms-ssim损失函数为：

13、

14、本发明提供的一种基于组织切片的荧光图像转换方法，还可以具有这样的技术特征，其中，步骤s3包括以下子步骤：步骤s3-1，基于成像设备对组织切片进行采集和成像，获取包含三种通道的荧光图像；步骤s3-2，采用限制对比度自适应直方图均衡方法对步骤s3-1获取的荧光图像进行图像增强获得增强后荧光图像；步骤s3-3，将所有增强后荧光图像随机分割成512×512像素的若干个小图像块；步骤s3-4，将若干个小图像块作为数据集，并划分为训练数据以及测试数据。

15、本发明提供的一种基于组织切片的荧光图像转换方法，还可以具有这样的技术特征，其中，采集和成像过程包括感兴趣区域的选取、自动对焦以及图像拼接。

16、本发明提供的一种基于组织切片的荧光图像转换方法，还可以具有这样的技术特征，其中，在步骤s4的优化训练中，训练150个epoch，网络每次优化遍历的小批量图像数量n为4，初始学习率为0.0002。

17、发明作用与效果

18、根据本发明的一种基于组织切片的荧光图像转换方法，针对现有组织切片荧光成像中存在的不足，构建了具有生成器和判别器的深度学习网络pix2pix，采用损失函数和adam优化算法对该深度学习网络pix2pix进行优化训练得到荧光图像转换模型，只要将某通道的组织荧光图像输入至该荧光图像转换模型就可以实现对应的组织切片其他通道的荧光图像的转换。该组织切片荧光图像转换方法利用深度学习技术在荧光图像的不同通道之间找到预测关系，从而实现不同通道的图像转换，减少了(多标)荧光成像过程中费时费力的工作，节约了成本和时间；同时，基于该深度学习技术，也可实现多荧光标记的组织切片成像。

技术特征：

1.一种基于组织切片的荧光图像转换方法，用于将组织切片的某一通道的待转化荧光图像转换为同一视野中其他通道荧光图像，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于组织切片的荧光图像转换方法，其特征在于：

3.根据权利要求1所述的一种基于组织切片的荧光图像转换方法，其特征在于：

4.根据权利要求3所述的一种基于组织切片的荧光图像转换方法，其特征在于：

5.根据权利要求1所述的一种基于组织切片的荧光图像转换方法，其特征在于：

6.根据权利要求5所述的一种基于组织切片的荧光图像转换方法，其特征在于：

7.根据权利要求1所述的一种基于组织切片的荧光图像转换方法，其特征在于：

技术总结
本发明提供一种基于组织切片的荧光图像转换方法，用于将组织切片的某一通道的待转化荧光图像转换为同一视野中其他通道荧光图像，其特征在于，包括以下步骤：构建深度学习网络Pix2Pix；构建损失函数；获取训练所需的数据集；将数据集输入至深度学习网络Pix2Pix，采用损失函数和Adam优化算法对该深度学习网络Pix2Pix进行优化训练，并将训练好的深度学习网络Pix2Pix作为荧光图像转换模型；将待转化荧光图像输入至荧光图像转换模型，以获取对应的同一视野中其他通道的荧光图像。该组织切片荧光图像转换方法利用深度学习技术在荧光图像的不同通道之间找到预测关系，从而实现不同通道的图像转换，减少了(多标)荧光成像过程中费时费力的工作，节约了成本和时间。

技术研发人员：刘欣,李博艺,刘成成,他得安
受保护的技术使用者：复旦大学
技术研发日：
技术公布日：2024/1/15