一种基于伴随监督网络的胶原纤维双重虚拟染色图像生成方法

本发明属于医学h&e病理染色图像处理和机器视觉领域，具体涉及一种基于伴随监督网络的胶原纤维双重虚拟染色图像生成方法。

背景技术：

1、组织学染色是诊断各种疾病的重要步骤，通过提供组织切片上的对比，使医学专家能够分析可视显微组织。苏木精和伊红(h&e)染色是最常用的、也相对容易获得的染色方法，广泛应用于医学和工业领域。除了h&e染色外，病理学家还利用各种具有不同性质的组织学染色方法，以突出不同的组织成分。

2、胶原纤维的拓扑结构和组织在不同类型的癌症发展和预后中占据重要的位置，并已得到广泛的表征。传统获取胶原纤维图像的方法包括特定染色(如picrosius红染色)和成像方式(如二次谐波生成成像(shg))在临床工作流程中应用。而如今，深度学习已应用于虚拟图像生成中，通过基质胶原图像合成算法实现了与组织化学染色相媲美的效果。

3、传统方法中，组织学染色过程耗时且具有破坏性，而仪器成像则昂贵且复杂。尽管基于卷积神经网络(cnn)的基质胶原图像合成算法已经取得了虚拟图像生成的成果，但其严重依赖于配对图像进行有监督训练。因此，提出一种基于伴随监督网络的胶原纤维双重虚拟图像生成方法显得尤为必要。

技术实现思路

1、本发明的目的在于弥补传统方法和当前神经网络的不足，提供一种基于伴随监督网络的胶原纤维双重虚拟染色图像生成方法，该方法不仅能够解决传统方法耗时、破坏性大和仪器昂贵的问题，还能够避免有监督配准步骤和克服无监督聚类错误的挑战。

2、为实现上述目的，本发明的技术方案是：一种基于伴随监督网络的胶原纤维双重虚拟染色图像生成方法，包括如下步骤：

3、步骤s1、构建苏木精和伊红染色、组织化学网状纤维染色、二次谐波胶原纤维图像数据集；

4、步骤s2、将组织化学网状纤维染色和二次谐波胶原纤维两种胶原纤维图像进行色彩强度翻转；

5、步骤s3、设计循环生成对抗网络1，输入h&e图像，输出强度颠倒的组织化学网状纤维染色和二次谐波胶原纤维两种胶原纤维图像；

6、步骤s4、设计循环生成对抗网络2，输入h&e图像，输出无强度颠倒的组织化学网状纤维染色和二次谐波胶原纤维两种胶原纤维图像；

7、步骤s5、将循环生成对抗网络1生成的虚拟图像进行色彩强度再翻转，并用来约束循环生成对抗网络2输出的图像；

8、步骤s6、对循环生成对抗网络1和循环生成对抗网络2同时进行训练，基于这两个网络构建伴随监督模型；

9、步骤s7、获得伴随监督循环生成对抗网络2输出的双重虚拟胶原纤维图像。

10、在本发明一实施例中，所述步骤s1中，从医院获取苏木精和伊红染色、组织化学网状纤维染色、二次谐波胶原纤维图像的wsi图像，并将所有wsi图像调整放大倍率为20x，将这些wsi图像切割为256×256像素的小图，作为自建的胶原纤维双重虚拟图像生成的数据集。

11、在本发明一实施例中，所述步骤s2中，基于在h&e图像中的胶原纤维表达方式，对比二次谐波胶原纤维和组织化学网状纤维染色图像中胶原纤维与背景的强度和纹理特征，并通过像素值翻转对组织化学网状纤维染色和二次谐波胶原纤维两种胶原纤维图像进行强度颠倒，具体的表达式为：

12、c[rgb]＝255-σ[rgb]

13、其中，c[rgb]表示为强度颠倒后图像的三通道色彩强度，σ[rgb]表示为两种胶原纤维图像的三通道色彩强度。

14、在本发明一实施例中，所述步骤s3具体包括以下步骤：

15、步骤s31、设计循环生成对抗网络1，其中生成器采用resnet9block结构，判别器采用patchgan结构，损失函数设置为循环一致性损失；

16、步骤s32、确认循环生成对抗网络1的输入与输出，输入为h&e图像，输出分别为强度颠倒后的组织化学网状纤维染色图像和二次谐波胶原纤维图像。

17、在本发明一实施例中，所述步骤s4具体包括以下步骤：

18、步骤s41、设计循环生成对抗网络2，其中生成器采用resnet9block结构，判别器采用patchgan结构，损失函数设置为循环一致性损失；

19、步骤s42、确认循环生成对抗网络2的输入与输出，输入为h&e图像，输出分别为组织化学网状纤维染色图像和二次谐波胶原纤维图像。

20、在本发明一实施例中，所述步骤s5中将循环生成对抗网络1输出的虚拟图像再进行强度颠倒，重新将像素值反转到原图像，并约束循环生成对抗网络2输出的虚拟图像图像，具体的表达式为：

21、loss＝[vσ[rgb]-(255-vc[rgb])]*lambda_b*2

22、其中，loss为循环生成对抗网络1约束循环生成对抗网络2的损失值，vσ[rgb]表示虚拟胶原纤维图像的三通道色彩强度，vc[rgb]表示颠倒强度的虚拟胶原纤维图像的三通道色彩强度，lambda_b为超参数。

23、在本发明一实施例中，所述步骤s6具体包括以下步骤：

24、步骤s61、构建伴随监督网络模型，包括图像输入层、主干网络、颈部网络、主判别器、次判别器、图像输出层；循环生成对抗网络1和循环生成对抗网络2的输入为h&e图像，循环生成对抗网络1的输出为色彩强度翻转后的两种胶原纤维图像，循环生成对抗网络2的输出为两种胶原纤维图像；在输入层将h&e图像重复送入循环生成对抗网络1和循环生成对抗网络2中；主干网络为循环生成对抗网络2的resnet9block生成器，使用conv卷积和残差模块融合浅层和深层次的信息；颈部网络为循环生成对抗网络1的resnet9block生成器，循环生成对抗网络2的生成器结构与循环生成对抗网络1的生成器相同；主判别器为循环生成对抗网络2的patchgan判别器，用于区域性判别循环生成对抗网络2中输出的虚拟图像；次判别器为循环生成对抗网络1的patchgan判别器，用于区域性判别循环生成对抗网络1中输出的虚拟强度颠倒后的图像；图像输出层中对循环生成对抗网络1输出的虚拟图像进行色彩强度再翻转，将翻转结果提供给循环生成对抗网络2并约束循环生成对抗网络2的虚拟图像，完成循环生成对抗网络1对循环生成对抗网络2的伴随监督；

25、步骤s62、对切割的h&e小图进行数据增强处理，包括翻转、线性插值拉伸和随机裁剪，在输入层调整为256×256像素的图像，然后同时送入循环生成对抗网络1和循环生成对抗网络2的生成器中；

26、步骤s63、在主干网络和颈部网络中，使用反射填充和7×7的卷积层作为初始卷积层，以在提高获取全局信息的同时减少算力要求；添加两个降采样层，通过叠加通道并缩小尺寸，使用3×3的卷积核、batch normalization归一化和relu激活函数，以获取更丰富的特征；再经过九次resnetblock模块，进行多次图像信息分析，resnetblock模块由3x3的卷积层、规范化层、relu激活函数和dropout层构成；采用转置卷积进行上采样以恢复图像尺寸，卷积核为3x3，步长为2；最终层应用反射填充和一个7x7的卷积层，同时使用tanh激活函数；

27、步骤s64、主判别器和次判别器均采用patchgan结构，分别区域性的判别未颠倒图像和进行强度颠倒后图像的真实性；

28、步骤s65、同时训练循环生成对抗网络1和循环生成对抗网络2，其中提取循环生成对抗网络1输出的虚拟图像并进行色彩强度再翻转，以约束循环生成对抗网络2的虚拟图像，使循环生成对抗网络2通过循环生成对抗网络1的伴随监督跳过错误低谷，避免聚类错误问题；在进行1个轮次epoch的伴随训练后，取消伴随监督，让循环生成对抗网络2进行梯度收敛的训练。

29、在本发明一实施例中，所述步骤s7中使用经过伴随监督的循环生成对抗网络2，完成胶原纤维的双重虚拟图像生成。

30、相较于现有技术，本发明具有以下有益效果：本发明提供了一种基于伴随监督网络的胶原纤维双重虚拟图像生成方法，该方法利用图像的强度信息和纹理特征，结合多个循环生成对抗网络，解决了传统方法的弊端，避免了有监督配准的困难和无监督的聚类错误问题，实现基于h&e病理图像的胶原纤维双重虚拟图像生成。