一种手术场景图像转换方法

本发明涉及手术场景图像转换，尤其是指一种手术场景图像转换方法。

背景技术：

1、随着手术机器人和深度学习驱动算法的蓬勃发展，通过学习人类的技能使机器人能够自主完成某些子任务的手术自动化正引起巨大关注。然而，由于伦理问题的存在，目前手术场景的数据集对外公开的数量较小，并且场景的种类也处于受限的状态。为了促进手术机器人深度学习得到更好的发展，提供更丰富的手术场景信息的数据集就十分重要，其中就包括增加手术场景的图像数据集。由于该原因，手术图像的转换技术应运而生。从其他场景到所需场景的高质量外科图像转换方法不仅可以增加手术场景数据集的数量，还可以帮助手术机器人的医疗技能训练平台的搭建。

2、为了实现图像转换这一目标，研究人员正在进行广泛的研究，以探寻合适的图像转换方法。其中，gan(generative adversarial network，生成对抗网络)已被广泛应用，其包括一个生成器和一个辨别器，它们都是由深度学习网络搭建而成。生成器被训练以生成目标场景的新图像，辨别器则被训练以辨别生成器生成的图像是否为目标场景的图像，两个网络在训练过程中共同进步，最终生成器生成目标域假图的能力得到显著的提升。然而考虑到两个不同领域下的大多数数据基本上是不成对的(成对：源域和目标域的图像一一对应，即每一张源域的图片都有一张语义信息相同的目标域图片与其对应)，这样的数据不能用作gan的训练，因此可以使用这类数据进行图像转换训练的循环生成对抗网络(cyclegan)应运而生。

3、在进行整张手术场景图像转换时，直接使用cyclegan进行操作会出现图像转换的不清晰和手术器械的部分缺失等问题。现有技术中，基于改进的cyclegan模型也只专注于手术器械的图像转换，因此当手术场景的背景不同时，无法使用现有技术方案实现高质量的图像转换。

技术实现思路

1、本发明所要解决的技术问题在于克服现有技术中存在的不足，提供一种手术场景图像转换方法，其能在背景不同的情况下转换出图像清晰且器械部分完整的手术场景图像，实现高质量的手术图像转换。

2、按照本发明提供的技术方案，所述手术场景图像转换方法包括：

3、构建改进的cyclegan模型，所述改进的cyclegan模型包括第一生成器、第一判别器、第二生成器、第二判别器、对抗生成损失函数、循环一致性损失函数以及器械保护损失函数；

4、获取手术场景图像数据集，所述手术场景图像数据集包括多对样本图像和期望图像，定义所述样本图像为源域图像，所述期望图像为目标域图像，基于所述手术场景图像数据集训练所述改进的cyclegan模型；

5、基于训练后的改进的cyclegan模型，根据所述样本图像，得到转换后的手术场景图像；

6、其中，训练所述改进的cyclegan模型包括：

7、步骤1、执行“源域-目标域-源域”的正向训练；

8、步骤2、执行“目标域-源域-目标域”的逆向训练；

9、步骤3、判断执行所述正向训练和逆向训练的次数是否达到预设值，若到达所述预设值，则完成训练，否则，返回步骤1。

10、其中，正向训练或逆向训练时，根据所述器械保护损失函数更新所述第二生成器和第一生成器的参数。

11、在本发明的一个实施例中，所述正向训练包括：

12、分离所述源域图像的背景以及器械，得到第一背景图和第一器械图；

13、基于所述对抗生成损失函数和目标域图像更新所述第一判别器参数；

14、将所述第一背景图和第一器械图输入第一生成器，得到第一转换图；

15、所述第一判别器判断所述第一转换图是否为目标域图像，若所述第一转换图为目标域图像，则执行下一步骤，否则，基于所述对抗生成损失函数更新所述第一生成器参数后返回第一生成器输出转换图的步骤；

16、分离所述第一转换图中的背景以及器械，得到第二背景图像和第二器械图；

17、将所述第二背景图和第二器械图输入第二生成器，得到第二转换图；

18、对比所述第二转换图与源域图像，基于所述循环一致性损失函数更新第一生成器和第二生成器的参数；

19、分离所述第二转换图中的背景以及器械，得到第三背景图和第三器械图；

20、将所述第三器械图与所述第一背景图融合，得到第三转换图，对比所述第三转换图与所述源域图像，基于所述器械保护损失函数更新所述第一生成器以及第二生成器的参数。

21、在本发明的一个实施例中，所述逆向训练包括：

22、基于所述对抗生成损失函数和源域图像更新所述第二判别器参数；

23、将第三背景图和第三器械图输入第二生成器，得到第四转换图；

24、所述第二判别器判断所述第四转换图是否为源域图像，若所述第四转换图为源域图像，则执行下一步骤，否则，基于所述对抗生成损失函数更新所述第二生成器参数后返回输出第二生成器输出转换图的步骤；

25、分离所述第四转换图中的背景以及器械，得到第五背景图和第五器械图；

26、将所述第五背景图和第五器械图输入第一生成器，得到第五转换图；

27、对比所述第五转换图与目标域图像，基于所述循环一致性损失函数更新第一生成器和第二生成器的参数；

28、分离所述第五转换图中的背景以及器械，得到第六背景图和第六器械图；

29、将所述第六器械图与所述第三背景图融合，得到第六转换图，对比所述第六转换图与所述目标域图像，基于所述器械保护损失函数更新所述第一生成器以及第二生成器的参数。

30、在本发明的一个实施例中，通过掩码模块分离所述样本图像的背景以及器械，所述掩码模块为图像分割网络。

31、在本发明的一个实施例中，所述第一生成器包括背景编码器、器械编码器以及解码器，所述背景编码器和器械编码器均与所述解码器连接。

32、在本发明的一个实施例中，所述背景编码器与所述器械编码器均包括多层卷积层，任一卷积层包括下采样/上采样层、校正线性单位激活函数层和残差块。

33、在本发明的一个实施例中，所述解码器包括多层卷积层，任一卷积层包括下采样/上采样层、校正线性单位激活函数层和残差块，所述背景编码器以及器械编码器中的下采样层均与所述解码器中对应的上采样层连接。

34、在本发明的一个实施例中，所述对抗生成损失函数为：

35、

36、其中，a为源域图像；b为目标域图像；g为生成器；d为辨别器。

37、在本发明的一个实施例中，所述循环一致性损失函数为：

38、

39、其中，cyc(a)为第二转换图；cyc(b)为第五转换图。

40、在本发明的一个实施例中，所述器械保护损失函数为：

41、

42、其中，η为合成图像；τ为图像二值化的阈值。

43、本发明的上述技术方案相比现有技术具有以下优点：

44、本发明所述手术场景图像转换方法基于改进的cyclegan模型实现，改进的cyclegan模型包括两个生成器和两个辨别器，每个生成器包括器械编码和背景编码，两个编码器用于视觉特征的解缠，一个解码器用于视觉特征的融合，避免了现有方案中手术背景和手术器械之间发生视觉特征纠缠的问题。此外，在训练过程中，除了现有cyclegan的对抗生成损失函数和循环一致性损失函数来监督网络的训练，本发明还设计了器械保护损失函数来监督训练，使转换过后的图像器械缺失部分减少，以达到提高图像转换的质量的目的。本发明可以用作手术场景的整图的图像转换，在背景不同的情况下也能使用，克服了使用传统图像转换方法时图像模糊和器械部分缺失等问题，实现了高质量的手术图像转换。