基于内窥镜成像的视频图像生成方法和装置及内窥镜系统与流程

本技术涉及医学影像技术，特别涉及一种基于内窥镜成像的视频图像生成方法、一种基于内窥镜成像的视频图像生成装置、以及一种内窥镜系统。

背景技术：

1、内窥镜常用于诸如微创手术等手术过程中，将内窥镜穿过人体腔道而探入至人体的体内病变处，可以实时采集手术工具在体内病变处的受控操作过程。

2、对于体内病变处存在诸如结石等硬质增生物的情况，手术工具在病变处的受控操作过程包括粉碎硬质增生物，例如，手术工具可以包括激光光纤头，以利用激光光纤头产生的钬激光粉碎硬质增生物。

3、然而，人体的体内会存在影响人眼观测的悬浮杂质(例如体液内的碎屑或飞沫，再例如体内的水汽，还例如体内病变处诸如结石等硬质增生物被激光光纤头的钬激光粉碎后产生的碎屑等等)。无论影响人眼观测的悬浮杂质是何种物质，若这些悬浮杂质出现在内窥镜的视野范围内，则，包含内窥镜视野图像的视频流将会模糊化呈现被施术者关注的视野场景特征(例如人体组织、以及诸如激光光纤头等手术工具)，以至于施术者难以准确了解手术工具在体内病变处的受控操作过程，进而引发手术风险(例如偏离于硬质增生物的激光光纤头产生的钬激光对人体组织产生诸如热损伤等操作误伤)。

4、可见，如何降低悬浮杂质对基于内窥镜成像的视频呈现效果的模糊化干扰，成为现有技术中有待解决的技术问题。

技术实现思路

1、本技术的实施例提供了一种基于内窥镜成像的视频图像生成方法、一种基于内窥镜成像的视频图像生成装置、以及一种内窥镜系统，有助于降低悬浮杂质对基于内窥镜成像的视频呈现效果的模糊化干扰。

2、在本技术的一个实施例中，一种基于内窥镜成像的视频图像生成方法包括：

3、获取基于内窥镜成像的内窥镜视野图像，其中，所述内窥镜视野图像中包括所述内窥镜的视野范围内的视野场景特征；

4、基于对所述内窥镜视野图像的图像优化，生成用于可视化呈现的视频图像，其中，所述图像优化用于在所述内窥镜视野图像中还包括引发所述视野场景特征的模糊化的悬浮杂质特征时，在对所述视野场景特征保真的基础上虚化所述悬浮杂质特征。

5、在一些示例中，可选地，所述基于对所述内窥镜视野图像的图像优化，生成用于可视化呈现的视频图像，包括：基于对所述内窥镜视野图像的图像清晰化处理，生成清晰化图像；基于对所述清晰化图像的视野场景增强处理，生成所述视频图像；其中，所述图像清晰化处理用于增强所述悬浮杂质特征所在的图像区域的局部对比度，并且，所述视野场景增强处理用于增强所述视野场景特征的特征信息。

6、在一些示例中，可选地，还包括：基于获取到的人机交互指令，确定在预先设定的至少两个清晰化等级中为所述清晰化处理当前选定的清晰化等级、以及在预先设定的至少两个增强等级中为所述视野场景增强处理当前选定的增强等级。

7、在一些示例中，可选地，所述基于对所述内窥镜视野图像的图像清晰化处理，生成清晰化图像，包括：对所述内窥镜视野图像进行以所述悬浮杂质特征为雾化特征的去雾处理，得到所述清晰化图像。

8、在一些示例中，可选地，所述对所述内窥镜视野图像进行以所述悬浮杂质特征为雾化特征的去雾处理，得到所述清晰化图像，包括：将所述内窥镜视野图像输入至预先训练的神经网络，其中，所述神经网络的训练样本中包括具有所述悬浮杂质特征的特征形态的雾化样本特征，并且，所述清晰化图像包括所述神经网络的输出图像。

9、在一些示例中，可选地，所述对所述内窥镜视野图像进行以所述悬浮杂质特征为雾化特征的去雾处理，得到所述清晰化图像，包括：对所述内窥镜视野图像进行光线性增强处理，基于预先设定的去雾算法对所述光线性增强处理得到的光线性增强图像进行去雾处理，以及，将所述去雾处理后得到的去雾图像进行所述光线性增强处理的逆向处理，得到所述清晰化图像。

10、在一些示例中，可选地，所述基于对所述清晰化图像的视野场景增强处理，生成所述视频图像，包括：对所述清晰化图像进行全局细节增强处理，得到全局细节增强图像；确定所述视野场景特征在所述全局细节增强图像中的匹配特征信息；基于对所述全局细节增强图像中的所述匹配特征信息的凸显化处理，得到所述局部细节增强图像；基于所述清晰化图像和所述局部细节增强图像，生成所述视频图像。

11、在一些示例中，可选地，还包括：基于所述清晰化图像生成以所述视野场景特征为突显对象的显著图，和/或，获取所述视野场景特征在所述清晰化图像中的特征识别信息；所述确定所述视野场景特征在所述全局细节增强图像中的匹配特征信息，包括：以所述显著图和/或所述特征识别信息为指示信息，确定所述视野场景特征在所述全局细节增强图像中的匹配特征信息。

12、在一些示例中，可选地，所述基于所述清晰化图像，生成以所述视野场景特征为突显对象的显著图，包括：基于对所述清晰化图像进行多尺度均值滤波得到的均值滤波图像，确定所述清晰化图像在各尺度下的局部对比度；基于对所述清晰化图像在各尺度下的局部对比度的加权融合，得到所述显著图。

13、在一些示例中，可选地，所述基于所述清晰化图像和所述目标细节增强图像，生成所述视频图像，包括：对所述清晰化图像进行亮度均衡处理，得到亮度均衡图像；基于所述亮度均衡图像和所述局部细节增强图像的图像融合，生成所述视频图像。

14、在一些示例中，可选地，所述对所述清晰化图像进行亮度均衡处理，得到亮度均衡图像，包括：对所述清晰化图像进行光照估计；基于所述光照估计得到的光照估计数据，确定所述清晰化图像中以亮度阈值为界限划分的高亮度区域和低亮度区域；通过对所述清晰化图像的高亮度区域实施亮度抑制、以及对所述清晰化图像的低亮度区域实施亮度补偿，得到所述亮度均衡图像。

15、在一些示例中，可选地，所述对所述清晰化图像进行光照估计，包括：基于对所述清晰化图像进行多尺度均值滤波得到的均值滤波图像，生成对所述清晰化图像的光照估计数据。

16、在一些示例中，可选地，所述基于对所述内窥镜视野图像的图像优化，生成用于可视化呈现的视频图像，包括：将所述内窥镜视野图像输入基于深度学习的端到端神经网络；其中，所述端到端神经网络用于实现从输入图像到输出图像的映射转换，所述映射转换包括以所述悬浮杂质特征为虚化目标的特征虚化，并且，所述视频图像为所述端到端神经网络的输出图像。

17、在一些示例中，可选地，还包括：利用图像样本集训练所述端到端神经网络，其中：所述图像样本集包括多组图像样本对，每一组所述图像样本对中的第一图像样本和第二图样样本中包括相同的悬浮杂质样本特征，所述悬浮杂质样本特征在所述第一图像样本中被呈现为高于预设辨识度阈值的显现状态，并且，所述悬浮杂质样本特征在所述第二图像样本中被呈现为低于所述预设辨识度阈值的虚化状态；所述端到端神经网络的训练目标被设定为：对每一组所述图像样本中的所述第一图像样本到所述第二图像样本的转换损失低于目标损失。

18、在一些示例中，可选地，所述端到端神经网络为循环生成式对抗网络，其中：在利用所述图像样本集对所述循环生成式对抗网络的训练过程中，所述循环生成式对抗网络循环实现每一组所述图像样本中的所述第一图像样本和所述第二图像样本之间的双向转换；当所述循环生成式对抗网络的循环一致性损失和循环感知一致性损失的加权值达到预设阈值时，所述训练过程由于达到所述训练目标而结束。

19、在一些示例中，可选地，所述基于对所述内窥镜视野图像的图像优化，生成用于可视化呈现的视频图像，包括：基于获取到的人机交互指令，确定所述图像优化的优化模式，其中，所述优化模式包括被择一启用的第一优化模式和第二优化模式；在所述第一优化模式下，对所述内窥镜视野图像顺序执行图像清晰化处理和视野场景增强处理，所述图像清晰化处理用于增强所述悬浮杂质特征所在的图像区域的局部对比度，并且，所述视野场景增强处理用于增强所述视野场景特征的特征信息；在所述第二优化模式下，将所述内窥镜视野图像输入基于深度学习的端到端神经网络，所述端到端神经网络用于实现从输入图像到输出图像的映射转换，所述映射转换包括以所述悬浮杂质特征为虚化目标的特征虚化，并且，所述视频图像为所述端到端神经网络的输出图像。

20、在本技术的另一个实施例中，一种基于内窥镜成像的视频图像生成装置包括：

21、图像获取模块，用于获取基于内窥镜成像的内窥镜视野图像，其中，所述内窥镜视野图像中包括所述内窥镜的视野范围内的视野场景特征；

22、图像优化模块，用于基于对所述内窥镜视野图像的图像优化，生成用于可视化呈现的视频图像，其中，所述图像优化用于在所述内窥镜视野图像中还包括引发所述视野场景特征的模糊化的悬浮杂质特征时，在对所述视野场景特征保真的基础上虚化所述悬浮杂质特征。

23、在一些示例中，可选地，所述图像优化模块包括：图像清晰化子模块，用于基于对所述内窥镜视野图像的图像清晰化处理，生成清晰化图像，其中，所述图像清晰化处理用于增强所述悬浮杂质特征所在的图像区域的局部对比度；视野场景增强子模块，用于基于对所述清晰化图像的视野场景增强处理，生成所述视频图像，其中，所述视野场景增强处理用于增强所述视野场景特征的特征信息。

24、在一些示例中，可选地，所述图像优化模块还包括：等级配置子模块，用于基于获取到的人机交互指令，确定在预先设定的至少两个清晰化等级中为所述清晰化处理当前选定的清晰化等级、以及在预先设定的至少两个增强等级中为所述视野场景增强处理当前选定的增强等级。

25、在一些示例中，可选地，所述图像清晰化子模块被具体配置为：对所述内窥镜视野图像进行以所述悬浮杂质特征为雾化特征的去雾处理，得到所述清晰化图像。

26、在一些示例中，可选地，所述图像清晰化子模块被具体配置为：将所述内窥镜视野图像输入至预先训练的神经网络，其中，所述神经网络的训练样本中包括具有所述悬浮杂质特征的特征形态的雾化样本特征，并且，所述清晰化图像包括所述神经网络的输出图像。

27、在一些示例中，可选地，所述图像清晰化子模块被具体配置为：对所述内窥镜视野图像进行光线性增强处理，基于预先设定的去雾算法对所述光线性增强处理得到的光线性增强图像进行去雾处理，以及，将所述去雾处理后得到的去雾图像进行所述光线性增强处理的逆向处理，得到所述清晰化图像。

28、在一些示例中，可选地，所述视野场景增强子模块被具体配置为：对所述清晰化图像进行全局细节增强处理，得到全局细节增强图像；确定所述视野场景特征在所述全局细节增强图像中的匹配特征信息；基于对所述全局细节增强图像中的所述匹配特征信息的凸显化处理，得到所述局部细节增强图像；基于所述清晰化图像和所述局部细节增强图像，生成所述视频图像。

29、在一些示例中，可选地，所述视野场景增强子模块被具体配置为：基于所述清晰化图像生成以所述视野场景特征为突显对象的显著图，和/或，获取所述视野场景特征在所述清晰化图像中的特征识别信息；以及，以所述显著图和/或所述特征识别信息为指示信息，确定所述视野场景特征在所述全局细节增强图像中的匹配特征信息。

30、在一些示例中，可选地，所述视野场景增强子模块被具体配置为：基于对所述清晰化图像进行多尺度均值滤波得到的均值滤波图像，确定所述清晰化图像在各尺度下的局部对比度；基于对所述清晰化图像在各尺度下的局部对比度的加权融合，得到所述显著图。

31、在一些示例中，可选地，所述视野场景增强子模块被具体配置为：对所述清晰化图像进行亮度均衡处理，得到亮度均衡图像；基于所述亮度均衡图像和所述局部细节增强图像的图像融合，生成所述视频图像。

32、在一些示例中，可选地，所述视野场景增强子模块被具体配置为：对所述清晰化图像进行光照估计；基于所述光照估计得到的光照估计数据，确定所述清晰化图像中以亮度阈值为界限划分的高亮度区域和低亮度区域；通过对所述清晰化图像的高亮度区域实施亮度抑制、以及对所述清晰化图像的低亮度区域实施亮度补偿，得到所述亮度均衡图像。

33、在一些示例中，可选地，所述视野场景增强子模块被具体配置为：基于对所述清晰化图像进行多尺度均值滤波得到的均值滤波图像，生成对所述清晰化图像的光照估计数据。

34、在一些示例中，可选地，所述图像优化模块包括：模型调用子模块，用于将所述内窥镜视野图像输入基于深度学习的端到端神经网络，其中，所述端到端神经网络用于实现从输入图像到输出图像的映射转换，所述映射转换包括以所述悬浮杂质特征为虚化目标的特征虚化，并且，所述视频图像为所述端到端神经网络的输出图像。

35、在一些示例中，可选地，还包括：模型训练模块，用于利用图像样本集训练所述端到端神经网络，其中：所述图像样本集包括多组图像样本对，每一组所述图像样本对中的第一图像样本和第二图样样本中包括相同的悬浮杂质样本特征，所述悬浮杂质样本特征在所述第一图像样本中被呈现为高于预设辨识度阈值的显现状态，并且，所述悬浮杂质样本特征在所述第二图像样本中被呈现为低于所述预设辨识度阈值的虚化状态；所述端到端神经网络的训练目标被设定为：对每一组所述图像样本中的所述第一图像样本到所述第二图像样本的转换损失低于目标损失。

36、在一些示例中，可选地，所述图像优化模块包括：模式使能子模块，用于基于获取到的人机交互指令，确定所述图像优化的优化模式，其中，所述优化模式包括被择一启用的第一优化模式和第二优化模式；在所述第一优化模式下被启用的图像清晰化子模块和视野场景增强子模块，用于对所述内窥镜视野图像顺序执行图像清晰化处理和视野场景增强处理，所述图像清晰化处理用于增强所述悬浮杂质特征所在的图像区域的局部对比度，并且，所述视野场景增强处理用于增强所述视野场景特征的特征信息；在所述第二优化模式下被启用的模型调用子模块，用于将所述内窥镜视野图像输入基于深度学习的端到端神经网络，所述端到端神经网络用于实现从输入图像到输出图像的映射转换，所述映射转换包括以所述悬浮杂质特征为虚化目标的特征虚化，并且，所述视频图像为所述端到端神经网络的输出图像。

37、在本技术的另一个实施例中，一种内窥镜系统包括：

38、内窥成像组件，包括内窥镜和摄像头，所述摄像头用于生成通过内窥镜成像的内窥镜视野图像；

39、处理器组件，用于执行前述实施例中的视频图像生成方法。

40、在本技术的另一个实施例中，一种非瞬时计算机可读存储介质，其存储指令，所述指令在由处理器执行时使得所述处理器执行前述实施例中的视频图像生成方法。

41、基于上述实施例，可以对基于内窥镜成像的内窥镜视野图像进行图像优化，若内窥镜视野图像中除了包括内窥镜的视野范围内的视野场景特征之外，还包括引发视野场景特征的模糊化的悬浮杂质特征，则，对内窥镜视野图像的图像优化通过对视野场景特征和悬浮杂质特征的差异化处理，可以在对视野场景特征保真的基础上虚化悬浮杂质特征，从而使得视野场景特征在图像优化后得到的视频图像中的清晰度高于在内窥镜视野图像中的清晰度，进而，有助于降低悬浮杂质对基于内窥镜成像的视频呈现效果的模糊化干扰，以降低手术过程中误伤人体组织、甚至发生手术事故的风险。