烟雾检测方法、装置、电子设备及存储介质与流程

本技术涉及图像处理，特别是涉及烟雾检测方法、装置、电子设备及存储介质。

背景技术：

1、手术烟雾指手术过程中产生的气态物质，是在外科手术过程中由高频电灼刀、激光刀、超声手术刀等毛边破坏和汽化组织蛋白及脂肪而形成的，不仅妨碍手术人员的视线，还会释放有毒有害物质，造成手术室人员头痛、眼睛及粘膜发炎等不良后果。

2、现代医疗中，为了降低烟雾带来的不良影响，在腹腔镜手术过程中，采用智能调度气腹机根据烟雾的大小对烟雾进行抽取。但在此之前，如何更精准地检测到烟雾，仍是亟待解决的问题之一。

技术实现思路

1、本技术实施例的目的在于提供烟雾检测方法、装置、电子设备及存储介质，以提高烟雾检测的准确性。具体技术方案如下：

2、第一方面，本技术实施例提供了一种烟雾检测方法，包括：

3、获取内窥镜图像；

4、将所述内窥镜图像输入到预先训练的烟雾识别模型中，利用所述烟雾识别模型对所述内窥镜图像进行预设种类有源器械的检测；

5、在存在预设种类有源器械的情况下，利用所述烟雾识别模型进行预设动作类别的检测；

6、在存在预设动作类别的情况下，利用所述烟雾识别模型进行烟雾分类，得到烟雾分类结果。

7、本技术的一个实施例中，所述方法还包括：

8、在没有识别到所述预设种类有源器械或者所述预设动作类别的情况下，停止针对所述内窥镜图像的烟雾分类检测。

9、本技术的一个实施例中，所述烟雾识别模型包括检测网络、分类网络，所述检测网络包括特征提取部分及有源器械分类部分；

10、所述将所述内窥镜图像输入到预先训练的烟雾识别模型中，利用所述烟雾识别模型对所述内窥镜图像进行预设种类有源器械的检测，包括：

11、将所述内窥镜图像输入到所述预先训练的烟雾识别模型中，利用所述检测网络的特征提取部分对所述内窥镜图像进行特征提取，得到多尺度特征；

12、利用所述检测网络的有源器械分类部分对所述多尺度特征进行有源器械分类，得到有源器械区域的第一检测结果，其中，所述第一检测结果表示是否存在所述有源器械区域，以及所述有源器械区域的位置信息；

13、所述在存在预设动作类别的情况下，利用所述烟雾识别模型进行烟雾分类，得到烟雾分类结果，包括：

14、在存在预设动作类别的情况下，利用所述分类网络对所述多尺度特征进行烟雾分类，得到烟雾分类结果。

15、本技术的一个实施例中，所述烟雾识别模型包括识别网络；

16、所述在存在预设种类有源器械的情况下，利用所述烟雾识别模型进行预设动作类别的检测，包括：

17、在所述内窥镜图像中检测出有源器械区域的情况下，获取所述内窥镜图像采集时刻前预设数量图像的有源器械区域；

18、将所述预设数量图像的有源器械区域及所述内窥镜图像的有源器械区域输入到所述识别网络中进行预设动作类别的检测，得到预设动作类别的第二检测结果，其中，所述第二检测表示是否存在所述预设动作类别。

19、本技术的一个实施例中，所述烟雾识别模型包括分类网络；

20、所述在存在预设动作类别的情况下，利用所述烟雾识别模型进行烟雾分类，得到烟雾分类结果，包括：

21、利用所述分类网络的特征提取部分对所述内窥镜图像进行烟雾特征提取，得到所述内窥镜图像的全局特征；

22、利用所述分类网络中的全局神经网络池化层及全连接层对所述全局特征进行回归，得到所述内窥镜图像的烟雾分类结果。

23、本技术的一个实施例中，所述烟雾分类结果包括小面积的薄雾、小面积的浓雾、大面积的浓雾、大面积的薄雾。

24、第二方面，本技术实施例提供了一种烟雾识别模型的训练方法，包括：

25、获取内窥镜采集的第一样本图像，其中，所述第一样本图像对应有预设种类有源器械的真值标签；

26、利用所述第一样本图像对烟雾识别模型的检测网络进行训练；

27、获取样本有源器械区域序列，其中，所述样本有源器械区域序列包括时序上连续的多个样本有源器械区域，所述样本有源器械区域序列对应有预设动作类别的真值标签；

28、利用样本有源器械区域序列对所述烟雾识别模型中的识别网络进行训练；

29、获取样本分类数据，其中，所述样本分类数据对应有烟雾分类的真值标签，所述样本分类数据为内窥镜采集的样本图像，或所述检测网络的特征提取部分所输出的多尺度特征；

30、利用样本分类数据对所述烟雾识别模型中的分类网络进行训练。

31、本技术的一个实施例中，所述检测网络包括特征提取部分及有源器械分类部分，所述样本分类数据为所述检测网络的特征提取部分所输出的样本多尺度特征；

32、所述将利用所述第一样本图像对烟雾识别模型的检测网络进行训练，包括：

33、将所述第一样本图像输入到所述烟雾识别模型中，利用检测网络的特征提取部分对所述第一样本图像进行特征提取，得到第一样本多尺度特征；

34、利用检测网络的有源器械分类部分对所述第一样本多尺度特征进行有源器械分类，得到有源器械区域的第三检测结果；

35、根据所述第三检测结果及所述第一样本图像对应的真值标签调整检测网络的参数；

36、选取其他样本图像对所述检测网络继续进行训练，直至满足第一结束条件，得到训练后的检测网络；

37、所述方法还包括：

38、利用训练后的检测网络的特征提取部分对所述第二样本图像进行特征提取，得到第二样本多尺度特征；

39、所述利用样本分类数据对所述烟雾识别模型中的分类网络进行训练，包括：

40、利用所述分类网络对所述第二样本多尺度特征进行烟雾分类，得到烟雾分类结果；

41、根据所述烟雾分类结果及所述第二样本多尺度特征对应的真值标签调整分类网络的参数；

42、利用检测网络的特征提取部分输出的其他样本图像的样本多尺度特征，对所述分类网络继续进行训练，直至满足第二结束条件，得到训练后的分类网络。

43、本技术的一个实施例中，所述样本分类数据为内窥镜采集的样本图像；

44、所述利用样本分类数据对所述烟雾识别模型中的分类网络进行训练，包括：

45、利用所述分类网络对样本图像进行烟雾分类，得到烟雾分类结果；

46、根据所述烟雾分类结果及所述样本图像对应的真值标签调整分类网络的参数；

47、选取其他的样本图像对所述分类网络继续进行训练，直至满足第二结束条件，得到训练后的分类网络。

48、第三方面，本技术实施例提供了一种烟雾检测装置，包括：

49、图像获取模块，用于获取内窥镜图像；

50、器械检测模块，用于将所述内窥镜图像输入到预先训练的烟雾识别模型中，利用所述烟雾识别模型对所述内窥镜图像进行预设种类有源器械的检测；

51、动作检测模块，用于在存在预设种类有源器械的情况下，利用所述烟雾识别模型进行预设动作类别的检测；

52、烟雾分类模块，用于在存在预设动作类别的情况下，利用所述烟雾识别模型进行烟雾分类，得到烟雾分类结果。

53、本技术的一个实施例中，所述装置还包括：

54、检测停止模块，用于在没有识别到所述预设种类有源器械或者所述预设动作类别的情况下，停止针对所述内窥镜图像的烟雾分类检测。

55、本技术的一个实施例中，所述烟雾识别模型包括检测网络、分类网络，所述检测网络包括特征提取部分及有源器械分类部分；

56、所述器械检测模块，具体用于：

57、将所述内窥镜图像输入到所述预先训练的烟雾识别模型中，利用所述检测网络的特征提取部分对所述内窥镜图像进行特征提取，得到多尺度特征；

58、利用所述检测网络的有源器械分类部分对所述多尺度特征进行有源器械分类，得到有源器械区域的第一检测结果，其中，所述第一检测结果表示是否存在所述有源器械区域，以及所述有源器械区域的位置信息；

59、所述烟雾分类模块，具体用于：

60、在存在预设动作类别的情况下，利用所述分类网络对所述多尺度特征进行烟雾分类，得到烟雾分类结果。

61、本技术的一个实施例中，所述烟雾识别模型包括识别网络；

62、所述动作检测模块，具体用于：

63、在所述内窥镜图像中检测出有源器械区域的情况下，获取所述内窥镜图像采集时刻前预设数量图像的有源器械区域；

64、将所述预设数量图像的有源器械区域及所述内窥镜图像的有源器械区域输入到所述识别网络中进行预设动作类别的检测，得到预设动作类别的第二检测结果，其中，所述第二检测表示是否存在所述预设动作类别。

65、本技术的一个实施例中，所述烟雾识别模型包括分类网络；

66、所述烟雾分类模块，具体用于：

67、利用所述分类网络的特征提取部分对所述内窥镜图像进行烟雾特征提取，得到所述内窥镜图像的全局特征；

68、利用所述分类网络中的全局神经网络池化层及全连接层对所述全局特征进行回归，得到所述内窥镜图像的烟雾分类结果。

69、本技术的一个实施例中，所述烟雾分类结果包括小面积的薄雾、小面积的浓雾、大面积的浓雾、大面积的薄雾。

70、第四方面，本技术实施例提供了一种烟雾识别模型的训练装置，包括：

71、图像获取模块，用于获取内窥镜采集的第一样本图像，其中，所述第一样本图像对应有预设种类有源器械的真值标签；

72、检测网络训练模块，用于利用所述第一样本图像对烟雾识别模型的检测网络进行训练；

73、序列获取模块，用于获取样本有源器械区域序列，其中，所述样本有源器械区域序列包括时序上连续的多个样本有源器械区域，所述样本有源器械区域序列对应有预设动作类别的真值标签；

74、识别网络训练模块，用于利用样本有源器械区域序列对所述烟雾识别模型中的识别网络进行训练；

75、数据获取模块，用于获取样本分类数据，其中，所述样本分类数据对应有烟雾分类的真值标签，所述样本分类数据为内窥镜采集的样本图像，或所述检测网络的特征提取部分所输出的多尺度特征；

76、分类网络训练模块，用于利用样本分类数据对所述烟雾识别模型中的分类网络进行训练。

77、本技术的一个实施例中，所述检测网络包括特征提取部分及有源器械分类部分，所述样本分类数据为所述检测网络的特征提取部分所输出的样本多尺度特征；

78、所述检测网络训练模块，具体用于：

79、将所述第一样本图像输入到所述烟雾识别模型中，利用检测网络的特征提取部分对所述第一样本图像进行特征提取，得到第一样本多尺度特征；

80、利用检测网络的有源器械分类部分对所述第一样本多尺度特征进行有源器械分类，得到有源器械区域的第三检测结果；

81、根据所述第三检测结果及所述第一样本图像对应的真值标签调整检测网络的参数；

82、选取其他样本图像对所述检测网络继续进行训练，直至满足第一结束条件，得到训练后的检测网络；

83、所述装置还包括：

84、特征提取模块，用于利用训练后的检测网络的特征提取部分对所述第二样本图像进行特征提取，得到第二样本多尺度特征；

85、所述分类网络训练模块，具体用于：

86、利用所述分类网络对所述第二样本多尺度特征进行烟雾分类，得到烟雾分类结果；

87、根据所述烟雾分类结果及所述第二样本多尺度特征对应的真值标签调整分类网络的参数；

88、利用检测网络的特征提取部分输出的其他样本图像的样本多尺度特征，对所述分类网络继续进行训练，直至满足第二结束条件，得到训练后的分类网络。

89、本技术的一个实施例中，所述样本分类数据为内窥镜采集的样本图像；

90、所述分类网络训练模块，具体用于：

91、利用所述分类网络对样本图像进行烟雾分类，得到烟雾分类结果；

92、根据所述烟雾分类结果及所述样本图像对应的真值标签调整分类网络的参数；

93、选取其他的样本图像对所述分类网络继续进行训练，直至满足第二结束条件，得到训练后的分类网络。

94、第五方面，本技术实施例提供了一种电子设备，包括：

95、存储器，用于存放计算机程序；

96、处理器，用于执行存储器上所存放的程序时，实现上述任一所述的方法。

97、第六方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的方法。

98、本技术实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述任一所述的方法。

99、本技术实施例有益效果：

100、本技术实施例提供的烟雾检测方法，通过获取内窥镜图像，将内窥镜图像输入到预先训练的烟雾识别模型中，利用烟雾识别模型对内窥镜图像进行预设种类有源器械的检测，在存在预设种类有源器械的情况下，利用烟雾识别模型进行预设动作类别的检测，在存在预设动作类别的情况下，利用烟雾识别模型进行烟雾分类，得到烟雾分类结果。通过对预设种类有源器械、预设动作类别、烟雾的一步步检测，一旦其中一步未检测到即可停止检测，降低了烟雾检测的资源耗费；并且，相较于相关技术中直接对烟雾进行检测，本技术通过三步检测，分别对预设种类有源器械、预设动作类别、烟雾进行依次检测，能够更精准地识别烟雾的产生，提高了烟雾检测的准确性。

101、当然，实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。