内窥镜系统的图像显示方法、内窥镜系统与流程

本技术涉及内窥镜，特别是涉及一种内窥镜系统的图像显示方法、内窥镜系统。

背景技术：

1、在近年的医疗中，使用了内窥镜成像系统的诊断等广泛进行，内窥镜成像系统一般包括摄像头、内窥镜、内窥镜摄像主机和显示器。其中，摄像头通过传输线缆将拍摄的图像数据传输至内窥镜摄像主机，内窥镜摄像主机处理摄像头采集到的视频信息，并通过显示器显示摄像主机处理后的视频信息。

2、在手术的临床应用中，医生除了要观察内窥镜图像外，还可能需要同时观察其他影像设备的图像数据(例如超声波图像数据、三维重建数据等)。现有技术汇总，通常的做法是设置两台显示器，一台显示器连接内窥镜主机显示内窥镜图像，另一台显示器显示其他影像设备的图像数据。由于需要连接的设备较多，布置手术环境时需要花大量的时间进行接线，而且设备成本高、两台显示器不便于进行观察。虽然目前也有能够连接两个视频源的显示器，能够在显示器的左右侧区域同时显示内窥镜图像和其他图像，然而，该方式仍然存在显示效果不佳的问题，不便于医生进行观察。

技术实现思路

1、以下是对本技术详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

2、本技术实施例提供了一种内窥镜系统的图像显示方法、内窥镜系统，能够对内窥镜图像以及外部视频源图像进行帧同步，并且根据同屏显示模式在对应的显示分区中同屏显示进行帧同步后的内窥镜图像和外部视频源图像，具有较佳的显示效果以便医生进行观察。

3、一方面，本技术实施例提供了一种内窥镜系统的图像显示方法，所述内窥镜系统包括内窥镜主机和显示器，所述图像显示方法包括：

4、获取内窥镜图像数据，所述内窥镜图像数据包括多帧内窥镜图像；

5、从与所述内窥镜系统通信连接的至少一个外部影像设备获取至少一个外部视频源图像数据，所述外部视频源图像数据包括多帧外部视频源图像；

6、根据同屏显示模式从所述显示器的显示区域中确定用于同屏显示所述内窥镜图像的内窥镜显示分区以及用于同屏显示所述外部视频源图像的至少一个外部设备图像显示分区，其中，所述内窥镜显示分区和所述外部设备图像显示分区在所述显示区域中同屏显示；

7、根据所述内窥镜图像数据获取对应所述内窥镜图像的多帧第一目标图像，根据各个所述外部视频源图像数据获取对应各个所述外部视频源图像的多帧第二目标图像；

8、对多帧所述第一目标图像和各个所述外部视频源图像数据的多帧所述第二目标图像进行帧同步处理后，在所述显示区域中的所述内窥镜显示分区中显示所述第一目标图像，以及在各个所述外部设备图像显示分区中显示对应的所述第二目标图像，其中，所述内窥镜显示分区中显示所述第一目标图像和各个所述外部设备图像显示分区中显示所述第二目标图像帧率和时序同步。

9、本技术的一个实施例中，所述获取内窥镜图像数据，包括：

10、实时获取内窥镜视频源图像信号，并对所述内窥镜视频源图像信号进行解析，得到所述内窥镜图像数据；

11、根据所述内窥镜图像数据，将多帧所述内窥镜图像缓存到所述内窥镜系统的第一缓存区域；

12、所述从与所述内窥镜系统通信连接的至少一个外部影像设备获取至少一个外部视频源图像数据，包括：

13、所述内窥镜系统通过有线和/或无线方式与至少一个所述外部影像设备建立通信连接，实时获取所述外部影像设备的外部视频源图像信号；

14、对所述外部视频源图像信号进行解析，得到所述外部视频源图像数据；

15、根据所述外部视频源图像数据，将多帧所述外部视频源图像缓存到所述内窥镜系统的第二缓存区域。

16、本技术的一个实施例中，所述根据所述内窥镜图像数据，将多帧所述内窥镜图像缓存到所述内窥镜系统的第一缓存区域，包括：

17、根据所述内窥镜图像数据中的各个所述内窥镜图像的时间戳和帧率，将多帧所述内窥镜图像缓存到所述第一缓存区域；

18、所述根据所述外部视频源图像数据，将多帧所述外部视频源图像缓存到所述内窥镜系统的第二缓存区域，包括：

19、根据所述外部视频源图像数据中的各个所述外部视频源图像的时间戳和帧率，将多帧所述外部视频源图像缓存到所述第二缓存区域。

20、本技术的一个实施例中，所述对多帧所述第一目标图像和各个所述外部视频源图像数据的多帧所述第二目标图像进行帧同步处理，包括：

21、基于所述显示器的视频输出格式，将多帧所述第一目标图像和各个所述外部视频源图像数据的多帧所述第二目标图像分别按照视频输出时序调整时间顺序，以使所述第一目标图像与所述第二目标图像的帧率和时序同步，其中，所述视频输出格式包括视频输出帧率，所述视频输出时序包括视频输出时间戳。

22、本技术的一个实施例中，所述基于所述显示器的视频输出格式，将多帧所述第一目标图像和各个所述外部视频源图像数据的多帧所述第二目标图像分别按照视频输出时序调整时间顺序，以使所述第一目标图像与所述第二目标图像的帧率和时序同步，包括：

23、基于所述内窥镜系统的时钟信号将各帧所述第一目标图像和各帧所述第二目标图像分别打上所述视频输出时间戳并缓存到所述内窥镜系统的输出存储区域；

24、从所述输出存储区域中读取时间顺序相同的对应的多帧所述第一目标图像和多帧所述第二目标图像，其中，由多帧所述第一目标图像和多帧所述第二目标图像分别合成的视频帧率与所述视频输出帧率相匹配。

25、本技术的一个实施例中，所述第一缓存区域和所述第二缓存区域包括多级缓存。

26、本技术的一个实施例中，所述根据所述内窥镜图像数据获取对应所述内窥镜图像的多帧第一目标图像，根据各个所述外部视频源图像数据获取对应各个所述外部视频源图像的多帧第二目标图像，还包括：

27、根据所述内窥镜图像数据从所述第一缓存区域中读取多帧所述内窥镜图像，根据所述外部视频源数据从所述第二缓存区域中读取多帧所述外部视频源图像；

28、确定所述内窥镜显示分区的第一显示参数以及所述外部设备图像显示分区的第二显示参数；

29、根据所述第一显示参数对多帧所述内窥镜图像进行显示自适应调节，得到多帧第一目标图像；

30、根据所述第二显示参数对多帧所述外部视频源图像进行显示自适应调节，得到多帧第二目标图像。

31、本技术的一个实施例中，所述第一显示参数包括所述内窥镜显示分区的第一目标分辨率，所述第二显示参数包括所述外部设备图像显示分区的第二目标分辨率；

32、所述根据所述第一显示参数对多帧所述内窥镜图像进行显示自适应调节，得到多帧第一目标图像，包括：

33、根据所述第一目标分辨率对多帧所述内窥镜图像进行缩放处理和/或裁剪处理，得到多帧所述第一目标图像，其中，各帧所述第一目标图像的分辨率与所述第一目标分辨率相匹配。

34、所述根据所述第二显示参数对多帧所述外部视频源图像进行显示自适应调节，得到多帧第二目标图像，包括：

35、根据所述第二目标分辨率对多帧所述外部视频源图像进行缩放处理和/或裁剪处理，得到多帧所述第二目标图像，其中，各帧所述第二目标图像的分辨率与所述第二目标分辨率相匹配。

36、本技术的一个实施例中，所述缩放处理具体包括：

37、获取待处理图像并确定所述待处理图像的原始分辨率，所述待处理图像为所述内窥镜图像、所述外部视频源图像、所述剪裁处理后的局部内窥镜图像或者所述剪裁处理后的局部外部视频源图像；

38、根据目标分辨率与所述原始分辨率确定目标缩放系数，其中，所述目标缩放系数为所述目标分辨率与所述原始分辨率的比值，所述目标分辨率为所述第一目标分辨率或者所述第二目标分辨率；

39、根据所述目标缩放系数对所述待处理图像进行缩放处理，得到缩放处理后的目标图像，其中，所述目标图像为所述第一目标图像或者第二目标图像。

40、本技术的一个实施例中，所述裁剪处理具体包括以下至少之一：

41、获取目标分辨率和待处理图像，其中，所述目标分辨率为所述第一目标分辨率或者所述第二目标分辨率，所述待处理图像为所述内窥镜图像或者所述外部视频源图像；根据所述目标分辨率的长宽比在所述待处理图像中确定截取区域，并根据所述截取区域在所述待处理图像中裁剪得到目标图像，其中，所述目标图像为所述第一目标图像或者第二目标图像；

42、或者，获取待处理图像，其中所述待处理图像为所述内窥镜图像或者所述外部视频源图像；对所述待处理图像进行图像识别处理，确定所述待处理图像中的有效区域，根据所述有效区域在所述待处理图像中裁剪得到目标图像，其中，所述目标图像为所述第一目标图像或者第二目标图像；

43、或者，获取目标分辨率和待处理图像，其中，所述目标分辨率为所述第一目标分辨率或者所述第二目标分辨率，所述待处理图像为所述内窥镜图像或者所述外部视频源图像；对所述待处理图像进行图像识别处理，确定所述待处理图像中的有效区域，根据所述目标分辨率的长宽比以及所述有效区域在所述待处理图像中确定截取区域，所述截取区域的长宽比与所述目标分辨率的长宽比相同且所述截取区域覆盖所述有效区域；根据所述截取区域在所述待处理图像中裁剪得到目标图像，其中，所述目标图像为所述第一目标图像或者第二目标图像。

44、或者，获取用户输入的裁剪指令和待处理图像，根据所述裁剪指令对所述待处理图像进行裁剪得到目标图像，其中，所述目标图像为所述第一目标图像或者第二目标图像。

45、本技术的一个实施例中，所述根据所述第一目标分辨率对多帧所述内窥镜图像进行缩放处理和/或裁剪处理，得到多帧所述第一目标图像，包括：

46、根据所述第一目标分辨率的长宽比和/或对所述内窥镜图像进行图像识别得到的内窥镜图像有效区域确定在所述内窥镜图像中的第一截取区域；

47、根据所述第一截取区域在所述内窥镜图像中确定局部内窥镜图像；

48、获取所述局部内窥镜图像的第一分辨率，根据所述第一目标分辨率与所述第一分辨率的比值确定第一缩放系数；

49、根据所述第一缩放系数对所述局部内窥镜图像进行缩放处理得到所述第一目标图像；

50、所述根据所述第二目标分辨率对多帧所述外部视频源图像进行缩放处理和/或裁剪处理，得到多帧所述第二目标图像，包括：

51、根据所述第二目标分辨率的长宽比和/或对所述外部视频源图像进行图像识别得到的外部视频源图像有效区域确定在所述外部视频源图像中的第二截取区域；

52、根据所述第二截取区域在所述外部视频源图像中确定局部外部视频源图像；

53、获取所述局部外部视频源图像的第二分辨率，根据所述第二目标分辨率与所述第二分辨率的比值确定第二缩放系数；

54、根据所述第二缩放系数对所述局部外部视频源图像进行缩放得到所述第二目标图像。

55、本技术的一个实施例中，所述对所述内窥镜图像进行图像识别得到所述内窥镜图像有效区域，包括以下至少之一：

56、识别所述内窥镜图像中的手术器械位置，并根据所述手术器械位置以及所述第一目标分辨率确定所述内窥镜图像有效区域；

57、从所述内窥镜图像中确定所述内窥镜图像的内窥镜图像区域，并根据所述内窥镜图像区域以及所述第一目标分辨率提取所述内窥镜图像有效区域；

58、获取用户输入的内窥镜图像有效区域选择信息，根据所述内窥镜图像有效区域选择信息确定所述内窥镜图像有效区域。

59、本技术的一个实施例中，所述根据所述第一缩放系数对所述局部内窥镜图像进行缩放处理得到所述第一目标图像，包括：

60、根据所述内窥镜图像有效区域的分辨率以及所述第一缩放系数对所述局部内窥镜图像进行插值计算，以使所述局部内窥镜图像缩放得到所述第一目标图像。

61、本技术的一个实施例中，所述根据所述第二目标分辨率的长宽比和/或对所述外部视频源图像进行图像识别得到的外部视频源图像有效区域确定在所述外部视频源图像中的第二截取区域，包括：

62、对所述外部视频源图像进行图像识别处理，确定所述外部视频源图像中的目标组织图像；

63、基于所述目标组织图像确定所述外部视频源图像有效区域；

64、基于所述第二目标分辨率的长宽比确定在所述外部视频源图像中的第二截取区域，其中所述第二截取区域覆盖所述外部视频源图像有效区域。

65、本技术的一个实施例中，所述外部视频源图像为超声图像；所述对所述外部视频源图像进行图像识别处理，确定所述外部视频源图像中的目标组织图像，包括：

66、对所述外部视频源图像进行边缘检测，以识别所述外部视频源图像中的扇形区域，得到扇形区域图像；

67、对所述扇形区域图像进行边缘检测，以识别所述扇形区域图像中的目标组织区域；

68、根据所述扇形区域图像中的目标组织区域确定所述目标组织图像。

69、本技术的一个实施例中，所述根据所述扇形区域图像中的目标组织区域确定所述目标组织图像，包括：

70、获取所述外部视频源图像中的文本信息；

71、根据所述文本信息和所述扇形区域图像中的目标组织区域确定所述目标组织图像。

72、本技术的一个实施例中，所述根据所述第二目标分辨率的长宽比和/或对所述外部视频源图像进行图像识别得到的外部视频源图像有效区域确定在所述外部视频源图像中的第二截取区域，包括：

73、对所述外部视频源图像进行进行全局像素扫描，寻找所述外部视频源图像中的高密度像素聚集区域；

74、根据所述高密度像素聚集区域确定所述外部视频源图像有效区域；

75、根据所述第二目标分辨率的长宽比确定在所述外部视频源图像中的第二截取区域，其中所述第二截取区域覆盖所述外部视频源图像有效区域。

76、本技术的一个实施例中，所述根据所述第二目标分辨率的长宽比和/或对所述外部视频源图像进行图像识别得到的外部视频源图像有效区域确定在所述外部视频源图像中的第二截取区域，包括：

77、获取用户输入的所述外部视频源图像的有效区域选择信息，所述有效区域选择信息用于指示所述外部视频源图像有效区域；

78、根据所述第二目标分辨率的长宽比确定在所述外部视频源图像中的第二截取区域，其中所述第二截取区域覆盖所述外部视频源图像有效区域。

79、本技术的一个实施例中，所述根据所述第二缩放系数对所述局部外部视频源图像进行缩放得到所述第二目标图像，包括：

80、根据所述外部视频源图像有效区域的分辨率以及所述第二缩放系数对所述局部外部视频源图像进行插值计算，以使所述局部外部视频源图像缩放得到所述第二目标图像。

81、本技术的一个实施例中，所述图像显示方法还包括：

82、获取用户输入的手动设置参数，并根据所述手动设置参数切换所述同屏显示模式，或者根据所述手动设置参数设置所述同屏显示模式、所述第一显示参数以及所述第二显示参数中的至少一个。

83、本技术的一个实施例中，所述获取用户输入的手动设置参数，包括：

84、通过内窥镜摄像头手柄上的按键获取用户输入的所述手动设置参数。

85、本技术的一个实施例中，所述根据所述第一显示参数对多帧所述内窥镜图像进行显示自适应调节，得到多帧第一目标图像，包括：

86、获取色彩调节参数；

87、根据所述第一显示参数对多帧所述内窥镜图像进行显示自适应调节，以及根据所述色彩调节参数对显示自适应调节后的多帧所述内窥镜图像进行色彩调节，得到多帧第一目标图像。

88、本技术的一个实施例中，所述获取色彩调节参数，包括以下之一：

89、获取预设的色彩调节参数；

90、或者，从所述外部视频源图像中获取色彩调节参数。

91、本技术的一个实施例中，所述根据所述第二显示参数对多帧所述外部视频源图像进行显示自适应调节，得到多帧第二目标图像，包括：

92、获取色彩调节参数；

93、根据所述第二显示参数对多帧所述外部视频源图像进行显示自适应调节，以及根据所述色彩调节参数对显示自适应调节后的多帧所述外部视频源图像进行色彩调节，得到多帧第二目标图像。

94、本技术的一个实施例中，所述获取色彩调节参数，包括以下之一：

95、获取预设的色彩调节参数；

96、或者，从所述内窥镜图像中获取色彩调节参数。

97、本技术的一个实施例中，所述色彩调节参数包括以下至少之一：

98、亮度；

99、色调；

100、对比度；

101、饱和度；

102、灰度。

103、本技术的一个实施例中，在对多帧所述第一目标图像和多帧所述第二目标图像进行帧同步处理之前，还对多帧所述第一目标图像和多帧所述第二目标图像进行色彩调整，所述色彩调整包括：

104、对所述第一目标图像和所述第二目标图像进行y域转换，得到第一目标灰度图像和第二目标灰度图像；

105、分别从所述第一目标灰度图像和所述第二目标灰度图像中获取第一目标图像亮度信息和第二目标图像亮度信息；

106、根据所述第一目标图像亮度信息和所述第二目标图像亮度信息，对所述第二目标图像的亮度进行调整，以使所述第二目标图像的亮度适应于所述第一目标图像的亮度。

107、本技术的一个实施例中，所述色彩调整还包括：

108、分别从所述第一目标图像和所述第二目标图像中获取第一目标图像色调信息和第二目标图像色调信息；

109、根据所述第一目标图像色调信息和第二目标图像色调信息，对所述第一目标图像的色调和所述第二目标图像的色调进行调整，以使所述第一目标图像的色调与所述第二目标图像的色调相匹配。

110、本技术的一个实施例中，所述在所述显示区域中的所述内窥镜显示分区中显示所述第一目标图像，在所述外部设备图像显示分区中显示所述第二目标图像，包括：

111、在所述显示区域中的所述内窥镜显示分区中显示所述第一目标图像；

112、在所述显示区域中的所述外部设备图像显示分区中显示所述第二目标图像；

113、在所述显示区域中除所述内窥镜显示分区以及所述外部设备图像显示分区的其他区域进行填充处理。

114、本技术的一个实施例中，所述在所述显示区域中的所述内窥镜显示分区中显示所述第一目标图像，在所述外部设备图像显示分区中显示所述第二目标图像，包括：

115、获取所述显示器预设和/或用户输入的同屏显示模式选择信息，所述同屏显示模式选择信息用于指示所述显示器切换所述同屏显示模式。

116、根据所述同屏显示模式对所述显示区域进行划分，得到用于同屏显示所述内窥镜图像的所述内窥镜显示分区以及用于同屏显示所述外部视频源图像的至少一个外部设备图像显示分区。

117、本技术的一个实施例中，包括多种同屏显示模式，在不同的所述同屏显示模式下，所述内窥镜显示分区和所述外部设备图像显示分区的同屏排布方式不同。

118、本技术的一个实施例中，所述内窥镜显示分区和所述外部设备图像显示分区的分辨率大小相同或者不同。

119、另一方面，本技术实施例提供了一种内窥镜系统，包括：

120、内窥镜；

121、显示器，所述显示器包括用于显示图像的显示区域；

122、内窥镜主机，分别与所述内窥镜和所述显示器通信连接，所述内窥镜主机还用于执行上述任意一个实施例的所述内窥镜系统的图像显示方法。

123、另一方面，本技术实施例还提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任意一个实施例的所述内窥镜系统的图像显示方法。

124、另一方面，本技术实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行实现上述任意一个实施例的所述内窥镜系统的图像显示方法。

125、另一方面，本技术实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序存储在计算机可读存介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该计算机设备执行实现上述任意一个实施例的所述内窥镜系统的图像显示方法。

126、本技术实施例至少包括以下有益效果：获取内窥镜图像数据以及外部视频源图像数据，其中内窥镜图像数据包括多帧内窥镜图像，外部视频源图像数据包括多帧外部视频源图像。根据同屏显示模式，确定用于同屏显示的内窥镜显示分区以及外部设备图像显示分区。并根据内窥镜图像数据获取第一目标图像，根据外部视频源图像获取第二目标图像之后对第一目标图像和第二目标图像进行帧同步处理，以使在内窥镜显示分区中显示第一目标图像，以及在外部设备图像显示分区中显示第二目标图像。本技术实施例中不仅能够让内窥镜图像和外部视频源图像在显示器中同屏显示，而且能够对内窥镜图像以及外部视频源图像进行帧同步，并且根据同屏显示模式在对应的显示分区中同屏显示进行帧同步后的内窥镜图像和外部视频源图像，使内窥镜图像和外部视频源图像在显示器中同屏显示的效果更佳，便于医生在临床应用中进行观察。

127、本技术的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。