一种医用内窥镜图像优化系统及方法与流程

本发明涉及图像数据处理，特别涉及一种医用内窥镜图像优化系统及方法。

背景技术：

1、患者在进行内窥镜检查时，医生使用内窥镜探入患者的身体内，内窥镜的镜头回传患者的身体内的内部图像，医生根据内部图像进行有必要地图像抓拍，最后根据抓拍图像进行分析并给出检查结论。

2、但是，医生在根据抓拍图像进行分析时，分析流程较为繁琐：需要调整抓拍图像的图像参数（比如：亮度、色度、饱和度等），还需要通过回忆或看图确定抓拍图像对应于患者的身体内的哪个位置（比如：盲肠、横结肠、降结肠等），还需要根据抓拍图像评定疾病情况（比如：分析肠溃疡面积等），另外，医生还需要根据各抓拍图像对应于患者的身体内位置分布及各抓拍图像对应疾病情况进行全局分析（比如：分析患者的身体内相邻部位的疾病情况是否存在关联性等）。

3、较为繁琐的分析流程会降低医生给出检查结论的效率，因此，亟需一种解决办法。

技术实现思路

1、本发明目的之一在于提供了一种医用内窥镜图像优化系统，待患者内窥镜检查结束时，生成检查图像轨迹图，医生可以通过查看检查图像轨迹图直观确定抓拍图像对应于患者的身体内的哪个位置，还可以直观确定各抓拍图像对应于患者的身体内位置分布及各抓拍图像对应疾病情况，便于进行全局分析，另外，根据医生的内窥镜图像优化需求，对检查图像轨迹图进行预处理，无需医生自行处理，提升医生根据抓拍图像进行分析的分析效率，同时，也更加人性化。

2、本发明实施例提供的一种医用内窥镜图像优化系统，包括：

3、检查图像轨迹图生成模块，用于待内窥镜准备从患者的身体内抽离时，生成内窥镜的检查图像轨迹图；

4、内窥镜图像优化需求预测模块，用于预测用户的内窥镜图像优化需求；

5、预处理模块，用于基于内窥镜图像优化需求，对检查图像轨迹图进行预处理，并输出显示预处理结果。

6、优选的，检查图像轨迹图生成模块生成内窥镜的检查图像轨迹图，执行如下操作：

7、获取内窥镜进入患者的身体内时的探入轨迹、抓拍图像和对应的抓拍参数；抓拍参数包括：抓拍位置和抓拍方向；

8、从探入轨迹上确定抓拍位置对应的轨迹点位置；

9、基于轨迹点位置和抓拍方向，构建第一方向向量；

10、将抓拍图像随机设置于轨迹点位置旁；

11、获取抓拍图像的图像中心位置和图像正对方向；

12、基于图像中心位置和图像正对方向，构建第二方向向量；

13、计算第一方向向量与第二方向向量之间的第一向量夹角；

14、获取轨迹点位置与图像中心位置之间的第一直线距离；

15、对抓拍图像进行位置调整，直至当第一向量夹角等于预设第一夹角值且第一直线距离等于预设第一距离值时，停止位置调整；

16、基于探入轨迹，生成检查图像轨迹图。

17、优选的，内窥镜图像优化需求预测模块预测用户的内窥镜图像优化需求，执行如下操作：

18、获取用户使用内窥镜进入患者的身体内时的产生的人声片段和对应的人声起止时间；

19、从预设的时间轴线上确定人声起止时间对应的时间区间位置；

20、将人声片段设置于时间区间位置上；

21、获取抓拍图像的抓拍时间；

22、从时间轴线上确定抓拍时间对应的第一时间位置；

23、从时间轴线上第一时间位置前预设时长内符合时间位置条件的第二时间位置；

24、从时间轴线上确定最靠左的第二时间位置与第一时间位置之间的局部人声片段；

25、对局部人声片段进行语义提取，获得第一人声语义；

26、将第一人声语义与预设的表征语义库中的第二人声语义进行匹配；

27、当匹配符合时，将匹配符合的第一人声语义作为第一目标语义，将匹配符合的第二人声语义作为第二目标语义，并获取第二目标语义对应的预设的表征需求项和预设的表征类型；表征类型包括：单独表征和组合表征；

28、当第二目标语义的表征类型为单独表征时，将表征需求项作为内窥镜图像优化需求；

29、当第二目标语义的表征类型为组合表征时，获取第二目标语义对应的预设的组合表征语义库；

30、将组合表征语义库中的任一第三人声语义与除第一目标语义之外的第一人声语义进行匹配；

31、当均匹配符合时，将表征需求项作为内窥镜图像优化需求；

32、其中，时间位置条件包括：

33、检查图像轨迹图中有第二时间位置对应的轨迹停留点。

34、优选的，预处理模块基于内窥镜图像优化需求，对检查图像轨迹图进行预处理，执行如下操作：

35、从预设的预处理要求库中确定内窥镜图像优化需求对应的预处理要求；预处理要求包括：图像要求、图像处理要求和图像分析要求；

36、从检查图像轨迹图中确定符合图像要求的抓拍图像，并作为目标图像；

37、在检查图像轨迹图中仅保留目标图像；

38、从预设的图像处理模板库中确定图像处理要求对应的图像处理模板；

39、基于图像处理模板，对目标图像进行图像处理；

40、从预设的图像分析模板库中确定图像分析要求对应的图像分析模板；

41、基于图像分析模板，对目标图像进行图像分析，获得图像分析结果；

42、将图像分析结果映射进预设的信息框中，将信息框与对应目标图像进行关联，并将信息框设置于对应目标图像旁。

43、优选的，医用内窥镜图像优化系统，还包括：

44、位置调整模块，用于包括：

45、获取信息框的信息框中心位置和信息框正对方向；

46、基于信息框中心位置和信息框正对方向，构建第三方向向量；

47、获取用户查看信息框的查看位置和查看方向；

48、基于查看位置和查看方向，构建第四方向向量；

49、计算第三方向向量与第四方向向量之间的第二向量夹角；

50、获取信息框中心位置与信息框关联的目标图像的图像中心位置之间的第二直线距离；

51、对信息框进行位置调整，直至当第二向量夹角等于预设第二夹角值且第二直线距离等于预设第二距离值时，停止位置调整。

52、本发明实施例提供的一种医用内窥镜图像优化方法，包括：

53、步骤s1：待内窥镜准备从患者的身体内抽离时，生成内窥镜的检查图像轨迹图；

54、步骤s2：预测用户的内窥镜图像优化需求；

55、步骤s3：基于内窥镜图像优化需求，对检查图像轨迹图进行预处理，并输出显示预处理结果。

56、优选的，步骤s1中，生成内窥镜的检查图像轨迹图，包括：

57、获取内窥镜进入患者的身体内时的探入轨迹、抓拍图像和对应的抓拍参数；抓拍参数包括：抓拍位置和抓拍方向；

58、从探入轨迹上确定抓拍位置对应的轨迹点位置；

59、基于轨迹点位置和抓拍方向，构建第一方向向量；

60、将抓拍图像随机设置于轨迹点位置旁；

61、获取抓拍图像的图像中心位置和图像正对方向；

62、基于图像中心位置和图像正对方向，构建第二方向向量；

63、计算第一方向向量与第二方向向量之间的第一向量夹角；

64、获取轨迹点位置与图像中心位置之间的第一直线距离；

65、对抓拍图像进行位置调整，直至当第一向量夹角等于预设第一夹角值且第一直线距离等于预设第一距离值时，停止位置调整；

66、基于探入轨迹，生成检查图像轨迹图。

67、优选的，步骤s2：预测用户的内窥镜图像优化需求，包括：

68、获取用户使用内窥镜进入患者的身体内时的产生的人声片段和对应的人声起止时间；

69、从预设的时间轴线上确定人声起止时间对应的时间区间位置；

70、将人声片段设置于时间区间位置上；

71、获取抓拍图像的抓拍时间；

72、从时间轴线上确定抓拍时间对应的第一时间位置；

73、从时间轴线上第一时间位置前预设时长内符合时间位置条件的第二时间位置；

74、从时间轴线上确定最靠左的第二时间位置与第一时间位置之间的局部人声片段；

75、对局部人声片段进行语义提取，获得第一人声语义；

76、将第一人声语义与预设的表征语义库中的第二人声语义进行匹配；

77、当匹配符合时，将匹配符合的第一人声语义作为第一目标语义，将匹配符合的第二人声语义作为第二目标语义，并获取第二目标语义对应的预设的表征需求项和预设的表征类型；表征类型包括：单独表征和组合表征；

78、当第二目标语义的表征类型为单独表征时，将表征需求项作为内窥镜图像优化需求；

79、当第二目标语义的表征类型为组合表征时，获取第二目标语义对应的预设的组合表征语义库；

80、将组合表征语义库中的任一第三人声语义与除第一目标语义之外的第一人声语义进行匹配；

81、当均匹配符合时，将表征需求项作为内窥镜图像优化需求；

82、其中，时间位置条件包括：

83、检查图像轨迹图中有第二时间位置对应的轨迹停留点。

84、优选的，步骤s3：基于内窥镜图像优化需求，对检查图像轨迹图进行预处理，包括：

85、从预设的预处理要求库中确定内窥镜图像优化需求对应的预处理要求；预处理要求包括：图像要求、图像处理要求和图像分析要求；

86、从检查图像轨迹图中确定符合图像要求的抓拍图像，并作为目标图像；

87、在检查图像轨迹图中仅保留目标图像；

88、从预设的图像处理模板库中确定图像处理要求对应的图像处理模板；

89、基于图像处理模板，对目标图像进行图像处理；

90、从预设的图像分析模板库中确定图像分析要求对应的图像分析模板；

91、基于图像分析模板，对目标图像进行图像分析，获得图像分析结果；

92、将图像分析结果映射进预设的信息框中，将信息框与对应目标图像进行关联，并将信息框设置于对应目标图像旁。

93、优选的，医用内窥镜图像优化方法，还包括：

94、获取信息框的信息框中心位置和信息框正对方向；

95、基于信息框中心位置和信息框正对方向，构建第三方向向量；

96、获取用户查看信息框的查看位置和查看方向；

97、基于查看位置和查看方向，构建第四方向向量；

98、计算第三方向向量与第四方向向量之间的第二向量夹角；

99、获取信息框中心位置与信息框关联的目标图像的图像中心位置之间的第二直线距离；

100、对信息框进行位置调整，直至当第二向量夹角等于预设第二夹角值且第二直线距离等于预设第二距离值时，停止位置调整。

101、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

102、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。