四维超声内镜观测下病灶影像融合方法及系统

本发明涉及四维超声内窥影像融合，尤其涉及一种四维超声内镜观测下病灶影像融合方法及系统。

背景技术：

1、超声内窥镜是一款技术的不断进步和功能拓展，填补了普通内镜、体表超声和ct等所不能覆盖的一些特殊适应症的内窥镜。近年来，超声内窥在医疗中越来越多的应用各种病症的检查：超声内窥镜所配备的超声波传感器，将实时获取到的视频流信息回传、解析为电子影像，为疾病的检测和诊断提供了实时的数据支撑。另一方面，受超声传感器特性和实时检测环境的影响，同时检测器官存在蠕动等形态变化情形，因此视频影像的逐帧图像存在较大差异，无法为诊断提供准确量化的确定性评估。

技术实现思路

1、本发明主要是通过对超声内窥数据的优化处理，提供了一种四维超声内镜观测下病灶影像融合方法。该方法的核心思想为：首先将噪点过多的实时超声内镜数据进行滤波、增强，获取较好质量的视频数据；接着通过对关键帧的选取、器官病灶区域形态的判别、配准等步骤，实现高质量的病灶融合影像，解决了现有技术中无法得到准确的影像数据的技术问题。

2、本发明的上述技术问题主要是通过下述技术方案得以解决的：

3、第一方面提供了四维超声内镜观测下病灶影像融合方法，包括：

4、s1：对采集的原始超声内窥视频影像进行预处理；

5、s2：根据预处理后的超声内窥视频影像中各帧影像与相邻帧影像的结构相似度以及一个视频段内每帧影像的峰值信噪比对视频影像进行筛选，筛选出的影像作为关键帧群，其中，视频段通过对预处理后的超声内窥视频影像进行划分后得到；

6、s3：根据相邻的视频段的均值影像的结构相似度，判断相邻的视频段是否描述同一病灶区域；

7、s4：如果相邻的视频段不是描述同一病灶区域，则删除该视频段，如果相邻的视频段是描述同一病灶区域，则根据大于ssim值的平均值的网格区域部分的分布情况对视频段中的影像进行处理，具体包括：若大于ssim值的平均值的网格区域部分呈现连续分布，则保留局部没发生变化的连续网格区域，若大于ssim值的平均值的网格区域部分呈现离散分布，则计算视频段的均值影像所划分的网格的峰值信噪比，并删除峰值信噪比小于阈值的网格区域，ssim值为结构相似度值；

8、s5：将s4中得到的影像与基准视频段中的标准输出影像进行融合，得到融合的病灶影像。

9、在一种实施方式中，步骤s1包括：对采集的原始超声内窥视频影像进行滤波、增强操作。

10、在一种实施方式中，步骤s2包括：

11、s2.1：判断预处理后的超声内窥视频影像中的某帧影像与其前序影像的ssim值是否大于或等于经验阈值，如果是，则保留该帧影像；如果不是，则根据前序15张影像中与该帧影像的结构相似度大于或等于经验阈值的比例、后序15张影像中与该帧影像的结构相似度大于或等于经验阈值的比例，进一步对影像进行筛选；

12、s2.2：计算每个视频段内每帧影像的psnr，psnr为峰值信噪比，对所有每帧影像的psnr值取算术平均值，求得psnr均值，去除psnr低于psnr平均值的影像。

13、在一种实施方式中，步骤s3包括：

14、s3.1：计算每个视频段原有多少帧影像，并按每秒15幅影像核算每个视频段的时长；

15、s3.2：对于每一个视频段，将该视频段内的所有单帧影像进行合并，得到一幅对应于该视频段的均值影像；

16、s3.3：将得到的均值影像划分为8x8共64个网格；

17、s3.4：对于每一个视频段的均值影像，逐个网格计算与前序视频段的均值影像所对应网格的ssim值，共得到64组ssim值；

18、s3.5：如果64组ssim值中小于预设值的ssim值的比例高于比例阈值，则判定相邻的视频段不是描述同一病灶区域，删除该视频段。

19、s3.6：否则，判定相邻的视频段不是描述同一病灶区域，此时计算64组ssim值的平均值，并对s3.3中的64个网格中大于ssim值的平均值的网格进行标注；如果大于ssim值的平均值的网格区域部分呈现连续分布，则表明均值影像与其前序均值影像部分区域重叠；若大于ssim值的平均值的网格区域部分呈现离散分布，则表明该连续两幅的均值影像观测区域没有大幅变化。

20、在一种实施方式中，在步骤s3.5之前，所述方法还包括：

21、将视频影像逐帧转换至灰度颜色空间；

22、根据超声内窥的观测特性将时长小于预设时长的视频段内的每帧影像，设置为已配准。

23、在一种实施方式中，步骤s5包括：

24、s5.1：将基准视频段中的多幅影像融合为一张作为标准输出影像；

25、s5.2：将s4中得到的影像中后序相邻的10个视频段中的影像进行融合，得到对应于10个视频段的10幅影像；

26、s5.3：对s4得到的删除峰值信噪比小于阈值的网格区域的影像，将其部分网格区域的影像融合至s5.1中的标准输出影像；

27、s5.4：将s5.3得到的融合后的影像转化至rgb空间，以r通道替换原灰色空间数值；

28、s5.5：对于与当前视频段时序相连的后10段影像，将其划分邻近的5段视频和另外5段视频；

29、s5.6：将邻近的5段视频融合为1幅输出影像，另外5段视频融合为1幅输出影像；

30、s5.7：将s5.6所得到的两幅影像转换至rgb空间，以g通道替换邻近5段视频所对应的输出影像；以b通道替换另外5段视频所对应的输出影像；

31、s5.8：将s5.7得到的两幅影像，融合至s5.4得到的基准视频段的输出影像中，得到融合的病灶影像，融合的病灶影像中，r通道数值为主观测结果；g通道和b通道为辅助观测结果，g通道结果的置信度高于b通道。

32、基于同样的发明构思，第二方面提供了四维超声内镜观测下病灶影像融合系统，包括：

33、超声视频影像数据预处理模块，用于对采集的原始超声内窥视频影像进行预处理；

34、超声视频影像关键帧处理模块，用于根据预处理后的超声内窥视频影像中各帧影像与相邻帧影像的结构相似度以及一个视频段内每帧影像的峰值信噪比对视频影像进行筛选，筛选出的影像作为关键帧群，其中，视频段通过对预处理后的超声内窥视频影像进行划分后得到；

35、四维观测下病灶形态判别模块，用于根据相邻的视频段的均值影像的结构相似度，判断相邻的视频段是否描述同一病灶区域；

36、四维观测下病灶影像配准模块，用于如果相邻的视频段不是描述同一病灶区域，则删除该视频段，如果相邻的视频段是描述同一病灶区域，则根据大于ssim值的平均值的网格区域部分的分布情况对视频段中的影像进行处理，具体包括：若大于ssim值的平均值的网格区域部分呈现连续分布，则保留局部没发生变化的连续网格区域，若大于ssim值的平均值的网格区域部分呈现离散分布，则计算视频段的均值影像所划分的网格的峰值信噪比，并删除峰值信噪比小于阈值的网格区域，ssim值为结构相似度值；

37、病灶影像融合模块，用于将四维观测下病灶影像配准模块中得到的影像与基准视频段中的标准输出影像进行融合，得到融合的病灶影像。

38、基于同样的发明构思，本发明第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。

39、基于同样的发明构思，本发明第四方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。

40、相对于现有技术，本发明的优点和有益的技术效果如下：

41、1、通过将四维视频影像分割、并计算视频段中影像相似度的方式，定量评估了影像观测区域的差异性；

42、2、通过对影像网格化划分，及ssim值计算，实现部分重叠观测区域的确定；

43、3、通过对影像相似网格的分布特征，实现对观测视角转变和器官蠕动的情形划分；

44、4、通过对基准视频段的影像融合，实现了单一检测影像的输出，影像通过像素叠加融合的方式，尽可能的保留了连续视频段的最大检测效果；

45、5、通过对基准视频段后续视频段的处理流程，实现了对基准视频段观测结果的差异可视化表达，并支持对辅助数据的权重分配和影像融合；

46、6、通过影像融合方式，能够有效将不同单帧影像中的较优观测结果，融合至一张影像中，便于后续的数据量化处理和辅助评估。