内窥镜图像深度估计方法及装置

本发明涉及计算机视觉的，尤其涉及一种内窥镜图像深度估计方法，以及内窥镜图像深度估计装置。

背景技术：

1、近年来，随着计算机视觉研究方向的延伸，内窥镜图像深度估计在病灶检测、手术器械跟踪、三维重建中应用广泛，它可以反馈内窥镜内部环境信息，从而确保手术成功协助医生进行，而且也成为了计算机视觉领域实现价值提升的有效途径。因此，内窥镜图像的深度估计技术成为获取物体表面形态的关键技术。然而，由于临床手术中操作环境的复杂性，手术操作空间的限制和内窥镜设备差异，导致获取的内窥镜图像质量差异较大。

2、微创手术场景完全依附内窥镜自带光源提供照明，由于尺寸的限制，临床内镜只能使用单目内窥镜。相机和光源距离物体表面较近，对于物体表面上的不同点，照明的入射方向不能认为是平行的。在临床手术中，由于冷光源和摄像机不断移动，不能满足手术过程中光源的恒常性。目前，广泛运用的图像深度估计方法边界信息模糊，视觉远点深度缺失，且深度变化层次不明显，这些限制因素都将严重影响后续的视觉应用。

技术实现思路

1、为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种内窥镜图像深度估计方法，其可以有效地从原始内窥镜图像中估计出初始深度图，有效地改善了初始深度图相干边界信息的表达，进一步优化内镜深度估计的深度估计，为内窥镜图像深度估计、病灶检测、三维重建等应用提供了特征提取的新思路，解决了当前内窥镜图像深度估计中边界信息模糊、视觉远点深度缺失、深度变化层次不明显的问题。

2、本发明的技术方案是：这种内窥镜图像深度估计方法，其包括以下步骤：

3、(1)采集临床手术内窥镜图像数据，获得基于非线性滤波与显著性像素分布的高光区域，通过遍历原始内窥镜图像得到高光区域；

4、(2)根据检测的内窥镜高光区域，采用近光辐射模型和光源距离衰减，对该区域进行图像补全，得到初始深度估计图；

5、(3)通过非线性滤波对初始深度图进行多尺度分解，融合多尺度残差与颜色空间强度，获得内窥镜图像深度估计信息。

6、本发明基于临床手术中获取的内窥镜图像，根据内窥镜环境和光源的辐射特性，定义了一种自适应镜面反射去除方法。利用颜色空间信息约束，可以有效地从原始内窥镜图像中估计出初始深度图。然后，利用多尺度分解恢复初始深度图局部区域的深度梯度细节，有效地改善了初始深度图相干边界信息的表达。最后，将图像的深度信息转化为多尺度分解残差的融合。该过程可以进一步优化内镜深度估计的深度估计。本发明为内窥镜图像深度估计、病灶检测、三维重建等应用提供了特征提取的新思路。解决了当前内窥镜图像深度估计中边界信息模糊，视觉远点深度缺失，深度变化层次不明显的问题。

7、还提供了内窥镜图像深度估计装置，其包括：

8、高光区域提取模块，其配置来采集临床手术内窥镜图像数据，获得基于非线性滤波与显著性像素分布的高光区域，通过遍历原始内窥镜图像得到高光区域；

9、补全模块，其配置来根据检测的内窥镜高光区域，采用近光辐射模型和光源距离衰减，对该区域进行图像补全，得到初始深度估计

10、图；

11、分解融合模块，其配置来通过非线性滤波对初始深度图进行多尺度分解，融合多尺度残差与颜色空间强度，获得内窥镜图像深度估计信息。

技术特征：

1.内窥镜图像深度估计方法，其特征在于：其包括以下步骤：

2.根据权利要求1所述的内窥镜图像深度估计方法，其特征在于：所述步骤(1)中，用非线性滤波对内窥镜图像进行增强：

3.根据权利要求2所述的内窥镜图像深度估计方法，其特征在于：所述步骤(2)中，采用近光辐射模型来描述内镜的照明情况：

4.根据权利要求3所述的内窥镜图像深度估计方法，其特征在于：所述步骤(3)中，在初始深度估计图的基础上，使用多尺度滤波处理，以细化深度估计的层次，明确边界，局部线性优化和多尺度分解方法为：

5.根据权利要求4所述的内窥镜图像深度估计方法，其特征在于：所述步骤(3)中，对上述构建的数学模型进行求解，根据求解结果进行图像像素的深度估计，得到内窥镜图像深度估计方法。

6.内窥镜图像深度估计装置，其特征在于：其包括：

7.根据权利要求6所述的内窥镜图像深度估计装置，其特征在于：所述高光区域提取模块中，用非线性滤波对内窥镜图像进行增强：

8.根据权利要求7所述的内窥镜图像深度估计装置，其特征在于：

9.根据权利要求8所述的内窥镜图像深度估计装置，其特征在于：所述分解融合模块中，在初始深度估计图的基础上，使用多尺度滤波处理，以细化深度估计的层次，明确边界，局部线性优化和多尺度分解方法为：

10.根据权利要求9所述的内窥镜图像深度估计装置，其特征在于：所述分解融合模块中，对上述构建的数学模型进行求解，根据求解结果进行图像像素的深度估计，得到内窥镜图像深度估计方法。

技术总结
内窥镜图像深度估计方法及装置，可以有效地从原始内窥镜图像中估计出初始深度图，有效地改善了初始深度图相干边界信息的表达，进一步优化内镜深度估计的深度估计，解决边界信息模糊、视觉远点深度缺失、深度变化层次不明显的问题。方法包括：(1)采集临床手术内窥镜图像数据，获得基于非线性滤波与显著性像素分布的高光区域，通过遍历原始内窥镜图像得到高光区域；(2)根据检测的内窥镜高光区域，采用近光辐射模型和光源距离衰减，对该区域进行图像补全，得到初始深度估计图；(3)通过非线性滤波对初始深度图进行多尺度分解，融合多尺度残差与颜色空间强度，获得内窥镜图像深度估计信息。

技术研发人员：范敬凡,刘诗源,王涌天,杨健,付天宇,林毓聪
受保护的技术使用者：北京理工大学
技术研发日：
技术公布日：2024/1/12