一种深度图像处理方法及系统

本发明属于深度图像增强，特别是涉及一种深度图像处理方法及系统。

背景技术：

1、深度图像，也被称为距离影像，是指将图像采集器采集到的场景中各点的距离(深度)值作为像素值的图像，它直接反映了景物可见表面的几何形状，利用它可以很方便地解决3d目标描述中的许多问题。深度图像的像素值表示场景中物体到相机的距离，包含场景的三维结构信息。深度图像是计算机视觉、三维重建、增强现实、机器人等领域应用的重要输入，深度信息的准确度至关重要。

2、由于测量原理的限制，深度图像在物体的边缘附近和反射率较差的表面会产生空洞，并且，深度图像的边缘和对应的彩色图像的边缘往往不是匹配的。为了解决深度图像的边缘和对应的彩色图像的边缘相匹配的问题，亟需提出一种深度图像处理方法及系统。

技术实现思路

1、本发明的目的是提供一种深度图像处理方法及系统，以解决上述现有技术存在的问题。

2、为实现上述目的，本发明提供了一种深度图像处理方法，包括以下步骤：

3、获取彩色图像和深度图像，并分别进行边缘检测，获得彩色图像边缘和深度图像边缘；

4、基于区域生长法获得获取所述彩色图像边缘和深度图像边缘中间的错误像素点和无效像素点所在的区域；

5、基于形态学的膨胀方法将所述错误像素点和无效像素点扩充为连通的空洞，并获取所述空洞中全部像素的深度值对空洞进行填充；

6、采用自适应联合双边滤波算法去除空洞填充后的深度图像的噪声，完成对深度图像的处理。

7、可选地，获得彩色图像边缘和深度图像边缘的过程包括：将采集的彩色图像和深度图像分别转为8位灰度图像，然后对两幅8位灰度图像采用canny边缘检测算法分别进行边缘检测，获得彩色图像边缘和深度图像边缘。

8、可选地，获取错误像素点和无效像素点所在的区域的过程包括：基于区域生长法分别在彩色图像边缘和深度图像边缘构建区域，形成第一掩模图像和第二掩模图像；将深度边缘图像进行形态学膨胀操作；将所述第一掩模图像和第二掩模图像基于预设像素要求进行处理，获得错误像素点和无效像素点。

9、可选地，获得彩色图像边缘和深度图像边缘构建区域的过程包括：以深度图像边缘上的所有的像素为种子进行区域生长，直到碰到彩色图像边缘或者达到指定距离为止，获得深度图像边缘构建区域；以彩色图像边缘上的所有的像素为种子进行区域生长，直到遇到深度图像边缘或者达到指定距离为止，获得彩色图像边缘构建区域。

10、可选地，获取所述空洞中全部像素的深度值对空洞进行填充的过程包括：取深度图像中的空洞中的任一点，若这一点在色彩图像中的对应点在边缘线之外，则这一点属于背景像素点，获取空洞中所有的背景像素点，将全部的背景像素点构成的空洞区域记为第一空洞区域，将剩余区域记为第二空洞区域；所述第一空洞区域中的像素深度值基于其邻域中有效的背景区域像素值计算获得；取所述第二空洞区域的最外侧靠近前景物体的像素点集并进行处理，获得所述第二空洞区域的像素深度值。

11、本发明还提供一种深度图像处理系统，包括：

12、图像采集模块，用于获取彩色图像和深度图像；

13、边缘检测模块，与所述图像采集模块连接，用于分别对所述彩色图像和深度图像进行边缘检测，获得彩色图像边缘和深度图像边缘；

14、空洞获取模块，与所述边缘检测模块连接，用于基于区域生长法获得获取所述彩色图像边缘和深度图像边缘中间的错误像素点和无效像素点所在的区域，并基于形态学的膨胀方法将所述错误像素点和无效像素点扩充为连通的空洞；

15、空洞填充模块，与所述空洞获取模块连接，用于获取所述空洞中全部像素的深度值对空洞进行填充，并采用自适应联合双边滤波算法去除空洞填充后的深度图像的噪声，完成对深度图像的处理。

16、可选地，所述边缘检测模块包括：

17、图像转换单元，用于将采集的彩色图像和深度图像分别转为8位灰度图像；

18、边缘检测单元，用于对两幅8位灰度图像采用canny边缘检测算法分别进行边缘检测，获得彩色图像边缘和深度图像边缘。

19、可选地，所述空洞获取模块包括：

20、边缘构建区域获取单元，用于以深度图像边缘上的所有的像素为种子进行区域生长，直到碰到彩色图像边缘或者达到指定距离为止，获得深度图像边缘构建区域；以彩色图像边缘上的所有的像素为种子进行区域生长，直到遇到深度图像边缘或者达到指定距离为止，获得彩色图像边缘构建区域；

21、错误像素点和无效像素点区域获取单元，用于基于区域生长法分别在彩色图像边缘和深度图像边缘构建区域，形成第一掩模图像和第二掩模图像；将深度边缘图像进行形态学膨胀操作；将所述第一掩模图像和第二掩模图像基于预设像素要求进行处理，获得错误像素点和无效像素点；

22、空洞获取单元，用于基于形态学的膨胀方法将所述错误像素点和无效像素点扩充为连通的空洞。

23、可选地，所述空洞填充模块包括：

24、空洞填充单元，用于获取所述空洞中全部像素的深度值对空洞进行填充；

25、图像去噪单元，用于采用自适应联合双边滤波算法去除空洞填充后的深度图像的噪声。

26、本发明的技术效果为：

27、本发明通过估计错误像素点和无效像素点的像素深度值，对深度图像的空洞进行填充，使得深度图像与对应的色彩图像更加匹配。

28、本发明有效的填补深度图像的空洞，很好地解决了深度图像边缘不匹配的问题，极大地提高了深度图像的质量，并对深度图像的后续处理具有重大意义和实用价值。

技术特征：

1.一种深度图像处理方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的深度图像处理方法，其特征在于，

3.根据权利要求1所述的深度图像处理方法，其特征在于，

4.根据权利要求3所述的深度图像处理方法，其特征在于，

5.根据权利要求1所述的深度图像处理方法，其特征在于，

6.一种深度图像处理系统，其特征在于，包括：

7.根据权利要求6所述的深度图像处理系统，其特征在于，

8.根据权利要求6所述的深度图像处理系统，其特征在于，

9.根据权利要求6所述的深度图像处理系统，其特征在于，

技术总结
本发明公开了一种深度图像处理方法及系统，包括以下步骤：获取彩色图像和对应的深度图像，并分别进行边缘检测，获得彩色图像边缘和深度图像边缘；基于区域生长法获得获取所述彩色图像边缘和深度图像边缘中间的错误像素点和无效像素点所在的区域；基于形态学的膨胀方法将所述错误像素点和无效像素点扩充为连通的空洞，并获取所述空洞中全部像素的深度值对空洞进行填充；采用自适应联合双边滤波算法去除空洞填充后的深度图像的噪声，完成对深度图像的处理。本发明有效的填补深度图像的空洞，很好地解决了深度图像边缘不匹配的问题，极大地提高了深度图像的质量。

技术研发人员：杨勇,张龙,黄淑英
受保护的技术使用者：天津工业大学
技术研发日：
技术公布日：2024/1/15