一种深度图像缺失像素的修复方法及系统的制作方法
【技术领域】
[0001] 本发明属于计算机技术领域，尤其涉及一种深度图像缺失像素的修复方法及系 统。
【背景技术】
[0002] 获取物体上各点相对于摄像机的距离是计算机视觉系统的重要任务之一，物体上 各点相对于摄像机的距离可以用深度图来表示，即深度图中的每一个像素值表示物体上某 一点与摄像机之间的距离。微软Kinect和英特尔RealSense等传感器可以拍摄出深度图，这 一类传感器会主动发射红外光，然后传感器通过捕获反射的红外光来测量距离。如果物体 是黑色，则光线吸收后无反射，传感器捕获不到反射光线，也就无法测量距离。此外，如果物 体表面是异常光滑的镜面，光线也可能被反射到其他方向，传感器无法捕捉而形成图像缺 失。除了物体表面特性的原因，还有一类空洞形成的原因是物体自遮挡。传感器上的光源发 射装置和捕获装置不在同一个位置，所以有些区域因为遮挡，无法被发射的光源照射到，也 会造成图像缺失。
[0003] 现有技术主要采用相邻像素填充方法以及线性插值方法对缺失区域进行填充。相 邻像素填充方法通过找到缺失像素最近的非缺失像素，用非缺失像素值来填充，这种方法 完全不能刻画缺失区域的真实情况，会造成修复区域跟真实情况差别比较大。而采用线性 插值方法填充缺失区域先提取缺失像素四周的多个非缺失像素，用这些非缺失像素的线性 插值（即加权求和)来计算缺失像素值，该方法可以使得本来不平滑的区域变成平滑区域， 然而仍然不能描述真实场景的深度信息，深度信息准确度不高。
【发明内容】
[0004] 本发明实施例的目的在于提供一种深度图像缺失像素的修复方法及系统，旨在解 决由于现有技术无法提供一种高准确度的深度图像缺失像素的修复方法，导致修复的图像 深度信息准确度不高的问题。
[0005] 本发明实施例是这样实现的，一种深度图像缺失像素的修复方法，所述方法包括 下述步骤：
[0006] 使用Μ个滤波器?,对表示原始深度图像的矩阵D进行滤波，得到Μ个数值矩阵出，所 述Μ为一预设的正整数值，? = 0，1，···，Μ-1;
[0007] 对所述Μ个数值矩阵出中的所有元素进行降幅处理，得到降幅后的Μ个数值矩阵Ν1;
[0008]
1计算矩阵R，使用所述矩阵R替换表示所述原始深 度图像的矩阵D，以完成所述原始深度图像的修复，其中，表示巧的转置，*为卷积操作符。
[0009] 本发明实施例的另一目的在于提供一种深度图像缺失像素的修复系统，所述系统 包括：
[0010] 滤波单元，用于使用Μ个滤波器?,对表示原始深度图像的矩阵D进行滤波，得到Μ个 数值矩阵Hi，所述Μ为一预设的正整数值，i = 0，1，…，M-1;
[0011] 降幅处理单元，用于对所述Μ个数值矩阵Hi中的所有元素进行降幅处理，得到降幅 后的Μ个数值矩阵N1;以及
[0012] 计算替换单元，用于通过连续求和
1计算矩阵R，使用所述矩阵R 替换表示所述原始深度图像的矩阵D，以完成所述原始深度图像的修复，其中，<表示 转置，*为卷积操作符。
[0013] 在本发明实施例中，使用Μ个滤波器?1对表示原始深度图像的矩阵D进行滤波，得 到M个数值矩阵出，对Μ个数值矩阵出中的所有元素进行降幅处理，得到降幅后的Μ个数值矩
计算矩阵R，使用所述矩阵R替换表示原始深度图像 的矩阵D，以完成原始深度图像的修复，可将图像中反映的深度信息（即物体的距离信息)误 差大大降低。
【附图说明】
[0014] 图1是本发明实施例一提供的深度图像缺失像素的修复方法的实现流程图；
[0015] 图2是本发明实施例二提供的深度图像缺失像素的修复方法的实现流程图；
[0016] 图3是本发明实施例三提供的深度图像缺失像素的修复系统的结构图；以及
[0017] 图4是本发明实施例四提供的深度图像缺失像素的修复系统的结构图。
【具体实施方式】
[0018] 为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并 不用于限定本发明。
[0019] 以下结合具体实施例对本发明的具体实现进行详细描述：
[0020] 实施例一:
[0021] 图1示出了本发明实施例一提供的深度图像缺失像素的修复方法的实现流程，详 述如下：
[0022] 在步骤S101中，使用Μ个滤波器?1对表示原始深度图像的矩阵D进行滤波，得到Μ个 数值矩阵Hi，所述Μ为一预设的正整数值，i = 0，1，…，Μ_1。
[0023] 在本发明实施例中，使用Μ个滤波器?1对表示原始深度图像的矩阵D进行滤波，得 到M个数值矩阵出，从而得到有益于原始深度图像的修复的数据。在本发明实施例中，Μ个滤 波器中包括一个低通滤波器，Μ-1个高通滤波器。
[0024]在步骤S102中，对Μ个数值矩阵Hi中的所有元素进行降幅处理，得到降幅后的Μ个 数值矩阵Ni。
[0025]在本发明实施例中，需要对Μ个数值矩阵出中的所有元素进行降幅处理，此处理可 以抑制高频信号，增强低频信号比例，从而起到修复缺失区域的作用。
[0026]
1计算矩阵R，使用矩阵R替换表示 所述原始深度图像的矩阵D，以完成原始深度图像的修复，其中，表示转置，*为卷积 操作符。
[0027] 在本发明实施例中，使用Μ个滤波器?1对表示原始深度图像的矩阵D进行滤波，得 到M个数值矩阵出，对Μ个数值矩阵出中的所有元素进行降幅处理，得到降幅后的Μ个数值矩
计算矩阵R，使用所述矩阵R替换表示原始深度图像 的矩阵D，以完成原始深度图像的修复，大大降低了图像中反映的深度信息（即物体的距离 ig息)误差。
[0028] 实施例二:
[0029] 图2示出了本发明实施例二提供的深度图像缺失像素的修复方法的实现流程，详 述如下：
[0030] 在步骤S201中，通过K个一维滤波器h构建生成所述Μ个滤波器?1，其中，所述K为一 预设的正整数值，j = 0，1，…，κ-1。
[0031] 在本发明实施例中，预先通过Κ个一维滤波器h构建生成Μ个滤波器?1。其中，优选 地，Κ可以为2、3、4，则Μ的值为4、9、16，从而在提高准确度的同时，尽可能减少计算量。
[0032] 进一步优选地，Κ为3，Μ为9，3个一维滤波器为：
[0033] 此时，通过3个一维滤波器h构建生成9个滤波器巧的步骤为：
[0034] 使用三个一维滤波器
中任意两个进行叉积运算得到9个滤波器K。
[0035] 在步骤S202中，使用Μ个滤波器?1对表示原始深度图像的矩阵D进行滤波，得到Μ个 数值矩阵Hi，Μ为一预设的正整数值，i = 0，1，…，Μ-1。
[0036] 在本发明实施例中，使用Μ个滤波器?1对表示原始深度图像的矩阵D进行滤波时， 可使用公式Hi = Fi*D进行，从而得到Μ个数值矩阵Hi。
[0037]在步骤S203中，对Μ个数值矩阵Hi中的所有元素进行降幅处理，得到降幅后的Μ个 数值矩阵Ni。
[0038] 在本发明实施例中，对Μ个数值矩阵Hi中的所有元素进行降幅处理的步骤包括：
[0039] 当 i = 〇 时，n〇 = Ho
[0040] 当i = l，2,…，M-1时使用公式：
对数值矩阵出中的所有元素进行降幅处理。
[0042] 其中，Ndxj)为数值矩阵K中的一任意元素，Hdxj)为数值矩阵出中的一任意元 素，心是为数值矩阵出预先设置的阈值，以用于对数值矩阵m中的任意元素进行降幅。
[0043] 在本发明实施例中，Μ个滤波器中包括一个低通滤波器，M-ι个高通滤波器。在这里 假设Μ个滤波器中的Fo为低通滤波器，其对应的滤波结果为数值矩阵Ho。当i = 0时，Νο = Ηο， 即在这里不对低通滤波结果数值矩阵Ho进行降幅处理。
[0044]
1计算矩阵R，使用矩阵R替换表示 所述原始深度图像的矩阵D，以完成所述原始深度图像的修复，其中，< 表示转置，*为 卷积操作符。
[0045] 在本发明实施例中，使用滤波器对表示原始深度图像的矩阵D进行滤波后，对得到 的数值矩阵中的所有元素进行降幅处理，最后通过连续求和 使用矩阵R替换表示原始深度图像的矩阵D，从而通过较小的计算量实现了原始深度图像的 修复，提尚了修复后深度?目息准确度。