一种深度图像的增强方法
【技术领域】
[0001] 本发明涉及图像处理领域，特别是指一种深度图像的增强方法。
【背景技术】
[0002] 深度图表示场景中各点距离摄像机的距离。获取场景深度图是计算机视觉系统的 重要任务之一。现有的深度测量设备（例如微软Kinect)受其精度所限，所捕获的深度图 通常包含噪声和破损区域。传统的基于立体几何理论的深度图获取方法的时间复杂度高， 对场景的纹理有依赖，应用范围受到限制。
[0003] 基于硬件传感器的深度图获取方法，不依赖场景纹理，具有高速、灵活的特点；尤 其近两年低价深度传感器的发售，使该类方法更加趋于实用，衍生应用层出不穷。但受硬 件精度与内置算法的限制，低价深度传感器只能获取包含噪声和破损区域的低分辨率深度 图。
[0004] 为了对低质量的深度图进行增强，现有方法包括：使用同一时刻从相似视角拍摄 的彩色图像作为参考，使用视角映射算法将深度图与彩色图像对齐，并利用滤波或全局优 化策略，提高深度图的分辨率。
[0005] Yang等人在2007年提出先在低分辨率深度图上构造一个耗费模型，然后通过最 小耗费估计及子像素求解算法迭代地增加深度图分辨率。Park等人在2011年提出利用从 彩色图像中提取的颜色、边缘信息及线性插值的深度图做参考，通过马尔科夫随机场理论 进行优化，求解出高分辨率的深度图。
[0006] 以上两种方法存在明显缺陷：
[0007] 首先，他们假设所使用的彩色图像与深度图能够完美对齐，这与实际观察不一致。 受摄像机镜头畸变、视角映射及深度传感器本身噪声和测量误差的影响，对齐后的彩色图 像和深度图在物体边缘观测值上存在差异。使用这样的彩色图像作为线索会对深度图的增 强算法产生错误引导。
[0008] 其次，以上算法假设原始深度图测量完整，不存在大面积破损区域，这也与实际观 察不符。根据传感器测量原理及物体材质的不同，深度图呈现出相应的破损。例如，使用红 外测量原理的深度传感器无法稳定测量红外反光性低的区域，深度图中的该区域会存在破 损。此外，视角映射算法会在深度图中物体边缘留下裂痕。
【发明内容】
[0009] 本发明要解决的技术问题是，提供一种深度图像的增强方法，能计算出准确度更 好的图像像素的深度值。
[0010] 所述方法包括：
[0011] 步骤一，通过深度摄像头拍摄一物体的深度图像；并通过与所述深度摄像头同步 的彩色摄像头拍摄所述物体的彩色图像；
[0012] 步骤二，根据所述深度图像以及所述彩色图像，构造能量函数；
[0013] 步骤三，用最小二乘法最小化所述能量函数，计算得到所述深度图像中像素的增 强后的深度值的最优值；
[0014] 步骤四，输出所述深度图像中像素的增强后的深度值的最优值。
[0015] 所述能量函数为：
[0016]
[0017] 其中，E(D'）为能量函数；D'为深度图像中像素的增强后的深度值；Ed(D'）为数据 约束项，E h (D'）为深度图像的破损区域约束项；Es (D'）为光滑约束项；λ A深度图像的破 损区域约束项的权重；As是光滑约束项的权重。
[0018] 所述数据约束项由以下公式定义：
[0019]
[0020] 其中，X为深度图像中像素的序号；D(X)为深度图像中像素X的现有深度值，D'（X) 是深度图像中像素X的增强后的深度值，C(X)是深度图像中像素X的现有深度值的置信 度：
[0021] 所述破损区域约束项由以下公式定义：
[0022]
[0023] 其中，〇"是深度图像中破损区域的像素集合，是深度图像的破损区域中像 素 X的深度初值；
[0024] 所述光滑约束项由以下公式定义：
[0025]
[0026] 其中，N1 (X)是像素X的1阶近邻；
[0027] X1是像素X的一阶近邻中的一个像素；i是像素的索引；
[0028] D'（X1)是深度图像中像素X1的增强后的深度值；
[0029] w (X1, X)是权重系数；
[0030] 权重系数w (Xi, X)是颜色权重Wi (Xi, X)、边缘权重we (Xi, X)和分割权重ws (Xi, X)三 项的乘积；
[0031]
[0032]
[0033] 〇￡是彩色图像的边缘区域的像素集合；
[0034] S(X)是彩色图像的像素 X对应的分割块的标志；S(X1)是彩色图像中像素对应的 分割块的标志；
[0035] I (X)是彩色图像中像素X的颜色值；I (X1)是彩色图像中像素\的颜色值
[0036] σ ;是第一函数参数。
[0037] 所述步骤三之前，所述方法还包括：
[0038] 对所述彩色图像进行卡尼Canny边缘检测处理，获得所述彩色图像的边缘区域的 像素集合Ωε。
[0039] 所述步骤三之前，所述方法还包括：
[0040] 使用均值漂移MeanShift图像分割法，将所述彩色图像分割为超像素，获得所述 彩色图像中像素X对应的分割块的标志S(X)。
[0041] 所述步骤三之前，所述方法还包括：
[0042] 对所述深度图像的破损区域Ω Η，使用深度图修复算法进行填充，求解出所述深度 图像的破损区域中像素X的深度初值。
[0043] 所述步骤三之前，所述方法还包括：
[0044] 根据所述深度图像和所述彩色图像，计算所述深度图像中像素X的现有深度值的 置信度C(X)。
[0045] 所述根据所述深度图像和所述彩色图像，计算所述深度图像中像素X的现有深度 值的置信度C(X)的步骤包括：
[0046]
[0047] 其中，〇"是深度图像中破损区域的像素集合；Ω馮深度图像中的不属于破损区 域且距离破损区域不超过d的像素集合；d为第一距离阈值；
[0048] Cf(X)由以下公式定义：
[0049]
[0050]
[0051]
[0052] 队是距离像素X小于或者等于r的像素的集合；r为第二距离阈值；
[0053] I(X)是彩色图像中像素 X的颜色值；I(X1)是彩色图像中像素 X1的颜色值；D(X)是 深度图像中像素X的现有深度值，D (X1)是深度图像中像素^的现有深度值；Tl是w f (Xl，X) 的总和，。σ D分别是第二函数参数和第三函数参数；
[0055]
[0054] Ch(X)由以下公式定义：
[0056]
[0057]
[0058] 其中，η '是wh(Xl，X)的总和，σ ' :和σ ' D分别是第四函数参数和第五函数参数。
[0059] 所述步骤三之前，所述方法还包括：
[0060] 对所述深度图像的像素和所述彩色图像的像素进行空间配准；
[0061] 获取所述深度图像中像素 X的深度值和所述彩色图像中同一像素 X的颜色值之间 的对应关系。
[0062] 本发明的上述技术方案的有益效果如下：
[0063] 本发明中，使用马尔科夫随机场理论对深度图进行优化，得到一副更加完整、更加 可信、与彩色图像观测结果更加一致的深度图。增强后的深度图可作为输入数据，应用于更 高级的计算机视觉、增强现实任务中。
【附图说明】
[0064] 图1为本发明一实施例所示的深度图像的增强方法的流程示意图；
[0065] 图2为本发明一实施例所示的深度图像的增强方法的流程示意图；
[0066] 图3为本发明所述的深度图像的增强方法的原理示意图。
【具体实施方式】
[0067] 为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具 体实施例进行详细描述。
[0068] 如图1所示，所述深度图像的增强方法，包括：
[0069] 步骤11，通过深度摄像头拍摄一物体的深度图像；并通过与所述深度摄像头同步 的彩色摄像头拍摄所述物体的彩色图像；
[0070] 步骤12,根据所述深度图像以及所述彩色图像，构造能量函数；
[0071] 步骤13,用最小二乘法最小化所述能量函数，计算得到所述深度图像中像素的增 强后的深度值的最优值；
[0072] 步骤14,输出所述深度图像中像素的增强后的深度值的最优值。
[0073] 其中，所述能量函数为：
[0074] E (D'）= Ed (D'）+ λ hEh (D'）+ λ sEs (D'）
[0075] 其中，E(D'）为能量函数；D'为深度图像中像素的增强后的深度值；Ed(D'）为数据 约束项，用于约束D'与D之间的差异。E h(D'）为深度图像的破损区域约束项；Es(D'）为光 滑约束项；Xh为深度图像的破损区域约束项的权重；λ 3是光滑约束项的权重。
[0076] 其中，所述数据约束项由以下公式定义：
[0077]
[0078] 其中，X为深度图像中像素的序号；D(X)为深度图像中像素X的现有深度值，D'（X) 是深度图像中像素X的增强后的深度值，C(X)是深度图像中像素X的现有深度值的置信 度：
[0079] 所述破损区域约束项由以下公式定义：
[0080] ·
[0081] 其中，〇"是深度图像中破损区域的像素集合，/>?.γ)是深度图像的破损区域中像 素X的深度初值；
[0082] 所述光滑约束项由以下公式定义：
[0083]
[0084] 其中，N1 (X)是