平 滑区域的深度值也平滑，并使深度图像的边缘与彩色图像保证对齐。
[0163] 通过本发明修复后的深度图与彩色图像边缘一致、对齐准确。通过在不同公共数 据集上的比较发现，本发明修复后的深度图平均误差仅为0.32%，远低于使用简单数字图 像修复算法平均7. 52 %的修复误差。
[0164] 以下描述本发明的实施例。所述方法包括以下步骤：
[0165] 步骤1，使用常见的RGBD (红、绿、蓝、深度）摄像头（如微软Kinect，华硕Xtion 等）拍摄深度/彩色图像对。通常彩色图像具有较高的分辨率，而深度图像分辨率低，且噪 音严重并包含较多的错误。
[0166] 步骤2,使用摄像机标定技术获得摄像机内外参数，并基于此计算从深度图到彩色 图像的对应关系，配准深度和彩色图像。Kinect的SDK (软件开发工具包）本身带有这一功 能，因此可以直接使用。注意由于深度错误、摄像机标定误差等原因，由该方法计算的对应 关系往往存在一定误差。
[0167] 步骤3,根据"颜色一深度"一致性计算深度像素的置信度C(X):
[0168]
[0169] 其中，ΩΗ是深度图中破损区域的像素集合，Ω d是本身不属于破损区域但距离破 损区域不超过d的像素集合（d可设为7)，Cf (X)由以下公式定义：
[0170] (4) CN 105139355 A 兄明书 10/11 页
[0171] m
[0172] (6)
[0173] 其中，队是距离像素 x不超过r的像素的集合（r可设为7)，I (X)和D(x)是像素 X的颜色值和深度值，η是公式（4)中wf (X1, X)的总和，σ jp σ D可分别设为15个灰度差 和30晕米。
[0174] 公式⑶中的Ch(X)由以下公式定义：
[0175] " m
[0176] ⑻
[0177] m
[0178] 其中，各项符号的意义与公式（5) (6)相同，ιΓ是公式（7)中Wh(Xl，x)的总和， σ ' :和。' D可分别设为15个灰度差和15毫米，可以根据经验值进行设定。
[0179] 步骤4,对深度图的破损区域ΩΗ(即深度摄像机未能正确获得深度的区域），使用 简易深度图修复的技术进行填充获得深度初值。
[0180] 简易深度图修复算法以破损区域边界上的像素作为种子点，按照种子点的优先级 由高到低，向破损区域中心迭代扩散的方式进行区域修复。种子点的优先级按照以下公式 定义：
[0181] (11)
[0182] 其中，T(Xs)为种子点到破损区域边界的距离，D(Xs)为种子点的深度值，D niax为场 景的最大深度值，f/(A)为彩色图像的拉普拉斯变换值，λ λ 2可分别设为-10和7。
[0183] 步骤5,对彩色图像，采用Canny边缘检测计算所有图像边缘的集合ΩΕ;并使用均 值漂移（MeanShift)图像分割方法将图像分割为超像素，并记S(X)为像素 X对应的分割区 域标志。
[0184] 步骤6,构造马尔可夫能量函数。该能量函数由数据约束项Ed (D'），破损区域约束 项Eh(D'）和光滑约束项Es(D'）三项组成。能量函数中的数据约束项定义如下：
[0185] (2)
[0186] 其中，D(x)是深度图中像素 x的现有深度值，D'（X)是增强之后的深度值，C(x)是 像素 X现有深度值的置信度：
[0187] 能量函数中的破损区域约束项由以下公式定义：
[0188] ,、 (10)
[0189] 其中，ΩΗ是深度图中破损区域的像素集合，i)以是简易深度图修复算法求解出 的深度值。
[0190] 能量函数光滑约束项由以下公式定义：
[0191]
(12|
[0192] 其中，N1 (X)是像素 X的1阶近邻，权重系数w(X1, X)是颜色权重W1(XyX)、边缘权 重Wf3 (Xi, X)和分割权重Ws (Xi, X)三项的乘积，他们分别按照如下公式定义：
[0193] (13):
[0194] (W) (15)
[0195] 其中，ΩΕ是彩色图像的边缘集合，S(X)是彩色图像分割块的标志，〇 1可设置为 10个灰度差。
[0196] 步骤7,用最小二乘法最小化如下能量函数，获得D'（X)的最优解作为输出结果：
[0197] E (D') = Ed(D，) + AhEh(D，) + AsEs(D，)
[0198] 其中，λ#Ρ λ j别是破损区域约束项和光滑约束项的权重，可分别设为〇. 1和 0.2。
[0199] 以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员 来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也 应视为本发明的保护范围。
【主权项】
1. 一种深度图像的增强方法，其特征在于，包括： 步骤一，通过深度摄像头拍摄一物体的深度图像；并通过与所述深度摄像头同步的彩 色摄像头拍摄所述物体的彩色图像； 步骤二，根据所述深度图像以及所述彩色图像，构造能量函数； 步骤三，用最小二乘法最小化所述能量函数，计算得到所述深度图像中像素的增强后 的深度值的最优值； 步骤四，输出所述深度图像中像素的增强后的深度值的最优值。2. 根据权利要求1所述的方法，其特征在于，所述能量函数为： E(D'）= Ed(D'）+入 hEh(D'）+入 SES(D'） 其中，E(D'）为能量函数；D'为深度图像中像素的增强后的深度值；Ed(D'）为数据约束 项，Eh(D'）为深度图像的破损区域约束项；Es(D'）为光滑约束项；Ah为深度图像的破损区 域约束项的权重；X ；3是光滑约束项的权重。3. 根据权利要求2所述的方法，其特征在于， 所述数据约束项由以下公式定义：其中，X为深度图像中像素的序号；D(X)为深度图像中像素X的现有深度值，D'（X)是 深度图像中像素X的增强后的深度值，C(X)是深度图像中像素X的现有深度值的置信度： 所述破损区域约束项由以下公式定义：其中，Qh是深度图像中破损区域的像素集合，力(4是深度图像的破损区域中像素X 的深度初值； 所述光滑约束项由以下公式定义：其中，N1(X)是像素X的1阶近邻； X1是像素X的一阶近邻中的一个像素；i是像素的索引； D'（X1)是深度图像中像素X1的增强后的深度值； w (X1, X)是权重系数； 权重系数W(Xi,X)是颜色权重Wi(X^X)、边缘权重Wf3 (Xi,X)和分割权重WsUi,X)三项 的乘积；Qe是彩色图像的边缘区域的像素集合； S(X)是彩色图像的像素X对应的分割块的标志；S (X1)是彩色图像中像素对X1应的分 割块的标志； I (X)是彩色图像中像素X的颜色值；I (X1)是彩色图像中像素^的颜色值 〇 i是第一函数参数。4. 根据权利要求3所述的方法，其特征在于，所述步骤三之前，所述方法还包括： 对所述彩色图像进行卡尼Canny边缘检测处理，获得所述彩色图像的边缘区域的像素 集合Qe。5. 根据权利要求3所述的方法，其特征在于，所述步骤三之前，所述方法还包括： 使用均值漂移MeanShift图像分割法，将所述彩色图像分割为超像素，获得所述彩色 图像中像素X对应的分割块的标志S(X)。6. 根据权利要求3所述的方法，其特征在于，所述步骤三之前，所述方法还包括： 对所述深度图像的破损区域Qh，使用深度图修复算法进行填充，求解出所述深度图像 的破损区域中像素X的深度初值。7. 根据权利要求3所述的方法，其特征在于，所述步骤三之前，所述方法还包括： 根据所述深度图像和所述彩色图像，计算所述深度图像中像素X的现有深度值的置信 度 C(X)。8. 根据权利要求7所述的方法，其特征在于，所述根据所述深度图像和所述彩色图像， 计算所述深度图像中像素X的现有深度值的置信度C(X)的步骤包括：其中，Qh是深度图像中破损区域的像素集合；Q d是深度图像中的不属于破损区域且 距离破损区域不超过d的像素集合；d为第一距离阈值； Cf(X)由以下公式定义：队是距离像素X小于或者等于r的像素的集合；r为第二距离阈值； I (X)是彩色图像中像素X的颜色值；I (X1)是彩色图像中像素X1的颜色值； D(X)是深度图像中像素X的现有深度值，D(X1)是深度图像中像素\的现有深度值；n 是WfUi,X)的总和，〇jp〇 D分别是第二函数参数和第三函数参数； Ch(X)由以下公式定义：其中，n'是WhUi,X)的总和，〇 \和〇' D分别是第四函数参数和第五函数参数。9.根据权利要求8所述的方法，其特征在于，所述步骤三之前，所述方法还包括： 对所述深度图像的像素和所述彩色图像的像素进行空间配准； 获取所述深度图像中像素X的深度值和所述彩色图像中同一像素X的颜色值之间的对 应关系。
【专利摘要】本发明提供一种深度图像的增强方法，涉及图像处理领域。所述方法包括：步骤一，通过深度摄像头拍摄一物体的深度图像；并通过与所述深度摄像头同步的彩色摄像头拍摄所述物体的彩色图像；步骤二，根据所述深度图像以及所述彩色图像，构造能量函数；步骤三，用最小二乘法最小化所述能量函数，计算得到所述深度图像中像素的增强后的深度值的最优值；步骤四，输出所述深度图像中像素的增强后的深度值的最优值。本发明能计算出准确度更好的图像像素的深度值。
【IPC分类】G06T5/00
【公开号】CN105139355
【申请号】CN201510508960
【发明人】王延可, 王洪志, 秦学英
【申请人】山东中金融仕文化科技股份有限公司
【公开日】2015年12月9日
【申请日】2015年8月18日