0] 本发明所述的评估Kinect设备采集的深度精度可信度的方法，本方法使用 Kinect设备采集的图像对和机器学习的方法，不需要高精度的深度设备的支持，例如高精 度的激光三维扫描仪，仅需使用Kinect设备自身采集的对齐后的彩色和深度图像对，就可 判定Kinect深度精度的可信度，并提取相应的特征，然后利用机器学习方法训练预测器， 当新采集的彩色和深度图像对输入时，就可预测其对应的深度的置信度。
[0141] 以下描述本发明的应用场景。以Kinect设备为例，一种评估Kinect设备采集的 深度精度可信度的方法，包括以下步骤：
[0142] 步骤1，选取室内环境下的不同场景。在每一场景下（每个场景的视角不同），用 Kinect设备采集多幅对齐的彩色图和深度图，组成多幅图像对。这里的对齐参数可使用 Kinect设备中存储的参数进行。图像对的数量以在此数量下求得的平均深度图稳定为准。 平均深度图像是指对于某一场景下采集的多组图像对中的每一帧深度图像累加，然后求解 平均值。当图像对组包含N帧深度图像时所得平均深度图像为D ;当包含N+1帧时所得平 均深度图像为D'，若abs (D-D'）<t (abs表示绝对值），（t为某一阈值），则认为图像对数量 足够稳定；否则，在此场景下继续采集。
[0143] 步骤2,对于每个场景下的多幅对齐的彩色图和深度图，计算它们的平均彩色图和 平均深度图；然后根据平均深度图计算这个场景下的方差深度图，计算方法如下：
[0144]
[0145] 其中，N是指每一场景下采集的彩色和深度图像对的数量，D是指其中某一幅深度 图像，是指平均深度图像。需要指出的是：采集图像中，深度像素值为零的像素在此不 被考虑。
[0146] 步骤3,方差可以反映数据的稳定性，方差小表示数据越稳定，反之，则数据不稳 定。第[2]步中像素深度方差大，表示深度值获取不稳定，会影响数据精度；像素深度方差 小，表示深度获取稳定，数据精度较高。利用调整后的Sigmoid函数，将深度方差图转换为 标准的深度可信度图，Sigmoid函数如下：
[0147]
，
[0148] 其中，C1,,,V1,,是指像素点（i，j)对应的可信度（置信度）和方差，e为自然常数， λ可以设为：〇. 17 ;
[0149] 步骤4,根据步骤2中计算得到的多组平均彩色图和平均深度图，提取出图像对中 每个像素与深度可信度相关联的特征，组成特征向量，特征包括：
[0150] (1)像素点包含的彩色和深度信息，即图像像素点X(i，j)的R(红色）、G(绿色）、 B (蓝色）、D (深度）分量，公式如下：
[0151]
[0152] 其中，i，j表示像素点坐标，L j= (R，G，B)，表示像素点（i，j)的彩色信息；D1, , =D，表示像素点（i，j)的深度信息。
[0153] (2)所述像素点（i，j)的径向距离
，是指当前像素点与图像中心点之间的 欧几里得距离。由于每个像素有RGBD四种信息，RGB存储在彩色图像中，D存储在深度图像 中，两种图像分辨率一致，这里的图像中心点可以指两种图像的任意一种。公式如下：
[0154]
[0155] 其中，，（Pi, p_j)指像素点（i, j)的坐标；（Ci, Cj)是指图像中心点的坐标。
[0156] (3)所述像素点（i，j)在深度图像中的梯度信息，包含在X方向上的梯度
、 在y方向上的梯房
'、总体梯房
、根据罗伯特Robert算子计算得到的强度 magnitude信眉
以及根据罗伯特Robert算子计算得到的边缘方向theta信 息
，分别根据以下公式计算：
[0157]
[0158]
[0159]
[0160]
[0161]
[0162] D(i，j)指 深度图像中像素（i，j)对应的深度值；
[0163] D(i+1，j+Ι)指像素（i+1，j+Ι)的深度值；D(i+1，j)指像素（i+1，j)的深度值； D(i，j+1)的深度值
[0164] (4)所述像素点（i，j)在深度图像中的边缘信息
和所述像素点（i， j)在彩色图像中的边缘信息
=边缘区域的像素点更容易被噪声影响，这里使用 Canny卡尼算子提取彩色图像和深度图像的边缘信息，公式如下： CN 105139401 A m ~P 9/11 页
[0165]
[0166]
[0167] 其中，ICannyi,.押DCnny "分别指在像素点（i, j)使用canny算法提取的彩色图 的边缘信息和深度图的边缘信息，本方法中使用3X3, 5X5和7X7的canny卷积核计算边 界ig息。
[0168] (5)像素点（i，j)在深度图的Gabor嘉宝滤波信肩
和彩色图中的 Gabor嘉宝滤波信息：
*
[0169] 本方法中，参数为0°，45°，90°，135°的Gabor滤波器分别对彩色图像和深度 图像做滤波。公式如下：
[0170]
[0171] 其中，IGabori,^和DGabor ^分别指对彩色图像和深度图像进行Gabor滤波后的结 果；
[0172] (6)像素点（i，j)在深度图和彩色图的纹理信息
和
本方法中使用LBP(局部二值模式）算法分别对彩色图像和深度图像提取纹理信息。公式 如下：
[0173]
[0174]
[0175] 其中，ILBP1, j和DLBP L j分别指LBP算法分别应用到彩色图像和深度图像上的结 果；
[0176] (7)所述像素点（i，j)到深度孔洞的距离
。深度孔洞是指深度图中深度数 据因为光线、噪声等原因而无法采集的区域，即在深度图像中的零值区域，表示场景的深度 信息无法用深度传感器获取，所以距离深度空洞比较近的像素点更容易受到噪声的影响。 公式如下：
[0177]
[0178] 其中，（Pl，Pj)指像素点（i，j)的坐标；(ph x，phy)指距离像素点（i，j)最近的深度 孔洞像素点的坐标。
[0179] (8)全局特征。由于整幅图像特征中的最小值、最大值、均值、和中值在表述图像特 性时包含着重要的信息。所以本方法中，上述的几种特征（除径向距离外）在整幅图像中 的最小值、最大值、均值和中值都被包含在特征向量里。其中，中值为一组数据中大小排列 在中间的数值。
[0180]
,
[0181] 根据上述的特征，每一个最小值、最大值、均值和中值都包含26维特征。最终的特 征向量包含131维特征（26特征X 5+径向距离）。
[0182] 根据前8种特征，除径向距离
外，在每个像素点（i，j)处共有26维特 征，包括 R，G，B，D，
_ 3X3 的
于所有像素点计算得到的特征，在每一个维度上所有的都可以求得在这一维度上的最大值 (26维），最小值（26维），均值（26维）和中值（26维），所以总的特征维度共26 X 5+1 = 131 维。
[0183] 关于特征最大值、最小值、均值、和中值的解释，以最大值为例，且只以R，G，B，D这 四种特征为例：
[0184] 假设我们现在有一组平均彩色图和平均深度图，共包含四个像素。
[0185] 像素1对应的RGBD分别为：2,4, 3, 5 ;
[0186] 像素2对应的RGBD分别为：5, 7,8,4 ;
[0187] 像素3对应的RGBD分别为：4,9, 7,9 ;
[0188] 像素4对应的RGBD分别为：6, 3, 2,8 ;
[0189] 则对于这组图像的第一维特征（即每个像素的R值）的最大值为：6,相应的二， 三，四维特征的最大值为：9, 8, 9,则最终的特征向量为：R，G，B，D，max (R)，max (G)，max (B)， max (D)；
[0190] 像素 I :2,4, 3, 5,6, 9,8, 9 ;
[0191] 像素 2 :5,7,8,4,6,9,8,9 ;
[0192] 像素 3 :4,9,7,9,6,9,8,9 ;
[0193] 像素 4 :6, 3, 2,8,6, 9,8, 9 ;
[0194] 对于最小值，均值和中值采用同样的方