法。
[0195] 步骤5,用步骤4中提取的特征向量以及步骤3中计算得到的深度可信度，利用随 机森林方法，训练预测器，具体的对应如下：
[0196] υ?Ν 丄 丄 丄 J 丄丄 / 丄
[0197] 其中，是指从彩色图和深度图中提取的特征向量，f是指特征向量与对应置信 度之间的映射关系。在训练过程中，使用100棵树构建随机森林，每棵树的深度为25,同时 树的精度为0.0001。
[0198] 也就是说，对于Kinect设备采集的每组对齐的深度图像和彩色图像，可以计算相 应的平均深度图和平均彩色图，进而可以得到每一组数据的方差深度图。对于方差深度图 像中的每一个像素值V i, y通过sigmodel函数将其转化为置信度Ci, 。此置信度对应着图 像点（i，j)。同时提取彩色图和深度图中与深度置信度相关的特征，组成特征向量，然后使 用基于学习的方法，训练预测器。
[0199] 步骤6,对新输入的深度和彩色图像对，提取与步骤4中相同的特征向量，根据随 进森林训练得到的预测器，预测深度可信度，工作结束。由于新输入的深度和彩色图像对只 是一组，因此，不需要计算平均彩色图和平均深度图，直接从深度图和彩色图中提取即可。 [0200] 本发明提供了一种基于低精度（例如=Kinect)设备自身和随机森林的深度置信 度评估方法，可以预测Kinect深度设备采集的场景深度信息的置信度。本发明以Kinect 设备自身采集的多组对齐的场景深度图和彩色图为依据，使用随机森林方法，训练预测器， 从而有效预测Kinect设备获取的深度图像置信度，进而将其作为输入数据加入到其他应 用中。也就是说，通过采集的数据，应用机器学习的方法训练预测器，即公式中的映射关系 f。对于需要预测置信度的彩色图像和深度图像对，提取相同的特征向量，使用预测器，就可 以得到图像对各个像素的置信度。
[0201] 也就是说，使用上述特征，组成特征向量，同时根据计算得到的标准可信度，使用 随机森林方法，训练一个预测器。由于可信度是连续的，因而随机森林使用回归模式。对于 需要预测深度可信度的彩色和深度图像对，提取相同的特征向量，应用已经训练得到的预 测器，得到它们的深度可信度。本发明不需要高精度深度扫描设备（如高精度激光三维扫 描仪等）的支持。
[0202] 以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员 来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也 应视为本发明的保护范围。
【主权项】
1. 一种深度图中深度的可信度的评估方法，其特征在于，所述方法包括： 获取不同场景下的至少两组第一原始图像对，所述第一原始图像对包括对齐的第一原 始彩色图和第一原始深度图； 根据所述第一原始图像对，生成预测器；所述预测器表示从图像中提取的特征向量与 深度可信度之间的映射关系； 获取输入的第二原始图像对，所述第二原始图像对包括一场景下对齐的第二原始彩色 图和第二原始深度图； 提取所述第二原始图像对的第二特征向量； 根据所述预测器以及所述第二特征向量，预测所述第二原始深度图的深度的可信度。2. 根据权利要求1所述的方法，其特征在于，所述根据所述第一原始图像对，生成预测 器的步骤包括： 根据各个场景下的所述至少两组第一原始图像对，计算得到各个所述场景对应的平均 彩色图和平均深度图； 根据各个所述场景的所述平均深度图，生成各个所述场景下的深度可信度图； 根据各个所述场景下的所述平均彩色图和所述平均深度图，提取出像素与深度可信度 相关联的特征，组成第一特征向量 根据所述第一特征向量以及各个所述场景下的所述深度可信度图，利用随机森林 法，通过训练而生成预测器。3. 根据权利要求2所述的方法，其特征在于，所述预测器为：其中，（i，j)表示所述平均彩色图和所述平均深度图中像素点的坐标； 是指从图像中提取的第一特征向量； f?是指特征向量与深度可信度之间的映射关系； C1,,是指像素点（i，j)的深度可信度。4. 根据权利要求2所述的方法，其特征在于，所述根据各个所述场景下的所述平均深 度图，生成各个所述场景下的深度可信度图的步骤包括： 根据各个所述场景下的所述平均深度图，计算得到各个所述场景下的方差深度图； 利用调整后的Sigmoid双弯曲函数，将各个所述场景下的所述方差深度图转换为各个 所述场景下的深度可信度图。5. 根据权利要求4所述的方法，其特征在于，所述根据各个所述场景下的所述平均深 度图，计算得到各个所述场景下的方差深度图的步骤根据以下公式进行：其中，m是每一组第一原始图像对中的第一原始深度图的序号；N是指一场景下采集 的第一原始图像对的总数量，Dli,是第一原始深度图的像素值；1??是指平均深度图的像素 值；V 1, i表示指像素点（i，j)对应的方差。6. 根据权利要求4所述的方法，其特征在于，所述利用调整后的Sigmoid双弯曲函数， 将各个所述场景下的所述方差深度图转换为各个所述场景下的深度可信度图的步骤根据 以下公式进行：其中，Ci,j指像素点（i，j)的可彳目度；V 是指像素点（i，j)的方差； e为自然常数，A是转换参数。7. 根据权利要求1所述的方法，其特征在于，所述获取各个所述场景下的至少两组第 一原始图像的步骤包括： 采集一场景下的第一原始图像对； 当所述第一原始图像对包含N帧第一原始深度图时，根据所述N帧第一原始深度图，计 算得到第一平均深度图；对所述N帧第一平均深度图中的所有像素的像素值累加后再取平 均值，得到第一像素值D ; 当所述第一原始图像对包含N+1帧第一原始深度图时，根据所述N+1帧第一原始深度 图，计算得到第二平均深度图；对所述N+1帧第二平均深度图中的所有像素的像素值累加 后再取平均值，得到第二像素值D' ； 判断所述第一像素值D与所述第二像素值D'之间的差值的绝对值是否小于阈值； 当所述第一像素值D与所述第二像素值D'之间的差值的绝对值小于阈值时，停止在所 述场景下采集第一原始图像对。8. 根据权利要求2所述的方法，其特征在于，所述第一特征向量包括以下一个或者多 个： 图像像素点X (i，j)的径向距离Xglst; 图像像素点X(i，j)的以下各特征的值以及各所述特征在图像中的最小值、最大值、均 值和中值； 所述特征为： 图像像素点X (i，j)的R红色分量、G绿色分量、B蓝色分量、D深度分量； 像素点（i，j)在平均深度图中的梯度信息； 像素点（i，j)在平均深度图中的边缘信息； 像素点（i，j)在平均彩色图中的边缘信息； 像素点（i，j)对平均彩色图进行Gabor嘉宝滤波后的信息； 像素点（i，j)对平均深度图进行Gabor嘉宝滤波后的信息； 像素点（i，j)在平均深度图中的纹理信息； 像素点（i，j)在平均彩色图中的纹理信息； 像素点（i，j)在平均深度图中到深度孔洞的距离。9. 根据权利要求1所述的方法，其特征在于，所述第二特征向量包括以下一个或者多 个： 图像像素点X(i，j)的径向距离)CfJ^; 图像像素点X(i，j)的以下各特征的值以及各所述特征在图像中的最小值、最大值、均 值和中值； 所述特征为： 图像像素点X (i，j)的R红色分量、G绿色分量、B蓝色分量、D深度分量； 像素点（i，j)在第二原始深度图中的梯度信息； 像素点（i，j)在第二原始深度图中的边缘信息； 像素点（i，j)在第二原始彩色图中的边缘信息； 像素点（i，j)对第二原始彩色图进行Gabor嘉宝滤波后的信息； 像素点（i，j)对第二原始深度图进行Gabor嘉宝滤波后的信息； 像素点（i，j)在第二原始深度图中的纹理信息； 像素点（i，j)在第二原始彩色图中的纹理信息； 像素点（i，j)在第二原始深度图中到深度孔洞的距离。
【专利摘要】本发明提供一种深度图中深度的可信度的评估方法。所述方法包括：获取不同场景下的至少两组第一原始图像对；根据所述第一原始图像对，生成预测器；获取输入的第二原始图像对，所述第二原始图像对包括一场景下对齐的第二原始彩色图和第二原始深度图；提取所述第二原始图像对的第二特征向量；根据所述预测器以及所述第二特征向量，预测所述第二原始深度图的深度的可信度。本发明能够预测基于低精度深度设备采集的场景深度信息的置信度。
【IPC分类】G06T7/00
【公开号】CN105139401
【申请号】CN201510548522
【发明人】宋希彬, 刘国立, 秦学英, 钟凡
【申请人】山东中金融仕文化科技股份有限公司
【公开日】2015年12月9日
【申请日】2015年8月31日