一种深度图中深度的可信度的评估方法
【技术领域】
[0001 ] 本发明涉及计算机视觉领域，特别是指深度图中深度的可信度的评估方法。
【背景技术】
[0002] 目前，在计算机视觉领域，获取准确的场景深度信息一直是重要研究内容之一。获 取深度信息主要有两种方法：基于立体几何理论的方法和基于深度传感器的方法。
[0003] 基于立体几何理论获取场景深度信息一直以来是人们比较关注的方法，此方法最 早被应用，相应的算法相对比较成熟。但是它时间复杂度较高，深度信息获取的效果很大程 度上依赖于场景纹理的丰富程度，因而很大限制了这种方法的应用范围。
[0004] 随着硬件技术的发展，基于硬件传感器的场景深度获取方法也得到了越来越多的 关注。这种方法从单一视角获取场景深度信息，不通过匹配相应的特征获取场景深度，时间 复杂度低，同时，深度获取不依赖于场景的纹理，故而有较好的鲁棒性。特别是近年来，随着 低价深度传感器的发售，更是将场景深度获取与价格做到了很好的统一，极大的推动了此 方法的应用。但是，由于低价深度传感器设备自身的性质，它比较容易受到噪声的影响，进 而导致场景深度信息捕获不全以及精度不高。
[0005] 为了对精度不高的场景深度置信度进行预测，进而可以对其他应用提供指导信 息，很多方法已经产生。针对ToF飞行时间技术相机，May和Swadzba等人根据ToF相机深 度传感器设备获取的振幅值计算场景深度的置信度。但是，单纯依靠振幅值为依据是不充 分的，这种方法鲁棒性较差，场景深度信息的置信度容易被标记错误。
[0006] Reynolds等人提出了一种方法预测ToF相机的置信度。他们使用高精度的深度传 感器设备，例如激光三维扫描仪，采集的场景深度信息作为标准值，通过计算得到低端深度 传感器获取的场景深度信息与标准值的差值，并将其转化为置信度，同时提取低端深度传 感器设备采集的图像的特征，使用训练的方法得到的预测器，进而预测低端传感器获取的 场景深度信息的置信度。这种方法需要高精度设备的支持，从而在一定程度上限制其应用； 同时他们提出的特征并不适用于其他的深度传感器，例如Kinect (微软对体感周边外设正 式发布的名字）设备。
【发明内容】
[0007] 本发明要解决的技术问题是，提供一种深度图中深度的可信度的评估方法，能够 预测基于低精度深度设备采集的场景深度信息的置信度。
[0008] 所述深度图中深度的可信度的评估方法包括：
[0009] 获取不同场景下的至少两组第一原始图像对，所述第一原始图像对包括对齐的第 一原始彩色图和第一原始深度图；
[0010] 根据所述第一原始图像对，生成预测器；所述预测器表示从图像中提取的特征向 量与深度可信度之间的映射关系；
[0011] 获取输入的第二原始图像对，所述第二原始图像对包括一场景下对齐的第二原始 彩色图和第二原始深度图；
[0012] 提取所述第二原始图像对的第二特征向量；
[0013] 根据所述预测器以及所述第二特征向量，预测所述第二原始深度图的深度的可信 度。
[0014] 所述根据所述第一原始图像对，生成预测器的步骤包括：
[0015] 根据各个场景下的所述至少两组第一原始图像对，计算得到各个所述场景对应的 平均彩色图和平均深度图；
[0016] 根据各个所述场景的所述平均深度图，生成各个所述场景下的深度可信度图；
[0017] 根据各个所述场景下的所述平均彩色图和所述平均深度图，提取出像素与深度可 信度相关联的特征，组成第一特征向量
[0018] 根据所述第一特征向量以及各个所述场景下的所述深度可信度图，利用随机 森林法，通过训练而生成预测器。
[0019] 所述预测器为：
[0020]
[0021] 其中，（i，j)表示所述平均彩色图和所述平均深度图中像素点的坐标；
[0022] 1?是指从图像中提取的特征向量；
[0023] f是指特征向量与深度可信度之间的映射关系；
[0024] Cw是指像素点（i，j)的深度可信度。
[0025] 所述根据各个所述场景下的所述平均深度图，生成各个所述场景下的深度可信度 图的步骤包括：
[0026] 根据各个所述场景下的所述平均深度图，计算得到各个所述场景下的方差深度 图；
[0027] 利用调整后的Sigmoid双弯曲函数，将各个所述场景下的所述方差深度图转换为 各个所述场景下的深度可信度图。
[0028] 所述根据各个所述场景下的所述平均深度图，计算得到各个所述场景下的方差深 度图的步骤根据以下公式进行：
[0029]
[0030] 其中，m是每一组第一原始图像对中的第一原始深度图的序号；N是指一场景下采 集的第一原始图像对的总数量，D u是第一原始深度图的像素值；是指平均深度图的像 素值；V1, i表示指像素点（i，j)对应的方差。
[0031] 所述利用调整后的Sigmoid双弯曲函数，将各个所述场景下的所述方差深度图转 换为各个所述场景下的深度可信度图的步骤根据以下公式进行：
[0032]
[0033] 其中，C1, j指像素点（i，j)的可信度；v w是指像素点（i，j)的方差；
[0034] e为自然常数，λ是转换参数。
[0035] 所述获取各个所述场景下的至少两组第一原始图像的步骤包括：
[0036] 采集一场景下的第一原始图像对；
[0037]当所述第一原始图像对包含N帧第一原始深度图时，根据所述N帧第一原始深度 图，计算得到第一平均深度图；对所述N帧第一平均深度图中的所有像素的像素值累加后 再取平均值，得到第一像素值D ;
[0038] 当所述第一原始图像对包含Ν+1帧第一原始深度图时，根据所述Ν+1帧第一原始 深度图，计算得到第二平均深度图；对所述Ν+1帧第二平均深度图中的所有像素的像素值 累加后再取平均值，得到第二像素值D' ；
[0039] 判断所述第一像素值D与所述第二像素值D'之间的差值的绝对值是否小5于阈 值；
[0040] 当所述第一像素值D与所述第二像素值D'之间的差值的绝对值小于阈值时，停止 在所述场景下采集第一原始图像对。
[0041] 所述第一特征向量包括以下一个或者多个：
[0042] 图像像素点X(i，j)的径向距离
[0043]图像像素点X(i，j)的以下各特征的值以及各所述特征在图像中的最小值、最大 值、均值和中值；
[0044] 所述特征为：
[0045] 图像像素点X (i，j)的R红色分量、G绿色分量、B蓝色分量、D深度分量；
[0046] 像素点（i，j)在平均深度图中的梯度信息；
[0047] 像素点（i，j)在平均深度图中的边缘信息；
[0048] 像素点（i，j)在平均彩色图中的边缘信息；
[0049] 像素点（i，j)对平均彩色图进行Gabor嘉宝滤波后的信息；
[0050] 像素点（i，j)对平均深度图进行Gabor嘉宝滤波后的信息；
[0051] 像素点（i，j)在平均深度图中的纹理信息；
[0052] 像素点（i，j)在平均彩色图中的纹理信息；
[0053] 像素点（i，j)在平均深度图中到深度孔洞的距离。
[0054] 所述第二特征向量包括以下一个或者多个：
[0055] 图像像素点X(i，j)的径向距离辦
[0056] 图像像素点X(i，j)的以下各特征的值以及各所述特征在图像中的最小值、最大 值、均值和中值；
[0057] 所述特征为：
[0058] 图像像素点X (i，j)的R红色分量、G绿色分量、B蓝色分量、D深度分量；
[0059] 像素点（i，j)在第二原始深度图中的梯度信息；
[0060] 像素点（i，j)在第二原始深度图中的边缘信息；
[0061] 像素点（i，j)在第二原始彩色图中的边缘信息；
[0062] 像素点（i，j)对第二原始彩色图进行Gabor嘉宝滤波后的信息；
[0063] 像素点（i，j)对第二原始深度图进行Gabor嘉宝滤波后的信息；
[0064] 像素点（i，j)在第二原始深度图中的纹理信息；
[0065] 像素点（i，j)在第二原始彩色图中的纹理信息；
[0066]