深度图像的深度值恢复方法和系统的制作方法
【技术领域】
[0001] 本发明涉及一种对深度图进行深度恢复的方法和系统。
【背景技术】
[0002] 目前，人机交互系统已引起了广泛关注。在人机交互系统中，手势控制系统非常流 行。一种有效的手势控制系统将提供自然便利的操作方式。
[0003] 众所周知，一种基于图像/视觉的手势识别系统，输入图像的质量将直接决定识 别结果的精度，尤其在识别一些特殊的手势时，如手语，指尖位置点等。因此，如何获得便于 识别图像中的特定对象的优质图像成为人机交互系统首要面对的问题。起初，在人机交互 系统中，为了比较精确地定位和分割处输入图像中的所要识别的特定对象，例如人手或其 他部位，要使得系统起作用，需要用户穿戴比较特殊的彩色手套，例如，使得所穿戴的手套 在每个手指具有不同的颜色。该方法比较容易且有效的定位每个手指。但是，该方法对环 境要求较高。在该系统中，手套的颜色必须与背景颜色具有差异性，因此操作范围将受到限 制。同时，在使用过程中，用户必须穿戴该手套，这提高的系统的运行成本并使得用户觉得 不方便。
[0004] 随着图像处理技术的发展，当前也有许多研究者采用彩色图像进行手的分割及识 另IJ，方法简单有效，得到了大家的认可。但该方法容易受到背景相似色和光照条件的影响。
[0005] 随着3D相机性能的提高，越来越多的3D相机使用于人机交互系统中。基于3D 相机所获得的深度图像，人们能较方便的根据深度阈值从深度图中分割出人体部分。授予 YuriA. Ivanov的美国专利US6911995B2提供了一种分割方式，其采用虚拟平面进行深度图 像的分割。首先，采用立体相机获取该场景的背景图象和当前图像。然后采用当前图像减去 背景图像获取当前图像中的前景图像，然后再根据所设置的深度阈值进行手指位置点的分 害IJ。该专利仅仅使用深度阈值进行手指区域的分割，因此当在对多角度图像进行像素点匹 配以便获得深度图的过程中，深度图像边缘容易受到噪声的影响，导致一些深度值丢失或 给出一些错误的深度值。由于初始深度图像中存在这些噪声，手指定位的精度将受到影响。 因此该专利也需要先进行图像去噪或图像平滑处理。为了减少深度图像上的噪声影响，目 前也有许多研究者在这方面提出了一些解决办法。
[0006] Michael Van den Bergh 作出的标题为 "depth seeds:recovering incomplete depth data using superpixels，' （WACV2013 !workshop on application of computer vision)的论文采用种子像素点的扩展方式来对丢失深度信息进行补充，以便获得更真实 的深度图。它包括基于像素块级的更新和基于像素点级的更新。在分块层，它采用颜色直 方图统计信息；在像素层，则同时使用了颜色信息和深度信息。该论文对于大块物体的处理 具有有效性，但对于细节信息的恢复还存在一些不足。
【发明内容】
[0007] 由于受到深度测量准则和物体表面属性的限制，所生成的初始深度图像总会包含 一些光学噪声和不匹配边界，或者形成一些空洞。这样对手势的检测和识别造成一定影响， 从而导致系统性能的下降，如手语识别系统，虚拟白板交互系统等。因此为了增强手势识 别系统的鲁棒性，首先需要对当前图像进行降噪或恢复处理。
[0008] 为了解决以上所提出的问题或问题之一，本发明提出了一种对初步深度图像进行 降噪或深度值恢复的处理方法。具体而言，本发明提出了一种恢复深度图像的深度值的方 法，包括：对同时获取的深度图和对应颜色图像进行图像预处理，并获取深度图像和颜色图 像中的包含前景图像的候选目标区域；基于深度图上无效深度区域与候选目标区域的面积 比例，确定是否对候选目标区域执行区域生长处理；以及在确定需要对候选目标区域执行 区域生长处理时，基于深度图和颜色图像的图像信息，对候选目标区域执行区域生长处理； 以及在对候选目标区域执行区域生长处理之后，对被生长过的候选目标区域，基于深度图 和颜色图像的图像信息，对候选区域执行深度数据的恢复处理。
[0009] 根据本发明的深度值恢复方法还包括：在确定不需要对候选目标区域执行区域生 长处理时，直接基于深度图和颜色图像的图像信息，对候选区域执行深度数据的恢复处理。
[0010] 根据本发明的深度值恢复方法，所述基于深度图和颜色图像的图像信息对候选目 标区域执行区域生长处理包括：在深度图像上，选择前景图像中具有有效深度值的种子点； 在所述种子点的预定邻域内选择所述候选目标区域中的候选生长点，并基于该候选生长点 的深度信息或颜色信息确定该候选生长点能否被生长，如果能被生长，则将该候选生长点 归入生长区域；以及针对所述候选目标区域中的所有候选生长点重复步前述步骤。
[0011] 根据本发明的深度值恢复方法，所述基于该候选生长点的深度信息或颜色信息确 定该候选生长点能否被生长包括：首先判断候选生长点的深度值是否有效；以及在候选生 长点的深度值有效的情况下，计算候选生长点的深度值与种子点的深度值之间的深度值 差，并在所述深度值差小于或等于预定阈值时，将所述候选生长点归入生长区域，否则不进 行处理；或者在候选生长点的深度值无效的情况下，计算计算候选生长点的颜色与种子点 的颜色之间的差值，并在所述颜色差值小于或等于预定颜色相似度阈值时，在深度图中将 所述种子点的深度值赋予所述候选生长点并将其归入生长区域，否则不进行处理。
[0012] 根据本发明的深度值恢复方法，所述基于深度图和颜色图像的图像信息对候选区 域执行深度数据的恢复处理包括：从所述候选区域中选择任意像素点，以所选像素点作为 中心像素点建立预定邻域；基于所述预定领域内每个像素点与中心像素点之间的关系，计 算每个像素点的深度值相对于中心像素点的深度值的加权系数；以及采用所计算的加权系 数，基于所述预定邻域内的每个像素点的深度值为基础，计算中心像素点的深度值，并将所 计算的深度值赋予所述中心像素点作为其新的深度值。
[0013] 根据本发明的深度值恢复方法，所述预定领域内每个像素点与中心像素点之间的 关系包括：空间关系、颜色关系、深度关系以及梯度关系。
[0014] 根据本发明的深度值恢复方法，所述每个像素点的深度值相对于中心像素点的深 度值的加权系数通过分别计算两者之间的空间加权系数、颜色加权系数、梯度加权系数和/ 或深度加权系数并对其进行乘积计算获得。
[0015] 根据本发明的深度值恢复方法，所述空间加权系数、颜色加权系数、梯度加权系 数、深度加权系数分别通过各自的高斯核函数计算。
[0016] 根据本发明的深度值恢复方法，所建立预定邻域的面积与所选像素点的深度值大 小成反比。
[0017] 根据本发明的另一个方面，还提供了一种深度值恢复系统，包括：图像预处理单 元，对同时获取的深度图和对应颜色图像进行图像预处理，并获取深度图像和颜色图像中 的包含前景图像的候选目标区域；区域生长确定单元，基于深度图上无效深度区域与候选 目标区域的面积比例，确定是否对候选目标区域执行区域生长处理；以及区域生长处理单 元，在确定需要对候选目标区域执行区域生长处理时，基于深度图和颜色图像的图像信息， 对候选目标区域执行区域生长处理；以及恢复处理单元，在对候选目标区域执行区域生长 处理之后，对被生长过的候选目标区域，基于深度图和颜色图像的图像信息，对候选区域执 行深度数据的恢复处理。
[0018] 本发明主要用于图像降噪，及恢复部分丢失的深度数据。
【附图说明】
[0019] 通过阅读结合附图考虑的以下本发明的优选实施例的详细描述，将更好地理解本 发明的以上和其他目标、特征、优点和技术及工业重要性。
[0020] 图1所示的是示意性说明采用根据本发明的深度值恢复方法的过程。
[0021] 图2所示是根据本发明实施例在初始深度图像中用于恢复深度值的方法的流程 图。
[0022] 图3所示的是根据本发明实施例对深度图像执行区域生长处理的流程图。
[0023] 图4A和4B所示为基于RGB-D信息在深度图上进行区域生长的一个实例。
[0024] 图5A-5C所示的是用于恢复手的细节的实例。