r>[0025] 图6所示是根据本发明实施例在初始深度图像中用于恢复深度值的系统的示意 图。
【具体实施方式】
[0026] 为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发 明作进一步详细说明。
[0027] 图1所示的是示意性说明采用根据本发明的深度值恢复方法的过程。如图1所示， 通过结合初始深度图的深度信息和彩色图像的颜色信息，采用本发明的深度值恢复方法对 初始深度图像进行处理，从而获得图1中右侧的经过恢复处理的深度图。从图1左侧的初 始深度图像可以看到，由于边缘噪声的影响，五个手指的深度图被连接到一起。通过本发明 的处理后，一些不完整的深度数据被填充，且五个手指都被清晰的分开，如图1右侧所示， 同时手指的深度值得到了保持。图1的左侧所示的是下面所描述的深度图像和彩色图像的 候选区域。
[0028] 图2所示是根据本发明实施例在初始深度图像中用于恢复深度值的方法的流程 图。如图2所示，首先，在步骤Sll处，由本发明的深度值恢复系统10 (将在下面参照图6 详细描述）的图像输入单元101 (将在下面详细描述）输入由深度相机所拍摄的深度图像 (此处称之为D图像）和彩色图像（此处称之为RGB图像）。所输入的图像此后被一起称 之为RGBD图像。所输入的RGBD图像也可以是其他图像采集设备所同时采集到深度图像和 彩色图像。
[0029] 随后，在步骤S12处，通过图像预处理单元102(将在下面详细描述）对所输入的 RGBD图像执行图像预处理以降低部分图像噪声。当前，有许多常用的图像降噪方法，如中 值滤波，均值滤波等。考虑到所输入的RGBD图像中的彩色图像和深度图像的不同特性，在 本发明中，深度图像上我们采用中值滤波进行部分深度噪声的滤除，特别是随机噪声点。而 在彩色图像上，则使用直方图均衡化方法以降低光照条件的影响。中值滤波法是一种非线 性平滑技术，它将每个像素点的灰度值设置为该点某领域窗口内的所有像素点灰度值的中 值。直方图均衡化是一种常用的消除光照条件变化所带来影响的方法，直方图均衡化的基 本思想是把原始图的直方图变换为均匀分布的形式，这样就增加了像素灰度值得动态范围 从而可达到增强图像整体对比度的效果，以消除局部光照条件的影响。不过，需要指出的 是，所输入的RGBD图像也可以不经过上述预处理，而直接被用于后续处理。
[0030] 针对经过预处理之后的RGBD图像，在步骤S13处，区域生长判断单元103 (将在下 面详细描述）判断候选区域是否需要进行区域生长。由于在深度图的形成过程中，要进行 像素点的深度值进行匹配以便赋予像素点一个深度值。尽管大多数像素点都能够被正确匹 配，但是依然存在可能不能被正确匹配而不能赋予深度值的像素。这些未能赋予深度值的 像素就形成了深度图像上的"黑洞"，即深度图像中的深度数据丢失的部分。而本发明所进 行的区域生长处理的主要目的是，根据邻域像素点，对深度图像上的"黑洞"进行填充。通 常，深度图像中"黑洞"的出现具有随机性。因此在进行本发明所述的区域生长之前，首先 要判断候选区域是否需要进行区域生长，即在步骤S13处所进行的处理。在本发明中，统计 候选区域内所有无效深度值的像素点的个数，并计算所有无效深度值的像素点的总面积。 判断候选区域是否需要进行区域生长通过判断无效深度区域（即黑洞）所占被识别侯选目 标区域的面积的比例是否大于一定阈值来进行，阈值的设置可根据实际恢复对象而定。例 如，当被识别侯选目标为手时，将该阈值设置为1/5。即，当无效深度区域所占被识别侯选目 标区域的面积的比例大于1/5时，则确定整个侯选区域需要进行区域生长处理，否则，可以 直接进行手的细节恢复处理。
[0031] 具体而言，如果在步骤S13处判断整个侯选区域需要进行区域生长处理，则处理 前进到步骤S14。在步骤S14处，生长处理单元104 (将在下面详细描述）在深度图像上执 行区域生长处理。
[0032] 图3所示的是根据本发明实施例对深度图像执行区域生长处理的流程图。区域生 长方法是一种通用的技术。对区域生长条件进行判断，即如何对区域内的任意像素点执行 区域生长。判断如何进行区域生长是区域生长过程中非常重要的一部分，它决定了一个像 素点是否能被添加到该生长区域。是否对要进行区域生长处理的区域内的某一像素点进行 区域生长，通常有两种评判方式，"最小面积阈值"和"相似度阈值"。"最小面积阈值"是指 当候选生长区域的面积小于所设置的面积阈值时，该候选生长区域将不被生长。而"相似度 阈值"则是指两点之间的像素差或者平均像素值差大于所设置的相似度阈值时，该像素点 将不被添加到生长区域。相似度的判断对于区域生长也非常重要，该条件的设置通常由初 始图像和想要分割的目标结果决定。因此，通常来说，要进行区域生长，首先要选择种子点， 然后，基于种子点进行区域生长计算。但是在不同的具体使用场景，使用方法具有很大的差 另IJ。本发明的区域生长正是由于针对RGBD图像而采用了具有显著区别的区域生长方法。
[0033] 在区域生长处理中，合理选择种子点非常重要。种子点的选择依赖于用户或者具 体应用环境。例如在一张闪电的图像上，如果想将闪电从该图中分割出来，可以采用直方图 统计的方法进行种子点的选择。如图3所示，在步骤S141处，种子点选择单元1041 (将在 下面详细描述）从经过预处理的深度图像中选择种子点并获取该点所对应的深度值。本发 明的目的是用于图像降噪，因此在本发明中，采用候选分割对象，例如手的中心点作为第一 个种子点，且该点具有有效深度值。种子点的选择处理仅仅会针对前景区域进行，这样会极 大减少计算量。当然，所谓中心点并不一定是手的几何中心或质量中心，可以是几何中心或 质量中心一定半径范围内的任何点，或者是属于手部的任何具有有效深度值的任何点。
[0034] 在选择了种子点之后，在步骤S142处，深度值判断单元1042(将在下面详细描述） 判断在该种子点的预定个数的像素领域内（例如4、8或16等像素邻域内）的任意当前像 素点的深度值是否有效。图像深度值的有效范围由相机的性能决定。例如，该相机能采集 到的深度范围为[T1，T2]，如果该像素的深度值在[T1，T2]范围内，则该深度值为有效值， 否则该深度值无效。例如，如果相机的有效深度值范围为[1，5000]，如果某像素点所对应的 深度值大于5000或等于0,那么该像素点的深度值无效，反之，该深度值为有效值。
[0035] 如果在步骤S142处判断当前像素点的深度值为有效深度值，则处理前进到步骤 S143,深度差比较单元1043(将在下面详细描述）基于种子点和当前像素点的深度值进行 区域生长条件的判断。否则，处理前进到步骤S144,颜色差比较单元1044 (将在下面详细描 述）基于颜色信息判断该像素点是否需要做区域生长。具体而言，在步骤S143处，深度差 比较单元1043基于深度差的条件来判断当前像素点是否进行生长。本发明使用深度相似 阈值D作为在当前像素点的深度值为有效深度值的情况下是否被生长的判断条件。即计算 当前像素点（即候选生长点）的深度值与种子点的深度值差，并判断该深度值差是否小于 深度相似阈值D。如果该深度值差小于或等于深度相似阈值D，则所述侯选生长点将被生长 到当前生长区域，则处理前进到步骤S145,区域生长单元1045 (将在下面详细描述）执行 当前像素点的区域生长。反之，如果该深度值差大于深度相似阈值D，则该当前像素点将不 符合生长条件，不被生长，即该点可能不属于前景区域，可弃之不管。深度相似阈值D基于 相机的精度级别来确定。如果相机精度级别为毫米级，则该深度相似阈值D的单位为毫米。 深度相似阈值D的设置可根据所生长对象的物理特性决定，例如在对人体手部区域进行区 域生长时，深度相似阈值D通常设定在10-50毫米之间，最终阈值可根据具体实验进行调节 得到。例如，深度相似阈值D可以设置为10、15、20、50等。
[0036] 同时，在步骤S144处，颜色差比较单元1044基于颜色差的条件来判断当前像素点 是否进行生长。本发明使用颜色相似度阈值C作为在当前像素点的深度值为无效深度值的 情况下是否被生长的判断条件。即计算当前像素点（即候选生长点）的颜色值与种子点的 颜色值的差，并判断该颜色差值是否小于颜色相似度阈值C。如果该颜色差值小于或等于颜 色相似度阈值C，则所述侯选生长点将被生长到当前