来计算像素点所对应的新深度值。权重 系数包括空间加权值、颜色加权值、深度加权值以及梯度加权值。例如，当前像素点i需要 进行处理，像素点P和像素点q属于像素点i的邻域区域。那么在计算像素点i的新深度 值的过程中，首先我们需要分别计算像素点i和像素点P、像素点q之间的空间加权值，颜色 加权值，深度加权值及梯度加权值。因此即使像素 P和像素点q具有相同的空间加权值和 深度加权值，但如果他们的颜色加权值或梯度加权值不同，那么像素点P和像素点q对于像 素点i新深度值的生成具有不同的作用。因此，该发明能有效降低深度噪声且恢复物体的 细节信息，以改进图像质量。
[0065] 最后，经由图像输出单元106输出经过深度值恢复的深度图像。
[0066] 图6所示是根据本发明实施例在初始深度图像中用于恢复深度值的系统的示意 图。如图6所示，深度值恢复单元10包括：图像输入单元101、图像预先处理单元102、区域 生长判断单元103、生长处理单元104、恢复处理单元105以及图像输出单元106。其中生长 处理单元104包括：种子点选择单元1041、深度值判断单元1042、深度差比较单元1043、颜 色差比较单元1044以及区域生长单元1045。各个执行如上所述的处理，在此不一一赘述。
[0067] 如上本发明所详细描述的，本发明利用RGBD图像信息，采用区域生长对当前部分 丢失的深度数据进行填充。其中区域生长条件基于颜色信息或者深度信息进行判断。基于 深度信息进行区域生长条件判断，可以有效阻止相似颜色物体的影响。而基于颜色信息进 行区域生长条件判断，则可以对丢失的部分深度数据进行初步填充。
[0068] 第二，本发明基于像素层的加权计算，有效降低了深度噪声并恢复了深度图像的 细节信息，如边界信息，轮廓信息等。加权值包括空间加权，颜色加权，深度加权和梯度加 权。
[0069] 以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的 普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在 任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者 它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们 的基本编程技能就能实现的。
[0070] 因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来 实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包 含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构 成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以 是任何公知的存储介质或者将来所开发出来的任何存储介质。
[0071] 还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和 /或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列 处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序 执行。某些步骤可以并行或彼此独立地执行。
[0072] 上述【具体实施方式】，并不构成对本发明保护范围的限制。本领域技术人员应该明 白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何 在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围 之内。
【主权项】
1. 一种深度值恢复方法，包括： 对同时获取的深度图和对应颜色图像进行图像预处理，并获取深度图像和颜色图像中 的包含前景图像的候选目标区域； 基于深度图上无效深度区域与候选目标区域的面积比例，确定是否对候选目标区域执 行区域生长处理；以及 在确定需要对候选目标区域执行区域生长处理时，基于深度图和颜色图像的图像信 息，对深度图像上的候选目标区域执行区域生长处理；以及 在对候选目标区域执行区域生长处理之后，对被生长过的候选目标区域，基于深度图 和颜色图像的图像信息，对候选区域执行深度数据的恢复处理。2. 根据权利要求1所述的深度值恢复方法，还包括：在确定不需要对候选目标区域执 行区域生长处理时，直接基于深度图和颜色图像的图像信息，对候选区域执行深度数据的 恢复处理。3. 根据权利要求1或2所述的深度值恢复方法，所述基于深度图和颜色图像的图像信 息对候选目标区域执行区域生长处理包括： 在深度图像上，选择前景图像中具有有效深度值的种子点； 在所述种子点的预定邻域内选择所述候选目标区域中的候选生长点，并基于该候选生 长点的深度信息或颜色信息确定该候选生长点能否被生长，如果能被生长，则将该候选生 长点归入生长区域；以及 针对所述候选目标区域中的所有候选生长点重复步前述步骤。4. 根据权利要求3所述的深度值恢复方法，所述基于该候选生长点的深度信息或颜色 信息确定该候选生长点能否被生长包括： 首先判断候选生长点的深度值是否有效； 在候选生长点的深度值有效的情况下，计算候选生长点的深度值与种子点的深度值之 间的深度值差，并在所述深度值差小于或等于预定阈值时，将所述候选生长点归入生长区 域，否则不进行处理；或者在候选生长点的深度值无效的情况下，计算计算候选生长点的颜 色与种子点的颜色之间的差值，并在所述颜色差值小于或等于预定颜色相似度阈值时，在 深度图中将所述种子点的深度值赋予所述候选生长点并将其归入生长区域，否则不进行处 理。5. 根据权利要求1或2所述的深度值恢复方法，所述基于深度图和颜色图像的图像信 息对深度图像上的候选区域执行深度数据的恢复处理包括： 从所述候选区域中选择任意像素点，以所选像素点作为中心像素点建立预定邻域； 基于所述预定领域内每个像素点与中心像素点之间的关系，计算每个像素点的深度值 相对于中心像素点的深度值的加权系数；以及 采用所计算的加权系数，基于所述预定邻域内的每个像素点的深度值为基础，计算中 心像素点的深度值，并将所计算的深度值赋予所述中心像素点作为其新的深度值。6. 根据权利要求5所述的深度值恢复方法，所述预定领域内每个像素点与中心像素点 之间的关系包括：空间关系、颜色关系、深度关系以及梯度关系。7. 根据权利要求6所述的深度值恢复方法，其中所述每个像素点的深度值相对于中心 像素点的深度值的加权系数通过分别计算两者之间的空间加权系数、颜色加权系数、梯度 加权系数和/或深度加权系数并对其进行乘积计算获得。8. 根据权利要求7所述的深度值恢复方法，其中所述空间加权系数、颜色加权系数、梯 度加权系数、深度加权系数分别通过各自的权重核函数计算9. 根据权利要求1所述的深度值恢复方法，其中所建立预定邻域的面积与所选像素点 的深度值大小成反比。10. -种深度值恢复系统，包括： 图像预处理单元，对同时获取的深度图和对应颜色图像进行图像预处理，并获取深度 图像和颜色图像中的包含前景图像的候选目标区域； 区域生长确定单元，基于深度图上无效深度区域与候选目标区域的面积比例，确定是 否对候选目标区域执行区域生长处理；以及 区域生长处理单元，在确定需要对候选目标区域执行区域生长处理时，基于深度图和 颜色图像的图像信息，对候选目标区域执行区域生长处理；以及 恢复处理单元，在对候选目标区域执行区域生长处理之后，对被生长过的候选目标区 域，基于深度图和颜色图像的图像信息，对候选区域执行深度数据的恢复处理。
【专利摘要】本发明提供了一种深度值恢复方法，包括：对同时获取的深度图和对应颜色图像进行图像预处理，并获取深度图像和颜色图像中的包含前景图像的候选目标区域；基于深度图上无效深度区域与候选目标区域的面积比例，确定是否对候选目标区域执行区域生长处理；以及在确定需要对候选目标区域执行区域生长处理时，基于深度图和颜色图像的图像信息，对候选目标区域执行区域生长处理；以及在对候选目标区域执行区域生长处理之后，对被生长过的候选目标区域，基于深度图和颜色图像的图像信息，对候选区域执行深度数据的恢复处理。
【IPC分类】G06T5/00
【公开号】CN105096259
【申请号】CN201410195236
【发明人】梁玲燕, 刘丽艳, 赵颖
【申请人】株式会社理光
【公开日】2015年11月25日
【申请日】2014年5月9日
【公告号】US20150326845