图像处理设备、图像处理方法以及图像处理装置与流程

本发明涉及图像处理领域，尤其涉及一种用于对深度图像进行修正的图像处理设备、图像处理方法以及图像处理装置。

背景技术：

如今非常流行利用一些消费级的深度摄像机对三维场景进行深度图像获取，这促进了很多计算机应用的发展，如三维建模、增强现实、场景理解等。尽管这项技术很有发展前景，但是由于这些深度摄像机采集到的深度数据质量不高(例如深度图像中存在损坏的边缘、噪声以及空洞)，使得阻碍了深度摄像机的广泛应用。

为了提高深度摄像机获取的深度信息的质量，传统的方法一般利用相对应的原始图像进行深度图像的修正。这些方法大多采用基于原始图像的各种滤波器来平滑深度图像和填补空洞，如双边滤波器、均值滤波器等。但是这些方法存在以下问题：深度图像中损坏的边缘没有较好地得到修正。此外，还存在深度图像中尤其处于物体边缘的区域往往被过度平滑的问题。

技术实现要素：

在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。

鉴于现有技术的上述缺陷，本发明的目的是提供一种图像处理设备、图像处理方法以及电子装置，以至少克服现有的问题。

根据本公开的一个方面，提供一种用于对深度图像进行修正的图像处理设备，包括：边缘检测单元，被配置成检测所述深度图像及其相对应的 原始图像中的图像边缘，以获取深度图像边缘和原始图像边缘；像素点匹配单元，被配置成通过将所述深度图像边缘上的深度图像像素点与所述原始图像边缘上的原始图像像素点进行匹配，获取表示各个深度图像像素点与相匹配的原始图像像素点之间位置差的向量作为该深度图像像素点的偏移向量；以及偏移单元，被配置成使用所述偏移向量对所述深度图像中的各个像素点进行偏移，以实现对所述深度图像的修正。

根据本公开的另一方面，提供一种用于对深度图像进行修正的图像处理方法，包括：检测所述深度图像及其相对应的原始图像中的图像边缘，以获取深度图像边缘和原始图像边缘；通过将所述深度图像边缘上的深度图像像素点与所述原始图像边缘上的原始图像像素点进行匹配，获取表示各个深度图像像素点与相匹配的原始图像像素点之间位置差的向量作为该深度图像像素点的偏移向量；以及使用所述偏移向量对所述深度图像中的各个像素点进行偏移，以实现对所述深度图像的修正。

根据本公开的又一方面，提供一种用于对深度图像进行修正的图像处理装置，包括：控制器，被配置成执行以下处理：检测所述深度图像及其相对应的原始图像中的图像边缘，以获取深度图像边缘和原始图像边缘；通过将所述深度图像边缘上的深度图像像素点与所述原始图像边缘上的原始图像像素点进行匹配，获取表示各个深度图像像素点与相匹配的原始图像像素点之间位置差的向量作为该深度图像像素点的偏移向量；以及使用所述偏移向量对所述深度图像中的各个像素点进行偏移，以实现对所述深度图像的修正。

根据本公开的另一个方面，还提供了一种电子设备，该电子设备包括如上所述的图像处理设备。

依据本公开的其它方面，还提供了一种使得计算机用作如上所述的图像处理设备的程序。

依据本公开的又一方面，还提供了相应的计算机可读存储介质，该计算机可读存储介质上存储有能够由计算设备执行的计算机程序，该计算机程序在执行时能够使计算设备执行上述图像处理方法。

上述根据本公开实施例的图像处理设备和方法以及电子设备，至少能够获得以下益处：能够在更准确地修正深度图像中的深度图像边缘；此外还能够获得在深度图像的边缘不被过度平滑的情况下获得更高质量的深度图像的益处。

通过以下结合附图对本公开的最佳实施例的详细说明，本公开的这些以及其他优点将更加明显。

附图说明

本公开可以通过参考下文中结合附图所给出的描述而得到更好的理解，其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分，而且用来进一步举例说明本公开的优选实施例和解释本公开的原理和优点。其中：

图1是示意性地示出根据本公开实施例的图像处理设备的一种示例结构的框图。

图2是示意性地示出图1中的像素点匹配单元的一种示例结构的框图。

图3是示意性地示出图2中的第一匹配子单元的一种示例结构的框图。

图4是示意性地示出图1中的像素点匹配单元的另一种示例结构的框图。

图5是用于示例性地说明校正子单元的处理的示意图。

图6是示出根据示意性地示出图1中的像素点匹配单元的又一种示例结构的框图。

图7是用于示例性地说明第二匹配子单元的处理的示意图。

图8是示意性地示出根据本公开实施例的图像处理设备的另一种示例结构的框图。

图9是示意性示出根据本公开实施例的图像处理方法的流程图。

图10是示出了可用来实现根据本公开实施例的图像处理设备和图像处理方法的一种可能的硬件配置的结构简图。

具体实施方式

在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了 解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。

在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的装置结构和/或处理步骤，而省略了与本发明关系不大的其他细节。

当前的深度图像修正技术中，通常忽略对深度图像中的边缘的修正。事实上，边缘的修正对于提高深度图像的质量是非常重要的。为此，本公开提供一种通过修正深度图像中损坏的边缘来提高深度图像的质量的技术方案。

发明人观察到这样一个事实：深度图像中的边缘在原始图像中通常都有相对应的边缘，而原始图像中的这些边缘往往没有被损坏。基于此，可以利用原始图像中的边缘对深度图像中的边缘进行修正。

图1是示意性地示出根据本公开实施例的图像处理设备的一种示例结构的框图。

根据本公开的图像处理设备1可以对深度图像进行修正。

如图1所示，图像处理设备1包括：边缘检测单元10，被配置成检测深度图像及其相对应的原始图像中的图像边缘，以获取深度图像边缘和原始图像边缘；像素点匹配单元20，被配置成通过将边缘检测单元10获取的深度图像边缘上的深度图像像素点与所述原始图像边缘上的原始图像像素点进行匹配，获取表示各个深度图像像素点与相匹配的原始图像像素点之间位置差的向量作为该深度图像像素点的偏移向量；以及偏移单元30，被配置成使用像素点匹配单元20所获取的偏移向量对深度图像中的各个像素点进行偏移，以实现对深度图像的修正。

根据本公开，深度图像可以使用现有技术中的深度图像相机来获取。原始图像对应的原始图像是指针对同样的对象，使用常规相机(如数码相机)获取的例如彩色图像(rgb图像)或者灰度图像。

根据本公开的实施例，边缘检测单元10例如可以采用公知的边缘检测方法如sobel、canny来对原始图像和深度图像中的图像边缘进行检测，从而从原始图像获得原始图像边缘，从深度图像获得深度图像边缘。

通常，通过现有的边缘检测方法检测到的原始图像边缘不仅出现在物体(即，被拍摄对象)边缘而且还会出现在物体内部，而深度图像边缘通常只出现在物体边缘。这种差别会造成边缘匹配的误差。因此，为了更好地实现原始图像边缘和深度图像边缘之间的匹配，优选地，可以从边缘检测单元10检测到的原始图像边缘中去除出现在原始图像中物体内部的边缘。例如，可以针对原始图像边缘上的每个点，计算由该点到距离它最近的深度图像边缘上的点之间的距离，若两点之间的距离大于某个阈值，则去除该点。由此，可以得到更准确的原始图像边缘。

在获取了深度图像边缘和原始图像边缘之后，像素点匹配单元20通过将深度图像边缘上的深度图像像素点与所述原始图像边缘上的原始图像像素点进行匹配，获取匹配像素点对，从而获取表示各个深度图像像素点与相匹配的原始图像像素点之间位置差的向量作为该深度图像像素点的偏移向量。

图2是示意性地示出图1中的像素点匹配单元20的一种示例结构的框图。

如图2所示，像素点匹配单元20包括：边缘分割子单元201，被配置成将所述深度图像边缘分割成多个深度图像子边缘；第一匹配子单元202，被配置成针对每个深度图像子边缘上的各个深度图像像素点，获取原始图像边缘上与该深度图像像素点距离最近的像素点作为该深度图像像素点的匹配像素点，以形成多个匹配像素点对；以及偏移向量获取子单元203，被配置成基于各个匹配像素点对，获取各个深度图像像素点的偏移向量。

根据本公开的实施例，边缘分割子单元201将检测到的每个深度图像边缘分割成一系列的深度图像子边缘，以确保每个深度图像子边缘上的所有像素点属于物体的同一部分。例如，边缘分割子单元可以沿深度图像边缘每5个像素点一组作为一个深度图像子边缘来分割深度图像边缘。当然，以每5个像素点一组划分深度图像边缘仅仅是示例，本领域技术人员可以根据实际需要以任意数量个像素点为一组来划分深度图像边缘。

针对每个深度图像子边缘上的每个深度图像像素点，第一匹配子单元202计算该深度图像像素点与原始图像边缘上的各个原始图像像素点之间的距离，将与该深度图像像素点之间距离最近的原始图像像素点作为与其匹配的匹配像素点。

根据本公开，为了更好地实现深度图像像素点与原始图像像素点之间的匹配，在此引入两个约束条件：

(1)同一深度图像子边缘上的深度图像像素点与其对应的匹配像素点之间形成的偏移向量的偏移方向是平行的；

(2)偏移向量的偏移长度不超过预定阈值。

图3是示意性地示出图2中的第一匹配子单元202的一种示例结构的框图。

根据本公开的优选实施例，如图3所示，第一匹配子单元202包括：获取模块2021，被配置成针对每个深度图像子边缘上的各个深度图像像素点，获取原始图像边缘上与该深度图像像素点距离最近的像素点作为该深度图像像素点的匹配像素点；以及去除模块2022，被配置成根据各个深度图像像素点与其匹配像素点之间的距离，去除所述距离大于预定阈值的深度图像素点及其匹配像素点，以使得形成的每个匹配像素点对中两像素点之间的距离小于等于所述预定阈值。

根据各个深度图像像素点与其匹配的原始图像像素点之间形成的偏移向量的长度，去除模块2022去除长度大于预定阈值的匹配像素点对，从而经去除模块2022处理之后的匹配像素点对之间满足上述约束条件(2)，以尽可能地避免深度图像像素点与原始图像像素点之间的误匹配。

图4是示意性地示出图1中的像素点匹配单元20的另一种示例结构的框图。

如图4所示，除了与图2的像素点匹配单元20类似地包括边缘分割子单元201、第一匹配子单元202、偏移向量获取子单元203之外，像素点匹配单元20’还包括：校正子单元204，被配置成对深度图像像素点的匹配像素点进行校正，以使得同一深度子边缘上的各个深度图像像素点与其匹配像素点之间形成的偏移向量的偏移方向相同或相反。

根据本公开，校正子单元204基于上述约束条件(1)执行校正，使得同一深度子边缘上的各个深度图像像素点与其匹配像素点之间形成的偏移向量的偏移方向平行(包括相同或相反)，以避免诸如多个深度图像像素点与同一个原始图像像素点匹配的情况。

图5是用于示例性地说明校正子单元204的处理的示意图。

如图5的左侧部分所示，首先对于深度图像子边缘上的每个深度图像 像素点，第一匹配子单元202获取到其最近的原始图像边缘上原始图像像素点作为其匹配像素点，例如针对深度图像像素点p1、p2、p3、p4，分别获得匹配像素点q2、q2、q3、q4。由此可见，深度图像像素点p1、p2均对应于匹配像素点q2，即在为深度图像像素点寻找匹配像素点时，可能出现两个或更多个深度图像像素点匹配于同一个原始图像像素点的情况。在此情况下，校正子单元204例如可以统计该深度边缘上的各个匹配像素点对形成的偏移向量的偏移方向中最多的偏移方向d，如图5的左侧部分所示，4个匹配像素点对中最多的偏移方向为左下方向(有3个)；另一个匹配像素点对即p1与q2之间形成的偏移方向与该最多的偏移方向不一致。因此，校正子单元204可以根据该偏移方向d将p1的偏移方向修正为与d平行(即相同或相反)，并沿着该偏移方向d找到原始图像边缘上最近的原始图像像素点q1作为p1点最终的匹配点，如图5的右侧部分所示。由此实现匹配点的校正。

基于此，经校正子单元204处理之后的匹配像素点对之间满足上述约束条件(1)，从而可以确保深度图像像素点与原始图像像素点之间的一一匹配。

通过如上参照图2至图5描述的第一匹配子单元202和校正子单元204的处理，可以实现从深度图像边缘到原始图像边缘的匹配。

优选地，在完成了从深度图像边缘到原始图像边缘的匹配之后，还可以进行从原始图像边缘到深度图像边缘的匹配，以提高匹配处理的可靠性。

下面结合图6描述根从原始图像边缘到深度图像边缘的匹配处理。

图6是示出根据示意性地示出图1中的像素点匹配单元20的又一种示例结构的框图。

如图6所示，除了与图2的像素点匹配单元20类似地包括边缘分割子单元201、第一匹配子单元202、偏移向量获取子单元203之外，像素点匹配单元20”还包括：第二匹配子单元205，被配置成获取原始图像边缘上、未与所述深度图像像素点匹配的原始图像像素点作为未匹配像素点，并针对每个未匹配像素点，基于该未匹配像素点相邻的匹配像素点及其相对应的深度图像像素点形成的偏移向量，来获取与该未匹配像素点匹配的深度图像像素点。

具体地，针对原始图像边缘上的未匹配像素点，首先在该未匹配像素 点所处的原始图像边缘上找到距离该点最近的匹配像素点，将该匹配像素点与其所匹配的深度图像像素点(即与其一起形成匹配像素点对的深度图像像素点)的偏移方向作为与该点对应的偏移向量的偏移方向，沿着该方向在深度图像边缘上找到距离该点最近的深度图像像素点，作为与该未匹配像素点相匹配的深度图像像素点。

图7是用于示例性地说明第二匹配子单元205的处理的示意图。

如图7所示，假设qa点为原始图像边缘上的未匹配点，在qa所在的原始图像边缘上找到距离该点最近的匹配像素点qb，以qb点对应的偏移向量的偏移方向x作为qa点的偏移方向，并沿该偏移方向在深度图像边缘上找到距离qa最近的点，即pa。

以此方式，为原始图像边缘上每个未匹配像素点找到与其匹配的深度图像像素点，从而形成偏移向量。

通过如上参照图6至图7描述的第二匹配子单元205的处理，可以实现从原始图像边缘到深度图像边缘的对齐。

在此需要说明，虽然图6中示出的像素点匹配单元20”仅包括边缘分割子单元201、第一匹配子单元202、偏移向量获取子单元203以及第二匹配子单元205，但是本领域技术人员可以理解，根据本公开的像素点匹配单元也可以包括边缘分割子单元201、第一匹配子单元202、偏移向量获取子单元203、校正单元204以及第二匹配子单元205。这种配置及其工作过程对于本领域技术人员而言在以上结合图4和图6描述的配置及其处理过程的详细描述的基础上是容易想到的，因此应当被认为落入本公开的范围内。

在通过第一匹配子单元202(以及校正单元204和/或第二匹配子单元205)获得了匹配像素点对之后，偏移向量获取子单元203可以基于各个匹配像素点对，获取深度图像边缘上各个深度图像像素点的偏移向量。

根据本公开，偏移单元30可以被配置成使用偏移向量获取子单元203获取的、深度图像边缘上的各个深度图像像素点偏移向量对所述深度图像中的各个像素点进行偏移，以实现对深度图像的修正。

根据本公开的一个实施例，偏移单元30被配置为根据各个深度图像像素点的偏移向量，基于高斯权重对所述深度图像中的非边缘的像素点进行偏移，以实现对所述深度图像的修正。更具体地，偏移单元可以根据深度图像像素点(即，深度图像边缘上的边缘像素点)的偏移向量，基于高 斯权重计算深度图像中的所有非边缘像素点的偏移向量(即，针对非边缘像素点，与其距离越近的边缘像素点，其偏移向量赋予的权值越大)，从而获得深度图像上所有像素点(包括边缘像素点和非边缘像素点)的偏移向量并利用所有的偏移向量对深度图像进行转换，最终得到修正后的深度图像。

图8是示出根据本公开实施例的图像处理设备的另一种示例结构的框图。

如图8所示，除了与图1的图像处理设备1类似地包括边缘检测单元10、像素点匹配单元20、偏移单元30之外，图像处理设备2还包括：空洞填补单元40，被配置为针对由于偏移单元30进行的偏移处理而在所述深度图像中形成空洞，基于空洞周围的像素点的像素值对该空洞进行填充。

在经偏移单元30的偏移处理后得到修正后的深度图像中，可能会存在一些由于偏移造成的空洞，根据本公开的空洞填补单元40可以使用各种原始图像的滤波器(如双边滤波器、非局部均值滤波器等)、根据空洞周围的像素点的像素值进行空洞的填补。根据本公开，空洞填补单元可以采用现有的任何空洞填补方法对深度图像中的空洞进行填补，其具体处理在此不再赘述。

根据本公开的一个实施例，还提供了一种图像处理方法。下面结合图9来描述图像处理方法的一种示例性处理。

如图9所示，根据本公开的实施例的图像处理方法的处理流程900开始于s910，然后执行s920的处理。

在步骤s920中，检测所述深度图像及其相对应的原始图像中的图像边缘，以获取深度图像边缘和原始图像边缘。例如，可以通过执行例如参照图1描述的边缘检测单元10的处理来实现步骤s920，在此省略其描述。然后执行s930。

在步骤s930中，通过将所述深度图像边缘上的深度图像像素点与所述原始图像边缘上的原始图像像素点进行匹配，获取表示各个深度图像像素点与相匹配的原始图像像素点之间位置差的向量作为该深度图像像素点的偏移向量。例如，可以通过执行例如参照图1-7描述的像素点匹配单元20的处理来实现步骤s930，在此省略其描述。然后执行s940。

在步骤s940中，使用所述偏移向量对所述深度图像中的各个像素点 进行偏移，以实现对所述深度图像的修正。例如，可以通过执行例如参照图1描述的偏移单元30的处理来实现步骤s940，在此省略其描述。然后执行s950。

处理流程900结束于s950。

根据本公开的一个实施例，在步骤s930中，可以将所述深度图像边缘分割成多个深度图像子边缘；然后，针对每个深度图像子边缘上的各个深度图像像素点，获取原始图像边缘上与该深度图像像素点距离最近的像素点作为该深度图像像素点的匹配像素点，以形成多个匹配像素点对；以及基于各个匹配像素点对，获取各个深度图像像素点的偏移向量。上述获取偏移向量的步骤例如可以参照图2描述的像素点匹配单元20的处理来实现，在此省略对其的详细描述。

根据本公开的一个实施例，形成多个匹配像素点对的处理可以包括：针对每个深度图像子边缘上的各个深度图像像素点，获取原始图像边缘上与该深度图像像素点距离最近的像素点作为该深度图像像素点的匹配像素点；以及根据各个深度图像像素点与其匹配像素点之间的距离，去除所述距离大于预定阈值的深度图像素点及其匹配像素点，以使得形成的每个匹配像素点对中两像素点之间的距离小于等于所述预定阈值。上述形成多个匹配像素点对的步骤可以例如参考图3描述的第一匹配子单元202的处理来实现，在此省略对其的详细描述。

根据本公开的实施例，上述获取偏移向量的步骤例如还可以包括对深度图像像素点的匹配像素点进行校正，以使得同一深度子边缘上的各个深度图像像素点与其匹配像素点之间形成的偏移向量的偏移方向相同或相反。上述校正步骤可以例如参考图4-5描述的校正子单元204的处理来实现，在此省略对其的详细描述。

根据本公开的另一实施例，上述获取偏移向量的步骤例如还可以包括：获取原始图像边缘上、未与所述深度图像像素点匹配的原始图像像素点作为未匹配像素点，并针对每个未匹配像素点，基于该未匹配像素点相邻的匹配像素点及其相对应的深度图像像素点形成的偏移向量，来获取与该未匹配像素点匹配的深度图像像素点。其例如可以参照图6-7描述的第二匹配子单元205的处理来实现，在此省略对其的详细描述。

根据本公开的图像处理方法还可以包括：针对由于所述偏移单元进行的偏移处理而在所述深度图像中形成空洞，基于所述空洞周围的像素点的 像素值对该空洞进行填充。该空洞填补步骤例如可以参照图8描述的图像处理设备2中的空洞填补单元40的处理来实现，在此省略对其的详细描述。

与现有技术中相比，根据本公开的图像处理设备和图像处理方法具有以下优点：能够更准确地修正深度图像中的深度图像边缘；此外，还具有在深度图像的边缘不被过度平滑的情况下获得更高质量的深度图像的优点。

此外，本公开的实施例还提供了一种用于对深度图像进行修正的图像处理装置，包括：控制器，被配置成执行以下处理：检测所述深度图像及其相对应的原始图像中的图像边缘，以获取深度图像边缘和原始图像边缘；通过将所述深度图像边缘上的深度图像像素点与所述原始图像边缘上的原始图像像素点进行匹配，获取表示各个深度图像像素点与相匹配的原始图像像素点之间位置差的向量作为该深度图像像素点的偏移向量；以及使用所述偏移向量对所述深度图像中的各个像素点进行偏移，以实现对所述深度图像的修正。

此外，本公开的实施例还提供了一种电子设备，该电子设备被配置包括如上所述的图像处理设备1、2。该电子设备例如可以是以下设备中的任意一种：手机；计算机；平板电脑；以及个人数字助理等。相应地，该电子设备能够拥有如上所述的图像处理设备的有益效果和优点。

根据本公开实施例的电子设备可以作为根据本公开的图像处理装置的一个具体应用示例。

上述根据本公开的实施例的图像处理设备(例如图1-8中所示的图像处理设备)中的各个组成单元、子单元等可以通过软件、固件、硬件或其任意组合的方式进行配置。在通过软件或固件实现的情况下，可从存储介质或网络向具有专用硬件结构的机器安装构成该软件或固件的程序，该机器在安装有各种程序时，能够执行上述各组成单元、子单元的各种功能。

图10是示出了可用来实现根据本公开的实施例的图像处理设备、图像处理方法和图像处理装置的一种可能的处理设备的硬件配置的结构简图。

在图10中，中央处理单元(cpu)1001根据只读存储器(rom)1002中存储的程序或从存储部分1008加载到随机存取存储器(ram)1003的程序执行各种处理。在ram1003中，还根据需要存储当cpu1001执行各种 处理等等时所需的数据。cpu1001、rom1002和ram1003经由总线1004彼此连接。输入/输出接口1005也连接到总线1004。

下述部件也连接到输入/输出接口1005：输入部分1006(包括键盘、鼠标等等)、输出部分1007(包括显示器，例如阴极射线管(crt)、液晶显示器(lcd)等，和扬声器等)、存储部分1008(包括硬盘等)、通信部分1009(包括网络接口卡例如lan卡、调制解调器等)。通信部分1009经由网络例如因特网执行通信处理。根据需要，驱动器1010也可连接到输入/输出接口1005。可拆卸介质1011例如磁盘、光盘、磁光盘、半导体存储器等等可以根据需要被安装在驱动器1010上，使得从中读出的计算机程序可根据需要被安装到存储部分1008中。

在通过软件实现上述系列处理的情况下，可以从网络例如因特网或从存储介质例如可拆卸介质1011安装构成软件的程序。

本领域的技术人员应当理解，这种存储介质不局限于图10所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1011。可拆卸介质1011的例子包含磁盘(包含软盘)、光盘(包含光盘只读存储器(cd-rom)和数字通用盘(dvd))、磁光盘(包含迷你盘(md)(注册商标))和半导体存储器。或者，存储介质可以是rom1002、存储部分1008中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。

此外，本公开还提出了一种存储有机器可读取的指令代码的程序产品。上述指令代码由机器读取并执行时，可执行上述根据本公开的实施例的图像处理方法。相应地，用于承载这种程序产品的例如磁盘、光盘、磁光盘、半导体存储器等的各种存储介质也包括在本公开的公开中。

在上面对本公开具体实施例的描述中，针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

此外，本公开的各实施例的方法不限于按照说明书中描述的或者附图中示出的时间顺序来执行，也可以按照其他的时间顺序、并行地或独立地执行。因此，本说明书中描述的方法的执行顺序不对本公开的技术范围构成限制。

此外，显然，根据本公开的上述方法的各个操作过程也可以以存储在各种机器可读的存储介质中的计算机可执行程序的方式实现。

而且，本公开的目的也可以通过下述方式实现：将存储有上述可执行程序代码的存储介质直接或者间接地提供给系统或设备，并且该系统或设备中的计算机或者中央处理单元(cpu)读出并执行上述程序代码。

此时，只要该系统或者设备具有执行程序的功能，则本公开的实施方式不局限于程序，并且该程序也可以是任意的形式，例如，目标程序、解释器执行的程序或者提供给操作系统的脚本程序等。

上述这些机器可读存储介质包括但不限于：各种存储器和存储单元，半导体设备，磁盘单元例如光、磁和磁光盘，以及其它适于存储信息的介质等。

另外，客户图像处理终端通过连接到因特网上的相应网站，并且将依据本公开的计算机程序代码下载和安装到图像处理终端中然后执行该程序，也可以实现本公开的各实施例。

综上，在根据本公开的实施例中，本公开提供了如下方案，但不限于此：

方案1、一种图像处理设备，包括：

边缘检测单元，被配置成检测所述深度图像及其相对应的原始图像中的图像边缘，以获取深度图像边缘和原始图像边缘；

像素点匹配单元，被配置成通过将所述深度图像边缘上的深度图像像素点与所述原始图像边缘上的原始图像像素点进行匹配，获取表示各个深度图像像素点与相匹配的原始图像像素点之间位置差的向量作为该深度图像像素点的偏移向量；以及

偏移单元，被配置成使用所述偏移向量对所述深度图像中的各个像素点进行偏移，以实现对所述深度图像的修正。

方案2、根据方案1所述的图像处理设备，其中，所述像素点匹配单元包括：

边缘分割子单元，被配置成将所述深度图像边缘分割成多个深度图像子边缘；

第一匹配子单元，被配置成针对每个深度图像子边缘上的各个深度图像像素点，获取原始图像边缘上与该深度图像像素点距离最近的像素点作为该深度图像像素点的匹配像素点，以形成多个匹配像素点对；以及

偏移向量获取子单元，被配置成基于各个匹配像素点对，获取各个深 度图像像素点的偏移向量。

方案3、根据方案2所述的图像处理设备，其中，所述第一匹配子单元包括：

获取模块，被配置成针对每个深度图像子边缘上的各个深度图像像素点，获取原始图像边缘上与该深度图像像素点距离最近的像素点作为该深度图像像素点的匹配像素点；以及

去除模块，被配置成根据各个深度图像像素点与其匹配像素点之间的距离，去除所述距离大于预定阈值的深度图像素点及其匹配像素点，以使得形成的每个匹配像素点对中两像素点之间的距离小于等于所述预定阈值。

方案4、根据方案2或3所述的图像处理设备，其中，所述像素点匹配单元还包括：校正子单元，被配置成对深度图像像素点的匹配像素点进行校正，以使得同一深度子边缘上的各个深度图像像素点与其匹配像素点之间形成的偏移向量的偏移方向相同或相反。

方案5、根据方案2-4中任一项所述的图像处理设备，其中，所述像素点匹配单元还包括：第二匹配子单元，被配置成获取原始图像边缘上、未与所述深度图像像素点匹配的原始图像像素点作为未匹配像素点，并针对每个未匹配像素点，基于该未匹配像素点相邻的匹配像素点及其相对应的深度图像像素点形成的偏移向量，来获取与该未匹配像素点匹配的深度图像像素点。

方案6、根据方案1-5中任一项所述的图像处理设备，其中，

所述偏移单元被配置为根据各个深度图像像素点的偏移向量，基于高斯权重对所述深度图像中的非边缘的像素点进行偏移，以实现对所述深度图像的修正。

方案7、根据方案1-6中任一项所述的图像处理设备，还包括：空洞填补单元，被配置为针对由于所述偏移单元进行的偏移处理而在所述深度图像中形成空洞，基于所述空洞周围的像素点的像素值对该空洞进行填充。

方案8、根据方案1-7中任一项所述的图像处理设备，其中所述原始图像是灰度图像或者彩色图像。

方案9、一种图像处理方法，包括：

检测所述深度图像及其相对应的原始图像中的图像边缘，以获取深度图像边缘和原始图像边缘；

通过将所述深度图像边缘上的深度图像像素点与所述原始图像边缘上的原始图像像素点进行匹配，获取表示各个深度图像像素点与相匹配的原始图像像素点之间位置差的向量作为该深度图像像素点的偏移向量；以及

使用所述偏移向量对所述深度图像中的各个像素点进行偏移，以实现对所述深度图像的修正。

方案10、根据方案9所述的图像处理方法，其中，获取偏移向量的步骤包括：

将所述深度图像边缘分割成多个深度图像子边缘；

针对每个深度图像子边缘上的各个深度图像像素点，获取原始图像边缘上与该深度图像像素点距离最近的像素点作为该深度图像像素点的匹配像素点，以形成多个匹配像素点对；以及

基于各个匹配像素点对，获取各个深度图像像素点的偏移向量。

方案11、根据方案10所述的图像处理方法，其中形成多个匹配像素点对的步骤包括：

针对每个深度图像子边缘上的各个深度图像像素点，获取原始图像边缘上与该深度图像像素点距离最近的像素点作为该深度图像像素点的匹配像素点；以及

根据各个深度图像像素点与其匹配像素点之间的距离，去除所述距离大于预定阈值的深度图像素点及其匹配像素点，以使得形成的每个匹配像素点对中两像素点之间的距离小于等于所述预定阈值。

方案12、根据方案10或11所述的图像处理方法，其中，获取偏移向量的步骤还包括：对深度图像像素点的匹配像素点进行校正，以使得同一深度子边缘上的各个深度图像像素点与其匹配像素点之间形成的偏移向量的偏移方向相同或相反。

方案13、根据方案10-12中任一项所述的图像处理方法，其中获取偏移向量的步骤还包括：获取原始图像边缘上、未与所述深度图像像素点匹配的原始图像像素点作为未匹配像素点，并针对每个未匹配像素点，基于该未匹配像素点相邻的匹配像素点及其相对应的深度图像像素点形成的 偏移向量，来获取与该未匹配像素点匹配的深度图像像素点。

方案14、根据方案9-13中任一项所述的图像处理方法，其中，使用偏移向量进行偏移的步骤包括根据各个深度图像像素点的偏移向量，基于高斯权重对所述深度图像中的非边缘的像素点进行偏移，以实现对所述深度图像的修正。

方案15、根据方案9-14中任一项所述的图像处理方法，还包括：针对由于所述偏移单元进行的偏移处理而在所述深度图像中形成空洞，基于所述空洞周围的像素点的像素值对该空洞进行填充。

方案16、根据方案9-15中任一项所述的图像处理方法，其中所述原始图像是灰度图像或者彩色图像。

方案17、一种用于对深度图像进行修正的图像处理装置，包括：

控制器，被配置成执行以下处理：

检测所述深度图像及其相对应的原始图像中的图像边缘，以获取深度图像边缘和原始图像边缘；

通过将所述深度图像边缘上的深度图像像素点与所述原始图像边缘上的原始图像像素点进行匹配，获取表示各个深度图像像素点与相匹配的原始图像像素点之间位置差的向量作为该深度图像像素点的偏移向量；以及

使用所述偏移向量对所述深度图像中的各个像素点进行偏移，以实现对所述深度图像的修正。

方案18、一种电子设备，包括根据方案1-8中任一项所述的图像处理设备，其中电子设备是手机、计算机、平板电脑、或个人数字助理。

方案19、一种使得计算机用作如方案1-8中任一项所述的图像处理设备的程序。

方案20、一种计算机可读存储介质，其上存储有能够由计算设备执行的计算机程序，该程序使得计算机用作如方案1-8中任一项所述的图像处理设备。

最后，还需要说明的是，在本公开中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包 含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

尽管上面已经通过本公开的具体实施例的描述对本公开进行了披露，但是，应该理解，本领域技术人员可在所附权利要求的精神和范围内设计对本公开的各种修改、改进或者等同物。这些修改、改进或者等同物也应当被认为包括在本公开所要求保护的范围内。