图像处理方法、图像处理装置及存储介质与流程
本公开的实施例涉及一种图像处理方法、图像处理装置及存储介质。
背景技术：
在计算机视觉系统中，三维(three-dimensional，3d)图像信息为图像分割、目标检测、物体跟踪等各类计算机视觉应用提供了更多的可能性。深度图(depthmap)作为一种常规的三维图像信息在计算机视觉系统中得到了广泛地应用。深度图类似于灰度图像，它的每个像素点的像素值是传感器距离物体的实际距离。通常深度图和彩色图像(rgb图像)是配准的，因此二者的像素点之间具有一一对应关系。
技术实现要素：
本公开至少一实施例提供一种图像处理方法，包括：获取针对同一画面的深度图与目标图像，所述画面中包括待处理对象；基于所述目标图像获取在所述画面中的所述待处理对象的轮廓；基于所述待处理对象的轮廓确定所述深度图中的待修复区域；优化所述深度图中的待修复区域的像素的深度值。
例如，在本公开一实施例提供的图像处理方法中，所述深度图中的待修复区域包括目标轮廓区域，确定所述深度图中的待修复区域包括：设定预设阈值；判断所述深度图中的像素到所述待处理对象的轮廓的距离是否小于所述预设阈值；将所述深度图中与所述待处理对象的轮廓的距离小于所述预设阈值的像素所在的区域作为所述目标轮廓区域。
例如，本公开一实施例提供的图像处理方法，还包括：基于所述深度图的深度信息确定所述深度图中的待修复区域。
例如，在本公开一实施例提供的图像处理方法中，所述深度图中的待修复区域包括所述深度图中的深度信息缺失区域，确定所述深度图中的待修复区域还包括：判断所述深度图中的像素的显示灰度是否为全黑或者是否为全白；将所述深度图中显示灰度为全黑或全白的像素所在的区域作为所述深度信息缺失区域。
例如，在本公开一实施例提供的图像处理方法中，将所述深度图的图像梯度设定为与所述目标图像的图像梯度一致，由此优化所述深度图中的待修复区域的像素的深度值。
例如，在本公开一实施例提供的图像处理方法中，优化所述深度图中的待修复区域的像素的深度值包括：
其中，d表示所述深度图中的待修复区域的像素的优化深度值，∩表示所述深度图中的待修复区域，
例如，在本公开一实施例提供的图像处理方法中，所述关联矩阵表示为：
其中，lij表示所述关联矩阵l中的第(i,j)个元素，∑k表示3*3的协方差矩阵，wk表示以像素k为中心的窗口，μk表示窗口wk中的像素深度值的均值向量，i3表示3*3的单位矩阵，ii和ij分别表示图像i在第i个像素和第j个像素处的像素值，ε表示控制参数，δij表示克罗内科尔函数，i，j均为大于1的整数。
例如，本公开一实施例提供的图像处理方法，还包括：对所述深度图中所述待处理对象所在的区域进行平滑滤波；对所述深度图中所述待处理对象以外的背景区域进行平滑滤波。
例如，在本公开一实施例提供的图像处理方法中，对所述深度图中所述待处理对象的区域进行平滑滤波包括：采用双边滤波法对所述目标图像中所述待处理对象所在的区域进行保边平滑滤波，并获得所述深度图中所述待处理对象所在的区域的引导图像；基于所述引导图像，采用引导滤波法对所述深度图中所述待处理对象所在的区域进行平滑滤波。
例如，在本公开一实施例提供的图像处理方法中，所述引导滤波法的表达式表示为：
其中，q表示所述深度图中所述待处理对象所在的区域经过所述引导滤波后的输出图像，i表示所述引导图像，p表示输入图像，wij(i)表示滤波器的核权重参数。
例如，本公开一实施例提供的图像处理方法，还包括：将所述深度图中经过所述平滑滤波后的所述待处理对象所在的区域和经过所述平滑滤波后的所述待处理对象以外的背景区域融合在一起。
本公开至少一实施例还提供一种图像处理装置，包括：图像获取单元，配置为获取针对同一画面的深度图与目标图像，所述画面中包括待处理对象；轮廓获取单元，配置为基于所述目标图像获取在所述画面中所述待处理对象的轮廓；待修复区域确定单元，配置为基于所述待处理对象的轮廓确定所述深度图中的待修复区域；以及优化单元，配置为优化所述深度图中的待修复区域的像素的深度值。
例如，本公开一实施例提供的图像处理装置，还包括：滤波单元，配置为对所述深度图中所述待处理对象的区域以及所述深度图中所述待处理对象以外的背景区域进行平滑滤波；以及融合单元，配置为将所述深度图中经过所述平滑滤波后的所述待处理对象所在的区域和经过所述平滑滤波后的所述待处理对象以外的背景区域融合在一起。
本公开至少一实施例还提供一种图像处理装置，包括：处理器；存储器；一个或多个计算机程序模块，所述一个或多个计算机程序模块被存储在所述存储器中并被配置为由所述处理器执行，所述一个或多个计算机程序模块包括用于执行实现本公开任一实施例提供的图像处理方法的指令。
本公开至少一实施例还提供一种存储介质，非暂时性地存储计算机可读指令，当所述非暂时性计算机可读指令由计算机执行时可以执行本公开任一实施例提供的图像处理方法的指令。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1为本公开一实施例提供的一种图像处理方法的流程图；
图2为本公开一实施例提供的一种图像处理方法的示意图；
图3为图1中所示的步骤s130的一个示例的流程图；
图4为图1中所示的步骤s130的另一个示例的流程图；
图5为本公开一实施例提供的一种优化待修复区域的示意图；
图6为本公开一实施例提供的另一种图像处理方法的流程图；
图7为本公开一实施例提供的一种平滑滤波操作的流程图；
图8为本公开一实施例提供的一种获取引导图像的示意图；
图9为本公开一实施例提供的一种对深度图进行平滑滤波操作前后的示意图；
图10为本公开一实施例提供的一种图像融合操作的示意图；
图11为本公开一实施例提供的一种图像处理装置的示意框图；以及
图12为本公开一实施例提供的另一种图像处理装置的示意框图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
下面通过几个具体的实施例对本公开进行说明。为了保持本公开实施例的以下说明清楚且简明，可省略已知功能和已知部件的详细说明。当本公开实施例的任一部件在一个以上的附图中出现时，该部件在每个附图中由相同的参考标号表示。
随着手机3d模组(例如，常见的tof(time-of-flight)模组技术)的广泛应用，越来越多的手机会带有3d摄像头。3d摄像头除了能输出常规的彩色图像以外，还可以产生与彩色图像对应的深度图。但是，该深度图往往存在以下质量问题：
(1)由于3d模组本身精度的限制，使得深度图的分辨率比较低，特别是在前景区域(例如，人像)的边缘部分精度不高；
(2)如果拍摄场景中存在一些特殊的反光材质，例如头发，那么很容易在深度图中形成没有深度信息的空洞区域；
(3)由于3d摄像头中的红外摄像头和主摄像头存在视差，在将深度图和彩色图像对齐之后，在主体边缘处会形成深度空洞，即主摄像头能看到但是红外摄像头不能看到的区域。
因此，在将深度图应用于一些影像处理时，例如在人物摄影中应用深度图中的深度信息对拍摄图像的背景区域进行精确地虚化时，需要先对深度图中的上述问题进行修复，才能在应用时取得较好的图像处理效果。
本公开一实施例提供了一种图像处理方法，包括：获取针对同一画面的深度图与目标图像，该画面中包括待处理对象；基于目标图像获取在画面中的待处理对象的轮廓；基于待处理对象的轮廓确定深度图中的待修复区域；优化深度图中的待修复区域的像素的深度值。
本公开至少一实施例还提供对应于上述图像处理方法的图像处理装置和存储介质。
本公开实施例提供的图像处理方法，可以基于目标图像中确定的待处理对象的轮廓来确定深度图的待修复区域，以对深度图中的待修复区域进行优化，从而修正深度图中存在的质量问题。
下面结合附图对本公开的实施例及其一些示例进行详细说明。
图1为本公开一实施例提供的一种图像处理方法的一个示例的流程图。该图像处理方法可以以软件、硬件或其组合的方式实现，由例如手机、笔记本电脑、桌面电脑、网络服务器、数码相机等设备中的处理器加载并执行，以修正深度图中存在的质量问题，从而可以较好地应用于一些影像处理的应用中，例如在人物摄影中应用深度信息对拍摄图像的背景区域进行精确地虚化等。下面，参考图1对本公开至少一实施例提供的图像处理方法进行说明。如图1所示，该图像处理方法包括步骤s110至步骤s140。
步骤s110：获取针对同一画面的深度图与目标图像，该画面中包括待处理对象。
步骤s120：基于目标图像获取在画面中的待处理对象的轮廓。
步骤s130：基于待处理对象的轮廓确定深度图中的待修复区域。
步骤s140：优化深度图中的待修复区域的像素的深度值。
例如，该待处理对象包括拍摄图像中的前景区域，例如，该前景区域可以是人像，如图2中的图a所示的人像11，当然也可以是图像中包括的其他目标物体(例如，花、鸟、树木等)，本公开的实施例对此不作限制。需要注意的是，下面以待处理对象是人像为例进行说明。
对于步骤s110，例如，该目标图像和深度图可以通过适当的图像采集装置获取。例如，该目标图像中的像素与深度图中的像素是一一对应的。例如，该目标图像可以是彩色图像，该彩色图像可以是基于各种色域(例如，srgb、ntsc、adobergb等)，或者还可以是黑白图像等其他类型的图像，本公开的实施例对此不作限制。
例如，该图像采集装置可以是立体照相机(例如，tof照相机)，也可以是其他可以实现图像采集功能的部件，本公开的实施例对此不作限制。例如，通过图像采集装置获取该深度图的方法包括：被动测距传感和主动深度传感。例如，被动测距传感中最常用的方法包括双目立体视觉等；主动深度传感主要包括tof、激光雷达深度成像法、计算机立体视觉成像、坐标测量机法、莫尔条纹法、结构光法等。例如，针对同一画面的目标图像和深度图分别如图2中的图a和图b所示，该画面中的待处理对象为人像11。
例如，目标图像和深度图可以是图像采集装置直接采集得到的原始图像，也可以是对原始图像进行预处理之后获得的图像。相应地，例如，在步骤s110中，本公开实施例提供的图像处理方法还可以包括对目标图像和深度图进行预处理的操作，以有利于简化在后续步骤中对深度图的处理过程。这些图像预处理操作可以消除目标图像和深度图中的无关信息或噪声信息。例如，在目标图像和深度图是照片的情况下，该图像预处理操作可以包括对照片进行图像缩放、压缩或格式转换、色域转换、伽玛(gamma)校正、图像增强或降噪滤波等处理，在目标图像和深度图是视频的情况下，该预处理可以包括提取视频的关键帧等。
例如，可以提供图像获取单元，并通过该图像获取单元获取针对同一画面的深度图与目标图像；例如，也可以通过中央处理单元(cpu)、图像处理器(gpu)、张量处理器(tpu)、现场可编程逻辑门阵列(fpga)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元以及相应计算机指令来实现该图像获取单元。该处理单元可以为通用处理器或专用处理器，可以是基于x86或arm架构的处理器等。
对于步骤s120，例如，首先在目标图像中抠取待处理对象，由于目标图像的拍摄质量比较高，且目标图像的像素和深度图中的像素是一一对应的，从而可以基于目标图像中抠取的待处理对象在深度图中准确地获取待处理对象的轮廓。例如，可以通过贝叶斯抠图(bayesianmatting)算法、knn抠图算法、泊松抠图(poissonmatting)算法、基于神经网络的抠图算法或本领域内的其他常规算法等实现对待处理对象的抠取。例如，在本公开实施例中可以采用基于深度学习的抠图算法实现对图2中的图a所示的人像11的抠图。如图2中的图c所示，对人像11的抠取结果为白色区域，剩余的黑色区域为背景部分。从图2中的图c所示的抠图结果可以看出，对目标图像进行抠图得到的人像11的边缘比较准确，从而在深度图中对应得到的人像11的边缘也比较准确，从而在后续步骤中可以基于该人像11的边缘准确判断深度图中的待修复区域。
需要注意的是，该基于深度学习的抠图算法可以采用本领域内的常规方法，在此不再赘述。
例如，可以提供轮廓获取单元，并通过该轮廓获取单元基于目标图像获取在画面中的待处理对象的轮廓；例如，也可以通过中央处理单元(cpu)、图像处理器(gpu)、张量处理器(tpu)现场可编程逻辑门阵列(fpga)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元以及相应计算机指令来实现该轮廓获取单元。
对于步骤s130，在一个示例中，可以基于待处理对象的轮廓确定深度图中的待修复区域，在另一个示例中，还可以根据深度图中的深度信息确定深度图中的待修复区域。例如，深度图中的待修复区域包括目标轮廓区域，还可以包括深度信息缺失区域。例如，目标轮廓区域可以根据图2中的图c所示的抠图结果(即待处理对象的轮廓)确定，深度信息缺失区域可以根据
图2中图b所示的深度图确定，具体的确定方法将在下面进行详细地介绍。
图3示出了基于待处理对象的轮廓确定深度图中的待修复区域的方法流程图，图4示出了基于深度图中的深度信息确定深度图中的待修复区域的方法流程图。也就是说，图3为图1中所示的步骤s130的一个示例的流程图，图4为图1中所示的步骤s130的另一个示例的流程图。下面参考图3和图4，对待修复区域的确定方法进行详细地介绍。
例如，在图3所示的示例中，该确定待修复区域的方法包括步骤s1311至步骤s1313。
步骤s1311：设定预设阈值。
例如，将预设阈值表示为td，可以设置该预设阈值td为5个像素的宽度。例如，将深度图中与待处理对象的轮廓的距离小于预设阈值的像素所在的区域作为目标轮廓区域，如图5中的图d所示，将距离人像11的边缘为5个像素宽度的区域作为目标轮廓区域10，即待修复区域。需要注意的是，该预设阈值的设置可以视具体情况而定，本公开的实施例对此不作限制。
步骤s1312：判断深度图中的像素到待处理对象的轮廓的距离是否小于预设阈值，如果是，则执行步骤s1313。
例如，如图5中的图d所示，判断该深度图中的像素到人像11的边缘的距离是否在预设阈值td(即5个像素宽度)以内。
步骤s1313：将深度图中与待处理对象的轮廓的距离小于预设阈值的像素所在的区域作为目标轮廓区域。
例如，如图5中的图d所示，将人像11边缘处距离其为5个像素宽度的区域作为目标轮廓区域10(即围绕人像11的边缘的灰色区域)。
例如，在图4所示的示例中，该确定待修复区域的方法还可以包括步骤s1321至步骤s1322。
步骤s1321：判断深度图中的像素的显示灰度是否为全黑或者是否为全白，如果是，则执行步骤s1322。
例如，该步骤可以是针对深度图中的待处理对象所在的区域以及深度图中主体(包括待处理对象所在的区域和背景区域)的边缘区域进行判断。
例如，判断深度图中的像素的显示灰度是否为全黑，包括判断由于3d摄像头模组中红外摄像头和主摄像头存在视差，在将深度图和目标图像对齐之后，在深度图的主体边缘形成的缺少深度信息的空洞区域(例如，如图2中的图b所示的黑色区域12)，即主摄像头能看到，但是红外摄像头不能看到的区域。
例如，判断深度图中的像素的显示灰度是否为全白，包括判断由于拍摄场景中存在一些特殊的反光材质，例如头发，那么很容易在深度图形成的空洞(例如，如图2中的图b所示的人像11上的白色区域13)。
步骤s1322：将深度图中显示灰度为全黑或全白的像素所在的区域作为深度信息缺失区域。
例如，将图2中的图b所示的显示灰度为全黑的区域12和显示灰度为全白的区域13作为深度信息缺失区域(即如图5中的图d所示的灰色区域20和灰色区域30)，即待修复区域。
例如，如图5中的图d所示，黑色区域表示背景区域，白色区域表示前景区域(例如，人像11)，灰色区域表示待修复区域(包括目标轮廓区域和/或深度信息缺失区域)。
例如，在判断待修复区域时，可以同时包括图3和图4中所示的步骤，也可以仅包括图3中所示的步骤或仅包括图4中所示的步骤，本公开的实施例对此不作限制。
例如，可以提供待修复区域确定单元，并通过该待修复区域确定单元基于待处理对象的轮廓确定深度图中的待修复区域；例如，也可以通过中央处理单元(cpu)、图像处理器(gpu)、张量处理器(tpu)、现场可编程逻辑门阵列(fpga)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元以及相应的计算机指令来实现待修复区域确定单元。
对于步骤s140，根据在步骤s130中判断出的待修复区域，优化该深度图中的待修复区域(即图5中的图d所示的灰色区域10、20、30)的像素的深度值。
例如，可以采用基于图像优化的方法来恢复深度图中待修复区域的像素的深度值。例如，在优化的过程中，可以将深度图的图像梯度设定为与目标图像的图像梯度一致，由此以便于优化深度图中的待修复区域的像素的深度值。也就是说，如果目标图像上的区域是平滑的，那么深度图上与之对应的区域也是平滑的。反之，如果目标图像上有一个强烈变化的边缘，例如人像到背景的过度，那么深度图中也应该有一个强烈变化的边缘。
例如，在本公开的实施例中，可以采用解优化方程的方法来估计修复区域的深度值，优化的目标为：
其中，d表示深度图中的待修复区域的像素的优化深度值，∩表示深度图中的待修复区域，
例如，关联矩阵l定义了每个像素和其周围一个领域内的其他像素之间的关系。也就是说，在每个小的预定领域(例如，7*7或者9*9的矩阵)内,像素的深度值根据图像本身的信息满足一定的关系。例如，通常采用在抠图(imagematting)应用中使用的拉普拉斯矩阵(laplacian)来定义这个关系。
例如，关联矩阵l可以表示为：
其中，lij表示关联矩阵l中的第(i,j)个元素，∑k表示3*3的协方差矩阵，wk表示以像素k为中心的窗口，μk表示窗口wk中的像素深度值的均值向量，i3表示3*3的单位矩阵，ii和ij分别表示图像i在第i个像素和第j个像素处的像素值，ε表示控制参数，δij表示克罗内科尔函数，i，j均为大于1的整数。
例如，克罗内科尔函数
例如，定义好公式(1)中的优化目标函数后，求解待修复区域中像素的深度值变成了一个解线性系统的问题。例如，可以使用共轭梯度法(conjugategradient)来优化公式(1)中的目标函数。例如，图5中的图e为优化目标函数后得到的修复后深度图。如图5中的图e所示，通过上述优化方法可以很好地修复图5中的图d所示的待修复区域(即灰色区域)。
需要注意的是，不限于上述优化方法，还可以采用本领域内的其他常规方法对深度图中的待修复区域的像素的深度值进行优化。
例如，可以提供优化单元，并通过该优化单元优化深度图中的待修复区域的像素的深度值；例如，也可以通过中央处理单元(cpu)、图像处理器(gpu)、张量处理器(tpu)、现场可编程逻辑门阵列(fpga)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元以及相应的计算机指令来实现该优化单元。
需要说明的是，在本公开的实施例中，该图像处理方法的流程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行。虽然上文描述的图像处理方法的流程包括特定顺序出现的多个操作，但是应该清楚地了解，多个操作的顺序并不受限制。上文描述的图像处理方法可以执行一次，也可以按照预定条件执行多次。
本公开上述实施例提供的图像处理方法，可以基于目标图像中确定的待处理对象的轮廓来确定深度图中的待修复区域，以对深度图中的待修复区域进行优化，从而修正深度图中存在的质量问题。
图6为本公开一实施例提供的另一种图像处理方法的流程图。如图6所示，本公开实施例提供的图像处理方法，还可以对修复后的深度图像进行滤波和融合。例如，在一个示例中，该图像处理方法还包括对深度图的前景区域和背景区域进行平滑滤波，即包括步骤s150至步骤s160；在另一个示例中，该图像处理方法还包括将深度图中经过滤波处理后的背景区域和前景区域融合在一起，即包括步骤s170。下面，参考图6对该图像处理方法进行说明。
步骤s150：对深度图中待处理对象所在的区域进行平滑滤波。
步骤s160：对深度图中待处理对象以外的背景区域进行平滑滤波。
步骤s170：将深度图中经过平滑滤波后的待处理对象所在的区域和经过平滑滤波后的待处理对象以外的背景区域融合在一起。
对于步骤s150，由于待处理对象(例如，人像)一般离3d摄像头比较近，所以深度值比较准确，也比较精细，可以采用合适的平滑滤波来去除噪声以获取更好的显示效果。
图7为本公开一实施例提供的一种平滑滤波操作的流程图。也就是说，
图7为图6中所示的步骤s150的一个示例的流程图。如图7所示，该平滑滤波操作包括步骤s151和步骤s152。下面，参考图7对该平滑滤波操作进行说明。
步骤s151：采用双边滤波法对目标图像中待处理对象所在的区域进行保边平滑滤波，并获得深度图中待处理对象所在的区域的引导图像。
由于目标图像和深度图像中的像素是一一对应的，因此可以根据平滑滤波后的目标图像获取深度图的引导图像。例如，对目标图像进行平滑滤波时采用的双边滤波法可以采用本领域内的常规方法实现，在此不再赘述。需要注意的是，也可以采用高斯滤波、均值滤波或其他合适的滤波方法对目标图像中待处理对象所在的区域进行保边平滑滤波，本公开的实施例对此不作限制。
图8为本公开一实施例提供的一种获取引导图像的示意图。例如，图8中的图f为对目标图像中的人像进行平滑滤波后的图像，图8中的图g为基于该平滑滤波后的目标图像获取的深度图的引导图像。例如，该引导图像可以是输入图像，也可以是单独的图像，本公开的实施例对此不作限制。例如，当引导图像为输入图像时，引导滤波操作可以看作为一个保持边缘的滤波操作，可以用于图像重建的滤波。
步骤s152：基于引导图像，采用引导滤波法对深度图中待处理对象所在的区域进行平滑滤波。
例如，经过平滑滤波后的输出图像(即平滑滤波后的深度图)的深度值可以由其周边一个窗口内的像素的深度值进行加权平均得来。
例如，引导滤波法的表达式可以表示为：
其中，q表示深度图中待处理对象所在的区域经过引导滤波后的输出图像，i表示引导图像，p表示输入图像，wij(i)表示滤波器的核权重参数。
例如，在本公开的实施例中，该引导图像可以为输入图像。当然，本公开的实施例对此不作限制。
例如，滤波器的核权重参数可以表示为：
其中，|w|表示窗口中像素的个数，μk与
例如，当控制参数ε远远小于方差
需要注意的是，引导滤波法的具体操作方法可以采用本领域内的常规方法，在此不再赘述。另需要注意的是，不限于此，还可以采用本领域内的其他合适的方法对深度图中待处理对象所在的区域进行平滑滤波。
图9为本公开一实施例提供的一种对深度图的前景区域(即深度图中待处理对象所在的区域)进行平滑滤波操作前后的示意图。如图9所示，左边是对前景区域进行平滑滤波操作之前的示意图，右边是对前景区域进行平滑滤波操作之后的示意图。根据图9示出的经平滑滤波操作前后的对比图可以看出，深度图中的前景区域(即人像)的噪声得到了有效地抑制；同时，前景区域中的衣领、下巴等图像边缘位置的图像又得到了很好地保持，没有在平滑滤波的过程中被模糊掉。
对于步骤s160，在对深度图中待处理对象以外的背景区域进行平滑滤波时，可以采用与步骤s150中相同的平滑滤波方法，也可以使用不同的滤波方法，本公开的实施例对此不作限制。例如，在采用与步骤s150中相同的平滑滤波方法(例如，引导滤波方法)对深度图中的背景区域进行滤波时，可以设置不同的控制参数ε以控制背景区域的平滑度。需要注意的是，具体的操作方法可以参考步骤s151和步骤s152，在此不再赘述。例如，对深度图中待处理对象以外的背景区域进行平滑滤波后的示意图如图10中的p所示。
例如，可以提供滤波单元，并通过该滤波单元对深度图中待处理对象的区域以及深度图中待处理对象以外的背景区域进行平滑滤波；例如，也可以通过中央处理单元(cpu)、张量处理器(tpu)、图像处理器(gpu)、现场可编程逻辑门阵列(fpga)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元以及相应的计算机指令来实现该滤波单元。
对于步骤s170，将深度图中分别进行平滑滤波后的前景区域(即深度图中待处理对象所在的区域)和背景区域(即深度图中待处理对象以外的背景区域)进行融合，以得到完整的经过平滑滤波后的深度图。例如，可以采用基于小波的图像融合方法实现，也可以采用本领域内其他的常规方法实现，本公开的实施例对此不作限制。
图10中的图q为本公开一实施例提供的一种进行图像融合后的深度图的示意图。例如，通过将图10中的图p中所示的进行平滑滤波后的背景区域和图9中的右边所示的进行平滑滤波后的前景区域(人像)进行融合，得到图10中的图q所示的融合后的图像。
例如，可以提供融合单元，并通过该融合单元将深度图中经过平滑滤波后的待处理对象所在的区域和经过平滑滤波后的待处理对象以外的背景区域融合在一起；例如，也可以通过中央处理单元(cpu)、图像处理器(gpu)、张量处理器(tpu)、现场可编程逻辑门阵列(fpga)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元以及相应地指令来实现该融合单元。
需要说明的是，在本公开的实施例中，该图像处理方法的流程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行。虽然上文描述的图像处理方法的流程包括特定顺序出现的多个操作，但是应该清楚地了解，多个操作的顺序并不受限制。上文描述的图像处理方法可以执行一次，也可以按照预定条件执行多次。
本公开实施例提供的图像处理方法，在修正深度图中存在的质量问题外，还可以对修正后的深度图进行滤波，从而进一步提高了深度图的质量，以更好地应用于一些影像处理的应用中。
图11为本公开一实施例提供的一种图像处理装置的示意框图。例如，在图11所示的示例中，该图像处理装置100包括图像获取单元110、轮廓获取单元120、待修复区域确定单元130和优化单元140。例如，这些单元可以通过硬件(例如电路)模块或软件模块等实现。
该图像获取单元110配置为获取针对同一画面的深度图与目标图像，画面中包括待处理对象。例如，该图像获取单元110可以实现步骤s110，其具体实现方法可以参考步骤s110的相关描述，在此不再赘述。
该轮廓获取单元120配置为基于目标图像获取在画面中待处理对象的轮廓。例如，该轮廓获取单元120可以实现步骤s120，其具体实现方法可以参考步骤s120的相关描述，在此不再赘述。
该待修复区域确定单元130配置为基于待处理对象的轮廓确定深度图中的待修复区域。例如，该待修复区域确定单元130可以实现步骤s130，其具体实现方法可以参考步骤s130的相关描述，在此不再赘述。
该优化单元140配置为优化深度图中的待修复区域的像素的深度值。例如，该优化单元140可以实现步骤s140，其具体实现方法可以参考步骤s140的相关描述，在此不再赘述。
例如，在另一个示例中，该图像处理装置100还包括滤波单元和融合单元(图中未示出)。
该滤波单元配置为对深度图中待处理对象的区域以及深度图中待处理对象以外的背景区域进行平滑滤波。例如，该滤波单元可以实现步骤s150和步骤s160，其具体实现方法可以参考步骤s150和步骤s160的相关描述，在此不再赘述。
该融合单元配置为将经过平滑滤波后的深度图中待处理对象的区域和深度图中待处理对象以外的背景区域融合在一起。例如，该融合单元可以实现步骤s170，其具体实现方法可以参考步骤s170的相关描述，在此不再赘述。
需要注意的是，在本公开的实施例中，可以包括更多或更少的电路或单元，并且各个电路或单元之间的连接关系不受限制，可以根据实际需求而定。各个电路的具体构成方式不受限制，可以根据电路原理由模拟器件构成，也可以由数字芯片构成，或者以其他适用的方式构成。
图12为本公开一实施例提供的另一种图像处理装置的示意框图。如图12所示，该图像处理装置200包括处理器210、存储器220以及一个或多个计算机程序模块221。
例如，处理器210与存储器220通过总线系统230连接。例如，一个或多个计算机程序模块221被存储在存储器220中。例如，一个或多个计算机程序模块221包括用于执行本公开任一实施例提供的图像处理方法的指令。例如，一个或多个计算机程序模块221中的指令可以由处理器210执行。例如，总线系统230可以是常用的串行、并行通信总线等，本公开的实施例对此不作限制。
例如，该处理器210可以是中央处理单元(cpu)、图像处理器(gpu)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，可以为通用处理器或专用处理器，并且可以控制图像处理装置200中的其它组件以执行期望的功能。
存储器220可以包括一个或多个计算机程序产品，该计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。该易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。该非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器210可以运行该程序指令，以实现本公开实施例中(由处理器210实现)的功能以及/或者其它期望的功能，例如图像处理方法等。在该计算机可读存储介质中还可以存储各种应用程序和各种数据，例如预设阈值td以及应用程序使用和/或产生的各种数据等。
需要说明的是，为表示清楚、简洁，本公开实施例并没有给出该图像处理装置200的全部组成单元。为实现图像处理装置200的必要功能，本领域技术人员可以根据具体需要提供、设置其他未示出的组成单元，本公开的实施例对此不作限制。
关于不同实施例中的图像处理装置100和图像处理装置200的技术效果可以参考本公开的实施例中提供的图像处理方法的技术效果，这里不再赘述。
本公开一实施例还提供一种存储介质。例如，该存储介质非暂时性地存储计算机可读指令，当非暂时性计算机可读指令由计算机(包括处理器)执行时可以执行本公开任一实施例提供的图像处理方法。
例如，该存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含确定深度图中的待修复区域的计算机可读的程序代码，另一个计算机可读存储介质包含优化深度图中的待修复区域的像素的深度值的计算机可读的程序代码。例如，当该程序代码由计算机读取时，计算机可以执行该计算机存储介质中存储的程序代码，执行例如本公开任一实施例提供的图像处理方法。
例如，存储介质可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom)、便携式紧致盘只读存储器(cd-rom)、闪存、或者上述存储介质的任意组合，也可以为其他适用的存储介质。
有以下几点需要说明：
(1)本公开实施例附图只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。
(2)在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。
以上所述仅是本公开的示范性实施方式，而非用于限制本公开的保护范围，本公开的保护范围由所附的权利要求确定。
- 还没有人留言评论。精彩留言会获得点赞！