图像处理方法和装置与流程

本发明涉及图像处理技术领域，尤其涉及一种图像处理方法和装置。

背景技术：

随着移动终端的普及，越来越多的用户习惯于借助移动终端的拍照功能，来记录生活，留住回忆。为了使得图片根据用户的偏好度进行显示，目前已经出现了大量的美化图像软件，或配置有美化图像功能的终端。

在许多图像美化应用场景中，美化的重点对象往往是图像中的前景部分，例如，如人脸美化时，主要的美化对象为前景中的人脸。此外，在许多图像美化应用场景中，往往要求较高的图像分辨率与实时性，例如，对直播、魔镜等应用中视频图像的皮肤美化。现有技术中，普遍是对图像整体美化，不分区域不分重点地对全图处理，效率低效果差，并且不能同时实现支持高分辨率(如1080P)和较佳实时性。

技术实现要素：

为解决相关技术问题，本发明提供一种图像处理方法和装置，以解决图像处理时不能对图像分区域处理，以及不能同时支持高分辨率和较佳实时性的问题，实现对高精度图像分区处理和高效率高质量的图像处理。

为实现上述目的，本发明实施例采用如下技术方案：

第一方面，本发明实施例提供了一种图像处理方法，包括：

获取同一场景下的深度图像和RGB图像；

根据所述深度图像中的深度值分割所述RGB图像得到至少两个区域图像；

对所述至少两个区域图像中的至少一个区域图像进行下采样处理；

对下采样处理后的区域图像进行递归双边滤波处理；

将处理后的区域图像与所述RGB图像进行融合。

第二方面，本发明实施例还对应提供了一种图像处理装置，包括：

初始图像获取模块，用于获取同一场景下的深度图像和RGB图像；

区域图像分割模块，用于根据所述深度图像中的深度值分割所述RGB图像得到至少两个区域图像；

下采样模块，用于对所述至少两个区域图像中的至少一个区域图像进行下采样处理；

递归双边滤波模块，用于对下采样处理后的区域图像进行递归双边滤波处理；

图像融合模块，用于将处理后的区域图像与所述RGB图像进行融合。

本发明实施例提供的技术方案带来的有益效果：

本技术方案中，获取同一场景下的深度图像和RGB图像，根据深度图像中的深度值分割RGB图像得到至少两个区域图像，对至少两个区域图像中的至少一个区域图像进行下采样处理，对下采样处理后的区域图像进行递归双边滤波处理，将处理后的区域图像与RGB图像进行融合。通过对图像进行分区处理，对不同区域进行相同或不同处理，满足个性化需求，通过下采样处理将高分辨率图像转换为低分辨率图像，有效提高图像处理速度，通过递归双边滤波处理进一步提高了图像处理速度，达到较佳的实时效果，尤其对于高分辨率的视频图像，实现了对高清视频图像较佳的图像处理效果，并保证了图像处理速度，使得在对高清视频画面处理时不发生卡顿现象，提高用户体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据本发明实施例的内容和这些附图获得其他的附图。

图1是本发明实施例一提供的一种图像处理方法的流程示意图；

图2A是本发明实施例二提供的一种图像处理方法的流程示意图；

图2B是图2A中S220的可选实施方式的流程示意图；

图2C是图2A中S260的可选实施方式的流程示意图；

图2D是基于本发明实施例二所提供的分割RGB图像为两个区域图像的示意图；

图3是本发明实施例三提供的一种图像处理装置的架构示意图；

图4A是本发明实施例四提供的一种图像处理装置的架构示意图；

图4B是图4A中区域图像分割模块420的可选实施方式的架构示意图；

图4C是图4A中图像融合模块460的可选实施方式的架构示意图。

具体实施方式

为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案作进一步的详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

请参考图1，其是本发明实施例一提供的一种图像处理方法的流程示意图，该方法可以由智能手机、个人计算机等终端来执行，适用于对图像进行美化处理的场景。

本实施例的图像处理方法，可以包括如下步骤：

S110：获取同一场景下的深度图像和RGB图像。

示例性的，RGB图像可以理解为彩色图像，RGB图像的色彩是通过对红(Red，R)、绿(Green，G)、蓝(Blue，B)三个基准颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色。深度图像可以通过图像深度，即存储每个像素所用的位数，来表征图像的色彩分辨率，深度图像中的像素值的大小反映了景深的远近。在本实施例中，获取同一场景下的深度图像和RGB图像，能够获取更多更丰富的场景信息，以便通过图像数据进行更精准地图像处理。

一般地，获取到的图像与拍摄距离、拍摄角度、拍摄环境与拍摄时间等因素有关。因此，获取同一场景下的深度图像和RGB图像具体可以是，获取同一时刻下同一场景的深度图像和RGB图像。具体地，深度图像可由深度摄像头获取，RGB图像可由普通摄像头获取；当然，也可以通过同一摄像头获取深度图像和RGB图像。

S120：根据深度图像中的深度值分割RGB图像得到至少两个区域图像。

示例性的，根据深度图像中的深度值分割原始RGB图像得到至少两个区域图像可以是，根据深度图像的第一像素值确定原始RGB图像的第二像素值，进而根据第二像素值分割原始RGB图像得到至少两个区域图像。进一步地，还可以对分割出的区域图像进行标注。例如，基于区域图像的各像素点的像素值对各区域图像进行标注。可选的，同一图像区域的各像素点的像素值可以相同的数值标注。

举例来说，可以根据深度图像中的深度值分割原始RGB图像得到两个区域图像，其中，区域图像的各像素点的像素值可分别用1或者0表示；其中，1表示前景区域；0表示背景区域。一个图像中可以只有一个背景区域，可以有多个前景区域。

S130：对至少两个区域图像中的至少一个区域图像进行下采样处理。

示例性的，图像下采样可以缩小图像，生成原图像的缩略图，可将高分辨率的图像转换为低分辨率的图像，进而实现输入高分辨率图像时达到处理低分辨率图像的速度。可以根据实际的分割情况及用户的个性化需求选择对某一个或某几个区域图像进行下采样处理，当然也可以是根据默认设置对对应的区域图像进行下采样处理。可以根据区域图像的像素值为1或0，以及用户个性化需求处理前景区域和/或背景区域。优选的，可以默认设置对像素值为1的前景区域进行下采样处理。

需要说明的是，S130也可在S120之前执行，同样可以实现提高处理速度的目的，只是在S120中是依据像素值分割RGB图像，即图像分辨率对图像分割有影响，如果先执行S130会改变原图像的分辨率，则在对图像进行分割时可能会发生偏差，因此本实施例优选将S120在S130之前执行。

S140：对下采样处理后的区域图像进行递归双边滤波处理。

示例性的，尽管在S130采用了下采样技术，但是现有技术中的双边滤波技术仍然不能实现对高清视频图像的实时处理。为最大限度地提高对图像处理的速度，本实施例采用递归双边滤波技术替代现有技术中的双边滤波技术。

传统的双边滤波技术中，滤波器由两个函数构成，一个函数通过像素间的几何空间距离S_k,i＝S(k,i)决定滤波器系数，另一个函数通过像素间的像素差值R_k,i＝R(x_k,x_i)决定滤波器系数；

递归双边滤波与传统的双边滤波的处理方法类似，均按下述公式计算对第i个像素处理后的输出值：

其中，R_k,i表示像素k和像素i之间的像素差值，S_k,i表示像素k与像素i之间的几何空间距离，X_K表示像素k的像素值，y_i表示处理第i个像素后的输出值；

但递归双边滤波与传统的双边滤波的不同点在于，该公式中的即像素k和像素i之间像素差值的计算方法与传统的双边滤波中的计算方法不同。在此基础上即可以递归的方式实现双边滤波，降低计算复杂度，尤其对于高分辨率的图像，计算时间将大大减小。

S150：将处理后的区域图像与RGB图像进行融合。

示例性的，由于处理后的区域图像，可能针对全图的各个区域图像，也可能针对前景区域，因此为了同时兼顾计算效率与融合效果，可选是将处理后的区域图像与未经过任何处理的区域图像进行融合。该技术方案尤其适用于仅处理RGB图像分割后的个别区域图像的情况。

图像融合可包括像素级融合、特征级融合及决策级融合等。其中，像素级融合中有空间域算法和变换域算法，空间域算法中有多种融合规则方法，如逻辑滤波法，灰度加权平均法，对比调制法等；变换域算法中有金字塔分解融合法、小波变换法等。在本实施例中，将处理后的区域图像与所述RGB图像进行融合具体可以是，基于处理后的区域图像的像素值与所述RGB图像的像素值进行融合，以尽可能多地保存原始数据。

综上，在本技术方案中，获取同一场景下的深度图像和RGB图像，根据深度图像中的深度值分割RGB图像得到至少两个区域图像，对至少两个区域图像中的至少一个区域图像进行下采样处理，对下采样处理后的区域图像进行递归双边滤波处理，将处理后的区域图像与RGB图像进行融合。通过对RGB图像分割处理，能实现对不同区域进行相同或不同的处理，满足用户的个性化需求；通过对区域图像进行下采样处理及递归双边滤波处理，能大大提高处理速度，尤其对于高分辨率图像效果明显；将处理后的区域图像与原始RGB图像进行融合，能够有效减少图像处理后的失真，保存图像信息的完整性，且同时兼顾处理效率与融合效果。上述技术方案，可实现用户的个性化需求，极大提高图像处理速度，图像信息失真度小，尤其在处理高清视频画面时，大大减少画面卡顿现象。

实施例二

请参考图2A、2B、2C和2D，其中，图2A是本发明实施例二提供的一种图像处理方法的流程示意图。本实施例与实施例一的主要区别在于，增加了对递归双边滤波处理后的区域图像进行上采样处理的内容，并进一步提供了图2A中S220的可选实施方式及S260的可选实施方式。

本实施例的图像处理方法，可以包括如下步骤：

S210：获取同一场景下的深度图像和RGB图像。

S220：根据深度图像中的深度值分割RGB图像得到至少两个区域图像。

可选的，如图2B所示，S220可以包括下述S221、S222、S223和S224四个步骤，其中：

S221：计算深度图像的各像素点的第一坐标与RGB图像各像素点的第二坐标的映射矩阵。

示例性的，第一坐标与第二坐标的映射矩阵可以采用现有技术的方法进行计算，例如根据获取深度图像和RGB图像的摄像头的参数进行计算，也可以是获取深度图像与RGB图像中特征重合的部分，基于特征重合部分获取深度图像与RGB图像的特征之间的对应关系，进而根据特征之间的对应关系计算出映射矩阵。

S222：根据第二坐标、映射矩阵以及深度图像各像素点的第一深度值，确定RGB图像各像素点的第二深度值。

示例性的，可以是根据第二坐标和映射矩阵，确定与RGB图像各像素点对应的深度图像各像素点；将获取到的深度图像各像素点的第一深度值，作为与深度图像各像素点对应的RGB图像各像素点的第二深度值。示例性地，根据RGB图像各像素点的第一坐标和映射矩阵，确定与RGB图像各像素点对应的深度图像各像素点具体可以是，将RGB图像各像素点的坐标与映射矩阵相乘获得对应的深度图像各像素点的坐标。即将深度图像与RGB图像对齐，通过深度图像各像素点的深度值获取RGB图像各像素点的深度值。

S223：判断第二深度值是否大于预设的深度阈值，若是，则将与第二深度值对应的像素点的位置作为前景区域，若否，则将与第二深度值对应的像素点的位置作为背景区域。

示例性的，可以根据RGB图像中的各像素点的第二深度值，以及预设的深度阈值(或深度范围)，遍历RGB图像中的各像素点，将各像素点的第二深度值与深度阈值(或深度范围)进行比对，根据比对结果将RGB图像分割为两个区域图像。深度阈值可以是具体的一个点值，也可以是一个范围。深度阈值的具体数值或者数值区间，用户可以结合获取到的RGB图像的图像信息，根据实际需求进行设置，在此并不做限定。

在本实施例中，根据第二深度值和预设的规则分割原始RGB图像得到至少两个区域图像具体可以是，判断第二深度值是否大于预设的深度阈值，若是，则将与第二深度值对应的像素点的位置作为前景区域，若否，则将与第二深度值对应的像素点的位置作为背景区域；根据前景区域和背景区域，分割原始RGB图像得到两个区域图像。或者，也可以是获取位于深度阈值范围内的第二深度值对应的像素点的位置，作为前景区域，其余各像素点的位置的集合作为背景区域。

S224：根据判断结果，分割RGB图像得到至少两个区域图像。

示例性的，本方案中以RGB图像分割为两个区域图像为例，如图2D所示，若要将头像部分作为前景区域，其余部分作为背景区域，可以根据实际情况设定深度阈值范围，进而判断RGB图像中的各像素点的第二深度值是否处于预设的深度阈值范围内，若是，则将该像素点作为前景区域即头像部分的像素点，若未处于预设的深度阈值范围内，则将该像素点作为背景区域的像素点。其中，前景区域各像素点的像素值可以均标记为1(图2D中黑色区域)；将其余各像素点的集合作为背景区域，背景区域各像素点的像素值可以均标记为0(图2D中网格区域)。进而，可以根据各像素点的像素值分别对前景区域和/或背景区域进行处理。需要说明的是，图2D中的网格仅仅用于表示背景区域的像素值均标记为0，不表示背景区域真实存在网格。

在实际的操作过程中，获得的所要处理的区域图像可能会受到深度图像的噪声的影响而呈现一些漏洞状的区域，此时可以通过膨胀腐蚀操作填补这些区域，得到最终的区域图像。

可以理解的是，至少两个区域图像包括两个、三个及更多个区域图像。这样设置的好处，可以实现对图像的分区处理或局部处理，能够提高图像处理的效率，丰富图像处理的效果。

S230：对至少两个区域图像中的至少一个区域图像进行下采样处理。

S240：对下采样处理后的区域图像进行递归双边滤波处理。

S250：对递归双边滤波处理后的区域图像进行上采样处理。

示例性的，由于在上述S230中，对要进行处理的区域图像执行了下采样操作，降低了图像的分辨率，为使得处理后的图像与原图像有更好的融合效果，需要还原被处理后的区域图像的分辨率，即将递归双边滤波处理后的低分辨率区域图像转换为与原图像分辨率相同的图像。

本实施例采用上采样的方法放大递归双边滤波处理后的区域图像，使得被处理后的区域图像的分辨率与原图像的分辨率相同。图像上采样通常使用内插值方法，即在递归双边滤波处理后的区域图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。

S260：将处理后的区域图像与RGB图像进行融合。

可选的，如图2C所示，S260可以包括S261、S262和S263三个步骤，其中：

S261：对处理后的区域图像进行高斯平滑处理，获取区域图像各像素点的平滑像素值。

示例性的，在RGB图像分割时，可以使得分割后的RGB图像的大小与原始RGB图像的大小一致，分割后的RGB图像的像素点与原始RGB图像的像素点一一对应，进一步地，分割后的RGB图像中的每个像素点的像素值可仅采用1或者0表示，分别代表该像素所对应的RGB图像的位置是否为要处理的区域图像。如上，如果分割成2个区域图像，可以采用1表示前景区域；0表示背景区域。在此基础上，对上述分割图像进行高斯平滑，这样得到的分割图像的像素值a(x，y)则可能取0-1之间的任意值。该操作可以有效去除图像中的噪声，保证图像品质。

S262：根据平滑像素值与RGB图像各像素点的像素值，计算融合图像的融合像素值。

示例性的，可以将平滑像素值与RGB图像各像素点的像素值进行加权后求和，计算出融合图像的融合像素值。举例而言，假设处理后的区域图像的平滑像素值为I_B(x，y)，原始RGB图像各像素点的像素值为I_O(x，y)，此时，可以将I_B(x，y)与I_O(x，y)进行加权后，求和，得到最终的融合图像的融合像素值I_R(x，y)，即I_R(x，y)＝I_B(x，y)*a(x，y)+I_O(x，y)*{1-a(x，y)}。其中，a(x，y)表示平滑像素值的权重。可以理解的是，a(x，y)的具体取值可以根据实际情况设置，可以为固定值，也可以通过其他参数计算得出，在此并不做限定。

S263：根据融合像素值输出融合图像。

综上，在本技术方案中，获取同一场景下的深度图像和RGB图像，根据深度图像中的深度值分割RGB图像得到至少两个区域图像，对至少两个区域图像中的至少一个区域图像进行下采样处理，对下采样处理后的区域图像进行递归双边滤波处理，对递归双边滤波处理后的区域图像进行上采样处理，将处理后的区域图像与RGB图像进行融合。通过对RGB图像分割处理，能实现对不同区域进行相同或不同的处理，满足用户的个性化需求；通过对区域图像进行下采样处理、递归双边滤波处理及上采样处理，能大大提高处理速度，尤其对于高分辨率图像效果明显；将处理后的区域图像与原始RGB图像进行融合，能够有效减少图像处理后的失真，保存图像信息的完整性，且同时兼顾处理效率与融合效果。上述技术方案，可实现用户的个性化需求，极大提高图像处理速度，图像信息失真度小，尤其在处理高清视频画面时，大大减少画面卡顿现象。

以下为本发明实施例提供的图像处理装置的实施例，图像处理装置与上述图像处理方法属于一个总的发明构思，在图像处理装置的实施例中未详尽描述的细节内容，请参考上述图像处理方法的实施例。

实施例三

请参考图3，其是本发明实施例三提供的一种图像处理装置的架构示意图。

本实施例的图像处理装置300，可以包括如下内容：

初始图像获取模块310，用于获取同一场景下的深度图像和RGB图像。

区域图像分割模块320，用于根据深度图像中的深度值分割RGB图像得到至少两个区域图像。

下采样模块330，用于对至少两个区域图像中的至少一个区域图像进行下采样处理。

递归双边滤波模块340，用于对下采样处理后的区域图像进行递归双边滤波处理。

优选的，对下采样处理后的区域图像进行递归双边滤波处理，具体按如下公式进行处理：

其中，表示像素k和像素i之间的像素差值，S_k,i表示像素k与像素i之间的几何空间距离，X_K表示像素k的像素值，y_i表示处理第i个像素后的输出值。

图像融合模块350，用于将处理后的区域图像与RGB图像进行融合。

综上，在本技术方案中，获取同一场景下的深度图像和RGB图像，根据深度图像中的深度值分割RGB图像得到至少两个区域图像，对至少两个区域图像中的至少一个区域图像进行下采样处理，对下采样处理后的区域图像进行递归双边滤波处理，将处理后的区域图像与RGB图像进行融合。通过对RGB图像分割处理，能实现对不同区域进行相同或不同的处理，满足用户的个性化需求；通过对区域图像进行下采样处理及递归双边滤波处理，能大大提高处理速度，尤其对于高分辨率图像效果明显；将处理后的区域图像与原始RGB图像进行融合，能够有效减少图像处理后的失真，保存图像信息的完整性，且同时兼顾处理效率与融合效果。上述技术方案，可实现用户的个性化需求，极大提高图像处理速度，图像信息失真度小，尤其在处理高清视频画面时，大大减少画面卡顿现象。

实施例四

请参考图4A、4B和4C，其中，图4A是本发明实施例四提供的一种图像处理装置的架构示意图。本实施与实施例三的主要区别在于，增加了上采样模块450，并进一步提供了图4A中区域图像分割模块420的可选实施方式和图像融合模块460的可选实施方式。

本实施例的图像处理装置400，可以包括如下内容：

初始图像获取模块410，用于获取同一场景下的深度图像和RGB图像。

区域图像分割模块420，用于根据深度图像中的深度值分割RGB图像得到至少两个区域图像。

下采样模块430，用于对至少两个区域图像中的至少一个区域图像进行下采样处理。

递归双边滤波模块440，用于对下采样处理后的区域图像进行递归双边滤波处理。

上采样模块450，用于对递归双边滤波处理后的区域图像进行上采样处理。

图像融合模块460，用于将处理后的区域图像与RGB图像进行融合。

优选的，如图4B所示，区域图像分割模块420，包括：

映射矩阵计算单元421，用于计算深度图像的各像素点的第一坐标与RGB图像各像素点的第二坐标的映射矩阵。

第二深度值确定单元422，用于根据第二坐标、映射矩阵以及深度图像各像素点的第一深度值423，确定RGB图像各像素点的第二深度值。

区域图像判断单元423，用于判断第二深度值是否大于预设的深度阈值，若是，则将与第二深度值对应的像素点的位置作为前景区域，若否，则将与第二深度值对应的像素点的位置作为背景区域。

区域图像分割单元424，用于根据判断结果，分割RGB图像得到至少两个区域图像。

优选的，如图4C所示，图像融合模块460包括：

高斯平滑处理单元461，用于对处理后的区域图像进行高斯平滑处理，获取区域图像各像素点的平滑像素值。

融合像素值计算单元462，用于根据平滑像素值与RGB图像各像素点的像素值，计算融合图像的融合像素值。

融合图像输出单元463，用于根据融合像素值输出融合图像。

综上，在本技术方案中，获取同一场景下的深度图像和RGB图像，根据深度图像中的深度值分割RGB图像得到至少两个区域图像，对至少两个区域图像中的至少一个区域图像进行下采样处理，对下采样处理后的区域图像进行递归双边滤波处理，对递归双边滤波处理后的区域图像进行上采样处理，将处理后的区域图像与RGB图像进行融合。通过对RGB图像分割处理，能实现对不同区域进行相同或不同的处理，满足用户的个性化需求；通过对区域图像进行下采样处理、递归双边滤波处理及上采样处理，能大大提高处理速度，尤其对于高分辨率图像效果明显；将处理后的区域图像与原始RGB图像进行融合，能够有效减少图像处理后的失真，保存图像信息的完整性，且同时兼顾处理效率与融合效果。上述技术方案，可实现用户的个性化需求，极大提高图像处理速度，图像信息失真度小，尤其在处理高清视频画面时，大大减少画面卡顿现象。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。