基于景深的人像色彩的处理方法、处理装置和电子装置与流程

本发明涉及成像技术，特别涉及一种基于景深的人像色彩的处理方法、处理装置和电子装置。

背景技术：

相关技术中，需要根据肤色特征对人物照片中的人像色彩进行调整，在肤色特征不明显时，调整效果较差，甚至无法进行调整，用户体验较差。

技术实现要素：

本发明的实施方式提供一种基于景深的人像色彩的处理方法、处理装置和电子装置。

本发明实施方式的基于景深的人像色彩的处理方法，用于处理成像装置采集的场景数据，所述场景数据包括场景主图像，所述处理方法包括以下步骤：

根据所述场景数据的深度信息识别所述场景主图像中的人像区域；

根据所述人像区域获取所述人像区域中的服饰色彩参数；和

根据所述服饰色彩参数和预设处理方式处理所述人像区域中人脸区域的色彩参数以得到优化图像。

本发明实施方式的基于景深的人像色彩的处理装置，用于控制成像装置采集的场景数据，所述场景数据包括场景主图像，所述处理装置包括：

第一识别模块，用于根据所述场景数据的深度信息识别所述场景主图像中的人像区域；

第一获取模块，用于根据所述人像区域获取所述人像区域中的服饰色彩参数；和

处理模块，用于根据所述服饰色彩参数和预设处理方式处理所述人像区域中人脸区域的色彩参数以得到优化图像。

本发明实施方式的电子装置，包括成像装置；和所述的处理装置，所述图像处理装置和所述成像装置电连接。

本发明基于景深的人像色彩的处理方法、处理装置和电子装置，基于服装的色彩信息及相对应的预处理方式对包含人像的图像中的人脸区域做相应的色彩参数，使得人脸区域的色彩参数处理与被摄场景等更加匹配，并且无需根据肤色特征进行色彩调整，效果更佳，用户体验较好。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本发明实施方式的处理方法的流程示意图。

图2是本发明实施方式的处理装置的功能模块示意图。

图3是本发明某些实施方式的处理方法的状态示意图。

图4是本发明某些实施方式的处理方法的流程示意图。

图5是本发明某些实施方式的处理装置的功能模块示意图。

图6是本发明某些实施方式的处理方法的状态示意图。

图7是本发明某些实施方式的处理方法的流程示意图。

图8是本发明某些实施方式的处理装置的功能模块示意图。

图9是本发明某些实施方式的处理方法的流程示意图。

图10是本发明某些实施方式的处理装置的功能模块示意图。

图11是本发明某些实施方式的处理方法的流程示意图。

图12是本发明某些实施方式的处理装置的功能模块示意图。

图13是本发明某些实施方式的处理方法的流程示意图。

图14是本发明某些实施方式的处理装置的功能模块示意图。

图15是本发明某些实施方式的处理方法的流程示意图。

图16是本发明某些实施方式的处理装置的功能模块示意图。

图17是本发明实施方式的电子装置的功能模块示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的实施方式在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

请参阅图1，本发明实施方式的基于景深的人像色彩的处理方法，用于处理成像装置采集的场景数据。场景数据包括场景主图像。处理方法包括以下步骤：

s10：根据场景数据的深度信息识别场景主图像中的人像区域；

s20：根据人像区域获取人像区域中的服饰色彩参数；和

s30：根据服饰色彩参数和预设处理方式处理人像区域中人脸区域的色彩参数以得到优化图像。

请参阅图2，本发明实施方式的处理装置100包括第一识别模块10、第一获取模块20和处理模块30。作为例子，本发明实施方式的人像色彩的处理方法可以由本发明实施方式的处理装置100实现。

其中，本发明实施方式的处理方法的步骤s10可以由有第一识别模块10实现，步骤s20可以由第一获取模块20实现，步骤s30可以由处理模块30实现。

也即是说，第一识别模块10用于根据场景数据的深度信息识别场景主图像中的人像区域。第一获取模块20用于根据人像区域获取人像区域中的服饰色彩参数。处理模块30用于根据服饰色彩参数和预设处理方式处理人像区域中人脸区域的色彩参数以得到优化图像。

本发明实施方式的处理装置100可应用于本发明实施方式的电子装置1000，也即是说，本发明实施方式的电子装置1000包括本发明实施方式的处理装置100。当然，本发明实施方式的电子装置1000还包括成像装置200。其中，处理装置100和成像装置200电连接。成像装置200可以是电子装置1000的前置或后置摄像头。

一般地，在包含人像的图像拍摄后往往需要对人像区域进行色彩处理，从而使得图像的视觉感受更佳，通常，人像色彩的调整多根据皮肤颜色特征来进行调整。然而，在皮肤颜色特征不明显时将无法进行相应的人像色彩调整，此外，对不同拍摄中的人像采用相同的调整策略适应度较差，调整后视觉效果不佳，用户体验较差。

请参阅图3，本发明实施方式的基于景深的人像色彩的处理方法，识别被摄场景中是否存在人像，在存在人像时，将人像区域识别出，并根据所获取的人像区域中的服饰的色彩参数以及相对应的预设处理方式对人脸进行色彩参数的调整从而得到优化图像。例如，当服饰的颜色为鲜艳的色系或暖色系时，相对应的预设处理方式可以是使得人脸的色彩参数调整与服饰的颜色趋向相同，例如可使得调整后的肤色红润，调节的参数包括但不限于饱和度、亮度、色温等与图像色彩相关的参数。又如，当服饰为较为朴素的色系或冷色系时，相应的预处理方式可以是使得调整后的肤色趋向白皙。

本发明实施方式的图像饱和度的处理方法、处理装置100和电子装置1000，基于服装的色彩信息及相对应的预处理方式对包含人像的图像中的人脸区域做相应的色彩参数，使得人脸区域的色彩参数处理与被摄场景等更加匹配，并且无需根据肤色特征进行色彩调整，效果更佳，用户体验较好。

在某些实施方式中，电子装置1000包括手机、平板电脑、智能手环、智能头盔、智能眼镜等，在此不作限制。在本发明的具体实施例中，电子装置1000为手机。

可以理解，手机常用于拍摄图像，采用本发明实施方式的图像饱和度的处理方法进行人像色彩处理可以使得图像具有较好的视觉效果，提升用户体验。

请参阅图4，在某些实施方式中，步骤s10包括以下步骤：

s12：处理场景主图像以判断是否存在人脸区域；

s14：在存在所述人脸区域时识别所述人脸区域；和

s16：根据所述场景数据的深度信息和所述人脸区域确定所述人像区域。

请参阅图5，在某些实施方式中，第一识别模块10包括：处理子模块12、识别子模块14和确定子模块16。步骤s12可以由处理子模块12实现，步骤s14可以由识别子模块14实现，步骤s16可以由确定子模块16实现。或者说，处理子模块12用于处理场景主图像以判断是否存在人脸区域。识别子模块14用于在存在人脸区域时识别人脸区域。确定子模块16用于根据场景数据的深度信息和人脸区域确定人像区域。

可以理解，人脸区域是人像区域的一部分，也即是说，人像区域的深度信息和人脸区域的深度信息同处于一个深度范围内。因此，在识别出人脸区域后，可以根据人脸区域即人脸区域的深度信息确定人像区域。

较佳地，对于人脸区域的识别过程，可以采用已经训练好的基于彩色信息和深度信息的深度学习模型检测场景主图像中是否存在人脸。深度学习模型在给定训练集时，训练集中的数据包括人脸的彩色信息和深度信息。因此，训练过后的深度学习模型可以根据当前场景的彩色信息和深度信息推断当前场景中是否存在人脸区域。由于人脸区域的深度信息的获取不易受光照等环境因素的影响，可以提升人脸检测和识别的准确性。

请参阅图7，在某些实施方式中，步骤s16包括以下步骤：

s161：处理场景数据以获得人脸区域的深度信息；和

s162：根据人脸区域和人脸区域的深度信息确定人像区域。

请参阅图8，在某些实施方式中，确定子模块16包括处理单元161和确定单元162。步骤s161可以由处理单元161实现，步骤s162可以由确定单元162实现。或者说，处理单元161用于处理场景数据以获得人脸区域的深度信息，确定单元162用于根据人脸区域和人脸区域的深度信息确定人像区域。

可以理解，由于人像区域的深度信息和人脸区域的深度信息同处于一个深度范围内，处理场景数据获取到人脸区域的深度信息后，便可根据人脸区域的深度信息确定人像区域的深度信息，从而进一步确定人像区域。

请参阅图9，在某些实施方式中，场景数据包括与场景主图像对应的深度图像，步骤s161包括以下步骤：

s1611：处理深度图像以获取人脸区域的深度数据；和

s1612：处理深度数据以获取人脸区域的深度信息。

请参阅图10，在某些实施方式中，场景数据包括与场景主图像对应的深度图像，处理单元161包括第一处理子单元1611和第二处理子单元1612。步骤s1611可以由第一处理子单1611实现，步骤s1612可以由第二处理子单元1612实现。或者说，第一处理子单元241用于处理深度图像以获取人脸区域的深度数据。第二处理子单元242用于处理深度数据以获取人脸区域的深度信息。

场景内各个人、物相对于成像装置200的距离可以用深度图像来表征，深度图像中的每个像素值也即是深度数据表示场景中某一点与成像装置的200的距离，根据组成场景中的人或物的点的深度数据即可获知相应的人或物的深度信息。深度信息通常可以反映场景内的人或物的空间位置信息。

可以理解，场景数据包括与场景主图像对应的深度图像。其中，场景主图像为rgb彩色图像，深度图像包含场景中各个人或物体的深度信息。由于场景主图像的色彩信息与深度图像的深度信息是一一对应的关系，因此，若检测到人脸区域，即可在对应的深度图像中获取到人脸区域的深度信息。

需要说明的是，由于人脸区域包括鼻子、眼睛、耳朵等特征，因此，在深度图像中，人脸区域中鼻子、耳朵、眼睛等特征在深度图像中对应的深度数据是不同的，例如对于人脸正对成像装置200的情况下所拍摄得的深度图像中，鼻子对应的深度数据可能较小，而耳朵对应的深度数据可能较大。因此，在某些示例中，处理人脸区域的深度数据得到的人脸区域的深度信息可能为一个数值或一个数值范围。其中，当人脸区域的深度信息为一个数值时，该数值可通过对人脸区域的深度数据求取平均值得到，或通过人脸区域的深度数据求中值得到。

在某些实施方式中，成像装置200包括深度摄像头。深度摄像头可用来获取深度图像。其中，深度摄像头包括基于结构光深度测距的深度摄像头和基于tof测距的深度摄像头。

具体地，基于结构光深度测距的深度摄像头包括摄像头和投射器。投射器将一定模式的光结构投射到当前待拍摄的场景中，在场景中的各个人或物体表面形成由该场景中的人或物调制后的光条三维图像，再通过摄像头探测上述的光条三维图像即可获得光条二维畸变图像。光条的畸变程度取决于投射器与摄像头之间的相对位置以及当前待拍摄场景中的各个人或物体的表面形廓或高度。由于深度摄像头中的摄像头和投射器之间的相对位置是一定的，因此，由畸变的二维光条图像坐标便可重现场景中各个人或物体的表面三维轮廓，从而可以获取深度信息。结构光深度测距具有较高的分辨率和测量精度，可以提升获取的深度信息的精确度。

基于tof(timeofflight)测距的深度摄像头是通过传感器记录从发光单元发出的调制红外光发射到物体，再从物体反射回来的相位变化，在一个波长的范围内根据光速，可以实时的获取整个场景深度距离。当前待拍摄的场景中各个人或物体所处的深度位置不一样，因此调制红外光从发出到接收所用时间是不同的，如此，便可获取场景的深度信息。基于tof深度测距的深度摄像头计算深度信息时不受被摄物表面的灰度和特征的影响，且可以快速地计算深度信息，具有很高的实时性。

请参阅图11，在某些实施方式中，场景数据包括与场景主图像对应的场景副图像，步骤s161包括以下步骤：

s1613：处理场景主图像和场景副图像以得到人脸区域的深度数据；和

s1614：处理深度数据以得到人脸区域的深度信息。

请参阅图12，在某些实施方式中，场景数据包括与场景主图像对应的场景副图像，处理单元161包括第三处理子单元1613和第四处理子单元1614。步骤s1613可以由第三处理子单元1613实现，步骤s1614可以由第四处理子单元1614实现。或者说，第三处理子单元1613用于处理场景主图像和场景副图像以得到人脸区域的深度数据。第四处理子单元18用于处理深度数据以得到深度信息。

在某些实施方式中，成像装置200包括主摄像头和副摄像头。

可以理解，深度信息可以通过双目立体视觉测距方法进行获取，此时场景数据包括场景主图像和场景副图像。其中，场景主图像由主摄像头拍摄得到，场景副图像由副摄像头拍摄得到，且场景主图像与场景副图像均为rgb彩色图像。在一些示例中，主摄像头和副摄像头可以是相同规格的两个摄像头，双目立体视觉测距是运用两个规格相同的摄像头对同一场景从不同的位置成像以获得场景的立体图像对，再通过算法匹配出立体图像对的相应像点，从而计算出视差，最后采用基于三角测量的方法恢复深度信息。在另一些示例中，主摄像头与副摄像头可以是不同规格的摄像头，主摄像头用于获取当前场景彩色信息，副摄像头则用于记录场景的深度数据。如此，通过对场景主图像和场景副图像这一立体图像对进行匹配便可获得人脸区域的深度数据。随后，对人脸区域的深度数据进行处理获得人脸区域的深度信息。由于人脸区域中包含有多个特征，各个特征对应的深度数据可能不一样，因此，人脸区域的深度信息可以为一个数值范围；或者，可对深度数据进行求平均值处理以得到人脸区域的深度信息，或取深度数据的中值以获得人脸区域的深度信息。

请参阅图13，在某些实施方式中，步骤s162包括以下步骤：

s1621：根据人脸区域的深度信息设定预设深度范围；

s1622：根据预设深度范围确定与人脸区域相连接且落入预设深度范围内的初始人像区域；

s1623：划分初始人像区域为多个子区域；

s1624：获取各个子区域的各个像素点的灰度值；

s1625：在每个子区域中选取一个像素点作为原点；

s1626：判断各个子区域中除原点外的其他像素点与原点的灰度值之差是否大于预定阈值；和

s1627：将所有与原点的灰度值之差小于预定阈值的像素点归并为人像区域。

请参阅图14，在某些实施方式中，确定单元162包括设定子单元1621、确定子单元1622、划分子单元1623、获取子单元1624、选取子单元1625、判断子单元1626和归并子单元1627。步骤s1621可以由设定子单元1621实现，步骤s1622可以由确定子单元1622实现，步骤s1623可以由划分子单元1623实现，步骤s1624可以由获取子单元1624实现，步骤s1625可以由选取子单元1625实现，步骤s1626可以由判断子单元1626实现，步骤s1627可以由1627实现。或者说，设定子单元1621用于根据人脸区域的深度信息设定预设深度范围。确定子单元1622用于根据预设深度范围确定与人脸区域相连接且落入预设深度范围内的初始人像区域。划分子单元1623用于划分初始人像区域为多个子区域。获取子单元1624用于获取各个子区域的各个像素点的灰度值。选取子单元1625用于在每个子区域中选取一个像素点作为原点。判断子单元1626用于判断各个子区域中除原点外的其他像素点与原点的灰度值之差是否大于预定阈值。归并子单元1627用于将所有与原点的灰度值之差小于预定阈值的像素点归并为人像区域。

具体地，基于人脸区域属于人像区域的一部分的特点可根据人脸区域的深度信息设定一个预设深度范围并根据这个预设深度范围确定一个初始人像区域。由于拍摄场景中可能有其他物体如盆栽等与人体同在一个深度位置，因此，可以利用区域生长法对初始人像区域进行进一步的修正。区域生长法是从区域的某个像素点开始，按照一定的判定准则，向四周扩展以逐步加入邻近像素。具体地，可将初始人像区域划分为多个子区域，并计算出各个子区域的各个像素点的灰度值，再从各个子区域中选取一个像素点作为原点，从原点向四周扩展将与原点的灰度值之差小于预定阈值的像素点均归并为人像区域。如此，可以修正初始人像区域，去除与人像区域落入同一深度范围内的其他物体。

请参阅图15，在某些实施方式中，处理方法还包括以下步骤：

s40：识别场景主图像除人像区域外的背景部分；

s50：获取背景部分的背景色彩参数；

步骤s30还包括步骤：

s32：根据服饰色彩参数、背景色彩参数和预设处理方式处理人像区域中人脸区域的色彩参数以得到优化图像。

在某些实施方式中，处理装置100还包括第二识别模块40和第二获取模块50。步骤s40可以由第二识别模块40实现，步骤s50可以由第二获取模块50实现，步骤s32可以由处理模块30实。或者说第二识别模块40用于识别场景主图像除人像区域外的背景部分。第二获取模块50用于获取背景部分的背景色彩参数。

具体地，在确定人像区域后，可将剩余部分作为背景部分，此处的背景部分应当做广义理解，也即是除人像区域外的全部区域，而并非仅是深度信息大于人像区域的区域。可以理解，对人像的处理不仅要考虑到服饰的色彩参数，还应当考虑到拍摄场景或者说背景的色彩参数，例如背景主要以天空或大海等蓝色为主的色彩时，可根据其色彩参数将人脸区域的肤色的饱和度适当提高，并提高亮度，从而得到优化图像。

在某些实施方式中，预设处理方式包括：提高人脸区域饱和度、降低人脸区域饱和度和提高人脸区域的亮度中的一种或多种。

可以理解，每个用户对图像的视觉感受均不相同，因此电子装置1000出厂前可预置某些场景的预设处理方式，后期用户在使用中也可根据需求自行添加从而满足拍摄需求。

请参阅图17，本发明实施方式的电子装置1000包括壳体300、处理器400、存储器500、电路板600和电源电路700。其中，电路板600安置在壳体300围成的空间内部，处理器400和存储器500设置在电路板上；电源电路700用于为电子装置1000的各个电路或器件供电；存储器500用于存储可执行程序代码；处理器400通过读取存储器500中存储的可执行程序代码来运行与可执行程序代码对应的程序以实现上述的本发明任一实施方式的人像色彩的处理方法。在对场景主图像进行处理的过程中，处理器400用于执行以下步骤：

根据场景数据的深度信息识别场景主图像中的人像区域；

根据人像区域获取人像区域中的服饰色彩参数；和

根据服饰色彩参数和预设处理方式处理人像区域中人脸区域的色彩参数以得到优化图像。

需要说明的是，前述对处理方法和处理装置100的解释说明也适用于本发明实施方式的电子装置1000，此处不再赘述。

本发明实施方式的计算机可读存储介质，具有存储于其中的指令，当电子装置1000的处理器400执行指令时，电子装置1000执行本发明实施方式的处理方法，前述对人像色彩的处理方法和处理装置100的解释说明也适用于本发明实施方式的计算机可读存储介质，此处不再赘述。

综上所述，本发明实施方式的电子装置1000和计算机可读存储介质，基于服装的色彩信息及相对应的预处理方式对包含人像的图像中的人脸区域做相应的色彩参数，使得人脸区域的色彩参数处理与被摄场景等更加匹配，并且无需根据肤色特征进行色彩调整，效果更佳，用户体验较好。

在本发明的实施方式的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明的实施方式的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明的实施方式中的具体含义。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施方式进行变化、修改、替换和变型。