基于深度的人体美化方法和装置及电子装置与流程

本发明涉及图像处理技术，尤其涉及一种基于深度的人体美化方法和装置及电子装置。

背景技术：

相关技术中，对人物照片进行美白、、瘦脸、瘦腰等美化处理时需要用户手动操作，例如用户需要点选脸部进行美白、瘦脸，然后点选腰部进行瘦腰处理，用户体验较差。

技术实现要素：

本发明的实施例提供了一种基于深度的人体美化方法、基于深度的人体美化装置和电子装置。

本发明实施方式的基于深度的人体美化方法，用于处理电子装置采集的场景数据。场景数据包括场景主图像。人体美化方法包括以下步骤：

根据所述场景数据的深度信息识别所述场景主图像中的人像区域；

根据所述人像区域识别脸部区域和/或人物肢体区域；和

根据预设处理方式处理所述脸部区域和/或所述人物肢体区域以得到人体美化图像。

本发明实施方式的基于深度的人体美化装置包括第一识别模块、第二识别模块和处理模块。第一识别模块用于根据所述场景数据的深度信息识别所述场景主图像中的人像区域；第二识别模块用于根据所述人像区域识别脸部区域和/或人物肢体区域；处理模块用于根据预设处理方式处理所述脸部区域和/或所述人物肢体区域以得到人体美化图像。

本发明实施方式的电子装置包括成像装置和上述的人体美化装置。所述人体美化装置和所述成像装置点连接。

本发明实施方式的基于深度的人体美化方法、基于深度的人体美化装置和电子装置基于深度信息进行人体的脸部及肢体等部位的准确识别，并根据识别到的脸部及肢体信息进行美白、瘦脸、瘦腰等人体美化处理，无需用户手动操作即可实现人体的自动美化，提升用户的使用体验。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本发明实施方式的基于深度的人体美化方法的流程示意图；

图2是本发明实施方式的电子装置的功能模块示意图；

图3是本发明实施方式的人体美化方法的状态示意图；

图4是本发明某些实施方式的人体美化方法的流程示意图；

图5是本发明某些实施方式的第一识别模块的功能模块示意图；

图6是本发明某些实施方式的人体美化方法的状态示意图；

图7是本发明某些实施方式的人体美化方法的流程示意图；

图8是本发明某些实施方式的第一确定子模块的功能模块示意图；

图9是本发明某些实施方式的人体美化方法的流程示意图；

图10是本发明某些实施方式的处理单元的功能模块示意图；

图11是本发明某些实施方式的人体美化方法的流程示意图；

图12是本发明某些实施方式的处理单元的功能模块示意图；

图13是本发明某些实施方式的人体美化方法的流程示意图；

图14是本发明某些实施方式的确定单元的功能模块示意图；

图15是本发明某些实施方式的人体美化方法的状态示意图；

图16是本发明某些实施方式的人体美化方法的流程示意图；

图17是本发明某些实施方式的人体美化装置的功能模块示意图；

图18是本发明某些实施方式的人体美化方法的流程示意图；和

图19是本发明某些实施方式的第二识别模块的功能模块示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

请一并参阅图1至2，本发明实施方式的基于深度的人体美化方法，用于处理电子装置100采集的场景数据。场景数据包括场景主图像。人体美化方法包括以下步骤：

s11：根据场景数据的深度信息识别场景主图像中的人像区域；

s13：根据人像区域识别脸部区域和/或人物肢体区域；和

s15：根据预设处理方式处理脸部区域和/或人物肢体区域以得到人体美化图像。

本发明实施方式的基于深度的人体美化方法可以由本发明实施方式的基于深度的人体美化装置10实现。本发明实施方式的基于深度的人体美化装置10包括第一识别模块11、第二识别模块13和处理模块15。步骤s11可以由第一识别模块11实现，步骤s13可以由第二识别模块13实现，步骤s15可以由处理模块15实现。

也即是说，第一识别模块11用于根据场景数据的深度信息识别场景主图像中的人像区域；第二识别模块13用于根据人像区域识别脸部区域和/或人物肢体区域；处理模块15根据预设处理方式处理脸部区域和/或人物肢体区域以得到人体美化图像。

本发明实施方式的人体美化装置10可以应用于本发明实施方式的电子装置100。也即是说，本发明实施方式的电子装置100包括本发明实施方式的人体美化装置10。当然，本发明实施方式的电子装置100还包括成像装置20。其中，人体美化装置10和成像装置20电连接。

在某些实施方式中，电子装置100包括手机、平板电脑、笔记本电脑、智能手环、智能手表、智能眼镜、智能头盔等，在此不做任何限制。在本发明的具体实施例中，电子装置100包括手机。

在某些实施方式中，预设处理方式包括人脸美白、磨皮、瘦脸、瘦腰和/或瘦腿处理方式。

请参阅图3，可以理解，传统的人体美化方无法智能地对人体进行美化处理，需要用户点选相应的人体部位再进行美化处理，用户体验较差。本发明实施方式的人体美化方法首先根据深度信息识别出人体的脸部及肢体等部位，并根据预设的处理方式对脸部或肢体进行例如瘦脸、美白、瘦腰等美化处理。一方面，基于深度信息的脸部及肢体识别由于不受光照等环境因素的影响，识别的效率和准确度较高。另一方面，无需用户手动操作即可实现人体的自动美化，提升用户的使用体验。

请参阅图4，在某些实施方式中，步骤s11根据场景数据的深度信息识别场景主图像中的人像区域包括以下步骤：

s111：处理所场景主图像以判断是否存在人脸区域；

s112：在存在人脸区域时识别人脸区域；和

s113：根据场景数据的深度信息和人脸区域确定人像区域。

请参阅图5，在某些实施方式中，第一识别模块11包括判断子模块111、识别子模块112和第一确定子模块113。捕捉s111可以由判断子模块111实现，步骤s112可以由识别子模块112实现，步骤s113可以由第一确定子模块113实现。

也即是说，判断子模块111用于处理所场景主图像以判断是否存在人脸区域；识别子模块112用于在存在人脸区域时识别人脸区域；第一确定子模块113用于根据场景数据的深度信息和人脸区域确定人像区域。

请参阅图6，可以理解，人脸区域是人像区域的一部分，也即是说，人像区域的深度信息和人脸区域的深度信息同处于一个深度范围内。因此，在识别出人脸区域后，可以根据人脸区域即人脸区域的深度信息确定人像区域。

较佳地，对于人脸区域的识别过程，可以采用已经训练好的基于彩色信息和深度信息的深度学习模型检测场景主图像中是否存在人脸。深度学习模型在给定训练集时，训练集中的数据包括人脸的彩色信息和深度信息。因此，训练过后的深度学习模型可以根据当前场景的彩色信息和深度信息推断当前场景中是否存在人脸区域。由于人脸区域的深度信息的获取不易受光照等环境因素的影响，可以提升人脸检测和识别的准确性。

请参阅图7，在某些实施方式中，步骤s113根据场景数据的深度信息和人脸区域确定人像区域包括以下步骤：

s1131：处理场景数据以获得人脸区域的深度信息；和

s1132：根据人脸区域和人脸区域的深度信息确定人像区域。

请参阅图8，在某些实施方式中，第一确定子模块113包括处理单元1131和确定单元1132。步骤s1131可以由处理单元1131实现，步骤s1132可以由确定单元1132实现。

也即是说，处理单元1131用于处理场景数据以获得人脸区域的深度信息；确定单元1132用于根据人脸区域和人脸区域的深度信息确定人像区域。

可以理解，由于人像区域的深度信息和人脸区域的深度信息同处于一个深度范围内，处理场景数据获取到人脸区域的深度信息后，便可根据人脸区域的深度信息确定人像区域的深度信息，从而进一步确定人像区域。

请参阅图9，在某些实施方式中，场景数据包括与场景主图像对应的深度图像，步骤s1131处理场景数据以获得人脸区域的深度信息包括以下步骤：

s11311：处理深度图像以获得人脸区域的深度数据；和

s11312：处理所人脸区域的深度数据以获得人脸区域的深度信息。

请参阅图10，在某些实施方式中，处理单元1131包括第一处理子单元11311和第二处理子单元11312。步骤s11311可以由第一处理子单元11311实现，步骤s11312可以由第二处理子单元11312实现。

也即是说，第一处理子单元11311用于处理深度图像以获得人脸区域的深度数据；第二处理子单元11312用于处理所人脸区域的深度数据以获得人脸区域的深度信息。

可以理解，场景数据包括与场景主图像对应的深度图像。其中，场景主图像为rgb彩色图像，深度图像包含场景中各个人或物体的深度信息。由于场景主图像的色彩信息与深度图像的深度信息是一一对应的关系，因此，若检测到人脸区域，即可在对应的深度图像中获取到人脸区域的深度信息。

需要说明的是，由于由于人脸区域包括鼻子、眼睛、耳朵等特征，因此，在深度图像中，人脸区域中鼻子、耳朵、眼睛等特征在深度图像中对应的深度数据是不同的，例如对于人脸正对成像装置20的情况下所拍摄得的深度图像中，鼻子对应的深度数据可能较小，而耳朵对应的深度数据可能较大。因此，在某些示例中，处理人脸区域的深度数据得到的人脸区域的深度信息可能为一个数值或一个数值范围。其中，当人脸区域的深度信息为一个数值时，该数值可通过对人脸区域的深度数据求取平均值得到，或通过人脸区域的深度数据求中值得到。

在某些实施方式中，成像装置20包括深度摄像头。深度摄像头可用来获取深度图像。其中，深度摄像头包括基于结构光深度测距的深度摄像头和基于tof测距的深度摄像头。

具体地，基于结构光深度测距的深度摄像头包括摄像头和投射器。投射器将一定模式的光结构投射到当前待拍摄的场景中，在场景中的各个人或物体表面形成由该场景中的人或物调制后的光条三维图像，再通过摄像头探测上述的光条三维图像即可获得光条二维畸变图像。光条的畸变程度取决于投射器与摄像头之间的相对位置以及当前待拍摄场景中的各个人或物体的表面形廓或高度。由于深度摄像头中的摄像头和投射器之间的相对位置是一定的，因此，由畸变的二维光条图像坐标便可重现场景中各个人或物体的表面三维轮廓，从而可以获取深度信息。结构光深度测距具有较高的分辨率和测量精度，可以提升获取的深度信息的精确度。

基于tof(timeofflight)测距的深度摄像头是通过传感器记录从发光单元发出的调制红外光发射到物体，再从物体反射回来的相位变化，在一个波长的范围内根据光速，可以实时的获取整个场景深度距离。当前待拍摄的场景中各个人或物体所处的深度位置不一样，因此调制红外光从发出到接收所用时间是不同的，如此，便可获取场景的深度信息。基于tof深度测距的深度摄像头计算深度信息时不受被摄物表面的灰度和特征的影响，且可以快速地计算深度信息，具有很高的实时性。

请参阅图11，在某些实施方式中，场景数据包括与场景主图像对应的场景副图像。步骤s1131处理场景数据以获得人脸区域的深度信息包括以下步骤：

s11313：处理场景主图像和场景副图像以获得人脸区域的深度数据；和

s11314：处理人脸区域的深度数据以获得人脸区域的深度信息。

请参阅图12，在某些实施方式中，处理单元1131包括第三处理子单元11313和第四处理子单元11314。步骤s11313可以由第三处理子单元11313实现，步骤s11314可以由第四处理子单元11314实现。

也即是说，第三处理子单元11313用于处理场景主图像和场景副图像以获得人脸区域的深度数据；第四处理子单元11314用于处理人脸区域的深度数据以获得人脸区域的深度信息。

在某些实施方式中，成像装置20包括主摄像头和副摄像头。

可以理解，深度信息可以通过双目立体视觉测距方法进行获取，此时场景数据包括场景主图像和场景副图像。其中，场景主图像由主摄像头拍摄得到，场景副图像由副摄像头拍摄得到，且场景主图像与场景副图像均为rgb彩色图像。在一些示例中，主摄像头和副摄像头可以是相同规格的两个摄像头，双目立体视觉测距是运用两个规格相同的摄像头对同一场景从不同的位置成像以获得场景的立体图像对，再通过算法匹配出立体图像对的相应像点，从而计算出视差，最后采用基于三角测量的方法恢复深度信息。在另一些示例中，主摄像头与副摄像头可以是不同规格的摄像头，主摄像头用于获取当前场景彩色信息，副摄像头则用于记录场景的深度数据。如此，通过对场景主图像和场景副图像这一立体图像对进行匹配便可获得人脸区域的深度数据。随后，对人脸区域的深度数据进行处理获得人脸区域的深度信息。由于人脸区域中包含有多个特征，各个特征对应的深度数据可能不一样，因此，人脸区域的深度信息可以为一个数值范围；或者，可对深度数据进行求平均值处理以得到人脸区域的深度信息，或取深度数据的中值以获得人脸区域的深度信息。

请参阅图13，在某些实施方式中，步骤s1132根据人脸区域和人脸区域的深度信息确定人像区域包括以下步骤：

s11321：根据所人脸区域的深度信息设定预设深度范围；

s11322：根据预设深度范围确定与人脸区域相连接且落入预设深度范围内的初始人像区域；

s11323：划分初始人像区域为多个子区域；

s11324：获取各个子区域的各个像素点的灰度值；

s11325：在每个子区域中选取一个像素点作为原点；

s11326：判断各个子区域中除原点外的其他像素点与原点的灰度值之差是否大于预定阈值；和

s11327：将所有与原点的灰度值之差小于预定阈值的像素点归并为人像区域。

请参阅图14，在某些实施方式中，确定单元1132包括设定子单元11321、确定子单元11322、划分子单元11323、获取子单元11324、选取子单元11325、判断子单元11326和归并子单元11327。步骤s11321可以由设定子单元11321实现，步骤s11322可以由确定子单元11322实现，步骤s11323可以与划分子单元11323实现，步骤s11324可以由获取子单元11324实现，步骤s11325可以由选取子单元11325实现，步骤s11326可以由判断子单元11326实现，步骤s11327可以由归并子单元11327实现。

也即是说，设定子单元11321用于根据所人脸区域的深度信息设定预设深度范围；确定子单元11322用于根据预设深度范围确定与人脸区域相连接且落入预设深度范围内的初始人像区域；划分子单元11323用于划分初始人像区域为多个子区域；获取子单元11324用于获取各个子区域的各个像素点的灰度值；选取子单元11325用于在每个子区域中选取一个像素点作为原点；判断子单元11326用于判断各个子区域中除原点外的其他像素点与原点的灰度值之差是否大于预定阈值；归并子单元11327用于将所有与原点的灰度值之差小于预定阈值的像素点归并为人像区域。

请参阅图15，具体地，基于人脸区域属于人像区域的一部分的特点可根据人脸区域的深度信息设定一个预设深度范围并根据这个预设深度范围确定一个初始人像区域。由于拍摄场景中可能有其他物体与人体同处于一个深度位置，如处于用户左右两侧的盆栽等于用户同处于一个深度位置。因此，可以利用区域生长法对初始人像区域进行进一步的修正。区域生长法是从区域的某个像素点开始，按照一定的判定准则，向四周扩展以逐步加入邻近像素。具体地，可将初始人像区域划分为多个子区域，并计算出各个子区域的各个像素点的灰度值，再从各个子区域中选取一个像素点作为原点，从原点向四周扩展将与原点的灰度值之差小于预定阈值的像素点均归并为人像区域。如此，可以修正初始人像区域，去除与人像区域落入同一深度范围内的其他物体。

请参阅图16，在某些实施方式中，人体美化方法在步骤s13根据人像区域识别脸部区域和/或人物肢体区域还包括以下步骤：

s12：处理场景主图像以判断人像区域是否存在遮挡物；和

在不存在遮挡物时进入步骤s13根据人像区域识别脸部区域和/或人物肢体区域的步骤。

请参阅图17，在某些实施方式中，人体美化装置10还包括判断模块12。步骤s12可以由判断模块13实现。

也即是说，判断模块13用于处理场景主图像以判断人像区域是否存在遮挡物；第二识别模块13还可以用于在不存在遮挡物时进入步骤s13根据人像区域识别脸部区域和/或人物肢体区域的步骤。

可以理解，人像区域是根据预设深度范围进行确定的，在预设深度范围内可能有不属于人体的遮挡物，如处于人像所在位置前方的桌椅等。若在存在遮挡物时进行人物肢体识别及后续的瘦腰、瘦腿等处理，可能会导致图像中的遮挡物发生形变，影响图像的视觉效果。因此，在存在遮挡物时不对场景主图像中的人像区域进行进一步的处理，在不存在遮挡物时才进行脸部区域或人物肢体区域的识别，并对脸部区域和人物肢体区域进行美化处理。其中，判断人像区域是否存在遮挡物可通过判断人像区域的深度信息的变化是否是平滑过渡的，若不是平滑过渡的则表明人像区域存在遮挡物。

请参阅图18，在某些实施方式中，步骤s13根据人像区域识别脸部区域和/或人物肢体区域包括以下步骤：

s131：处理人像区域以获得人体骨骼图像；

s132：在人体模板库中寻找与人体骨骼图像相匹配的人体模板；和

s133：根据人体模板确定脸部区域和/或人物肢体区域。

请参阅图19，在某些实施方式中，第二识别模块13包括处理子模块131、匹配子模块132和第二确定子模块133。步骤s131可以由处理子模块131实现，步骤s132可以由匹配子模块132实现，步骤s133可以由第二确定子模块133实现。

也即是说，处理子模块131用于处理人像区域以获得人体骨骼图像；匹配子模块132用于在人体模板库中寻找与人体骨骼图像相匹配的人体模板；步骤s133用于根据人体模板确定脸部区域和/或人物肢体区域。

具体地，首先对人像区域进行骨骼提取以得到人体骨骼图像，随后在肢体模板库中找到与人体骨骼图像相匹配的人体模板。匹配过程可以从头部开始匹配，在头部匹配成功后，进行上半身躯干的匹配，上半身躯干匹配完成后进行四肢的匹配。在找到与人体骨骼图像匹配的人体模板后，由于人体模板的躯干、肢体等信息是已知的，便可根据人体模板确定人像区域对应的人体的脸部区域及人物肢体区域。如此，实现场景主图像中的人脸部分及肢体部分的自主识别。进一步地，可以对脸部区域和人物肢体区域进行例如瘦脸、美白、瘦腰、瘦腿等美化处理。

电子装置100还包括壳体、存储器、电路板和电源电路。其中，电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上；电源电路用于为电子装置100的各个电路或器件供电；存储器用于存储可执行程序代码；人体美化装置10通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序以实现上述的本发明任一实施方式的人体美化方法。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施方式，可以理解的是，上述实施方式是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施方式进行变化、修改、替换和变型。