本申请涉及信息处理技术领域，尤其涉及一种图像美颜方法、装置和终端设备。
背景技术：
随着科技的不断进步，手机的照相功能越发强大，摄像头的像素数也越来越高，图像越来越清晰。图像太清晰反而会产生一些问题，如人们在自拍的时候，所有人脸部的细节例如雀斑、青春痘等，都会被清楚地显示在照片中，会给用户带来不好的拍照体验，这就需要对图像进行美颜处理，处理人们在照片中的瑕疵。目前，使用美颜软件对人像进行美化，大多数都是后期人工进行修图，浪费时间成本，效率低。
申请内容
本申请提供一种图像美颜方法、装置和终端设备，以解决现有技术中，后期用美颜软件对人像进行美化，成本高，效率低的问题。
本申请实施例提供一种图像美颜方法，包括：通过图像传感器捕获摄像头所拍摄的彩色图像；
通过结构光传感器获取利用结构光生成的深度图像；
基于人脸识别算法，从所述彩色图像中提取出人脸区域；
根据所述彩色图像和所述深度图像确定所述人脸区域中的人脸皮肤缺陷区域；以及
修复所述人脸皮肤缺陷区域。
可选的，所述人脸皮肤缺陷区域包括平面缺陷区域和立体缺陷区域，根据所述彩色图像和所述深度图像确定所述人脸区域中的人脸皮肤缺陷区域，包括：
利用所述彩色图像确定平面缺陷区域；
利用所述深度图像确定立体缺陷区域。
可选的，通过结构光传感器获取利用结构光生成的深度图像，包括：
通过结构光投射器向人脸投射结构光，并通过所述结构光传感器获取经过所述人脸的结构光图像；
对所述结构光图像进行解码处理，以生成所述深度图像。
可选的，对所述结构光图像进行解码处理，以生成所述深度图像，包括：
解码所述结构光图像中变形位置像素对应的相位信息；
将所述相位信息转化为高度信息；
根据所述高度信息生成所述深度图像。
可选的，修复所述人脸皮肤缺陷区域，包括：
当所述人脸皮肤缺陷区域为平面缺陷区域时，将标准皮肤特征替换至所述平面缺陷区域；和/或
当所述人脸皮肤缺陷区域为立体缺陷区域时，利用所述深度图像对所述立体缺陷区域的深度信息进行修复。
本申请另一实施例提供一种图像美颜装置，包括：拍摄模块，用于通过图像传感器捕获摄像头所拍摄的彩色图像；
获取模块，用于通过结构光传感器获取利用结构光生成的深度图像；
提取模块，用于基于人脸识别算法，从所述彩色图像中提取出人脸区域；
确定模块，用于根据所述彩色图像和所述深度图像确定所述人脸区域中的人脸皮肤缺陷区域；以及
修复模块，用于修复所述人脸皮肤缺陷区域。
可选的，所述人脸皮肤缺陷区域包括平面缺陷区域和立体缺陷区域，所述确定模块，包括：
利用所述彩色图像确定平面缺陷区域；
利用所述深度图像确定立体缺陷区域。
可选的，所述获取模块，用于：
通过结构光投射器向人脸投射结构光，并通过所述结构光传感器获取经过所述人脸的结构光图像；
对所述结构光图像进行解码处理，以生成所述深度图像。
可选的，所述获取模块，具体用于：
解码所述结构光图像中变形位置像素对应的相位信息；
将所述相位信息转化为高度信息；
根据所述高度信息生成所述深度图像。
可选的，所述修复模块，用于：
当所述人脸皮肤缺陷区域为平面缺陷区域时，将标准皮肤特征替换至所述平面缺陷区域；和/或
当所述人脸皮肤缺陷区域为立体缺陷区域时，利用所述深度图像对所述立体缺陷区域的深度信息进行修复。
本申请还一实施例提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本申请第一方面实施例所述的图像美颜方法。
本申请又一实施例提供一种终端设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，本申请第一方面实施例所述的图像美颜方法。
本申请实施例提供的技术方案可以包括以下有益效果：
通过图像传感器捕获摄像头所拍摄的彩色图像，并通过结构光传感器获取利用结构光生成的深度图像，然后基于人脸识别算法，从所述彩色图像中提取出人脸区域，再根据所述彩色图像和所述深度图像确定所述人脸区域中的人脸皮肤缺陷区域，以及修复所述人脸皮肤缺陷区域，相对于平面的美颜软件处理，能够准确地定位人脸皮肤缺陷区域，无需人工后期处理，效率高，美颜效果好。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是根据本申请一个实施例的图像美颜方法的流程图；
图2是根据本申请一个实施例的解码结构光图像生成对应的深度图像的流程图；
图3是根据本申请一个实施例的结构光测量的场景示意图；
图4是根据本申请一个实施例的图像美颜装置的结构框图；
图5是根据本申请一个实施例的终端设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请图像美颜方法、装置和终端设备。
图1是根据本申请一个实施例的图像美颜方法的流程图。
如图1所示，该图像美颜方法包括：
s101，通过图像传感器捕获摄像头所拍摄的彩色图像。
目前，移动终端技术日趋强大，人们可以使用智能手机随时随地的拍照，图像也越来越清晰。然而，图像太清晰反而会产生一些问题，如人们在自拍的时候，所有人脸部的细节例如雀斑、青春痘等，会被清楚地显示在照片中，会给用户带来不好的拍照体验，这就需要对图像进行美颜处理但是，要想获得满意的美颜处理，用户会耗费大量精力和时间，成本高，用户体验差。为解决上述问题，本申请提出一种图像美颜方法，能够快速有效地针对人脸进行美颜。
在本申请的一个实施例中，可通过图像传感器捕获摄像头所拍摄的彩色图像。
s102，通过结构光传感器获取利用结构光生成的深度图像。
具体地，可通过结构光投射器向人脸投射结构光，并通过结构光传感器获取经过人脸的结构光图像，然后对结构光图像进行解码处理，从而生成对应的深度图像。其中，解码结构光图像生成对应的深度图像的过程，如图2所示，可进一步包括：
s201，解码结构光图像中变形位置像素对应的相位信息。
s202，将相位信息转化为高度信息。
s203，根据高度信息生成深度图像。
也就是说，可通过向用户的人脸投射结构光，进行人脸的三维模型的相关信息的采集。其中，结构光为红外光，可以是激光条纹、格雷码、正弦条纹、或者，非均匀散斑等图案。上述图案经过人脸后，可获取到人脸的轮廓和深度信息，如鼻子的高度、脸型等。由于结构光的高精度性，其可以检测到毫米级别的深度差异，因此，可以检测到更细节的人脸深度信息。
下面以一种应用广泛的条纹投影技术为例来阐述其具体原理。在使用面结构光投影的时候，如图3所示，通过计算机编程产生正弦条纹，将该正弦条纹通过投影设备投影至被测物，利用摄像头拍摄条纹受物体调制的弯曲程度，解调该弯曲条纹得到相位，再将相位转化为高度。当然其中至关重要的一点就是系统的配准，包括摄像头与投影设备的配准，否则很可能会产生误差。具体地，可将弯曲条纹的相位与参考条纹的相位相减得到相位差，该相位差则表征了被测物相对参考面的高度信息，再代入相位与高度转化公式，从而得到待测物体的三维模型。应当理解的是，在实际应用中，根据具体应用场景的不同，本申请实施例中所采用的结构光除了上述条纹之外，还可是其他任意图案。
s103，基于人脸识别算法，从彩色图像中提取出人脸区域。
具体地，可基于人脸识别算法识别获取人脸在彩色图像中的位置，所占的大小等。通过上述信息提取出人脸区域。
s104，根据彩色图像和深度图像确定人脸区域中的人脸皮肤缺陷区域。
其中，人脸皮肤缺陷区域可分为两类。第一类为平面缺陷区域，例如雀斑，与周边的皮肤是处于同一平面的；而第二类为立体缺陷区域，如皮肤的凹陷与突出，它相对于周边的皮肤具有一个高度或深度。
具体地，可利用彩色图像确定平面缺陷区域，并利用深度图像确定立体缺陷区域。举例来说，人脸上的斑、痣等，它们的颜色是明显区别与周边的皮肤的颜色的，因此，可通过对彩色图像进行特征提取，来确定上述平面缺陷区域。而针对立体缺陷区域，由于人脸皮肤的状态基本上是平滑的，也就是说大面积的皮肤的深度信息是连续的，差异不大的。而疤痕、肉色的皮肤凸起等，都是颜色接近皮肤颜色，但是会有深度信息上的差异的，因此可基于上述深度信息确定立体缺陷区域。
s105，修复人脸皮肤缺陷区域。
为了对人脸皮肤缺陷区域进行更精确地修复，针对平面缺陷区域和立体缺陷区域的处理方法是不相同的。
具体地，当人脸皮肤缺陷区域为平面缺陷区域时，将标准皮肤特征替换至平面缺陷区域；和/或当人脸皮肤缺陷区域为立体缺陷区域时，利用深度图像对立体缺陷区域的深度信息进行修复。
示例一：针对人脸上雀斑的处理，由于雀斑与皮肤相比，只是颜色上差异较大，而深度信息的差异不大，因此可以确定其为平面缺陷，那么用雀斑周边的皮肤的特征作为标准皮肤特征，用其替换掉雀斑，从而实现修复。
示例二：针对人脸上的疤痕的处理，由于疤痕相对于周边皮肤，颜色上基本没有差异，仅仅是皮肤上的凸起，因此可以利用已生成的深度图像，对疤痕的高度进行修复，使其与周边皮肤的高度保持一致，从而实现修复。
示例三：针对青春痘，它的颜色和深度信息均与周边皮肤的差异较大，那么可先利用深度图像对青春痘的深度进行修复，然后在通过青春痘周边的皮肤的特征作为标准皮肤特征，用其替换掉青春痘。相对于现有二维图像的美颜方法，由于结构光的精度级别可以达到毫米级别，因此确定人脸皮肤缺陷区域更加精准，先对深度进行修复，而非简单地二维特征的替换，修复效果更好。
本申请实施例的图像美颜方法，通过图像传感器捕获摄像头所拍摄的彩色图像，并通过结构光传感器获取利用结构光生成的深度图像，然后基于人脸识别算法，从彩色图像中提取出人脸区域，再根据彩色图像和深度图像确定人脸区域中的人脸皮肤缺陷区域，以及修复人脸皮肤缺陷区域，相对于平面的美颜软件处理，能够准确地定位人脸皮肤缺陷区域，无需人工后期处理，效率高，美颜效果好。
为了实现上述实施例，本申请还提出了一种图像美颜装置。
图4是根据本申请一个实施例的图像美颜装置的结构框图。
如图4所示，该装置包括拍摄模块410、获取模块420、提取模块430、确定模块440和修复模块450。
其中，拍摄模块410，用于通过图像传感器捕获摄像头所拍摄的彩色图像。
获取模块420，用于通过结构光传感器获取利用结构光生成的深度图像。
提取模块430，用于基于人脸识别算法，从彩色图像中提取出人脸区域。
确定模块440，用于根据彩色图像和深度图像确定人脸区域中的人脸皮肤缺陷区域。
修复模块450，用于修复人脸皮肤缺陷区域。
需要说明的是，前述对图像美颜方法的解释说明，也适用于本申请实施例的图像美颜装置，本申请实施例中未公布的细节，在此不再赘述。
本申请实施例的图像美颜装置，通过图像传感器捕获摄像头所拍摄的彩色图像，并通过结构光传感器获取利用结构光生成的深度图像，然后基于人脸识别算法，从彩色图像中提取出人脸区域，再根据彩色图像和深度图像确定人脸区域中的人脸皮肤缺陷区域，以及修复人脸皮肤缺陷区域，相对于平面的美颜软件处理，能够准确地定位人脸皮肤缺陷区域，无需人工后期处理，效率高，美颜效果好。
为了实现上述实施例，本申请还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，当该计算机程序被处理器执行时能够实现如前述实施例的图像美颜方法。
为了实现上述实施例，本申请还提出了一种终端设备。
如图5所示，该终端设备90包括：处理器91、存储器92、及图像处理电路93。
其中，存储器92用于存储可执行程序代码；处理器91通过读取存储器92中存储的可执行程序代码，及图像处理电路93对图像进行处理，来实现如前述实施例中的图像美颜方法。
s101’，通过图像传感器捕获摄像头所拍摄的彩色图像。
s102’，通过结构光传感器获取利用结构光生成的深度图像。
s103’，基于人脸识别算法，从彩色图像中提取出人脸区域。
s104’，根据彩色图像和深度图像确定人脸区域中的人脸皮肤缺陷区域。
s105’，修复人脸皮肤缺陷区域。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。