一种肤色的校正方法、装置、存储介质以及电子装置与流程

本发明涉及通信领域，具体而言，涉及一种肤色的校正方法、装置、存储介质以及电子装置。

背景技术：

在现有技术中，针对人脸肤色的处理可以利用人脸肤色均值或单独人脸ccm(colorcorrectionmatrix颜色校正矩阵)去提升人脸饱和度，但现有技术对人脸的真实感官性需求较小，并且提升饱和度后的肤色与实际人脸肤色也未必相同，例如，在强太阳光下人脸易发生偏色以及造成系列化设备图像风格统一的问题，从而导致人脸肤色的真实性较低。

针对相关技术中存在的人脸肤色的真实性较低的问题，目前尚未提出有效解决方案。

技术实现要素：

本发明实施例提供了一种肤色的校正方法、装置、存储介质以及电子装置，以至少解决相关技术中存在的强太阳光下人脸易偏色及系列化设备图像风格统一的问题。

根据本发明的一个实施例，提供了一种肤色的校正方法，包括：确定摄像机采集到的当前帧中的人体图像；确定所述人体图像的人脸区域；利用人脸ccm校正所述人脸区域的肤色，其中，所述人脸ccm为针对所述摄像机在标准光源下，以人脸肤色为基准调试得到的ccm。

根据本发明的另一个实施例，提供了一种肤色的校正装置，包括：第一确定模块，用于确定摄像机采集到的当前帧中的人体图像；第二确定模块，用于确定所述人体图像的人脸区域；校正模块，用于利用人脸ccm校正所述人脸区域的肤色，其中，所述人脸ccm为针对所述摄像机在标准光源下，以人脸肤色为基准调试得到的ccm。

根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本发明，可以利用预先确定的以人脸肤色为基站调试得到的人脸校正矩阵ccm来对采集到的人脸进行肤色校正。因此，可以解决相关技术中存在的人脸肤色的真实性较低的问题，达到保持人脸肤色的真实性，不必为人脸肤色需求而牺牲正常的图像风格，有助于系列化设备图像风格统一的技术效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明实施例的一种肤色的校正方法的移动终端的硬件结构框图；

图2是根据本发明实施例的一种肤色的校正方法的流程图；

图3是根据本发明实施例的优选肤色校正方法的流程图；

图4是根据本发明实施例的确定人体矩形区域中包括的备选人脸区域的流程图一；

图5是根据本发明实施例的确定人体矩形区域中包括的备选人脸区域的流程图二；

图6是根据本发明可选实施例的人脸肤色优化流程示意图；

图7是根据本发明可选实施例的人脸肤色校正优化方法具体流程图；

图8是根据本发明实施例的人脸备选区域的划分图；

图9是根据本发明实施例的一种肤色的校正装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例一所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种肤色的校正方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的一种肤色的校正方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(networkinterfacecontroller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(radiofrequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。

图2是根据本发明实施例的一种肤色的校正方法的流程图，如图2所示，该流程包括如下步骤：

步骤s202，确定摄像机采集到的当前帧中的人体图像；

步骤s204，确定所述人体图像的人脸区域；

步骤s206，利用人脸颜色校正矩阵(colorcorrectionmatrix，简称为ccm)校正所述人脸区域的肤色，其中，所述人脸ccm为针对所述摄像机在标准光源下，以人脸肤色为基准调试得到的ccm。

其中，执行上述各步骤的可以是前述的终端，或者是其他的能够实现上述功能的处理系统等，但不限于此。

通过上述步骤，可以利用预先确定的以人脸肤色为基站调试得到的人脸校正矩阵ccm来对采集到的人脸进行肤色校正。因此，可以解决相关技术中存在的人脸肤色的真实性较低的问题，达到保持人脸肤色的真实性，不必为人脸肤色需求而牺牲正常的图像风格，有助于系列化设备图像风格统一的技术效果。

在一个可选的实施例中，还提供了一种优选的肤色校正方法，图3是根据本发明实施例的优选的肤色的校正方法的流程图，如图3所示，在利用人脸ccm校正所述人脸区域的肤色之前，所述方法还包括：

步骤s302，针对所述摄像机在指定色温的标准光源下，以人脸肤色为基准，根据预设的调试策略得到与所述指定色温的标准光源所对应的ccm矩阵参数；

步骤s304，基于调试得到的ccm矩阵参数确定与所述指定色温的标准光源所对应的人脸ccm。在本实施例中，标准光源可以是以色温进行区分的多种标准光源，例如，可以是f(2700k)、tl84(4000k)、d50(5000k)、d65(6500k)、d75(7500k)等多种色温。其中，所述调试策略包括：分别将原始ccm矩阵参数中包括的rg、gg、rb调小第一预定值，以及分别将所述原始ccm矩阵参数中包括的bg、gr、bb调大第二预定值。在本实施例中，将原始ccm矩阵参数中包括的rg、gg、rb调小，将原始ccm矩阵参数中包括的bg、gr、bb调大是为了避免人脸肤色偏红润，使人脸肤色呈现绿色偏暗绿。此外，在常规的ccm中，或者称为正常的图像风格ccm中，会减小r:g的比例，来表现植物的绿色，突出绿色或者其他颜色风格的ccm与正常真实感的人脸ccm是互斥的，所以，在本实施例中，采用了调小rg、gg、rb，调大bg、gr、bb的调试策略，从而可以得到更贴近真实肤色的人脸区域。

在一个可选的实施例中，若所述摄像机中存储有至少两个指定色温的标准光源下所分别一一对应的人脸ccm，则所述利用人脸ccm校正所述人脸区域的肤色，包括：针对所述人脸区域进行色温估计得到估计色温值；根据预设的色温值与人脸ccm的映射关系，获取所述估计色温值所对应的人脸ccm；采用所述人脸ccm校正所述人脸区域的肤色。在本实施例中，在对人脸区域进行色温估计时，可以基于人脸特征信息进行色温估计，例如，可以基于人脸特征信息(例如，五官的特征信息)来大致确认人的种类(例如，亚洲人、欧美人、非洲人)，进而基于确认的人的种类来确定人脸的肤色，例如，亚洲人对应偏黄的肤色，欧美人对应偏白的肤色，非洲人对应偏黑的肤色。

在一个可选的实施例中，确定摄像机采集到的当前帧中的人体图像包括：对摄像机采集到的当前帧中的人体进行检测，获取人体矩形区域；确定所述人体图像的人脸区域包括：确定所述人体矩形区域中包括的备选人脸区域，依据所述备选人脸区域内像素点的uv均值确定所述备选人脸区域中包括的具有人脸图像的人脸区域。在本实施例中，可以根据人脸备选区域内像素点的uv均值来确定是否存在人脸图像，在实际应用中，除了可以利用uv均值来确定之外，还可以利用其他的人脸识别技术来进行确定。

在一个可选的实施例中，提供了确定所述人体矩形区域中包括的备选人脸区域的流程，如图4和图5所示，该流程包括如下步骤：

步骤s402，在确定检测到的人体矩形区域为单个区域时，确定所述人体矩形区域的第一区域；

步骤s404，将所述第一区域中包括的第二区域确定为所述备选人脸区域，其中，所述第一区域位于所述人体矩形区域的上方且与所述人体矩形区域的比值为第一比值，所述第二区域位于所述第一区域的中部且与所述第一区域的比值为第二比值。

步骤s502，在确定检测到的人体矩形区域为多个区域时，根据人体头身比例划分出多个所述人体矩形区域中的备选人脸区域。

在上述实施例中，针对当前帧的实时图像画面，进行人体检测，获取检测到人体矩形区域，若未检测到人，则不处理；若检测到单个人，则根据人体矩形区域划分出人脸备选区域，由于相机安装角度不同，可根据头身比大致划分，例如，可以将人体矩形区域最上面1/6(该比值仅是一个可选的比值，在实际应用中还可以采用其他的比值，例如1/7，2/15)部分，且该1/6部分中的中间1/3(该比值仅是一个可选的比值，在实际应用中还可以采用其他的比值，例如2/5，2/7)区域部分视为人脸备选区域；若检测到多个人，则根据头身比例划分出每个人的人脸备选区域。通过本实施例，通过将矩形区域中包括的预定比例的区域确定为人脸备选区域可以实现快速定位人脸区域的目的，相对于相关技术中的人脸检测方式，可以有效降低计算的复杂度，进而实现人脸区域的快速定位。

在一个可选的实施例中，依据所述备选人脸区域内像素点的uv均值确定所述备选人脸区域中包括的具有人脸图像的人脸区域包括：在确定所述备选人脸区域内像素点的uv均值在预设的uv阈值范围取件内时，确定所述人脸区域中具有人脸图像。在本实施例中，若所述的人脸备选区域uv均值不在预设的uv阈值范围区间，则视为非人脸区域；若所述的人脸备选区域统计的uv均值在预设uv阈值范围区间内，则视为人脸区域；如果存在多个人脸区域重合时，合并当前多个人脸区域即当前多个人脸区域的并集，视为多人脸区域，当人脸区域没有重合时，则视为单人脸区域。

在一个可选的实施例中，利用人脸颜色校正矩阵ccm校正所述人脸区域的肤色包括：确定所述人脸区域的坐标；利用人脸颜色校正矩阵ccm校正所述坐标所指示的区域的肤色。在本实施例中，人脸区域的坐标由图像处理模块传递得到，并根据图像处理模块预估的数据对坐标所指示的区域的肤色进行校正。

在一个可选的实施例中，利用人脸ccm校正所述人脸区域的肤色包括：在确定所述人脸区域的面积大于或者等于预定面积阈值时，利用人脸ccm校正所述人脸区域的肤色。在本实施例中，在当前人脸区域面积大于预定面积阈值时，认为人处于距离摄像机较近的位置或存在多张人脸，则针对当前人脸区域进行局部色温值估计，校正所述人脸区域的肤色。在本实施例中，不同的人脸区域的面积可以对应不同的色温估计策略，其中，人脸区域面积和色温估计策略之间的对应关系可以预先配置，在确定了待进行肤色优化的人脸区域面积之后，可以调取与该人脸区域面积对应的色温估计策略，通过采用上述调色方式可以有效保证人脸区域的肤色更为贴近真实的肤色，保证了人脸肤色的真实性。

在一个可选的实施例中，所述针对所述人脸区域进行色温估计得到估计色温值包括：在确定所述人脸区域的面积大于或者等于预定面积阈值时，根据所述人脸区域中的像素点值进行色温估计得到估计色温值。在本实施例中，当人脸区域面积过小时，实际上是没有必要单独对过小的人脸区域进行肤色调整的(过小的人脸区域调整效果不明显，且会额外耗费调整资源)，因此，可以考虑在人脸区域的面积大于预定的面积阈值时，再对人脸区域进行肤色调整，从而避免了不必要的调整操作。

为了更好的理解本发明实施例，以下结合具体的实施例对本发明做进一步解释。

在一个可选的实施例中，图6是根据本发明可选实施例的人脸肤色优化流程示意图，如图6所示，人脸肤色优化流程如下：

第一步：通过统计人脸备选区域的uv均值，获取到人脸区域，并传递人脸坐标；

第二步：根据人脸坐标判定的区域，结合当前场景色温，针对人脸区域进行人脸ccm颜色校正处理；

第三步：最终输出人脸肤色优化的实时预览画面，将画面实时传递至人体检测模块。

通过利用人体检测算法及头身比例划分获得人脸备选区域，通过统计区域的uv均值来判定为否为人脸区域，并将人脸坐标传递至图像isp(imagesignalprocessing图像信号处理)模块，图像isp模块根据人脸区域信息结合当前场景色温针对人脸区域进行人脸ccm颜色校正处理，并最终输出人脸肤色优化的实时预览画面，将画面实时传递至人体检测模块。

图7是根据本发明可选实施例的人脸肤色校正优化方法具体流程图，如图7所示，人脸肤色校正优化方法具体流程如下：

第一步，首先针对相机在标准光源(包含f(2700k)、tl84(4000k)、d50(5000k)、d65(6500k)、d75(7500k)五种色温)下，调试5套人脸ccm矩阵参数，调试的人脸ccm参数以人脸肤色为基准，即人脸肤色还原性优先级最高，人脸ccm调试策略，一般为了避免人脸偏红润，我们会将rg、gg、rb调小，bg、gr、bb调大，但这时候会造成绿色偏暗绿；正常的图像风格ccm，我们会减小r:g的比例，来表现植物的绿色。突出绿色或者其他颜色风格的ccm与正常真实感的人脸ccm是互斥的；

第二步，相机采集获取到raw数据，经过图像isp处理及编解码，传输至后端画面进行实时预览；

第三步，针对当前帧的实时图像画面，进行人体检测，获取检测到人体矩形区域；若未检测到人，则不处理；若检测到单个人，则据人体矩形区域划分出人脸备选区域，由于相机安装角度不同，可根据头身比大致划分，比如将人体矩形区域最上面1/6，中间1/3区域部分视为人脸备选区域，图8是根据本发明实施例的人脸备选区域的划分图，如图8所示；若检测到多个人，则根据头身比例划分出每个人的人脸备选区域；

第四步，针对第三步所述的每个人脸备选区域，进行区域内像素点的uv均值统计判断；若所述的人脸备选区域uv均值不在预设的uv阈值范围区间，则视为非人脸区域；若所述的人脸备选区域统计的uv均值在预设uv阈值范围区间内，则视为人脸区域；如果存在多个人脸区域重合时，合并当前多个人脸区域，即当前多个人脸区域的并集，视为多人脸区域，当人脸区域没有重合时，则视为单人脸区域；获取当前每个人脸区域坐标，同时传递给图像isp模块；

第五步，当下一帧数据经过解马赛克模块处理后，得到的rgb数据，根据由第四步传递得到的人脸坐标得到人脸区域，结合由isp模块预估判断当前的色温值cct_current，人脸区域使用第一步中调试好的对应色温人脸ccm矩阵进行处理，若当前预估色温值cct_current在预设的色温之间，则线性插值得到当前预估色温值的人脸ccm矩阵，其他非人脸区域使用正常isp模块的ccm矩阵进行处理；由于人脸所处的色温和全局图像色温存在不一致的可能，比如在特殊灯光光源下或者混合色温下，因此针对每个人脸区域面积进行判断。若当前人脸区域面积<设定阈值t时，认为人脸尺寸比较小，人眼对于小图人脸颜色不敏感且局部色温值估计不准确，色温值cct_current使用全局图像判断出的色温值；若当前人脸区域面积≥阈值t，认为人处于较近位置或存在多张人脸，则针对当前人脸区域进行局部色温值cct_current估计，这样人脸区域的色温值能够更加准确计算，经过ccm矩阵还原后人脸肤色更加真实；

第六步，经过第五步后得到了人脸肤色ccm校正的图像，在经过其他isp模块处理及编解码，形成实时画面预览，实时画面传递进行人体检测，即重复步骤二至六，完成实时人脸肤色优化校正。

其中，第三步和第四步叙述了通过人体检测算法及矩形uv均值统计来获取人脸区域及坐标信息，第三步和第四步是第五步关键处理的前提，第一部与第五步叙述了一种基于人脸区域坐标的肤色优化方法，还原人脸肤色的真实性。

其中，

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本实施例中还提供了一种肤色的校正装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图9是根据本发明实施例的一种肤色的校正装置的结构框图，如图9所示，该装置包括：

第一确定模块92，用于确定摄像机采集到的当前帧中的人体图像；第二确定模块94，确定所述人体图像的人脸区域；校正模块96，用于利用人脸颜色校正矩阵ccm校正所述人脸区域的肤色，其中，所述人脸ccm为针对所述摄像机在标准光源下，以人脸肤色为基准调试得到的ccm。

在一个可选的实施例中，所述装置还用于：在利用人脸ccm校正所述人脸区域的肤色之前，针对所述摄像机在指定色温的标准光源下，以人脸肤色为基准，根据预设的调试策略得到与所述指定色温的标准光源所对应的ccm矩阵参数；基于调试得到的ccm矩阵参数确定与所述指定色温的标准光源所对应的人脸ccm；其中，所述调试策略包括：分别将原始ccm矩阵参数中包括的rg、gg、rb调小第一预定值，以及分别将所述原始ccm矩阵参数中包括的bg、gr、bb调大第二预定值。

在一个可选的实施例中，所述校正模块96可以通过如下方式校正人脸区域的肤色：若所述摄像机中存储有至少两个指定色温的标准光源下所分别一一对应的人脸ccm，针对所述人脸区域进行色温估计得到估计色温值；根据预设的色温值与人脸ccm的映射关系，获取所述估计色温值所对应的人脸ccm；采用所述人脸ccm校正所述人脸区域的肤色。

在一个可选的实施例中，所述第一确定模块92可以通过如下方式确定摄像机采集到的当前帧中的人体图像：对摄像机采集到的当前帧中的人体进行检测，获取人体矩形区域；确定所述人体图像的人脸区域包括：确定所述人体矩形区域中包括的备选人脸区域，依据所述备选人脸区域内像素点的uv均值确定所述备选人脸区域中包括的具有人脸图像的人脸区域。

在一个可选的实施例中，所述第二确定模块94可以通过如下方式确定所述人体矩形区域中包括的备选人脸区域：在确定检测到的人体矩形区域为单个区域时，确定所述人体矩形区域的第一区域，将所述第一区域中包括的第二区域确定为所述备选人脸区域，其中，所述第一区域位于所述人体矩形区域的上方且与所述人体矩形区域的比值为第一比值，所述第二区域位于所述第一区域的中部且与所述第一区域的比值为第二比值；在确定检测到的人体矩形区域为多个区域时，根据人体头身比例划分出多个所述人体矩形区域中的备选人脸区域。

在一个可选的实施例中，所述第二确定模块94可以通过如下方式依据所述备选人脸区域内像素点的uv均值确定所述备选人脸区域中包括的具有人脸图像的人脸区域：在确定所述备选人脸区域内像素点的uv均值在预设的uv阈值范围取件内时，确定所述人脸区域中具有人脸图像。

在一个可选的实施例中，所述校正模块96可以通过如下方式利用人脸ccm校正所述人脸区域的肤色：确定所述人脸区域的坐标；利用人脸ccm校正所述坐标所指示的区域的肤色。

在一个可选的实施例中，所述校正模块96可以通过如下方式利用人脸颜色校正矩阵ccm校正所述人脸区域的肤色：在确定所述人脸区域的面积大于或者等于预定面积阈值时，利用人脸ccm校正所述人脸区域的肤色。

在一个可选的实施例中，所述校正模块96可以通过如下方式针对所述人脸区域进行色温估计得到估计色温值：在确定所述人脸区域的面积大于或者等于预定面积阈值时，根据所述人脸区域中的像素点值进行色温估计得到估计色温值。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(read-onlymemory，简称为rom)、随机存取存储器(randomaccessmemory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。