一种人脸图像的光照检测方法、装置、设备和存储介质与流程

本发明实施例涉及图像处理领域，尤其涉及一种人脸图像的光照检测方法、装置、设备和存储介质。

背景技术：

随着计算机技术的快速发展，增强现实(augmentedreality，ar)类的产品已经广泛应用到人们的日常生活中，ar产品中的虚拟内容需要无缝嵌入到真实图像中，从而给予用户一种虚拟内容真实存在的感觉。此时需要对真实图像中的环境光照进行检测，进而为虚拟对象增加同样的光照环境，提高虚拟内容与真实环境之间融合的真实性。

由于光的传播受场景中物体几何和反射率等因素的影响，目前通常下述三种方式来获取真实场景中的光照信息：

1)采用特殊的图像获取方式，如通过获取真实场景中镜面球(光探头)的图像来检测光照，采用鱼眼相机来获取全方向真实图像，或者采用深度摄像机恢复真实场景中的三维信息和光照条件，来度量真实场景的光照条件，但该种方法通常需要执行繁重的图像获取过程，操作较为复杂。

2)根据预先放置在真实场景中的预定义几何和反射属性的标记物进行光照检测：如利用乒乓球和平面标记物、方形标记物或者立方体标记物等，该方法无需执行繁重的图像获取过程，但对于预定义的几何对象和标记物具有一定要求，难以应用在各种实际场景中。

3)考虑到人脸图像具有相似的几何位置，可以利用三维人脸模型生成对应的基准光源图像，通过对人脸图像与基准光源图像进行匹配来检测光照，如通过人工标记人脸图像中的双眼位置，建立坐标系，将不同人脸图像在该双眼坐标系下位置相同的采样点作为同一几何对应点，从而根据每个几何对应点在不同人脸图像中的亮度检测光照，但是该方法需要利用三维人脸模型确定基准光源图像，由于不同人脸图像的形状会发生相应改变，此时三维人脸模型会受到不同人脸图像的人脸形状的限制，根据基准光源图像确定的几何对应点存在一定的误差，使得光照检测存在较大误差。

技术实现要素：

本发明实施例提供了一种人脸图像的光照检测方法、装置、设备和存储介质，简化人脸图像中光照检测操作，提高光照检测的准确性。

第一方面，本发明实施例提供了一种人脸图像的光照检测方法，该方法包括：

获取待检测的人脸图像以及三维人脸网格模板；

根据所述人脸图像对所述三维人脸网格模板进行形变，得到重建的人脸网格模型；

根据所述三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定所述关键特征点在所述人脸图像中对应的特征点的亮度；

根据所述关键特征点的预设亮度与光照的对应关系，以及，所述关键特征点在所述人脸图像中对应的特征点的亮度，确定所述人脸图像的光照信息。

进一步的，在获取待检测的人脸图像以及三维人脸网格模板之前，还包括：

获取历史人脸图像以及所述三维人脸网格模板，并确定所述历史人脸图像的历史光照信息；

根据所述历史人脸图像对所述三维人脸网格模板进行形变，得到重建的历史人脸网格模型；

根据所述三维人脸网格模板中的关键特征点在重建的历史人脸网格模型中的形变位置，确定所述关键特征点在所述历史人脸图像中对应的特征点的亮度；

根据所述历史人脸图像的历史光照信息，以及所述关键特征点在所述历史人脸图像中对应的特征点的亮度，确定所述关键特征点的预设亮度与光照的对应关系。

进一步的，根据所述历史人脸图像的历史光照信息，以及所述关键特征点在所述历史人脸图像中对应的特征点的亮度，确定所述关键特征点的预设亮度与光照的对应关系，包括：

针对每一历史人脸图像，根据该历史人脸图像的历史光照信息，以及所述关键特征点在该历史人脸图像中对应的特征点的亮度，确定所述关键特征点的初始亮度与光照的对应关系；

采用最小二乘法对各所述历史人脸图像对应的所述关键特征点的初始亮度与光照的对应关系进行处理，得到所述关键特征点的预设亮度与光照的对应关系。

进一步的，根据所述三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定所述关键特征点在所述人脸图像中对应的特征点的亮度，包括：

根据所述三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定所述关键特征点在所述人脸图像中的映射位置；

获取所述人脸图像中该映射位置处对应的特征点的亮度，作为所述关键特征点在所述人脸图像中对应的特征点的亮度。

进一步的，在根据所述三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定所述关键特征点在所述人脸图像中的映射位置之前，还包括：

获取所述三维人脸网格模板中的特征标记点，作为所述关键特征点。

进一步的，所述人脸图像为灰度图像，所述关键特征点在所述人脸图像中对应的特征点的亮度为该特征点的像素灰度值。

进一步的，根据所述关键特征点的预设亮度与光照的对应关系，以及，所述关键特征点在所述人脸图像中对应的特征点的亮度，确定所述人脸图像的光照信息，包括：

根据所述关键特征点的预设亮度与光照的对应关系，以及，所述关键特征点在所述人脸图像中对应的特征点的亮度，确定所述人脸图像的球谐光照系数；

根据所述球谐光照系数确定所述人脸图像的光照信息。

第二方面，本发明实施例提供了一种人脸图像的光照检测装置，该装置包括：

图像获取模块，用于获取待检测的人脸图像以及三维人脸网格模板；

人脸重建模块，用于根据所述人脸图像对所述三维人脸网格模板进行形变，得到重建的人脸网格模型；

亮度确定模块，用于根据所述三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定所述关键特征点在所述人脸图像中对应的特征点的亮度；

光照信息确定模块，用于根据所述关键特征点的预设亮度与光照的对应关系，以及，所述关键特征点在所述人脸图像中对应的特征点的亮度，确定所述人脸图像的光照信息。

进一步的，所述人脸图像的光照检测装置，还包括：

历史图像获取模块，用于获取历史人脸图像以及所述三维人脸网格模板，并确定所述历史人脸图像的历史光照信息；

历史人脸重建模块，用于根据所述历史人脸图像对所述三维人脸网格模板进行形变，得到重建的历史人脸网格模型；

历史亮度确定模块，用于根据所述三维人脸网格模板中的关键特征点在重建的历史人脸网格模型中的形变位置，确定所述关键特征点在所述历史人脸图像中对应的特征点的亮度；

关系确定模块，用于根据所述历史人脸图像的历史光照信息，以及所述关键特征点在所述历史人脸图像中对应的特征点的亮度，确定所述关键特征点的预设亮度与光照的对应关系。

进一步的，所述关系确定模块，包括：

初始关系确定单元，用于针对每一历史人脸图像，根据该历史人脸图像的历史光照信息，以及所述关键特征点在该历史人脸图像中对应的特征点的亮度，确定所述关键特征点的初始亮度与光照的对应关系；

预设关系确定单元，用于采用最小二乘法对各所述历史人脸图像对应的所述关键特征点的初始亮度与光照的对应关系进行处理，得到所述关键特征点的预设亮度与光照的对应关系。

进一步的，所述亮度确定模块，包括：

映射位置确定单元，用于根据所述三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定所述关键特征点在所述人脸图像中的映射位置；

亮度确定单元，用于获取所述人脸图像中该映射位置处对应的特征点的亮度，作为所述关键特征点在所述人脸图像中对应的特征点的亮度。

进一步的，所述人脸图像的光照检测装置，还包括：

关键特征点获取模块，用于获取所述三维人脸网格模板中的特征标记点，作为所述关键特征点。

进一步的，所述光照信息确定模块，包括：

系数确定单元，用于根据所述关键特征点的预设亮度与光照的对应关系，以及，所述关键特征点在所述人脸图像中对应的特征点的亮度，确定所述人脸图像的球谐光照系数；

光照信息确定单元，用于根据所述球谐光照系数确定所述人脸图像的光照信息。

第三方面，本发明实施例提供了一种设备，该设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例中所述的人脸图像的光照检测方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例中所述的人脸图像的光照检测方法。

本发明实施例提供了一种人脸图像的光照检测方法、装置、设备和存储介质，根据待检测的人脸图像对三维人脸网格模型进行形变，得到重建的人脸网格模型，根据关键特征点在重建的人脸网格模型中的形变位置，确定该关键特征点在人脸图像中对应的特征点的亮度，进而根据该亮度以及预设亮度与光照的对应关系，确定人脸图像的光照信息，无需执行繁重的图像获取过程，且人脸模型与人脸图像的位置匹配度较高，解决了现有技术中由于受到不同人脸图像的人脸形状的限制，通过三维人脸模型进行光照检测存在较大误差的问题，简化了人脸图像中光照检测操作，提高了光照检测的检测效率和准确性。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1a为本发明实施例一提供的一种人脸图像的光照检测方法的流程图；

图1b为本发明实施例一提供的方法中三维人脸网格模板的示意图；

图2为本发明实施例二提供的方法中关键特征点的预设亮度和光照的对应关系的预先确定过程的原理示意图；

图3为本发明实施例三提供的人脸图像的光照检测过程的原理示意图；

图4为本发明实施例四提供的一种人脸图像的光照检测装置的结构示意图；

图5为本发明实施例五提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

本发明实施例主要针对现有技术中由于三维人脸模型会受到不同人脸图像中人脸形状的限制，因此根据基准光源图像确定的关键特征点在不同人脸图像中存在一定的误差，使得光照检测存在较大误差的问题，通过可形变的三维网格人脸模板重建人脸图像对应的人脸网格模型，根据关键特征点在重建的人脸网格模型中的形变位置，确定人脸图像中对应特征点的亮度，从而根据该亮度和预设亮度与光照的对应关系，得到人脸图像的光照信息，解决了现有技术中通过三维人脸模型进行光照检测存在较大误差的问题，提高了光照检测的检测效率和准确性。

具体的，本发明实施例中的人脸图像的光照检测方法可具体应用于实际的ar(augmentedreality，增强现实)类产品中，根据在人脸图像中检测出的光照信息，为对应ar类产品中的虚拟对象增加相同的光照强度，使得虚拟对象能够无缝地嵌入到真实的人脸图像中，从而给予用户一种虚拟对象是真实存在的感觉，提高用户对于ar类产品的使用体验，如具体实现一些诸如试戴帽子、眼镜等虚拟对象的ar类产品，同时还有助于提高人脸图像中的人脸识别和人脸跟踪等的识别跟踪效果。

实施例一

图1a为本发明实施例一提供的一种人脸图像的光照检测方法的流程图，本实施例可适用于任一种通过重建人脸网格模型来检测人脸图像的光照信息处理设备中。本发明实施例的方案可以适用于如何检测人脸图像中的光照信息的情况中。本实施例提供的一种人脸图像的光照检测方法可以由本发明实施例提供的人脸图像的光照检测装置来执行，该装置可以通过软件和/或硬件的方式来实现，并集成在执行本方法的设备中，该设备可以是具备图像处理能力的任一种处理设备。

具体的，参考图1a，该方法可以包括如下步骤：

s110，获取待检测的人脸图像以及三维人脸网格模板。

其中，人脸图像是采集的包含有人脸画面的图像数据，由于本实施例主要应用于对ar类产品中采集的人脸图像的光照检测，从而使该ar类产品中的虚拟对象能够无缝嵌入到真实的人脸图像中，因此可以通过ar类产品中配置的摄像头等图像采集器来采集当前的人脸图像。具体的，本实施例中在对待检测的人脸图像进行处理时，为了加快人脸图像的处理效率，需要减少人脸图像中包含的像素信息，此时要求该人脸图像为灰度图像，若初始采集的人脸图像为彩色图像，还需要对该彩色图像进行灰度化处理，得到本实施例中需要的待检测的人脸图像。

此外，三维人脸网格模板为标准人脸形状的网格模型。具体的，三维人脸网格模板是根据标准的人脸形状预先创建的添加有网格分布示意的三维人脸模型；在三维人脸网格模板的创建过程中，可以根据选定的模型像素分辨率以及网格形状不同，而创建不同精度或者不同网格形状的三维人脸网格模板，也就是使创建的三维人脸网格模板中的网格分布密集程度或者网格分布形状不同，如图1b中所示的三维人脸网格模板，该三维人脸网格模板由四边形的网格组成，此外还可以根据需求创建由三角形的网格组成的三维人脸网格模板。本实施例在检测人脸图像的光照信息之前，会在执行人脸图像的光照检测方法的处理设备中存储一个预先创建好的三维人脸网格模板，由于现有的三维人脸模型会受到不同人脸图像中人脸形状的限制，使得光照检测存在较大的误差，本实施例中通过三维人脸网格模板与包含不同人脸形状的人脸图像进行匹配，能够根据人脸形状进行相应的形变，从而避免不同人脸图像中人脸形状的限制，后续针对不同待检测的人脸图像，均可以通过该三维人脸网格模板与其匹配，得到重建的人脸网格模型。

可选的，本实施例在对人脸图像中的光照信息进行检测时，首先需要获取当前采集的需要进行光照信息检测的人脸图像，以及预先存储的三维人脸网格模板，也就是标准人脸的网格模型，通过该三维人脸网格模板与当前待检测的人脸图像进行匹配，能够得到重建的人脸网格模型。本实施例中针对同一个三维人脸网格模板进行处理，降低了根据不同人脸图像重建对应的人脸网格模型过程中存在的噪声和和缺损干扰，而且解决了通过不同的人脸图像直接生成的网格模型不具备一致拓扑结构的问题。

s120，根据人脸图像对三维人脸网格模板进行形变，得到重建的人脸网格模型。

可选的，在得到本次待检测的人脸图像以及预先存储的三维人脸网格模板时，为了避免不同人脸图像中人脸形状的限制，可以根据获取的人脸图像中的人脸形状对该三维人脸网格模板进行形变，使得形变后的三维人脸网格模板中的人脸姿态与人脸图像中的人脸姿态近似相同，从而将形变后的三维人脸网格模板作为根据该人脸图像重建的人脸网格模型，此时对于不同的人脸图像，可以对应重建一个唯一的由三维人脸网格模板中的网格进行相应形变得到的人脸网格模型，该重建的人脸网格模型与三维人脸网格模板中具有相同的网格点。

具体的，本实施例中可以通过分层次提取三维人脸网格模板中的局部特征点，并依次根据分层次提取的局部特征点在人脸图像中的姿态匹配位置，对三维人脸网格模板进行形变，得到目标人脸网格模型；进而获取目标人脸网格模型中的全局特征点，并根据全局特征点在人脸图像中的姿态匹配位置，再次对目标人脸网格模型进行形变，得到重建的人脸网格模型。

其中，特征点为模型中能够有效表示人脸的皮肤特征的像素点，由于人脸中的皮肤点对于不同光照作用下的亮度变化效果比较明显，因此本实施例中的特征点是指能够表示出三维人脸网格模板中皮肤点所对应的像素点，也就是三维人脸网格模板中所分布的各个网格顶点或者网格面片中心点，如四边形网格的中心点。局部特征点是三维人脸网格模板中包含的部分特征点。同时，姿态匹配位置为根据各个特征点所表示的人脸目标部位在三维人脸网格模板中的位置，确定的该目标部位对应位于人脸图像中的匹配位置；例如，表示三维人脸网格模板中的脸颊的特征点在人脸图像中的姿态匹配位置为该人脸图像中脸颊所在位置。全局特征点为目标人脸网格模型中所分布的全部网格顶点或者网格面片中心点。具体的，本实施例通过分层次对三维人脸网格模板中的局部特征点进行提取，并依次确定分层次提取的各个局部特征点在人脸图像中的姿态匹配位置，根据对应的姿态匹配位置依次控制相应的三维人脸网格模板进行形变，得到与人脸图像匹配的目标人脸网格模型；同时进一步获取目标人脸网格模型中的全局特征点，并根据各个全局特征点在人脸图像中的姿态匹配位置，参照上述提及的具体形变过程，再次对目标人脸网格模型进行形变，以保证重建的人脸网格模型足够平滑的同时，也能够尽量重建出更多的细节特征，优化得到与人脸图像更加相似的人脸网格模型，从而得到重建的人脸网格模型。此外，在三维人脸网格模板的形变过程中，除局部特征点之外的其他特征点在随着三维人脸网格模板的形变进行移动时，会满足一定的约束条件，保证三维人脸网格模板在形变过程中各个网格顶点移动的一致性。

s130，根据三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定关键特征点在人脸图像中对应的特征点的亮度。

其中，关键特征点是在三维人脸网格模板中预先选取出的能够代表一定人脸图像的部位信息的局部特征点，与三维人脸网格模板在上述形变过程中的选取的局部特征点可以不同，也可以相同，对此不作限定，本实施例中的关键特征点优选的是在全部网格顶点或者网格面片中心点中可以明确表示三维人脸网格模板中除嘴唇、眼睛等五官点之外的脸颊或下巴等皮肤点位置的具有一定几何对应位置意义的特征点。特征点的亮度是指能够表示人脸图像中的各个特征点所在位置的色调信息，也就是该位置的图像明暗的参数，本实施例中的人脸图像为灰度图像，因此关键特征点在人脸图像中对应的特征点的亮度为该特征点的像素灰度值。

可选的，在根据人脸图像对三维人脸网格模板进行形变，得到重建的人脸网格模型时，首先可以在三维人脸网格模板中确定出预先选取的关键特征点，在三维人脸网格模板进行形变的过程中，该关键特征点也会随着三维人脸网格模板的形变进行相应的移动，并满足一定的约束条件，保证三维人脸网格模板在形变过程中各个特征点移动的一致性。在对检测人脸图像中的光照信息时，还需要预先获取该人脸图像中对应特征点的亮度，此时在确定三维人脸网格模板中的关键特征点，且该三维人脸网格模板进行形变，得到重建的人脸网格模型时，可以进一步判断出该关键特征点随着三维人脸网格模板的形变进行相应移动后，在重建的人脸网格模型中对应的形变位置，由于重建的人脸网格模型与待检测的人脸图像中的人脸姿态近似相同，因此可以根据关键特征点在重建的人脸网格模型中对应的形变位置，确定出该关键特征点在人脸图像中相同位置的特征点，作为对应的特征点，从而获取该对应的特征点的亮度，以便后续根据该亮度以及该关键特征点的预设亮度与光照的对应关系，确定人脸图像的光照信息。

s140，根据关键特征点的预设亮度与光照的对应关系，以及，关键特征点在人脸图像中对应的特征点的亮度，确定人脸图像的光照信息。

其中，预设亮度与光照的对应关系是指人脸图像中特征点的亮度与该人脸图像的光照信息之间存在的对应变换关系，本实施例中可以通过大量已经确定光照信息的历史人脸图像，以及三维人脸网格模板中的关键特征点在各个历史人脸图像中对应的特征点的亮度，来训练得到各个关键特征点的预设亮度与光照的对应关系。光照信息是指在采集待检测的人脸图像的当前时刻所对应的真实环境光的光照情况，可以包括该人脸图像采集时对应的真实光照方向。

可选的，本实施例在得到三维人脸网格模板中的关键特征点在人脸图像中对应的特征点的亮度时，可以获取为各个关键特征点预先确定的预设亮度与光照的对应关系，并根据该预设亮度与光照的对应关系，对各个关键特征点在人脸图像中对应的特征点的亮度进行变换，从而得到该人脸图像在采集时真实环境中的光照信息；后续可以通过该光照信息为对应ar类产品中的虚拟对象增加相同的光照强度，也就是对虚拟对象进行相同的光照渲染，使得虚拟对象能够无缝地嵌入到真实的人脸图像中，从而给予用户一种虚拟对象是真实存在的感觉，提高用户对于ar类产品的使用体验。

本实施例提供的技术方案，根据待检测的人脸图像对三维人脸网格模型进行形变，得到重建的人脸网格模型，根据关键特征点在重建的人脸网格模型中的形变位置，确定该关键特征点在人脸图像中对应的特征点的亮度，进而根据该亮度以及预设亮度与光照的对应关系，确定人脸图像的光照信息，无需执行繁重的图像获取过程，且人脸模型与人脸图像的位置匹配度较高，解决了现有技术中由于受到不同人脸图像的人脸形状的限制，通过三维人脸模型进行光照检测存在较大误差的问题，简化了人脸图像中光照检测操作，提高了光照检测的检测效率和准确性。

实施例二

图2为本发明实施例二提供的方法中关键特征点的预设亮度和光照的对应关系的预先确定过程的原理示意图。本实施例是在上述实施例的基础上进行优化。具体的，本实施例主要通过大量历史人脸图像以及三维人脸网格模板，对该三维人脸网格模板中的各个关键特征点的预设亮度和光照的对应关系的训练过程进行详细的解释说明。

可选的，本实施例中可以具体包括如下步骤：

s210，获取历史人脸图像以及三维人脸网格模板，并确定历史人脸图像的历史光照信息。

其中，历史人脸图像是已经确定图像光照信息的包含人脸画面的图像，本实施例中在对三维人脸网格模板中关键特征点的预设亮度与光照的对应关系进行确定之前，首先需要采集大量的已经明确光照信息的历史人脸图像，构建对应的训练集。

具体的，本实施例执行对各关键特征点的预设亮度与光照的对应关系的训练过程时，可以在该训练集中获取大量的历史人脸图像，以及预先存储的三维人脸网格模板，并确定各个历史人脸图像的历史光照信息；该历史光照信息中包括历史人脸图像的光照方向。

s220，根据历史人脸图像对三维人脸网格模板进行形变，得到重建的历史人脸网格模型。

可选的，为了避免由于不同历史人脸图像中人脸形状的限制，而造成三维人脸网格模板中的关键特征点在不同历史人脸图像中对应的特征点所表示的人脸部位出现误差，使得光照检测结果存在较大误差的问题，同时由于后续需要确定三维人脸网格模板中的关键特征点在历史人脸图像中对应的特征点的亮度，此时本实施例中可以通过实施例一中描述的人脸网格模型的重建过程，相应的根据训练集中获取的各个历史人脸图像，分别对预先存储的同一个三维人脸网格模板进行形变，得到各历史人脸图像对应重建的各个历史人脸网格模型，使得各个历史人脸网格模型具备一致的网格拓扑结构，也就保证了关键特征点在不同历史人脸图像中对应的特征点所表示的人脸部位的一致性。

s230，根据三维人脸网格模板中的关键特征点在重建的历史人脸网格模型中的形变位置，确定关键特征点在历史人脸图像中对应的特征点的亮度。

可选的，在得到各个历史人脸图像对应重建的不同历史人脸网格模型时，由于三维人脸网格模板中的会随着三维人脸网格模板的形变进行相应的移动，此时可以确定三维人脸网格模板中的关键特征点在各个历史人脸图像对应重建的不同历史人脸网格模型中的形变位置，从而根据该关键特征点在各个重建的历史人脸网格模型中对应的形变位置，确定出该关键特征点在各个历史人脸图像中相同位置处的特征点，作为对应的特征点，从而获取在各个历史人脸图像中该对应的特征点的亮度，以便后续根据该亮度以及预先获取的各个历史人脸图像的光照信息，确定各个关键特征点的预设亮度与光照的对应关系。

s240，根据历史人脸图像的历史光照信息，以及关键特征点在历史人脸图像中对应的特征点的亮度，确定关键特征点的预设亮度与光照的对应关系。

可选的，得到关键特征点在历史人脸图像中对应的特征点的亮度，同时已经确定各个历史人脸图像的光照信息，此时可以针对每一关键特征点，均根据该关键特征点在各个历史人脸图像中对应的特征点的亮度，以及对应的历史人脸图像的光照信息，确定出该关键特征点的预设亮度与光照的对应关系；依照相同的方式，确定三维人脸网格模板中每个关键特征点的预设亮度与光照的对应关系。

可选的，本实施例中在对于关键特征点的预设亮度与光照的对应关系进行确定时，根据历史人脸图像的历史光照信息，以及关键特征点在历史人脸图像中对应的特征点的亮度，确定关键特征点的预设亮度与光照的对应关系，可以具体包括：

s241，针对每一历史人脸图像，根据该历史人脸图像的历史光照信息，以及关键特征点在该历史人脸图像中对应的特征点的亮度，确定关键特征点的初始亮度与光照的对应关系。

具体的，由于训练集中包括大量历史人脸图像，此时在对关键特征点的预设亮度与光照的对应关系进行确定时，需要对每一历史人脸图像均执行相同的处理操作。本实施例中针对每一历史人脸图像，在获取到三维人脸网格模板中的各个关键特征点在该历史人脸图像中对应的特征点的亮度时，可以根据该历史人脸图像的光照信息，以及各个关键特征点在该历史人脸图像中对应的特征点的亮度，确定出该历史人脸图像对应的各个关键特征点的初始亮度与光照的对应关系。

示例性的，本实施例中的光照信息可以通过球谐光照的方式来表示，球谐光照是一种由对应维度下的光照特征值组成的、能够表示相应光照信息的向量。此时三维人脸网格模板中的关键特征点xj，j为关键特征点的序号，该关键特征点xj在历史人脸图像i中对应的特征点的亮度为ij,i，此时该历史人脸图像对应的初始亮度与光照的对应关系通过球谐光照表示为其中，为该历史人脸图像中对应的各个关键特征点的球谐光照表示。此时其中，为该历史人脸图像的光照信息中的光照方向球坐标；同时，

此外，是通过如下方式递归计算得到的：

1)其中，x！！为小于x的所有奇数的乘积；

2)

3)

其中，l为球谐光照表示的度，可以选用任一整数值，本实施例对此不作限定。

此时，在得到每个历史人脸图像的光照信息中的光照方向球坐标可以依据上述过程，得到各个该历史人脸图像的球谐光照表示，此时根据下述公式：可以得到每个历史人脸图像对应的关键特征点的初始亮度与光照的对应关系。

s242，采用最小二乘法对各历史人脸图像对应的关键特征点的初始亮度与光照的对应关系进行处理，得到关键特征点的预设亮度与光照的对应关系。

可选的，在得到每一关键特征点在各个历史人脸图像对应的初始亮度与光照的对应关系，也就是上述公式中的时，此时可以通过最小二乘法对各个历史人脸图像对应的初始亮度与光照的对应关系进行处理，也就是对得到的每个关键特征点在各个历史人脸图像中对应的进行处理，通过最小化误差的平方和寻找各个关键特征点的最佳亮度与光照的对应关系的匹配，从而得到各个关键特征点的预设亮度与光照的对应关系，使得针对不同的历史人脸图像求得的初始亮度与光照的对应关系与该预设亮度与光照的对应关系之间误差的平方和为最小。

本实施例提供的技术方案，根据大量的历史人脸图像对三维人脸网格模板进行形变，得到各个历史人脸图像对应重建的历史人脸网格模型，从而根据各个历史人脸图像的历史光照信息，以及关键特征点在历史人脸图像中对应的特征点的亮度，得到各个关键特征点的预设亮度和光照的对应关系，采用数据驱动的方式预先获取大量历史人脸图像，提高了关键特征点的预设亮度和光照的对应关系的准确性。

实施例三

图3为本发明实施例三提供的人脸图像的光照检测过程的原理示意图。本实施例是在上述实施例的基础上进行优化。具体的，本实施例中主要对于人脸图像中的光照检测过程进行详细的解释说明。

可选的，本实施例中可以包括如下步骤：

s310，获取待检测的人脸图像以及三维人脸网格模板。

s320，根据人脸图像对三维人脸网格模板进行形变，得到重建的人脸网格模型。

s330，获取三维人脸网格模板中的特征标记点，作为关键特征点。

具体的，由于三维人脸网格模板中存在预先设定的关键特征点，本实施例在根据人脸图像对三维人脸网格模板进行形变，得到重建的人脸网格模型时，首先在三维人脸网格模板中确定出预先设定的关键特征点，由于本实施例通过人工在三维人脸网格模板中标注出对应的特征点，此时可以在三维人脸网格模板中获取对应的特征标记点，作为预先设定的关键特征点。

s340，根据三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定关键特征点在人脸图像中的映射位置。

可选的，在三维人脸网格模板中确定出关键特征点时，在三维人脸网格模板进行形变的过程中，该关键特征点也会随着三维人脸网格模板的形变进行相应的移动，并满足一定的约束条件，保证三维人脸网格模板在形变过程中各个特征点移动的一致性；此时可以确定出该关键特征点在随着三维人脸网格模板的形变进行移动后，在重建的人脸网格模型中的形变位置，由于重建的人脸网格模型与待检测的人脸图像中的人脸姿态近似相同，此时可以根据该形变位置确定出该关键特征点移动后在人脸图像中的映射位置。

s350，获取人脸图像中该映射位置处对应的特征点的亮度，作为关键特征点在人脸图像中对应的特征点的亮度。

具体的，在确定关键特征点随着三维人脸网格模板的形变进行移动后，在人脸图像中的映射位置时，可以直接获取人脸图像中该映射位置处对应的特征点，作为该关键特征点在人脸图像中对应的特征点，此时直接获取人脸图像中该映射位置处对应的特征点的亮度，则可以作为该关键特征点在人脸图像中对应的特征点的亮度。

s360，根据关键特征点的预设亮度与光照的对应关系，以及，关键特征点在人脸图像中对应的特征点的亮度，确定人脸图像的球谐光照系数。

可选的，本实施例中人脸图像的光照信息可以通过球谐光照的方式来表示，此时在得到各个关键特征点在人脸图像中对应的特征点的亮度时，可以获取预先确定的各关键特征点的预设亮度与光照的对应关系，从而根据下述公式确定出人脸图像的球谐光照系数：

其中，为关键特征点的预设亮度与光照的对应关系，ij为关键特征点在人脸图像中对应的特征点的亮度，为人脸图像的球谐光照系数。

s370，根据球谐光照系数确定人脸图像的光照信息。

可选的，在得到人脸图像的球谐光照系数时，可以通过该球谐光照系数确定人脸图像的光照信息，如在中选取出为人脸图像的光照方向。

本实施例提供的技术方案，根据待检测的人脸图像对三维人脸网格模型进行形变，得到重建的人脸网格模型，根据关键特征点在重建的人脸网格模型中的形变位置，确定该关键特征点在人脸图像中对应的特征点的亮度，进而根据该亮度以及预设亮度与光照的对应关系，确定人脸图像的光照信息，无需执行繁重的图像获取过程，且人脸模型与人脸图像的位置匹配度较高，解决了现有技术中由于受到不同人脸图像的人脸形状的限制，通过三维人脸模型进行光照检测存在较大误差的问题，简化了人脸图像中光照检测操作，提高了光照检测的检测效率和准确性。

实施例四

图4为本发明实施例四提供的一种人脸图像的光照检测装置的结构示意图，具体的，如图4所示，该装置可以包括：

图像获取模块410，用于获取待检测的人脸图像以及三维人脸网格模板；

人脸重建模块420，用于根据人脸图像对三维人脸网格模板进行形变，得到重建的人脸网格模型；

亮度确定模块430，用于根据三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定关键特征点在人脸图像中对应的特征点的亮度；

光照信息确定模块440，用于根据关键特征点的预设亮度与光照的对应关系，以及，关键特征点在人脸图像中对应的特征点的亮度，确定人脸图像的光照信息。

本实施例提供的技术方案，根据待检测的人脸图像对三维人脸网格模型进行形变，得到重建的人脸网格模型，根据关键特征点在重建的人脸网格模型中的形变位置，确定该关键特征点在人脸图像中对应的特征点的亮度，进而根据该亮度以及预设亮度与光照的对应关系，确定人脸图像的光照信息，无需执行繁重的图像获取过程，且人脸模型与人脸图像的位置匹配度较高，解决了现有技术中由于受到不同人脸图像的人脸形状的限制，通过三维人脸模型进行光照检测存在较大误差的问题，简化了人脸图像中光照检测操作，提高了光照检测的检测效率和准确性。

进一步的，上述人脸图像的光照检测装置，还可以包括：

历史图像获取模块，用于获取历史人脸图像以及三维人脸网格模板，并确定历史人脸图像的历史光照信息；

历史人脸重建模块，用于根据历史人脸图像对三维人脸网格模板进行形变，得到重建的历史人脸网格模型；

历史亮度确定模块，用于根据三维人脸网格模板中的关键特征点在重建的历史人脸网格模型中的形变位置，确定关键特征点在历史人脸图像中对应的特征点的亮度；

关系确定模块，用于根据历史人脸图像的历史光照信息，以及关键特征点在历史人脸图像中对应的特征点的亮度，确定关键特征点的预设亮度与光照的对应关系。

进一步的，上述关系确定模块，可以包括：

初始关系确定单元，用于针对每一历史人脸图像，根据该历史人脸图像的历史光照信息，以及关键特征点在该历史人脸图像中对应的特征点的亮度，确定关键特征点的初始亮度与光照的对应关系；

预设关系确定单元，用于采用最小二乘法对各历史人脸图像对应的关键特征点的初始亮度与光照的对应关系进行处理，得到关键特征点的预设亮度与光照的对应关系。

进一步的，上述亮度确定模块430，可以包括：

映射位置确定单元，用于根据三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定关键特征点在人脸图像中的映射位置；

亮度确定单元，用于获取人脸图像中该映射位置处对应的特征点的亮度，作为关键特征点在人脸图像中对应的特征点的亮度。

进一步的，上述人脸图像的光照检测装置，还可以包括：

关键特征点获取模块，用于获取三维人脸网格模板中的特征标记点，作为关键特征点。

进一步的，上述光照信息确定模块440，可以包括：

系数确定单元，用于根据关键特征点的预设亮度与光照的对应关系，以及，关键特征点在人脸图像中对应的特征点的亮度，确定人脸图像的球谐光照系数；

光照信息确定单元，用于根据球谐光照系数确定人脸图像的光照信息。

本实施例提供的人脸图像的光照检测装置可适用于上述任意实施例提供的人脸图像的光照检测方法，具备相应的功能和有益效果。

实施例五

图5为本发明实施例五提供的一种设备的结构示意图，如图5所示，该设备包括处理器50、存储装置51和通信装置52；设备中处理器50的数量可以是一个或多个，图5中以一个处理器50为例；设备中的处理器50、存储装置51和通信装置52可以通过总线或其他方式连接，图5中以通过总线连接为例。

存储装置51作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中提供的人脸图像的光照检测方法对应的程序指令/模块。处理器50通过运行存储在存储装置51中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述人脸图像的光照检测方法。

存储装置51可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储装置51可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置51可进一步包括相对于处理器50远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

通信装置52可用于实现设备间的网络连接或者移动数据连接。

本实施例提供的一种设备可用于执行上述任意实施例提供的人脸图像的光照检测方法，具备相应的功能和有益效果。

实施例六

本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现上述任意实施例中的人脸图像的光照检测方法。该方法具体可以包括：

获取待检测的人脸图像以及三维人脸网格模板；

根据人脸图像对三维人脸网格模板进行形变，得到重建的人脸网格模型；

根据三维人脸网格模板中的关键特征点在重建的人脸网格模型中的形变位置，确定关键特征点在人脸图像中对应的特征点的亮度；

根据关键特征点的预设亮度与光照的对应关系，以及，关键特征点在人脸图像中对应的特征点的亮度，确定人脸图像的光照信息。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的人脸图像的光照检测方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述人脸图像的光照检测装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。