一种基于离线人脸数据库的自动面部替换方法

本发明属于数字图像处理方法技术领域，涉及一种基于离线人脸数据库的自动面部替换方法。

背景技术：

数码摄影的进步使人们能够捕捉大量高分辨率图像并在互联网上分享。但也产生了新的问题——“隐私”。越来越多的人们在街头拍摄照片并上传互联网，但是照片中包含一些出镜的人脸在未经本人同意的情况下被发布到互联网，这样照片就会侵犯别人的隐私；百度和高德等软件的街景地图中有大量行人在没有征求意见的情况下被拍照，所以保护个人的隐私变得越来越重。传统的方法是通过模糊、像素化或简单地用黑色像素覆盖获取的照片中的人脸区域来模糊身份保护。但是这是不可取的，因为它降低了图像的视觉吸引力，并且这些方法目前是需要手动操作，随着图像数量迅速增长，手动操作方法就会变得很麻烦，导致效率低下。

技术实现要素：

本发明的目的是提供一种基于离线人脸数据库的自动面部替换方法，解决了现有技术中存在的替换效率低的问题。

本发明所采用的技术方案是，一种基于离线人脸数据库的自动面部替换方法，具体按照如下步骤实施：

步骤1，构建离线人脸数据库；

步骤2，将步骤1获得的数据集中的每一张人脸图像进行镜像处理，然后将原始人脸图像和镜像后的人脸图像作为候选人脸图像集，根据人脸姿态的欧拉角对候选人脸图像集中的所有人脸图像进行分类；

步骤3，输入待测人脸图像，使用dlib检测模型执行人脸检测以提取全部人脸，并估计待测人脸图像的人脸姿态，计算出待测人脸图像中所有人脸的欧拉角，并将候选人脸图像集中的人脸图像和待测人脸图像对齐到一个公共坐标系中；

步骤4，将待测人脸图像和候选人脸图像集中的所有人脸图像进行比较，获得初始候选人脸集；

步骤5，根据待测人脸图像调整初始候选人脸集中所有人脸图像的照明，获得调整后的候选人脸集；

步骤6，计算经步骤5得到的候选人脸集中的候选人脸图像与待测人脸图像之间的欧氏距离并按照从小到大的顺序排列，选择排名第一的候选人脸与待测人脸进行替换输出。

本发明的特征还在于，

步骤2中根据人脸姿态的欧拉角对候选人脸图像集中的所有人脸图像进行分类具体为：

步骤2.1，使用dlib检测模型对候选人脸图像集中的人脸图像进行特征点检测，获取人脸图像的6个关键点坐标，即就是左眼角、右眼角、鼻尖、左嘴角、右嘴角、下颌的坐标，然后采用平均脸模型将6个关键点作为3d模型的基本点，构建对应的3d模型，然后采用opencv的solvepnp函数，根据关键点在3d模型中的位置计算出人脸的旋转向量，然后将旋转向量计算欧拉角的偏航角yaw和俯仰角pitch；

步骤2.2，选择偏航角度在±25°内且俯仰角度在±15°的人脸图像作为备选人脸图像；

步骤2.3，对备选人脸图像进行分类，具体为：

将偏航角从-25°到25°均匀划分为5个区间作为横坐标，将俯仰角从-15°到15°均匀划分为三个区间作为纵坐标，将同时满足横纵坐标数值的对应人脸图像放置到对应的格子中，形成15个姿态箱，即就是将备选人脸图像分为15类。

步骤3中的计算出待测人脸图像中所有人脸的欧拉角，按照步骤2.1的方法进行，计算偏航角yaw和俯仰角pitch。

步骤4具体为：

步骤4.1，对备选人脸图像进行性别筛选：根据待测人脸图像的性别，在备选人脸图像的15个姿态箱中选择与待测人脸图像性别相同的人脸图像进行保留，作为下一步候选人脸图像；

步骤4.2，将步骤4.1获得的所有候选人脸图像进行年龄筛选：根据待测人脸图像的年龄区间，在步骤4.1得到的候选人脸图像中检测符合对应年龄区间的人脸作为下一步的候选人脸图像；

步骤4.3，选择步骤4.2得到的候选人脸图像中与待测人脸图像的偏航角和俯仰角相差均不超过3°的人脸作为下一步的候选人脸图像；

步骤4.4，选择步骤4.3候选人脸集合中符合分辨率要求的人脸作为下一步的候选人脸图像；

步骤4.5，计算经过步骤4.4处理得到的候选人脸图像与待测人脸图像的模糊距离db，将计算得到的模糊距离db由小到大排序，保留排在前50％的图像作为下一步的候选人脸图像；

步骤4.6，分别计算步骤4.5得到的候选人脸图像与待测人脸图像之间的照明距离dl，然后对dl按照从小到大的规则进行排序，最终保留照明距离dl在前10％的人脸图像作为下一步的候选人脸。

步骤4.5具体为：

步骤4.5.1，将每个人脸图像的眼睛区域的灰度强度归一化为零均值和单位方差，具体为：

其中，x是步骤4.4得到的候选人脸图像或者待测人脸图像眼睛区域单个像素点内灰度强度值，是步骤4.4得到的候选人脸图像或者待测人脸图像眼睛区域灰度强度的均值，σ是步骤4.4得到的候选人脸图像或者待测人脸图像区域灰度强度的标准差，x^*是归一化之后的灰度强度值；

步骤4.5.2，计算归一化眼区梯度大小的直方图h⁽¹⁾和h⁽²⁾，将直方图乘以一个加权函数，该加权函数使用直方图索引bin的平方，得到两个加权直方图和具体为：

其中，n表示直方图的bin索引号，h⁽ⁱ⁾表示候选人脸图像或者待测人脸图像分别的归一化眼区域梯度大小的直方图，表示候选人脸图像或者待测人脸图像对应的加权直方图，i＝1表示候选人脸图像，i＝2表示待测人脸图像；

步骤4.5.3，计算候选人脸图像和待测人脸图像的模糊距离，即就是直方图相交距离hid，具体为：

其中，db表示两张人脸图像的模糊距离；

步骤4.5.4，按照步骤4.5.1-4.5.3计算所有候选人脸图像和待测人脸图像的模糊距离db，然后按照从小到大的规则排序，保留前50％的图像作为下一步的候选人脸图像。

步骤4.6具体为：

步骤4.6.1，使用人脸重新标记方法将步骤4.5获得的候选人脸图像和待测人脸图像表示为圆柱体状的平均人脸形状；

步骤4.6.2，计算每个rgb颜色通道中人脸替换区域的图像强度具体为：

其中，表示计算每个rgb颜色通道中人脸替换区域的图像强度；n(x,y)是图像位置(x,y)处的表人脸法线，ρc是三个颜色通道中每个通道的常数反照率，系数ac,k光照条件，hk(n(x,y)是球面谐波图像；

步骤4.6.3，通过将施密特正交化应用于谐波基hk(n(x,y)来创建一个正交基ψk(x,y)，则表示为：

其中，βc,k表示照明系数，ψk(x,y)表示施密特正交化后的球面谐波图像；

步骤4.6.4，根据步骤4.6.1-4.6.3分分别计算经步骤4.5得到的候选人脸图像和待测人脸图像对应的分别用和表示，然后计算候选人脸图像和待测人脸图像的照明距离dl，具体为：

其中，表示候选人脸图像对应的照明系数，表示待测人脸图像对应的照明系数，dl(i⁽¹⁾,i⁽²⁾)表示候选人脸图像和待测人脸图像之间的照明距离，其中，i⁽¹⁾为候选人脸图像，i⁽²⁾为待测人脸图像；

步骤4.6.5，计算所有候选人脸图像和待测人脸图像之间的照明距离dl，将计算的照明距离dl按照从小到大的规则排序，保留dl在前10％的人脸作为下一步的候选人脸图像。

所述步骤5具体为：

使用图像公式在替换区域内将待测人脸图像i⁽²⁾的照明应用于步骤4得到的候选人脸图像i⁽¹⁾中，则应用后的候选人脸图像对应的图像强度为：

其中，为根据公式(5)计算得到的候选人脸图像i⁽¹⁾对应的每个rgb颜色通道中人脸替换区域的图像强度；

为根据公式(5)计算得到的待测人脸图像i⁽²⁾对应的每个rgb颜色通道中人脸替换区域的图像强度；

为将待测人脸图像i⁽²⁾的照明候选人脸图像i⁽¹⁾后的候选人脸图像对应的图像强度。

步骤6具体为：计算经步骤5处理之后的所有候选人脸图像与待测人脸图像之间的欧氏距离并按照从小到大的顺序排列，选择排名第一的候选人脸与待测人脸进行替换输出。

本发明的有益效果是：

(1)本发明相较于传统方法，能够全自动替换不同姿态、性别、年龄、分辨率、图像模糊程度和光照条件的人脸，无需多余的手动辅助。

(2)本发明方法利用离线人脸数据库进行全自动的人脸交换，区别于传统的利用像素化和用黑色像素涂抹来模糊身份，本发明实现了很好的效果。

附图说明

图1是本发明一种基于离线人脸数据库的自动面部替换方法的流程图；

图2是本发明一种基于离线人脸数据库的自动面部替换方法中6个关键点的示意图；

图3是本发明一种基于离线人脸数据库的自动面部替换方法中估计人脸姿态时使用的3维坐标分布示意图；

图4是本发明一种基于离线人脸数据库的自动人脸替换方法中使用的dlib工具检测到的68个人脸关键点示意图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明一种基于离线人脸数据库的自动面部替换方法，具体按照如下步骤实施：

步骤1，构建离线人脸数据库；

步骤2，将步骤1获得的数据集中的每一张人脸图像进行镜像处理，然后将原始人脸图像和镜像后的人脸图像作为候选人脸图像集，根据人脸姿态的欧拉角对候选人脸图像集中的所有人脸图像进行分类；其中，根据人脸姿态的欧拉角对候选人脸图像集中的所有人脸图像进行分类具体为：

步骤2.1，使用dlib检测模型对候选人脸图像集中的人脸图像进行特征点检测，获取人脸图像的6个关键点坐标，如图2所示，即就是左眼角、右眼角、鼻尖、左嘴角、右嘴角、下颌的坐标，然后采用平均脸模型将6个关键点作为3d模型的基本点，构建对应的3d模型，然后采用opencv的solvepnp函数，根据关键点在3d模型中的位置计算出人脸的旋转向量，然后将旋转向量计算欧拉角的偏航角yaw和俯仰角pitch；

步骤2.2，选择偏航角度在±25°内且俯仰角度在±15°的人脸图像作为备选人脸图像；

步骤2.3，对备选人脸图像进行分类，具体为：

将偏航角从-25°到25°均匀划分为5个区间作为横坐标，将俯仰角从-15°到15°均匀划分为三个区间作为纵坐标，将同时满足横纵坐标数值的对应人脸图像放置到对应的格子中，形成15个姿态箱，即就是将备选人脸图像分为15类；

步骤3，输入待测人脸图像，使用dlib检测模型执行人脸检测以提取全部人脸，并估计待测人脸图像的人脸姿态，计算出待测人脸图像中所有人脸的偏航角yaw和俯仰角pitch，并将候选人脸图像集中的人脸图像和待测人脸图像对齐到一个公共坐标系中；

步骤4，将待测人脸图像和候选人脸图像集中的所有人脸图像进行比较，获得初始候选人脸集；具体为：

步骤4.1，对备选人脸图像进行性别筛选：根据待测人脸图像的性别，在备选人脸图像的15个姿态箱中选择与待测人脸图像性别相同的人脸图像进行保留，作为下一步候选人脸图像；

步骤4.2，将步骤4.1获得的所有候选人脸图像进行年龄筛选：根据待测人脸图像的年龄区间，在步骤4.1得到的候选人脸图像中检测符合对应年龄区间的人脸作为下一步的候选人脸图像；

步骤4.3，选择步骤4.2得到的候选人脸图像中与待测人脸图像的偏航角和俯仰角相差均不超过3°的人脸作为下一步的候选人脸图像；

步骤4.4，选择步骤4.3候选人脸集合中符合分辨率要求的人脸作为下一步的候选人脸图像；

步骤4.5，计算经过步骤4.4处理得到的候选人脸图像与待测人脸图像的模糊距离db，将计算得到的模糊距离db由小到大排序，保留排在前50％的图像作为下一步的候选人脸图像；

步骤4.6，计算步骤4.5得到的候选人脸图像与待测人脸图像之间的照明距离dl，然后对dl按照从小到大的规则进行排序，最终保留照明距离dl在前10％的人脸图像作为下一步的候选人脸。

步骤4.5具体为：

步骤4.5.1，将每个人脸图像的眼睛区域的灰度强度归一化为零均值和单位方差，具体为：

其中，x是步骤4.4得到的候选人脸图像或者待测人脸图像眼睛区域单个像素点内灰度强度值，是步骤4.4得到的候选人脸图像或者待测人脸图像眼睛区域灰度强度的均值，σ是步骤4.4得到的候选人脸图像或者待测人脸图像区域灰度强度的标准差，x^*是归一化之后的灰度强度值；

步骤4.5.2，计算归一化眼区梯度大小的直方图h⁽¹⁾和h⁽²⁾，将直方图乘以一个加权函数，该加权函数使用直方图索引bin的平方，得到两个加权直方图和具体为：

其中，n表示直方图的bin索引号，h⁽ⁱ⁾表示候选人脸图像或者待测人脸图像分别的归一化眼区域梯度大小的直方图，表示候选人脸图像或者待测人脸图像对应的加权直方图，i＝1表示候选人脸图像，i＝2表示待测人脸图像；

步骤4.5.3，计算候选人脸图像和待测人脸图像的模糊距离，即就是直方图相交距离hid，具体为：

其中，db表示两张人脸图像的模糊距离；

步骤4.5.4，按照步骤4.5.1-4.5.3计算所有候选人脸图像和待测人脸图像的模糊距离db，然后按照从小到大的规则排序，保留前50％的图像作为下一步的候选人脸图像

步骤4.6具体为：

步骤4.6.1，使用人脸重新标记方法将步骤4.5获得的候选人脸图像和待测人脸图像表示为圆柱体状的平均人脸形状；

步骤4.6.2，计算每个rgb颜色通道中人脸替换区域的图像强度具体为：

其中，表示计算每个rgb颜色通道中人脸替换区域的图像强度；n(x,y)是图像位置(x,y)处的表人脸法线，ρc是三个颜色通道中每个通道的常数反照率，系数ac,k光照条件，hk(n(x,y)是球面谐波图像；

步骤4.6.3，通过将施密特正交化应用于谐波基hk(n(x,y)来创建一个正交基ψk(x,y)，则表示为：

其中，βc,k表示照明系数，ψk(x,y)表示施密特正交化后的球面谐波图像；

步骤4.6.4，根据步骤4.6.1-4.6.3分分别计算经步骤4.5得到的候选人脸图像和待测人脸图像对应的分别用和表示，然后计算候选人脸图像和待测人脸图像的照明距离dl，具体为：

其中，表示候选人脸图像对应的照明系数，表示待测人脸图像对应的照明系数，dl(i⁽¹⁾,i⁽²⁾)表示候选人脸图像和待测人脸图像之间的照明距离，其中，i⁽¹⁾为候选人脸图像，i⁽²⁾为待测人脸图像；

步骤4.6.5，计算所有候选人脸图像和待测人脸图像之间的照明距离，将计算的照明距离dl按照从小到大的规则排序，保留dl在前10％的人脸作为下一步的候选人脸图像。

步骤5，根据待测人脸图像调整初始候选人脸集中所有人脸图像的照明，获得调整后的候选人脸集；具体为：

使用图像公式在替换区域内将待测人脸图像i⁽²⁾的照明应用于步骤4得到的候选人脸图像i⁽¹⁾中，则应用后的候选人脸图像对应的图像强度为：

其中，为根据公式(5)计算得到的候选人脸图像i⁽¹⁾对应的每个rgb颜色通道中人脸替换区域的图像强度；

为根据公式(5)计算得到的待测人脸图像i⁽²⁾对应的每个rgb颜色通道中人脸替换区域的图像强度；

为将待测人脸图像i⁽²⁾的照明候选人脸图像i⁽¹⁾后的候选人脸图像对应的图像强度。

步骤6，计算经步骤5处理之后的所有候选人脸图像与待测人脸图像之间的欧氏距离并按照从小到大的顺序排列，选择排名第一的候选人脸与待测人脸进行替换输出。

实施例

一种基于离线人脸数据库的自动人脸替换方法，具体按照如下步骤实施：

步骤1，构建人脸数据库，使用现有的目前最流行的高清人脸数据集celeba-hq数据集。其中包含经过裁剪和校正的30000张分辨率为1024×1024的高清人脸图像，并使用python函数对数据库中所有人脸图像进行批量镜像处理，增加候选人脸的数量到60000张。

步骤2，对步骤1中获取的人脸数据集进行分组，通过dlib获取到的人脸关键点计算得到欧拉角，再根据每个人脸的欧拉角，将其分为15个类别。

对姿态估计的问题也被称为pnp问题(perspective-n-pointproblem)，人脸姿态估计主要是获得脸部朝向的角度信息。我们将获得的人脸姿态信息用三个欧拉角(pitch，yaw，roll)表示。首先定义一个6关键点的3d脸部模型(左眼角，右眼角，鼻尖，左嘴角，右嘴角，下颌)，然后采用dlib检测出图片中对应的6个脸部关键点，采用opencv的solvepnp函数解出旋转向量，最后将旋转向量转换为欧拉角。再根据欧拉角中的俯仰角和偏航角将数据库中的人脸划分到15个姿态箱中。因为在celeba-hq人脸数据集中所有的人脸都是经过对齐处理，所以只考虑偏航角和俯仰角。为了取代不同方向的人脸，我们使用偏航角和俯仰角将每个人脸分配到15个姿态箱中的一个。当我们的系统提供一个包含要替换的人脸的待测图像时，它执行人脸检测以提取人脸，估计姿态，并将人脸与公共坐标系对齐。然后，系统查看人脸数据库，选择可能的候选人脸以供替换。请注意，只考虑库中相同姿态箱中的候选人脸；这确保了替换人脸在姿态上相对相似，从而允许系统使用简单的2d图像编译，而不是需要精确对齐的基于三维模型的方法。

步骤2.1，如图4所示，使用dlib的68关键点的检测模型shape_predictor_68_face_landmarks.dat对人脸数据库中的二维人脸图像进行特征点检测，并且获取68个固定索引顺序的关键点。

步骤2.2，从上一步检测结果中选择眼角(cornersoftheeyes),鼻尖(tipofthenose),嘴角(cornersofthemouth)等位置的点，记录需要的6个关键点的索引id，分别是：下巴：8；鼻尖：30；左眼角：36；右眼角：45；左嘴角：48；右嘴角：54作为已知的2d坐标。

步骤2.3，得到每个2维坐标点对应的3维坐标。在实际应用中，不需要获取一个精确的人脸三维模型并且也没法获取这样的模型，因此，我们可以使用平均脸模型坐标就可以。一般使用的都是上图中的6个关键点坐标：分别为：鼻尖：(0.0，0.0，0.0)；下巴：(0.0，-330.0，-65.0)；左眼的左上角：(-225.0f，170.0f，-135.0)；右眼的右上角：(225.0，170.0，-135.0)；嘴左角：(-150.0，-150.0，-125.0)；嘴右角：(150.0，-150.0，-125.0)。需要注意的是这些点是在任意坐标系统的。即世界坐标系下(worldcoordinates)。

步骤2.4，用opencv的solvepnp函数解出旋转向量，solvepnp函数输出结果包括旋转向量(roatationvector)和平移向量(translationvector)。这里我们只关心旋转信息，所以主要将对roatationvector进行操作。

步骤2.5，rotationvector是物体旋转信息的表示方式之一，是opencv常用的表示方式。因为我们需要的是欧拉角(eulerangle)，所以这里将rotationvector转换为欧拉角。具体转换方式就是先将旋转向量转换为四元组，再将四元组转换为欧拉角。

步骤2.6，根据欧拉角中的偏航角和俯仰角去划分人脸数据库。由于不太可靠的极端姿态会导致换脸的不可靠，所以我们只选择偏航角度在±25°内的图像和俯仰角度在±15°的图像作为备选。偏航角和俯仰角的跨度间隔均为10°偏航角从-25°到25°，一共分5个选项，俯仰角从-15°到15°，一共分3个选项。考虑偏航角和俯仰角，将人脸数据库按照姿态一共分为类别，称其为15个姿态箱，如图3所示。

步骤3，输入一个待测图像时，使用dlib执行人脸检测以提取全部人脸，并且利用dlib的关键点检测来估计待测人脸姿态，计算它们的欧拉角，然后将待测人脸与数据库中人脸对齐到公共坐标系。

步骤4，比较待测人脸和全部姿态箱中人脸的偏航角和俯仰角，在对应的姿态箱中选择候选人脸。为了产生一个感知真实的替换图像，待测和替换人脸的姿态必须是完全相似的，甚至比属于同一个姿态箱所保证的更相似。因此我们从对应姿态箱中选择的人脸，其偏航角和俯仰角与待测人脸的偏航角和俯仰角相差不超过3°。此外，系统要求所选候选人脸在性别，年龄，图像质量，照明，颜色，等方面与待测人脸相似。所以我们定义一些属性来描述图像中人脸外观的相似性，主要有性别，年龄，分辨率，模糊程度，照明，颜色。在本节中，我们将描述这些属性以及选择候选人脸集合的相应标准。

步骤4.1，考虑到换脸之后的真实性，我们要保证待测人脸和候选人脸的性别必须是一致的，所以我们对候选人脸进行性别筛选，如果在待测图像中检测到男性脸部，那么在人脸数据库对应的姿态箱中寻找男性人脸作为下一步的候选人脸集合。

步骤4.2，保证换脸之后的人脸更好的与原始图像的非人脸部分融合以达到更好的效果，我们对候选人脸进行年龄限制，把年龄划分为以下5个区间，分别是0-10岁，10-20岁，20-40岁，40-60岁，60-80岁。当检测到的人脸属于一个年龄区间时，就在步骤4.1的候选人脸集合中查找符合年龄要求的人脸作为下一步的候选人脸集合。

步骤4.3，要保证待测和替换人脸的姿态非常相似，对步骤4.2年龄筛选之后的候选人脸集合进行更加精确的姿态选择，所以选择步骤4.2人脸候选集和中偏航角和俯仰角与待测人脸的偏航和俯仰角相差不超过3°的人脸作为下一步的候选人脸集合。

步骤4.4，保证候选人脸的分辨率和原始图像一致。这个属性的显著差异将导致替换后人脸的内部和外部区域之间明显的不匹配。我们使用左眼左上角和右眼右上角之间的距离来定义人脸部图像的分辨率。由于高分辨率图像总是可以被下采样，所以我们只需要在候选人脸的分辨率上定义一个下限。因此，我们从步骤4.3候选人脸集合中选择符合分辨率要求的人脸作为下一步的候选人脸集合，其左右眼睛之间的距离至少是待测图像中人脸的左右眼睛距离的80％。

步骤4.5，为了保证候选人脸的模糊程度与待测脸部一致，我们在使用一个简单的启发式度量来度量两幅图像中模糊程度的相似性。步骤4.5具体为：

步骤4.5.1，我们将每个对齐的人脸部图像的眼睛区域的灰度强度归一化为零均值和单位方差，如公式(1)所示：

其中x是待测人脸眼睛区域单个像素点内灰度强度值，是待测人脸眼睛区域灰度强度的均值，σ是待测人脸眼睛区域灰度强度的标准差，x^*是归一化之后的灰度强度值。

步骤4.5.2，我们计算归一化眼区梯度大小的直方图h⁽¹⁾和h⁽²⁾，将直方图乘以一个加权函数，该函数使用直方图索引bin的平方，如公式(2)所示：

其中，n表示直方图的bin索引号，i＝1表示候选人脸图像，i＝2表示待测图像，h⁽ⁱ⁾表示两幅图像分别的归一化眼区域梯度大小的直方图。

步骤4.5.3，将模糊距离计算为直方图相交距离(hid)，在两个加权直方图和之间，如公式(3)下所示：

其中db表示两张人脸的模糊距离，和表示两张图像的加权直方图。将模糊距离db按照从小到大的规则排序，保留前50％的图像作为下一步的候选人脸图像。

步骤4.6，保证候选人脸面部的照明与待测脸部基本一致。计算步骤4.5候选人脸集合中每个人脸的替换区域内的照明和平均颜色，并在给定待测人脸的情况下，选择其照明和颜色与待测人脸相似的人脸作为下一步的候选人脸集合。

步骤4.6具体为：

步骤4.6.1，使用人脸部重新标记方法，将人脸形状表示为类似圆柱体的“平均人脸形状”。

步骤4.6.2，使用一个简单的正射投影来定义从表人脸到人脸的映射。每个rgb颜色通道中人脸替换区域的图像强度ic(x,y)可以使用9个球面谐波的线性组合近似为如公式(4)所示：

其中表示每个rgb颜色通道中人脸替换区域的近似图像强度，n(x,y)是图像位置(x,y)的表人脸法线，ρc是三个颜色通道中每个通道的常数反照率(表示替换区域内的平均颜色)，系数ac,k描述光照条件，hk(n)是球面谐波图像。

步骤4.6.3，通过将施密特正交化应用于谐波基hk(n)来创建一个正交基ψk(x,y)，近似图像强度可以用这个正交基展开:

其中，βc,k表示照明系数，ψk(x,y)表示施密特正交化后的球面谐波图像。其他参数与上人脸公式一致。

步骤4.6.4，将rgb反照率转换为hsv颜色空间，为了比较照明，我们将照明距离dl定义为相应照明系数之间的l2(欧氏距离)距离：

其中dl表示两张图像的照明距离，把dl按照从小到大的规则排序，保留dl在前10％的人脸作为下一步的候选人脸图像。

使用以上介绍的各种外观属性从库中选择候选人脸是一个最近邻搜索问题。为了加快速度，使用顺序选择方法。给定一个查询人脸，我们首先对其姿态、性别、年龄、分辨率进行选择，以接近待测人脸。这一步骤使我们能够将潜在候选人替换人数从60000人减少到几千人，接下来，我们使用模糊距离db和随后的照明距离dl进一步缩减候选人脸集合，最终选择前50个人脸作为下一步的候选人脸集合。

步骤5，根据待测人脸图像调整初始候选人脸集中所有人脸图像的照明，获得调整后的候选人脸集；具体为：

使用图像公式在替换区域内将待测人脸图像i⁽²⁾的照明应用于步骤4得到的候选人脸图像i⁽¹⁾中，则应用后的候选人脸图像对应的图像强度为：

其中，为根据公式(5)计算得到的候选人脸图像i⁽¹⁾对应的每个rgb颜色通道中人脸替换区域的图像强度；

为根据公式(5)计算得到的待测人脸图像i⁽²⁾对应的每个rgb颜色通道中人脸替换区域的图像强度；

为将待测人脸图像i⁽²⁾的照明候选人脸图像i⁽¹⁾后的候选人脸图像对应的图像强度。

步骤6，计算经步骤5处理之后的所有候选人脸图像与待测人脸图像之间的欧氏距离并按照从小到大的顺序排列，选择排名第一的候选人脸与待测人脸进行替换输出。