一种图像处理方法和装置的制造方法
【技术领域】
[0001] 本申请涉及图像处理技术领域，更具体的说是涉及一种图像处理方法和装置。
【背景技术】
[0002] 基于图像的三维人脸重建是指从包含人脸的二维图像或者视频出发，构建出三维 人脸模型。三维人脸重建是计算机视觉研究领域的研究热点，并且被广泛应用于生物信息 认证识别、计算机游戏、电话会议系统等领域。
[0003] 三维人脸重建过程需要从人脸的二维图像中恢复出人脸的三维形状和纹理，然后 将人脸的三维形状和纹理进行结构化，以构建出三维人脸。为了能够精准的构建出三维人 脸，在构建三维人脸形状的过程中，需要利用双目摄像头进行人脸图像摄取，以获取到人脸 的二维图像和深度信息，并提取所述二维图像中的二维结构信息，利用该二维结构信息和 的信息来进行三维形状的构建。然而利用二维图像的二维结构信息和深度信息构建三维人 脸形状的方式，在摄取二维图像的同时，获取该二维图像对应的深度信息，对人脸图像的摄 取装置的要求较高，从而提高了构建三维人脸形状的复杂度，也就提高了三维人脸重建的 复杂度，进而不利于三维人脸重建的广泛推广。
【发明内容】
[0004] 有鉴于此，本申请提供了一种图像处理方法和装置，以降低三维人脸重建的复杂 度。
[0005] 为实现以上目的，本申请的第一方面提供了一种图像处理方法，包括：
[0006] 获取二维的目标人脸图像；
[0007] 接收用户在所述目标人脸图像中标示出的标识曲线，所述标识曲线用于指示所述 目标人脸图像中人脸轮廓区域所在的位置；
[0008] 基于所述标识曲线，并利用图像分割技术，从所述目标人脸图像中定位出人脸的 面部轮廓曲线；
[0009] 确定所述目标人脸图像中人脸的三维姿态；
[0010] 检测所述目标人脸图像中人脸的特征点位置；
[0011] 根据所述目标人脸图像中人脸的面部轮廓曲线、三维姿态和特征点位置，并利用 预置的人脸三维形状的经验模型以及与所述人脸三维形状的经验模型匹配的目标函数，构 建出所述目标人脸图像中人脸的三维形状，其中，该目标函数用于依据所述目标人脸图像 中人脸的三维姿态、面部轮廓曲线和特征点位置，以及所述人脸的面部轮廓曲线和特征点 位置在三维空间的映射，确定出所述经验模型的形变系数。
[0012] 结合第一方面，在第一种可能的实现方式中，所述接收用户在所述目标人脸图像 中标示出的标识曲线，包括：
[0013] 接收用户在所述目标人脸图像中标示出的人脸的初始面部轮廓曲线；
[0014] 所述基于所述标识曲线，并利用图像分割技术，从所述目标人脸图像中定位出人 脸的面部轮廓曲线，包括：
[0015] 从所述目标人脸图像中提取包含所述初始面部轮廓曲线的子图像区域；
[0016] 利用图像过分割技术对所述子图像区域进行分割，得到至少两个分割区域；
[0017] 提取所述至少两个分割区域的边界；
[0018] 利用曲线匹配算法，从所述至少两个分割区域的边界中，匹配出距离所述初始面 部轮廓曲线最近的边界曲线，将匹配出的边界曲线确定为所述目标人脸图像中人脸的面部 轮廓曲线。
[0019] 结合第一方面，在第二种可能的实现方式中，所述接收用户在所述目标人脸图像 中标示出的标识曲线，包括：
[0020] 接收用户在所述目标人脸图像中输入的第一标识曲线和第二标识曲线，其中，所 述第一标识曲线用于标识所述目标人脸图像中包含人脸的前景区域，所述第二标识曲线用 于标识所述目标人脸图像中未包含人脸的背景区域；
[0021] 所述基于所述标识曲线，并利用图像分割技术，从所述目标人脸图像中定位出人 脸的面部轮廓曲线，包括：
[0022] 利用图像分割技术，并结合所述第一标识曲线和第二标识曲线，分割出所述目标 人脸图像的前景区域和背景区域；
[0023] 根据所述目标人脸图像中的前景区域和背景区域，对目标人脸图像进行轮廓线提 取，提取出所述目标人脸图像中人脸的面部轮廓曲线。
[0024] 结合第一方面，在第三种可能的实现方式中，所述确定所述目标人脸图像中人脸 的三维姿态，包括：
[0025] 检测所述目标人脸图像中的人脸区域；
[0026] 在所述人脸区域进行二值化特征抽取；
[0027] 基于抽取到的二值化特征，并利用预置的姿态回归预测函数进行回归预测，得到 所述目标人脸图像中人脸的三维姿态。
[0028] 结合第一方面，在第四种可能的实现方式中，所述检测所述目标人脸图像中人脸 的特征点位置，包括：
[0029] 确定所述目标人脸图像的人脸区域；
[0030] 根据预置的人脸的初始特征点位置，在所述人脸区域中所述初始特征点位置的指 定范围内进行二值化特征抽取；
[0031] 根据抽取到的二值化特征，并利用预置的特征点回归预测函数进行回归预测，得 到所述目标人脸图像中人脸的特征点位置。
[0032] 结合第一方面、第一方面的第一种可能的实现方式、第一方面的第二种可能的实 现方式、第一方面的第三种可能的实现方式或者第一方面的第四种可能的实现方式，在第 五种可能的实现方式中，所述根据所述目标人脸图像中人脸的面部轮廓曲线、三维姿态和 特征点位置，并利用预置的人脸三维形状的经验模型以及与所述人脸三维形状的经验模型 匹配的目标函数，构建出所述目标人脸图像中人脸的三维形状，包括 ：
[0033] 根据人脸的面部轮廓曲线以及人脸特征点位置三维空间的映射关系，并利用与预 置的人脸三维形状的经验模型匹配的目标函数，确定出所述人脸三维形状的经验模型中的 形变系数的最优值，其中，所述目标函数为：
[0034] { θ *，b*} = argmin{e，b} I I (Xc，Xe)-(IC，Γ)Ρ0 (μ +C>b) I |2+λ I |b/p I |2
[0035] 其中，Θ为所述目标人脸图像中人脸的三维姿态，为所述人脸的三维姿态的最 优值；b为所述人脸三维形状的经验模型中的形变系数，K为基于该目标函数确定出的所 述人脸三维形状的经验模型中形变系数b的最优值；Γ为所述目标人脸图像中人脸的面部 轮廓曲线的参数化；Γ为所述目标人脸图像中人脸的特征点位置的参数化；Γ为将所述面 部轮廓曲线Γ映射到三维空间所得到的参数化；Γ为将所述人脸的特征点位置映射到三维 空间所得到的参数化；μ为预置的人脸三维形状的平均描述；Φ为人脸形状形变的线性描 述；P e为由所述人脸的三维姿态Θ确定的投影函数；ρ为预置的形变经验参数；
[0036] 其中，Γ = argmin{s，} I |Pe (S'）_XC| |2 ;
[0037] S'为预置的初始人脸三维形状；
[0038] 将所述形变系数的最优值输入到所述人脸三维形状的经验模型中，构建出所述目 标人脸图像中人脸的三维形状，其中，所述人脸三维形状的经验模型为：
[0039] S = μ +Ob ;
[0040] 其中，S为人脸三维形状的参数化表示。
[0041] 另一方面，本申请的第二方面提供了一种图像处理装置，包括：
[0042] 图像获取装置，用于获取二维的目标人脸图像；
[0043] 输入单元，用于接收用户在所述目标人脸图像中标示出的标识曲线，所述标识曲 线用于指示所述目标人脸图像中人脸的轮廓分布；
[0044] 轮廓定位单元，用于基于所述标识曲线，并利用图像分割技术，从所述目标人脸图 像中定位出人脸的面部轮廓曲线；
[0045] 姿态确定单元，用于确定所述目标人脸图像中人脸的三维姿态；
[0046] 特征点定位单元，用于检测所述目标人脸图像中人脸的特征点位置；
[0047] 形状构建单元，用于根据所述目标人脸图像中人脸的面部轮廓曲线、三维姿态和 特征点位置，并利用预置的人脸三维形状的经验模型以及与所述人脸三维形状的经验模型 匹配的目标函数，构建出所述目标人脸图像中人脸的三维形状，其中，该目标函数用于依据 所述目标人脸图像中人脸的三维姿态、面部轮廓曲线和特征点位置，以及所述人脸的面部 轮廓曲线和特征点位置在三维空间的映射，确定出所述经验模型的形变系数。
[0048] 结合第二方面，在第一种可能的实现方式中，所述输入单元，包括：
[0049] 第一输入子单元，用于接收用户在所述目标人脸图像中标示出的人脸的初始面部 轮廓曲线；
[0050] 所述轮廓定位单元，包括：
[0051] 提取子单元，用于从所述目标人脸图像中提取包含所述初始面部轮廓曲线的子图 像区域；
[0052] 区域分割子单元，用于利用图像过分割技术对所述子图像区域进行分割，得到至 少两个分割区域；
[0053] 边界提取子单元，用于提取所述至少两个分割区域的边界；
[0054] 第一轮廓定位子单元，用于利用曲线匹配算法，从所述至少两个分割区域的边界 中，匹配出距离所述初始面部轮廓曲线最近的边界曲线，将匹配出的边界曲线确定为所述 目标人脸图像中人脸的面部轮廓曲线。
[0055] 结合第二方面，在第二种可能的实现方式中，所述输入单元，包括：
[0056] 第二输入子单元，用于接收用户在所述目标人脸图像中输入的第一标识曲线和第 二标识曲线，其中，所述第一标识曲线用于标识所述目标人脸图像中包含人脸的前景区域， 所述第二标识曲线用于标识所述目标人脸图像中未包含人脸的背景区域；
[0057] 所述轮廓定位单元，包括：
[0058] 前背景分割子单元，用于利用图像分割技术，并结合所述第一标识曲线和第二标 识曲线，分割出所述目标人脸图像的前景区域和背景区域；
[0059] 第二轮廓定位子单元，用于根据所述目标人脸图像中的前景区域和背景区域，对 目标人脸图像进行轮廓线提取，提取出所述目标人脸图像中人脸的面部轮廓曲线。
[0060] 结合第二方面，在第三种可能的实现方式中，所述姿态确定单元，包括：
[0061] 人脸检测单元，用于检测所述目标人脸图像中的人脸区域；
[0062] 第一特征抽取单元，用于在所述人脸区域进行二值化特征抽取；
[0063] 姿态预测单元，用于基于抽取到的二值化特征，并利用预置的姿态回归预测函数 进行回归预测，得到所述目标人脸图像中人脸的三维姿态。
[0064] 结合第二方面，在第四种可能的实现方式中，所述特征点定位单元，包括：
[0065] 人脸区域确定单元，用于确定所述目标人脸图像的人脸区域；
[0066] 第二特征抽取单元，用于根据预置的人脸的初始特征点位置，在所述人脸区域中 所述初始特征点位置的指定范围内进行二值化特征抽取；
[0067] 特征点预测单元，用于根据抽取到的二值化特征，并利用预置的特征点回归预测 函数进行回归预测，得到所述目标人脸图像中人脸的特征点位置。
[0068] 结合第二方面、第二方面的第一种可能的实现方式、第二方面的第二种可能的实 现方式、第二方面的第三种可能的实现方式或者第二方面的第四种可能的实现方式中，在 第五种可能的实现方式中，所述形状构建单元，包括：
[0069] 形变参数确定单元，用于根据人脸的面部轮廓曲线以及人脸特征点位置三维空间 的映射关系，并利用与预置的人脸三维形状的经验模型匹配的目标函数，确定出所述人脸 三维形状的经验模型中的形变系数的最优值，其中，所述目标函数为：
[0070] { Θ *，b*} = argmin{e，b} I I (Xc，Xe)-(IC，Γ)Ρ0 (μ +C>b) I |2+入 I |b/p I |2 ;
[0071] 其中，Θ为所述目标人脸图像中人脸的三维姿态，为所述人脸的三维姿态的最 优值；b为所述人脸三维形状的经验模型中的形变系数，K为基于该目标函数确定出的所 述人脸三维形状的经验模型中形变系数b的最优值；Γ为所述目标人脸图像中人脸的面部 轮廓曲线的参数化；Γ为所述目标人脸