人脸姿态校正方法和装置的制造方法

人脸姿态校正方法和装置的制造方法
【专利摘要】本发明公开了一种人脸姿态校正方法和装置，所述方法包括：获取待校正的二维人脸图像；检测所述待校正的二维人脸图像的二维关键点，并确定三维人脸模型上与所述检测的二维关键点对应的三维关键点；根据所述确定的三维关键点，使用迭代计算的方式更新三维关键点；根据所述更新的三维关键点，确定姿态矫正后的二维人脸图像。本发明的技术方案中，在人脸姿态调整过程中，逐步调整三维人脸模型上的三维关键点，并更新三维人脸模型的几何参数，进而根据最终更新得到的三维人脸模型的几何参数进行人脸姿态校正，从而缩小校正后的二维人脸图像与实际人脸正面图像的差距，有利于提升人脸认证/识别性能。
【专利说明】
人脸姿态校正方法和装置
技术领域
[0001] 本发明涉及智能设备技术领域，具体而言，本发明涉及一种人脸姿态校正方法和 装置。
【背景技术】
[0002] 随着计算机视觉的不断发展，人脸识别作为一种重要的身份鉴别技术，广泛应用 于安全、人机交互、金融等诸多领域。通过对采集的人脸图像与图像库中的正面人脸图像进 行匹配，从而达到人脸识别的目的。然而，在非受控条件下，所采集的人脸的姿态变化是无 法避免的。例如采集的人脸图像不是正面的，而是呈一定角度的，则很难使用人脸识别技术 对人脸图像进行识别。
[0003] 为了解决人脸姿态变化这一问题，需要对采集的人脸图像进行姿态校正，针对特 定个体的二维人脸图像，在保持身份信息的前提下，生成对应的正面人脸图像，从而能够与 图像库中的正面人脸图像进行匹配，改善人脸识别结果。
[0004] 现有的人脸姿态校正方法通常是，利用预先定义的人脸上一系列有明确定义的关 键点，训练二维人脸图像上的自动关键点检测器；在利用摄像设备采集到二维人脸图像，将 采集到的二维人脸图像作为待校正的二维人脸图像后，可以利用预先训练出来的自动关键 点检测器检测待校正的二维人脸图像的二维关键点，并在三维人脸模型上找到对应的关键 点；为便于描述，本文中将从二维人脸图像上检测的关键点称为二维关键点，将三维人脸模 型上的关键点称为三维关键点。通过最小化二维关键点与三维关键点的二维投影之间的均 方误差，计算出三维人脸模型的几何参数；根据计算的几何参数对三维人脸模型进行调整； 对调整后的三维人脸模型进行二维投影，得到对应的正面人脸图像。
[0005] 然而，本发明的发明人发现，通过现有的人脸姿态校正方法所得到的正面人脸图 像，与实际的正面人脸图像具有较大偏差；尤其是在采集的人脸图像旋转角度较大，或者俯 仰角度较大的情况下，通过现有方法得到的校正的正面人脸图像偏差很大，准确度不高，从 而导致人脸认证/识别性能低。
[0006] 因此，有必要提供一种人脸姿态校正方法，可以缩小校正后的二维人脸图像与实 际人脸正面图像的差距，进而提升人脸认证/识别性能。

【发明内容】

[0007] 针对现有技术方案的缺点，本发明提出一种人脸姿态校正方法和装置，用以缩小 校正后的二维人脸图像与实际人脸正面图像的差距，进而提升人脸认证/识别性能。
[0008] 本发明提供了一种人脸姿态校正方法，包括：
[0009] 获取待校正的二维人脸图像；
[0010] 检测所述待校正的二维人脸图像的二维关键点，并确定三维人脸模型上与所述检 测的二维关键点对应的三维关键点；
[0011] 根据所述确定的三维关键点，使用迭代计算的方式更新三维关键点；
[0012] 根据所述更新的三维关键点，确定姿态校正后的二维人脸图像。
[0013] 本发明还提供了一种人脸姿态校正装置，包括：
[0014] 二维图像获取单元，用于获取待校正的二维人脸图像；
[0015] 关键点确定单元，用于检测待校正的二维人脸图像的二维关键点，并确定三维人 脸模型上与所述检测的二维关键点对应的三维关键点；
[0016] 迭代计算单元，用于根据所述确定的三维关键点，使用迭代计算的方式更新三维 关键点；
[0017] 二维人脸图像校正单元，用于根据所述更新的三维关键点，确定姿态矫正后的二 维人脸图像。
[0018] 本发明的技术方案中，根据待校正的二维人脸图像的二维关键点确定三维人脸模 型上对应的三维关键点，并在迭代过程中，应用上次迭代的三维人脸模型的几何参数更新 三维关键点，根据更新的三维关键点求取本次迭代的几何参数，根据迭代终止条件得到最 终的三维人脸模型的几何参数，根据该几何参数确定的三维模型映射得到校正姿态后的二 维人脸图像。在逐步调整三维人脸模型的人脸姿态过程中，根据当前的人脸姿态重新确定 出合适的三维关键点，使得当前人脸姿态下确定的三维关键点可以与二维关键点仍然保持 对应关系，避免因人脸姿态的变化而出现二维关键点与三维关键点不再保持对应关系的现 象，也就避免了采用没有对应关系的二维关键点与三维关键点进行计算，得到与实际人脸 正面图像误差较大的校正图像的问题；也就是说，采用本发明的技术方案能够避免关键点 二义性问题，缩小校正后的二维人脸图像与实际人脸正面图像的差距，从而有利于提升人 脸认证/识别性能。
[0019] 本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变 得明显，或通过本发明的实践了解到。
【附图说明】
[0020] 本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变 得明显和容易理解，其中：
[0021] 图la、图Ib为二维人脸图像和三维模型上对应的关键点对比示意图；
[0022] 图Ic为人脸图像库中的二维人脸样本图像的标注示意图；
[0023] 图2为本发明实施例的人脸姿态校正方法的流程示意图；
[0024] 图3a为本发明实施例的计算初始的三维人脸模型的几何参数的方法的流程示意 图；
[0025] 图3b为本发明实施例的在一次迭代过程中，计算本次迭代的三维人脸模型的几 何参数和形状参数的方法的流程示意图；
[0026] 图3c为本发明实施例的确定姿态校正后的二维人脸图像的方法的流程示意图；
[0027] 图4a至图4i为本发明实施例的人脸姿态校正方法过程结果示意图；
[0028] 图5为本发明的人脸姿态校正方法与五点仿射变换方法的识别性能对比示意图；
[0029] 图6a、图6b为本发明的人脸姿态校正方法与五点仿射变换方法的视觉效果对比 示意图；
[0030] 图7为本发明实施例的人脸姿态校正装置的内部结构示意图；
[0031] 图8a、图8b为本发明实施例的迭代计算单元的内部结构示意图；
[0032] 图9为本发明实施例的二维人脸图像校正单元的内部结构示意图；
[0033] 图10为本发明实施例的二维人脸图像校正子单元的内部结构示意图。
【具体实施方式】
[0034] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
[0035] 本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式"一"、"一 个"、"所述"和"该"也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措 辞"包括"是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加 一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元 件被"连接"或"耦接"到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在 中间元件。此外，这里使用的"连接"或"耦接"可以包括无线连接或无线耦接。这里使用 的措辞"和/或"包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
[0036] 本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语（包括技术 术语和科学术语），具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应 该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中 的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含 义来解释。
[0037] 本发明的发明人发现，对人脸而言，由于三维形状的自遮挡性，关键点检测器在二 维人脸图像上实际能检测到的关键点与三维关键点之间，随着人脸姿态的变化，其对应关 系可能不再成立。例如，如图Ia所示，在正面姿态下，二维关键点与三维关键点相对应，然 而如图Ib所示，在人脸姿态变化后，即非正面姿态下，二维关键点与三维关键有可能不再 保持对应关系，例如图Ib中矩形框所标示的部分，二维关键点与三维关键点不再一一对 应。因此，现有技术方案中，在非正面姿态下，二维关键点与三维关键点不再保持对应关系 时，通过最小化二维关键点与三维关键点的二维投影之间的均方误差，估计人脸的形状及 姿态也就不准确了，进而依据估计的人脸的形状及姿态进行校正的二维人脸图像与实际的 正面人脸图像偏差较大，造成关键点二义性问题。
[0038] 由此，本发明的发明人考虑到，在本发明技术方案中，采用迭代方式逐步调整三维 人脸模型的人脸姿态，而不是利用二维关键点与三维关键点一次性计算出三维人脸模型的 人脸姿态；在逐步调整三维人脸模型的人脸姿态过程中，根据当前的人脸姿态重新确定出 合适的三维关键点，使得当前人脸姿态下确定的三维关键点可以与二维关键点仍然保持对 应关系，避免因人脸姿态的变化而出现二维关键点与三维关键点不再保持对应关系的现 象，也就避免了采用没有对应关系的二维关键点与三维关键点进行计算，得到与实际人脸 正面图像误差较大的校正图像的问题；也就是说，采用本发明的技术方案能够避免关键点 二义性问题，缩小校正后的二维人脸图像与实际人脸正面图像的差距，从而有利于提升人 脸认证/识别性能。
[0039] 进一步，本发明的发明人还发现，现有的人脸姿态校正方法对所有二维关键点一 视同仁，事实上，二维人脸图像的二维关键点的检测值与真实值之间必然会存在一定偏差， 并且，该偏差不仅与二维关键点在人脸中所处的位置相关，也与具体选用的关键点检测器 和输入的二维人脸图像中的人脸姿态相关。通常而言，在正面姿态情况下，二维关键点的检 测值与真实值之间偏差最小。因此，在非正面姿态下，关键点检测器检测的二维关键点的检 测值与真实值之间存在偏差，并且不同关键点的偏差各异。但是，现有的人脸姿态校正方法 中，偏差各异的二维关键点在人脸姿态校正过程中所起到的影响作用相同；也就是说，偏差 很大的二维关键点所起到的作用，与偏差很小的二维关键点所起到的作用是一样的；导致 最终校正得到的正面人脸图像由于受到偏差很大的二维关键点的检测值的不利影响，而与 实际的人脸正面图像存在偏差，造成不完美关键点检测器的问题。
[0040] 由此，本发明的发明人考虑到，若根据待校正的二维人脸图像的人脸姿态信息，以 及关键点检测器检测的各个关键点定位的偏差大小，对检测出的不同二维关键点设置不同 的权重，可以使二维关键点的偏差越大，其权重越小；相应地，二维关键点的偏差越小，其权 重越大，因而能够加强关键点检测器检测到的偏差较小的关键点在人脸姿态校正过程中的 作用，减少关键点检测器检测到的偏差较大的关键点在人脸姿态校正过程中的影响，从而 提高由这些二维关键点确定的三维关键点的准确度，进而提高由二维关键点和三维关键点 确定的三维人脸模型的姿态信息的准确度，因此降低了不完美关键点检测器对人脸姿态校 正的影响，从而有利于提升人脸认证/识别性能。
[0041] 下面结合附图详细说明本发明的技术方案。
[0042] 本发明实施例的技术方案中，预先收集了大量的人脸图像，比如收集1500张人 脸样本图像，作为人脸图像库，并对人脸图像库中所有的二维人脸样本图像人工标定脸部 姿态信息及设定个数的脸部关键点，并将这些关键点作为二维人脸样本图像中的真实关键 点，以用于后续人脸姿态校正过程中计算关键点的平均偏差和关键点加权矩阵。
[0043] 例如，在人脸图像库中对每幅二维人脸样本图像人工标定脸部姿态信息及68个 脸部关键点。姿态信息具体可以包括：roll (旋转）、pitch(尺度）和yaw(平移）信息；二 维人脸样本图像的姿态信息可以用姿态信息向量（roll，pitch，ya W)进行表征。例如，如图 Ic所示，从左至右，各二维人脸图像的姿态信息向量分别为（6. 2,0. 2,18. 2)、（-1. 6, 5. 6， 34. 7)、（-4. 6,9. 6, -29. 5)、（-9. 3, 7. 4,13. 9)和（5. 4,11. 3,6. 9)。
[0044] 本发明实施例提供的人脸姿态校正方法的具体流程，如图2所示，包括以下步骤 S200至步骤S204 :
[0045] 步骤S200 :获取待校正的二维人脸图像。
[0046] 具体地，图像采集设备（比如摄像头）采集到人脸图像后，将采集到的人脸图像作 为待校正的二维人脸图像。
[0047] 步骤S201 :检测待校正的二维人脸图像的二维关键点。
[0048] 本步骤中，对于待校正的二维人脸图像，首先可以采用现有技术的方法定位二 维人脸图像中的人脸区域。例如，采用基于MB-LBP (Multiscale Block Local Binary Pattern，多尺度块局部二值模式）和adaboost (Adaptive Boosting，自适应增强）迭代算 法结合的人脸检测器进行人脸检测，定位待校正的二维人脸图像中的人脸区域。
[0049] 之后，可以使用现有技术，例如，ASM(Active Shape Model，主动形状模型）、 AAM(Active Appearance Model，主动外观模型）和 SDM(Supervised Descent Method，监 督下降法）方法，检测二维人脸图像的人脸区域中的二维关键点；优选地，可以使用SDM方 法，从二维人脸图像的人脸区域中自动检测出与人工标定的关键点个数相同的若干个脸部 特征点，作为待校正的二维人脸图像的二维关键点。
[0050] 例如，对于待校正的二维人脸图像，可使用SDM方法自动检测出68个二维关键点 作为待校正的二维人脸图像的二维关键点，即得到待校正的二维人脸图像的二维关键点的 检测值。
[0051] 步骤S202 :确定三维人脸模型上对应的三维关键点。
[0052] 本步骤中，根据待校正的二维人脸图像的二维关键点的检测值，确定三维人脸模 型上与检测的二维关键点对应的三维关键点的方法为本领域技术人员所熟知，此处不再赘 述。
[0053] 步骤S203 :迭代计算更新三维关键点。
[0054] 具体地，根据确定的三维关键点确定用于迭代计算的三维人脸模型的初始的几何 参数；根据迭代计算的三维人脸模型的初始的几何参数，使用迭代计算的方式更新三维关 键点。在迭代计算过程中，应用上次迭代的三维人脸模型的几何参数更新三维关键点，根据 更新的三维关键点求取本次迭代的三维人脸模型的几何参数。
[0055] 本步骤中，经过对三维人脸模型的几何参数的多次迭代计算，对三维人脸模型的 人脸姿态进行调整。事实上，三维人脸模型的几何参数通常包括：旋转、平移和尺度参数； 三维人脸模型的几何参数包含了人脸姿态信息；换言之，根据三维人脸模型的几何参数可 以确定二维人脸模型的人脸姿态ig息。
[0056] 在进行三维人脸模型的几何参数的迭代计算前，首先确定用于迭代计算的三维人 脸模型的初始的几何参数。事实上，迭代计算过程中所使用的三维人脸模型的初始的几何 参数可以采用多种方法确定。例如，技术人员可以根据经验设定初始的几何参数，或者采用 其它方法计算得到三维人脸模型的初始的几何参数。本文将在后续介绍几种计算三维人脸 模型的初始的几何参数的方法。
[0057] 得到三维关键点及三维人脸模型的初始的几何参数之后，在一次迭代过程中，应 用上次迭代的三维人脸模型的几何参数更新三维关键点，根据更新的三维关键点计算本次 迭代的几何参数。
[0058] 例如，在首次迭代过程中，应用三维人脸模型的初始的几何参数更新三维关键点， 根据更新的三维关键点计算首次迭代的三维人脸模型的几何参数；也就是说，将三维人脸 模型的初始的几何参数作为上次迭代的三维人脸模型的几何参数，更新三维关键点，并根 据更新的三维关键点计算本次迭代的三维人脸模型的几何参数。
[0059] 在第i次迭代过程中，应用第i_l次迭代的三维人脸模型的几何参数更新三维关 键点，根据更新的三维关键点计算第i次迭代的三维人脸模型的的几何参数。其中，i为大 于1小于等于η的自然数，η为迭代计算过程中总的迭代次数。
[0060] 在每次迭代过程结束后，可以判断迭代计算是否满足终止条件；若满足，则迭代终 止，将最后一次迭代过程得到的三维人脸模型的几何参数作为迭代计算得到的最终迭代的 三维人脸模型的几何参数；否则，继续进行下一次迭代过程。
[0061 ] 其中，迭代计算的终止条件可以是相邻两次迭代过程得到的几何参数之间的欧式 距离小于阈值；或者迭代次数达到设定值。其中，上述阈值和设定值具体可由本领域技术人 员根据经验进行设定。
[0062] 实际应用中，在一次迭代过程中，应用上次迭代的三维人脸模型的几何参数更新 三维关键点，根据更新的三维关键点计算本次迭代的几何参数时，还可以计算三维人脸模 型的形状参数，将计算的三维人脸模型的形状参数作为本次迭代的三维人脸模型的形状参 数。本发明实施例将在后续对求取本次迭代的三维人脸模型的几何参数和形状参数的方法 进行详细介绍。
[0063] 在迭代计算三维人脸模型的几何参数的过程中，根据当前的三维人脸模型的几何 参数更新三维关键点，使得当前的三维人脸模型的几何参数下确定的三维关键点可以与二 维关键点仍然保持对应关系，从而由三维关键点最终确定的三维人脸模型的几何参数具有 更高的准确度，在后续步骤中利用准确度高的三维人脸模型的几何参数确定姿态校正后的 二维人脸图像，可以缩小校正后的二维人脸图像与实际人脸正面图像的差距，避免关键点 二义性问题，从而有利于提升人脸认证/识别性能。
[0064] 步骤S204 :根据更新的三维关键点，确定姿态校正后的二维人脸图像。
[0065] 本步骤中，根据步骤S203更新后的三维关键点确定最终迭代的三维人脸模型的 几何参数，根据最终迭代的三维人脸模型的几何参数，确定姿态校正后的二维人脸图像。
[0066] 具体地，根据S203最终迭代得到的三维人脸模型的几何参数对三维人脸模型进 行变换，对变换后的三维人脸模型进行二维投影，得到姿态校正后的二维人脸图像。
[0067] 更优地，还可以根据最终迭代得到的三维人脸模型的几何参数，以及三维人脸模 型的形状参数，对三维人脸模型进行变换，并对变换后的三维人脸模型进行二维投影，得到 姿态校正后的二维人脸图像。具体如何确定姿态校正后的二维人脸图像，将在后续详细介 绍。
[0068] 下面详细介绍上述步骤S203中，计算三维人脸模型的初始的几何参数的方法。
[0069] 计算三维人脸模型的初始的几何参数的方法有多种，其中一种方法可以是：基于 步骤S201检测出的二维关键点的检测值，以及步骤S202确定出的三维关键点，计算能量函 数极小化条件下的三维人脸模型的几何参数，将计算的几何参数，作为三维人脸模型的初 始的几何参数，用于在首次迭代过程中更新三维关键点。
[0070] 此外，另一种更优的确定三维人脸模型的初始的几何参数的方法，其流程示意图 具体如图3a所示，包括以下步骤S301至步骤S302 :
[0071] 步骤S301 :计算初始的关键点加权矩阵。
[0072] 本步骤中，基于步骤S201检测出的二维关键点的检测值，确定初始的关键点加权 矩阵。
[0073] 具体地，针对步骤S201中检测出的每个二维关键点，计算该二维关键点的检测值 与查找出的二维人脸样本图像中对应的关键点的真实值之间的欧式距离，根据计算出的欧 式距离确定该二维关键点的权重值；其中，二维关键点的真实值为正面姿态下的二维人脸 样本图像中预先人工标定的。具体地，在人脸图像库中，根据预先人工标定的脸部姿态信 息，查找到正面姿态下的二维人脸样本图像，将查找到的二维人脸样本图像中预先人工标 定的关键点的坐标值，作为二维关键点的真实值。
[0074] 将确定出的各二维关键点的权重值组成初始的关键点加权矩阵。
[0075] 事实上，二维关键点的检测值与真实值之间的欧式距离的偏差越大，则该二维关 键点可靠性越低；反之，则该二维关键点可靠性越高。因此，可以预先使用现有技术离线地 检测人脸图像库中的所有图像的二维关键点，并且人脸图像库中每幅图像离线检测的二维 关键点个数与人工标定的二维关键点个数相同。对于每个二维关键点，在人脸图像库中的 所有正面姿态下的人脸样本图像上统计离线检测的二维关键点的检测值与真实值之间的 平均偏差，并选取平均偏差最小的前设定个数的二维关键点，对选取的二维关键点，按照平 均偏差反比例赋予不同的权重。例如，在68个脸部关键点中选取平均偏差最小的前25个 关键点，按照平均偏差反比例赋予不同的权重。
[0076] 步骤S302 :确定初始的三维人脸模型的几何参数。
[0077] 本步骤中，基于步骤S201中检测出的二维关键点、步骤S202中确定出的三维关键 点，以及计算的初始的关键点加权矩阵，计算能量函数极小化条件下的三维人脸模型的几 何参数，将计算的几何参数作为三维人脸模型的初始的几何参数。
[0078] 较佳地，计算三维人脸模型的初始的几何参数时所使用的能量函数可以如公式1 所示，即通过最小化公式1所示的能量函数E1，可求取三维人脸模型的初始的几何参数：
[0079] E1= W1 · I Iu1 Wi11 I2 (公式 1)
[0080] 公式1中，W1为步骤S301计算的初始的关键点加权矩阵，u Jg)为几何参数g下 由步骤S202确定的三维关键点的二维投影得到的二维关键点的投影坐标值组成的矩阵，yi 为步骤S201检测出的二维关键点的检测值组成的矩阵。
[0081] 其中，最小化能量函数可以使用梯度下降法，该方法为本领域技术人员所熟知，此 处不再赘述。
[0082] 这样，二维关键点的检测值越接近真实值，二维关键点在初始的关键点加权矩阵 中的数值越大；二维关键点的检测值越远离真实值，二维关键点在初始的关键点加权矩阵 中的数值越小。因此，最小化能量函数E 1，能够加强关键点检测器检测到的偏差较小的关键 点在人脸姿态校正过程中的作用，减少关键点检测器检测到的偏差较大的关键点在人脸姿 态校正过程中的影响，进而能够更进一步提高确定的三维人脸模型的初始的几何参数的准 确性。
[0083] 下面详细介绍上述步骤S203中，在一次迭代过程中，根据上次更新的三维关键点 计算本次迭代的三维人脸模型的几何参数和形状参数的几种方法。
[0084] 在一次迭代过程中，根据更新的三维关键点计算本次迭代的三维人脸模型的几何 参数和形状参数的方法有多种，其中一种可以是：基于本次迭代的二维关键点和三维关键 点，计算能量函数极小化条件下的三维人脸模型的几何参数和形状参数，将计算的几何参 数和形状参数作为本次迭代的三维人脸模型的几何参数和形状参数。
[0085] 此外，另一种更优的，在一次迭代过程中，计算三维人脸模型的几何参数和形状参 数的方法，其流程示意图具体如图3b所示，包括以下步骤S311至S314 :
[0086] 步骤S311 :在一次迭代过程中，确定本次迭代的二维关键点。
[0087] 本步骤中，根据上次迭代的三维人脸模型的几何参数对三维人脸模型进行变换， 将变换后的三维人脸模型进行二维纹理投影，得到二维纹理图像，检测该二维纹理图像的 关键点，得到本次迭代的二维关键点。
[0088] 步骤S312 :确定本次迭代更新的三维关键点。
[0089] 本步骤中，根据本次迭代的二维关键点，在三维人脸模型上找到对应的关键点，作 为本次迭代更新的三维关键点。
[0090] 步骤S313 :确定本次迭代的关键点加权矩阵。
[0091] 具体地，从上次迭代的三维人脸模型的几何参数中获取三维人脸模型的当前姿态 信息，在预先收集的人脸图像库中，查找与当前姿态信息相同或相邻姿态信息下的二维人 脸样本图像，针对本次迭代的每个二维关键点，计算该二维关键点的检测值与查找出的二 维人脸样本图像中对应的关键点的真实值之间的欧式距离，根据计算出的欧式距离确定该 二维关键点的权重值。其中，二维人脸样本图像中的关键点的真实值是预先人工标定的。具 体地，在人脸图像库中，根据预先人工标定的脸部姿态信息，查找到与当前姿态信息相同或 相邻姿态信息下的二维人脸样本图像，将查找出的二维人脸样本图像中预先人工标定的关 键点的坐标值，作为本步骤中所使用的关键点的真实值。
[0092] 其中，相邻姿态信息指的是与当前姿态信息欧式距离在一预定阈值范围内的姿态 信息。
[0093] 本次迭代的关键点加权矩阵是由本次迭代的每个二维关键点的权重值组成。
[0094] 步骤S314 :计算本次迭代的三维人脸模型的几何参数和形状参数。
[0095] 本步骤中，基于步骤S311确定出的本次迭代的二维关键点、步骤S312确定的本次 迭代更新的三维关键点、以及步骤S313确定的本次迭代的关键点加权矩阵，计算能量函数 极小化条件下的三维人脸模型的几何参数和形状参数，将计算的几何参数和形状参数作为 本次迭代的三维人脸模型的几何参数和形状参数。
[0096] 具体地，计算本次迭代的三维人脸模型的几何参数和形状参数时所使用的能量函 数可以如公式2所示，即通过最小化公式2所示的能量函数E 2，可以求取本次迭代的几何参 数：
[0097] E2= W2* I IU2 (c, g) -y21 12+ η * I I c | |2 (公式 2)
[0098] 公式2中，W2为步骤S313确定的本次迭代的关键点加权矩阵，u 2(c，g)为几何参 数g、形状参数c下步骤S312确定的本次迭代更新的三维关键点的二维投影得到的二维关 键点投影坐标值组成的矩阵。y 2为步骤S311确定的本次迭代的二维关键点的检测值组成 的矩阵。η · IlcM2为正则项，以保证重建后三维形状落在人脸空间内。
[0099] 这样，本次迭代的二维关键点的检测值越接近真实值，该二维关键点在本次迭代 的加权矩阵中的数值越大，本次迭代的二维关键点的检测值越远离真实值，该二维关键点 在本次迭代的关键点加权矩阵中的数值越小。因此通过最小化能量函数E 2能够加强本次 迭代的偏差较小的二维关键点人脸姿态校正过程中的作用，减少本次迭代的偏差较大的关 键点在人脸姿态校正过程中的影响，因此，根据偏差更小的二维关键点确定本次迭代的三 维人脸模型的几何参数，能够进一步提高确定出的本次迭代的三维人脸模型的几何参数的 准确性，进而提高由最终迭代的三维人脸模型的几何参数确定的三维人脸模型的姿态信息 的准确性，从而提高由三维人脸模型投影的二维人脸图像的正确率，提升人脸识别性能。
[0100] 下面详细介绍上述步骤S204中确定姿态校正后的二维人脸图像的方法。具体流 程如图3c所示，包括如下步骤S321至步骤S323 :
[0101] 步骤S321 :确定三维纹理模型。
[0102] 具体地，根据待校正的二维人脸图像中的像素颜色，对变换后的三维人脸模型进 行颜色赋予，得到三维纹理模型。
[0103] 优选地，确定三维纹理模型的方法可以如下：根据最终迭代得到的三维人脸模型 的几何参数以及形状参数，判断三维人脸模型的顶点是否被遮挡；若是，如果该顶点的对称 点没有被遮挡，则将对称点的颜色值赋予该被遮挡的顶点；若该顶点的对称点被遮挡，则将 三维纹理模型对应的顶点颜色值赋予该被遮挡的顶点。
[0104] 步骤S322 :确定姿态校正后的二维人脸图像。
[0105] 本步骤中，将三维纹理模型进行二维投影，得到姿态校正后的二维人脸图像。更 优地，可以使用双线性插值方法对三维人脸图像对应的二维人脸图像中未赋值的点进行赋 值。
[0106] 步骤S323 :确定人脸区域之外的像素颜色。
[0107] 具体地，根据待校正的二维人脸图像的人脸区域之外的像素点，对姿态校正后的 二维人脸图像的人脸区域之外对应的像素点进行颜色赋予。
[0108] 例如，在待校正的二维人脸图像的人脸矩形区域外增加额外的像素点，在姿态校 正后的二维人脸图像的人脸区域之外增加对应的像素点，利用三角剖分进行对应的三角形 间的仿射变换，得到对应像素的颜色值。这样能够避免不精确的关键点定位带来的人脸区 域丢失问题，提高了人脸图像的正确率。
[0109] 下面通过对比本发明的人脸姿态校正方法与经典的五点仿射变换方法，来说明本 发明的人脸姿态校正方法的技术效果。
[0110] 本发明实施例的人脸姿态校正方法的过程结果可通过图4a至4i来进行形象说 明。其中，图4a为输入的二维人脸图像，该图像为非正面姿态下的人脸图像；首先如图4b所 示，自动检测该二维人脸图像上的二维关键点；如图4c所示，自动检测初始三维人脸模型 的关键点并确定关键点权重；如图4d所示，对三维人脸模型进行姿态调整并自动检测关键 点以及确定关键点权重；如图4e所示，匹配二维关键点和三维人脸模型上的三维关键点； 如图4f所示，根据关键点匹配结果重建三维人脸模型；如图4g所示，对三维人脸模型顶点 进行颜色赋予；之后，如图4h所示，对三维人脸模型进行二维投影，得到姿态校正后的二维 人脸图像，并对人脸区域外的像素点进行颜色赋予。图4i示出了实际的正面人脸图像，对 比图4h和图4i可以看出，根据本发明的人脸姿态校正方法进行人脸姿态校正得到的二维 人脸图像与实际的正面人脸图像较接近。
[0111] 下面通过对比本发明的人脸姿态校正方法与经典的五点仿射变换方法，来说明本 发明的人脸姿态校正方法的技术效果。
[0112] 本发明在公开的LFW(Labeled Faces in the Wild，户外带标签人脸库）人脸图 像库上，与经典的五点仿射变换方法进行了比较。LFW人脸图像库是当前国际上用于评估 非受限环境下人脸识别技术最权威的数据库，该人脸图像库包含从互联网上下载的13233 幅人脸图像。五点仿射变换方法与本发明的人脸姿态校正方法的准确率测试结果如表1所 示，由表1可以看出，本发明的人脸姿态校正方法具有明显的优势，能够显著的提升非受限 条件下的人脸识别的准确率。此外，两种人脸姿态校正方法的识别性能对比如图5所示，由 图5可以看出，本发明的人脸姿态校正方法的性能明显优于五点仿射变换方法的性能。
[0113] 表 1
[0114]
[0115] 此外，图6a和团OD股不j丰次_叨tfJ八脰安愈仅11：力7太与经典五点仿射变换方法 视觉效果比较，其中，图6a和图6b中的第一行图像为输入的二维人脸图像，即待校正的二 维人脸图像，包含多种非正面姿态下的二维人脸图像，第二行图像为五点仿射变换方法校 正后的人脸图像，第三行图像为本发明的人脸姿态校正方法校正后的人脸图像，可以看出， 本发明的方法校正后的人脸图像，与实际的人脸正面图像较接近，视觉效果明显优于经典 五点仿射变换方法。
[0116] 基于上述的人脸姿态校正方法，本发明实施例提供的一种人脸姿态校正装置，内 部结构示意图如图7所示，包括：二维图像获取单元700、关键点确定单元701、迭代计算单 元702和二维人脸图像校正单元703。
[0117] 其中，二维图像获取单元700用于获取待校正的二维人脸图像。
[0118] 关键点确定单元701用于检测待校正的二维人脸图像的二维关键点，并确定三维 人脸模型上与检测的二维关键点对应的三维关键点。
[0119] 迭代计算单元702用于根据关键点确定单元确定701确定的三维关键点，使用迭 代计算的方式更新三维关键点。
[0120] 在实际应用中，迭代计算单元702在迭代计算过程中，应用上次迭代的三维人脸 模型的几何参数更新三维关键点，根据更新的三维关键点计算本次迭代的几何参数。迭代 计算单元702进行迭代计算时的迭代终止条件具体可以为：相邻两次迭代过程得到的三维 人脸模型的几何参数之间的欧式距离小于阈值，或迭代次数达到设定值。当不满足迭代终 止条件时，迭代计算单元702应用上次迭代的三维人脸模型的几何参数更新三维关键点， 根据更新的三维关键点计算本次迭代的几何参数；否则，迭代计算单元702返回最终迭代 的三维人脸模型的几何参数。
[0121] 二维人脸图像校正单元703用于根据迭代计算单元702更新的三维关键点，确定 姿态矫正后的二维人脸图像。
[0122] 二维人脸图像校正单元703具体用于根据迭代计算单元702更新后的三维关键 点，确定最终迭代的几何参数，根据最终迭代得到的几何参数，确定姿态校正后的二维人脸 图像。
[0123] 如图8a所示，迭代计算单元702具体可包括：初始化子单元800、三维关键点更新 子单元801和几何参数更新子单元802。
[0124] 其中，初始化子单元800具体用于基于关键点确定单元701检测出的二维关键点、 确定出的三维关键点，以及关键点加权矩阵，计算能量函数极小化条件下的三维人脸模型 的几何参数；将计算的几何参数，作为三维人脸模型的初始的几何参数，发送给迭代计算单 元702 ;其中，关键点加权矩阵是由关键点确定单元701检测的各二维关键点的权重值组 成。
[0125] 三维关键点更新子单元801用于在一次迭代计算过程中，应用上次迭代的三维人 脸模型的几何参数更新关键点确定单元701确定的三维关键点，得到本次迭代的三维关键 点。具体地，三维关键点更新子单元801根据上次迭代的几何参数对三维人脸模型进行变 换；将变换后的三维人脸模型进行二维纹理投影，得到二维纹理图像；检测二维纹理图像 的关键点，得到本次迭代的二维关键点；根据本次迭代的二维关键点，在三维人脸模型上找 到对应的关键点，作为本次迭代更新的三维关键点。
[0126] 几何参数更新子单元802用于根据三维关键点更新子单元801更新的三维关键点 计算本次迭代的三维人脸模型的几何参数。具体地，几何参数更新子单元802用于基于三 维关键点更新子单元801得到的本次迭代的二维、三维关键点，计算能量函数极小化条件 下的三维人脸模型的几何参数；将计算的几何参数，作为本次迭代的三维人脸模型的几何 参数。几何参数更新子单元802还判断迭代终止条件是否满足；迭代终止条件具体可以为： 相邻两次迭代过程得到的三维人脸模型的几何参数之间的欧式距离小于阈值，或迭代次数 达到设定值。当不满足迭代终止条件时，几何参数更新子单元802向三维关键点更新子单 元801发送继续迭代通知；否则，返回最终迭代的三维人脸模型的几何参数。
[0127] 相应地，三维关键点更新子单元801具体在接收到继续迭代通知后，进行下一次 迭代计算，更新三维关键点。
[0128] 较佳地，如图8b所示，迭代计算单元702还可包括：第一关键点权重确定子单元 803〇
[0129] 第一关键点权重确定单元803用于针对关键点确定单元701检测出的每个二维关 键点，计算该二维关键点的检测值与真实值之间的欧式距离，根据计算出的欧式距离确定 该二维关键点的权重值；其中，二维关键点的真实值为正面姿态下的二维人脸样本图像中 预先人工标定。
[0130] 较佳地，如图8b所示，迭代计算单元702还可包括：关键点加权矩阵计算单元 804〇
[0131] 关键点加权矩阵计算单元804用于计算三维关键点更新单元801得到的本次迭代 的二维关键点的关键点加权矩阵；其中，关键点加权矩阵是由三维关键点更新单元801得 到的本次迭代的各二维关键点的权重值组成。
[0132] 相应地，几何参数更新子单元802具体用于基于三维关键点更新子单元801得到 的本次迭代的二维、三维关键点，以及关键点加权矩阵计算单元804计算的本次迭代的二 维关键点的关键点加权矩阵，计算能量函数极小化条件下的三维人脸模型的几何参数；将 求取的几何参数，作为本次迭代的三维人脸模型的几何参数。
[0133] 较佳地，如图8b所示，迭代计算单元702还可包括：第二关键点权重确定子单元 805〇
[0134] 第二关键点权重确定单元805用于在一次迭代过程中，从上次迭代的三维人脸模 型的几何参数中获取三维人脸模型的当前姿态信息；查找与当前姿态信息相同或相邻姿态 信息下的二维人脸样本图像；针对三维关键点更新子单元801得到的本次迭代的每个二维 关键点，计算该二维关键点的检测值与查找出的二维人脸样本图像中对应的关键点的真实 值之间的欧式距离，根据计算出的欧式距离确定该二维关键点的权重值；其中，二维人脸样 本图像中的关键点的真实值为预先人工标定的。
[0135] 如图9所示，二维人脸图像校正单元703具体包括：三维人脸模型变换子单元901 和二维人脸图像校正子单元902。
[0136] 其中，三维人脸模型变换子单元901用于根据几何参数更新子单元802最终迭代 得到的三维人脸模型的几何参数对三维人脸模型进行变换。
[0137] 二维人脸图像校正子单元902用于对三维人脸模型变换单元901变换后的三维人 脸模型进行二维投影，得到姿态校正后的二维人脸图像。
[0138] 较佳地，几何参数更新子单元802还用于基于三维关键点更新子单元701得到的 本次迭代的二维、三维关键点，计算能量函数极小化条件下的三维人脸模型的几何参数时， 计算能量函数极小化条件下的三维人脸模型的形状参数。
[0139] 相应地，三维人脸模型变换子单元901用于根据几何参数更新子单元802最终迭 代得到的三维人脸模型的几何参数，以及形状参数，对三维人脸模型进行变换。
[0140] 如图10所示，二维人脸图像校正子单元902具体可包括：三维纹理模型确定模块 1001和二维人脸图像校正模块1002。
[0141] 三维纹理模型确定模块1001用于根据待校正的二维人脸图像中的像素颜色，对 三维人脸模型变换子单元901变换后的三维人脸模型进行颜色赋予，得到三维纹理模型。
[0142] 二维人脸图像校正模块1002用于将三维纹理模型变换子单元901得到的三维纹 理模型进行二维投影，得到姿态校正后的二维人脸图像。
[0143] 较佳地，如图10所示，二维人脸图像校正子单元902还可包括：背景保持模块 1003〇
[0144] 背景保持模块1003用于根据待校正的二维人脸图像的人脸区域之外的像素点， 对二维人脸图像校正模块1002得到的姿态校正后的二维人脸图像的人脸区域之外对应的 像素点进行颜色赋予。
[0145] 上述人脸姿态校正装置中的各单元、子单元和模块的功能的具体实现方法，可以 参照上述图2和图3所示的方法流程示意图，此处不再赘述。
[0146] 本发明的技术方案中，根据待校正的二维人脸图像的二维关键点确定三维人脸模 型对应的三维关键点，在迭代过程中，应用上次迭代的三维人脸模型的几何参数更新三维 关键点，根据更新的三维关键点计算本次迭代三维人脸模型的几何参数，根据迭代终止条 件得到最终的三维人脸模型的几何参数，根据该几何参数确定的三维模型映射得到校正姿 态后的二维人脸图像。通过在人脸姿态校正过程中逐步更新三维人脸模型上的三维关键 点，使得当前人脸姿态下确定的三维关键点可以与二维关键点仍然保持对应关系，避免因 人脸姿态的变化而出现二维关键点与三维关键点不再保持对应关系的现象，也就避免了采 用没有对应关系的二维关键点与三维关键点进行计算，得到与实际人脸正面图像误差较大 的校正图像的问题；也就是说，能够避免关键点二义性问题，进而可以提高由保持对应关系 的二维关键点和三维关键点确定的三维人脸模型的几何参数的正确性，可以缩小由三维人 脸模型投影得到的校正后的二维人脸图像与实际人脸正面图像的差距，从而有利于提升人 脸认证/识别性能。
[0147] 进一步，本发明的技术方案中，根据二维人脸图像的姿态信息以及二维关键点定 位的偏差大小，对不同的二维关键点设置不同的权重值，可以使二维关键点的偏差越大，其 权重越小；相应地，二维关键点的偏差越小，其权重越大，因而加强了关键点检测器检测的 偏差较小的关键点在人脸姿态校正过程中的作用，减少了关键点检测器检测的偏差较大的 关键点在人脸姿态校正过程中的影响，从而提高由这些二维关键点确定的三维关键点的准 确度，进而提高由二维关键点和三维关键点确定的三维人脸模型的姿态信息准确度，可以 缩小由三维人脸模型投影得到的校正后的二维人脸图像与实际人脸正面图像的差距，能够 降低不完美关键点检测器对人脸姿态校正的影响，从而有利于提升人脸认证/识别性能。
[0148] 更进一步，本发明的技术方案中，根据待校正的二维人脸图像的人脸区域之外的 像素点，对姿态校正后的二维人脸图像的人脸区域之外对应的像素点进行颜色赋予，解决 了不精确关键点定位带来的人脸区域丢失问题，同样有助于提升人脸认证/识别性能。
[0149] 本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的 一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用 计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地 激活或重构。这样的计算机程序可以被存储在设备（例如，计算机）可读介质中或者存储 在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但 不限于任何类型的盘（包括软盘、硬盘、光盘、⑶-ROM、和磁光盘）、R0M(Read-Only Memory， 只读存储器）、RAM (Random Access Memory，随即存储器）、EPROM (Erasable Programmable Read-Only Memory，可擦写可编程只读存储器）、EEPROM(Electrically Erasable Programmable Read-Only Memory，电可擦可编程只读存储器）、闪存、磁性卡片或光线卡 片。也就是，可读介质包括由设备（例如，计算机）以能够读的形式存储或传输信息的任何 介质。
[0150] 本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或 框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术 领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其 他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处 理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。
[0151] 本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的 步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各 种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。 进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案 也可以被交替、更改、重排、分解、组合或删除。
[0152] 以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人 员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应 视为本发明的保护范围。
【主权项】
1. 一种人脸姿态校正方法，其特征在于，包括： 获取待校正的二维人脸图像； 检测所述待校正的二维人脸图像的二维关键点，并确定三维人脸模型上与所述检测的 二维关键点对应的三维关键点； 根据所述确定的三维关键点，使用迭代计算的方式更新三维关键点； 根据所述更新的三维关键点，确定姿态矫正后的二维人脸图像。2. 如权利要求1所述的方法，其特征在于， 根据所述确定的三维关键点，使用迭代计算的方式更新三维关键点，包括：根据所述 确定的三维关键点确定用于迭代计算的初始几何参数；根据所述迭代计算的初始的几何参 数，使用迭代计算的方式更新三维关键点，其中，迭代计算过程中，应用上次迭代的三维人 脸模型的几何参数更新三维关键点，根据更新的三维关键点求取本次迭代的几何参数； 根据所述更新的三维关键点，确定姿态矫正后的二维人脸图像，包括：根据更新后的三 维关键点确定最终迭代得到的几何参数；根据最终迭代得到的几何参数，确定姿态校正后 的二维人脸图像。3. 如权利要求2所述的方法，其特征在于，根据所述确定的三维关键点确定用于迭代 计算的初始的几何参数，包括： 基于检测出的二维关键点，以及确定出的三维关键点，求取能量函数极小化条件下的 三维人脸模型的几何参数； 将求取的几何参数，作为初始的几何参数，用于在首次迭代过程中更新三维关键点。4. 如权利要求3所述的方法，其特征在于，所述基于检测出的二维关键点，以及确定出 的三维关键点，求取能量函数极小化条件下的三维人脸模型的几何参数，包括： 基于检测出的二维关键点、确定出的三维关键点、以及关键点加权矩阵，求取能量函数 极小化条件下的三维人脸模型的几何参数； 其中，所述关键点加权矩阵是由各二维关键点的权重值组成。5. 如权利要求4所述的方法，其特征在于，所述二维关键点的权重值根据如下方法得 到： 针对每个检测出的二维关键点，计算该二维关键点的检测值与真实值之间的欧式距 离，根据计算出的欧式距离确定该二维关键点的权重值； 其中，所述二维关键点的真实值为正面姿态下的二维人脸样本图像中预先人工标定 的。6. 如权利要求2所述的方法，其特征在于，所述应用上次迭代的三维人脸模型的几何 参数更新三维关键点，包括： 根据上次迭代的几何参数对所述三维人脸模型进行变换； 将变换后的三维人脸模型进行二维纹理投影，得到二维纹理图像； 检测所述二维纹理图像的关键点，得到本次迭代的二维关键点； 根据本次迭代的二维关键点，在所述三维人脸模型上找到对应的关键点，作为本次迭 代更新的三维关键点。7. 如权利要求6所述的方法，其特征在于，所述根据更新的三维关键点求取本次迭代 的几何参数，包括： 基于本次迭代的二维关键点和三维关键点，求取能量函数极小化条件下的三维人脸模 型的几何参数； 将求取的几何参数，作为本次迭代的几何参数。8. 如权利要求7所述的方法，其特征在于，在所述根据更新的三维关键点求取本次迭 代的几何参数前，还包括： 求取本次迭代的二维关键点的关键点加权矩阵； 其中，所述关键点加权矩阵是由本次迭代的各二维关键点的权重值组成。9. 如权利要求8所述的方法，其特征在于，所述基于本次迭代的二维、三维关键点，求 取能量函数极小化条件下的三维人脸模型的几何参数，包括： 基于本次迭代的二维、三维关键点，以及本次迭代的二维关键点的关键点加权矩阵，求 取能量函数极小化条件下的三维人脸模型的几何参数。10. 如权利要求9所述的方法，其特征在于，所述本次迭代的二维关键点的权重值根据 如下方法得到： 从上次迭代的几何参数中获取所述三维人脸模型的当前姿态信息； 查找与所述当前姿态信息相同或相邻姿态信息下的二维人脸样本图像； 针对本次迭代的每个二维关键点，计算该二维关键点的检测值与查找出的二维人脸样 本图像中对应的关键点的真实值之间的欧式距离，根据计算出的欧式距离确定该二维关键 点的权重值； 其中，所述二维人脸样本图像中的关键点的真实值为预先人工标定的。11. 如权利要求7所述的方法，其特征在于，在所述基于本次迭代的二维、三维关键点， 求取能量函数极小化条件下的三维人脸模型的几何参数时，还包括： 求取能量函数极小化条件下的三维人脸模型的形状参数。12. 如权利要求11所述的方法，其特征在于，所述根据最终迭代得到的几何参数，确定 姿态校正后的二维人脸图像，包括： 根据最终迭代得到的几何参数对所述三维人脸模型进行变换； 对变换后的三维人脸模型进行二维投影，得到姿态校正后的二维人脸图像。13. 如权利要求12所述的方法，其特征在于，所述根据最终迭代得到的几何参数对所 述三维人脸模型进行变换，包括： 根据最终迭代得到的几何参数，以及形状参数，对所述三维人脸模型进行变换。14. 如权利要求12所述的方法，其特征在于，所述对变换后的三维人脸模型进行二维 投影，得到姿态校正后的二维人脸图像，包括： 根据所述待校正的二维人脸图像中的像素颜色，对所述变换后的三维人脸模型进行颜 色赋予，得到三维纹理模型； 将所述三维纹理模型进行二维投影，得到姿态校正后的二维人脸图像。15. 如权利要求14所述的方法，其特征在于，在所述得到姿态校正后的二维人脸图像 后，还包括： 根据所述待校正的二维人脸图像的人脸区域之外的像素点，对所述姿态校正后的二维 人脸图像的人脸区域之外对应的像素点进行颜色赋予。16. 如权利要求1-15任一所述的方法，其特征在于，所述迭代计算的终止条件，包括： 相邻两次迭代过程得到的几何参数之间的欧式距离小于阈值；或者 迭代次数达到设定值。17. -种人脸姿态校正装置，其特征在于，包括： 二维图像获取单元，用于获取待校正的二维人脸图像； 关键点确定单元，用于检测待校正的二维人脸图像的二维关键点，并确定三维人脸模 型上与所述检测的二维关键点对应的三维关键点； 迭代计算单元，用于根据所述确定的三维关键点，使用迭代计算的方式更新三维关键 占 . 二维人脸图像校正单元，用于根据所述更新的三维关键点，确定姿态矫正后的二维人 脸图像。18. 如权利要求17所述的装置，其特征在于， 所述迭代计算单元具体用于根据所述确定的三维关键点确定用于迭代计算的初始几 何参数；根据所述迭代计算的初始的几何参数，使用迭代计算的方式更新三维关键点，其 中，迭代计算过程中，应用上次迭代的三维人脸模型的几何参数更新三维关键点，根据更新 的三维关键点求取本次迭代的几何参数。19. 如权利要求17或18所述的装置，其特征在于， 二维人脸图像校正单元具体用于根据最终迭代得到的几何参数，确定姿态校正后的二 维人脸图像。20. 如权利要求18所述的装置，其特征在于，所述迭代计算单元包括： 初始化子单元，用于根据所述确定的三维关键点确定用于迭代计算的初始几何参数； 三维关键点更新子单元，用于应用上次迭代的三维人脸模型的几何参数更新三维关键 占 . 几何参数更新子单元，用于根据所述三维关键点更新子单元更新的三维关键点，求取 本次迭代的几何参数。21. 如权利要求20所述的装置，其特征在于， 所述初始化子单元具体用于基于检测出的二维关键点、确定出的三维关键点，以及关 键点加权矩阵，求取能量函数极小化条件下的三维人脸模型的几何参数；将求取的几何参 数，作为所述初始的几何参数，发送给所述迭代计算单元；其中，所述关键点加权矩阵是由 所述关键点确定单元检测的各二维关键点的权重值组成。22. 如权利要求21所述的装置，其特征在于，所述迭代计算单元还包括： 第一关键点权重确定子单元，用于针对所述关键点确定单元检测出的每个二维关键 点，计算该二维关键点的检测值与真实值之间的欧式距离，根据计算出的欧式距离确定该 二维关键点的权重值；其中，所述二维关键点的真实值为正面姿态下的二维人脸样本图像 中预先人工标定的关键点的坐标值。23. 如权利要求20所述的装置，其特征在于， 所述三维关键点更新子单元具体用于根据上次迭代的几何参数对所述三维人脸模型 进行变换；将变换后的三维人脸模型进行二维纹理投影，得到二维纹理图像；检测所述二 维纹理图像的关键点，得到本次迭代的二维关键点；根据本次迭代的二维关键点，在所述三 维人脸模型上找到对应的关键点，作为本次迭代更新的三维关键点。24. 如权利要求20所述的装置，其特征在于， 所述几何参数更新子单元具体用于基于所述三维关键点更新子单元得到的本次迭代 的二维、三维关键点，求取能量函数极小化条件下的三维人脸模型的几何参数；将求取的几 何参数，作为本次迭代的几何参数。25. 如权利要求24所述的装置，其特征在于，所述迭代计算单元还包括： 关键点加权矩阵计算子单元，用于求取所述三维关键点更新子单元得到的本次迭代的 二维关键点的关键点加权矩阵；其中，所述关键点加权矩阵是由所述三维关键点更新子单 元得到的本次迭代的各二维关键点的权重值组成；以及 所述几何参数更新子单元具体用于基于所述三维关键点更新子单元得到的本次迭代 的二维、三维关键点，以及本次迭代的二维关键点的关键点加权矩阵，求取能量函数极小 化条件下的三维人脸模型的几何参数；将求取的几何参数，作为本次迭代的几何参数。26. 如权利要求25所述的装置，其特征在于，所述迭代计算单元还包括： 第二关键点权重确定子单元，用于从上次迭代的几何参数中获取所述三维人脸模型的 当前姿态信息；查找与所述当前姿态信息相同或相邻姿态信息下的二维人脸样本图像；针 对所述三维关键点更新子单元得到的本次迭代的每个二维关键点，计算该二维关键点的检 测值与查找出的二维人脸样本图像中对应的关键点的真实值之间的欧式距离，根据计算出 的欧式距离确定该二维关键点的权重值；其中，所述二维人脸样本图像中关键点的真实值 为预先人工标定的。27. 如权利要求24所述的装置，其特征在于， 所述几何参数更新子单元还用于基于所述三维关键点更新子单元得到的本次迭代的 二维、三维关键点，求取能量函数极小化条件下的三维人脸模型的几何参数时，求取能量函 数极小化条件下的三维人脸模型的形状参数。28. 如权利要求27所述的装置，其特征在于，所述二维人脸图像校正单元包括： 三维人脸模型变换子单元，用于根据所述几何参数更新子单元最终迭代得到的几何参 数对所述三维人脸模型进行变换； 二维人脸图像校正子单元，对所述三维人脸模型变换子单元变换后的三维人脸模型进 行二维投影，得到姿态校正后的二维人脸图像。29. 如权利要求28所述的装置，其特征在于， 所述三维人脸模型变换子单元具体用于根据所述几何参数更新子单元最终迭代得到 的几何参数，以及形状参数，对所述三维人脸模型进行变换。30. 如权利要求28所述的装置，其特征在于，所述二维人脸图像校正子单元包括： 三维纹理模型确定模块，用于根据所述待校正的二维人脸图像中的像素颜色，对所述 三维人脸模型变换子单元变换后的三维人脸模型进行颜色赋予，得到三维纹理模型； 二维人脸图像校正模块，用于将所述三维纹理模型进行二维投影，得到姿态校正后的 二维人脸图像。31. 如权利要求30所述的装置，其特征在于，所述二维人脸图像校正子单元还包括： 背景保持模块，用于根据所述待校正的二维人脸图像的人脸区域之外的像素点，对所 述二维人脸图像校正模块得到的姿态校正后的二维人脸图像的人脸区域之外对应的像素 点进行颜色赋予。
【文档编号】G06K9/32GK105844276SQ201510021503
【公开日】2016年8月10日
【申请日】2015年1月15日
【发明人】汪彪, 冯雪涛, 宫鲁津, 张红卫, 冯昊, 黃元俊, 徐成住, 韓在濬, 崔昌圭
【申请人】北京三星通信技术研究有限公司, 三星电子株式会社