脸部特征提取装置、脸部特征提取方法、图像处理设备和图像处理方法

脸部特征提取装置、脸部特征提取方法、图像处理设备和图像处理方法
【专利摘要】本公开涉及脸部特征提取装置、脸部特征提取方法、图像处理设备和图像处理方法。一种脸部特征提取装置，用于从脸部图像中提取特征，所述脸部特征提取装置包括：检测单元，检测脸部图像中的多个特征点；归一化单元，基于检测单元检测的所述多个特征点，对所述脸部图像中的脸部归一化，由此得到归一化脸部和所述归一化脸部上的与所述脸部图像中的多个特征点对应的多个归一化特征点；估计单元，估计所述脸部图像中的脸部姿态；定位单元，基于归一化脸部上的归一化特征点和估计单元所估计的所述脸部图像中的脸部姿态，定位所述归一化脸部中的特征区域；以及提取单元，从所述归一化脸部中的特征区域来提取特征。
【专利说明】
脸部特征提取装置、脸部特征提取方法、图像处理设备和图 像处理方法
技术领域
[0001] 本发明一般地设及图像处理、计算机视觉和模式识别，更具体地，设及脸部特征提 取装置和脸部特征提取方法W及图像处理设备和图像处理方法。
【背景技术】
[0002] 一般地，使用脸部特征来帮助识别脸部属性，诸如脸部表情、人员身份（要用于身 份识别）、年龄、种族、性别、是否戴眼镜、是否有胡子等。因此，脸部特征的提取在图像处理、 计算机视觉和模式识别领域中，尤其在脸部属性识别领域中是重要的。
[0003] 现在，将W脸部表情识别作为脸部属性识别的例子。
[0004] 在脸部表情识别的常用方法（将称为方法1)中，脸部区域（粗略脸部区域中的脸 部图像）被输入到特征点检测模块。然后，根据由特征点检测模块检测的脸部特征点（例 如，脸部关键位置上的点）来归一化脸部。显著区域（例如，器官区域：眼睛、鼻子和嘴等本 文中也被称为特征区域）定位于归一化脸部上，并且在显著区域内的子区域（在模板中是 预定的）上提取脸部特征。将脸部特征输入到预先训练的表情分类模型，来预测表情类别。 该方法的工作流程如图1所示。
[0005] 在该方法中，显著区域的尺寸是固定的，并且根据特征点的位置来对其进行定位。 W左眼区域为例，该区域的宽度是Μ个像素（固定值），高度是N个像素（固定值）。区域 中屯、与左眼中屯、相同。
[0006] 但是，在该方法中，当脸部姿态（其也可W表示为例如偏转角α和俯仰角β)改 变时，所定位的显著区域将不合适。如图2所示，在图2所示的图像1中，有非常小的偏转 角（α)和俯仰角（β)，因此，由浅色矩形表示的显著区域定位良好。对于图2中所示的图 像2,所定位的显著区域包括一些无效区域（包含脸部区域之外的纹理的区域），因为脸部 的偏转角变大了。在图2所示的图像3中，偏转角更大了，因此显著区域中包括的无效区域 更大。在图2所示的图像4和5中，除了更大的偏转角之外，脸部还有更大的俯仰角，因此 显著区域不恰当。
[0007] 然后，在方法1中，根据预先定义的模板选择显著区域中的由深色矩形表示的一 些子区域。先定位子区域的位置，在图2中用虚线矩形示出。当脸部姿态改变时，子区域的 位置在不同视角的脸部之间失配。例如，在图2所示的图像1和2中，图像1中的子区域包 含表情的纹理信息，而图像2中的子区域是无效的。
[000引总之，在该常用方法1中有如下两个问题。
[0009] 1.在一些显著区域中有无效区域，例如其不包含脸部的纹理信息，或者该区域没 有良好定位。
[0010] 2.所选子区域的位置在不同视角的脸部（例如偏转角不同）之间失配。
[0011] 运两个问题将影响从显著区域或子区域提取的特征。当所述特征不是有效的时， 表情识别的性能将劣化。
[0012] 另外，多视角识别模型也用于提高对于不同姿态脸部的表情识别准确度，例如，在 Multi-View Facial Expression Recognition(Yuxiao Hu, Zhihong Zeng, Xi Zhou, Thomas S. Huang, Automatic Face&Gesture Recognition, 2008. FG'08. 8th IEEE International Conference, 17-19Seipt. 2008, Pages 1-6)中提出的方法（将称为方法 2)。
[0013] 在上述方法2的表情识别处理中，如图3所示，首先，检测脸部特征点并且脸部被 归一化。根据检测的特征点，在归一化的脸部上定位显著区域。从显著区域提取脸部特征 W用于脸部视角分类和表情识别。然后，输入脸部的视角（例如，0度，30度，45度，60度， 或90度）被分类。指定视角的识别模型（例如，30度）将被用于识别表情类别，其中指定 视角的每个识别模型（例如，30度）用其姿态接近该视角角度（例如，在[20度，40度]的 范围中）的脸部图像训练，运样，用于特征提取的显著区域更准确。
[0014] 然而，多视角表情识别模型（例如上述的方法2)的最大问题是较大的模型尺寸。 考虑2维（例如，偏转角和俯仰角）的脸部姿态的变型：如果有Μ个俯仰角类别（例如，Μ 为扣和Ν个偏转角类别（例如，Ν为W，则模型尺寸为单视角表情识别模型的ΜΧΝ倍。
[0015] 此外，在专利申请文献US 2012/0169895Α1中提出了基于半监督学习的多视角脸 部表情识别方法（将被称为方法3)，其包括：收集η个不同的人的η个正脸脸部表情和η个 侧脸脸部表情W构造训练集X和测试集S，分割将正脸和侧脸图像上的脸部区域分区，使用 直方图均衡化来减小照明影响，然后使用线性判别方法来提取特征W识别测试集的表情。 并且，该方法利用基于欧氏距离的最近邻居来根据已标记的样本标记未标记样本，从而训 练表情分类模型，运是一个半监督学习过程。

【发明内容】

[0016] 上述方法1从具有固定尺寸的显著区域中提取特征，当脸部姿态改变时，表情识 别的性能可能劣化。
[0017] 上述方法2具有模型尺寸较大的严重问题，较大的模型尺寸需要更多的处理和存 储资源，并且运些资源在例如智能系统和/或嵌入式系统中是稀缺的和有限的。
[0018] 上述方法3在姿态不同的脸部上在具有固定位置和尺寸的区域中提取特征，而没 有考虑脸部姿态，该方法在脸部有大的偏转角或俯仰角时无法良好地定位显著区域。
[0019] 因此，上述方法1和3均没有认识到脸部姿态对于定位显著区域乃至识别准确度 的影响，因此均没有考虑它。上述方法3基于半监督学习，它需要更大的模型尺寸，因此，它 不适合资源有限的系统。
[0020] 本发明旨在解决上述的问题。本发明的一个目的是提供一种用于提取脸部特征的 设备和方法W及用于处理图像的设备和方法，W解决上述问题之一。
[0021] 本公开利用脸部姿态和特征点信息来得到显著区域/子区域的恰当的位置和尺 寸，然后提取显著区域/子区域的特征。
[0022] 具体地，对于具有粗略脸部区域的输入脸部图像，检测特征点，并且将脸部归一 化，然后估计脸部姿态（偏转角和俯仰角），接着，可W根据检测的特征点和估计的脸部姿 态来定位显著区域。然后，可W从显著区域提取脸部特征。
[0023] 通过在提取脸部特征之前考虑脸部姿态并且还利用脸部姿态信息来定位显著区 域W便于从显著区域提取脸部特征，可提高提取的特征的准确度。
[0024] 作为替代方案，脸部上每个显著区域中的子区域可W基于在定位显著区域时生成 的变换矩阵来定位。然后，可W从子区域提取脸部特征。运样，即便是W不同的脸部姿态， 定位的显著区域和子区域也可W基本上在人脸的相同位置，也就是说，所获得的显著区域 和子区域更接近脸部上的那些真实的显著区域和子区域。
[00巧]通过先定位显著区域（较大的区域）并且然后定位每个显著区域中的子区域（较 小的区域），可W提高计算效率（显著区域较大并且需要更多的计算量），并且还可W进一 步提高提取的特征的准确度，因为在不同姿态的人脸之中，从显著区域和子区域提取的特 征是可W匹配的。
[0026] 还作为替代方案，可W不用先定位显著区域而直接定位子区域（较小的区域），然 后从定位的子区域提取特征。
[0027] 运样，与仅定位显著区域相比，也可W提高计算效率并且还可W进一步提高提取 的特征的准确度。
[0028] 此外，提取的特征可W输入到预先训练的模型（例如，表情分类模型，ID识别模 型，年龄识别模型，等等），从而可W确定脸部特征。
[0029] 运里，在本公开中使用术语"脸部特征"和"脸部属性"。具体地，脸部属性至少包 括表情、身份、年龄、种族、性别、有无眼镜、有无胡须等等。另外，术语"脸部特征"可W指用 于表示脸部属性的特征，例如，表情类别，并且其还可W指用于表示其他事物的特征，尽管 在本说明书中，其仅在脸部属性的背景中使用。也就是说，应当注意，运里的术语"脸部特 征"不限于指用于表示脸部属性的特征。
[0030] 根据本公开的第一方面，提供一种脸部特征提取装置，用于从脸部图像中提取特 征，所述脸部特征提取装置包括：检测单元，检测脸部图像中的多个特征点；归一化单元， 基于检测单元检测的所述多个特征点，对所述脸部图像中的脸部归一化，由此得到归一化 脸部和所述归一化脸部上的与所述脸部图像中的多个特征点对应的多个归一化特征点；估 计单元，估计所述脸部图像中的脸部姿态；定位单元，基于归一化脸部上的归一化特征点和 估计单元所估计的所述脸部图像中的脸部姿态，定位所述归一化脸部中的特征区域；W及 提取单元，从所述归一化脸部中的特征区域来提取特征。
[0031] 根据本公开的第二方面，提供一种图像处理设备，包括：脸部图像供给装置，提供 要被处理的脸部图像；如上所述的脸部特征提取装置，所述脸部特征提取装置从所述脸部 图像供给装置提供的脸部图像中提取特征；W及脸部属性识别装置，基于脸部特征提取装 置所提取的特征，识别所述脸部图像中的脸部的属性。
[0032] 根据本公开的第Ξ方面，提供一种脸部特征提取方法，用于从脸部图像中提取特 征，所述脸部特征提取方法包括：检测步骤，检测脸部图像中的多个特征点；归一化步骤， 基于在检测步骤检测的所述多个特征点，对所述脸部图像中的脸部归一化，由此得到归一 化脸部和所述归一化脸部上的与所述脸部图像中的多个特征点对应的多个归一化特征点； 估计步骤，估计所述脸部图像中的脸部姿态；定位步骤，基于归一化脸部上的归一化特征点 和在估计步骤所估计的所述脸部图像中的脸部姿态，定位所述归一化脸部中的特征区域； W及提取步骤，从所述归一化脸部中的特征区域来提取特征。
[0033] 根据本公开的第四方面，提供一种图像处理方法，包括：脸部图像供给步骤，提供 要被处理的脸部图像；特征提取步骤，通过使用如上所述的脸部特征提取方法，从所提供的 脸部图像中提取特征；w及脸部属性识别步骤，基于通过所述脸部特征提取方法所提取的 特征，识别所述脸部图像中的脸部的属性。
[0034] 根据本公开的第五方面，提供一种表情识别方法，包括：脸部图像供给步骤，提供 要被处理的脸部图像；特征提取步骤，通过使用如上所述的脸部特征提取方法，从所提供的 脸部图像中提取特征；W及表情确定步骤，基于通过所述脸部特征提取方法所提取的特征， 确定所述脸部图像中的脸部的表情。
[0035] 根据本公开的第六方面，提供一种表情识别装置，包括：脸部图像供给单元，提供 要被处理的脸部图像；特征提取单元，通过使用如上所述的脸部特征提取装置，从所提供的 脸部图像中提取特征；W及表情确定单元，基于通过所述脸部特征提取装置所提取的特征， 确定所述脸部图像中的脸部的表情。
[0036] 此外，在检测特征点之前，可W从脸部图像中获取粗略脸部区域，在运种情况下， 从所获得的粗略脸部区域来检测所述特征点。
[0037] 其中，上述特征包括脸部部位的位置有关的信息、脸部上的纹理有关的信息、脸部 上的像素灰度值、脸部上的肌肉有关的信息、W及它们的任意组合。
[0038] 另外，上述用于反映脸部姿态的参数包括：在所述归一化脸部上，脸部部位有关的 度量信息W及在所述脸部部位上的作为参考点的特征点的位置有关信息。更具体地，上述 用于反映脸部姿态的参数包括所述归一化脸部上鼻尖与鼻基点之间的距离和鼻尖的位置。
[0039] 参照附图阅读示例性实施例的W下描述，本发明的其他特性特征和优点将变得清 晰。
【附图说明】
[0040] 并入到说明书中并且构成说明书一部分的附图示出了本发明的实施例，并且与描 述一起用于解释本发明的原理。在运些附图中，类似的附图标记用于表示类似的项。
[0041] 图1是常用表情识别方法的流程图。
[0042] 图2示例性地示出通过使用上述常用表情识别方法在脸部定位的显著区域的几 个例子。
[0043] 图3示例性地示出现有技术中的多视角表情识别方法的流程图。 W44] 图4是示出可W实现本公开的实施例的计算机系统1000的示例性硬件配置的框 图。
[0045] 图5示例性地示出根据本公开的实施例的脸部特征提取方法的流程图。
[0046] 图6示例性地示出根据本公开的实施例的脸部特征提取装置的框图。
[0047] 图7是特征点的示意图。
[0048] 图8示例性地示出根据本公开的实施例的用于估计脸部姿态的方法的流程图。 W例图9示例性地示出得到用于反映脸部姿态的参数的具体例子。
[0050] 图10示例性地示出在估计脸部姿态期间采用的变换处理中使用的两个坐标系的 具体例子。
[0051] 图11示例性地示出定位特征点的处理的流程图。
[0052] 图12是平均归一化正脸上的特征区域的例子。
[0053] 图13示例性地示出归一化脸部的点和真实正脸的点之间的变换的例子。
[0054] 图14示例性地示出根据本公开的定位处理和后续的处理的例子。
[0055] 图15示例性地示出根据本公开的用于获得脸部特征子区域的变换的一种变换。
[0056] 图16示例性地示出根据本公开的图像处理方法的例子。
[0057] 图17示例性地示出根据本公开的另一实施例的脸部特征提取装置的框图。
[005引图18示例性地示出根据本公开的实施例的定位单元的框图。
[0059] 图19示例性地示出根据本公开的另一实施例的定位单元的框图。
[0060] 图20示例性地示出根据本公开的另一实施例的区域定位处理和子区域定位处理 的流程图。
[0061] 图21示例性地示出根据本公开的实施例的图像处理设备的框图。
【具体实施方式】
[0062] 应当注意，W下的实施例并不意欲限制所附权利要求的范围，并且在实施例中描 述的特征的所有组合对于解决本发明的技术问题并不一定是必需的。W下描述的本发明的 实施例中的每一个都可单独地实施，或者在必要的情况下或在单个实施例中组合来自各个 实施例的要素或特征是有益的情况下作为多个实施例或者它们的特征的组合来实施。
[0063] 由于图中类似的附图标记用于表示类似的元件，因此，将不在说明书中重复描述 运些类似的元件，并且，本领域普通技术人员将理解运些类似的元件表示类似的含义。
[0064] 在本公开中，可W通过软件、硬件、固件或者其任意组合来实施本公开的每个单 元、部件和/或组件，并且，如果要由运些单元、部件和/或组件执行的操作与要由根据本公 开的方法执行的步骤类似，则为了简洁起见，可能仅详细描述相应的步骤而省略对操作的 详细描述。但是，本领域普通技术人员将明白由运些单元、部件和/或组件执行的操作的具 体内容。也就是说，尽管可能W装置为背景来描述一些方面，但是显然，运些方面也代表对 应方法的描述，其中块或单元对应于方法步骤或方法步骤的特征。类似地，在方法步骤的背 景中描述的方面也代表对应装置的对应块或项或特征。另外，可W通过软件、硬件、固件或 者其任意组合来实施根据本公开的方法。也就是说，本公开的方法和系统不限于其实现方 式，并且，本发明的保护范围仅由所附的权利要求限定。 阳〇化]而且，在本公开中，步骤的执行顺序不是必须要按照流程图所示出和实施例中所 提到的那样，而是可W根据实际情况来灵活变通的，即，本发明不应该受到流程图所示出的 步骤的执行顺序的限制。
[0066] 在本公开中，提出了新颖的脸部特征提取方法和装置，其中，提取脸部特征点（脸 部上显眼的点或者脸部的关键位置上的点）并且将脸部归一化；根据归一化脸部上的特 征点来估计脸部姿态（偏转角和俯仰角）；建立用于关于所获得的偏转角和俯仰角将正脸 (真实正脸）上的区域映射到非正脸（归一化脸部）的变换矩阵；定位正脸中的显著区域， 然后根据变换矩阵将其映射到非正脸；提取非正脸中的区域的特征。
[0067] 此外，提取的特征可W用于确定脸部属性。例如，预先训练的表情分类模型可W用 于确定表情类别。 W側另外，还可W定位显著区域中的子区域并且然后可W提取子区域中的特征W确定 脸部属性。 W例下面，将参照附图来详细描述本公开的示例性实施例。
[0070] 图4是示出可w实现本公开的实施例的计算机系统1000的示例性硬件配置的框 图。
[0071] 如图4中所示，计算机系统1000包括计算机1110。计算机1110包括经由系统总 线1121连接的处理单元1120、系统存储器1130、固定非易失性存储器接口 1140、可移动非 易失性存储器接口 1150、用户输入接口 1160、网络接口 1170、视频接口 1190和输出外围接 日 1195。
[0072] 系统存储器1130包括ROM(只读存储器）1131和RAM(随机存取存储器）1132。 BIOS (基本输入输出系统）1133驻留在ROM 1131中。操作系统1134、应用程序1135、其他 程序模块1136和某些程序数据1137驻留在RAM 1132中。
[0073] 诸如硬盘之类的固定非易失性存储器1141连接到固定非易失性存储器接口 1140。固定非易失性存储器1141例如可W存储操作系统1144、应用程序1145、其他程序模 块1146和某些程序数据1147。
[0074] 诸如软盘驱动器1151和CD-ROM驱动器1155之类的可移动非易失性存储器连接 到可移动非易失性存储器接口 1150。例如，软盘1152可W被插入到软盘驱动器1151中，W 及CD (光盘）1156可W被插入到CD-ROM驱动器1155中。 阳075] 诸如麦克风1161和键盘1162之类的输入设备被连接到用户输入接口 1160。
[0076] 计算机1110可W通过网络接口 1170连接到远程计算机1180。例如，网络接口 1170可W经由局域网1171连接到远程计算机1180。或者，网络接口 1170可W连接到调制 解调器（调制器一解调器）1172, W及调制解调器1172经由广域网1173连接到远程计算机 1180。
[0077] 远程计算机1180可W包括诸如硬盘之类的存储器1181，其存储远程应用程序 1185。 阳07引视频接口 1190连接到监视器1191。
[0079] 输出外围接口 1195连接到打印机1196和扬声器1197。
[0080] 图4所示的计算机系统1000只是示例性的，并且决不意图限制本发明、本发明的 应用或用途。
[0081] 图4所示的计算机系统可W被实施于任何实施例，可作为独立计算机，或者也可 作为设备中的处理系统，可W移除一个或更多个不必要的部件，也可W向其添加一个或更 多个附加的部件。
[0082] 图4所示的计算机系统可任何方式被用户使用，本公开对于用户使用计算机 系统的方式不作任何限制。
[0083] 显然地，图4所示的计算机系统仅是示例性的，其绝不会限制本公开、本公开的应 用或者用途。
[0084] 接着，将在下面描述本公开的实施例。
[0085] [根据本公开的实施例的方法]
[0086] 首先，将参照图5来描述本公开的一个方法实施例。
[0087] 图5示例性地示出根据本公开的实施例的脸部特征提取方法的流程图。 阳0蝴如图5所示，在检测步骤S101，检测脸部图像中的多个特征点。
[0089] 然后，在归一化步骤S102,基于在检测步骤S101检测的所述多个特征点，对所述 脸部图像中的脸部归一化，由此得到归一化脸部和所述归一化脸部上的与所述脸部图像中 的多个特征点对应的多个归一化特征点。
[0090] 接着，在估计步骤S103,估计所述脸部图像中的脸部姿态。
[0091] 优选地，从归一化脸部上的所述归一化特征点得到用于反映脸部姿态的参数，并 且基于所述用于反映脸部姿态的参数和所述归一化特征点来估计所述脸部图像中的脸部 姿态。其中，所述用于反映脸部姿态的参数的数值能够随脸部姿态的不同而变化。
[0092] 然后，在定位步骤S104,基于归一化脸部上的归一化特征点和在估计步骤所估计 的所述脸部图像中的脸部姿态，定位所述归一化脸部中的特征区域。
[0093] 然后，在提取步骤S105,从所述归一化脸部中的特征区域来提取特征。
[0094] 此外，根据本公开的另一实施例，所述脸部特征提取方法可W进一步包括粗略区 域获取步骤S111，从脸部图像中获取粗略脸部区域，如图5所示（用虚线包围的框）。运 里，上述粗略脸部区域可W通过使用现有技术中任何已知的或现有的脸部检测方法或装置 来获得。
[0095] 在该情况下，在所述检测步骤S101，可W从所述粗略脸部区域检测所述特征点。
[0096] 下面将具体地描述关于每个步骤的详细过程W便容易被本领域普通技术人员理 解，但是，应当注意，不是要描述的每一个元件都是对于解决本发明的技术问题一定必须 的，也就是说，不是所有运些特征都是解决本发明的技术问题的必要技术特征。
[0097] 具体地，在检测步骤S101，检测脸部特征点。
[0098] 作为例子，可W例如基于预先确定的模板，从脸部图像检测到7个特征点。运7个 特征点可W是两个眼睛中的每个眼睛的两个眼角、鼻尖和两个嘴角，如图7所示。应当注意 的是，运7个特征点只是例示，可W在本公开的各种实施例中检测更多或更少的特征点。
[0099] 而且，运里，例如可W利用主动形状模型（ASM) (COMPUTER VISION AND IMAGE UN肥 RSTANDING，Vol. 61，No. 1，January,卵.38-59, 1995)来检测特征点。当然，本领域普通技术 人员已知的或者W后将要开发的其他模型或方法也可W用来检测特征点，本公开对于检测 特征点的方式不作任何限制。
[0100] 然后，在归一化步骤S102,根据通过检测步骤S101检测的特征点，将所述脸部图 像中的脸部归一化到平均正脸。 阳101] 接着，为了易于理解，下面将描述根据特征点将所述脸部图像中的脸部归一化到 平均正脸的例子。但是，本领域普通技术人员将明白，本发明不限于运样的例子。
[0102] 首先，W运7个点作为特征点的例子，可W从被人工地标定的样本（将被称为人 工标定的样本）计算运7个点的平均位置。假定有η个标定的样本，运7个点的平均位置 Pi (Xi，Yi) (i = 1~7)被计算为 阳 103]
阳104] 其中，X。和y。分别是第j (j = 1~η)个标定的样本沿X轴和y轴的坐标值。
[0105] 然后，将平均化后的7个点Pi(Xi，yi) α = 1~7)定义为目标脸部的特征点，并且 可W利用仿射映射（也称为仿射变换）处理来对齐（归一化）输入脸部和目标脸部。运样， 根据在步骤S101检测的7个特征点，将脸部图像仿射到归一化脸部上。运里，对齐的（归 一化的）脸部的尺寸可W是例如200X200像素。 阳106] 运里，下面将给出一个例子来描述仿射映射。也就是说，利用仿射映射处理来通过 利用检测的输入脸部的特征点与人工标定的样本的平均特征点之间的仿射变换（如下式 所示）对齐（归一化）输入脸部到目标脸部。
[0107] [检测的特征点的矩阵][仿射变换矩阵]=[平均化后的7个点的矩阵]
[0108] 由此，可W基于检测的多个特征点获得归一化的脸部。此外，可W例如通过使用 ASM来直接获得归一化脸部中的特征点（为了易于区分，它们将被称为归一化特征点）。
[0109] 此外，应当注意，对于人工标定的样本的特征点的平均化操作仅是示例性的，本发 明不仅限于W上一种方式，例如，可W执行对于人工标定的样本的特征点的加权操作或者 平均加权操作等来获得如上所述的目标脸部。
[0110] 运里，应当注意，本文中的归一化用于将任何角度的输入脸部图像的特征点归一 化到归一化脸部中的相同位置。 阳111] 然后，在步骤S103,根据归一化的特征点来估计归一化脸部中的脸部姿态（也是 脸部图像中的脸部姿态，因为上述归一化操作仅消除旋转的影响，而不改变其偏转角和俯 仰角）。
[0112] 具体地，从归一化脸部上的所述归一化特征点得到用于反映脸部姿态的参数，并 且基于所述用于反映脸部姿态的参数和所述归一化特征点来估计所述脸部图像中的脸部 姿态。
[0113] 其中，所述用于反映脸部姿态的参数的数值能够随脸部姿态的不同而变化。另外， 例如，所述用于反映脸部姿态的参数可W包括：在所述归一化脸部上，脸部部位有关的度量 信息W及在所述脸部部位上的作为参考点的特征点的位置有关信息。
[0114] 具体地，与脸部部位有关的度量信息可W包括例如与脸部部位有关的距离、长度、 高度、或宽度等，例如脸部图像上脸部的最大宽度、脸部图像上脸部的最小宽度、脸部图像 上的眼睛宽度、脸部图像上的眼睛宽度、脸部图像上的鼻子宽度、脸部图像上眼睛的高度、 下己底部到额头顶部之间的高度等等。但是，应当注意，本发明不限于运些举出的例子。
[0115] 此外，脸部部位中的某个特征点（其将被用作参考点）可W是脸部图像中的脸部 的边缘点，例如，眼角、嘴角、脸部图像中的鼻子底部的边缘点、脸部图像中的眼睛底部的边 缘点、下己底部、前额顶部、鼻尖等等。但是，应当注意，本发明不限于运些举出的例子。
[0116] 接着，为了易于理解，下面将给出一个非常详细的例子，参考图8和9描述姿态估 计方法。在图8中示出了示例性的姿态估计方法的详细流程图。图9示出了用于根据归一 化脸部中的归一化特征点确定用于反映脸部姿态的参数的具体例子。
[0117] 首先，在步骤S1031，可W得到虚拟鼻基点。如图9的（a)中所示，归一化脸部中的 特征点A，B，C和D (也称为归一化特征点）几乎在同一个平面中，点Μ和N分别是AB和CD 的中点。点Q是鼻尖（归一化脸部中的7个特征点之一）。从Q向线MN画一条垂线，然后 交点是P。所获得的点P将被称为虚拟鼻基。
[0118] 然后，可W在步骤S1031得到鼻子高度。例如，图9的化）（其中，一个不同的人的 全侧脸，即，一个全侧脸的样本被示出）示出了一个估计鼻子高度d的处理的例子，其中，E' 是直接连接两个内眼角的线的中点，F'是两个嘴角的中点，P'是鼻基，Q'是鼻尖，Q' P'垂 直于E' F'。 阳119] 运里，如果P' Q' /E' F'的值等于丫，则可确定丫 = P' Q' /E' F' = d/E' F'。由 此，例如可W基于丫的值和E'F'的长度得到目标距离d(归一化脸部的鼻子高度，等于 P' Q'的长度），如下所示。 阳 120] d = P，Q，= E，F，X 丫 阳121] 其中，d是鼻子高度（从鼻尖到虚拟鼻基点的距离），图9的化）中的E'F'可W对 应于图9的（a)中的丽（即，E'和F'可W分别对应于Μ和脚，并且丫是P'Q'/E'F'的 值。运里，E' F'和丫的值可W例如从全侧脸的样本确定。 阳122] 具体地，关于从全侧脸的样本得到P' Q' /E' F'的值的方式，可W通过将多个全侧 脸的样本平均而得到P' Q' /E' F' = 0. 340,并且可W类似地得到E' F'的值。另外，应当注 意，可其他方式得到丫（P' Q' /E' F')的值，例如，可W通过经验或者试验或者本领域 普通技术人员能够想到的任何其他方式得到，本发明对此不作任何限制。再例如，也可W从 同一个人的全侧脸的样本得到丫的值，运样，所获得的d值将更准确。 阳123] 接着，在步骤S1032,将使用一个Ξ维模型来估计脸部姿态（偏转角和俯仰角）。在 图10中示出了示例性的和详细的处理。
[0124] 为了解释估计处理，在图10的（a)中，示例性地示出正脸的Ξ维坐标，其原点可W 位于鼻基点。对于图10的化）中的归一化脸部（也称为非正脸），在Ξ维坐标x'rz'中， 其原点也可W位于鼻基点，并且鼻尖Q可W表示为B (0, 0, d) T。在坐标XYZ中，特征点Q (即， 归一化脸部中的归一化特征点）的坐标可W表示为A (X。，y。，Z) T，其中，X。、y。可W通过在二 维坐标系中将Q的坐标和P的坐标相减而计算得到。可W通过两个Ξ维坐标的变换而将B 变换到A。假设偏转角是α，俯仰角是β，旋转角是Θ。根据计算图形学，在Ξ维空间中， 从X' r Ζ'到ΧΥΖ的变换可W表示如下： 阳 12 引 T = Rz(目）Ry(c〇Rx(i3)， 阳 126]
[0127] 其中，Κζ(θ)是围绕Z轴的旋转矩阵，Ry(a)是围绕Y轴的旋转矩阵，Κχ(β)是围 绕X轴的旋转矩阵。
[0128] 在脸部归一化步骤中，旋转角Θ已减至〇，R,(0)变为单位矩阵，因此，变换矩阵 T可W表示如下。 阳 129]
阳132] 所W， 阳 1；33]
[0134] 现在，可W基于用于反映脸部姿态的参数（例如d)和归一化特征点（例如归一化 特征点Q的坐标，即xe，y。）而得到脸部图像（也称为非正脸）中的脸部的偏转角和俯仰角。
[0135] 总之，在上述例子中，用于反映脸部姿态的参数可W是鼻子高度（d)和虚拟鼻基 点的位置（P)，并且鼻尖的位置（曲属于归一化特征点之一。
[0136] 运里，应当注意，尽管上述例子使用了鼻子高度（d)和虚拟鼻基点的位置（巧作为 用于反映脸部姿态的参数，并且还使用全侧脸的样本来得到用于反映脸部姿态的参数，本 发明却不限于上述例子，也就是说，可W使用其他的用于反映脸部姿态的参数，诸如上面提 到的那些和其他能够想到的参数，并且还可W使用其他的方式来得到运样的参数。
[0137] 另外，在本公开中，估计脸部姿态的参数的方式不是仅限于上面的例子中示出的 (比如几何变换矩阵），而是任何能够想到的估计脸部姿态的方式都可W包含在本公开的 保护范围内。
[0138] 然后，在图5所示的步骤S104,根据归一化脸部上的归一化特征点和所述脸部图 像中的估计的脸部姿态，定位所述归一化脸部中的显著区域。 阳139] 由于已经获得了可W由例如偏转角α和俯仰角β表示的脸部姿态，现在可W定 位归一化脸部的特征区域。图11示例性地示出了用于定位特征点的处理的流程图。
[0140] 首先，在归一化特征区域获得步骤S1041，从归一化正脸样本获得平均归一化正脸 和平均归一化正脸中的特征区域，并且基于归一化脸部中的归一化特征点和平均归一化正 脸中的特征区域，获得正脸的特征区域。 阳141] 具体地，作为一个详细的例子，可W通过W下步骤获得正脸上的显著区域。
[0142] 1)通过将每个像素的灰度值平均化，得到多个归一化正脸样本的平均归一化正 脸。
[0143] 运里，还可W通过将所有归一化正脸样本的对应脸部特征点平均化，得到平均归 一化正脸的脸部特征点，与上面所述的从正脸样本得到归一化脸部的方式类似。
[0144] 应当注意，上述平均归一化正脸不是上面提到的归一化脸部（平均正脸），它是从 多个归一化正脸样本获得的。
[0145] 2)分别在平均归一化正脸上定位两只眼睛、鼻子和嘴的显著区域（也称为特征区 域）。
[0146] 例如，对于左眼区域，覆盖左眼和其眉毛，并且区域中屯、是左眼的两个特征点（左 眼角点）的中点。
[0147] 对于右眼区域，覆盖右眼和其眉毛，并且区域中屯、是右眼的两个特征点（右眼角 点）的中点。
[0148] 对于鼻子区域，覆盖鼻子和两颊，并且区域中屯、是鼻基点。
[0149] 对于嘴部区域，覆盖嘴和嘴角，并且区域中屯、是嘴的两个特征点的中点（嘴角 点）。
[0150] 接着，在定位显著区域时，可W遵循一个规则：显著区域应当覆盖不同表情时脸部 的变化。 阳151] 为了易于理解，在图12中示出了一个在平均归一化正脸上的特征区域的例子。 阳152] 3)基于归一化脸部上的归一化特征点和平均归一化正脸上的特征区域，定位正脸 上的显著区域。
[0153] 接着，将在下面描述一个详细的例子。运里，可W假设归一化脸部的尺寸是 200X200 像素。 阳154] 对于左眼区域，两个左眼角的中点被设为区域中屯、，区域的尺寸与平均归一化正 脸上的左眼区域相同（例如，80X60像素）。 阳155] 对于右眼区域，两个右眼角的中点被设为区域中屯、，区域的尺寸与平均归一化正 脸上的右眼区域相同（例如，80X60像素）。
[0156] 对于鼻子区域，鼻基点被设为区域中屯、，区域的尺寸与平均归一化正脸上的鼻子 区域相同（例如，120X40像素）。
[0157] 对于嘴部区域，两个嘴角的中点被设为区域中屯、，区域的尺寸与平均归一化正脸 上的嘴部区域相同（例如，130X80像素）。
[0158] 然后，在脸部特征区域获得步骤S1042,基于估计的脸部姿态，将正脸的特征区域 映射到归一化脸部的特征区域。
[0159] 在图13中，使用左眼区域作为例子。对于图13的（a)中的正脸，坐标原点位于两 个眼角的中间。对于图13的化）中的归一化脸部，针对两个眼角（7个检测的特征点中的 2个）的信息，将坐标原点设在眼角的中间。右眼区域和嘴部区域是类似的，而鼻子区域是 特殊情况。鼻子区域中的坐标原点直接位于虚拟鼻基点。
[0160] 上面的映射处理（即，变换）可W分解成如图13的（a)和化）所示的两步。首 先，正脸W角度α (偏转角）围绕Y轴旋转，然后W角度β (俯仰角）围绕X轴旋转。对于 左眼区域中的任何点以变换后的点是归一化脸部中的L'。假设L和L'的Ξ维坐标分别是 (x，y，z)τ和（χ'，y'，z'）τ，则上述的变换可W表示如下：
[0161]
阳162] 通过上面的变换矩阵Τ，图13的（a)中的左眼区域中的每个点（正脸中的任意点） 可W变换到图13的化）中的对应点（归一化脸部中的对应点）。使用变换矩阵来映射正脸 的左眼区域的四个顶点W得到归一化脸部上的四个顶点。连接获得的运四个顶点，在归一 化脸部上得到左眼区域。对于其他显著区域，映射处理与上面所述的类似。
[0163] 应当注意，尽管图中所示的特征区域较大，例如，嘴部区域覆盖整个嘴甚至还有其 周围，但是，根据本公开的特征区域可W较小，例如，嘴附近的特征区域可W仅覆盖嘴角和/ 或其周围。因此，根据本公开，特征区域可W大，并且它们也可W小。当特征区域大时，计算 过程可能花费较长的时间，相反，当特征区域小时，计算过程可能花费较短的时间。采用大 的特征区域还是小的特征区域取决于实际情况，比如可用的处理资源和/或任务需要等。
[0164] 然后，在如图5所示的提取步骤S105,从所述归一化脸部中的特征区域来提取特 征。
[0165] 运里，上述特征可W包括脸部部位的位置有关的信息、脸部上的纹理有关的信息、 脸部上的像素灰度值、脸部上的肌肉有关的信息、W及它们的任意组合。无论如何，本公开 不对于要提取和处理的特征的形式进行任何限制。 阳166] 作为一个例子，特征提取方法可W采用局部二值模式（LB巧（"Multiresolution Gray Scale and Rotation Invariant Texture Classification with Local Binary Patterns", Timo Ojala 等,IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 24, No. 7, July 2002)或局部相位量化（LP 曲（"Blur Insensitive Texture Classification Using Local Phase Quantization", Ville Ojansivu等，ICISP 2008, LNCS 5099,卵.236 - 243, 2008)。 阳167] 例如，在LBP特征的情况下，块尺寸与区分块的尺寸相同，并且二值化in)的总数 是59个。由此，每个块-LBP特征化lock-LBP feature)的大小（dimension)为59。特征 计算处理如下所示。
[0168] 1)为归一化脸部的特征区域（或子区域）中的每个像素计算LBP&1 阳169] a)得到作为当前像素的中屯、像素的值。 阳170] b)提取8个相邻区域中的像素值。
[0171] C)通过双线性内插法计算gp，（P = 0, 1，. . .，7)。
[0172] d)通过
开算LBP值。 阳17引运里，gp是邻接像素的灰度值，g。是中屯、像素的灰度值，并且 阳 174]
阳175] 其中，TH是阔值。 阳176] 2)通过将块中的每个像素的所述LBP相加来建立59个巧9-dimension)的LBP柱 状图。 阳177] 此外，根据本公开的另一实施例，可W定位特征区域（较大区域）中的子区域（较 小区域），然后可W提取特征。图14示例性地示出了具体的处理。
[0178] 作为替代方案，根据本公开的另一实施例，在区域定位步骤S1041'中定位特征区 域之后，可W进一步在子区域定位步骤S1042'中定位归一化脸部的每个特征区域的特征子 区域，如图14所示。
[0179] 其中，在区域定位步骤S1041'，可W基于归一化脸部中的归一化特征点和脸部图 像中的估计的脸部姿态来定位归一化脸部中的特征区域，并且在子区域定位步骤S1042'， 可W定位归一化脸部的每个特征区域中的特征子区域，并且在提取步骤S105,可W从归一 化脸部中的特征子区域中提取特征，如图14所示。 阳180] 具体地，区域定位步骤S1041'可W包括：归一化特征区域获得步骤S10411'，从归 一化正脸样本得到平均归一化正脸和平均归一化正脸上的特征区域，并且基于归一化脸部 上的归一化特征点和平均归一化正脸上的特征区域，得到正脸的特征区域；W及脸部特征 区域获得步骤S10412'，基于估计的脸部姿态，将所述正脸的特征区域映射为所述归一化脸 部的特征区域，如图20所示。 阳181] 运里，如图20所示的上述步骤S10411'和S10412'与图11所示的上述步骤S1041 和S1042类似，因此为了简洁起见，将省略运些细节。 阳182] 此外，子区域定位步骤S1042'可W包括脸部特征子区域获得步骤S10421'（如图 20所示），所述脸部特征子区域获得步骤S10421'基于针对所述平均归一化正脸的每个特 征区域的特征子区域模板，将正脸的特征子区域映射为所述归一化脸部的特征子区域。
[0183] 此外，根据本公开的另一实施例的脸部特征提取方法可W进一步包括组合步骤 S1055 (如图14所示），所述组合步骤S1055将在提取步骤提取的所述特征子区域中的特征 进行组合，使得组合后的特征能够用于确定脸部的属性。
[0184] 作为替代方案，上述组合步骤可W包含在提取步骤S105中，而不是作为在提取步 骤之后的单独的步骤。为了简洁起见，运里省略详细的描述和相关的图，但是本领域普通技 术人员能够从上面描述的内容明白运些。 阳化日]接着，将在下面参照图15来描述脸部特征子区域获得步骤S10421'的具体例子。 阳186] 在平均归一化正脸中，有对于每个显著区域的子区域的模板（由于关于子区域的 模板的知识对于本领域普通技术人员是已知的，因此为了简洁起见本文将省略细节），其包 含更多的区分特征。对于左眼区域的子区域的模板（较小的矩形）在图15的（a)和化） 中示出。对于其他显著区域，子区域的模板类似。 阳187] 图15的（a)中的正脸上的一个子区域R变换成图15的化）中所示的归一化脸部 上的子区域R'。因为如上面所述已在定位步骤S104 (如图5所示）获得变换矩阵T，所W 通过变换矩阵T将R的每个顶点映射到对应的顶点。连接所获得的四个顶点，得到对应的 子区域R'。所有其他特征子区域类似地如上述那样被处理，由此获得归一化脸部的所有特 征子区域。
[0188] 然后，在提取步骤S105提取归一化脸部上的特征子区域中的特征，运在前面已经 被描述，因此将在此被省略。
[0189] 此外，如上所述，归一化脸部中的特征子区域的所有特征可W在步骤S1055被连 结（组合），由此获得用于表情识别的最终特征。
[0190] 运里，应当注意，尽管在上面的描述中，在估计步骤S103、区域定位步骤S104、子 区域定位步骤S1042'执行了同样的变换处理，但是，也可W在运些步骤执行不同的变换处 理，甚至可W在运些步骤中的每一步骤处执行的是不同的变换处理。也就是说，上述变换处 理仅是一个例子，本发明不限于该例子，而是任何种类的变换都可W用于本公开的实施例 中，只要它们能够实现对应的功能（比如定位或归一化等）即可。 阳191] 此外，根据本公开的另一实施例，可W将所获得的特征例如输入到分类器W便确 定脸部图像中的脸部属性，W便预测表情的类别。
[0192] 具体地，如图16所示，根据本公开的实施例的图像处理方法可W包括W下步骤： 脸部图像供给步骤S100,用于提供要被处理的脸部图像；特征提取步骤S200,用于通过使 用上面描述的脸部特征提取方法，从所提供的脸部图像中提取特征；W及脸部属性识别步 骤S300,用于基于通过上面描述的脸部特征提取方法所提取的特征，识别所述脸部图像中 的脸部的属性。
[019引运里，可W利用线性SVM作为分类器。将获得的特征输入到分类器，其预测最终的 脸部属性，例如，表情类别。
[0194]其中，在表情确定的情况下，如果学习的模型是在一个对所有的模式 (one-against-all mode)下训练的，则分类器直接预测表情类别，而如果学习的模型是在 一对一的模式（one-against-one mode)下训练的，则分类器在任何两个表情之间预测类 另IJ，工作片2轮，其中，η是总的表情类别。然后，C。2个结果的投票确定最终表情类别。
[0195] 另外，在脸部图像供给步骤S100,可W通过使用至少W下方式之一来提供脸部图 像： 阳196] 1)从外部获取所述脸部图像；
[0197] 2)从其中存储有脸部图像的存储器获取所述脸部图像；W及
[0198] 3)从拍摄装置实时获取所述脸部图像。
[0199] 如上所述，本公开的实施例提供了用于提取脸部特征的方法和用于处理图像的方 法。通过在提取脸部特征之前考虑脸部姿态并且还利用脸部姿态信息来定位显著区域W便 于从显著区域提取脸部特征，能够提高所提取特征的准确度。
[0200] 此外，与仅定位显著区域的方式相比，通过在定位特征区域（显著区域）之后定位 特征子区域，可W大大地提高计算效率并且还可W进一步提高提取特征的准确度。 阳201] 另外，应当注意，由于如上所述，归一化脸部中的特征被提取并且然后被提供给分 类器W确定脸部属性，可W通过使用归一化样本来训练分类器，W使得归一化脸部中的特 征和分类器中的特征匹配良好。但是，其他的处理方式也可W适用于本发明。
[0202][根据本公开的实施例的装置和设备] 阳203] 接着，将在下面参照图6和17描述根据本公开的实施例的脸部特征提取装置和图 像处理设备。 阳204] 图6示例性地示出了根据本公开的实施例的脸部特征提取装置的框图。 阳205] 如图6所示，根据本公开的实施例的脸部特征提取装置200 (其从脸部图像提取特 征）可W包括：检测单元101，检测脸部图像中的多个特征点；归一化单元102,基于检测单 元101检测的所述多个特征点，对所述脸部图像中的脸部归一化，由此得到归一化脸部和 所述归一化脸部上的与所述脸部图像中的多个特征点对应的多个归一化特征点；估计单元 103,估计所述脸部图像中的脸部姿态；定位单元104,基于归一化脸部上的归一化特征点 和估计单元所估计的所述脸部图像中的脸部姿态，定位所述归一化脸部中的特征区域；W 及提取单元105,从所述归一化脸部中的特征区域来提取特征。 阳206] 优选地，所述估计单元103从归一化脸部上的所述归一化特征点得到用于反映脸 部姿态的参数，并且基于所述用于反映脸部姿态的参数和所述归一化特征点来估计所述脸 部图像中的脸部姿态。 阳207] 其中，所述用于反映脸部姿态的参数的数值能够随脸部姿态的不同而变化。 阳20引此外，根据本公开的另一实施例的脸部特征提取装置可W进一步包括从脸部图像 中获取粗略脸部区域的粗略区域获取单元111，如图17所示。运里，可W通过利用现有技术 中任何已知或现有的脸部检测方法或装置来获得上述粗略脸部区域。举例来说，所述粗略 脸部区域可W指初步得到的近似的（不那么准确的）脸部轮廓围起的区域。 阳209] 其中，所述检测单元可W从所述粗略区域获取单元111获取的粗略脸部区域来检 测所述特征点。
[0210] 另外，根据本公开的另一实施例，如图18所示，所述定位单元104可W包括：归一 化特征区域获得部件1041，从归一化正脸样本得到平均归一化正脸和平均归一化正脸上的 特征区域，基于归一化脸部上的归一化特征点和平均归一化正脸上的特征区域，得到正脸 的特征区域；和脸部特征区域获得部件1042,基于估计单元103所估计的脸部姿态，将所述 正脸的特征区域映射为所述归一化脸部的特征区域。 阳211] 作为替代方案，根据本公开的另一实施例，由于在特征区域中，可W包含特征子区 域，因此所述定位单元104可W包括针对特征区域的区域定位单元1041'和/或针对特征 子区域的子区域定位单元1042'，如图19所示。
[0212] 由此，基于归一化脸部上的归一化特征点和估计单元所估计的所述脸部图像中的 脸部姿态，所述区域定位单元104Γ定位所述归一化脸部中的特征区域，并且所述子区域定 位单元1042'定位所述归一化脸部中的每个特征区域中的特征子区域。由此，所述提取单 元105可W从所述归一化脸部中的所述特征子区域中提取特征。 阳213] 此外，如图19所示，所述区域定位单元1041'可W包括：归一化特征区域获得部 件1041Γ，从归一化正脸样本得到平均归一化正脸和平均归一化正脸上的特征区域，基于 归一化脸部上的归一化特征点和平均归一化正脸上的特征区域，得到正脸的特征区域；和 脸部特征区域获得部件10412'，基于估计单元103所估计的脸部姿态，将所述正脸的特征 区域映射为所述归一化脸部的特征区域。
[0214] 此外，如图19所示，所述子区域定位单元1042'可W包括：脸部特征子区域获得部 件1042Γ，基于针对所述平均归一化正脸的每个特征区域的特征子区域模板，将正脸的特 征子区域映射为所述归一化脸部的特征子区域。
[0215] 此外，如图17所示，根据本公开的另一实施例的脸部特征提取装置可W进一步包 括组合单元1055,将所述提取单元105提取的所述特征子区域中的特征进行组合，使得组 合后的特征能够用于确定脸部的属性。
[0216] 作为替代方案，上述组合单元可W包含在提取单元105中，而不是作为一个单独 的单元。为了简洁起见，运里省略详细的描述和相关的图，但是本领域普通技术人员能够从 上面描述的内容明白运些。
[0217] 此外，根据本公开的另一实施例的脸部特征提取装置可W进一步包括用于进行几 何变换的变换部件106,如图17所示。由此，估计单元103通过利用由变换部件106执行 的几何变换来估计脸部姿态，并且所述脸部特征区域获得部件10412'通过利用由变换部件 106执行的几何变换来得到所述归一化脸部的特征区域，并且，所述脸部特征子区域获得部 件10421'也通过利用由变换部件106执行的几何变换来得到所述归一化脸部的特征子区 域。
[0218] 运里，上述的相应单元执行与如上所述的对应方法的相应步骤相似的操作。因此， 为了简洁起见，在此将省略运些单元的详细操作的描述，本领域普通技术人员会从对应步 骤的操作容易知道运些。 阳219] 另外，图21示例性地示出了根据本公开的实施例的图像处理设备，其可W包括： 提供要被处理的脸部图像的脸部图像供给装置100 ;如上所述的脸部特征提取装置200,从 所述脸部图像供给装置100提供的脸部图像中提取特征；W及脸部属性识别装置300,基于 脸部特征提取装置200所提取的特征，识别所述脸部图像中的脸部的属性。
[0220] 此外，所述脸部图像供给装置100可W通过W下方式中的至少一种提供所述脸部 图像给所述脸部特征提取装置200 : 阳221] 1)从外部获取所述脸部图像； 阳222] 2)从所述图像处理设备中包含的、其中存储有脸部图像的存储器获取所述脸部图 像；化及 阳223] 3)从拍摄装置实时获取所述脸部图像。
[0224] 此外，脸部属性可W至少包括康情、身份、年龄、种族、性别、有无眼镜、W及有无 胡须。 阳225] 通过根据本公开的各种实施例的脸部特征提取装置或图像处理设备，可W获得与 如上所述的方法类似的效果。 阳226][应用例子] 阳227] 本公开的实施例可W用在很多应用中，例如，用于识别脸部的属性。例子之一是脸 部表情分析，将简单地对其进行描述W容易理解本文所提出的创新的技术方案。
[0228] 在该示例性的脸部表情系统中，监视照相机观察观众在整个电影放映期间的表情 和动作。实时多视角脸部检测技术检测和跟踪每个观众的脸部。根据本公开的实施例的多 视角面部表情识别技术识别每个观众在每个时刻的表情。然后，总结观众组在该时刻的情 绪。然后，观众在电影放映期间的情绪变化可W被得到。
[0229] 该示例性的脸部表情系统可W用于分析观众对于整个电影的感受和反应，W及其 在特定时刻的情绪。此外，可W在颤峰表情或特定情绪时刻保存快照。
[0230] [试验结果] 阳231] 为了对比效果，针对侧脸数据集评估了本发明。侧脸数据是从网站收集的：40%的 侧脸数据有较大的偏转角（30~60度），在运40%的侧脸数据中，有80%左右的脸部有明 显的俯仰角。
[0232] 下表1描述了侧脸数据的评估集的分布，下表2关于web数据集示出了本发明相 对于常用方法的性能。试验是针对真实的脸部特征点进行的。 阳233] 表1侧脸数据集的评估集的分布 阳234]
。扣引根据表2胃，本发明可W更好抽1处理具有不同的偏转角或俯仰角的脸部图像，由此可 W提高训练的表情分类模型的性能。
[0236] 在web数据中，40%的脸部有较大的偏转角（〉30度），80%左右的脸部图像有较大 的俯仰角。识别率在整个数据集上增加了 3. 3%。因此，可W推断，本发明对于处理具有较 大偏转角的脸部图像或者具有较大俯仰角的脸部图像是有效的。
[0237] 表2针对web样本的本发明方法和常用方法的性能比较 阳23引
[0239] 尽管已经参照附图描述了本公开，但是实施例不限于上面描述的那些。本领域普 通技术人员将明白，其他实施例也可W适用于本公开。另外，实施例中所示的组件仅是例 子，它们并不限于运样的形式，而是可W是单个的组件或者可W彼此组合。 阳240] 另外，请注意，可W用许多方式实施本公开的方法和设备。例如，可W通过软件、硬 件、固件、或其任何组合来实施本公开的方法和设备。上述的方法步骤的次序仅是示例性 的，本公开的方法步骤不限于W上具体描述的次序，除非W其他方式明确说明。此外，在一 些实施例中，本公开还可W被实施为记录在记录介质中的程序，其包括用于实现根据本公 开的方法的机器可读指令。因而，本公开还覆盖存储用于实现根据本公开的方法的程序的 记录介质。 阳241] 在上面的描述中，虽然已通过示例详细展示了本公开的一些具体实施例，但是本 领域普通技术人员应当理解，上述例子仅意图是示例性的而非限制本公开的范围。本领域 普通技术人员应当理解，上述实施例可W被修改而不脱离本公开的范围和实质。本公开的 范围是通过所附的权利要求来限定的。
【主权项】
1. 一种脸部特征提取装置，用于从脸部图像中提取特征，所述脸部特征提取装置包 括： 检测单元，检测脸部图像中的多个特征点； 归一化单元，基于检测单元检测的所述多个特征点，对所述脸部图像中的脸部归一化， 由此得到归一化脸部和所述归一化脸部上的与所述脸部图像中的多个特征点对应的多个 归一化特征点； 估计单元，估计所述脸部图像中的脸部姿态； 定位单元，基于归一化脸部上的归一化特征点和估计单元所估计的所述脸部图像中的 脸部姿态，定位所述归一化脸部中的特征区域；以及 提取单元，从所述归一化脸部中的特征区域来提取特征。2. 根据权利要求1所述的脸部特征提取装置，其中，所述估计单元从归一化脸部上的 所述归一化特征点得到用于反映脸部姿态的参数，并且基于所述用于反映脸部姿态的参数 和所述归一化特征点来估计所述脸部图像中的脸部姿态。3. 根据权利要求2所述的脸部特征提取装置，其中，所述用于反映脸部姿态的参数的 数值能够随脸部姿态的不同而变化。4. 根据权利要求1所述的脸部特征提取装置，其中，所述归一化单元的归一化操作在 不改变脸部的偏转角和俯仰角的情况下归一化脸部的大小。5. 根据权利要求1所述的脸部特征提取装置，还包括： 粗略区域获取单元，从脸部图像中获取粗略脸部区域， 其中，所述检测单元从所述粗略区域获取单元获取的粗略脸部区域来检测所述特征 点。6. 根据权利要求1所述的脸部特征提取装置，其中，所述归一化单元通过利用由检测 单元检测的特征点的位置与人工标定的样本中所述特征点的位置之间的仿射变换来对所 述脸部图像进行归一化。7. 根据权利要求1所述的脸部特征提取装置，其中，所述特征包括脸部部位的位置有 关的信息、脸部上的纹理有关的信息、脸部上的像素灰度值、脸部上的肌肉有关的信息、以 及它们的任意组合。8. 根据权利要求2所述的脸部特征提取装置，其中，用于反映脸部姿态的参数包括：在 所述归一化脸部上，脸部部位有关的度量信息以及在所述脸部部位上的作为参考点的特征 点的位置有关信息。9. 根据权利要求1所述的脸部特征提取装置，其中，所述定位单元包括： 归一化特征区域获得部件，从归一化正脸样本得到平均归一化正脸和平均归一化正脸 上的特征区域，基于归一化脸部上的归一化特征点和平均归一化正脸上的特征区域，得到 正脸的特征区域；和 脸部特征区域获得部件，基于估计单元所估计的脸部姿态，将所述正脸的特征区域映 射为所述归一化脸部的特征区域。10. 根据权利要求1所述的脸部特征提取装置，其中，所述特征区域中包括特征子区 域，所述定位单元包括针对特征区域的区域定位单元和/或针对特征子区域的子区域定位 单元。11. 根据权利要求10所述的脸部特征提取装置，其中，基于归一化脸部上的归一化特 征点和估计单元所估计的所述脸部图像中的脸部姿态，所述区域定位单元定位所述归一化 脸部中的特征区域；并且 所述子区域定位单元定位所述归一化脸部中的每个特征区域中的特征子区域，其中， 所述提取单元从所述归一化脸部中的所述特征子区域中提取特征。12. 根据权利要求10所述的脸部特征提取装置，其中， 所述区域定位单元包括： 归一化特征区域获得部件，从归一化正脸样本得到平均归一化正脸和平均归一化正脸 上的特征区域，基于归一化脸部上的归一化特征点和平均归一化正脸上的特征区域，得到 正脸的特征区域；和 脸部特征区域获得部件，基于估计单元所估计的脸部姿态，将所述正脸的特征区域映 射为所述归一化脸部的特征区域，以及其中， 所述子区域定位单元包括： 脸部特征子区域获得部件，基于针对所述平均归一化正脸的每个特征区域的特征子区 域模板，将正脸的特征子区域映射为所述归一化脸部的特征子区域。13. 根据权利要求11所述的脸部特征提取装置，还包括： 组合单元，将所述提取单元提取的所述特征子区域中的特征进行组合，使得组合后的 特征能够用于确定脸部的属性。14. 根据权利要求8所述的脸部特征提取装置，其中，用于反映脸部姿态的参数包括所 述归一化脸部上鼻尖与鼻基点之间的距离和鼻尖的位置。15. 根据权利要求1、9、12中的任意一项的脸部特征提取装置，还包括： 变换部件，用于进行几何变换，其中， 估计单元通过利用由变换部件执行的几何变换来估计脸部姿态， 所述脸部特征区域获得部件通过利用由变换部件执行的几何变换来得到所述归一化 脸部的特征区域，以及 所述脸部特征子区域获得部件通过利用由变换部件执行的几何变换来得到所述归一 化脸部的特征子区域。16. -种图像处理设备，包括： 脸部图像供给装置，提供要被处理的脸部图像； 权利要求1-15中的任意一项所述的脸部特征提取装置，所述脸部特征提取装置从所 述脸部图像供给装置提供的脸部图像中提取特征；以及 脸部属性识别装置，基于脸部特征提取装置所提取的特征，识别所述脸部图像中的脸 部的属性。17. 根据权利要求16的图像处理设备，其中，所述脸部图像供给装置通过利用以下方 式中的至少一种来提供所述脸部图像给所述脸部特征提取装置： 1) 从外部获取所述脸部图像； 2) 从所述图像处理设备中包含的、其中存储有脸部图像的存储器获取所述脸部图像； 以及 3) 从拍摄装置实时获取所述脸部图像。18. 根据权利要求16的图像处理设备，其中，脸部的属性至少包括：表情、身份、年龄、 种族、性别、有无眼镜、有无胡须。19. 一种脸部特征提取方法，用于从脸部图像中提取特征，所述脸部特征提取方法包 括： 检测步骤，检测脸部图像中的多个特征点； 归一化步骤，基于在检测步骤检测的所述多个特征点，对所述脸部图像中的脸部归一 化，由此得到归一化脸部和所述归一化脸部上的与所述脸部图像中的多个特征点对应的多 个归一化特征点； 估计步骤，估计所述脸部图像中的脸部姿态； 定位步骤，基于归一化脸部上的归一化特征点和在估计步骤所估计的所述脸部图像中 的脸部姿态，定位所述归一化脸部中的特征区域；以及 提取步骤，从所述归一化脸部中的特征区域来提取特征。
【文档编号】G06K9/00GK105989331SQ201510070684
【公开日】2016年10月5日
【申请日】2015年2月11日
【发明人】王喜顺, 李献, 胡琦
【申请人】佳能株式会社