对象识别方法和设备的制作方法

对象识别方法和设备的制作方法
【专利摘要】本发明公开了对象识别方法和设备。该设备包含提取单元，被配置用于对于预先定义的对象属性的集合中的每一对象属性对，基于该对象属性对的相异性提取对象区域的对应于该对象属性对的特征；以及识别单元，被配置用于基于所提取的对象区域的特征识别对象区域的对象属性。
【专利说明】对象识别方法和设备

【技术领域】
[0001] 本发明涉及用于图像中的对象识别的方法和设备。更具体而言，本发明涉及用于 识别图像中的对象区域的对象属性的方法和设备。

【背景技术】
[0002] 近年来，图像中的对象检测/识别普及地应用于图像处理、计算机视觉和模式识 别的领域，并且在其中起到重要的作用，对象可以是人脸、手、身体等中的任一种。
[0003] -种常见的对象检测/识别是检测和识别图像中的脸部。在脸部识别中，通常实 现包含至少一个脸部图像的图像中的每一脸部的属性(诸如，表情）的识别，并且存在多种 用于实现这样的脸部识别的技术。
[0004] 下文将以图像中包含的脸部的脸部表情识别为例来解释现有技术中的用于图像 中的脸部属性识别的当前技术。用于脸部表情识别的方法的基本原理遵循图1所示的框 架。
[0005] 更具体而言，对于输入的脸部图像，脸部表情识别方法首先获得图像中包含的脸 部区域(脸部检测)，然后根据在脸部区域中提取的脸部特征点将可能处于不同姿态的对应 于该脸部区域的脸部对齐(脸部配准)。然后，该方法提取经对齐的脸部图像的特征(特征提 取)，并且最终根据所提取的特征确定脸部的对应于该脸部区域的表情。
[0006] 对于特征提取，一些方法关注于脸部图像中的显著区域（salient region),这里 如图2所示，显著区域指的是脸部图像中的通常被视为代表脸部的特性部分的区域(诸如 眼睛区域、鼻子区域、嘴部区域等)。
[0007] 在这样的情况中，分别提取四个显著区域的特征（S卩，左眼区域特if _，右眼区 域特征fgg，鼻子区域特征和嘴部区域特征f ?)，并且通过将这四个显著区域特征连 结到一起来表示脸部的特征（f,&)，从而，
[0008]f总=f左眼+f右眼+f鼻子+f嘴
[0009] 特征被用于预测对应于脸部图像的脸部的表情。
[0010] 通常，这样的基于脸部区域中的显著区域的方法提取显著区域的特征而不是脸部 图像的整个区域的特征，然后根据所提取的特征来预测脸部的表情，如示出现有技术中的 基于脸部图像中的显著区域的脸部表情识别的流程图的图3的左部所示。图3的右部示意 性地示出这样的基于显著区域的脸部表情识别方法的示例，其中，在检测到脸部图像中的 若干脸部特征点之后，四个显著区域（即，左眼区域、右眼区域、鼻子区域和嘴部区域）被相 应地定位。
[0011] Industrial Technology Research Institute(TW)名下的美国专利申请 US2012/0169895A1公开了一种用于基于脸部图像中的显著区域捕获脸部表情的方法。该方 法分别从四个显著区域捕获图像中的人脸的显著区域特征以生成目标特征向量，然后将该 目标特征向量与多个先前存储的特征向量进行比较以生成参数值。当参数值高于阈值时， 该方法选择图像之一作为目标图像。基于该目标图像，可进一步执行脸部表情识别和分类 过程。例如，识别目标图像以获得脸部表情状态，并且根据脸部表情状态对图像进行分类。
[0012] 作为显著区域的替代，其它类型的脸部图像的代表性区域可被用于进行脸部属性 识别。
[0013] Mitsubishi electric research laboratories, INC 名下的美国专利申请 US2010/0111375A1公开了一种基于脸部图像中包含的子块（patch)的集合来识别图像中 的脸部属性的方法。更具体而言，该方法将脸部图像分割成一组子块，并且将每个子块与原 型子块逐一比较以确定匹配的原型子块，并且根据与匹配的原型子块相关联的属性集合来 确定脸部的一组属性。这里，在该方法中提取的该子块集合可等同于显著区域中的各部分。
[0014] Renesas Electronics Corporation 名下的美国专利申请 US 2012/0076418A1 公 开了一种脸部属性估计方法和设备。该方法从脸部区域中提取特定区域，并且设定该特定 区域中的小区域。然后，该方法利用相似性计算方法来逐一计算该小区域与所存储的脸部 组成部分中的每一个之间的相似性，以确定脸部属性。这里，除了特定区域的数量之外，在 该方法中使用的特定区域可等同于显著区域。
[0015] 现有技术中的上述方法通常从显著区域或者其等同区域(诸如，脸部图像中的多 个子块或者一个小的特定区域）提取特征，并且将所提取的特征与对应于多个已知的脸部 属性的一组预先定义的特征中的每一个进行比较（即，一对一比较)，以便进行脸部属性识 别。
[0016] 此外，要被识别的脸部图像中的被定位的显著区域或等同区域在识别期间没有改 变，因此在识别期间对于所有的比较，仅存在一个且恒定的得自脸部图像的特征向量。艮P， 仅有一个来自脸部图像的特征向量被用于与对应于多个已知脸部属性的多个先前存储的 特征向量中的每一个进行比较。
[0017] 但是，在识别期间对于所有的一对一比较使用要被识别的脸部区域的一个恒定特 征可能不够高效以至于不能准确地识别脸部区域。
[0018] 应指出，一些显著区域可能对于一些类型的表情不具有区别性 (discriminative)。例如，对于悲伤表情和中性表情，鼻子区域就不存在很大的区别，因此， 鼻子区域对于悲伤表情和中性表情的识别不具有区别性。另一个问题是显著区域中的一些 部分不具有区别性。例如，对于悲伤表情和中性表情，眼睛区域的眉毛部分不具有区别性。 也就是说，如果所定位的显著区域以及由此从该区域提取的特征对于与预先定义的脸部属 性的集合的比较是恒定的，则一些区域以及区域的一些部分可能对于在一些表情对中的一 些类型的表情的识别是冗余的。
[0019] 如上所述，仍需要一种能够基于来自图像中的脸部区域中的更具区别性的特征准 确识别脸部区域的属性的方法。


【发明内容】

[0020] 本发明是针对于图像中的对象的识别被开发的，并且旨在解决如上所述的问题。
[0021] 根据本发明的一个方面，提供了一种用于识别图像中的对象区域的方法，该方法 包含提取步骤，用于对于预先定义的对象属性的集合中的每一对象属性对，基于该对象属 性对的相异性提取对象区域的对应于该对象属性对的特征；以及识别步骤，用于基于所提 取的对象区域的特征识别对象区域的对象属性。
[0022] 根据本发明的另一方面，提供了一种用于识别图像中的对象区域的设备，包含：提 取单元，被配置用于对于预先定义的对象属性的集合中的每一对象属性对，基于该对象属 性对的相异性提取对象区域的对应于该对象属性对的特征；以及识别单元，被配置用于基 于所提取的对象区域的特征识别对象区域的对象属性。
[0023] 根据本发明的方法和设备对于预先定义的对象属性的集合中的每一对象属性对， 基于该对象属性对的相异性提取对象区域的对应于该对象属性对的特征，并且将该特征用 于对象识别。因此，识别效率和准确率可提高。
[0024] 参照附图阅读示例性实施例的以下说明，本发明的其它特征将变得十分明显。

【专利附图】

【附图说明】
[0025] 并入说明书中并且构成说明书的一部分的附图示出了本发明的实施例，并且与描 述一起用于解释本发明的原理。在附图中，相似的附图标记指示相似的项目。
[0026] 图1示出现有技术中的脸部表情识别的典型过程。
[0027] 图2示出脸部中的典型显著区域。
[0028] 图3是示出现有技术中的脸部表情识别方法的流程图。
[0029] 图4是示出可实现本发明的实施例的计算机系统的示例性硬件配置的框图。
[0030] 图5是示出根据本发明的对象属性识别方法的流程图。
[0031] 图6是示出根据本发明的对象属性识别设备的框图。
[0032] 图7是解释脸部图像中的脸部区域的示图。
[0033] 图8示意性地示出脸部区域中的特征点。
[0034] 图9是示出提取步骤中的过程的流程图。
[0035]
[0036] 图10示意性地示出脸部区域中的器官区域的定位。
[0037] 图11示意性地示出脸部表情对的示例。
[0038] 图12是示意性地示出脸部表情对的模板的确定的流程图。
[0039] 图13示出若干示例性平均图像。
[0040] 图14不出对于脸部表情对中的每一表情的被相应分割的图像。
[0041] 图15示出从对于脸部表情对中的每一表情的分割图像获得的脸部表情对的模 板。
[0042] 图16示出依赖于脸部表情对的模板的针对脸部表情对的脸部区域中的相异像素 块的定位。
[0043] 图17是示出特征提取步骤中的过程的流程图。
[0044] 图18是示出识别步骤的一种实现中的过程的流程图。
[0045] 图19是示出识别步骤的另一种实现中的过程的流程图。

【具体实施方式】
[0046] 下文将参照附图详细描述本发明的实施例。
[0047] 应注意，在附图中相似的附图标记和字母指示相似的项目，并且因此一旦一个项 目在一个附图中被定义，则对于随后的附图无需再对其进行论述。
[0048] 首先将解释本公开的上下文中所使用的某些术语的含义。
[0049] 在本公开的上下文中，图像将指的是多种类型的图像，诸如彩色图像、灰度图像 等。由于本发明的处理主要针对灰度图像执行，因此除非另外声明，否则本公开中的图像将 指的是包含多个像素的灰度图像。
[0050] 应指出，本发明的解决方案也可应用于其它类型的图像(诸如彩色图像)，只要这 样的图像可被转换成灰度图像并且本发明的处理可针对经转换的灰度图像执行即可。
[0051] 图像通常可包含至少一个对象图像，并且对象图像通常包含对象区域，因此在本 公开的上下文中，对象图像和对象区域彼此等同并且可替代地使用。常见的图像中的对象 是图像中的脸部。
[0052] 图像中的对象区域的特征通常是代表这样的对象区域的特性的特征，并且通常可 以是颜色特征、纹理特征、形状特征等。常用的特征是颜色特征，其是代表图像的全局性特 征并且通常可通过基于各颜色区段（color bin)的颜色直方图被获得。图像的特征通常被 以向量的形式获得，向量的每一成分对应于一颜色区段。
[0053] 对象属性指的是可对应于不同条件的对象的表观状态，并且对象属性可属于不同 的类别。以脸部为例，脸部属性的类别可以是选自包含脸部表情、当脸部为人脸时对应于该 脸部的人的性别以及人的年龄的组中的一种，脸部属性类别不因此受限，并且还可以是其 它类别。当脸部属性对应于脸部表情时，脸部属性可以是一种表情(例如，悲伤、微笑、大笑 等)。
[0054] 当然，对象属性并不因此受限，例如，对象可以是人身体，并且对象属性可对应于 当人在奔跑、站立、下跪或者平躺等时的不同身体状态。
[0055] 对象属性对是由包含于预先定义的对象属性的集合中的任何预先定义的数量的 对象属性构成的对，在该集合中所有对象属性可在某一类别集合中进行区分，并且该集合 可被预先制备，该预先定义的对象属性的集合可形成至少一个对象属性对，各对象属性对 具有相同数量的对象属性。
[0056] 对象属性对中包含的对象属性可被从该预先定义的对象属性的集合中任意选择， 并且在这样的情况中，该预先定义的对象属性的集合可包含个对象属性对，其中n是该 集合中的对象属性的数量，并且t是对象属性对中包含的对象属性的数量。
[0057] 优选地，对象属性对中包含的对象属性的数量可以是2。
[0058] 优选地，对象属性对中的对象属性可以是如下这样的对象属性，即该对象属性之 间的差别大并且甚至是相反的。例如，以脸部为例，对象属性对可特别地由大笑表情和哭表 情构成，从而对于这样的对象属性对所提取的部分更加具有区别性。
[0059] 在本公开中，术语"第一"、"第二"等仅仅用于区分元素或者步骤，而不是要指示时 间顺序、优先选择或者重要性。
[0060] 图4是示出可实施本发明的实施例的计算机系统1000的硬件配置的框图。
[0061] 如图4所示，计算机系统包括计算机1110。计算机1110包括处理单元1120、系统 存储器1130、不可移除非易失性存储器接口 1140、可移除非易失性存储器接口 1150、用户 输入接口 1160、网络接口 1170、视频接口 1190、和输出外围接口 1195,它们通过系统总线 1121连接。
[0062] 系统存储器1130包括ROM (只读存储器）1131和RAM (随机存取存储器）1132。 BIOS (基本输入输出系统）1133驻留在R0M1131中。操作系统1134、应用程序1135、其它 程序模块1136和一些程序数据1137驻留在RAM1132中。
[0063] 不可移除非易失性存储器1141 (诸如硬盘）连接到不可移除非易失性存储器接口 1140。不可移除非易失性存储器1141例如可存储操作系统1144、应用程序1145、其它程序 模块1146以及一些程序数据1147。
[0064] 可移除非易失性存储器(例如软盘驱动器1151和⑶-ROM驱动器1155)连接到可移 除非易失性存储器接口 1150。例如，软盘1152可插入软盘驱动器1151，并且⑶（紧致盘） 1156可插入⑶-ROM驱动器1155。
[0065] 诸如鼠标1161和键盘1162的输入设备连接到用户输入接口 1160。
[0066] 计算机1110可通过网络接口 1170连接到远程计算机1180。例如，网络接口 1170 可经局域网1171连接到远程计算机1180。可替换地，网络接口 1170可连接到调制解调器 (调制器一解调器）1172,并且调制解调器1172经广域网1173连接到远程计算机1180。
[0067] 远程计算机1180可包括诸如硬盘的存储器1181，其存储远程应用程序1185。
[0068] 视频接口 1190连接到监视器1191。
[0069] 输出外围接口 1195连接到打印机1196和扬声器1197。
[0070] 图4所示的计算机系统仅是说明性的，并且决不打算限制本发明、其应用或者使 用。
[0071]图4所示的计算机系统可对于任一实施例被实现为孤立计算机，或者设备中的处 理系统，其中可去除一个或多个不必要的组件或者可添加一个或多个附加的组件。
[0072] 下文将参照图5描述根据本发明的基本实施例的对象识别方法，图5示出根据本 发明的基本实施例的方法中的过程。
[0073] 在步骤S100 (下文被称为提取步骤）中，对于预先定义的对象属性的集合中的每 一对象属性对，基于该对象属性对的相异性（dissimilarity)提取对象区域的对应于该对 象属性对的特征。
[0074] 如上所述，该预先定义的对象属性的集合的所有对象属性属于同一类别，并且对 象属性对可由该预先定义的对象属性的集合中包含的任何预定数量的(诸如，两个）对象属 性构成。
[0075] 作为替代，对象属性对可以是在它们之间满足预定关系的预定数量的(诸如，两 个）对象属性。
[0076] 在一种实现中，对象区域可以是已经被对齐（al ign )的对象区域，并且对象区域的 对齐可被以多种方式(诸如基于在对象区域中检测到的特征点）实现。应指出，对象区域是 否对齐对于提取操作的实现而言不是必需的。
[0077] 在步骤S200 (下文被称为识别步骤）中，基于所提取的对象区域的特征识别对象 区域的对象属性。
[0078] 在一种实现中，提取步骤中的过程可包含用于定位该对象区域中的对应于该对象 属性对的模板的至少一个块的过程(定位步骤)，该模板表征该对象属性对之间的相异性； 以及用于基于所定位的至少一个块提取该对象区域的对应于该对象属性对的特征的过程 (特征提取步骤)。
[0079] 这里，模板可被视为对象属性对的表征对象属性之间的相异性的相异性模板，并 且通常由对象属性对中包含的对象属性的图像之间的至少一个相异像素块形成。实际上， 每一相异像素块可对应于对象属性对中包含的预定数量的对象属性的图像之间的对应像 素块，该对应像素块位于各图像的对应位置并且具有对应的大小，其中各个图像中的相异 像素块的位置和大小可依赖于预定的规则(诸如，在各个图像具有不同的大小时依赖于各 个对象属性的图像的大小之间的比率）彼此映射。
[0080] 优选地，对象区域的图像以及对象属性对中包含的对象属性可被预处理(诸如，被 对齐)，以便具有相同大小，并且在此情况下，模板中的相异像素块中的每一个可对应于对 象属性对中包含的预定数量的对象属性的图像之间的对应像素块，该对应像素块位于各个 图像中的相同位置并且具有相同大小。
[0081] 因此，从该对象区域中针对该对象属性对定位的至少一个块可以是根据相异像素 块的这样的位置和大小而被定位的像素块，只要像素块可根据预定的规则相互映射即可， 并且优选地该像素块具有相同的位置和大小。
[0082] 每一像素块的大小可被任意设定，而不会影响本发明的解决方案的实现。
[0083] 在一种实现中，对象属性对的模板可通过如下方式实现：将分别对应于该对象属 性对中包含的两个对象属性的两个平均对象区域图像划分成彼此对应的多个块；提取与每 一对象属性对应的每一被划分的平均对象区域图像的多个块中的每一个的特征；确定这两 个被划分的平均对象区域图像中的对应块的特征之间的相似性；并且选择这两个被划分的 平均对象区域图像中的这样的块以形成模板，该块之间的相似性低于预先定义的阈值。 [0084] 这里，对应划分指的是对象属性对中的对象属性的各个图像可被按对应的模式 划分，从而一个对象属性图像中的经划分的块中的每一个可根据预定规则被映射到另一对 象属性图像中的经划分的块中的每一个。优选地，对象属性对中的对象属性的各个图像具 有相同大小，因而用于各图像的划分模式相同并且具有相同的标度，从而一个对象属性图 像中的经划分的块与另一对象属性图像中的对应的经划分的块具有相同的位置和大小。划 分模式可以是任何模式，诸如网格等。
[0085] 对象属性对的模板可被预先制备和存储，或者可在提取操作期间被制备。获得对 象属性对的模板的操作可被包含在提取步骤中，或者可不被包含在提取步骤中。
[0086] 对应于对象属性的平均对象区域图像可被以多种方式预先制备，并且在一般性实 现中，可通过将对应于同一对象属性的具有相同大小的多个相似对象区域图像进行平均来 被制备。
[0087] 优选地，定位过程可基于对象区域中包含的辅助区域（auxiliary region)来执 行，以便进一步提高操作效率。辅助区域可被以多种方式(诸如，依赖于对象区域中的被标 识的特征点的位置)定位。在这样的情况中，定位过程可定位辅助区域中的对应于表征对象 属性对的相异性的模板的至少一个块，并且表征对象属性对的相异性的模板也可基于对象 属性对中的对象属性的图像中的这样的辅助区域被确定，而不是基于对象属性对中的对象 属性的图像的整体被确定。
[0088] 在一种实现中，特征提取过程可包含从在对象区域中定位的至少一个块中的每一 个中提取特征，并且将所提取的各个块的特征连结作为对象区域的特征。因此，最终提取的 特征通常表现为向量的形式，向量中的每一个分量对应于每一块。
[0089] 在识别步骤的过程中，对象属性的识别可被以多种方式实现。
[0090] 在一种实现中，识别可被以所谓的"一对一（one against one)"方式实现，在此方 式中，对于预先定义的对象属性的集合，对象属性可在轮中进行投票，其中n是该集合中 包含的对象属性的数量，并且t是对象属性对中包含的对象属性的数量并且优选地为2。具 有最高得分的对象属性将被确定为对象属性。
[0091] 更具体而言，该识别过程可包含标识步骤，用于对于预先定义的对象属性的集合 中的每一对象属性对，基于对象区域的对应于该对象属性对的特征标识与该对象区域对应 的该对象属性对中包含的两个对象属性中的一个对象属性，并且将该对象区域所对应的对 象属性的得分增加预定值，其中，该预先定义的对象属性的集合中所包含的全部对象属性 具有相同的初始得分；以及属性确定步骤，用于确定该预先定义的对象属性的集合中的具 有最高得分的对象属性为该对象区域的对象属性。
[0092] 在另一种实现中，识别可被以所谓的"一胜一（one beating one)"方式实现，其 中，在预先定义的对象属性的集合中包含的预先定义的对象属性的数量为n的情况下，对 象属性可在n-1轮中被确定，其中在一轮中仅有对于一个对象属性对胜出的属性将前进至 下一轮，并且最终胜出的属性将被确定为对象属性。
[0093] 更具体而言，该识别过程可包含标识步骤，用于对于预先定义的对象属性的集合 中的一个对象属性对，基于对象区域的对应于该一个对象属性对的特征标识与该对象区域 对应的该一个对象属性对中包含的两个对象属性中的一个对象属性，以及属性确定步骤， 用于基于该对象区域所对应的对象属性以及该预先定义的对象属性的集合中的除该一个 对象属性对之外的剩余对象属性确定该对象区域的对象属性，其中，如果剩余对象属性的 数量等于〇,则该对象区域所对应的对象属性被确定为该对象区域的对象属性，否则将该对 象区域所对应的对象属性以及该预先定义的对象属性的集合中的除该一个对象属性对之 外的剩余对象属性重新归组为新的对象属性集合，并且对于该新的对象属性集合依次执行 该标识步骤和属性确定步骤。
[0094] 应指出，上述方法可每次对于可包含至少一个对象区域的图像中的一个对象区域 执行，并且可重复与对象区域的数量相同的次数，其中一个对象区域仅包含一个要被识别 的对象。
[0095] 图6是示出根据本发明的对象识别设备的框图。
[0096] 用于图像中的对象区域的识别的设备600可包含提取单元601，被配置为对于预 先定义的对象属性的集合中的每一对象属性对，基于该对象属性对的相异性提取对象区域 的对应于该对象属性对的特征；以及识别单元602,被配置为基于所提取的对象区域的特 征识别对象区域的对象属性。
[0097] 优选地，提取单元601可包含定位单元601-1，被配置用于定位该对象区域中的对 应于该对象属性对的模板的至少一个块，该模板表征该对象属性对之间的相异性；以及特 征提取单元601-2,被配置用于基于所定位的至少一个块提取该对象区域的对应于该对象 属性对的特征。
[0098] 优选地，该定位单元601-1可包含被配置用于依赖于对象区域中的被标识的特征 点的位置定位对象区域中的辅助区域的单元；以及被配置用于定位辅助区域中的对应于对 象属性对的表征对象属性对之间的相异性的模板的至少一个块的单元。
[0099] 优选地，特征提取单元601-2可包含被配置用于从对象区域中的该至少一个块中 的每一个中提取特征的单元，以及被配置用于将所提取的各个块的特征连结作为对象区域 的特征的单元。
[0100] 优选地，该识别单元602可包含标识单元602-1，被配置用于对于预先定义的对象 属性的集合中的每一对象属性对，基于对象区域的对应于该对象属性对的特征标识与该对 象区域对应的该对象属性对中包含的两个对象属性中的一个对象属性，并且将该对象区域 所对应的对象属性的得分增加预定值，其中，该预先定义的对象属性的集合中所包含的全 部对象属性具有相同的初始得分；以及属性确定单元602-2,被配置用于确定该预先定义 的对象属性的集合中的具有最高得分的对象属性为该对象区域的对象属性。
[0101] 附加地或者作为替代，该识别单元602可包含标识单元602-3,被配置用于对于预 先定义的对象属性的集合中的一个对象属性对，基于对象区域的对应于该一个对象属性对 的特征标识与该对象区域对应的该一个对象属性对中包含的两个对象属性中的一个对象 属性，以及属性确定单元602-4,被配置用于基于该对象区域所对应的对象属性以及该预 先定义的对象属性的集合中的除该一个对象属性对之外的剩余对象属性确定该对象区域 的对象属性，其中，如果剩余对象属性的数量等于〇,则该对象区域所对应的对象属性被确 定为该对象区域的对象属性，否则将该对象区域所对应的对象属性以及该预先定义的对象 属性的集合中的除该一个对象属性对之外的剩余对象属性重新归组为新的对象属性集合， 并且对于该新的对象属性集合依次执行该标识操作和属性确定操作。
[0102] 表征对象属性对之间的相异性的模板可与设备600分离地被如上所述地预先形 成并且存储。附加地或者作为替代，设备600可包含被配置用于以上述方式形成对象属性 对的表征该对象属性对之间的相异性的模板的单元。
[0103][有利的技术效果]
[0104] 总而言之，本发明提供了一种新的用于图像中的对象区域的对象属性的识别的思 路，其中引入了对象属性对的概念以改进对象区域的特征提取和识别。
[0105] 更具体而言，对象属性对中包含的对象属性之间的相异性被用于针对对象属性对 提取对象区域中的相异像素块，并且所提取的对象区域的特征被用于确定对象区域与对象 属性对中的哪一对象属性相对应。因此，对象区域的特征的提取和识别被逐对地执行，由 此，识别效率和准确性可被提高。
[0106] 应指出，对象区域的这样的相异像素块对于在每一轮中用作比较基础的预先定义 的对象属性的集合中的每一对象属性对被确定和提取，并且可反映对象属性对中包含的对 象属性之间的相异性。此外，这样的被提取的部分可在识别期间被适应性地改变，即，对象 区域的相异像素块可依赖于每一轮比较中的对比物而改变，而不是保持恒定。
[0107] 因此，对象区域的可能对于对象属性对是公共的而不是区别性的一些部分可不被 提取，并且所提取的部分可更准确地反映对象属性对中包含的对象属性之间的相异性，并 且有助于准确地确定对象区域对应于对象属性对中包含的对象属性中的哪一个，从而对象 区域的对象属性可被更准确地确定。
[0108] 下文，为了有助于透彻理解本发明的实现，使用脸部作为要被识别的对象的例子 以便解释本发明的解决方案的示例性实现。应指出，本发明的解决方案还可应用于其他类 型的对象。
[0109] 对于要被识别的图像中的脸部区域，其属性可属于多种类别。例如，脸部属性的类 别可以是选自包含脸部表情、当脸部为人脸时的与该脸部对应的人的性别以及年龄的组中 的一种。当然，脸部属性的类别并不因此受限，并且可以是除上述类别之外的其它类别。 [0110][示例 1]
[0111] 下文，将描述根据本发明的用于识别图像中的脸部区域的脸部属性(诸如，脸部表 情）的过程。
[0112] 一般来说，对于其表情要被识别的输入图像中的脸部区域，针对预先定义的脸部 表情的集合中的每一脸部表情对，基于该脸部表情对中包含的脸部表情之间的相异性提取 该脸部区域的对应于该脸部表情对的特征，然后基于所提取的脸部区域的特征来识别该脸 部区域的脸部表情。当输入的图像中存在多个脸部时，此过程被重复与脸部的数量相同的 次数。
[0113] 下文将描述此过程的细节。
[0114] 最初，对于可包含至少一个脸部的输入图像，检测该输入图像中的脸部区域，通常 一个脸部区域对应于图像中的一个脸部。图7示出从输入图像中检测到的矩形的脸部区 域。
[0115] 优选地，在将检测到的脸部区域用于特征提取之前，脸部区域通常被分别对齐，并 且该对齐可被以多种方式执行。
[0116] 在一种实现中，脸部区域基于从脸部图像提取的预定数量的特征点被对齐，其中 特征点的数量可基于操作者的经验被设定，并且不限于某些特定数量。特征点提取方法 可以是诸如 Xudong Cao, Yichen Wei, Fang Wen, Jian Sun. Face alignment by explicit shape regression CVPR, 2012,以及D. Cristinacce and T. F. Cootes. Boosted regression active shape models. BMVC, 2007中公开的ASM。应指出，特征点提取方法并不因此受限， 并且可以是本领域中已知的任何其它方法。
[0117] 图8示意性地示出从脸部区域提取7个特征点，并且如图8所示，这7个特征点为： 两个眼睛中的每一个的两个眼角、鼻尖、以及嘴部的两个嘴角。
[0118] 对齐可被如下地执行。应指出，以下的在本领域中已知的用于对齐的过程仅仅是 示例性的，并且对齐还可通过其他过程来执行。
[0119] 在对齐时，被提取的7个特征点的平均位置根据预定数量的人工标记的样本被计 算。假定存在n个标记的样本，七个点Pi (Xi, yj (i=l?7)的平均位置被计算如下：

【权利要求】
1. 一种设备，包含： 提取单元，被配置用于对于预先定义的对象属性的集合中的每一对象属性对，基于该 对象属性对的相异性提取对象区域的对应于该对象属性对的特征；W及 识别单元，被配置用于基于所提取的对象区域的特征识别对象区域的对象属性。
2. 根据权利要求1所述的设备，其中，预先定义的对象属性的所述集合中的所有对象 属性属于同一类别，并且其中，对象属性对由预先定义的对象属性的所述集合中包含的任 两个对象属性构成。
3. 根据权利要求1所述的设备，其中，所述对象区域是脸部区域，并且所述对象属性是 脸部属性，W及 其中，所述脸部属性的类别是选自包含脸部表情、当脸部为人脸时对应于该脸部的人 的性别W及年龄的组中的一种。
4. 根据权利要求1所述的设备，其中，所述对象区域是已经基于对象区域中被标识的 特征点对齐的对象区域。
5. 根据权利要求1所述的设备，其中，所述提取单元包含： 定位单元，被配置用于定位该对象区域中的对应于该对象属性对的模板的至少一个 块，该模板表征该对象属性对之间的相异性；W及 特征提取单元，被配置用于基于所定位的至少一个块提取该对象区域的对应于该对象 属性对的特征。
6. 根据权利要求5所述的设备，其中，所述定位单元包含： 被配置用于依赖于对象区域中的被标识的特征点的位置定位对象区域中的辅助区域 的单元；W及 被配置用于定位所述辅助区域中的对应于对象属性对的表征对象属性对之间的相异 性的模板的至少一个块的单元。
7. 根据权利要求5或6所述的设备，其中，对象属性对的表征所述对象属性对之间的相 异性的所述模板通过如下方式形成： 将分别对应于该对象属性对中包含的两个对象属性的两个平均对象区域图像划分成 彼此对应的多个块； 提取与每一对象属性对应的每一被划分的平均对象区域图像的多个块中的每一个的 特征； 确定该两个被划分的平均对象区域图像中的对应块的特征之间的相似性；并且 选择该两个被划分的平均对象区域图像中的如下该样的块W形成模板，块之间的相似 性低于预先定义的阔值。
8. 根据权利要求5所述的设备，其中，所述特征提取单元包含： 被配置用于从对象区域中的该至少一个块中的每一个中提取特征的单元，W及 被配置用于将所提取的各个块的特征连结作为对象区域的特征的单元。
9. 根据权利要求1所述的设备，其中，所述识别单元包含： 标识单元，被配置用于对于预先定义的对象属性的集合中的每一对象属性对，基于对 象区域的对应于该对象属性对的特征标识该对象区域与该对象属性对中包含的两个对象 属性中的哪一个对象属性相对应，并且将该对象区域所对应的对象属性的得分增加预定 值，其中，该预先定义的对象属性的集合中所包含的全部对象属性具有相同的初始得分；w 及 属性确定单元，被配置用于确定该预先定义的对象属性的集合中的具有最高得分的对 象属性为该对象区域的对象属性。
10. 根据权利要求1所述的设备，其中，所述识别单元包含： 标识单元，被配置用于对于预先定义的对象属性的集合中的一个对象属性对，基于对 象区域的对应于该一个对象属性对的特征标识该对象区域与该一个对象属性对中包含的 两个对象属性中的哪一个对象属性相对应，W及 属性确定单元，被配置用于基于该对象区域所对应的对象属性W及该预先定义的对象 属性的集合中的除该一个对象属性对之外的剩余对象属性确定该对象区域的对象属性， 其中，如果剩余对象属性的数量等于0,则该对象区域所对应的对象属性被确定为该对 象区域的对象属性， 否则，将该对象区域所对应的对象属性W及该预先定义的对象属性的集合中的除该一 个对象属性对之外的剩余对象属性重新归组为新的对象属性集合，并且对于该新的对象属 性集合相继地执行该标识操作和属性确定操作。
11. 一种方法，包含： 对于预先定义的对象属性的集合中的每一对象属性对，基于该对象属性对的相异性提 取对象区域的对应于该对象属性对的特征；W及 基于所提取的对象区域的特征识别对象区域的对象属性。
【文档编号】G06K9/00GK104346601SQ201310320936
【公开日】2015年2月11日 申请日期:2013年7月26日 优先权日:2013年7月26日
【发明者】王喜顺, 陈曾, 李献, 温东超, 朱福国 申请人:佳能株式会社