实现面部特征标准化语义描述的系统及方法

实现面部特征标准化语义描述的系统及方法
【专利摘要】本发明涉及一种实现面部特征标准化语义描述的系统，其中包括人脸检测与规格化模块、人脸特征点自动定位模块和头面部特征参数化描述模块。本发明还涉及一种实现面部特征标准化语义描述的方法。采用该种结构的实现面部特征标准化语义描述的系统及方法，实现了监控视频中的人脸信息提取和语义网架构下的结构化文本描述，以一种快速直观的方式，将监控场景中的人脸脸型特征和面部器官特征浓缩为便于理解的若干类型，为视频监控和公共安全信息收集提供了有价值的信息和辅助功能，为基于人脸的身份识别提供分类判别的基础信息。该系统结构简单，操作方便，运行快速，结果直观而实用，工作性能稳定可靠，适用于多种场合，具有更广泛的应用范围。
【专利说明】实现面部特征标准化语义描述的系统及方法
【技术领域】
[0001]本发明涉及桌面软件领域，尤其涉及公共安全软件【技术领域】，具体是指一种实现面部特征标准化语义描述的系统及方法。
【背景技术】
[0002]传统的身份识别方法主要基于身份标识物品和身份标识知识。其中，身份标识物品主要指磁卡、钥匙、身份证等，身份标识知识主要是指密码、口令等。但是，现在网络与通信技术的发展带来了巨大的变革，人们的物理和虚拟活动空间不断扩大，传统身份识别方法所提供的保证越来越有限，其缺点也越来越明显:前者容易丢失或伪造，而后者容易遗忘。更为严重的是，这些识别方法往往无法区分标身份标识物的真正拥有者和取得标志物的冒充者，一旦冒充者获得标识物品，就可以拥有相同的权力，从而使真正拥有者的利益受到威胁，造成个人隐私及财务的损失。
[0003]基于上述缺点，人们希望可以找到一种更为可靠的身份识别方法，该方法应该具有不需记忆，不易丢失，难以伪造等特点。由于人的某些身体特征具有不可复制且难以伪造的特点，人们便把目光转向生物识别技术。人体生物特征是指可以测量或可自动识别和验证的生理特性或行为方式，分为身体特征和行为特征两种方式:其中，身体特征包括指纹、掌型、视网膜、虹膜、人体气味、脸型、甚至血管、DNA、骨骼等；行为特征则包括签名、语音、行走步态等。生物识别技术利用人体固有的生物特征进行识别，这就保证了其唯一性和稳定性，同时不会丢失、忘记，也难以伪造。因此，基于生物特征的身份识别迅速在公共安全，安防监控，公共安全以及法庭科学等领域得到了广泛的使用。
[0004]生物识别的过程包括:生物识别系统通过某些方法获取生物特征，将其转化成数字信息，进一步将这些信息抽象为特征模板，并与事先存储在数据库中的特征模板进行比对，利用匹配算法验证两者的相似程度，从而识别个人身份。
[0005]人脸识别技术是生物识别技术中非常重要的一种。它通过计算机提取人脸的特征，并根据这些特征进行身份验证。作为生物特征的一种，人脸特征具有不易伪造、不会遗失、变化小、随身携带等优点，它所具有的唯一性和难以复制性为身份鉴别提供了必要的前提。与其它较成熟的生物识别方法，如指纹、虹膜、DNA等相比，人脸图像更易获取，人脸识别系统也更加直接、友好。在人脸识别过程中，用户无任何的心理障碍，特别是在非接触环境和不打扰被检测人的情况下，人脸识别的优越性远远超过其它识别技术。人脸图像获取的隐蔽特性为公共安全领域的应用提供了必要前提。
[0006]近些年来，人脸识别广泛应用于档案管理、公共安全、安全验证系统、信用卡验证、医学、档案管理、视频会议、人机交互系统、证件核对、保安监视、门禁控制及至自动柜员机等多种场合。在国家安全领域，人脸识别为有效的监控及罪犯查找提供了有力的帮助，尤其在9.11事件之后，世界各国都深刻体会到了身份验证的重要性，加大了对公共场合监控及身份鉴定技术研究的投入。在档案管理领域，由于近些年来同时随着社会发展，世界人口流动量、流动速度及流动区域日益加剧，人脸识别在流动人口管理和统计领域也起到重要作用。
[0007]但目前人脸识别技术还存在着许多问题，例如受到环境光源、对象姿态和遮挡物影响较大，大规模数据库应用环境中识别率无法保证，人脸图像采集环境不可控或者对象不配合的条件下无法保证图像拍摄质量等。这些因素都会对系统的识别效果产生巨大的影响。
[0008]在考虑到上述问题的情况下，头面部特征描述的必要性就凸显出来。面对户籍人口或外来人口等数量级巨大的人脸数据库时，头面部特征描述的结果可以加快搜索速度，提高识别精度。在因为目标姿态和拍摄条件等原因造成图像质量不足的情况下，无法得到确切的人脸识别结果，但可以从中得到脸型和面部器官的描述信息，将其提供给公安侦查人员，用于进一步排查。
[0009]而且随着目前公共安全所用人脸数据库的日益完善，所包含的人脸数据量日益庞大，本来就不甚成熟的人脸图像检索技术在大型数据库中进行目标搜索时往往力不从心。在公共安全应用中所能提供的输入信息往往不是明确的目标图像，而是目击者的文字描述，因此以图搜图式的检索方式并非完全适用。在这种情况下如何将目击者的文字描述准确有效的转换为可被人脸图像检索系统接受的信息就成了关键的一环。这种文字与头面部特征乃至整张人脸图像之间的转换，还可以应用于模拟画像，解决传统手动模拟画像对经验的要求，并提供方便直观的模拟画像绘制过程。
[0010]为了保证对头面部特征的描述准确、标准统一、可复用并且可以由计算机自动处理，我们选择了语义网架构下的结构化文本作为描述工具。语义网是能够根据语义进行判断的智能网络，实现人与电脑间的无障碍沟通。语义网的实现需要三大关键技术的支持:XML (Extensive Makeup Language,可扩展标识语言)、RDF (Resource DescriptionFramework,资源描述框架)和 0ntology(本体论)。Resource Description Framework(RDF)是W3C组织于2004年2月10日发布的一个推荐标准。它的功能是利用当前存在着的多种元数据标准来描述各种网络资源，形成人机可读的、可以由计算机自动处理的文件。
[0011]RDF是采用XML语法格式处理元数据的应用，为描述图像、文档和它们之间的相互关系定义了一个简单数据模型。简而言之，RDF用于进行资源描述，但它并不直接用来描述资源，而是定义了描述资源的规则。RDF定义了元素之间的关系，表现为三元组集，即由资源、属性、属性值所组成的三元结构。资源是可以用URI标识的所有事物，属性是资源的一个特定的方面或特征，值可以是另一个资源，也可以是字符串。这种三元结构形似句子中的主语、谓语、宾语之间的关系，而且主语、谓语和宾语的三个组成元素都是通过URI(UniformResource Identifier,统一资源标识符)进行标识的，因此它具有语义表述的特性。
[0012]现有的专利在利用人的头面部信息时，往往与本专利存在各种差异。例如:
[0013](I)专利《一种基于人脸特征分析的虚拟试妆方法》专利申请号:201310171179.2。该发明涉及一种利用人脸正面照片并利用计算机对其进行五官位置、形状特征进行分析后将化妆效果叠加到原始正面照片，从而不通过实际的化妆过程就能在计算机上虚拟的观察到自己的化妆效果的方法。
[0014]此专利对人脸特征点进行了定位，从而对特征点所表示的五官位置进行确定，并且对五官形状特征进行了分析。但并未利用五官尺寸之间的比例关系，以及这些比例关系所包含的信息。也没有提出明确的描述五官形状、脸型等特征的描述方式。[0015](2)专利《基于五官几何比例特征的快速人脸识别方法》专利申请号:201110146177.9。该发明涉及基于五官几何比例特征的快速人脸识别方法，其识别和搜索的对象是人的正脸图像，是根据人脸各部位灰度值的不同，得出眼、鼻、嘴等特征的二维坐标，将这些坐标点进行适当的连接，组合成角度、长度等信息。通过对两张人脸进行匹配分析，得出眼鼻、眼嘴和鼻嘴的匹配率以及综合匹配率。同时，可将所得到的二维坐标连同人脸图像及人脸所属个体的信息存入数据库。本发明将需要被识别的人脸与数据库的人脸逐一地进行对比匹配，从中取出综合匹配率最高的人脸，实现人脸的快速搜索。
[0016]该专利仅使用一个坐标来大略地表示五官的位置，并没有使用特征点来描述面部轮廓，也就没有使用参数来描述面部特征。
[0017](3)专利《基于主动形状模型和K近邻算法的人脸脸型分类处理方法》专利申请号:201010227103.3。该发明涉及一种基于主动形状模型和K近邻算法的人脸脸型分类处理方法，包括以下步骤:(I)创建K近邻算法中的样本库；(2)用户通过网络多媒体终端将待测图像上传至服务器，服务器采用ASM (Active shape model，主动形状模型)算法对待测图像提取人脸特征点，通过选取脸部及下颌部分的特征点来确定脸部轮廓；(3)服务器对待测图像的点集按照样本归一化方法进行归一化处理，将待测图像的点集与样本点集统一到同一坐标系中；(4)服务器采用基于Hausdorff距离K近邻方法对待测图像进行分类，得到分类结果；(5)服务器自动将分类结果发送给网络多媒体终端，该网络多媒体终端对其进行显示。
[0018]此专利同样利用了 ASM算法来提取人脸特征点，但仅对其中表示脸部和下颌部分的特征点进行了分析。而且其目的是将这些分析得出的信息用于人脸分类和识别。这与本专利利用人脸特征点的方式截然不同。

【发明内容】

[0019]本发明的目的是克服了上述现有技术的缺点，提供了一种能够实现对人的头面部特征进行参数化描述、将人类特征进行有效浓缩、具有更广泛应用范围的实现面部特征标准化语义描述的系统及方法。
[0020]为了实现上述目的，本发明的实现面部特征标准化语义描述的系统及方法具有如下构成:
[0021]该实现面部特征标准化语义描述的系统，其主要特点是，所述的系统包括:
[0022]人脸检测与规格化模块，用以对输入系统的标准人脸图片进行处理得到标准正面人脸图片；
[0023]人脸特征点自动定位模块，用以对所述的标准正面人脸图片中的人脸及面部器官特征点位置进行搜索和标定；
[0024]头面部特征参数化描述模块，用以对所述的人脸及面部器官特征点进行定量分析并使用结构化文本对头面部特征进行标准化描述。
[0025]较佳地，所述的人脸检测与规格化模块包括:
[0026]人脸检测单元，用以对输入系统的标准人脸图片使用LBP特征的Adaboost算法进行人脸检测并将检测到的人脸部分保存为图片；
[0027]图片规格化单元，对所述的人脸检测单元保存的图片进行规格化处理和统一图片尺寸。
[0028]较佳地，所述的人脸及面部器官特征点为分布在人脸的脸庞及各面部器官的边缘位置的特征点，所述的人脸及面部器官特征点的集合能够显示出各面部器官的轮廓与形状。
[0029]较佳地,所述的人脸特征点自动定位模块包括:
[0030]图片扩展单元，用以在所述的标准正面人脸图片外侧四周添加颜色单一且宽度为预定像素的边缘；
[0031]人脸特征点定位单元，用以使用ASM对所述的标准正面人脸图片进行模板匹配和搜索并将人脸及面部器官特征点进行标定。
[0032]较佳地，所述的头面部特征参数化描述模块包括:
[0033]特征点定量分析单元，用以对所述的人脸及面部器官特征点进行定量分析，计算各个面部器官指数；
[0034]头面部特征分类描述单元，用以基于所述的各个面部器官指数对人脸的头面部特征使用描述性语言进行分类描述；
[0035]头面部特征标准化描述单元，用以采用语义网架构下的结构化文本对所述的人脸的头面部特征进行标准化描述
[0036]本发明还涉及一种基于所述的系统实现面部特征标准化语义描述的方法，其主要特点是，所述的方法包括以下步骤:
[0037](I)所述的人脸检测与规格化模块对输入系统的标准人脸图片进行处理得到标准正面人脸图片；
[0038](2)所述的人脸特征点自动定位模块对所述的标准正面人脸图片中的人脸及面部器官特征点位置进行搜索和标定；
[0039](3)所述的头面部特征参数化描述模块对所述的人脸及面部器官特征点进行定量分析并使用结构化文本对头面部特征进行标准化描述。
[0040]较佳地，所述的人脸检测与规格化模块包括人脸检测单元和图片规格化单元，所述的人脸检测与规格化模块对输入系统的标准人脸图片进行处理得到标准正面人脸图片，包括以下步骤:
[0041](11)所述的人脸检测单元对输入系统的标准人脸图片使用LBP特征的Adaboost算法进行人脸检测，如果检测到人脸，则将检测结果中的人脸部分保存为图片，然后继续步骤(12)，否则输出提示无法检测到人脸；
[0042](12)所述的图片规格化单元对所述的人脸检测单元保存的图片进行规格化处理和统一图片尺寸。
[0043]较佳地，所述的人脸特征点自动定位模块包括图片扩展单元和人脸特征点定位单元，所述的人脸特征点自动定位模块对所述的标准正面人脸图片中的人脸及面部器官特征点位置进行搜索和标定，包括以下步骤:
[0044](21)所述的图片扩展单元在所述的标准正面人脸图片外侧四周添加颜色单一且宽度为预定像素的边缘；
[0045](22)所述的人脸特征点定位单元使用ASM对所述的标准正面人脸图片进行模板匹配和搜索并将人脸及面部器官特征点进行标定。[0046]更佳地，所述的人脸及面部器官特征点为分布在人脸的脸庞及各面部器官的边缘位置的特征点，所述的人脸及面部器官特征点的集合能够显示出各面部器官的轮廓与形状。
[0047]更进一步地，所述的人脸及面部器官特征点包括人脸的鼻根点、鼻尖点、左眼内角点、左眼外角点、左眼上方点，左眼下方点、右眼内角点、右眼外角点、右眼上方点、右眼下方点、左鼻翼点，右鼻翼点，上唇点、下唇点、左口角点、右口角点、颏下点、左颧点、右颧点、左下颌点、右下颌点、左眉内角点、左眉外角点、左眉上方内侧点、左眉下方内侧点、右眉内角点、右眉外角点、右眉上方内侧点和右眉下方内侧点。
[0048]较佳地,所述的头面部特征参数化描述模块包括特征点定量分析单元、头面部特征分类描述单元和头面部特征标准化描述单元，所述的头面部特征参数化描述模块对所述的人脸及面部器官特征点进行定量分析并使用结构化文本对头面部特征进行标准化描述，包括以下步骤:
[0049](31)所述的特征点定量分析单元对所述的人脸及面部器官特征点进行定量分析，计算各个面部器官指数；
[0050](32)所述的头面部特征分类描述单元基于所述的各个面部器官指数对人脸的头面部特征使用描述性语言进行分类描述；
[0051](33)所述的头面部特征标准化描述单元采用语义网架构下的结构化文本对所述的人脸的头面部特征进行标准化描述。
[0052]更佳地，所述的各个面部器官指数包括形态面指数、颧下颌宽指数、眼指数、眉指数、鼻指数和唇指数。
[0053]更佳地，所述的描述性语言包括用于描述脸型的“方脸，长方脸，狭长脸”，用于描述脸型走势的为“圆下巴，方下巴，尖下巴”，用于描述眼睛形状的“椭圆眼，三角眼，眯眼”，用于描述鼻型的“长鼻，短鼻”，用于描述眉毛形状的“宽眉，窄眉，宽窄眉”，用于描述嘴型的“宽唇，窄唇”，用于描述发型的“长发，短发，秃头”，用于描述面部区别性配饰的“配戴眼镜，未配戴眼镜”，用于描述面部疤痕的“有疤痕，无疤痕”。
[0054]更佳地，所述的头面部特征标准化描述单元采用语义网架构下的结构化文本对所述的人脸的头面部特征进行标准化描述，具体为:
[0055]所述的头面部特征标准化描述单元参考RDF三元组格式对所述头面部特征进行结构化描述，并以主语、谓语、宾组成的三元组来组织语义网中的节点。
[0056]采用了该发明中的实现面部特征标准化语义描述的系统及方法，具有如下有益效果:
[0057]( I)解决了现有技术在大数据库应用、图像质量不稳定以及解读目击者文字描述情况下的问题，将人脸特征信息浓缩为直观的描述形式，该描述形式避免了专业术语堆砌或者抽象的数值数据描述，更接近日常所用的通俗语言，易于非专业人士对人脸特征信息的理解。并提供了一种文字描述与人脸图像之间互相转换的途径。
[0058](2)实现了监控视频中的人脸信息提取和语义网架构下的结构化文本描述，以一种快速直观的方式，将监控场景中的人脸脸型特征和面部器官特征浓缩为便于理解的若干类型，为视频监控和公共安全信息收集提供了有价值的信息和辅助功能，为基于人脸的身份识别提供分类判别的基础信息。该系统结构简单，操作方便，运行快速，结果直观而实用，工作性能稳定可靠，适用于多种场合。
【专利附图】

【附图说明】
[0059]图1为本发明的实现面部特征标准化语义描述的系统的结构示意图。
[0060]图2为本发明的实现面部特征标准化语义描述的系统的详细结构示意图。
[0061]图3为基础LBP算子示意图。
[0062]图4为本发明中改良的算子示意图。
[0063]图5为本发明的Adaboost分类器训练过程示意图。
[0064]图6为本发明的Adaboost分类器训练过程计算公式示意图。
[0065]图7为本发明的人脸特征点自动定位示意图。
[0066]图8为本发明的各种头面部特征描述模块示意图。
[0067]图9为本发明的各种头面部特征举例示意图。
【具体实施方式】
[0068]为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。
[0069]如图1?2所示，本发明的实现面部特征标准化语义描述的系统包括人脸检测与规格化模块、人脸特征点自动定位模块、人脸参数化描述与形状识别模块，实现了对监控视频中的人脸信息提取，以一种快速直观的方式，将监控场景中的人脸与五官特征浓缩为便于理解的若干基础类型，并使用语义网架构下的结构化文本对头面部特征进行描述。头面部特征包括脸型、五官形状、面部配饰、长短发、是否秃头、面部疤痕等。
[0070]上文所述的基础类型是通过对大型人脸数据库进行定量分析得出的。对大型人脸数据库中的人脸图片进行头面部特征分析后，对得出的结果进行总结，归纳得出最为基础而常见的若干类型。每一种面部器官以及脸型都有各自的基础类型，它们能够代表最多人的头面部特征。
[0071]这些头面部特征描述及其基础类型可以用于加快大型数据库中人脸识别速度，或为公共安全应用提供目标对象的头面部特征描述信息。还可以为大型人脸数据库提供一个标准的文字描述接口，在需要根据目击者文字描述进行目标人员搜索的时候，本发明可以为目击者文字描述与人脸数据库提供描述方式转换和数据交换的渠道。
[0072]该系统的人脸检测与规格化模块，用以对输入系统的标准人脸图片(例如二代证图片、护照图片等)进行处理，包括人脸检测和图像规格化，得到标准正面人脸图片。处理过程包括干扰去除、人脸检测和图片规格化等。
[0073]该系统的人脸特征点自动定位模块，用以对人脸图片进行归一化处理，并自动将表示人脸及面部器官特征的特征点标定出来。这些特征点各有明确的物理意义，分布在脸庞及各面部器官的边缘位置，其集合能够直观明确的显示出面部器官的轮廓与形状。
[0074]所使用的表示人脸及面部器官特征的特征点包括鼻根点、鼻尖点、左眼内角点、左眼外角点、左眼上方点，左眼下方点、右眼内角点、右眼外角点、右眼上方点、右眼下方点、左鼻翼点，右鼻翼点，上唇点、下唇点、左口角点、右口角点、颏下点、左颧点、右颧点、左下颌点、右下颌点、左眉内角点、左眉外角点、左眉上方内侧点、左眉下方内侧点、右眉内角点、右眉外角点、右眉上方内侧点、右眉下方内侧点。
[0075]该系统的人脸参数化描述与形状识别模块，用以对人脸特征点坐标位置进行定量分析，以形态面指数、颧下颌宽指数、眼指数、眉指数、鼻指数、唇指数的计算为基础，对输入人脸的脸型和面部器官形状进行分类描述，浓缩为直观易懂的描述性语言，同时将面部疤痕、面部区别性配饰(眼镜等)以及头发形状(长发、短发、秃头)等较为显著的信息加入，共同浓缩为直观易懂的语言。并使用语义网架构下的结构化文本对头面部特征进行标准化描述，从而保证描述准确、标准统一、可重复使用并可以由计算机自动处理。头面部特征的例子见图9。
[0076]所描述的对象包括脸庞、双眼、眉毛、鼻子、嘴这些面部器官。
[0077]所述的对输入人脸的脸型和面部器官形状进行分类描述，浓缩为直观易懂的描述性语言，所输出的描述信息包括用于描述脸型的“方脸，长方脸，狭长脸”，用于描述脸型走势的为“圆下巴，方下巴，尖下巴”，用于描述眼睛形状的“椭圆眼，三角眼，眯眼”，用于描述鼻型的“长鼻，短鼻”，用于描述眉毛形状的“宽眉，窄眉，宽窄眉”，用于描述嘴型的“宽唇，窄唇”，用于描述发型的“长发，短发，秃头”，用于描述面部区别性配饰的“配戴眼镜，未配戴眼镜”，用于描述面部疤痕的“有疤痕，无疤痕”。
[0078]所述的使用语义网架构下的结构化文本对头面部特征进行描述，具体为参考RDF三元组格式对所述头面部特征进行结构化描述，并以主语、谓语、宾组成的三元组来组织语义网中的节点。
[0079]人脸检测与规格化模块包括:
[0080]人脸检测单元，用以对输入系统的标准人脸图片使用LBP特征的Adaboost算法进行人脸检测并将检测到的人脸部分保存为图片；
[0081]图片规格化单元，对所述的人脸检测单元保存的图片进行规格化处理和统一图片尺寸。
[0082]所述的人脸及面部器官特征点为分布在人脸的脸庞及各面部器官的边缘位置的特征点，所述的人脸及面部器官特征点的集合能够显示出各面部器官的轮廓与形状。
[0083]人脸特征点自动定位模块包括:
[0084]图片扩展单元，用以在所述的标准正面人脸图片外侧四周添加颜色单一且宽度为预定像素的边缘；
[0085]人脸特征点定位单元，用以使用ASM对所述的标准正面人脸图片进行模板匹配和搜索并将人脸及面部器官特征点进行标定。
[0086]头面部特征参数化描述模块包括:
[0087]特征点定量分析单元，用以对所述的人脸及面部器官特征点进行定量分析，计算各个面部器官指数；
[0088]头面部特征分类描述单元，用以基于所述的各个面部器官指数对人脸的头面部特征使用描述性语言进行分类描述；
[0089]头面部特征标准化描述单元，用以采用语义网架构下的结构化文本对所述的人脸的头面部特征进行标准化描述。
[0090]本发明系统主要面向公共安全领域常用的标准人脸图像数据库，例如二代身份证图片、护照图片等。当输入上述标准的人脸正面图片时，系统的人脸检测与规格化模块将进行以下操作:
[0091](I)所述的人脸检测与规格化模块对输入系统的标准人脸图片进行处理得到标准正面人脸图片；
[0092]具体包括以下两个子步骤:
[0093](11)所述的人脸检测单元对输入系统的标准人脸图片使用LBP特征的Adaboost算法进行人脸检测，如果检测到人脸，则将检测结果中的人脸部分保存为图片，然后继续步骤(12)，否则输出提示无法检测到人脸；
[0094]对图片使用LBP (Local Binary Patterns,局部二值模式)特征的Adaboost算法进行人脸检测，如果检测得到人脸，则将检测结果中的人脸部分用方框标示出来，并分别保存为图片。否则输出提示无法检测到人脸。
[0095]LBP是近年来人脸检测和人脸识别领域效果比较好一种特征，将LBP与Adaboost算法结合起来进行人脸检测，可以获得比较好的检测结果。
[0096]LBP算法本质上是一种局部的灰度特征。原始的LBP算子如图3所示，定义为在3X3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为O。这样，3X3领域内的8个点可产生一个Sbit的无符号数，即得到该窗口的LBP值，并用这个值来反映该区域的纹理信息。
[0097]本文所使用的LBP算子是经过改良过的，记作，如图4所示。这种LBP算子
不仅限于3X3的方形格子内，可以扩展到以一个像素为中心的半径为R的圆内，并从此范围内中获得P个像素的灰度值与中心像素进行比较。如果此P个点中存在无法同像素完全重合的点，则使用双线性差值来获得其灰度值进行计算，记作下标(P，R)。同时研究发现对于该Sbit 二进制数，当将整个数看作头尾相接的循环，那么其中0-1或1-0跳变不多于2次的占大多数，此种 LBP 算子被称为 Uniform Patterns，例如 00000000，00111100，10000111都是Uniform Patterns。在实际应用中可以只使用Uniform Patterns作为图像特征,记作上标u2。常用的参数取值为P = 8，R = 2。
[0098]此时的LBP算子仍然只表现了图片的局部特征，为了得到其全局特征，可以将整幅图片分割为m个尺寸相同的小块Rtl...Rm+在每一个小块中计算算子，将计算结果进行直方图统计，然后将所有分块的直方图连接起来，得到一个总的直方图，作为整幅图片的特征。常用的分块尺寸为18X21，该尺寸能在保证识别效果的情况下，尽可能降低计算量。
[0099]在有LBP算子提供特征的情况下，使用Adaboost级联分类器针对人脸进行训练，可以得到效果良好的人脸检测模块。
[0100]Adaboost,即Adaptive Boosting (适应增强方法),是一种能在系统消耗较少的情况下获得较好分类效果的分类器，因此被广泛应用于模式分类的各种场合。其基本原理可以概括为用一系列较弱的分类器的组合(即级联)来达到较强的分类效果。具体来说，每一项弱分类器都对待分类目标进行一次筛选，滤除掉不符合这一分类器的目标，而符合此分类器要求的目标则被提供给下一个弱分类器继续进行分类操作。如果一个目标最终成功通过了所有的分类器，则说明该目标符合所有弱分类器的要求，即符合级联分类器的整体要求。例如，要寻找一名疑犯，已知他的特点有男性、身高170-175cm、黑色上衣、灰色裤子，对于所有待选目标，首先判断其性别是否符合“男性”这一条件，滤除所有女性，再对结果中目标的身高进行判断，只保留身高在170-175cm之间的目标，以此类推使用所有参数过滤最终得到符合上述所有条件的目标。Adaboost级联分类器进行人脸检测采用的就是类似的方法，每一个弱分类器都在像素级别上判断一幅图片是否符合人脸的特点，如果一幅图片能够通过所有的分类器，则说明从各种角度来考虑(各个弱分类器)都符合人脸的特点，因此有很大几率是一幅包含人脸的图片。
[0101]Adaboost级联分类器的训练过程见图5~6。
[0102](12)所述的图片规格化单元对所述的人脸检测单元保存的图片进行规格化处理和统一图片尺寸。
[0103]此后，本发明系统的人脸特征点自动定位模块进行以下操作:
[0104](2)所述的人脸特征点自动定位模块对所述的标准正面人脸图片中的人脸及面部器官特征点位置进行搜索和标定；
[0105]具体包括以下两个子步骤:
[0106](21)所述的图片扩展单元在所述的标准正面人脸图片外侧四周添加颜色单一且宽度为预定像素的边缘；
[0107]为防止图片中的人脸过于接近图片边缘从而对后续计算带来影响，对人脸图片进行扩展操作，在图片外侧四周添加颜色单一宽度为20像素的边缘。
[0108](22)所述的人脸特征点定位单元使用ASM对所述的标准正面人脸图片进行模板匹配和搜索并将人脸及面部器官特征点进行标定。
[0109]使用ASM对人脸图片进行模板匹配和搜索，自动将表示人脸及面部器官特征的特征点标定出来，见图5所示。这些特征点各有明确的物理意义，分布在脸庞及各面部器官的边缘位置，其集合能够直观明确的显示出面部器官的轮廓与形状。
[0110]在得到上述人脸特征点之后，本发明系统的人脸参数化描述与形状识别模块进行以下操作:
[0111](3)所述的头面部特征参数化描述模块对所述的人脸及面部器官特征点进行定量分析并使用结构化文本对头面部特征进行标准化描述。
[0112]具体包括以下三个子步骤:
[0113](31)所述的特征点定量分析单元对所述的人脸及面部器官特征点进行定量分析，计算各个面部器官指数；
[0114]对人脸特征点坐标位置进行定量分析，计算形态面指数、颧下颌宽指数、眼指数、眉指数、鼻指数、唇 指数等参数。其中
[0115]形态面指数=形南/面宽表示脸型的大致形状。形态面高为鼻根点到颏下点间距，
面宽为左右颧点间距。
[0116]颧下颌宽指数=下颌宽/面宽表示脸型自颧骨以下的走势。下颌宽为左右下颌点间距。[0117]
【权利要求】
1.一种实现面部特征标准化语义描述的系统，其特征在于，所述的系统包括: 人脸检测与规格化模块，用以对输入系统的标准人脸图片进行处理得到标准正面人脸图片； 人脸特征点自动定位模块，用以对所述的标准正面人脸图片中的人脸及面部器官特征点位置进行搜索和标定； 头面部特征参数化描述模块，用以对所述的人脸及面部器官特征点进行定量分析并使用结构化文本对头面部特征进行标准化描述。
2.根据权利要求1所述的实现面部特征标准化语义描述的系统，其特征在于，所述的人脸检测与规格化模块包括: 人脸检测单元，用以对输入系统的标准人脸图片使用LBP特征的Adaboost算法进行人脸检测并将检测到的人脸部分保存为图片； 图片规格化单元，对所述的人脸检测单元保存的图片进行规格化处理和统一图片尺寸。
3.根据权利要求1所述的实现面部特征标准化语义描述的系统，其特征在于，所述的人脸及面部器官特征点为分布在人脸的脸庞及各面部器官的边缘位置的特征点，所述的人脸及面部器官特征点的集合能够显示出各面部器官的轮廓与形状。
4.根据权利要求1所述的实现面部特征标准化语义描述的系统，其特征在于，所述的人脸特征点自动定位模块包括: 图片扩展单元，用以在所 述的标准正面人脸图片外侧四周添加颜色单一且宽度为预定像素的边缘； 人脸特征点定位单元，用以使用ASM对所述的标准正面人脸图片进行模板匹配和搜索并将人脸及面部器官特征点进行标定。
5.根据权利要求1所述的实现面部特征标准化语义描述的系统，其特征在于，所述的头面部特征参数化描述模块包括: 特征点定量分析单元，用以对所述的人脸及面部器官特征点进行定量分析，计算各个面部器官指数； 头面部特征分类描述单元，用以基于所述的各个面部器官指数对人脸的头面部特征使用描述性语言进行分类描述； 头面部特征标准化描述单元，用以采用语义网架构下的结构化文本对所述的人脸的头面部特征进行标准化描述。
6.一种基于权利要求1至5中任一项所述的系统实现面部特征标准化语义描述的方法，其特征在于，所述的方法包括以下步骤: (1)所述的人脸检测与规格化模块对输入系统的标准人脸图片进行处理得到标准正面人脸图片； (2)所述的人脸特征点自动定位模块对所述的标准正面人脸图片中的人脸及面部器官特征点位置进行搜索和标定； (3)所述的头面部特征参数化描述模块对所述的人脸及面部器官特征点进行定量分析并使用结构化文本对头面部特征进行标准化描述。
7.根据权利要求6所述的实现面部特征标准化语义描述的方法，其特征在于，所述的人脸检测与规格化模块包括人脸检测单元和图片规格化单元，所述的人脸检测与规格化模块对输入系统的标准人脸图片进行处理得到标准正面人脸图片，包括以下步骤: (11)所述的人脸检测单元对输入系统的标准人脸图片使用LBP特征的Adaboost算法进行人脸检测，如果检测到人脸，则将检测结果中的人脸部分保存为图片，然后继续步骤(12)，否则输出提示无法检测到人脸； (12)所述的图片规格化单元对所述的人脸检测单元保存的图片进行规格化处理和统一图片尺寸。
8.根据权利要求6所述的实现面部特征标准化语义描述的方法，其特征在于，所述的人脸特征点自动定位模块包括图片扩展单元和人脸特征点定位单元，所述的人脸特征点自动定位模块对所述的标准正面人脸图片中的人脸及面部器官特征点位置进行搜索和标定，包括以下步骤: (21)所述的图片扩展单元在所述的标准正面人脸图片外侧四周添加颜色单一且宽度为预定像素的边缘； (22)所述的人脸特征点定位单元使用ASM对所述的标准正面人脸图片进行模板匹配和搜索并将人脸及面部器官特征点进行标定。
9.根据权利要求8述的实现面部特征标准化语义描述的方法，其特征在于，所述的人脸及面部器官特征点为分布在人脸的脸庞及各面部器官的边缘位置的特征点，所述的人脸及面部器官特征点的集合能够显示出各面部器官的轮廓与形状。
10.根据权利要求9述的实现面部特征标准化语义描述的方法，其特征在于，所述的人脸及面部器官特征点包括人脸的鼻根点、鼻尖点、左眼内角点、左眼外角点、左眼上方点，左眼下方点、右眼内角点、右眼外角点、右眼上方点、右眼下方点、左鼻翼点，右鼻翼点，上唇点、下唇点、左口角点、右口角点、颏下点、左颧点、右颧点、左下颌点、右下颌点、左眉内角点、左眉外角点、左眉上方内侧点、左眉下方内侧点、右眉内角点、右眉外角点、右眉上方内侧点和右眉下方内侧点。
11. 根据权利要求6所述的实现面部特征标准化语义描述的方法，其特征在于，所述的头面部特征参数化描述模块包括特征点定量分析单元、头面部特征分类描述单元和头面部特征标准化描述单元，所述的头面部特征参数化描述模块对所述的人脸及面部器官特征点进行定量分析并使用结构化文本对头面部特征进行标准化描述，包括以下步骤: (31)所述的特征点定量分析单元对所述的人脸及面部器官特征点进行定量分析，计算各个面部器官指数； (32)所述的头面部特征分类描述单元基于所述的各个面部器官指数对人脸的头面部特征使用描述性语言进行分类描述； (33)所述的头面部特征标准化描述单元采用语义网架构下的结构化文本对所述的人脸的头面部特征进行标准化描述。
12.根据权利要求11所述的实现面部特征标准化语义描述的方法，其特征在于，所述的各个面部器官指数包括形态面指数、颧下颌宽指数、眼指数、眉指数、鼻指数和唇指数。
13.根据权利要求11所述的实现面部特征标准化语义描述的方法，其特征在于，所述的描述性语言包括用于描述脸型的方脸，长方脸，狭长脸，用于描述脸型走势的为圆下巴，方下巴，尖下巴，用于描述眼睛形状的椭圆眼，三角眼，眯眼，用于描述鼻型的长鼻，短鼻，用于描述眉毛形状的宽眉，窄眉，宽窄眉，用于描述嘴型的宽唇，窄唇，用于描述发型的长发，短发，秃头，用于描述面部区别性配饰的配戴眼镜，未配戴眼镜，用于描述面部疤痕的有疤痕，无疤痕。
14.根据权利要求11所述的实现面部特征标准化语义描述的方法，其特征在于，所述的头面部特征标准化描述单元采用语义网架构下的结构化文本对所述的人脸的头面部特征进行标准化描述，具体为: 所述的头面部特征标准化描述单元参考RDF三元组格式对所述头面部特征进行结构化描述，并以主语 、谓语、宾组成的三元组来组织语义网中的节点。
【文档编号】G06K9/00GK103632147SQ201310669817
【公开日】2014年3月12日 申请日期:2013年12月10日 优先权日:2013年12月10日
【发明者】胡传平, 颜志国, 葛昊, 尚岩峰, 梅林 , 时勇杰 申请人:公安部第三研究所