一种人脸图像的检索系统及方法

一种人脸图像的检索系统及方法
【专利摘要】本发明公开了一种人脸图像的检索系统及方法，克服现有技术中的人脸识别技术在图像不清晰或者存在姿态偏转等不利于识别的因素时检索正确率就会急剧下降的问题。该方法包括：对人脸图像进行全局的画质预处理；对预处理人脸图像进行人脸检测，获得其中中的人脸并进行特征点定位，获得人脸的特征点；根据特征点对人脸进行人脸校正，获得正面人脸图像；对正面人脸图像进行人脸建模，获得人脸模型；采用人脸模型对人脸图像数据库进行人脸比对，得到相似人脸序列。本发明的实施例解决了当前人脸识别技术在图像不清晰或者图像中的人脸存在姿态偏转等不利于识别的因素时识别正确率就会急剧下降的问题，提高了人脸识别的正确率和准确性。
【专利说明】
-种人脸图像的检索系统及方法
技术领域
[0001] 本发明设及智能安防技术领域，尤其设及一种人脸图像的检索系统及方法。
【背景技术】
[0002] 人脸作为图像与视频中最重要的视觉对象（Visual化ject)之一，在计算机视觉、 模式识别、多媒体技术研究中占有重要的地位。人脸检索是人脸信息处理及基于内容的检 索研究中的一个焦点问题，是近年来研究十分活跃的一个方向。它在智能人机接口、基于内 容的检索、数字视频处理、保安等领域有着极为广泛的应用价值。
[0003] 人脸检索技术主要是通过一定的建模和比对方法，输出与所输入的人脸图像最相 似的数据库（数据库规模通常上百万量级）中的前N张人脸图像，并按照相似度对运N张 人脸图像进行排序，得到按照相似度从高到低的相似人脸序列即检索结果。其中，N为大于 等于1的正整数。
[0004] 人脸检索是人脸识别的经典应用之一。虽然人脸识别技术已经有了多年的发展， 但是目前的人脸识别技术仍然存在当图像不清晰或者存在姿态偏转等不利于识别的因素 时，检索的正确率就会急剧下降的问题。运一下降的趋势在检索数据库增大时会显得更加 突出。

【发明内容】

[0005] 本发明所要解决的技术问题是为了克服现有技术中的人脸识别技术在图像不清 晰或者存在姿态偏转等不利于识别的因素时检索正确率就会急剧下降的问题。
[0006] 为了解决上述技术问题，本发明的实施例首先提供了一种人脸图像的检索方法， 该方法包括：对人脸图像进行全局的画质预处理，得到预处理人脸图像；对所述预处理人 脸图像进行人脸检测，获得所述预处理人脸图像中的人脸；对所述预处理人脸图像中的人 脸进行特征点定位，获得所述人脸的特征点；根据所述特征点对所述预处理人脸图像中的 人脸进行人脸校正，获得正面人脸图像；对所述正面人脸图像进行人脸建模，获得人脸模 型；采用所述人脸模型，对人脸图像数据库进行人脸比对，得到按相似度顺序进行排列的相 似人脸序列。
[0007] 优选地，对所述预处理人脸图像中的人脸进行人脸校正，包括：对所述预处理人脸 图像中的人脸进行人脸进行几何校正和/或画质校正。
[0008] 优选地，该方法包括：在所述全局的画质预处理、所述人脸检测、所述特征点定位 W及所述人脸校正的至少一个过程中接受用户的交互式操作。
[0009] 优选地，接受用户的交互式操作，包括：接受用户采用模板选择和/或参数调整的 所述交互式操作。
[0010] 优选地，对所述正面人脸图像进行人脸建模，获得人脸模型，包括：对所述正面人 脸图像进行人脸建模，获得所述正面人脸图像的高维特征；对所述正面人脸图像的高维特 征进行降维，获得所述人脸模型。
[0011] 本发明的实施例还提供了一种人脸图像的检索方法，该方法包括：获取平均人脸 模型；利用语义描述技术对所述平均人脸模型中的人脸部件进行调整，获得正面人脸图像； 对所述正面人脸图像进行人脸建模，获得人脸模型；采用所述人脸模型，对人脸图像数据库 进行人脸比对，得到按相似度顺序进行排列的相似人脸序列。
[0012] 优选地，对所述平均人脸模型中的人脸部件进行调整，包括：采用模板选择和/或 参数调整的方式，对所述平均人脸模型中的人脸部件进行所述调整。
[0013] 优选地，对所述正面人脸图像进行人脸建模，获得人脸模型，包括：对所述正面人 脸图像进行人脸建模，获得所述正面人脸图像的高维特征；对所述正面人脸图像的高维特 征进行降维，获得所述人脸模型。
[0014] 本发明的实施例还提供了一种人脸图像的检索系统，该系统包括：预处理模块，设 置为对人脸图像进行全局的画质预处理，得到预处理人脸图像；检测模块，设置为对所述预 处理人脸图像进行人脸检测，获得所述预处理人脸图像中的人脸；定位模块，设置为对所述 预处理人脸图像中的人脸进行特征点定位，获得所述人脸的特征点；校正模块，设置为根据 所述特征点对所述预处理人脸图像中的人脸进行人脸校正，获得标准的正面人脸图像；建 模模块，设置为对所述正面人脸图像进行人脸建模，获得人脸模型；比对模块，设置为采用 所述人脸模型，对人脸图像数据库进行人脸比对，得到按相似度顺序进行排列的相似人脸 序列。
[0015] 优选地，所述校正模块设置为对所述预处理人脸图像中的人脸进行人脸进行几何 校正和/或画质校正。
[0016] 优选地，该系统包括：交互式操作模块，设置为在所述全局的画质预处理、所述人 脸检测、所述特征点定位W及所述人脸校正的至少一个过程中接受用户的交互式操作。
[0017] 优选地，所述交互式操作模块设置为接受用户采用模板选择和/或参数调整的所 述交互式操作。
[0018] 优选地，所述建模模块包括：建模单元，设置为对所述正面人脸图像进行人脸建 模，获得所述正面人脸图像的高维特征；降维单元，设置为对所述正面人脸图像的高维特征 进行降维，获得所述人脸模型。
[0019] 本发明的实施例还提供了一种人脸图像的检索系统，该系统包括：获取模块，设置 为获取平均人脸模型；调整模块，设置为利用语义描述技术对所述平均人脸模型中的人脸 部件进行调整，获得标准的正面人脸图像；建模模块，设置为对所述正面人脸图像进行人脸 建模，获得人脸模型；比对模块，设置为采用所述人脸模型，对人脸图像数据库进行人脸比 对，得到按相似度顺序进行排列的相似人脸序列。
[0020] 优选地，所述调整模块设置为采用模板选择和/或参数调整的方式，对所述平均 人脸模型中的人脸部件进行所述调整。
[0021] 优选地，所述建模模块包括：建模单元，设置为对所述正面人脸图像进行人脸建 模，获得所述正面人脸图像的高维特征；降维单元，设置为对所述正面人脸图像的高维特征 进行降维，获得所述人脸模型。
[0022] 与现有技术相比，本发明的实施例可W根据一张模糊的或者存在姿态偏转等不利 于检索因素的人脸图像生成一张标准的、清晰的正面人脸图像。本发明的实施例可W通过 语言描述的交互过程生成一张符合描述者描述需求的人脸图像。本发明的实施例解决了当 前人脸识别技术在图像不清晰或者图像中的人脸存在姿态偏转等不利于识别的因素时识 别正确率就会急剧下降的问题，提高了人脸识别的正确率和准确性。利用本发明的实施例 所生成的人脸图像可W进行人脸检索，弥补了当前没有可W作为输入的人脸图像就无法进 行人脸检索的缺陷。
[0023] 本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变 得显而易见，或者通过实施本发明的技术方案而了解。本发明的目的和其他优点可通过在 说明书、权利要求书W及附图中所特别指出的结构和/或流程来实现和获得。
【附图说明】
[0024] 附图用来提供对本发明的技术方案或现有技术的进一步理解，并且构成说明书的 一部分。其中，表达本发明实施例的附图与本发明的实施例一起用于解释本发明的技术方 案，但并不构成对本发明技术方案的限制。
[00巧]图1为本发明的人脸图像的检索方法的实施例的流程示意图。
[00%]图2为本发明的人脸图像的检索方法的另一实施例的流程示意图。
[0027] 图3为本发明的人脸图像的检索系统的实施例的构造示意图。
[0028] 图4为本发明的人脸图像的检索系统的另一实施例的构造示意图。
【具体实施方式】
[0029] W下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用 技术手段来解决技术问题，并达成相应技术效果的实现过程能充分理解并据W实施。本发 明实施例W及实施例中的各个特征，在不相冲突前提下可W相互结合，所形成的技术方案 均在本发明的保护范围之内。
[0030] 附图所示出的本发明的实施例的方法所包含的步骤可W在诸如一组计算机可执 行指令的计算机系统中执行。并且，虽然本发明的实施例的方法在流程图中示出了逻辑顺 序，但是在某些情况下，本发明的实施例的方法也可不同于附图所示的顺序执行所示 出或描述的步骤。
[0031] 本发明的发明人在对现有技术进行研究时，还发现了现有技术存在如下的技术缺 陷：人脸检索应用的输入是一张人脸图像，运就需要存在一张人脸图像，W可W作为输入。 但是当没有可W作为输入的人脸图像时，就无法使用人脸检索系统。虽然可W通过素描生 成一张虚拟的人脸图像然后作为输入来弥补运一不足，但是虚拟的人脸图像与真实的人脸 图像差异非常大，用作检索的输入，往往效果不佳。
[0032] 本发明的人脸图像的检索方法的实施例，基于一张真实的人脸图像生成一张就可 W用于人脸检索的人脸图像。该作为输入的真实的人脸图像，可W不是标准的、清晰的正 面人脸图像，在人脸图像不清晰或者人脸图像中的人脸存在姿态偏转等不利于识别的因素 时，仍然可W获得清晰的、标准的正面人脸图像。如图1所示，该检索方法的实施例主要包 括如下步骤。
[0033] 步骤S110,对真实的人脸图像进行全局的画质预处理，降低图像噪声、光照等不利 因素对后续处理的影响。
[0034] 接收真实的人脸图像的输入，或者主动获取一张真实的人脸图像。然后对该真实 的人脸图像进行全局的画质预处理，得到预处理人脸图像。该画质预处理，主要包括对该真 实的人脸图像进行去噪点、去光照影响、对比度和清晰度调整（如提升对比度和清晰度）等 处理。
[0035] 步骤S120,对所得到的预处理人脸图像进行人脸检测，从经过了上述全局的画质 预处理的人脸图像（也即预处理人脸图像）中检测获得人脸。
[0036] 步骤S130,对检测获得的预处理人脸图像中的人脸进行特征点定位，找到该幅真 实的人脸图像中人脸的特征点。
[0037] 步骤S140,基于所定位到的特征点，对预处理人脸图像中的人脸进行校正，获得 标准的正面人脸图像。由于对人脸图像进行了画质处理，因此所得到的人脸图像，是清晰 的。从而，利用通过该校正所得到的标准的正面人脸图像，就可W进行高效、准确的人脸检 索了。
[0038] 本步骤中的对人脸进行校正，主要包括对人脸的几何校正和/或对人脸的画质校 正。对人脸的几何校正，主要包括将存在姿态偏转的人脸通过3D匹配和/或3D旋转技术 调整成标准的正面人脸。人脸的画质校正，主要包括根据所检测出的人脸本身的特性，进行 光照校正（如去光照影响或者增加光照）、清晰度校正（提升或者降低清晰度）等处理。
[0039] 步骤S150,基于该标准的正面人脸图像进行人脸建模。
[0040] 本发明的实施例中，人脸建模采用的是基于五官的G油or/LBP特征提取算法 (Gabor特征和LBP特征是图像处理技术中两种常用的图像特征），获得该标准的正面人脸 图像的高维特征。
[0041] 步骤S160,采用非线性子空间的特征降维技术，对所获得的标准的正面人脸图像 的高维特征进行降维处理，得到人脸模型。本发明的实施例中，该人脸模型的维度比如可W 是5000维等。
[00创步骤S170,采用该人脸模型，对人脸图像数据库进行人脸比化得到按相似度顺序 从高到低的相似人脸序列。其中，对人脸图像数据库进行人脸比对，可W是异画质的人脸比 对。异画质的人脸比对，重点在于当两个模型的原始图片存在较大差异时仍然能够得到比 较好的相似度计算结果。采用基于Metric Learning的学习方法，并结合学习得到的度量 矩阵计算马氏距离，即便合成人脸和库中人脸画质差异较大，得到的相似度仍然比较准确。
[0043] 本发明的实施例，可W根据需要，针对上述的任何中间处理结果或者最后得到的 经过校正的人脸图像，接受用户的交互式操作，W便提高最后得到的人脸图像的效果。比 如，对所检测出的人脸进行特征点定位时，接收用户对自动定位出的特征点的调整，并根据 用户所进行的调整对特征点进行修正，W提高所检测出的人脸中特征点的准确性，为后续 提高人脸校正质量打好基础。具体地，对人脸中的双眼皮进行特征点的定位时，接收用户通 过交互式操作所输入的两层眼皮之间的调整参数，并根据用户所输入的调整参数对两层眼 皮之间的距离进行微调；在对人脸中右眼眼角进行特征点的定位时，接收用户通过交互式 操作所输入的眼角的角度参数，并根据用户所输入的眼角的角度参数，对人脸中右眼的眼 角进行微调，等等。
[0044] 上述的本发明的实施例，只是一种较佳的实施方式，可W较高效率地得到较高质 量的标准的正面人脸图像。在另一些实施例中，本发明的方法所包含的步骤，可W进行顺序 上的调整或者选择性地执行。比如，对所检测出的人脸进行的画质校正和几何校正，二者执 行的先后顺序是可w调整的，既可w先进行画质校正再进行几何校正，也可w先进行几何 校正在进行画质校正。当然，还可W-边进行画质校正一边进行几何校正。再如，在对人脸 进行画质校正时，既可W是仅进行光照校正，也可W是仅进行清晰度校正，还可W是既进行 光照校正又进行清晰度校正。本发明的普通技术人员能够理解，运些步骤的顺序调整或者 选择性地执行，主要是针对不同情形下的灵活选择，本领域的普通技术人员根据需要自行 确定。
[0045] 如图1所示，对真实的人脸图像进行预处理、人脸检测、特征定位W及人脸校正 时，还可W基于人脸语义描述技术，对人脸的嘴己、鼻子、觀骨、眼睛、眉毛、耳朵等部件进行 细致的调整。在运些步骤中，允许用户W交互式操作方式的介入，可W进一步提高人脸图像 处理结果的准确性。
[0046] 比如，在对真实的人脸图像进行全局的画质预处理过程中，用户可W通过交互式 操作来选择通用的图像处理方法，W提升全局的图像画质，包括去噪点、去光照影响、提升 对比度和清晰度等。具体地，可W选择平滑滤波、中值滤波等技术进行去噪点处理，可W选 择Retinex滤波、直方图均衡等算法来进行去光照影响的处理，可W选择直方图校正等算 法来提升图像的对比度，可W选择图像锐化等算法来提升图像的清晰度。本发明的实施例 中，用户可W根据不同的图像特性，来选择上述预处理的具体处理算法。
[0047] 再如，可W通过Ad油oost人脸检测算法等在经过画质预处理的人脸图像中检测 出人脸位置，W便进一步地针对人脸进行后续处理。在运个处理过程中，对于检测多个人脸 的情形，用户可W通过交互式操作逐一选择其中的每个人脸。在自动检测失败时，用户还可 W通过框选的方式来在人脸图像中选择给出待处理的人脸。
[0048] 又如，在人脸的特征定位过程中，基于回归的人脸特征点定位方法，在人脸图像中 精细定位出多个（本发明的一个实施例中用到了 87个）特征点，W描出人脸五官和脸颊的 轮廓等。当存在特征点定位不够精准时，用户可W通过交互式操作来修改特征点的坐标，W 精确调整特征点的位置。
[0049] 还如，在人脸的几何校正过程中，可W基于优化的3D人脸匹配算法，如3D匹配和 3D旋转等，将人脸校正为标准的正面人脸。由于不同的人脸模型对于后续的处理存在着细 微的差异，用户可W通过交互式操作，选择合适的3D人脸模型来提高几何校正的精度和准 确度。
[0050] 在人脸的画质校正过程中，可W采用3D纹理贴图和基于学习的超分辨率算法，将 人脸图像合成到3D模型上。
[0051] 本发明的实施例中，可W将人脸按照部件进行独立化处理。比如，可W将人脸分为 额头、脸颊、下己、双耳、双眼、双眉、鼻梁、鼻、鼻翼、嘴、嘴角、头发、胡须（上唇）、胡须（下 己）W及眼镜等15个部件。在对人脸的部件进行调整时，可W每次选中其中一个部件来进 行。
[0052] 基于人脸语义描述技术，接受用户对人脸的部件进行交互式操作的调整，可W是 接受用户采用模板选择和/或参数调整等多种方式所提供的交互式操作。模板选择是指预 先按照不同参数为人脸的各个部件生成众多模板，在进行人脸部件的调整时，用户选择其 认为与所需要的部件比较接近的相应的部件模板并进行替换。模板选择运种方式通常可W 用来调整不同的部件外观。上述的参数调整则是直接修改部件的参数，运种方式通常可W 用来调整部件的位置、大小等。
[0053] 对于模板选择的调整方法，为了提高调整效率，可W预先构造出合理的人脸模板， 即通过少数种类的模板就能够均匀覆盖整个部件外观空间。
[0054] 本发明的实施例采用超过600万的真实的标准的正面人脸图像针对每个部件进 行主元分析（PCA)建模，再对每个部件的PCA模型取前3个分量（软件上对应于Ξ维排列， 从而通过上下、左右和翻页键即可进行快速操作），每个分量在按照()，4^，i!~心i^/^ 取7个样点，共计得到343个模板。其中，λ为主元分析中每个主成分对应的特征值，用来 限定对应主成分归一化变化范围。 阳化5] 对于参数调整方式，除位置和大小参数外，每个部件的PCA模型的前10个分量都 可W作为控制参数进行提供，从而可W获得更加逼真的部件。
[0056] 本发明的人脸图像的检索方法的实施例中，也可W基于平均人脸模型来获得可W 用来进行人脸检索的人脸图像。
[0057] 如图2所示，本发明的人脸图像的检索方法的另一实施例，主要包括如下步骤。
[0058] 步骤S210,获取平均人脸模型。
[0059] 本发明的实施例中，平均人脸模型可W是预先基于海量的标准的正面人脸图像数 据统计得到。
[0060] 步骤S220,利用语义描述技术对平均人脸模型中的人脸部件进行调整，获得标准 的正面人脸图像。在调整过程中，每次可W选择一个部件来进行。先前进行过调整的部件， 在对另一些部件进行调整之后，又可W继续进行调整。
[0061] 本发明的实施例中，可W将人脸按照部件进行独立化处理。比如，可W将人脸分为 额头、脸颊、下己、双耳、双眼、双眉、鼻梁、鼻、鼻翼、嘴、嘴角、头发、胡须（上唇）、胡须（下 己）W及眼镜等15个部件。在对人脸的部件进行调整时，可W每次选中其中一个部件来进 行。
[0062] 对人脸的部件进行调整，可W采用模板选择和/或参数调整等多种方式。模板选 择是指预先按照不同参数为人脸的各个部件生成众多模板，在进行人脸部件的调整时，用 户选择其认为与所需要的部件比较接近的相应的部件模板并进行替换。模板选择运种方式 通常可W用来调整不同的部件外观。上述的参数调整则是直接修改部件的参数，运种方式 通常可W用来调整部件的位置、大小等。预先构造出合理的人脸模板，请参考本发明前述实 施例中的内容。
[0063] 步骤S230,基于该标准的正面人脸图像进行人脸建模。
[0064] 本发明的实施例中，人脸建模采用的是基于五官的G油or/LBP特征提取算法 (Gabor特征和LBP特征是图像处理技术中两种常用的图像特征），获得该标准的正面人脸 图像的高维特征。
[0065] 步骤S240,采用非线性子空间的特征降维技术，对所获得的标准的正面人脸图像 的高维特征进行降维处理，得到人脸模型。本发明的实施例中，该人脸模型的维度比如可W 是5000维等。
[0066] 步骤S250,采用该人脸模型，对人脸图像数据库进行人脸比化得到按相似度顺序 从高到低的相似人脸序列。其中，对人脸图像数据库进行人脸比对，可W是异画质的人脸比 对。异画质的人脸比对，重点在于当两个模型的原始图片存在较大差异时仍然能够得到比 较好的相似度计算结果。采用基于Metric Learning的学习方法，并结合学习得到的度量 矩阵计算马氏距离，即便合成人脸和库中人脸画质差异较大，得到的相似度仍然比较准确。
[0067] 本发明的实施例，对人脸的部件所进行的调整，无论是模板选择还是参数调整的 方式，语义输入合成人脸图像的整个过程都是描述者（也即用户或者使用者）高度参与的 交互过程。系统通过模板或者参数，可W快速地合成出不同的人脸图像，并由描述者主观判 断是否与期望吻合。
[0068] 对于不同的部件，调整的先后顺序并没有要求。通常可W先对轮廓等进行初步的 调整，得到一个比较接近的外观，然后再反复选择剩下的各种部件来进行调整，最终可W得 到与描述者语义描述一致的人脸。
[0069] 本发明的实施例中，对于语义描述合成人脸图像时按照部件来进行调整，可W降 低调整的难度，从而使交互过程便于实施。需要说明的是，本发明的实施例在上述所列举的 15个部件的划分，仅是众多划分方式的一种；对于与之类似的划分方式应当认为与本发明 等同，均在本发明的保护范围内。
[0070] 利用本发明的上述实施例所得到的标准的正面人脸图像，可W用来进行人脸检 索。需要说明的是，前述基于真实的人脸图像或者基于语义描述所生成的标准的正面人脸 图像，毕竟不是真实的人脸图像，而是经过一定处理后得到的虚拟的人脸图像。因此，可W 引入异画质人脸比对等技术，得到比较好的相似度排序，最终得到较为准确的相似人脸序 列。
[0071] 本发明的实施例，根据人脸图像或者语义描述所得到的标准的正面人脸图像，实 际是虚拟的人脸图像。而人脸图像数据库中所存在的人脸图像，通常是标准的证件照（如 身份证照片等）。本发明的实施例采用机器学习的方法，让用来进行人脸比对的相似度计算 表达式能够容忍一定的画质差异。加入两张同一个人的人脸图像，一张是标准照，一张是生 成的虚拟人脸，如果不做此处理，则二者之间相似度会很低，而考虑了画质差异则相似度仍 然会很高。 阳072] Metric Learning是解决异画质的方案之一。具体做法是通过大规模的样本直接 学习得到考虑了画质差异的度量矩阵，然后就可W直接用来替换标准的马氏距离计算中的 协方差矩阵。
[0073] 本发明的技术方案，采用虚拟的人脸图像（即前述实施例中的标准的正面人脸图 像）与标准证件照等人脸图像数据库中的人脸图像进行的比对，并没有采用对人脸图像数 据库中的人脸图像进行虚拟化处理，比如本发明前述实施例中根据所输入的人脸图像获得 标准的正面人脸图像的方案，避免了运种方案在实现时效率较低W及处理过程中容易丢死 部分信息的固有缺陷。
[0074] 如图3所示，本发明的人脸图像的检索系统，主要包括有预处理模块310、检测模 块320、定位模块330、校正模块340、建模模块350 W及比对模块360等。
[00巧]预处理模块310,设置为对真实的人脸图像进行全局的画质预处理，得到预处理人 脸图像。
[0076] 检测模块320,与预处理模块310相连，设置为对预处理人脸图像进行人脸检测， 获得预处理人脸图像中的人脸。
[0077] 定位模块330,与检测模块320相连，设置为对预处理人脸图像中的人脸进行特征 点定位，获得人脸的特征点。
[0078] 校正模块340,与定位模块330相连，设置为根据特征点对预处理人脸图像中的人 脸进行人脸校正，获得标准的正面人脸图像。校正模块340设置为对预处理人脸图像中的 人脸进行人脸进行几何校正和/或画质校正。
[0079] 建模模块350,与校正模块340相连，设置为对校正模块340获得的标准的正面人 脸图像进行人脸建模，获得人脸模型。
[0080] 比对模块360,与建模模块350相连，设置为采用建模模块350所获得的人脸模型， 对人脸图像数据库进行人脸比对，得到按相似度顺序进行排列的相似人脸序列。 阳081] 如图3所示，建模模块350包括建模单元351和降维单元352。建模单元351与校 正模块340相连，设置为对校正模块340获得的标准的正面人脸图像进行人脸建模，获得标 准的正面人脸图像的高维特征。降维单元352,与建模单元351及比对模块360相连，设置 为对建模单元351获得的标准的正面人脸图像的高维特征进行降维，获得人脸模型。
[0082] 本发明的人脸检索系统的实施例，还请参考前述图1所描述的本发明的人脸检索 方法的实施例。
[0083] 如图3所示，本发明的人脸图像的检索系统，还可W包括交互式操作模块370,与 预处理模块310、检测模块320、定位模块330、校正模块340、建模模块350中的建模单元 351和降维单元352、W及比对模块360等均相连，设置为在全局的画质预处理、人脸检测、 特征点定位、人脸校正、人脸建模W及比对的至少一个过程中接受用户的交互式操作。该交 互式操作模块370设置为接受用户采用模板选择和/或参数调整的交互式操作。
[0084] 如图4所示，本发明的人脸图像的另一种检索系统的实施例，包括获取模块410、 调整模块420、建模模块430 W及比对模块440等。
[00化]获取模块410设置为获取平均人脸模型。
[0086] 调整模块420,与获取模块410相连，设置为利用语义描述技术对平均人脸模型中 的人脸部件进行调整，获得标准的正面人脸图像。具体地，该调整模块420设置为采用模板 选择和/或参数调整的方式，对平均人脸模型中的人脸部件进行调整。
[0087] 建模模块430,与调整模块420相连，设置为对调整模块420获得的标准的正面人 脸图像进行人脸建模，获得人脸模型。
[0088] 比对模块440,与建模模块430相连，设置为采用建模模块430所获得的人脸模型， 对人脸图像数据库进行人脸比对，得到按相似度顺序进行排列的相似人脸序列。
[0089] 如图4所示，建模模块430包括建模单元431和降维单元432。建模单元431与调 整模块420相连，设置为对调整模块420获得的标准的正面人脸图像进行人脸建模，获得标 准的正面人脸图像的高维特征。降维单元432,与建模单元431及比对模块440相连，设置 为对建模单元431获得的标准的正面人脸图像的高维特征进行降维，获得人脸模型。
[0090] 本发明的人脸图像的检索系统的实施例，还请参考前述图2所描述的本发明的人 脸图像的检索方法的实施例。
[0091] 本发明的实施例良好地解决了先前人脸检索技术对存在模糊、姿态偏转等不利于 人脸识别因素的图像，检索正确率显著低下的问题。本发明的实施例能够通过交互式操作 生成一张与描述内容最相似的标准的正面人脸图像。而且，该标准的正面人脸图像可W作 为人脸作为检索的输入。
[0092] 本发明的实施例中，基于自动重构的技术，可W通过模糊的人脸图像生成更加清 晰的人脸图像，对存在姿态偏转的人脸图像生成正面的人脸图像，W及通过语言描述交互 式生成人脸图像，运Ξ者并不是相互排斥的，而是可W根据实际需要，可W选择其中任意一 种、或者其中任意两种、或者全部Ξ种方式来生成标准的正面的人脸图像。而且，还可W把 所生成的标准的正面的人脸图像作为检索输入来进行人脸检索，获得高准确度的检索结 果。
[0093] 基于人脸图像，采用自动重构的方式可W适用于有输入但输入图像质量不高的情 况。语义描述主要是针对没有人脸图像可供输入的情况，比如根据人（如目击证人等）的 描述生成虚拟的人脸图像。对于自动重构，由于自动化完成可能存在一些偏差，可W通过人 的语义描述进行修正，保证最后输出的人脸图像W及后续所进行的检索的准确性。对于语 义描述，因为人很难是一次性精确描述一个图像，所W必然需要交互的过程，逐渐地改动某 个局部，直到符合描述着的预期。
[0094] 本领域的技术人员应该明白，上述的本发明实施例所提供的系统的各组成部分， W及方法中的各步骤，它们可W集中在单个的计算装置上，或者分布在多个计算装置所组 成的网络上。可选地，它们可W用计算装置可执行的程序代码来实现。从而，可W将它们存 储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它 们中的多个模块或步骤制作成单个集成电路模块来实现。运样，本发明不限制于任何特定 的硬件和软件结合。
[0095] 虽然本发明所掲露的实施方式如上，但所述的内容仅为便于理解本发明技术方案 而采用的实施方式，并非用W限定本发明。任何本发明所属领域内的技术人员，在不脱离本 发明所掲露的精神和范围的前提下，可W在实施的形式及细节上进行任何的修改与变化， 但本发明的专利保护范围，仍须W所附的权利要求书所界定的范围为准。
【主权项】
1. 一种人脸图像的检索方法，该方法包括： 对人脸图像进行全局的画质预处理，得到预处理人脸图像； 对所述预处理人脸图像进行人脸检测，获得所述预处理人脸图像中的人脸； 对所述预处理人脸图像中的人脸进行特征点定位，获得所述人脸的特征点； 根据所述特征点对所述预处理人脸图像中的人脸进行人脸校正，获得正面人脸图像； 对所述正面人脸图像进行人脸建模，获得人脸模型； 采用所述人脸模型，对人脸图像数据库进行人脸比对，得到按相似度顺序进行排列的 相似人脸序列。2. 根据权利要求1所述的方法，其中，对所述预处理人脸图像中的人脸进行人脸校正， 包括： 对所述预处理人脸图像中的人脸进行人脸进行几何校正和/或画质校正。3. 根据权利要求1所述的方法，其中，该方法包括： 在所述全局的画质预处理、所述人脸检测、所述特征点定位以及所述人脸校正的至少 一个过程中接受用户的交互式操作。4. 根据权利要求3所述的方法，其中，接受用户的交互式操作，包括： 接受用户采用模板选择和/或参数调整的所述交互式操作。5. 根据权利要求1所述的方法，其中，对所述正面人脸图像进行人脸建模，获得人脸模 型，包括： 对所述正面人脸图像进行人脸建模，获得所述正面人脸图像的高维特征； 对所述正面人脸图像的高维特征进行降维，获得所述人脸模型。6. -种人脸图像的检索方法，该方法包括： 获取平均人脸模型； 利用语义描述技术对所述平均人脸模型中的人脸部件进行调整，获得正面人脸图像； 对所述正面人脸图像进行人脸建模，获得人脸模型； 采用所述人脸模型，对人脸图像数据库进行人脸比对，得到按相似度顺序进行排列的 相似人脸序列。7. 根据权利要求6所述的方法，其中，对所述平均人脸模型中的人脸部件进行调整，包 括： 采用模板选择和/或参数调整的方式，对所述平均人脸模型中的人脸部件进行所述调 整。8. 根据权利要求6所述的方法，其中，对所述正面人脸图像进行人脸建模，获得人脸模 型，包括： 对所述正面人脸图像进行人脸建模，获得所述正面人脸图像的高维特征； 对所述正面人脸图像的高维特征进行降维，获得所述人脸模型。9. 一种人脸图像的检索系统，该系统包括： 预处理模块，设置为对人脸图像进行全局的画质预处理，得到预处理人脸图像； 检测模块，设置为对所述预处理人脸图像进行人脸检测，获得所述预处理人脸图像中 的人脸； 定位模块，设置为对所述预处理人脸图像中的人脸进行特征点定位，获得所述人脸的 特征点； 校正模块，设置为根据所述特征点对所述预处理人脸图像中的人脸进行人脸校正，获 得标准的正面人脸图像； 建模模块，设置为对所述正面人脸图像进行人脸建模，获得人脸模型； 比对模块，设置为采用所述人脸模型，对人脸图像数据库进行人脸比对，得到按相似度 顺序进行排列的相似人脸序列。10. 根据权利要求9所述的系统，其中： 所述校正模块设置为对所述预处理人脸图像中的人脸进行人脸进行几何校正和/或 画质校正。11. 根据权利要求9所述的系统，其中，该系统包括： 交互式操作模块，设置为在所述全局的画质预处理、所述人脸检测、所述特征点定位以 及所述人脸校正的至少一个过程中接受用户的交互式操作。12. 根据权利要求11所述的系统，其中： 所述交互式操作模块设置为接受用户采用模板选择和/或参数调整的所述交互式操 作。13. 根据权利要求9所述的系统，其中，所述建模模块包括： 建模单元，设置为对所述正面人脸图像进行人脸建模，获得所述正面人脸图像的高维 特征； 降维单元，设置为对所述正面人脸图像的高维特征进行降维，获得所述人脸模型。14. 一种人脸图像的检索系统，该系统包括： 获取模块，设置为获取平均人脸模型； 调整模块，设置为利用语义描述技术对所述平均人脸模型中的人脸部件进行调整，获 得标准的正面人脸图像； 建模模块，设置为对所述正面人脸图像进行人脸建模，获得人脸模型； 比对模块，设置为采用所述人脸模型，对人脸图像数据库进行人脸比对，得到按相似度 顺序进行排列的相似人脸序列。15. 根据权利要求14所述的系统，其中： 所述调整模块设置为采用模板选择和/或参数调整的方式，对所述平均人脸模型中的 人脸部件进行所述调整。16. 根据权利要求14所述的系统，其中，所述建模模块包括： 建模单元，设置为对所述正面人脸图像进行人脸建模，获得所述正面人脸图像的高维 特征； 降维单元，设置为对所述正面人脸图像的高维特征进行降维，获得所述人脸模型。
【文档编号】G06K9/00GK105825163SQ201510013920
【公开日】2016年8月3日
【申请日】2015年1月9日
【发明人】王春茂, 张文聪, 浦世亮
【申请人】杭州海康威视数字技术股份有限公司