专利名称：多特征融合的人脸图像搜索方法和系统的制作方法
技术领域：
本发明涉及多媒体信息检索领域，具体涉及一种多特征融合的人脸图像搜索方法和系统。
背景技术：
目前基于互联网的人脸图像搜索，大多采用基于文本关键字来进行图像检索，如百度、谷歌的通用图像搜索，用户通过输入人名等关键字来进行搜索，然后通过用户交互选择得到感兴趣的图像。近期也有部分商用搜索引擎在其基于文本关键字的图像搜索功能中用到了人脸图像内容信息以提供更精确的检索结果。谷歌推出了一项只搜索人脸的图像搜索功能，通过在文本搜索的结果中，加入一层人脸检测，过滤掉非人脸图片。而微软推出的必应搜索引擎中则通过相关性反馈，允许用户在文本搜索的结果中，通过点击感兴趣的人脸图像，返回内容相似的人脸图像。而当前也有少量基于内容的通用图像检索，如 Gazopa (http://www. gazopa. com/)，这些基于图像内容的检索一般是采用基于区域的多特征提取方法，通过利用图像分割算法将图像分割成多个区域，然后针对每个区域提取颜色， 纹理以及形状等多维特征，组成一串特征向量进行相似度匹配以达到检索的目的。然而，现有的技术中，无论基于通用的文本关键字，还是基于图像内容或者融合部分人脸检测领域知识的人脸图像搜索技术，都难以满足用户更高精确性的要求。
发明内容
本发明的目的在于提供一种多特征融合的人脸图像搜索方法，其一方面综合利用文本信息以及图像内容过滤掉非人脸图像，保留规则的人脸图像，另一方面使用空间金字塔方法进行人脸特征的相似性比对，具有检索精度高，可靠性高，效率快等特点。本发明是通过以下技术方案实现的一种多特征融合的人脸图像搜索方法，包括以下步骤从互联网上获取图像以及图像周围的文本信息，并将图像和文本信息分别存入原始图像库以及文本库；过滤掉原始图像库中非人脸图像以及不规则的人脸图像，保留规则的人脸图像，并将人脸图像存入人脸图像库；对人脸图像库中的人脸图像提取底层特征；对底层特征降维并存入特征库；对底层特征建立特征索引，并将特征索引存入特征索引文件；对文本库中的文本信息建立文本索引，并将文本索引存入文本索引文件；接收用户提交的文本和图像；在文本索引文件中检索文本，根据文本的检索结果在特征索引文件中检索图像，并将图像的检索结果返回给用户。过滤掉原始图像库中非人脸图像以及不规则的人脸图像，保留规则的人脸图像， 并将人脸图像存入人脸图像库包括以下子步骤采用基于文本的过滤方法，分析文本库对应的网页内容，对网页内容进行相关性预测，以过滤掉与人脸相关性差的网页；采用基于图像内容的过滤方法，用AdaBoost Cascade算法过滤非人脸图像；采用基于规则的过滤方法，根据用户的检索需求过滤掉不规则的人脸图像。
对人脸图像库中的人脸图像提取底层特征包括以下子步骤采用线性插值归一化的方法对人脸图像进行处理；采用Gabor过滤子对处理后的人脸图像进行多尺度多方向 Gabor小波变换，以提取人脸图像的局部特征；采用局部二值模式(LBP)算子对Gabor变换后的人脸图像进行处理；将局部二值模式算子处理后的人脸图像按照空间金字塔模型按层次分块，单独统计每一层次中每一块的直方图信息；将所有层次与分块上的直方图信息组合成底层特征。在文本索引文件中检索文本，根据文本的检索结果在特征索引文件中检索图像， 并将图像的检索结果返回给用户包括以下子步骤对文本进行分词，并得到若干关键字； 根据关键字检索文本索引，以得到与文本相关的候选图像集合；提取图像的特征向量；将特征向量与候选图像集合中的图像进行相似度匹配，并返回匹配结果。本发明的另一目的在于提供一种多特征融合的人脸图像搜索系统，其一方面综合利用文本信息以及图像内容过滤掉非人脸图像，保留规则的人脸图像，另一方面使用空间金字塔方法进行人脸特征的相似性比对，具有检索精度高，可靠性高，效率快等特点。一种多特征融合的人脸图像搜索系统，包括以下模块数据获取模块、人脸图像过滤模块、特征提取模块、索引模块以及检索模块。数据获取模块用于从互联网上获取图像以及图像周围的文本信息，并将图像和文本信息分别存入原始图像库以及文本库；人脸图像过滤模块用于过滤掉原始图像库中非人脸图像以及不规则的人脸图像，保留规则的人脸图像，并将人脸图像存入人脸图像库；特征提取模块用于提取人脸图像的底层特征；索引模块用于对底层特征降维并存入特征库，对底层特征建立特征索引，并将特征索引存入特征索引文件，对文本库中的文本信息建立文本索引，并将文本索引存入文本索引文件；检索模块用于接收用户提交的文本和图像，在文本索引文件中检索文本，根据文本的检索结果在特征索引文件中检索图像，并将图像的检索结果返回给用户。人脸图像过滤模块包括基于文本过滤子模块、基于内容过滤子模块和基于规则过滤子模块，基于文本过滤子模块用于采用基于文本的过滤方法，分析文本库对应的网页内容，对网页内容进行相关性预测，以过滤掉与人脸相关性差的网页；基于内容过滤子模块用于采用基于图像内容的过滤方法，用AdaBoost Cascade算法过滤非人脸图像；基于规则过滤子模块用于采用基于规则的过滤方法，根据用户的检索需求过滤掉不规则的人脸图像。特征提取模块包括人脸归一化子模块、Gabor处理子模块、LBP处理子模块、分块特征提取子模块、特征合成子模块，人脸归一化子模块用于采用线性插值归一化的方法对人脸图像进行处理；Gabor处理子模块用于采用Gabor过滤子对处理后的人脸图像进行多尺度多方向Gabor小波变换，以提取人脸图像的局部特征；LBP处理子模块用于采用局部二值模式(LBP)算子对Gabor变换后的人脸图像进行处理；分块特征提取子模块用于将局部二值模式算子处理后的人脸图像按照空间金字塔模型按层次分块，单独统计每一层次中每一块的直方图信息；特征合成子模块用于将所有层次与分块上的直方图信息组合成底层特征。索引模块包括人脸特征降维子模块、人脸特征索引子模块和文本索引建立子模块，人脸特征降维子模块用于使用特征降维方法对维数较高的人脸特征进行降维，得到较低维度的人脸特征；人脸特征索引子模块用于使用特征聚类方法对人脸特征建立聚类索引；文本索引建立子模块用于使用倒排索引技术建立文本关键字到相关图像的索引。
检索模块包括文本分词子模块、文本检索子模块、特征提取子模块以及图像检索子模块，文本分词模块用于对文本进行分词，并得到若干关键字；文本检索子模块用于根据关键字检索文本索引，以得到与文本相关的候选图像集合；特征提取子模块用于提取图像的特征向量；图像检索子模块用于将特征向量与候选图像集合中的图像进行相似度匹配， 并返回匹配结果。本发明具有以下优点及技术效果(1)更丰富的查询功能。本发明不仅提供传统的基于文本关键字的图像检索功能， 而且还允许用户上传人脸图像以进行基于视觉特征的垂直检索，以及同时提交文本关键字与上传图像的融合检索，从而大大的丰富了查询功能。(2)搜索精度高。在基于互联网的人脸图像搜索系统中，针对人脸领域，一方面采用人脸图像过滤算法过滤掉非人脸的图像，另一方面采用更为精细准确的人脸识别算法来提取人脸图像特征向量，从而得到更为精确的搜索结果。
图1是本发明多特征融合的人脸图像搜索系统的示意框图。图2是本发明多特征融合的人脸图像搜索方法的流程图。图3是本发明人脸图像搜索方法中步骤O)的细化流程图。图4是本发明人脸图像搜索方法中步骤(3)的细化流程图。图5是本发明人脸图像搜索方法中步骤(8)的细化流程图。
具体实施例方式首先对本发明中的技术术语进行解释和说明底层特征依据图像像素间关系获取的表征图像语义的特征向量。降维将较高维数的向量使用数学方法降到较低的维数。URL:统一资源定位，在互联网上，每一个对象(如网页、图像等)都有唯一的地址来标识其在互联网上的位置，通过该地址用户可以访问该对象，该地址称作URL。Adaboost Cascade算法机器学习领域的分类算法，用于对数据分类。基本思想是通过若干个弱分类器加权得到一个强分类器。Gabor小波变换图像处理领域的一个处理方法，实现空间域到频域的变换。LBP算子局部二值模式，一种用来描述图像局部纹理特征的算子。如图2所示，本发明多特征融合的人脸图像搜索方法包括以下步骤(1)从互联网上获取图像以及图像周围的文本信息，并将图像和文本信息分别存入原始图像库以及文本库，具体实现方式如下利用爬虫算法通过一定的网页抓取策略，沿着初始站点出发向外发散，以辐射尽可能多的站点，在爬取的过程中，可以分为两个单独的过程。第一步，通过分析爬取站点中的URL信息，只是简单的获取并保存辐射站点中的URL信息；第二步，通过访问上一步获取的URL信息进行页面解析提取图像以及文本信息，如环绕文本，标题，URL地址，链接信息等一些可以被用来创建索引和图像检索的数据信息，并将原始图像存放在原始图像库中，将相关文本信息存放在文本库中；
(2)过滤掉原始图像库中非人脸图像以及不规则的人脸图像，保留规则的人脸图像，并将人脸图像存入人脸图像库，具体包括以下子步骤(见图3)(2-1)采用基于文本的过滤方法，分析文本库对应的网页内容，对网页内容进行相关性预测，以过滤掉与人脸相关性差的网页；(2-2)采用基于图像内容的过滤方法，用AdaBoost Cascade算法过滤非人脸图像；(2-3)采用基于规则的过滤方法，根据用户的检索需求过滤掉不规则的人脸图像。(3)对人脸图像库中的人脸图像提取底层特征，具体包括如下子步骤(见图4)(3-1)采用线性插值归一化的方法对人脸图像进行处理；(3-2)采用Gabor过滤子对处理后的人脸图像进行多尺度多方向Gabor小波变换， 以提取人脸图像的局部特征，小波变换的公式如下
权利要求
1.一种多特征融合的人脸图像搜索方法，其特征在于，包括以下步骤(1)从互联网上获取图像以及图像周围的文本信息，并将所述图像和所述文本信息分别存入原始图像库以及文本库；(2)过滤掉所述原始图像库中非人脸图像以及不规则的人脸图像，保留规则的人脸图像，并将所述人脸图像存入人脸图像库；(3)对所述人脸图像库中的所述人脸图像提取底层特征；(4)对所述底层特征降维并存入特征库；(5)对所述底层特征建立特征索引，并将所述特征索引存入特征索引文件；(6)对所述文本库中的文本信息建立文本索引，并将所述文本索引存入文本索引文件；(7)接收用户提交的文本和图像；(8)在所述文本索引文件中检索所述文本，根据文本的检索结果在所述特征索引文件中检索所述图像，并将图像的检索结果返回给所述用户。
2.根据权利要求1所述的人脸图像搜索方法，其特征在于，所述步骤( 包括如下子步骤(2-1)采用基于文本的过滤方法，分析所述文本库对应的网页内容，对所述网页内容进行相关性预测，以过滤掉与人脸相关性差的网页；(2-2)采用基于图像内容的过滤方法，用AdaBoost Cascade算法过滤所述非人脸图像；(2-3)采用基于规则的过滤方法，根据所述用户的检索需求过滤掉所述不规则的人脸图像。
3.根据权利要求1所述的人脸图像搜索方法，其特征在于，所述步骤C3)是采用金字塔 LGBPHS算法，并包括以下子步骤(3-1)采用线性插值归一化的方法对所述人脸图像进行处理； (3-2)采用Gabor过滤子对处理后的人脸图像进行多尺度多方向Gabor小波变换，以提取所述人脸图像的局部特征，小波变换的公式如下W" “ II、- Γ^^Λ - )-exp(- j)]，其中ΨμΛζ)=~· [exP(汝JC Vσι2σD (Κ^Ψμk =Λ ν y JΚ^ψμ_ν+2ππφ^ = μ Z = (χ, y)，(χ, y)是像素坐标，i是虚数单位，μ表示Gabor过滤子的的方向，ν表示其尺度，K表示总的方向数，σ决定过滤子窗口大小，(3-3)采用局部二值模式(LBP)算子对Gabor变换后的人脸图像进行处理；(3-4)将局部二值模式算子处理后的人脸图像按照空间金字塔模型按层次分块，单独统计每一层次中每一块的直方图信息；(3-5)将所有层次与分块上的直方图信息组合成所述底层特征。
4.根据权利要求1所述的人脸图像搜索方法，其特征在于，所述步骤(8)包括以下子步骤(8-1)对所述文本进行分词，并得到若干关键字；(8-2)根据所述关键字检索所述文本索引，以得到与所述文本相关的候选图像集合； (8-3)提取所述图像的特征向量；(8-4)将所述特征向量与所述候选图像集合中的图像进行相似度匹配，并返回匹配结^ ο
5.根据权利要求4所述的人脸图像搜索方法，其特征在于，在所述子步骤(8-4)中，是采用如下公式计算两幅图像R1, R2的相似度S (R1, R2)
6.一种多特征融合的人脸图像搜索系统，包括数据获取模块(1)，人脸图像过滤模块 O)、特征提取模块(3)、索引模块G)、检索模块(5)，其特征在于，所述数据获取模块(1)用于从互联网上获取图像以及图像周围的文本信息，并将所述图像和所述文本信息分别存入原始图像库以及文本库；所述人脸图像过滤模块(2)用于过滤掉所述原始图像库中非人脸图像以及不规则的人脸图像，保留规则的人脸图像，并将所述人脸图像存入人脸图像库； 所述特征提取模块C3)用于提取人脸图像的底层特征；所述索引模块(4)用于对所述底层特征降维并存入特征库，对所述底层特征建立特征索引，并将所述特征索引存入特征索引文件，对所述文本库中的文本信息建立文本索引，并将所述文本索引存入文本索引文件；所述检索模块( 用于接收用户提交的文本和图像，在所述文本索引文件中检索所述文本，根据文本的检索结果在所述特征索引文件中检索所述图像，并将图像的检索结果返回给所述用户。
7.根据权利要求6所述的人脸图像搜索系统，其特征在于，所述人脸图像过滤模块( 包括基于文本过滤子模块(21)、基于内容过滤子模块02) 和基于规则过滤子模块03)，所述基于文本过滤子模块用于采用基于文本的过滤方法，分析所述文本库对应的网页内容，对所述网页内容进行相关性预测，以过滤掉与人脸相关性差的网页；所述基于内容过滤子模块0 用于采用基于图像内容的过滤方法，用AdaBoost Cascade算法过滤所述非人脸图像；所述基于规则过滤子模块03)用于采用基于规则的过滤方法，根据所述用户的检索需求过滤掉所述不规则的人脸图像。
8.根据权利要求6所述的人脸图像搜索系统，其特征在于，所述特征提取模块C3)包括人脸归一化子模块(31)、Gabor处理子模块(32)、LBP处理子模块(33)、分块特征提取子模块(34)、特征合成子模块(35)，所述人脸归一化子模块(31)用于采用线性插值归一化的方法对所述人脸图像进行处理；所述Gabor处理子模块(3 用于采用Gabor过滤子对处理后的人脸图像进行多尺度多方向Gabor小波变换，以提取所述人脸图像的局部特征；所述LBP处理子模块(3 用于采用局部二值模式(LBP)算子对Gabor变换后的人脸图像进行处理；所述分块特征提取子模块(34)用于将局部二值模式算子处理后的人脸图像按照空间金字塔模型按层次分块，单独统计每一层次中每一块的直方图信息；所述特征合成子模块(3 用于将所有层次与分块上的直方图信息组合成所述底层特征。
9.根据权利要求6所述的人脸图像搜索系统，其特征在于，所述索引模块(4)包括人脸特征降维子模块Gl)、人脸特征索引子模块0 和文本索引建立子模块(43)；所述人脸特征降维子模块Gl)用于使用特征降维方法对维数较高的人脸特征进行降维，得到较低维度的人脸特征；所述人脸特征索引子模块0 用于使用特征聚类方法对人脸特征建立聚类索引； 所述文本索引建立子模块^幻用于使用倒排索引技术建立文本关键字到相关图像的索引。
10.根据权利要求6所述的人脸图像搜索系统，其特征在于，所述检索模块( 包括文本分词子模块(51)、文本检索子模块(52)、特征提取子模块 (53)以及图像检索子模块(54)，所述文本分词模块(51)用于对所述文本进行分词，并得到若干关键字； 所述文本检索子模块(5 用于根据所述关键字检索所述文本索引，以得到与所述文本相关的候选图像集合；所述特征提取子模块(5 用于提取所述图像的特征向量；所述图像检索子模块(54)用于将所述特征向量与所述候选图像集合中的图像进行相似度匹配，并返回匹配结果。
全文摘要
本发明公开了一种多特征融合的人脸图像搜索方法，包括步骤从互联网上获取图像以及图像周围的文本信息，并将图像和文本信息分别存入原始图像库以及文本库；过滤掉原始图像库中非人脸图像以及不规则的人脸图像，保留规则的人脸图像，并将人脸图像存入人脸图像库；对人脸图像库中的人脸图像提取底层特征；对底层特征降维并存入特征库；对底层特征建立特征索引，并将特征索引存入特征索引文件；对文本库中的文本信息建立文本索引，并将文本索引存入文本索引文件；接收用户提交的文本和图像；在文本索引文件中检索文本，根据文本的检索结果在特征索引文件中检索图像，并将图像的检索结果返回给用户。本发明具有检索精度高，可靠性高，效率快的特点。
文档编号G06K9/46GK102567483SQ20111043032
公开日2012年7月11日 申请日期2011年12月20日 优先权日2011年12月20日
发明者文石磊, 章勤, 郑然 , 郭明瑞, 金海 申请人:华中科技大学