专利名称：基于图像特征多级过滤的图像匹配方法
技术领域：
本发明涉及一种图像匹配方法，更具体地涉及一种基于图像特征通过对图像库多 级过滤进行图像匹配的方法。
背景技术：
近年来，随着网络技术的发展和互联网的普及，多媒体数据迅速增加，因此兴起 了对多媒体数据管理等方面的研究。在很多的应用领域，人们需要对图像进行匹配和 识别。特别地，随着人们对图像检索需求的日益增加，相关的图像检索技术不断涌现。 图像检索的目的就是在大规模的图像库中找到满足检索者要求的图像，两者在内容上 一般有很大的相关性或相似性。传统的基于文本的检索技术已经无法满足人们对图像 检索的需求，为了解决这个问题，相关学者提出了基于内容的图像检索。基于内容的 图像检索技术就是根据图像的内容信息建立表征其特征的描述子，使用描述子在图像 库中查找具有相似特征描述子的图像。
在传统的图像检索系统中，使用的图像特征描述子有很多种，它们主要表征了图 像的颜色、纹理、形状等特征信息。如图像的颜色特征描述子有图像的颜色直方图、 颜色相关图、颜色矩等，纹理特征描述子有Tamura纹理特征、灰度共生矩阵、马尔 可夫随机场、Gabor滤波、小波变换等，形状特征描述子有基于边缘的描述子如边缘 直方图和基于区域的描述子如Hu矩等。虽然有很多的特征描述子，但是这些描述子 就单个而言往往仅在某一个或一些方面有效，它们或多或少在某些方面有一些缺陷， 不具有有效性。即没有哪个单独的特征描述子可以很有效地描述图像的特征，从而使 得获得十分有效的检索结果。因此，为增强识别和检索的准确度，基于内容的图像检 索领域面临的首要问题就是如何基于许多单个的图像描述子建立一个有效和稳健的 图像描述子。将多个单个的图像描述子进行适当地组合，充分地使得它们进行优势互 补，以形成一个新的更加全面的图像描述性特征向量是上述问题的一种很好的解决方 案。
图像识别和检索的准确性和复杂度之间是一对矛盾关系。即识别和检索准确性提高的同时往往会带来相应复杂度的增加；反之，若降低复杂度通常会导致识别和检索 的准确性的降低。因此，在进行图像匹配、识别和检索的过程中，应在两者之间做折 中，以达到满足性能要求的最佳设计。
对于多个描述子进行组合成特征描述向量是为了提高识别和检索的准确度考虑 的。怎样对多个图像描述子进行组合一直以来是一个未能很好解决的问题，多个描述 子之间既有交叉性也有矛盾性，很难同时地进行综合考虑。但是这种特征的组合的代 价是识别和检索复杂度的增加，假使这种组合的特征向量存在，它往往依赖多个特征 描述子，从而达到很高的维度，无论从特征提取还是检索方面，相应的复杂度将有很 大的增加。因此，如何解决上述折中问题是图像识别和检索领域中的一个重大难点。
图像检索实际上是在图像库中査找匹配的图像，它是一种图像匹配问题。
发明内容
技术问题为了解决上述问题，本发明的目的是提供一种基于图像特征多级过滤 的图像匹配方法，该图像匹配的系统结构设计解决方案。
技术方案为实现本发明的目的，提供一种考虑将多种特征描述子有效结合，通 过对图像库多级过滤进行图像匹配的方法。
在一个实施例中，本发明提供一种在包含多个图像的图像数据库中进行匹配相似 图像的方法。该方法包括如下步骤
步骤101:图像预处理。对图像格式和尺寸进行规格化；
步骤102:确定图像匹配的折中选择方案。根据准确性和复杂度的要求，进行折 中选择，从特征提取算法集合中选择合适的特征描述子及它们的组合方案，并输出图 像多级过滤结构；
步骤103:提取图像的特征。按照步骤S2选择出的特征描述子进行特征提取，获 得图像特征描述向量；
步骤104:使用图像特征向量在图像库中进行相似度匹配。按照步骤102得到的 多级过滤结构逐级计算査询图像特征描述向量与图像库图像特征索引间的相似度，通 过逐级过滤不断縮小检索范围，最终得到匹配结果，并将匹配结果反馈到图像数据库 中。
所述图像预处理步骤包括
步骤201:对图像进行格式规格化，统一获得其RGB分量的图像数据。因为输入的图像往往有如JPEG， BMP, PNG， GIF等多种格式，后续的处理一般基于图像的像素 值数据，即RGB分量，所以用RGB分量来对多种图像格式进行统一；
步骤202:对图像进行尺度规格化，将获得的图像尺度控制在合适的范围内。对 于尺度(这里指图像的长和宽的像素数)过大的图像，经过插值得到尺度适中的图像 RGB分量数据。如长或宽适中的尺度范围可选择为256 512像素。
所述折中选择方案步骤参照专利"基于多种特征的图像匹配方法"。
所述相似度匹配步骤包括
步骤501:获取多级过滤结构参数以及图像库的特征索引；
步骤502:计算多级过滤结构的第i级内各特征描述子和图像库经第i-1级过滤
后通过的第j幅图像之间的距离，将该级内的距离加权作为图像库第j幅图像的相似
度s(i，j)，转步骤503;
步骤503:当步骤502计算出的s(i，j)大于第i级阈值Th(i)时，图像库图像j 通过该级过滤，转步骤505，否则，进入步骤504;
步骤504:将该图像过滤掉；
步骤505:判断是否是本级的最后一张图像；若是，则转步骤506，否则，转步骤
502;
步骤506: i = i + l，进入第i + l级计算相似度；转步骤507;
步骤507:判断是否是过滤结构的最后一级；若是，则转508，否则转步骤502; 步骤508:输出最后一级的匹配结果，即通过多级过滤的图像，并将其反馈到图
像数据。
所述图像数据库包括通过离线的方式提取出图像库中图像的所有特征描述子，
图像的基本文本信息，图像的检索记录等统计数据，利用检索算法构建图像特征索引。
所述匹配结果反馈到图像数据库包括将图像的匹配结果关联到相应图像的匹配
记录等统计数据，这些统计数据可以用来对图像的传播或使用(如互联网上的图像检 索)的研究分析以及匹配算法和系统的性能改进。
有益效果相对于现有的图像匹配方法，本发明的优点在于首先，可以根据 实际需要在实现复杂度和性能要求之间折中考虑，从而获得最佳的可行方案；其次， 使用多级匹配过滤结构对图像库进行匹配，这种方法加快了图像库匹配的速度。
图1是本发明的基于多级过滤匹配方法的流程图。
图2是说明图像预处理单元的流程图。
图3是说明折中选择单元主要步骤的实现流程图。
图4是说明一个实施例的多级匹配过滤结构及其匹配过滤过程。
图5是说明多级过滤匹配单元的实现流程图。
具体实施例方式
下面将结合附图对本发明加以详细说明，应指出的是，所描述的实施例仅旨在便 于对本发明的理解，而不对其起任何限定作用。
图1是说明根据本发明的基于多级过滤的图像匹配方法的实施主要步骤的流程 图。参照图l，该方法包括图像预处理单元，用于提取查询的图像的RGB数据和进 行尺度的规格化，后续的图像特征提取算法都是以预处理后的图像数据为基础的；折 中方案选择单元，对多种图像特征描述子进行合理选择和组合，通过对识别检索的准 确性和复杂度的折中构造出一个优化的多级过滤结构用于匹配(实际操作中，因在匹 配前就已经确定了准确性和复杂度的要求，所以在匹配之前就己经确定了折中方案)； 图像特征提取单元，提取在折中方案选择单元中选择的图像特征，构建图像特征描述 向量；多级过滤匹配检索单元，将图像特征提取获得的特征描述子按照折中方案得到 的多级过滤结构进行组合，并在图像库特征索引中检索，最终得到匹配结果。
图1中的步骤101的具体实现流程可以由图2说明。参照图2,首先，对图像进 行格式规格化，对所有待处理的图像获得一个统一的RGB分量数据(步骤201);接着， 对得到的RGB数据进行图像的尺度规格化(步骤202)。因为待处理的图像尺度可能有 很大的范围，长和宽的维度从几十到几千不等，这给后续的处理带来的不便。将图像 的尺度(长和宽的维度)使用插值的方法规格化到合适的范围(如256 512之间)， 可以降低后续处理的复杂度，方便实际系统设计中的资源管理。
图1中的折中方案选择单元(步骤102)可以由图3说明。对于图像匹配检索有 很多的特征提取方法，用于提取出图像的特征描述子。若要能充分利用这些描述子的 特性和性能，将它们进行有效的组合，便可以设计出一个优化的检索方案。基于这种 想法的考虑，折中方案选择单元的目的就是获取特征描述子的性能指标，以及对它们 进行有效地组合。具体地实施过程参见专利"基于多种特征的图像匹配方法"中的相关说明。
图4中是该实施例多过滤级匹配结构的一个具体描述。由实施例中的特征描述子 {颜色直方图、颜色矩、边缘直方图}可以分成两级，步骤401和步骤403是这个两级 结构的具体描述。其中步骤402描述了在第一级中使用颜色直方图和颜色矩相结合， 进行图像库图像的过滤；步骤403描述了使用边缘直方图进行第二级的过滤。图4描 述了使用这个两级过滤结构进行过滤的过程。步骤401是输入的待处理图像的特征向 量，在本实施例中是图像的颜色直方图、颜色矩和边缘直方图。步骤405描述图像特 征库，将图像库中图像的上述三个特征提取出来保存为图像特征库。在每一级过滤的 过程就是衡量待处理图像和图像库特征(在每一级内评估的特征)之间的相似度，相 似度低于某个阈值的图像库特征即被过滤。最后，两级匹配过滤后的结果在步骤404 获得。
图1中的特征提取单元(步骤103)是根据步骤102选择出的特征描述子，选择 相应的特征提取算法提取出对应的特征描述子。在一个实施例中，步骤102选择出颜 色直方图特征描述子，在步骤103中的操作为使用颜色直方图提取算法，计算出图 像的颜色直方图，并将其作为图像的特征描述子向量传递给下一级匹配检索单元(步 骤104)。
图1中的多级过滤匹配单元(步骤104)根据步骤102确定的多级过滤结构进行 图像库的匹配检索。从上一级到下一级匹配检索的准确度逐级增加，参与匹配的图像 库图像数逐级减少，从而在尽量满足准确度的指标时，尽可能地降低匹配检索的复杂 度。参见图5，在步骤501中获取步骤102中确定的多级过滤结构的参数和图像库特 征索引。在匹配检索过程中在第i级求得査询图像和图像库图像的相似度，(步骤 502 步骤505)，若相似度s(i， j)小于该级的阈值Th(i)(步骤503)，则将图像j过 滤掉(步骤504)，指该图像不再参与下一级的匹配检索，与査询图像不匹配或不相似。 当参与第i级相似度匹配计算的所有图像在第i级匹配完成后(步骤505 步骤506)， 进入通过第i级的图像库图像(未被过滤)下一级进行再次地相似度计算(步骤502 步骤505)。当最后一级过滤完成之后(步骤507 步骤508)，通过最后一级的图像库 图像即为匹配的结果(步骤508)。为了使得便于后续的匹配性能和匹配算法结构的改 进，将匹配的结果反馈到图像数据库保存。
权利要求
1、一种基于图像特征多级过滤的图像匹配方法，其特征在于该方法包括如下步骤步骤101.图像预处理对图像格式和尺寸进行规格化；步骤102.确定图像识别匹配的折中选择方案根据准确性和复杂度的要求，进行折中选择，从特征提取算法集合中选择特征描述子及它们的组合方案并输出图像多级过滤结构；步骤103.提取图像的特征按照步骤102选择出的特征描述子进行特征提取，获得图像特征描述向量；步骤104使用图像特征向量在图像库中进行相似度匹配按照步骤102得到的多级过滤结构逐级计算查询图像特征描述向量与图像库图像特征索引间的相似度，通过逐级过滤不断缩小检索范围，最终得到匹配结果，并将结果反馈到图像数据库中。
2、 按权利要求l所述的基于图像特征多级过滤的图像匹配方法，其特征在于，所述图像预处理步骤包括步骤201:对图像进行格式规格化，统一获得其RGB分量的图像数据；输入的图像有JPEG，BMP, PNG， GIF等多种格式，后续的处理是基于图像的像素值数据即RGB分量，用RGB分量来对多种图像格式进行统一；步骤202:对图像进行尺度规格化，将获得的图像尺度控制在合适的范围内，对于图像的长和宽的像素数即尺度大于512像素的图像，经过插值得到尺度为256 512像素的图像RGB分量数据。
3、 按权利要求1所述的基于图像特征多级过滤的图像匹配方法，其特征在于，所述相似度匹配包括步骤501:获取多级过滤结构参数以及图像库的特征索引；步骤502:计算多级过滤结构的第i级内各特征描述子和图像库经第i-l级过滤后通过的第j幅图像之间的距离，将该级内的距离加权作为图像库第j幅图像的相似度S(i， j)，转步骤503;步骤503:当步骤502计算出的s(i, j)大于第i级阈值Th(i)时，图像库图像j通过该级过滤，转步骤505，否则，进入步骤504;步骤504:将该图像过滤掉；步骤505:判断是否是本级的最后一张图像；若是，则转步骤506，否则，转步骤502;步骤506: i=i+l，进入第i+l级计算相似度转步骤507;步骤507:判断是否是过滤结构的最后一级；若是，则转508,否则，转步骤502;步骤508:输出最后一级的匹配结果，即通过多级过滤的图像，并将其反馈到图像数据。
4、 按权利要求l所述的基于图像特征多级过滤的图像匹配方法，其特征在于，所述图像数据库包括通过离线的方式提取出的图像库中的图像所有特征描述子，图像的基本文本信息，图像的匹配记录的统计数据，利用检索算法构建图像特征索引。
5、 按权利要求l所述的基于图像特征多级过滤的图像匹配方法，其特征在于，所述匹配结果反馈到图像数据库包括将图像的匹配结果关联到相应图像的匹配记录统计数据，这些统计数据用来对图像的传播或使用的研究分析以及匹配算法和系统的性能改进。
全文摘要
基于图像特征多级过滤的图像匹配方法，该方法包括图像预处理单元，用于提取查询的图像的RGB数据和进行尺度的规格化，后续的图像特征提取算法都是以预处理后的图像数据为基础的；折中方案选择单元，对多种图像特征描述子进行合理选择和组合，通过对识别检索的准确性和复杂度的折中构造出一个优化的多级过滤结构用于匹配；图像特征提取单元，提取在折中方案选择单元中选择的图像特征，构建图像特征描述向量；多级过滤匹配检索单元，将图像特征提取获得的特征描述子按照折中方案得到的多级过滤结构进行组合，并在图像库特征索引中检索，最终得到匹配结果。
文档编号G06F17/30GK101515286SQ20091002926
公开日2009年8月26日 申请日期2009年4月3日 优先权日2009年4月3日
发明者苗 凌, 姚伟峰, 川 王, 桥 王 申请人:东南大学