专利名称：基于图像小波特征的图像检索与过滤装置及方法
技术领域：
本发明涉及一种用于图像检索与过滤的设备和方法，尤其涉及一种基于小波特征的抗 旋转、加噪、滤波等操作以及尺度变化的快速图像检索与过滤设备和方法。
背景技术：
近年来，随着互联网技术和多媒体技术的不断发展，海量的图像和视频文件通过互联 网以及其他电子媒介广泛传播。这一新情况的出现提出了新的问题首先，对于政府和一些 公司而言，如何对这些多媒体内容进行有效监控和过滤，是一项涉及到国家信息安全和企业 信息安全的迫切而重要的任务；其次，对广大互联网用户而言，能不能提供一种快速而准确 的检索技术，使得用户能够像检索文本一样，在浩如烟海的网络中检索到其所需要的图像； 最后，对于多媒体文件著作权的拥有人而言，能不能提供一种快速的近复制(near duplication)文件检索策略，从而实现版权的有效保护和侵权行为的快速发现。由于图像资 料的文本特征(如文件名)并不是一个鲁棒的特征，很容易被改变，所以目前比较成熟的基 于文本的检索和过滤方法在图像检索、过滤以及保护资料方面并不可靠。
20世纪90年代以来，基于内容的图像检索技术(Content Based Image Retrieval,以 下简称为CBIR)逐渐成为图像检索和过滤的主流技术。CBIR技术的基本思路是通过对图 像本身进行分析、提取出一些有意义的特征(如颜色特征、纹理特征、形状特征等)，并利 用这些特征作为检索和过滤图像的依据。沿着这个思路，工程界和学术界提出了很多的图像 特征和检索算法，典型的有颜色直方图特征、灰度共生矩阵以及SIFT特征等。也出现了利 用这些特征来进行图像检索和过滤的一系列系统，典型的有IBM的QBIC、 Virage公司的 Virage系统等。
但是，这些系统都存在一个共性的问题，那就是它们使用的特征(如纹理特征、图像直 方图以及形状特征)属于图像的底层特征，而这些特征对于滤波、加噪等操作比较敏感。一 般情况下，经过加噪、滤波操作后，图像的特征会有比较大的变化，因此很可能通过这些特 征检测不出那些经过这些操作的图像。
为了解决这一问题，MIT在开发其图像检索系统Photobook时提出了 "保留语义的图像 压縮"的概念，引导我们用图像压縮的观点去审视图像的特征提取过程。著名的开源软件 ImgSeek从图像的哈尔变换(Haar Transform)所得的系数中提取图像的特征，将它作为检 索的依据，结果表明，这种特征对滤波、加噪操作具有很强的鲁棒性，而且由于小波变换本 身的多分辨率性质，该特征对于尺度变换也有不变性。
但是由于哈尔变换的系数是随图像的旋转而变化的，所以ImgSeek提出的方法并不能实 现特征的旋转不变性；而且Imgseek提出的图像特征形式比较复杂，不利于特征的存储和 匹配，在速度和存储空间上还有较大的提升空间。
发明内容
技术问题为解决以上问题，本发明的目的是提供一种用于使用小波变换技术和"类树 型结构"扫描产生图像的特征，并用该特征来实现图像的检索和过滤，从而实现特征的旋转 不变性和特征的快速有效匹配和有效存储的基于图像小波特征的图像检索与过滤装置及方 法。
技术方案为了实现上述目的一方面，提供一种用于有效检索和过滤图像的装置，该装 置包括特征提取单元，用于通过小波变化和特定的处理和扫描顺序，高效地提取图像的特 征；匹配打分单元，用于对待检索图像特征和库中图像特征的匹配度进行评估，并输出匹配 度打分。
所述装置包括
特征提取单元输入待査询特征图像，通过对阈值化后的小波变换系数进行"类树型结 构"扫描，从而高效地提取图像的特征，并输出到匹配打分单元；
匹配打分单元用于对待检索图像的特征和图像特征库中图像特征的匹配度进行评估， 并输出匹配度打分；
其中，所述特征提取单元包括
尺寸矫正器输入待査特征图像，通过对输入图像进行縮放使得图像的长宽一致，将处 理后的信号输出到小波变换器；
小波变换器对由上述尺寸矫正器得到的图像进行小波变换，其中小波变换执行到最低 分辨率图像的尺寸为2X2为止，得到图像的二维小波系数输出到特征提取器；
特征提取器包括阀值量化器、扫描器，通过对上述小波变换器输出的数据进行处理， 最终得出图像的一维特征，其中
闳值量化器用于对特征提取器输出数据进行阈值量化；
扫描器用于把上述阈值量化器的输出分成四组，并分别对每组进行"类树型结构"扫 描，接着把这四组特征组织成一个一维向量，最终输出图像的一维特征。
所述的一种基于小波特征的图像检索与过滤装置的图像检索与过滤方法包括以下步骤
a) 尺寸矫正器，用于将输入图像的尺寸縮放到固定的尺寸；
b) 通过对待检索图像作小波变换，把所得小波系数分为四个管理区并对其进行阈值化， 然后按照"类树型结构"分别对每个管理区进行扫描；在扫描每个管理区时，按照分辨率由 低到高的顺序，分别存储该管理区内各层中小波系数大于阈值和小于阈值的相反数的系数的 个数，组成每个管理区的特征；
C)按照分辨率由低到高的顺序存储四个存储区相应层数的特征，在每个分辨率层次上, 四个存储区的按升序、降序、顺时针、逆时针顺序排列，最终生成图像的一维特征；
d)把所得的图像特征与库中图像特征按照加权打分策略进行相似度评估，并输出打分。
3. 根据权利要求2所述的基于小波特征的图像检索与过滤方法，其特征在于，对图像做 小波变换时，小波变换执行到最低分辨率图像的尺寸为2X2为止。
4. 根据权利要求2所述的基于小波特征的图像检索与过滤方法，其特征在于，对每个管 理区进行扫描时，扫描方式按照"类树型结构"进行。此处的"类树型结构"指按照分辨率 由低到高的顺序组织管理区，每个分辨率作为一层而形成的结构。
最好，所述特征提取单元包括尺寸矫正器，用于通过对输入图像进行插值运算使得图得到图像的二维小波系数；特征提取器，用于通过对上述小波变换器输出的数据进行相应处 理，最终得出图像的一维特征。
最好，所述小波变换器在输入图像信号上执行小波变换直到最低分辨率图像的尺寸为2X2。
最好，所述特征提取器包括阈值量化器，用于对特征提取器I输出数据进行阈值量化; 扫描器，用于把上述阈值量化器的输出分成四组，并按照一定顺序和特定规则分别对每组 进行"类树型结构"扫描，最终输出图像的一维特征。
为了实现上述目标另一方面，提供一种用于有效检索和过滤图像的方法，该方法包括 扫描器，用于把上述阈值量化器的输出分成四组，并按照一定顺序和特定规则分别对每组进 行"类树型结构"扫描，最终输出图像的一维特征；匹配打分单元，用于对待检索图像特征 和库中图像特征的匹配度进行评估，并输出匹配度打分。
有益效果相对于现有的基于小波变换的图像检索与过滤方法，本发明的优点在于首 先，本发明对传统的小波特征进行了改进，在保留了传统小波特征对噪声和滤波以及尺度变 换的鲁棒性的前提下，部分实现了图像特征的旋转不变性，即在图像的旋转角度为90度的 整数倍或在90的整数倍附近时，图像特征不变或变化很小，因为这些角度是最常用的旋转 角度，从而提供了一种性能更强的图像特征；其次，通过扫描顺序和扫描方式的改进，实现 了图像特征的简化，从而减少了存储空间和匹配时间，使得匹配速度进一步提高。
通过参考附图详细描述其优选实例，本发明的上述目的和优点会变得更加清楚，其中 图1是本发明的用于基于小波特征的图像检索和过滤的设备的方框图。 图2是本发明管理区的划分示意图。
图3是本发明管理区的扫描"类树型结构"。 图4是本发明管理区特征结构示意图。 图5是本发明图像特征结构示意图。 图6是本发明管理区图像特征计算流程图。
以上的图中有特征提取单元2000、尺寸矫正器2010、小波变换器2020、特征提取器 2030、阀值量化器2031、扫描器2032，匹配打分单元2100、尺寸矫正器2010、小波变换器 2020、特征提取器2030、阔值量化器2031、扫描器2032。
具体实施例方式
图1是根据本发明的优选实例的用于过滤或检索图像的设备的方框图。图1的设备包括 特征提取单元2000、匹配打分单元2100。
所述特征提取单元2000首先对输入图像信号(即待检索图像)进行尺度矫正，并对矫 正后图像进行多级小波变换获得的变换系数，接着对所得变换系数进行阈值化处理并进行扫 描，最终获得图像的一维特征。为了完成它，该特征提取单元2000包括尺寸矫正器2010、 小波变换器2020 (在本优选实例中选用Haar小波)，以及特征提取器2030。
下面详细介绍特征提取单元的流程
首先，为了防止图像太大从而影响处理速度和缓冲空间，尺寸矫正器2010将对输入图 像进行缩放，输出一个大小为MxM的图像，这里为了计算Haar小波的方便，要求M为2的幂次。
经由尺寸矫正器2010的尺寸变换获得的图像信号被传输给Haar小波变换器2020。 此后，Haar小波变换器2020对获得的数据作Haar变换直到最低分辨率图像的尺寸为2 X2，在本优选实例中，即对获得的数据作(lQg2M-1)层的哈尔小波变换。考虑到Haar小 波变换后数据的能量主要集中在低频子带，而且小改动和噪声一般体现在高频子带。为了简 化运算并提高特征对加噪和小改动的不变性，取系数的前尺x《维(在本优选实例中 M = 32)。
经由Haar小波变换器2020获得的32X32维数据矩阵被传输给特征提取器2030。 特征提取器2030是本发明的一个关键，它将Haar小波变换器2020获得的数据矩阵转
化成一维图像特征。为了完成它，该特征提取器2030包括阈值量化器2031，以及扫描器
2032.
特征提取器2030的操作流程如下
首先由阈值量化器2031将Haar小波变换器2020输出的32 X 32维矩阵除左上角的2 X 2 子块外的其余元素，按照阈值A) =2[1°82("1^)」进行量化，其中max对矩阵中绝对值最大的元 素取绝对值而得。量化的规则为对矩阵v4的元素"(/，/)而言，如果fl(/,力大于等于max, 则将该元素量化为l;如果a(/,/)小于等于max负值，则将该元素量化为-l;否则，量化为0。 于是，由矩阵J得到矩阵5。数学描述如下
1 ， a(/， _/) 2 max
6(z'，力=,-1 ^ - max
0 ，其他
然后如图2 ,由扫描器2032将阈值量化器2031输出的量化矩阵按照小波变换的分层方 式分为五层，每层分为四块，每块分别隶属于某个管理区(1， 2, 3或4)。这样矩阵就被分 为四个管理区，每个管理区都分布在五层中。然后，按照"类树型结构"分别扫描每个管理 区，扫描顺序是从第5层到第1层。图3展示了管理区/(/ = 1,2，3,4)的"类树型结构"的示 意图。每个管理区的特征提取方式如下从第5层到第1层扫描，对第五层直接提取其系数， 其余各层分别统计该层中1的数目和-1的数目，并按照图4的顺序排列成管理区特征，详细 扫描顺序和生成流程见图6。最后，把每个管理区特征作为一行，按照每个管理区第五层系数 的大小降序排列四个管理区特征，形成一个特征矩阵；并按照矩阵的列的顺序把矩阵抽取成 向量，最终生成图像的一维特征，特征的结构见图5。
匹配打分单元2100从特征提取单元2000中接收待检索图像的特征，并与采用相同方法 提取得到的图像特征库中的特征进行比较，并最终获得特征相似度打分。
下式给出了打分规则若特征向量的第i个元素相等，则分数加上w^);否则，就不加。 其中为元素i的权重。本优选实例设定为
'5，/ = 1，2，3,4 4,/ = 5,6广-，12 w(/) = ' 3,z' = 13，14，".，20 2，i = 21,22,"，28 1，/ = 29,30，'..，36
6最后，根据应用要求输出结果。若是图像检索，则按照打分降序排列库中图片，并按照 要求显示排在前面的若干幅图像；若是图像过滤，则将所得分数与给定阈值相比较，如有得 分大于阈值，则认为应予过滤。
根据本发明，通过对待检索图像执行多级小波变换，并对所得变换系数截取和阈值化进 行"类树型结构"扫描，并按照本发明的规则组织成图像特征。结果，在保留了小波特征对 噪声、滤波等常规操作的不变性的同时，又增加了对旋转操作的不变性，这里所谓的对某操 作的不变性是指如果对图像进行某项操作，所得图像的特征与原图像的特征相比变化很小； 同时，实现了特征的简化，加速了匹配速度，减小了存储空间。
以上内容是结合最佳实施方案对本发明所作的进一步详细说明，不能认定本发明的具体 实施只局限于这些说明。本领域的技术人员应该理解，在不脱离由所附权利要求书限定的本 发明的精神和范围的情况下，还可以对其进行形式和细节上的各种修改，都应当视为属于本 发明的保护范围。
权利要求
1.一种基于图像小波特征的图像检索与过滤装置，其特征在于所述装置包括特征提取单元(2000)输入待查询特征图像，通过对阈值化后的小波变换系数进行“类树型结构”扫描，从而高效地提取图像的特征，并输出到匹配打分单元(2100)；匹配打分单元(2100)用于对待检索图像的特征和图像特征库中图像特征的匹配度进行评估，并输出匹配度打分；其中，所述特征提取单元(2000)包括尺寸矫正器(2010)输入待查特征图像，通过对输入图像进行缩放使得图像的长宽一致，将处理后的信号输出到小波变换器(2020)；小波变换器(2020)对由上述尺寸矫正器(2010)得到的图像进行小波变换，其中小波变换执行到最低分辨率图像的尺寸为2×2为止，得到图像的二维小波系数输出到特征提取器(2030)；特征提取器(2030)包括阀值量化器(2031)、扫描器(2032)，通过对上述小波变换器输出的数据进行处理，最终得出图像的一维特征，其中阈值量化器(2031)用于对特征提取器输出数据进行阈值量化；扫描器(2032)用于把上述阈值量化器(2031)的输出分成四组，并分别对每组进行“类树型结构”扫描，接着把这四组特征组织成一个一维向量，最终输出图像的一维特征。
2. —种如权利要求l所述的一种基于小波特征的图像检索与过滤装置的图像检索与过滤方法，其特征在于该方法包括以下步骤a) 尺寸矫正器，用于将输入图像的尺寸縮放到固定的尺寸；b) 通过对待检索图像作小波变换，把所得小波系数分为四个管理区并对其进行阈值化，然后按照"类树型结构"分别对每个管理区进行扫描；在扫描每个管理区时，按照分辨率由低到高的顺序，分别存储该管理区内各层中小波系数大于阈值和小于阈值的相反数的系数的个数，组成每个管理区的特征；c) 按照分辨率由低到高的顺序存储四个存储区相应层数的特征，在每个分辨率层次上， 四个存储区的按升序、降序、顺时针、逆时针顺序排列，最终生成图像的一维特征；d) 把所得的图像特征与库中图像特征按照加权打分策略进行相似度评估，并输出打分。
3. 根据权利要求2所述的基于小波特征的图像检索与过滤方法，其特征在于，对图像做 小波变换时，小波变换执行到最低分辨率图像的尺寸为2X2为止。
4. 根据权利要求2所述的基于小波特征的图像检索与过滤方法，其特征在于，对每个管 理区进行扫描时，扫描方式按照"类树型结构"进行。
全文摘要
基于小波特征的图像检索与过滤装置及方法，涉及一种图像检索与过滤方法，尤其涉及一种基于小波特征的对旋转、加噪、滤波和尺度变换操作具有较强不变性的快速图像检索与过滤设备和方法。该设备包括特征提取单元，用于通过对阈值化后的小波变换系数进行“类树型结构”扫描，从而高效地提取图像的特征；匹配打分单元，用于对待检索图像特征和库中图像特征的匹配度进行评估，并输出匹配度打分。本发明实现了快速简单、旋转不变的目的。
文档编号G06F17/30GK101515285SQ20091002926
公开日2009年8月26日 申请日期2009年4月3日 优先权日2009年4月3日
发明者苗 凌, 姚伟峰, 川 王, 桥 王 申请人:东南大学