专利名称：多分辨率图象检索的方法和设备的制作方法
技术领域：
本发明涉及图象存贮与检索领域，特别涉及一种供检索图象数据库中所含特定图象的方法和设备。
图象数据库是含有图象数字信息的数据库，据调查它在商业和娱乐当中的应用正在日益增长。然而，图象数据库的广泛应用，增强了对这类数据库开发更加有效的检索方法的需要按照基本的方法，一个数据库就是一个相关数据的集合。数据库中的数据常是由表格、信息组以及记录组成的结构。在一般情况下，数据库中的每个记录具有一组特性，而一位用户可以根据一个或多个特性值想对数据库进行一次检索。例如，在足球统计的数据库中，人们可以希望检索所有在一个赛季中拦球成功100次或更多次的后卫，等等。
在进行这样的一种检索当中，假设每个记录具有几个特性，而用户要求检索具有确定特性的确定值的记录。所想检索的记录的特性称为询问，通常限于三种类型之一a)一项简单的询问，给定一种特定特性的特定值；例如“投掷臂＝左”；或“投掷臂＝右”，b)一段范围；给定一种特定特性的特定数值范围；例如，“重量＜220”或“180＜重量＜220”；以及c)一次“布尔运算，诸如(投掷臂＝左)”与“(高度＞6′)”与“(完成＞99)”。
遗憾的是，由于图象数据往往不用特性描绘进行注释，因而这样一种以询问为基础的方法不能解决图象数据库的检索问题。从而，对图象数据库开发高效、快速和准确的检索方法就不断引起人们的关注和需要。
因而，现有技术已经表现出日益关注于按照图象内容检索图象数据库。参见例如由M.弗利克纳等人于1995年9月发表在“计算机”杂志第28卷第9期第23-32页的“按照图象和视频内容进行的询问QBIC系统”一文。为了进行这样一种以内容为基础的图象检索，人们要选择一个典型的图象样板并询问数据库查找“看来象”此图象样板的图象。这一问题的取代形式为“在波形B中何处出现信号A？”。
在向后者的这一问题提供答复当中，现有技术利用了从信号处理到测量图象相似性的相关技术，这种相似性的测量是与用于信号相似性的测量方法十分相同。这样的相关技术要求对一图象x和一检索图形y进行循环相关的计算，其中的循环相关是由下式给出的数学运算所定义的。(x·y)j=Σi=0i=N-1x(i+j)modNyi.]]>它用于整个本发明申请，输入的变量用小写字母x和y表示，其中x为若干可能图象中的一种，而y则为图象数据库中所含的一幅固定图形或是按图象形式寻找的子图象。注意当图象是二维时，在这里都是用一维的行矢量x和y进行讨论，从而简化了所用的标注。熟练的技术人员将会很容易明白怎样直截了当地向二维推广。此外，除非是另有明显的表示，x和y矢量两者与N所描述的长度相同。为了进行检索运算，若是寻找的图形y比x短，则将其长度增加Os使y调至长度N。最后，xT用于表示x的转置，它使N×1行的行矢量x转换为1×N的列矢量。
用于检索运算的基本运算是x对y的循环相关，它是按下式所给的数学运算定义的(x·y)j=Σi=0i=N-1x(i+j)modNyi.]]>典型的情况是，和其它函数一起使用循环相关，使之产生一个新的函数，它的峰值指示位置在x内与y有最佳匹配。在运算中，循环相关由两个矢量长度N产生一个矢量长度N。
这里所用的符号(x·y)i↓R表示取相关运算分量的子样，它的标志相当于i对R的模。例如，若R＝4和i＝1，子样运算从x和y的循环相关取出单元1、5、9、13、...。从而，称(x·y)i↓R为(x·y)的子段i。
本发明申请有利于使用图象的子波变换。图象x的子波变换是为了进行H的子波变换，其中H是一个N×N的矩阵，用N-矢量HxT表示。由于子波变换导致变换成许多小量值分量的矢量，它们可以用较小的数位表示，因而有利于图象压缩。往往这些分量用Os来取代，这是在子波变换中的高效编码。熟练的技术人员很容易明白这不仅减少了图象的表示，还减少了处理子波变换所需的时间，就如同由于任何零分量在数学运算中未经处理一样。
在随后的讨论中，假设子波变换矩阵H具有一种特殊的结构。具体地说，H假设是具有方框尺寸R的方框对角线。按照定义，这意味着H可以划分成具有R×R尺寸的个别的方框，并且所有的方框在H之中一除去那些落于对角线仅含Os的个别方框。通过举例说明，下面的矩阵Y是一个具有方框尺寸3的方框对角线矩阵。它的对角线方框是彼此相同的，而随后的讨论被限制于在其对角线以下具有相同方框的方框对角线矩阵。Y=110000010000211000000110000010000211]]>1993年6月发表在“电气和电子工程师协会会刊(IEEETrans.)信号处理分册”，第41卷，第6期，第2110-2130页的题为“正交和双正交的滤波器排成旋转器以及旋转的编码增益”一文中，由P.瓦伊迪耶纳坦(P.Vaidyanathan)证明了变换矢量的卷积定理(此后称之为“瓦伊迪耶纳坦原理”。瓦伊迪耶纳坦原理陈述给出了x和y的子波变换，没有从子波域返回象素域的第一变换x和y就可以找到x和y的循环旋转的一些分量。可以如
图1那样用图解描绘该原理。
根据这一原理并参照图1，当H是具有方框尺寸R并沿对角线有相同方框的方框对角线时，且HTH＝IN，其中IN为尺寸N的同一矩阵，则经计算所有x和y的子段循环相关并将这些相关的分量逐个加在一起，就可以从x和y的子波变换求得x和y的循环相关的子带0。
注意此项计算不要求逆转子波变换。例如，若是N＝32以及R＝4，每一子段含8个分量，并有四个这样的子段。瓦伊迪耶纳坦原理要求形成x和y的4子段、计算各为长度8的4循环相关、而后逐个分量将它们加在一起产生一个长度为8的单一矢量。这一产生的单一矢量正好等于全矢量x和y循环相关的子带O。
循环相关的子带O只给出了低分辨型式的循环相关。而当其可以表示出对一特定的检索可能出现匹配时，仍留有不存在匹配的可能性。因而，一项有效的检索方法必须是在出现一次匹配时能够产生其余的循环相关分量以供解析。方便得很，瓦伊迪耶纳坦原理可以如图2中表示的那样扩展到计算循环相关的其它子带。
进一步参照图2，计算子带j，矢量x通过j位置周期性地左移，而后经过与计算子段O相同的过程进行处理。然而，这一计算方法的一项首要问题是过量的计算耗费。例如，若是假设计算子波变换和逆转子波变换的“费用”大致相等，则在图2中描绘的现有技术的方法表明计算x和y循环相关的全部子带的费用是用以计算x和y之一的R直接子波变换的费用与循环相关的费用加在一起。
然而，x和y的循环相关可以用一种替换的方法计算，即采取HxT和HyT的逆变换，随后经过象素域内的循环相关。这一替换的方法承担的费用相当于两个子波变换加上循环相关的费用。瓦伊迪耶纳坦方法要求R-1更多的子波变换。当用瓦伊迪耶纳坦方法处理时并且当用逆变换首先在象素域处理时，净成本的比较就取决于循环相关的相对成本。
显然，循环相关的成本取决它们是怎样计算出来的。如图3(a)所表示出的，著名的卷积定理提供了计算这些相关的一种有效方法。参阅图3(a)，它示出了一种计算x和y循环相关的方法。直接实现这一计算需要乘N2。图3(b)示出了对于足够大的N值的更加有效的执行程序。如图3(b)所示，为了计算x和y的循环相关，人们必须首先计算它们的付里叶变换；其次，在频率域逐点地乘付里叶系数Xi和Yi；以及第三，取逐点乘积的付里叶逆变换。(注意示于图3(b)的符号表示取付里叶变换的共轭复数，并且承担相当于取付里叶变换自身的费用。
由于每次正向或逆向的变换只要求大约有5NlogN次运算，而逐点的乘只要求N次，所以作为熟练的技术人员很容易明白，卷积定理提高了计算效率。要用更加自然的方法计算循环相关就往往需要比N2少得多的运算次数。为了对瓦伊迪耶纳坦方法与直接法作出比较，下面计算出每种方法的耗费。直接法1)逆变换HxT和HyT。(运算量2次子波变换)。
2)计算x和y的付里叶变换。(耗费2NlogN次运算)。
3)逐点乘。(耗费N次运算)。
4)变换返回至象素域。(耗费NlogN次运算)。总耗费2次子波变换加(3NlogN+N)次运算。气伊迪耶纳坦法1)对每一子带计算x的子波变换。(耗费R次子波变换，或在已有子带O时为R-1次子波变换)。
2)对每一子带计算长度N/R的R次循环相关。(耗费每一子带为NlogN-NlogR次运算；总的为RNlogN-RNlogR)。
很易看出，瓦伊迪耶纳坦方法的总耗费大约大到直接法的R倍，直接法首先移至象素域而后在那里进行快速相关。直接法不是进步的。为获取任何有意义的检索结果它要求进行全部计算过程。尽管瓦伊迪耶纳坦方法是进步的并能在完成全部运算之前不连续地工作，但在实际应用中它在计算上的耗费简直太大了。
因而，从技术上不断提出需要有方便、高效并且是耗费不多的方法和设备供检索数据库中所容纳的大量待选择的图象。
按照本发明的原理，通过利用子波压缩技术使图象被高度压缩并利用付里叶相关技术对图象数据库中所容纳的图象进行高速搜寻和检索，上述的问题得到了解决并使整个该项技术取得进展。
这种方法有利于在经过图象压缩的图象数据库中进行检索，无需先将它们解压。特别是，本发明的方法首先以低分辨率的运行检索压缩图象的数据库以获得在检索样本和待选图象之间的相关质量匹配。当匹配低于特定阈值时，可以不提供任何进一步检索的计算资源使检索结果。反之，当匹配在一特定阈值以上时，此方法提高待选图象的分辨率，而后进行另一次匹配。只要相关质量匹配在特定的阈值以上，待选图象的分辨率不断提高，直到在待选图象全分辨时作出匹配判断为止。
从另一方面看，本发明提供了一种有效地检索数据库中所容纳的图象的设备。下面参照附图详细描述本发明更多的特性和优点以及本发明各种各样实施例的结构和运用。
通过考察以下结合附图所作的具体描述就能易于理解本发明的技术，其中图1为图示产生循环相关子带O的现有技术方法；图2为图示产生循环相关其它子带的现有技术方法；图3为描绘一种卷积方法的图示；图4为本发明多分辨率法第一步的图示；图5为本发明在付里叶一子波域中进行的多分辨率法图示；图6为在右方框循环矩阵上进行多分辨率法的图示；以及图7为示出本发明多分辨率图象检索所进行步骤的流程图。
这里将要参照附图同时对本发明的一项最佳实施例进行描述，在以下描述过程中可能要同时参阅几幅附图。
本发明申请利用一种多分辨率技术，它克服了与现有技术有关的衰弱低效。通过补充另外的背景，在多分辨率子波分解中有一矩阵序列H1、H2、等等，使得每一连续的矩阵产生更细更细的子波变换。在下面的示例中，H2是一粗变换，它是具有方框尺寸R2的方框对角线，并作用在各有N/R2长度的R2子带上。H1是一细变换矩阵，它是具有方框尺寸N/R的方框对角线，并作用在各有N/R长度的R子带上。有一个校正矩阵U12，通过下式将H2精细成H1H1＝U12H2.矩阵U12是具有方框尺寸R2的方框对角线。方块U12包含R个交叉的复制方块矩阵，它在H1的对角线上。例如，让H2经下式给出粗的子波变换
细变换是经矩阵H1给出的，其结构由下式给出
校正矩阵U12为如下给出的矩阵
注意在一阶校正矩阵U12中的1和-1的图形与细子波变换矩阵中的相同除非是U12中1和-1是每2个相隔交叉以及它们位于H1中方块尺寸2之内和U12中方块尺寸4之内。
现在参照图4，它示出当把卷积原理用于瓦伊迪耶纳坦原理进行子波变换H1时的计算结构，H1是在对角线上具有同一方块尺寸R的方块对角线。
特别是，R循环相关由对矢量尺寸N/R起作用的付里叶变换F2取代。逐个分量相乘之后是进行付里叶逆变换以产生循环相关的子带O。其它的子带则可通过将此过程递归入多分辨率分析中计算出来。由于首先是计算中的耗费不超过子波逆变换的耗费并且随后通过在域内使用付里叶域的方法以及逐个分量相乘在象素域中有效地实行了循环相关，所以此过程是有效的。
对于一项多分辨率分析，得到如图4中所表示的子带O对R2的模的系数。在每一R2子带中有N/R2这样的系数。接着，应用图5所表示的关系借此得到子带O对R的模的系数。有N/R个这种系数，或是在粗分析中多达R次。
进一步参照图5，它示出两项相等的运算。在图5的上部中示出在H变换的子取样之后进行一次付里叶粗变换(F2)，而后示出如何从一个粗变换得到更细分辨率的付里叶变换。如图中所示，长度N/R2的R2矢量是由矩阵u12变换的。这些矩阵中的每一个都是尺寸为N/R2的正方形矩阵并且是使H2精细成H1的校正矩阵方块。
图5示出的粗变换是上层取样。上层取样使长度为N/R2的R2矢量相互交叉在一起以产生长度为N/R的R矢量。(通过上层取样通过两次以(10、12、14、16)与矢量(1、3、5、7)、(2、4、6、8)、(9、11、13、l5)交叉，产生矢量(1、9、3、11、5、13、7、15)和(2、10、4、12、6、14、8、16))。
在上层取样之后，并如图中所示，所产生的矢量经矩阵T12变换。此矩阵使作用于长度为N/R2的交叉矢量的付里叶变换校正成作用于长度为N/R的矢量的付里叶变换。也就是，T12满足下式F1＝T12(IR×F2).
式中的“交叉”运算表示一个矩阵的交叉乘积，在此情况下表示F2实际上是一个付里叶变换，它以长度为R的周期重复和交叉以从具有N/R2×N/R2尺寸的矩阵F2产生N/R2×N/R尺寸的矩阵F1。为进行T12所需的交叉变换F2输出的运算次数正比于N/R。熟练的专业人员会识别顶部的计算正好与底部的计算相等。也就是，在细变换H1的作用之后可以通过用校正矩阵u12和付里叶校正矩阵T12作用于子波粗变换的付里叶变换计算出付里叶变换F1。由于付里叶校正矩阵仅需用N/R次运算代替N/RlogN/R次运算，因而通过在顶部的计算显著减少了工作量。加之，它无需进行图4中的全部付里叶逆变换以获得循环相关的细子带。它只需计算尚未计算出来的子带，而这样所需的工作量较少。它要求人们以与N/R成正比的运算次数的全部步骤去进行对全部子带起作用的总运算，而正好在那时为未曾计算出的子带进行运算。若是R＝2，于是已知有一半的输出在子带O中，而只需进行其余一半的付里叶逆变换计算。
有益的是，本发明的多分辨率方法是递归的并能在图5所示的任何输出上重复以产生全分辨的检索。当进行全分辨率检索时所进行的计算量与曾按原始图象变换所进行过的子波逆变换计算量正好一样，而后接着进行从象素域到频率域的付里叶变换，在频率域逐点相乘，并作返回象素域的付里叶逆变换。
图7提供了本发明多分辨率检索进行所需步骤的一个概观。具体说来，对于一个特定的图象，在方框70将一图形样板变换成一子波图形。然后在方框71将一待选图象与变换的图形进行粗相关并在方框72作出判断变换图形是否适配待选图象。倘若不适配，则可选择另一待选图象或是放弃检索，79。若是适配，则待选图象为适度相关73并在方框74进行另一次相似匹配测试。经过方框75和77分别进行细相关与全相关类似程序在方框77和78经受一次适配检查。若在方框78找到适配的全相关图象，则找到了所检索的图象。
在以后的讨论中，采用了下列定义1、矩阵IN为尺寸为N×N的一个同一性矩阵。
2、符号A×B表示矩阵A和B的矩阵交叉乘积，有时称为克罗内克尔(Kronecker)乘积。
3、矩阵FN为作用于长度N的矢量上的一个付里叶变换矩阵。
4、矩阵FM，R为具有FM×IR结构的一个交叉的付里叶变换矩阵，它具有M尺寸变换的R交叉复制件。
5、矩阵TN，M，R是将FM，R变换成FN的一个付里叶校正矩阵。也就是，FN＝TN，M，RFM，R。熟练的专业人员将会识别能够通过一级R路蝶式运算法实现的TN，M，R。
6、矩阵C8为一个8×8的分离的余弦变换(DCT)矩阵，它在联合照相专家组(JPEG)的图象表示中用于产生8×8子图象的变换。
7、矩阵H为具有IM×C8结构的一个N×N矩阵，其中N＝8M。H矩阵产生一个N长度图象矢量的JPEG变换。
8、矩阵W为一个2×2的哈尔(Haar)变换矩阵。它给出为W=111-1]]>9、矩阵V2＝I4×W包含4个交叉的W的复制件，且尺寸为8×8。
10、矩阵V4，2具有V4，2＝I2×(W×I2)的结构。熟练的专业人员将会判明矩阵V4＝I2×(W×W)满足等式V4＝V4，2×V2。
11、矩阵V8，4满足等式C8＝V8，4V4，2V2。熟练的专业人员能够证明V8，4满足方程V8，4＝V(W×I4)，其中V是如下的矩阵
对于按JPEG格式存贮的给定图象，采用本发明的一项最佳多分辨率分析作如下描述。
1)为了对作为带有例证图象y的JPEG变换HxT存贮的N-矢量图象x进行相关，将图象扩展成与x相同的长度并计算其JPEG变换HyT。
2)粗相关-产生付里叶变换FM，8HxT和
。逐点乘变换并使它们分割成适量的M长度的子带。加上这些矢量，并取总量的付里叶逆变换。对于此例，每第八个点产生相关。
3)适度相关-用(T2M，M，8×I4)(W×I4)V-1乘FM，8HxT以及用
乘
以此产生四个交叉的2M尺寸的付里叶变换。逐点乘所产生的矢量，并将它们分割成四个子带。将子带相加，用以产生长度2M的单一矢量。取尺寸2M的付里叶逆变换，但在第一次蝶形运算之后，仅作用于产生奇数分量结果的单元。这就产生了用于表示全部相关的4对8的模的倍数的相关。
4)细相关-分别用(T4M，2M，4×I2)V4，2和
乘上述步骤的x和y变换。每一矢量包含两个尺寸4M的交叉付里叶变换。逐点乘这些变换，分割成两个子带并使子带相加。取结果的付里叶逆变换，并在第一级蝶形运算后，仅计算对奇数结果有贡献的项。这就产生了指示与2对8的模和6对8的模相等的相关的分量。
5)全分辨率-对于最后的步骤，分别用T8M，4M，2V2和
乘来自最后一步的x和y变换。重复进行分析，注意在变换矢量中以及在相关变换的结果中有一长度N＝8M的单一子带。
在这一点上，由本发明多分辨率分析产生的一些优点对于熟练的专业人员来说是显然可见的。具体地说，若是检索不继续进行，而它早就被发现，由于在检索中早就得到匹配的信息，在多分辨率分析中就可早一点结束检索。若是首先进行向图象域的变换或不是进行多分辨率分析，则在使用任何信息之前就要进行工作，而不能免除在以后发现的检索信息费用。子波的表示趋于稀疏，也就是，它们含有许多零，而这能减少计算上的计算量。由于实际上的所有象素都非零，象素域的表示是不稀疏的。因而，有可能在子波域开发稀疏，而相同的开发在象素域就没有可能。
熟练的专业人员能够理解到这些结果可以很方便地推广到更为一般的矩阵中。具体地说，将结果推广到右方块-循环矩阵。一个右循环的矩阵X是一正方形矩阵，其中的每一行除周期地向右移动1位置之外与紧靠的前一行相同。例如下面的矩阵就是右循环的。X=0527705227055270]]>一个右方块-循环矩阵是一由相同尺寸子矩阵(方块)组成的矩阵，并且每一个方块行和前一方块行相同，除掉向右移了一个方块的尺寸。下面的矩阵Y是方块尺寸为2的右方块循环。
图5中的相同描绘适用于对角线方块相等的方块对角线子波变换矩阵，并且它们必需满足方程HHT＝HTH＝I。尽管这些是普通的子波变换，例如，哈尔子波，它们在使用中不表示最宽的子波类别。最令人感兴趣的子波有一右方块-循环的变换公式，例如，德博切斯(Debauchies)子波。这种子波的图5修改形式计算起来与原始形式一样，但是略有差别并在图6中给出。
两幅图的主要差别在校正矩阵u12和
之中。在图5中，u12是校正矩阵U12的一个子方块，并能直接得到那个矩阵。况且，图5中的每一例证u12都用同一矩阵u12进行计算。在图6中，矩阵
必须由U12计算出来，并且进入矩阵
取决于变换的子带。矩阵
能用下式计算出来U^12=(F2×IR2)U12(F2-1×IR2)]]>
其中F2为图5和6中变换矢量长度N/R2的付里叶变换，而矩阵交叉乘积运算将此矩阵的R2复制件交织在一起穿过长度为N/R2的R2矢量。矩阵
为方块对角线，且在其方块内沿着对角线包含U12行的付里叶变换。对于在许多相同尺寸的图象中检索一幅图形的情况，能够一次计算出
并贮存起来供在检索每一图象时再使用。
在对为一特定图象检索图象数据库的方法和设备进行过描述和图解的同时，熟练的专业人员会明白不超脱本发明的宽广原则和精神是有可能作出修改和变动的，而这些原则和精神只受这里所附权利要求的范围限定。
权利要求
1.一种根据内容进行图象检索的方法，其特征在于，它所包含的步骤有变换一图形样板，使经变换的图形样板可以与一子波待选图象相关；在付里叶域对所述待选图象进行粗相关；以及使所述粗相关的待选图象与所述图形样板进行比较以判定它们是否存在一种适配。
2.按照权利要求1所述的方法，其特征在于，它还包含有步骤适度相关所述的粗相关的待选图象；以及使所述适度相关的待选图象与所述图形样板进行比较以判定它们是否存在一种适配。
3.按照权利要求2所述的方法，其特征在于，它还包含有步骤细相关所述的适度相关的待选图象；以及使所述细相关的待选图象与所述图形样板进行比较以判定它们是否存在一种适配。
4.按照权利要求3所述的方法，其特征在于，它还包含有步骤全相关所述的细相关的待选图象；以及使所述全相关的待选图象与所述图形样板进行比较以判定它们是否存在一种适配。
5.一种用于根据内容进行图象检索的设备，其特征在于，它包括用于将一图形样板变换成经变换的图形样板，使所述的经变换的图形样板可以与一子波待选图象相关的装置；用于在一付里叶域对所述待选图象进行粗相关的装置；以及用于使所述粗相关的待选图象与所述经变换的图形样板进行比较以判定在待选图象和图形样板之间是否存在一种适配的装置。
6.按照权利要求5所述的一种用于根据内容进行图象检索的设备，其特征在于，它还包括用于适度相关所述粗相关的待选图象的装置；以及用于使所述适度相关的待选图象与所述经变换的图形样板进行比较以判定在待选图象和图形样板之间是否存在一种适配的装置。
7.按照权利要求6所述的一种用于根据内容进行图象检索的设备，其特征在于，它还包括用于细相关所述适度相关的待选图象的装置；以及用于使所述细相关的待选图象与所述经变换的图形样板进行比较以判定在待选图象和图形样板之间是否存在一种适配的装置。
8.按照权利要求7所述的一种用于根据内容进行图象检索的设备，其特征在于，它还包括用于全相关所述细相关的待选图象的装置，以及用于使所述全相关的待选图象与所述经变换的图形样板进行比较以判定在待选图象和图形样板之间是否存在一种适配的装置。
全文摘要
一种用于在压缩图象上进行检索而不需首先对其解压的检索图象数据库的多分辨率方法和设备。检索压缩图象数据的方法首先以低分辨率求得在一检索样板和一待选图象之间的相对质量匹配。若匹配在一特定阈值以下，则结束检索。若匹配在一特定阈值以上，则提高待选图象的分辨率并进行另一次匹配。只要相对质量匹配在特定的阈值以上，待选图象的分辨率不断提高，直到在全分辨率的待选图象处作出匹配判断。
文档编号G06F17/30GK1167959SQ9711172
公开日1997年12月17日 申请日期1997年5月6日 优先权日1996年5月6日
发明者哈罗德S·斯通 申请人:日本电气株式会社