专利名称：图像比较设备和方法、图像检索设备和方法
技术领域：
本发明涉及一种图像比较设备和一种图像比较方法，用于将经过压缩和编码的图像与特定图像进行比较，以确定压缩编码图像是否与该特定图像相同或相似。本发明还涉及一种图像检索设备和一种图像检索方法，用于从压缩编码视频内容中检索与特定图像基本相同的图像。
背景技术：
为了从例如视频内容中检索图像，需要一种通过使用特定图像作为检索查询对象，从未知视频内容中检索与特定图像基本相同的图像的技术。例如，日本专利申请公开出版物第2004-45565号提出了在短时间内从视频内容中提取每一帧的特征量、生成帧的特征向量的技术。将各帧的特征向量与特定图像的特征向量进行比较。从而，从视频内容中检索出与特定图像基本相同的图像。
发明内容
近年来，诸如数码相机和数码摄像机的数字设备得到普遍的使用。图像通常用这些数字设备拍摄。压缩并记录表示图像的数据。此外，电视节目被转换为数字数据项，并对这些数据项进行图像压缩。将经过图像压缩的数据项存储为档案文件。在这点上，2004年确定采用JEPG(联合图像专家组)2000方案作为图像压缩方式，从而促进数字影院的标准化。结果，许多影片被转换为数字数据项。现在的趋势是这些数据项根据JEPG 2000方案压缩和编码。
考虑到这一情况，越来越要求从许多压缩编码图像或从许多压缩编码视频内容中检索出与特定图像基本相同的图像。然而，在出版物第2004-45565号中披露的传统技术以及类似技术中，在检索出与特定图像相同的图像之前，必须完全解码图像或视频内容。这就产生了一个问题。为了检索任意图像，必须处理大量的数据。
考虑到上述问题提出了本发明。希望提供一种图像比较设备和一种图像比较方法，将压缩编码图像与特定图像进行比较，以确定压缩编码图像是否与特定图像相同，而不需要将压缩编码图像完全解码。还希望提供一种图像检索设备和一种图像检索方法，从压缩编码视频内容中检索出与特定图像基本相同的图像，而不需要完全解码压缩该编码视频内容。
根据本发明，提供了一种图像比较设备，用于将通过对检出图像进行编码而获得的码流(code stream)与特定图像进行比较，从而确定该码流是否与特定图像基本相同。该设备包括图像特征量提取装置，用于对码流进行分析，从而提取检出图像的图像特征量；编码参数提取装置，用于从码流中提取编码参数；编码数据生成装置，用于基于编码参数在一定程度上对特定图像进行编码，从而生成编码特定图像数据；以及比较装置，用于将检出图像的图像特征量与编码特定图像数据进行比较，从而确定码流是否与特定图像基本相同。
根据本发明，提供了一种图像比较方法，用于将通过对检出图像进行编码而获得的码流与特定图像进行比较，从而确定该码流是否与特定图像基本相同。该方法包括以下步骤对码流进行分析，从而提取检出图像的图像特征量；从码流中提取编码参数；基于编码参数，在一定程度上对特定图像进行编码，从而生成编码特定图像数据；以及将检出图像的图像特征量与编码特定图像数据进行比较，从而确定码流是否与特定图像基本相同。
根据本发明，提供了一种图像检索设备，用于从通过对多个图像进行编码所获得的码流串(code stream train)中检索与特定图像基本相同的码流。该设备包括图像特征量提取装置，用于对组成码流串的每个码流进行分析，并从各个码流中提取图像特征量；编码参数提取装置，用于从码流中提取编码参数；编码数据生成装置，用于基于编码参数，在一定程度上对特定图像进行编码，从而生成编码特定图像数据；以及检索装置，用于将码流的图像特征量与编码特定图像数据进行比较，从而确定码流是否与特定图像基本相同，并从码流串中检索与特定图像基本相同的码流。
根据本发明，提供了一种图像检索方法，用于从通过对多个图像进行编码所获得的码流串中检索出与特定图像基本相同的码流。该方法包括以下步骤对组成码流串的每个码流进行分析，从而提取各个码流的图像特征量；从码流中提取编码参数；基于编码参数，在一定程度上对特定图像进行编码，从而生成编码特定图像数据；以及将码流的图像特征量与编码特定图像数据进行比较，从而确定码流是否与特定图像基本相同，并从码流串中检索出与特定图像基本相同的码流。
在根据本发明的图像比较设备和图像比较方法中，从通过对图像进行编码所获得的码流中提取特征量，并从特定图像中提取类似的特征量。这些特征量相互比较。因此，不需要对码流完全解码就可以确定码流是否与特定图像相同。
在根据本发明的图像检索设备和图像检索方法中，从组成通过对多个图像进行编码所获得的码流串的每个码流中提取特征量，并从特定图像中提取类似的特征量。这些特征量互相比较。因此，不需要对码流完全解码，就可以从码流串中提取与特定图像基本相同的码流。
图1示出了图像编码设备的示意性结构的框图，该图像编码设备根据JPEG 2000方案对图像进行编码并生成码流；图2是描述根据JPEG 2000方案执行的小波变换的例子的示图；图3A和图3B是表示码块(code block)和位平面(bit plane)之间的关系的示图；图4示出了图像解码设备的示意性结构的框图，该图像解码设备根据JPEG 2000方案对码流进行解码并生成解码图像；图5示出了根据本发明第一实施例的图像比较设备的示意性结构的框图；图6是解释由图5的图像比较设备所执行的处理的流程图；图7示出了子带(sub-band)的选择顺序的示图；图8示出了根据本发明第二实施例的图像比较设备的示意性结构的框图；
图9是解释由图8的图像比较设备所执行的处理的流程图；图10示出了根据本发明第三实施例的图像检索设备的示意性结构的框图；图11是解释由图10的图像检索设备所执行的处理的流程图；图12示出了根据本发明第四实施例的图像比较设备的示意性结构的框图；图13是解释由图12的图像比较设备所执行的处理的流程图；图14示出了根据本发明第五实施例的图像比较设备的示意性结构的框图；图15是解释由图14的图像比较设备所执行的处理的流程图；图16A和图16B是解释量化系数如何比较到最后解码位的示图；图17示出了根据本发明第六实施例的图像比较设备的示意性结构的框图；图18是解释由图17的图像比较设备所执行的处理的流程图；图19示出了根据本发明第七实施例的图像比较设备的示意性结构的框图；图20是解释由图19的图像比较设备的处理过程的流程图；以及图21是根据本发明另一实施例的图像比较设备的示意性结构的框图。
具体实施例方式
以下将结合附图对本发明的具体实施例进行详细描述。下面将要描述的应用了本发明的实施例是将根据JPEG 2000方案压缩编码的图像与特定图像进行比较，从而确定这些图像是否与特定图像相同或这些图像与特定图像的相似程度的图像比较设备和方法；以及从根据JPEG 2000方案压缩编码的视频内容中检索出与特定图像基本相同的图像的图像检索设备和方法。
在描述这些具体实施例之前，将说明的是根据JPEG 2000方案对图像进行编码并生成码流的图像编码设备；以及根据JPEG 2000方案对码流进行解码并生成解码图像的图像解码设备。
图1的框图示出了图像编码设备的示意性结构图，该图像编码设备根据JPEG 2000方案对图像进行编码并生成码流。
在图1所示的图像编码设备100中，小波变换装置101对输入图像执行小波变换，并针对每个子带生成小波系数。在JPEG 2000方案中，小波变换是指Mallat分割，其中二维(xy坐标)滤波器执行如图2所示的滤波处理，从而实现对较低子带的递归滤波(recurrent filtering)处理。在图2的例子中，小波变换重复三次，总共形成十个子带。
量化器102对每个子带的小波系数进行量化，生成量化系数。码块生成装置103将每个子带的量化系数划分成相同大小矩形区域的码块。然后，装置103将每个子带的量化系数扩展为位平面，该位平面是一组系数位(每一个为0或1)。举例来说，如图3A所示的码块包括按四行四列排列的16个量化系数，被扩展成如图3B所示的符号位平面和绝对值位平面。零位平面数检测器104检测每个码块的零位平面数。零位平面数表示在最高有效位(MSB)侧存在多少个所有系数位均为0的零位平面。在图3B的情况中，有两个零位平面。零位平面删除装置105从码块中删除零位平面。
位建模(bit-modeling)装置106对任何不包括零位平面的码块执行位建模，并生成一组MQ符号和一组MQ上下文(context)。MQ编码器107对MQ符号组和MQ上下文组进行编码并生成MQ码。最后，码流发生器108生成并输出由MQ码和零位平面数组成的码流。
图4示出了图像解码设备的示意性结构的框图，该图像解码设备根据JPEG 2000方案对码流进行解码并生成解码图像。
在图4所示的图像解码设备200中，码流分析器201对输入的码流进行分析，并从码流中提取MQ码和零位平面数。MQ解码器202利用由位建模装置203提供的MQ上下文对MQ码进行解码，并生成MQ符号。
位建模装置203基于MQ符号生成不包括零位平面的码块。零位平面加法器204将零位平面加到不包括零位平面的码块。帧发生器205针对每个子带，对每一个都包括零位平面的码块进行编译，并生成每个子带的量化系数。逆量化器206对每个子带的量化系数执行逆量化，从而生成每个子带的小波系数。最后，逆小波变换装置207对每个子带的小波系数执行逆小波变换，并生成解码图像。
(第一实施例)图5示出了根据本发明第一实施例的图像比较设备的示意性结构图。图像比较设备1将输入到一个输入端的码流与输入到另一输入端的特定图像进行比较，并确定该码流是否与特定图像相同。
在图像比较设备1中，码流输入到编码参数提取器10和码流特征量提取器20。特定图像输入到图像特征量提取器30。
编码参数提取器10提取码流的编码参数，并将编码参数提供给图像特征量提取器30中的小波变换装置31、量化器32、以及码块发生器33。编码参数表示每个码块的量化系数是如何生成的。其小波变换部分表示所使用的滤波器的类型(可逆5-3滤波器、不可逆9-7滤波器等)或小波变换重复的次数(5次、4次等)。其量化部分表示量化级的大小(1/128、1/64等)。其码块部分表示码块的大小(64(垂直)×64(水平)、32(垂直)×128(水平)、32(垂直)×32(水平)等)。
码流特征量提取器20具有码流分析器21。码流分析器21对输入的码流进行分析，并提取每个码块的零位平面数。
图像特征量提取器30包括小波变换装置31、量化器32、码块发生器33和零位平面数检测器34。图像特征量提取器30基于码流的编码参数，提取每个码块的零位平面数。具体来说，小波变换装置31对特定图像执行小波变换，生成每个子带的小波系数，然后量化器32对每个子带的小波系数进行量化，生成量化系数。码块发生器33将每个子带的量化系数分给码块，然后将每个码块的量化系数扩展为位平面。零位平面数检测器34检测每个码块的零位平面数。
比较器40将由码流分析器21提供的零位平面数与由零位平面数检测器34提供的零位平面数进行比较，确定码流是否与特定图像相同。比较器40输出确定结果。
以下参考图6的流程图，解释图像比较设备1所执行的处理，包括在比较器40中执行的比较。首先，在步骤S1中提取码流的编码参数。在步骤S2中，基于该编码参数，对特定图像执行小波变换和量化。从而将特定图像分割为多个码块。
然后，在步骤S3中，确定码流是否包含未处理码块。如果码流包含未处理码块，则在步骤S4中设定码流中的下一未处理码块Cc。在步骤S5中，设定特定图像中对应于码块Cc的码块Ci。在步骤S6中，比较码块Cc的零位平面数与码块Ci的零位平面数。在步骤S7中，确定这两个零位平面数是否相等。如果零位平面数不相等，则在步骤S8中确定该码流与特定图像不相同。如果零位平面数相同，则处理返回步骤S3。如果在步骤S3中确定码流不包含未处理码块，则处理进行到步骤S9。在步骤S9中，确定码流与特定图像相同。
未处理码块可以任何希望的顺序选择。但是，如果按照它们在码流中的排列顺序相同的顺序选择，则该处理将会很简单。在码流中，未处理码块按子带的升序(即，从最低的子带到最高的子带)进行排列。例如，如果小波变换重复三次，则未处理码块如图7所示进行选择，从最低的子带开始，即LL-3，然后以子带HL-3、LH-3、HH-3、HL-2、LH-2、HH-2、HL-1、LH-1和HH-1的顺序一个接着一个处理。在每个子带中，未处理码块以这些块被光栅扫描的顺序进行选择。在普通图像的情况下，未处理码块按子带的上升顺序(即，从最低的子带到最高的子带)进行选择。然后，通过仅重复该循环几次就能确定码流是否与特定图像相同。然而，交错成分，即表征特征，出现在图7所示的子带LH-1中。因此，落入该子带中的未处理码块以它们可以被更快处理的方式进行选择。在这种情况下，通过仅重复循环几次就可以确定码流是否与特定图像相同。
如上所述，图像比较设备1可以这样确定输入的码流是否与特定图像相同首先比较码流和特定图像位于相同位置的码块的零位平面数，然后根据零位平面数来确定码流的所有码块是否与特定图像的所有码块相同。特别地，零位平面数仅需要从码流中提取，而不需要完全解码。因此，图像比较设备1的优势在于，不需要执行诸如MQ解码、位建模、逆量化和逆小波变换等的处理。因此，为了从码流中提取零位平面数，不需要对MQ码进行解码。在处理的简单性和速度方面，设备1也是非常有利的。
在根据本实施例的方法中，关于码流与特定图像不相同的任何判断永远不会是错误的。与此相反，关于码流与特定图像相同的任何判断则可能是不正确的。然而，所做试验结果表明该判断几乎不会错。对以1bpp(位/像素)(即，常用压缩比例)压缩的码流执行的试验显示没有判断错误。即使对于以0.1bpp压缩的码流(每一个表示300帧图像)，也仅有四帧出现判断错误。
如上面所指出的，所有的码块都就零位平面数进行比较。但并不是所有的码块都需要比较。然而，如果有些码块没有比较零位平面数，尽管码流实际上与特定图像不相同，错误地判断码流与特定图像相同的几率确实将增加。然而，如果考虑到设备1使用的条件而做出的判断的正确性足够高，那么处理将会更简单并且执行得更快。事实上，如试验所示，即使只除去低频段部分或只除去高频段子带部分，在许多情况下也不会产生问题。这是因为发现与特定图像不相同的码块都是那些低频段亮度部分中的码块。
(第二实施例)图8示出了根据本发明第二实施例的图像比较设备的示意性结构。图像比较设备2将输入到一个输入端的码流与输入到另一输入端的特定图像相比较，并确定码流与特定图像的相似程度。图像比较设备2与图5所示图像比较设备1的基本结构类似。其特征在于，由比较器40提供的判断结果累加到累加器50，码流的相似程度根据判断结果算出。与图5中所示的图像比较设备1相似的部件以相同的附图标号来表示，不再详细地描述。
参考图9的流程图对由图像比较设备2执行的处理进行说明。首先，在步骤S11中，变量same的值和变量diff的值初始为0。变量same表示相似度，变量diff表示不相似度。
在步骤S12～S17中，比较码块Cc和码块Ci的零位平面数。在步骤S18中，确定这些零位平面数是否相同。如果零位平面数相同，则在步骤S19中，变量same的值加1。如果零位平面数不同，则在步骤S20中，变量diff的值加1。如果在步骤S14中确定码流不包含未处理码块，则处理进行到步骤S21。在步骤S21中，same/(same+diff)的值作为表示码流和特定图像之间相似度的数据输出。
因此，在图像比较设备2中，码流的两个码块分别与特定图像就零位平面数进行比较。累加所有码块的比较结果。因此可以确定码流和特定图像之间的相似度。在这种情况下，零位平面数也不需要完全解码。因此，在处理的简单性和速度方面，设备2是非常有利的。
如上所述，如果零位平面数相同或不同，则变量的值加1。实际上，变量可以加权。如果这样，则期望将看起来能表征图像的变量部分加权。大部分图像由它们的低频段部分表征。因此可将该变量加权，以使低频段码块的比较结果占主要地位。此外，关于亮度分量的比较结果优选加权为比色彩分量的比较结果更重要。
如果零位平面数不同，也可以累加差值的绝对值(或其指数值)。
如上面所指出的，确定了码流和特定图像之间的相似度。但是，在处理的最后一个步骤中，相似度也可与阈值比较，以确定码流是否与特定图像相同。如果变量same和diff彼此偏离，则码流是否与特定图像相同当然也可以在处理过程的最后一个步骤之前确定。
(第三实施例)图10示出了根据本发明第三实施例的图像检索设备的示意性结构。图像检索设备3从输入到一输入端的视频内容的码流串(一组通过对图像进行编码而获得的码流)中检索出与输入到另一输入端的特定图像相同的码流。
在图像检索设备3中，码流串包括码流及其索引(index)。码流输入到图像比较设备1，索引输入到选择器60。同时，特定图像输入到图像比较设备1。
图像比较设备1与第一实施例是相同的类型。它将每一个码流与特定图像进行比较，并将比较结果提供给选择器60。选择器60输出所有已被确定与特定图像相同的码流的索引。
下面参照图11的流程图解释图像检索设备3执行的处理。首先，在步骤S31中确定是否存在任何未处理的码流。如果还存在未处理的码流，则在步骤S32中，设定下一未处理的码流S。在步骤S33中，确定码流S是否与特定图像相同。如果发现码流S与特定图像不相同，则处理返回到步骤S31。如果发现码流S与特定图像相同，则处理前进到步骤S34。在步骤S34中，输出码流的索引。然后，处理返回到步骤S31。如果在步骤S31中没有发现未处理的码流，则处理结束。
因此，根据该实施例的图像检索设备3执行的处理可以从码流串中检索出与特定图像相同的码流，并能够输出所检索出的码流的索引。特别地，该设备使用与第一实施例相同类型的图像比较设备1，在确定各个码流是否与特定图像相同的过程中，仅需要从各个码流中提取零位平面数而不需要完全解码该数。因此，设备3的优势在于，不需要执行例如MQ解码、位建模、逆量化和逆小波变换等处理。此外，因为编码参数不随码流串改变，所以所有设置在图像比较设备1中的小波变换装置31、量化器32、码块发生器33和零位平面数提取器34，都不需要对各个码流执行操作。因此，设备3通过处理少量的数据就可以检索出码流。
如上面所指出的，所使用的图像比较设备1与第一实施例是相同的类型。但是，与第二实施例中相同类型的图像比较设备2也可以使用。在这种情况下，例如，选择器60可以输出具有超过预设阈值的相似度的码流的索引。
(第四实施例)图12示出了根据本发明第四实施例的图像比较设备的示意性结构。图像比较设备4将输入到一个输入端的码流与输入到另一输入端的特定图像进行比较，并确定码流与特定图像的相似程度。图像比较设备4与图5所示的图像比较设备1的基本结构类似。然而，设备6的特征在于，其比较的是MQ符号，而不是零位平面数。与图5所示图像比较设备1相似的部件使用相同的附图标号，不再详细地描述。
码流特征量提取器20具有码流分析器21、MQ解码器22和位建模装置23，并从每个码流中提取MQ符号。更具体地，码流分析器21分析输入的码流，并提取MQ码。MQ解码器22通过使用由位建模装置23提供的MQ上下文来对MQ码进行解码，从而生成MQ符号。该MQ符号提供给比较器41。
图像特征量提取器30除了在第一实施例中使用的类似部分外，还具有零位平面删除装置35和位建模装置36。提取器30基于码流的编码参数，检测特定图像的MQ符号。具体来说，零位平面删除装置35从每个码块中删除零位平面。位建模装置36对不具有零位平面的所有码块执行位建模，生成MQ符号。所生成的MQ符号提供给比较器41。
比较器41将由MQ解码器22提供的MQ符号与由位建模装置36提供的MQ符号进行比较。从而比较器41确定码流是否与特定图像相同。比较器41输出判断的结果。
下面参考图13的流程图，对图像比较设备4执行的操作(包括在比较器41中执行的比较)进行说明。首先，在步骤S41中提取码流的编码参数。在步骤S42中，基于编码参数，对特定图像执行小波变换和量化。从而将特定图像分割为码块。
下一步，在步骤S43中，确定码流是否包含未处理码块。如果码流包含未处理的码块，则在步骤S44中设定码流中下一个未处理码块Cc。在步骤S45中，设定特定图像中对应于码块Cc的码块Ci。在步骤S46中，检测码块Ci的零位平面数，并从码块Ci中删除零位平面。在步骤S47中，对码块Ci执行位建模，从而获得MQ符号串。在步骤S48中，对码块Cc执行MQ解码和位建模，从而获得MQ符号串。
在步骤S49中，确定码块Cc中是否存在未处理的MQ符号。如果不存在未处理的MQ符号，则处理返回到步骤S43。如果存在未处理的MQ符号，则处理进行到步骤S50。在步骤S50中，确定码块Cc的下一个MQ符号是否与码块Ci的下一个MQ符号相同。如果MQ符号不相同，则处理进行到步骤S51，确定码流与特定图像不相同。如果MQ符号相同，则处理进行到步骤S49。
如果在步骤S43中确定码流不包含未处理码块，则处理进行到步骤S52。在步骤S52中，确定码流与特定图像相同。
在根据本实施例的图像比较设备4中，每个码流的MQ符号与特定图像的MQ符号进行比较。因此，可以根据所有MQ符号是否与特定图形的MQ符号相同来确定码流是否与特定图像相同。更特别地，设备4的优势在于，因为仅从各个码流中提取MQ符号，不需要执行完全解码，所以不需要执行例如逆量化和逆小波变换等处理。
如上所述，比较的是码流的所有MQ符号。然而，也可以设定特定数量的被比较MQ符号。进行比较的MQ符号的数量可以根据所用编码路径的数量而减小。
(第五实施例)图14示出了根据本发明第五实施例的图像比较设备的示意性结构。图像比较设备5将输入到一个输入端的码流与输入到另一个输入端的特定图像进行比较，并确定码流与特定图像的相似程度。图像比较设备5与图12所示的图像比较设备4的基本结构类似。然而，设备5的特征在于，它比较的是量化系数，而不是零位平面数。与图12所示图像比较设备4相似的部件用相同的附图标号表示，不再详细地描述。
在码流特征量提取器20中，MQ解码器22通过使用由位建模装置23提供的MQ上下文对MQ码进行解码，从而生成MQ符号。位建模装置23基于MQ符号生成不包括零位平面的码块。该不包括零位平面的码块提供给比较器42。位建模装置23将表示量化系数已被解码到最后位(digit)的信息提供给比较器42。
在图像特征量提取器30中，零位平面删除装置35从每个码块中删除零位平面。然后装置35将不包括零位平面的码块提供给比较器42。
比较器42基于表示最后解码位的信息，将由位建模装置23提供且不包括零位平面的码块的量化系数与由零位平面删除装置35提供且不包括零位平面的码块的量化系数进行比较。从而，比较器42确定码流是否与特定图像相同。判断的结果从比较器42输出。
下面参考图15的流程图，对由图像比较设备5执行的处理(包括在比较器42中执行的比较)进行说明。首先，在步骤S61中提取码流的编码参数。在步骤S62中，基于编码参数，对特定图像执行小波变换和量化。从而将特定图像分割为多个码块。在步骤S63中，不包含零位平面的码块组成码流。
然后，在步骤S64中，确定码流中是否存在未处理的码块。如果存在未处理的码块，则在步骤S65中设定码流中的下一未处理码块Cc。在步骤S66中设定特定图像中对应于码块Cc的码块Ci。在步骤S67中，检测码块Ci的零位平面数，并从码块Ci中删除零位平面。
接下来，在步骤S68中确定码块Cc是否包括未处理的量化系数。如果码块Cc不包括未处理的量化系数，则处理返回到步骤S64。如果码块Cc包括未处理的量化系数，则处理进行到步骤S69。在步骤S69中，确定码块Cc的下一个量化系数和码块Ci的下一个量化系数一直到最后解码位是否相同。如果这些量化系数一直到最后解码位不相同，或是任意一位不相同，则在步骤S70中确定码流与特定图像不相同。如果这些量化系数与最后解码位相同，则处理返回到步骤S68。具体来说，如图16A所示，如果量化系数的符号以及最高有效位(MSB)和紧接着MSB(包括最后解码位)的一些位的值相同，就认为码流与特定图像相同。如图16B所示，如果量化系数到位于符号和MSB侧的最后解码位不相同，就认为码流与特定图像不相同，或如果任意一位不相同，则认为是不相同的。
如果在步骤S64中确定码流中不存在未处理的码块，则处理进行到步骤S71。在步骤S71中，确定码流与特定图像相同。
在根据本实施例的图像比较设备5中，比较码流与特定图像的每一个码块的量化系数，一直到最后解码位，从而确定到包括符号的最后解码位为止它们是否相同。特别是，码流仅由不包含零位平面的码块组成，因此不需要完全解码。因此，设备5的优势在于，不需要执行诸如逆量化和逆小波变换等的处理。
如上所述，量化系数一直比较到码流的最后解码位。但是，如果仅对最后解码位之前的任意位执行了位建模，则量化系数比较到这一位就足够了。
如上面所指出的，比较的是不包括零位平面的码块的量化系数。作为替换，也可以比较包括零位平面的码块的量化系数。在这种情况下，处理速度会慢一些，但是确定码流是否与特定图像相同的精确度会增加。
(第六实施例)图17示出了根据本发明第六实施例的图像比较设备的示意性结构。该图像比较设备6将输入到一个输入端的码流和输入到另一输入端的特定图像进行比较，并确定码流与特定图像的相似程度。图像比较设备6与图14所示的图像比较设备5的基本结构类似。但是，设备6的特征在于，它比较的是子带的量化系数，而不是不包括零位平面数的码块的量化系数。因此，与图14所示的图像比较设备5相似的部件用相同的附图标号表示，不再详细地描述。
在码流特征量提取器20中，码流分析器21对码流进行分析，提取出MQ码和零位平面数。零位平面加法器24将零位平面加到不包括零位平面的任何码块上。帧发生器25针对每个子带编译每个包括零位平面的码块，并生成子带的量化系数。该量化系数提供给比较器43。
在图像特征量提取器30中，量化器32对每个子带的小波系数进行量化，生成量化系数。该量化系数提供给比较器43。
比较器43基于表示最后解码位的信息，将由帧发生器25提供的各个子带的量化系数与由量化器32提供的各个子带的量化系数进行比较。因此，比较器43确定码流是否与特定图像相同，并输出判断的结果。
下面参考图18的流程图，对由图像比较设备6执行的处理(包括在比较器43中执行的比较)进行说明。首先，在步骤S81中提取码流的编码参数。在步骤S82中，基于编码参数，对特定图像进行小波变换和量化。在步骤S83中，将不包括零位平面的码块组成码流。将零位平面加入码块。针对每个子带编译这样得到的各个包括零位平面的代码块。
然后在步骤S84中，确定码流中是否存在未处理的子带。如果存在未处理的子带，则在步骤S85中设置码流中下一个未处理的子带Sc。在步骤S86中设置特定图像中对应于子带Sc的子带Si。
在步骤S87中，确定子带Sc是否包括未处理的量化系数。如果子带Sc不包括未处理的量化系数，则处理进行到步骤S84。如果子带Sc包括未处理的量化系数，则处理进行到步骤S88。在步骤S88中，确定子带Sc的下一个量化系数和子带Si的下一个量化系数一直到最后解码位是否相同。如果这些量化系数直到最后解码位不相同，或是甚至在任意一位不相同，则在步骤S89中确定码流与特定图像不相同。如果这些量化系数直到最后解码位相同，则处理进行到步骤S87。
如果在步骤S84中确定码流中不存在未处理的子带，则处理进行到步骤S90。在步骤S90中，确定码流与特定图像相同。
在根据本实施例的图像比较设备6中，比较码流与特定图像的每个子带的量化系数，一直到最后解码位。如果子带的所有量化系数与特定图像的量化系数相同，则认为该码流与特定图像相同。特别地，码流由每个子带的量化系数组成，不需要完全解码。因此，设备6的优势在于，不需要执行例如逆量化和逆小波变换等的处理。
(第七实施例)图19示出了根据本发明第七实施例的图像比较设备的示意性结构。图像比较设备7将输入到一个输入端的码流与输入到另一输入端的特定图像进行比较，并确定码流与特定图像的相似程度。图像比较设备7与图17所示的图像比较设备6的基本结构类似。但是，设备7的特征在于，它比较的是子带的小波系数，而不是子带的量化系数。因此与图17所示的图像比较设备6相似的部件表示为相同的附图标号，不再详细描述。
在码流特征量提取器20中，位建模装置23基于MQ符号生成不包括零位平面的码块。位建模装置23生成表示容许误差的信息，这将会在稍后描述。该信息提供给比较器44。逆量化器26对每个子带的量化系数执行逆量化，并生成子带的小波系数。逆量化器26将小波系数提供给比较器44。
在图像特征量提取器30中，小波变换装置31对特定图像执行小波量化，并为每个子带生成小波系数。该小波系数提供给比较器44。
比较器44基于表示容许误差的信息，将由逆量化器26提供的每个子带的小波系数与由小波变换装置31提供的子带的小波系数进行比较。比较器44确定码流是否与特定图像相同。输出判断的结果。
下面参考图20的流程图，对由图像比较设备7执行的处理(包括在比较器44中执行的比较)进行解释。首先，在步骤S101中提取码流的编码参数。在步骤S102中，基于编码参数，对特定图像执行小波变换。在步骤S103中，对码流生成每个子带的量化系数。
然后在步骤S104中，确定码流中是否存在未处理的子带。如果存在未处理的子带，则在步骤S105中设置码流中下一个未处理的子带Sc。在步骤S106中设置对应于子带Sc的特定图像的子带Si。
在步骤S107中，确定子带Sc是否包含未处理的小波系数。如果子带Sc不包括未处理的小波系数，则处理返回到步骤S104。如果子带Sc包括未处理的小波系数，则处理进行到步骤S108。在步骤S108中，确定子带Sc的下一个小波系数和子带Si的下一个小波系数是否在容许误差范围内相同。如果这些小波系数在容许误差范围内不相同，则在步骤S109中确定码流与特定图像不相同。如果这些小波系数在容许误差范围内相同，则处理返回到步骤S107。
如果在步骤S104中确定码流中不存在未处理的子带，则处理进行到步骤S110。在步骤S110中，确定码流与特定图像相同。
在根据本实施例的图像比较设备7中，比较的是码流与特定图像的每个子带的小波系数。如果在容许误差范围内子带的小波系数与特定图像的子带小波系数相同，则认为该码流与特定图像相同。特别地，码流由每个子带的小波系数组成，因此不需要完全解码。因此，设备7的优势在于，不需要执行例如逆小波变换等的处理。
上面已经描述了本发明尽可能好的实施例。然而本发明并不限于这些实施例。在不偏离本发明的范围和精神的前提下，当然可以进行不同的改变和修改。
例如，第四到第七实施例是本发明的变型例，为了确定码流是否与特定图像相同，使用了不同于第一实施例中所用的特征量。此外，与第四到第七实施例一样，可以进行修改，使用不同于第二实施例中所使用的特征量，来确定码流与特定图像之间的相似度。更特别地，如果在第二实施例中用来确定相似度的特征量是小波系数，那么代表小波系数在容许误差范围内是否相同的数据项可以累加，或每一个都与一个小波系数相关联的误差的绝对值可以累加。用于确定相似度的特征量可以是量化系数。在这种情况下，累加的是表示对于每个码块来说量化系数是否相同的数据项、表示直到最后解码位量化系数是否相同的数据项、或者每一个都与一个量化系数相关联的误差的绝对值。不用说，这些项可以加权。
而且，根据第三实施例的图像检索设备3可以使用根据第四到第七实施例的图像比较设备4～7中的任何一个。
在以上所述的实施例中，特征量在特定图像完全编码之前提取。作为替换，特定图像可以首先完全编码，从而生成码流，然后可以从该码流中提取特征量。例如，为了确定码流是否与特定图像相同，如图21所示，图像特征量提取器30由编码器37和码流特征量提取器38组成。编码器37根据JPEG 2000方案对特定图像进行压缩和编码，并生成码流。码流特征量提取器38从码流提取特征量。注意，码流特征量提取器38是与码流特征量提取器20相似的装置。在图21所示的图像比较设备8中，设置两个相同的码流特征量提取器和一个普通类型的编码器就足够了。图21中的设备的优势在于其容易设计。
如上所述，第一实施例、第二实施例、和第四到第七实施例将码流与没有压缩编码的特定图像进行比较。如果特定图像已经过压缩编码，则可以互相比较两个码流。如果这些码流具有相同的编码参数，一个码流特征量提取器就可以从两个码流中提取特征量，并且所提取的特征量可以互相比较。如果这些码流具有不同的编码参数，则一个码流被解码为图像，输入到输入端。在这种情况下，所生成的图像可能与原始图像不同。因此图像的相似度必须进行评估。如果生成的图像与原始图像之间的差别充分小，那么这个图像就应该被认为与原始图像相同。
上面所述的每个实施例中执行的处理的顺序可通过使用软件来执行。如果是这种情况，构成软件的程序应存储在计算机专用的硬件内，例如ROM(只读存储器)或硬盘。各种程序可以通过网络或记录介质安装在通用个人计算机或类似的装置中。记录介质可以是磁盘(包括软盘)、光盘(包括CD-ROM(光盘-只读存储器))、DVD(数字多功能盘)、磁光盘(MD(小型磁盘，商品名))、或诸如半导体存储器的封装介质。
上述的实施例采用JPEG 2000方案作为图像压缩方式。图像压缩方式不局限于该特定的一个。其他任何压缩方式，例如JPEG或MPEG(移动图像专家组)可以替代应用。
本领域的技术人员应该理解，根据设计要求和其他因素，可以有多种修改、组合、子组合和改进，均应包含在本发明的保护范围或等同物的范围之内。
权利要求
1.一种图像比较设备，用于将通过对检出图像进行编码而获得的码流与特定图像进行比较，从而确定所述码流是否与所述特定图像基本相同，所述设备包括图像特征量提取装置，用于对所述码流进行分析，从而提取所述检出图像的图像特征量；编码参数提取装置，用于从所述码流中提取编码参数；编码数据生成装置，用于基于所述编码参数，在一定程度上对所述特定图像进行编码，从而生成编码特定图像数据；以及比较装置，用于将所述检出图像的所述图像特征量与所述编码特定图像数据进行比较，从而确定所述码流是否与所述特定图像基本相同。
2.根据权利要求1所述的图像比较设备，进一步包括编码检出图像数据生成装置，用于对所述检出图像的所述图像特征量进行解码，从而生成编码检出图像数据；其中所述比较装置将所述编码检出图像数据与所述编码特定图像数据进行比较，从而确定所述码流是否与所述特定图像基本相同。
3.根据权利要求1所述的图像比较设备，其中，所述比较装置基于所述检出图像的所述图像特征量与所述编码特定图像数据之间的比较结果，确定所述码流和所述特定图像之间的相似度。
4.根据权利要求3所述的图像比较设备，其中，所述比较装置将所述相似度与阈值进行比较，从而确定所述码流是否与所述特定图像基本相同。
5.根据权利要求1所述的图像比较设备，其中所述码流根据JPEG 2000方案进行编码，所述图像特征量提取装置从所述码流中提取每个码块的零位平面数，所述编码参数提取装置从所述码流中提取编码参数，所述编码数据生成装置基于所述编码参数对所述特定图像执行小波变换和量化，然后将量化系数分割为码块，从而对每个码块生成零位平面数，以及所述比较装置将所述码流的每个码块的所述零位平面数与所述特定图像中与所述码流的所述码块位于相同位置的码块的所述零位平面数进行比较，并根据比较的结果确定所述码流是否与所述特定图像基本相同。
6.根据权利要求5所述的图像比较设备，其中，当所述码流的所有码块在零位平面数方面分别与所述特定图像的所有码块相同时，所述比较装置确定所述码流与所述特定图像基本相同。
7.根据权利要求5所述的图像比较设备，其中，所述比较装置仅针对特定部分和/或特定子带，比较所述码流的每个码块的所述零位平面数与所述特定图像的对应码块的所述零位平面数。
8.根据权利要求5所述的图像比较设备，其中，所述比较装置基于比较结果确定所述码流与所述特定图像之间的相似度，并将所述相似度与阈值进行比较，从而确定所述码流是否与所述特定图像基本相同。
9.根据权利要求5所述的图像比较设备，其中，所述比较装置将针对所述码块的比较结果累加，从而确定所述码流和所述特定图像之间的相似度。
10.根据权利要求9所述的图像比较设备，其中，所述比较装置将所述码流的那些在零位平面数方面与所述特定图像的所述对应码块相同的码块的数量进行累加，并根据相同码块的比确定所述相似度。
11.根据权利要求9所述的图像比较设备，其中，所述比较装置将所述码流的每个码块的所述零位平面数和所述特定图像的每个码块的所述零位平面数之间的差值进行累加，并基于所累加的差值确定所述相似度。
12.根据权利要求10所述的图像比较设备，其中，所述比较装置根据部分的类型和/或子带的位置，对所累加的数加权。
13.根据权利要求1所述的图像比较设备，其中所述码流已通过根据所述JPEG 2000方案执行编码而获得，所述图像特征量提取装置从所述码流中提取每个码块的MQ码，并对所述MQ码进行解码，从而生成所述码块的MQ符号，所述编码参数提取装置从所述码流中提取编码参数，所述编码数据生成装置基于所述编码参数对所述特定图像执行小波变换和量化，然后将量化系数分割为码块，从各个码块中删除零位平面，并执行位建模，从而提取每个码块的MQ符号，以及所述比较装置将所述码流的每个码块的所述MQ符号与所述特定图像中与所述码流的所述码块位于相同位置的码块的所述MQ符号进行比较，并根据比较的结果确定所述码流是否与所述特定图像基本相同。
14.根据权利要求1所述的图像比较设备，其中所述码流已通过根据所述JPEG 2000方案执行编码而获得，所述图像特征量提取装置从所述码流中提取每个码块的MQ码，对所述MQ码进行解码并执行位建模，从而形成不包括零位平面的码块，并生成关于最后解码位的信息，所述编码参数提取装置从所述码流中提取编码参数，所述编码数据生成装置基于所述编码参数对所述特定图像执行小波变换和量化，然后将量化系数分割为码块，从每个码块中删除零位平面，从而生成不包括零位平面的码块，以及所述比较装置将所述码流的每个码块的所述量化系数与所述特定图像中与所述码流的所述码块位于相同位置的码块的所述量化系数进行比较，直到所述最后解码位，并根据比较的结果确定所述码流是否与所述特定图像基本相同。
15.根据权利要求14所述的图像比较设备，其中，当所述量化系数在符号和最高有效位一侧直到最后解码位相同时，所述比较装置确定所述量化系数彼此相同。
16.根据权利要求14所述的图像比较设备，其中，所述比较装置将每个码块的比较结果累加，从而确定所述码流与所述特定图像之间的相似度。
17.一种图像比较方法，用于将通过对检出图像进行编码所获得的码流与特定图像进行比较，从而确定所述码流是否与所述特定图像基本相同，所述方法包括以下步骤对所述码流进行分析，从而提取所述检出图像的图像特征量；从所述码流中提取编码参数；基于所述编码参数，在一定程度上对所述特定图像进行编码，从而生成编码特定图像数据；以及将所述检出图像的所述图像特征量与所述编码特定图像数据进行比较，从而确定所述码流是否与所述特定图像基本相同。
18.一种图像检索设备，用于从通过对多个图像进行编码所获得的码流串中检索与特定图像基本相同的码流，所述设备包括图像特征量提取装置，用于分析组成所述码流串的每个码流，从而提取每个所述码流的图像特征量；编码参数提取装置，用于从所述码流中提取编码参数；编码数据生成装置，用于基于所述编码参数，在一定程度上对所述特定图像进行编码，从而生成编码特定图像数据；以及检索装置，用于将所述码流的所述图像特征量与所述编码特定图像数据进行比较，从而确定所述码流是否与所述特定图像基本相同，并用于从所述码流串中检索与所述特定图像基本相同的所述码流。
19.根据权利要求18所述的图像检索设备，进一步包括选择装置，用于选择和输出被确定为与所述特定图像基本相同的码流的索引。
20.根据权利要求19所述的图像检索设备，其中所述检索装置确定所述码流与所述特定图像之间的相似度，以及所述选择装置选择和输出具有超过阈值的相似度的码流的索引。
21.根据权利要求18所述的图像检索设备，其中所述码流已通过根据所述JPEG 2000方案执行编码而获得，所述图像特征量提取装置从组成所述码流串的每个所述码流中提取每个码块的零位平面数，所述编码参数提取装置从所述码流串的给定码流中提取编码参数，所述编码数据生成装置基于所述编码参数对所述特定图像执行小波变换和量化，然后将量化系数分割为码块，从而提取每个码块的零位平面数，以及所述检索装置在零位平面数方面，将所述码流的每个码块与所述特定图像中与所述码流的所述码块位于相同位置的码块进行比较，并根据比较的结果确定所述码流是否与所述特定图像基本相同。
22.根据权利要求18所述的图像检索设备，其中所述码流串已通过根据所述JPEG 2000方案执行编码而获得，所述图像特征量提取装置，从组成所述码流串的每个所述码流中提取MQ码，并对所述MQ码进行解码，从而生成MQ符号，所述编码参数提取装置从所述码流串的给定码流中提取编码参数，所述编码数据生成装置基于所述编码参数对所述特定图像执行小波变换和量化，然后将量化系数分割为码块，从所述码块中删除零位平面数，并执行位建模，从而提取每个码块的MQ符号，以及所述检索装置针对所述MQ符号，将所述码流的每个码块与所述特定图像中与所述码流的所述码块位于相同位置的码块进行比较，并根据比较的结果确定所述码流是否与所述特定图像基本相同。
23.根据权利要求18所述的图像检索设备，其中所述码流已通过根据所述JPEG 2000方案执行编码而获得，所述图像特征量提取装置从组成所述码流串的每个码流中提取MQ码，对所述MQ码进行解码，并执行位建模，从而生成不包括零位平面的码块，并生成关于最后解码位的信息，所述编码参数提取装置从所述码流串的给定码流中提取编码参数，所述编码数据生成装置基于所述编码参数对所述特定图像执行小波变换和量化，然后将量化系数分割为码块，从所述码块中删除所述零位平面数，从而生成不包括零位平面的码块，以及所述检索装置将所述码流的每个码块的所述量化系数与所述特定图像中与所述码流的所述码块位于相同位置的码块的所述量化系数进行比较，直到所述最后解码位，并根据比较的结果确定所述码流是否与所述特定图像基本相同。
24.一种图像检索方法，用于从通过对多个图像进行编码所获得的码流串中检索与所述特定图像基本相同的码流，所述方法包括以下步骤分析组成所述码流串的每个码流，从而提取每个所述码流的图像特征量；从所述码流中提取编码参数；基于所述编码参数，在一定程度上对所述特定图像进行编码，从而生成编码特定图像数据；以及将所述码流的所述图像特征量与所述编码特定图像数据进行比较，从而确定所述码流是否与所述特定图像基本相同，并从所述码流串中检索与所述特定图像基本相同的码流。
25.一种图像比较设备，用于将通过对检出图像进行编码所获得的码流与特定图像进行比较，从而确定所述码流是否与所述特定图像基本相同，所述设备包括图像特征量提取部，用于分析所述码流，从而提取所述检出图像的图像特征量；编码参数提取部，用于从所述码流中提取编码参数；编码数据生成部，用于基于编码参数，对所述特定图像在一定程度上进行编码，从而生成编码特定图像数据；以及比较部，将所述检出图像的所述图像特征量与所述编码特定图像数据进行比较，从而确定所述码流是否与所述特定图像基本相同。
26.一种图像检索设备，用于从通过对多个图像进行编码所获得的码流串中检索与特定图像基本相同的码流，所述设备包括图像特征量提取部，用于分析组成所述码流串的每个码流，从而提取每个所述码流的图像特征量；编码系数提取部，用于从所述码流中提取编码参数；编码数据生成部，用于基于所述编码参数，在一定程度上对所述特定图像进行编码，从而生成编码特定图像数据；以及检索部，将所述码流的所述图像特征量与所述编码特定图像数据进行比较，从而确定所述码流是否与所述特定图像基本相同，并从所述码流串中检索与所述特定图像基本相同的码流。
全文摘要
本发明提供了一种图像比较设备，用于将通过对检出图像进行编码所获得的码流与特定图像进行比较，从而确定码流是否与特定图像基本相同，该设备包括图像特征量提取部，用于分析码流，从而提取检出图像的图像特征量；编码参数提取部，用于从码流中提取编码参数；编码数据生成部，用于基于编码参数在一定程度上对特定图像进行编码，从而生成编码特定图像数据；以及比较部，用于将检出图像的图像特征量和编码特定图像数据进行比较，从而确定码流是否与特定图像基本相同。
文档编号G06T9/00GK1841429SQ20061006705
公开日2006年10月4日 申请日期2006年3月31日 优先权日2005年3月31日
发明者保坂和寿, 福原隆浩 申请人:索尼公司