基于内容的图像副本检测方法和装置的制作方法

专利名称：基于内容的图像副本检测方法和装置的制作方法
相关申请的交叉参考本申请要求以下申请的优先权(1)2002年3月14日提交的名为“基于内容的图像副本检测”的美国临时专利申请No.60/364769；(2)2002年5月31日提交的名为“基于内容的图像副本检测”的美国临时专利申请No.60/384584；以及(3)2002年4月12日提交的名为“用于图像副本检测的DCT系数的序数测量”。将所有这些临时申请通过引用结合于本文中。
当前，一般使用两种方式来保护数字图像版权压制水印和基于内容的副本检测。压制水印是在图像分发前将信息嵌入图像，这一点一般为人所熟知。因此，标记内容的所有副本包括水印，水印可以被析取以证实所有权。对于基于内容的副本检测，除图像本身外，不需要其它信息。通常，图像包含足够的独特信息，可用于检测副本，特别是非法分发的副本。例如，如果图像所有者怀疑图像在因特网上被非法分发，则该所有者可向副本检测系统进行查询。应该理解，基于内容的副本检测也可以是压制水印的补充方式。在副本检测器向创建者或分发者提供可疑列表后，媒体的实际所有者可使用水印或其它验证技术来证实所有权。
基于内容的副本检测方案从原始图像中析取签名。将从测试图像中析取的同一签名与原始图像签名相比较，从而确定测试图像是否为原始图像的副本。基于内容的副本检测与水印相比，主要的优点在于在分发图像前不需进行签名析取。然而，与原件不同的副本，即稍有修改的副本却无法检测到。例如，第三方可生成各种修改以避免副本检测，或者增强图像质量，这样可能使基于内容的副本检测系统检测不到该副本。
在基于内容的图像检索系统中使用了诸如直方图相交方法等基于颜色直方图的方法。然而，由于颜色直方图不保存有关颜色的空间分布信息，因此它们不适用于副本检测系统。另一种可以考虑像素位置的方法是基于分区的方法。在这种方法中，将图像分成子图像。在一种这样的方法中，每个分区的颜色信息通过局部颜色直方图获得。两个图像的相似性通过比较其局部颜色直方图及考虑所有子图像的相似性而进行测量。然而，此方法的计算成本高并需要很长的搜索时间。此外，此方法将检测不到修改了空间配置(spatialoutlay)的图像。
值得注意的是，在基于内容的图像检索和图像副本检测之间存在基本差异。图像副本检测器搜索查询图像的所有副本，而基于内容的图像检索系统通常搜索在颜色方面类似的图像。例如，

图1显示三个图像，说明图像副本检测器搜索和基于内容的图像检索系统之间的差异。此处，图像102是原始(或查询)图像，图像104在颜色方面类似于图像102，而图像106是图像102改变色调后的图像。对于基于颜色的图像检索系统，它将认为图像104比图像106更接近于图像102，而图像副本检测器认为图像106更接近于图像102的副本。因此，视所用副本检测方法的类型而定，将得到不同的结果，其中所用的一个或所有方法检测不到某些图像副本。换而言之，可接受的图像副本检测器应在检测副本时容许一定程度修改。修改包括亮度与饱和度的改变、色调变化，而空间变形包括旋转、翻转等。为覆盖修改的一种提议是包括在万维网上使用基于子波的复制图像检测。然而，基于子波的方法将检测不到经翻转或旋转的副本。
因此，需要提供一种方法和装置来解决先有技术的问题，在副本的空间配置或颜色方面被修改的情况下，可对原数字图像副本进行稳固有效的基于内容的图像副本检测。
在一个实施例中，提供了一种检测数字图像副本的方法。该方法从将怀疑的数字图像分为子图像开始。然后，从各个子图像确定与像素相关的平均强度。接着，将平均强度转换成一系列系数。然后，从这个系数系列定义秩矩阵。接着，将从该系数系列得到的秩矩阵与查询图像的秩矩阵相比较，以确定所怀疑副本是否为数字图像的真正副本。
在另一实施例中，提供了一种基于内容的图像副本检测方法。该方法从选择与图像相关的图像数据开始。然后，从各图像的图像数据定义签名索引。接着，为各个图像存储图像数据的签名索引。然后，确定查询图像的签名索引。接着，识别来自各图像的图像数据的所存储签名索引中的任一个与查询图像的签名索引之间的匹配。
在再一个实施例中，提供了一种查找数字图像的未授权副本的方法。该方法从计算测试图像的秩矩阵开始。然后，计算查询图像的秩矩阵。接着，确定阈值。该阈值表示测试图像是否为查询图像的副本。然后，确定与测试图像的秩矩阵和查询图像的秩矩阵之间距离相关的距离值。接着，将距离值与阈值进行比较。如果距离值小于阈值，则测试图像是查询图像的副本。
在又一个实施例中，提供了配置在计算机系统上执行的计算机代码。计算机代码包括用于识别图像数据的程序指令。计算机代码包括用于从所识别图像数据定义特征矢量的程序指令。包括用于将特征矢量存储在数据库中的程序指令。包括用于确定在查询图像的特征矢量与所识别图像的特征矢量之间的匹配的程序指令。包括用于显示在查询图像的特征矢量与所识别图像的特征矢量之间的匹配的程序指令。
在另一实施例中，提供了用于确定测试图像是否为查询图像副本的计算机代码。计算机代码包括用于计算与查询图像有关的秩矩阵和与测试图像有关的秩矩阵的程序指令。也提供了用于确定表示测试图像是否为查询图像副本的阈值的程序指令。包括用于将与查询图像有关的秩矩阵和与测试图像有关的秩矩阵进行比较的程序指令。用于比较的程序指令包括用于确定测试图像与查询图像之间距离值的程序指令和检查该距离值是否小于阈值的程序指令。在距离值小于阈值时，测试图像是查询图像的副本。
在再一个实施例中，提供了具有用于检测数字图像副本的程序指令的计算机可读媒体。计算机可读媒体包括用于将所怀疑的数字图像副本分成子图像的程序指令和用于确定与各个子图像相关的平均强度的程序指令。包括了用于将平均强度转换成一系列系数的程序指令。提供了用于从该系数系列定义秩矩阵的程序指令，以及用于将该系数系列的秩矩阵和查询图像的秩矩阵进行比较从而确定所怀疑图像是否为数字图像真正副本的程序指令。
在又一个实施例中，提供了计算机系统。计算机系统包括用于组合图像数据的数据库生成系统，数据库生成系统包括用于识别图像数据的图像聚集系统和用于析取图像数据的签名索引的特征析取代码。提供了用于将图像数据与查询数据进行匹配的数据库查询系统。数据库查询系统包括配置为存储图像数据的签名索引的数据库和配置为识别查询数据的签名索引与图像数据的签名索引之间匹配的特征匹配系统。
通过以下结合附图，以例示方式描述本发明原理的详细说明，本发明的其它方面和优点将变得显而易见。
图1显示三个图像，说明图像副本检测器搜索与基于内容的图像检索系统之间的差异；图2a-2c是副本检测的序数测量的使用图示；图3是图1中图像102的空间修改图像；图4是根据本发明一个实施例，基于内容的副本检测系统的高级示意图；图5是根据本发明一个实施例，配置成彼此通信的两个子系统的副本检测系统方框图；图6是根据本发明一个实施例，秩矩阵生成器模块的更详细示意图；图7A是根据本发明一个实施例的四个不同秩矩阵大小及其用于确定具有最高鉴别力的秩矩阵大小的相应错误和正确排除率的简图；图7B是根据本发明一个实施例，描述用于序数测量的(6×6)-1左上AC系数的8×8离散余弦变换的示意图8是根据本发明一个实施例的精度和检索率与归一化阈值的曲线；图9是根据本发明一个实施例，说明用于确定群集的最佳数量的群集有效性分析的结果的图；图10是根据本发明一个实施例，利用基于群集的检测比较最佳阈值的精度和检索率的图；图11是根据本发明一个实施例，用于检测数字图像副本的方法操作流程图。
本发明的实施例提供利用一种算法来有效地检测数字数据副本的系统。正如下面将更全面解释的一样，可按常规方式识别已在颜色和可视外观以及空间配置方面修改了的副本。在一个实施例中，通过万维网爬虫(crawler)定位在诸如因特网的分布式网络上找到的查询图像的怀疑副本。所怀疑的副本尺寸调整为8×8的子图像。将二维离散余弦变换(DCT)过程应用到子图像以生成秩矩阵，也称为序数测量、签名索引或特征矢量。每个怀疑副本的秩矩阵被存储在数据库中，其中每个秩矩阵可与查询图像的秩矩阵进行比较，以确定所怀疑副本是否为真正的副本。在一个实施例中，指定秩矩阵的大小以提供最佳鉴别力。本文描述的实施例可得用群集方法提供更有效的匹配过程，这将在下面进一步描述。
匹配图像的基本方法是基于相关的方法，该方法基于像素差之和。令I1和I2表示两个图像中的强度。存在N个元组(I11，I12)，...，(I1n，I2n)，...(I1N，I2N)，N表示图像中的像素数量。数量Σi=1N|I1i-I2i|N]]>测量(I1，I2)之间的距离。在N表示块数量时，I1n也可以是第n个块的平均强度。然而，这些测量并不稳固，表现在单个远端像素(或块)可任意使其失真。此外，在对应像素存在非线性强度变化时，它并不适用。
在一个实施例中，对立体图像匹配使用序数测量提供了所需的稳固性。在使用序数测量的一个示例中，图像被分区为m×n个大小相同的块，这使得系统独立于输入图像的尺寸。通过取每块的平均值计算这m×n个子图像。图2a-2c是用于副本检测的序数测量图示。图2a表示图像分区为m×n(3×3)个大小相同的块。计算每个块的像素强度平均值并显示于图2b的每块内。平均值阵列被转换成图2c所示的秩矩阵，其中，该秩矩阵的大小是m×n或1×mn。这样，如果图2b中的强度值在复制图像中均匀地改变，使其子图像具有如下值{{30，60，40}，{70，90，110}，{50，100，80}}，即每决的强度值增加20，秩矩阵将不会改变。也就是说，像素值的秩矩阵与图2c所示一致，因此可实现与原始图像的完全匹配。
然而，如上所述使用序数测量将不会检测到以无规律方式修改的副本，特别是如果修改了图像的空间配置。图3是图1中图像102的空间修改图像。如图3中图像108所示，图1的风景图像102进行了水平翻转。使用如上所述的强度值的序数测量将检测不到图3中的修改图像。在下述实施例中，从二维离散余弦变换得到的AC系数序数测量被用于定义一维秩矩阵。该一维秩矩阵随后用作特征矢量，可与查询图像进行比较以检测副本。
图4是根据本发明一个实施例，基于内容的副本检测系统的高级示意图。万维网爬虫142搜索诸如因特网140的分布式网络上查询图像的可能副本。应该理解，万维网爬虫142可以是能够搜索可能图像副本的任何适合的万维网爬虫。一旦万维网爬虫142识别查询图像的一个可能副本，则该可能副本被传送到秩矩阵生成器144。秩矩阵生成器144处理可能副本的图像数据以提供秩矩阵。该秩矩阵可想成是可能图像副本的数字指纹。在一个实施例中，通过对图像数据的8×8表示执行二维离散余弦变换(DCT)得到秩矩阵。随后，两个图像之间的序数测量被用于确定图像是否为查询图像的副本，其中序数测量是二维DCT生成的所有或部分AC系数。
仍参照图4，每个可能副本的秩矩阵存储在数据库146中。数据库146被配置为可以搜索该数据库，以查找秩矩阵1-n与查询图像秩矩阵145之间的匹配。秩矩阵匹配系统147接收查询图像秩矩阵145并搜索数据库146以查找查询图像秩矩阵的匹配。在一个实施例中，数据库146的秩矩阵被群集以便更有效地找出查询图像秩矩阵的匹配。一旦找到匹配，即查询图像的副本，则表示匹配的数据将输出到监视器148。例如，识别为查询图像副本的一个或多个秩矩阵可能具有到统一资源定位器(URL)地址的指针。这样，通过单击所输出的对应秩矩阵，可以访问复制图像。
图5是根据本发明一个实施例，配置成彼此通信的两个子系统的副本检测系统方框图。数据库查询子系统156包括用户界面158、秩矩阵生成器144、特征匹配子系统154和数据库146。数据库生成子系统152包括图像聚集子系统142、秩矩阵生成器144和群集/元数据生成156。在一个实施例中，到数据库生成子系统152的输入是图像聚集子系统142收集的图像，图像聚集子系统142可以手动操作或者通过诸如万维网爬虫等软件操作。从图像析取收集图像的秩矩阵，然后进行适当地群集，这将在下面参照图8-10进行更详细地解释，从而生成数据库查询子系统150所使用的索引。数据库查询子系统150通过特征匹配子系统154将已析取秩矩阵的查询图像与数据库146的索引元素相匹配，从而确定任一索引元素是否为查询图像的副本。也就是说，特征匹配子系统搜索数据库，从而在群集环境或无群集环境中得到与查询图像的匹配。索引元素与查询图像之间的任何匹配均通过用户界面158显示。当然，执行特性析取功能和群集/元数据生成功能的代码可硬编码到半导体芯片上。本领域的技术人员将理解，半导体芯片可包括配置为提供上述功能性的逻辑门。例如，硬件描述语言(HDL)可用于合成固件与逻辑门设计，从而提供本文所述的必需功能性。
在一个实施例中，定义为秩矩阵的AC系数的序数测量可用于距离测量，也被定义为签名索引以表示对应的图像。以下定义和数学关系式会在下面论述，以便理解利用序数测量的副本检测方法。图像数据库定义为T＝{C，R}，其中C＝{Q，C1，...，Cm}表示查询(原始)图像Q及其带有/不带有某些修改的副本的集合，并且R＝{R1，...，Rn}指数据库中的剩余图像。检测器(分类器)应该在两个类(例如，分别表示集合C的“C类”和集合R的“R类”)之间具有高鉴别力，并且如参照表1和图7A与7B所述一样对于各种图像修改具有稳固性。假设Ti是数据库中的测试图像，则根据假设测试条件，副本检测表示为H0:Ti∈C;H1:H0c]]>其中H0是零假设，而H1是可供选择的假设。在一个实施例中，零假设表示测试图像与查询图像相关，可供选择的假设表示测试图像与查询图像不相关。
在本发明另一实施例中，DCT系数的序数测量用作表示图像的特征，以便在将错误检测减到最小的同时，检测到尽可能多的查询图像副本。更具体地说，8×8子图像的AC系数的大小按降序或升序排列。应该理解，排列的AC系数大小只是整数排列，并且被称为秩矩阵。更准确地说，如果SN表示整数[1，2，...，N]的所有排列的集合，则任何秩矩阵是此集合的一个元素。要测量分别从图像Ii和Ij得到的两个秩矩阵ri和rj之间的相关性，需要定义距离矩阵d(ri，rj)。本领域的技术人员将理解，两个图像之间的距离由其秩矩阵ri和rj之间的Minkowski矩阵的L1范数表示d(ri,rj)=||ri-rj||l=Σl=1N|ril-rjl|,∀(ri,rj)∈SN,]]>其中，N是秩矩阵大小。对于逸出值，L1范数矩阵已知为比等于Σl=1N(ril-rjl)2]]>的L2范数更稳固。此外，L1范数在计算上更有效。在一个实施例中，将任意格式的图像转换成YUV格式，并且由于在副本检测中颜色所起作用不大，这与图像检索系统中颜色是关键特征不同，因此只使用Y分量。
图6是根据本发明一个实施例，秩矩阵生成器模块更详细的示意图。将图像输入到秩矩阵生成器144，并且首先进入图像分区模块162。在此处，在一个实施例中，输入图像被分成64(8×8)个大小相同的子图像(或块)。在另一实施例中，得到对应于按每个子图像定义的像素的平均强度。随后，在离散余弦变换(DCT)模块164，通过执行8×8二维(2D)DCT，将各个得到的平均强度变换成一系列系数。接着，在模块166中，二维DCT矩阵随后被变换成AC系数的序数测量，如包含AC大小按降序或升序排列的63个秩的1×63秩矩阵。为便于说明，原始(查询)图像的秩矩阵Q为q＝[q1，q2，...，qN]，并且测试图像的秩矩阵T为t＝[t1，t2，...，tN]，其中，N＝63。然后，查询图像与测试图像D(Q，T)之间的序数测量变成两个秩矩阵之间的L1范数，即D(Q,T)=d(q,t)=Σl=1N|ql-tl|]]>。
副本检测器的稳固性(robustness)确定失配开始发生前系统可以容忍的数据不一致的量。要显示所提议测量对各种修改的稳固性，为便于说明，提供了上述测量与其它三种测量之间的比较。应该理解，上述测量使用从DCT系数获得的秩矩阵，在下面定义为测量4。测量1-3是其它三种基于栅格的方法的测量，在这些方法中，图像分成64(8×8)个大小相同的子图像(块)，并且得出其平均强度。每种测量简单描述如下测量1。测量1是基本的基于相关的方法。此处，L1范数在两个8×8子图像之间计算得出。8×8图像的像素值之间差异和被用于确定是否存在副本。
测量2。测量2是子图像的序数测量，其中，L1范数是在从8×8子图像生成的两个秩矩阵之间计算得出。此处，像素值的秩矩阵用于确定是否存在副本。
测量3。在测量3中，L1范数是在两个DCT系数集合之间计算得出。首先，通过执行2-D DCT来算得8×8子图像的AC系数。然后，从查询图像的对应AC系数与测试图像的AC系数的大小之间计算L1范数。
测量4。如本文所含实施例中所述，L1范数是使用AC幅度的序数测量计算得出。
作为上述测量的测试，将同一图像的13个修改图像放入具有40000个图像的数据库中。也就是说，将原始图像和十三个图像修改插入到40000个图像的数据库中。表1A显示了如上述测量1-4所列的四个副本检测试验中每个试验的前面14等级。大写字母A-N表示表1B中定义的图像类型。应该理解，由于本文所述实施例可用于检测其它类型的图像修改，因此，表1B中描述的图像类型仅用于例示目的，并不表示限制。再参照表1A，序数表示的距离测量(测量2和4)比非序数表示(测量1和3)的距离测量更稳固。然而，就像所估计的那样，测量2的结果表明像素值的序数测量无法容许诸如旋转和翻转(表1B的图像类型G和H)等修改，而DCT系数的AC幅度值的序数测量(测量4)能够检测所有十三个副本和原件。表1A中的术语FD表示错误检测，即不是副本的图像由相应的测量排列。
表1A
表1B
以上提供的实验结果显示所提议的测量(测量4)对各种类型的失真表现稳固。然而，这种稳固性在比较不相关的图像时可转变成不利条件。这是由于序数测量和使用DCT系数的原因。这样，系统的鉴别力，即识别能力，在涉及到排除不相关图像以免发生错误检测的能力时也变得重要。
在本文所述副本检测方案的一个实施例中，影响鉴别力的一个因素是秩矩阵大小。秩矩阵大小确定将用于序数测量的AC系数量。由于像素值的一些突变可能导致高频方面的变化，因此，AC系数对高频的影响值得关注。要测量鉴别力的量，可确定最佳秩矩阵大小。测试方法和结果在下面描述。
假设X＝d(q，t)是数据库中查询图像与测试图像之间的距离。归一化距离 定义为x^=x/M,0≤x^≤1,]]>其中M是d(ri，rj)的最大值，(ri，rj)∈SN。在两个排列彼此相反时获得M，并且N是秩矩阵大小。同样，假设w1表示具有先验概率P(w1)的C类，而假设w2表示R类，则P(w2)＝1-P(w1)。
假定自然状态(类标签)和系统判决已知。此类信息由此允许确定具有最高签别力的秩矩阵大小。考虑以下两个概率·P(x^>x^*|x^∈w1):]]> ·P(x^>x^*|x^∈w2):]]> 其中， 是用于确定数据库中的测试图像是否属于C类的归一化阈值。应该理解，错误的排除指的是图像副本未作为副本而被排除，而正确的排除指的情况是非图像副本被正确地排除。如果存在大量试验，则这些概率可以通过实验确定。
图7A是根据本发明一个实施例的四个不同秩矩阵大小及其相应的错误和正确的排除率，用于确定具有最高鉴别力的秩矩阵大小。四个秩矩阵大小(N)的排除率在图7A的二维图上绘出， 从0改变到1。图7A的曲线可作为接收机操作特性(ROC)曲线。测试的秩矩阵大小如下· N＝63此处，8×8DCT的所有AC系数均用于序数测量。图7A的线167d说明了该结果。· N＝48只取48个低频AC系数并用于序数测量，(或者除DC系数的7×7左上系数)。图7A的线条167b说明了该结果。· N＝35只取35个低频AC系数并用于序数测量，(或者除DC系数的6×6左上系数)。图7A的线条167a说明了该结果。· N＝24只取24个低频AC系数并用于序数测量，(或者除DC系数的5×5左上系数)。图7A的线条167c说明了该结果。
要区分所提议测量相对于秩矩阵大小的性能，通过添加更多不同的修改，如球体化、径向模糊、笔触等，将集合C的大小从14增加到30。应该理解这些类型的图像修改除表1B中所列的修改类型以外的修改。显示最高签别力的曲线将通过坐标(0，1)，其中0是对应于错误的排除的相对测量，而1是对应于正确的排除的相对测量。如图7A中线167a所示，在秩矩阵N的大小N为35时，签别力最高。这表示在高频适当去掉AC系数改善了AC系数的序数测量。应该理解，将秩矩阵大小从63减到35也有助于节省用于索引的存储空间。此外，高频AC系数中的任何噪音均已消除，这是由于那些高频AC系数一般在6×6左上系数之外。
图7B是根据本发明一个实施例，显示用于序数测量的6×6左上AC系数的8×8离散余弦变换的示意图。如参照图7A所述，6×6块172减去DCT系数173被确定为AC系数的最佳数量。另外，在此实施例中，区域174中的高频AC系数更可能包含噪音，并因而被去掉。应该理解，最佳秩矩阵大小可根据特定应用而改变。
在图像数据库的大小变得很大时，可能需要基于群集的检测来有效地搜索数据库。群集的目的是通过将类似数据项分类或分组来减少数据量。这种分组是人们处理信息的普遍方式，并且使用群集算法的动机之一是提供自动工具以便帮助构建类别或分类。应该理解，也可使用将过程中的人为因素影响降到最低的方法。
常用群集方法是k平均群集，这是因为它易于实施，并且在与诸如禁忌搜索、遗传算法和模拟退火等与其相似的方法相比，在执行时间方面它最有效。相应地，k平均群集很适用于大的数据集合。众所周知，K平均群集从随机初始分区开始，并保持将图案再分配到最近的群集，然后重新计算形心，直至满足收敛性标准。
选择群集数量影响分析，即，在k改变时，可出现极为不同种类的群集。群集的数量，即k，需要在k平均算法中明确指定。由于群集的最佳数量事先没有确切知道，因此采用群集有效性分析以确定群集的最佳数量。在一个实施例中，群集的最佳数量是在最大化群集间距离的同时，最小化群集内距离的群集数量。也就是说，群集中的秩矩阵应小，而不同群集的秩矩阵在一个实施例中非常不同。此特性以数学方式描述如下 其中ηj=1njΣi=1njd(ri(j),μj)]]>，并且εij＝d(μi，μj)。
ηij是群集j的群集内距离，而εij是群集i与j之间的群集间距离。ri(j)是属于第j个群集的第i个特征矢量，并且nj是第j个群集中的特征矢量数量。因此，上述等式测量了各群集的紧密度以及群集间的间距。群集 的最佳数量选定为k^=2≤k≤10minv(k)]]>。换而言之，对k＝{2，...，10}测试k平均算法，并且选择了给出v(k)最低值的一个群集。
对上面参照图5描述的副本检测系统进行性能评估。为进行性能评估，将图像数据副本的5个集合的秩矩阵插入数据库，其中每个集合具有原始图像的10个修改副本。因此，合计有55(11×5)个对应于图像的秩矩阵插入了数据库。原件的修改副本包括参照表1B所述的变化和以下类型的变化龟裂缝、水纸、马赛克、波纹、海洋波纹、海绵、改变纵横比、深色笔划和饱和度增加。此外，本文所述的实施例配置为检测原件的任何改变副本，而不只是具有此处及表1B中所列修改的副本。当然，可预计基于颜色的方案将不能检测到颜色或对比度已变化的一些图像，而基于相关性的方案无法检测到旋转/翻转后的图像。在对应像素中存在非线性强度变化时，预计基于相关性的方案将较弱。同样地，基于纹理的方式可能难以处理边缘位置已变化或添加了新边缘点的副本上，如通常称为龟裂缝、海洋波纹和马赛克平铺的修改。
要评估所提议的副本检测系统和算法的性能，精度和检索率定义如下 其中， 是归一化阈值。每个图像作为查询提出，以从数据库检测其十一个副本(10个修改的和1个原始的)。
图8是根据本发明一个实施例中精度和检索率相对于归一化阈值的曲线。可以看到，在大约0.3的归一化阈值附近，获得了希望的结果，这是因为精度和检索率均较高。应该理解，在最小化丢失副本的数量方面，具有更高的检索率值是重要的。阈值确定数据库的测试图像是否属于副本类。在一个实施例中，阈值的确定是通过下述算法计算得出。
在一个实施例中，副本检测器，即分类器，采用阈值来确定数据库的测试图像是否属于C类，即副本类。副本检测系统的最佳阈值θx的表达式以数字方式显示如下C=∪iTi,]]>这样，x＝d(q，ti)＜θx，其中，C是属于C类的图像集合，而Ti是图像数据库中的测试图像。查询(原始)图像与测试图像之间的距离d(q，ti)可以模拟为随机变量x，其值x具有属于C类的图像的平均值μ1和属于数据库中剩余图像的平均值μ2。假定分布是正态的，即p(x|wi)~N(μi,σi2),]]>其中wi表示可能的类，i＝1表示C类，i＝2表示R类。查找最佳阈值θx的合理起始点是按如下方式使用似然比测试如果P(w1|x)＞P(w2|x)，确定w1；否则，确定w2，其中，P(w1|x)和P(w2|x)表示分别对应于H0和H1的后验条件概率。如果在表达式两端均应用贝叶斯法则，并且按如下所示重新安排各项p(x|w1)p(x|w2)><H1H0P(w2)P(w1),---(1)]]>左侧比率已知为似然比，并且整个等式通常称为似然比测试。由于测试是基于选择最有最大后验概率的图像类，因此，判决标准称为最大后验(MAP)标准。应该理解，由于此标准一般来说产生最少数量的错误判决，因此MAP标准也可称为最小错误标准。假设K表示先验率P(w2)/P(w1)，则等式(1)可表示如下p(x|w1)p(x|w2)><H1H0K.---(2)]]>根据高斯分布模拟分类条件概率密度函数产生p(x|w1)=12πσ2exp[-12(x-μ1σ1)2],---(3)]]>p(x|w2)=12πσ2exp[-12(x-μ2σ2)2].---(4)]]>其中，分布大致模拟真实数据。通过将等式(3)和(4)带入到(2)中，可提供exp[-12(x-μ1σ1)2+12(x-μ2σ2)2]><H1H0Kσ1σ2.---(5)]]>然后，每边取对数，-12(x-μ1σ1)2+12(x-μ2σ2)2><H1H0In(Kσ1σ2).---(6)]]>
假定两类具有相同方差，允许在统计上约束C类，这样，太多失真的副本会被视为丢失了原始图像的身份。因此，σ＝σ1＝σ2，等式(6)可简化为2x(μ1-μ2)+μ22-μ12><H1H02σ2In(K).---(7)]]>最后，计算最佳阈值θx的解决方案，对于x，通过重新整理等式(7)为x><H1H0μ1+μ22-σ2In(K)μ2-μ1=θ.---(8)]]>在分析等式(8)时，注意到在K＝1，或两类的先验概率相同时，最佳阈值变为两个平均值的平均值，或μ1+μ2/2。在K增大时，最佳阈值由于σ2In(K)μ2-μ1>0]]>而减小。实际上，K可能具有大得多的值。要通过等式(11)计算最佳阈值，上述参照表1的相同测试材料，其中30个副本和一个原件放入了具有40000个图像的数据库中。然后，计算μ1、μ2和σ22，其归一化值分别为0.1464、0.5842和0.0043。在此实施例中，通过应用等式(11)确定的最佳阈值是0.30，其中K＝40000/30。注意在K＝1时，该阈值为0.37。此处，在K增大时，最佳阈值低于两类的两个平均值的简单平均数。应该理解，在K变大时，数据库中的测试图像更不可能属于副本类。
虽然上述性能测试作为无群集副本检测执行，但参照k平均群集所述的基于群集的检测可结合于性能测试。如上所述，数据库中的特征矢量，即秩矩阵，通过k平均算法群集，并且可执行群集有效性分析以确定群集的最佳数量。
图9是根据本发明一个实施例，显示用于确定群集最佳数量的群集有效性分析的结果图。它显示在K＝7时，群集有效性测量v(k)最小。因此，在一个实施例中，系统中的群集数量设为7。此处，首先将七个群集的形心与查询图像的特征矢量进行比较。在一个实施例中，为更有效地进行副本检测，仅在其形心属于到查询图像的特征矢量的N个最近的形心的群集中，选择诸如秩矩阵的特征矢量。对于与图9对应的副本检测系统，如参照图10所述，群集的最佳数量确定为四。因此，确定七个群集中的四个与查询图像的秩矩阵对齐，并搜索这四个群集以查找副本。本领域的技术人员将明白，视应用而定，群集有效性分析显示的群集数量可改变为大小或小于7。同样地，确定要搜索的群集数量可包括总群集的一部分或所有群集。如上所述，副本检测甚至可在无群集环境中操作。
图10是根据本发明一个实施例，使用基于群集的检测，比较在最佳阈值的精度和检索率的曲线。它绘出了无群集情况及如上所述考虑7个群集的1、2、3或4群集时在最佳阈值所得到的精度和检索率。如图10所示，仅在最接近于查询图像的群集用于副本检测时，精度率最高，且检索率最低。随着使用的最近群集数量的增大，即N的增大，精度率会稍微降低，而检索率会增大。
表2概括了基于群集的副本检测结果的详细值，其中使用的最近群集的数量为4。在此情况下，如图10所示，结果与无群集检测的结果相同，而检测的处理时间与无群集检测的处理时间相比少了65％。无群集检测的处理时间在933MHz的Pentium III上大约为1.8秒，这包括查询图像的特征矢量析取和与数据库中的40000个特征矢量的距离匹配。如表2所示，在插入到40000个图像的数据库的55个副本中，在最佳阈值检测了53个副本，而只丢失了图像C查询的两个副本。丢失的副本是通过深色笔划修改的副本和通过水彩修改的副本。对于图像B查询，包括了12个错误的检测，而在检测到的前面11个图像中排列了图像查询的副本。相应地，在一个实施例中，视查询图像的特征而定，此处自适应阈值方案可能有用。应该理解，如参照图8所述，归一化最佳阈值θx指定为0.3。另外，图10的精度和检索值对于无群集检测和4群集检测是相同的。当然，如上所述，4群集检测的时间比无群集检测的时间少得多。 表2的数据显示上述副本检测方法的有效性。相对于查询图像A、B、D和E，检测到了所有11个图像(10个修改副本和1个原件)。对于查询图像C，检测到11个图像中的9个图像。此外，在检测到超过11个图像时，这11个图像一致地排列在找到的前11个图像中。应该理解，图像作为秩矩阵存储在数据库中，并且如上所述，根据查询图像的秩矩阵搜索数据库。当然，数据库中的数据可以是群集或无群集的。
图11是根据本发明一个实施例，用于检测数字图像副本的方法操作流程图。流程图从选择图像的操作200开始。在本发明的一个实施例中，此处选择的图像是在诸如因特网等分布式网络上的图像，并且通过诸如万维网爬虫等搜索软件的帮助找到。该方法随后前进到操作202，在该操作中定义图像的签名索引。签名索引也称为特征矢量，包括如上所述的一维秩矩阵。在一个实施例中，通过将选择的图像细分成64个大小相同的子图像或块得到签名索引，即秩矩阵。64个大小相同的子图像排布为8×8栅格。对从与每个子图像相关的像素值算得的平均强度求平均值。平均强度通过二维DCT运算变换成一系列系数。随后，将DCT的该系数系列变换成秩矩阵。如上参照图7A和7B所述，秩矩阵可包括所有63个AC系数或其中的一部分。
图11的方法随后继续到操作204，在该操作中，在定义了签名索引后，存储签名索引。例如，在一个实施例中，签名索引存储在数据库中。如上参照图8-10所述，将签名索引群集，以便在数据库中更有效地检测图像副本。在一个实施例中，通过诸如k平均群集等群集方法在数据库中将数据群集。该方法随后移到操作206，在该操作中，确定查询图像的签名索引。应该理解，查询图像是要检测副本的原始图像。在一个实施例中，如上参照定义图像数据的签名索引的方法操作202所述，确定查询图像的签名索引。该方法随后前进到操作208，在该操作中，识别任一存储的签名索引与查询图像的签名索引之间的匹配。在一个实施例中，将秩矩阵匹配系统用于识别秩矩阵之间的匹配。在另一实施例中，通过群集有效性分析确定签名索引群集的最佳数量，从而优化检测匹配的时间。
总而言之，上述发明检测了未授权的数字图像副本。在一个实施例中，副本检测器具有图像数据库，在数据库中有从数百万个网页中收集的图像。或者，系统可维护图像的签名索引，即特征矢量和URL的数据库。应该理解，签名的数据库最好是避免版权问题及节省存储空间，这是因为存储的图像在其特征矢量析取后会删除。定期在网络上搜索(crawl)的自动图像搜索工具收集新发现的图像，然后根据其特性为它们编索引。
虽然可使用任意数量的DCT系数，但本文所述特定示例使用8×8子图像35个DCT系数的序数测量，以避免高频噪音。结果对包括翻转和旋转以及颜色修改在内的各种修改表现稳固。另外，实施例具有高辨别功能，可最小化错误测的发生。对于秩矩阵的索引，每个秩矩阵需要6比特×35/图像，即大约27字节/图像，其中秩矩阵大小等于35。本领域的技术人员可理解，视特定应用而定，可考虑更有效的群集和索引，以有效地处理包含数百万图像的数据库。应该理解，本文提供的特定示例，如数据库中DCT系数的最佳数量和签名索引的群集的最佳数量是根据特定示例显示。因此，视签名索引的类型、数据库的大小、所需的精度和检索率、最佳阈值等而定，最佳数量可以不同。然而，获得最佳水平的上述方法可应用到基于内容的图像副本检测的任何应用。
理解上述实施例后，应该理解本发明可采用各种计算机实现的涉及计算机系统中存储的数据的操作。这些操作包括要求物理数量的物理处理的操作。这些数量通常但并不必然会采取能够被存储、传送、组合、比较及处理的电或磁信号形式。此外，执行的处理经常指诸如产生、识别、确定或比较等术语。
上述发明可通过包括手持装置、微处理器系统、基于微处理器或可编程消费电子产品、微型计算机、大型计算机等其它计算机系统配置实施。本发明也可在分布式计算环境中实施，在该环境中，任务由通过通信网络链接的远程处理装置执行。
本发明也可实施为计算机可读媒体上的计算机可读代码。计算机可读媒体是可存储由计算机系统此后读取的数据的任何数据存储装置。计算机可读媒体示例包括硬盘驱动器、网络附属存储器(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带及其它光学和非光学数据存储装置。计算机可读媒体也可分布在与计算机系统连接的网络上，以便计算机可读代码以分布方式存储和执行。
虽然为便于理解，详细地描述了上述发明，但显然，在所附权利要求书范围内，可实施某些改变和修改。相应地，所示实施例应视为用于说明而非限制，并且本发明并不局限于本文给定的细节，而是可在所附权利要求书范围和等效物内进行修改。在权利要求书中，除非权利要求收中明确指明，否则部件和/或步骤并不暗示任何特定的操作顺序。
权利要求
1.一种用于检测数字图像副本的方法，它包括将数字图像的怀疑副本分成若干子图像；确定与所述各个子图像相关的像素的平均强度；将所述平均强度变换成一系列系数；从所述系数系列形成秩矩阵；以及将从所述系数系列得到的所述秩矩阵与查询图像的秩矩阵相比较，以确定所述怀疑副本是否为所述数字图像的真正副本。
2.如权利要求1所述的方法，其特征在于所述各个子图像由8×8的块组成，并且所述数字图像具有64个大小相同的子图像。
3.如权利要求1所述的方法，其特征在于所述系数系列包括离散余弦变换(DCT)函数的AC系数。
4.如权利要求1所述的方法，其特征在于所述将所述平均强度变换成一系列系数的方法操作包括，通过执行二维离散余弦变换(DCT)生成二维的系数系列。
5.如权利要求1所述的方法，其特征在于从所述系数系列形成秩矩阵的所述方法操作包括，将所述系数系列安排在一维秩矩阵中。
6.如权利要求5所述的方法，其特征在于所述一维秩矩阵按降序排列所述系数系列的大小。
7.一种基于内容的副本检测方法，包括选择与图像相关的图像数据；从所述图像数据形成签名索引；存储所述图像数据的所述签名索引；确定查询图像的签名索引；以及识别从所述图像数据得到的所述存储签名索引与所述查询图像的所述签名索引之间的匹配。
8.如权利要求7所述的方法，其特征在于优化所述图像数据的所述签名索引的大小和查询图像的签名索引的大小，从而使错误的检测减到最少。
9.如权利要求7所述的方法，其特征在于所述图像数据的所述签名索引与查询图像的所述签名索引两者均由具有从由24、35、48和63构成的组中选择的若干系数的签名索引定义。
10.如权利要求7所述的方法，其特征在于所述图像的所述签名索引存储在数据库中。
11.如权利要求7所述的方法，其特征在于选择与图像相关的图像数据的所述方法操作包括，搜索分布式网络以得到所述图像数据；以及从多个签名索引形成群集。
12.如权利要求11所述的方法，其特征在于使用k平均算法形成所述群集。
13.如权利要求11所述的方法，其特征在于通过群集有效性分析确定多个群集。
14.如权利要求11所述的方法，其特征在于所述群集包括群集形心。
15.如权利要求14所述的方法，其特征在于还包括将所述查询图像的所述签名索引与所述群集形心进行比较，以确定是否搜索了所述群集。
16.一种用于查找数字图像的未授权副本的方法，它包括计算测试图像的秩矩阵；计算查询图像的秩矩阵；确定阈值，所述阈值表示所述测试图像是否为所述查询图像的副本；确定与所述测试图像的所述秩矩阵和所述查询图像的所述秩矩阵之间的距离相关的距离值；以及将所述距离值与所述阈值进行比较，其中如果所述距离值小于所述阈值，则所述测试图像是所述查询图像的副本。
17.如权利要求16所述的方法，其特征在于所述确定阈值的方法操作包括，应用最大后验(MAP)标准计算所述阈值。
18.如权利要求16所述的方法，其特征在于所述阈值与先验概率之比成反比。
19.如权利要求16所述的方法，其特征在于还包括通过二维离散余弦变换，计算所述测试图像的所述秩矩阵和所述查询图像的所述秩矩阵。
20.一种计算机可读媒体，它包括配置为在计算机系统上执行的计算机代码，所述计算机代码包括识别图像数据的程序指令；从所述识别的图像数据形成特征矢量的程序指令；存储所述特征矢量的程序指令；确定在查询图像的特征矢量与所述识别图像的所述特征矢量之间的匹配的程序指令；以及显示在所述查询图像的所述特征矢量与所述识别图像的所述特征矢量之间的匹配的程序指令。
21.如权利要求20所述的计算机可读媒体，其特征在于所述特征矢量是秩矩阵。
22.如权利要求20所述的计算机可读媒体，其特征在于所述形成特征矢量的程序指令包括用于执行二维离散余弦变换(DCT)的程序指令。
23.如权利要求20所述的计算机可读媒体，其特征在于所述确定匹配的程序指令包括用于基于群集的检测的程序指令。
24.如权利要求23所述的计算机可读媒体，其特征在于所述用于基于群集检测的程序指令是k平均群集程序指令。
25.计算机可读媒体，用于确定测试图像是否为查询图像的副本，所述计算机代码包括计算与查询图像相关的秩矩阵和与测试图像相关的秩矩阵的程序指令；确定表示所述测试图像是否为所述查询图像副本的阈值的程序指令；以及将与所述查询图像相关的所述秩矩阵和与所述测试图像相关的所述秩矩阵进行比较的程序指令；所述用于比较的程序指令包括，确定所述测试图像与所述查询图像之间的距离值的程序指令；以及检查所述距离值是否小于所述阈值的程序指令，其中在所述距离值小于所述阈值时，所述测试图像是所述查询图像的副本。
26.如权利要求25所述的计算机可读媒体，其特征在于确定表示所述测试图像是否为所述查询图像副本的阈值的程序指令包括，应用最大后验(MAP)标准来计算所述阈值的程序指令。
27.如权利要求25所述的计算机可读媒体，其特征在于计算与查询图像相关的秩矩阵和与测试图像相关的秩矩阵的程序指令包括，应用二维离散余弦变换计算每个秩矩阵的程序指令。
28.如权利要求25所述的计算机可读媒体，其特征在于所述阈值与最佳精度值和最佳检索值相关。
29.一种具有用于检测数字图像副本的程序指令的计算机可读媒体，它包括将数字图像的怀疑副本分成若干子图像的程序指令；确定与所述每个子图像相关的平均强度的程序指令；将所述平均强度变换成一系列系数的程序指令；从所述系数系列形成秩矩阵的程序指令；以及将从所述系数系列得到的所述秩矩阵和查询图像的秩矩阵进行比较，从而确定所述怀疑图像是否为所述数字图像的真正副本的程序指令。
30.如权利要求29所述的计算机可读媒体，其特征在于所述将所述平均强度变换成一系列系数的所述程序指令包括，通过执行二维离散余弦变换(DCT)，生成二维系数系列的程序指令。
31.如权利要求29所述的计算机可读媒体，其特征在于用于从所述系数系列形成秩矩阵的所述程序指令包括，将所述系数系列安排在一维秩矩阵中的程序指令。
32.如权利要求29所述的计算机可读媒体，其特征在于还包括，从多个秩矩阵形成群集的程序指令。
33.如权利要求32所述的计算机可读媒体，其特征在于还包括，将查询图像的所述秩矩阵和所述群集形心的秩矩阵进行比较以确定是否搜索了所述群集的程序指令。
34.一种计算机系统，它包括汇集图像数据的数据库生成系统，所述数据库生成系统包括，识别所述图像数据的图像聚集系统；用于析取所述图像数据的签名索引的特征析取代码；以及将所述图像数据与查询数据进行匹配的数据库查询系统；所述数据库查询系统包括配置为存储所述图像数据的所述签名索引的数据库；配置为识别所述查询数据的签名索引与所述图像数据的所述签名索引之间的匹配以确定所述图像数据是否为所述查询图像的副本的特征匹配系统。
35.如权利要求34所述的计算机系统，其特征在于所述图像生成系统是万维网爬虫。
36.如权利要求34所述的计算机系统，其特征在于所述签名索引是秩矩阵。
37.如权利要求34所述的计算机系统，其特征在于所述特征匹配系统包括确定是否搜索了与所述数据库相关的群集的能力。
38.如权利要求34所述的计算机系统，其特征在于所述签名索引通过离散余弦变换(DCT)函数获得。
39.如权利要求34所述的计算机系统，其特征在于所述特征匹配系统定义用于确定所述图像数据是否为所述查询数据的副本的阈值。
全文摘要
一种检测数字图像副本的方法，它从将所怀疑的数字图像副本分成若干子图像开始。然后，确定与每个子图像相关联的平均强度。接着，将平均强度变换成一系列系数。然后，从该序列系列形成秩矩阵。接着，将系数系列的秩矩阵和查询图像的秩矩阵进行比较，以确定所怀疑的副本是否为数字图像的真正副本。也提供了计算机可读媒体、计算机系统和配置为在计算机系统上执行的计算机代码。
文档编号G06K9/64GK1445722SQ0312166
公开日2003年10月1日 申请日期2003年3月14日 优先权日2002年3月14日
发明者C·金 申请人:精工爱普生株式会社