专利名称：水印检测方法
技术领域：
本发明涉及检测水印的方法，特别涉及一种检测与图像序列对应的信号和/或数据内的水印的方法，例如在视频信号中检测水印的方法。此外，本发明还涉及可用来检测根据本发明的水印的水印检测器。
背景技术：
众所周知，水印容易被包含在重要物品中(例如在纸币中)以供确认这种物品的有效性和/或检测其伪造品。类似的考虑适合于重要数据和/或重要信号以确定其中的一个或更多的真实性和发行途径。后者对于视频电影和/或视频数据特别重要，因为非授权的拷贝(即通常称为“剽窃(hacking)”的可能的版权侵犯)会对该视频电影和/或数据的原始拥有者和/或经授权的发型商造成严重的经济损失。在版权侵犯中，在采取法律行动之前需要非授权拷贝的证据。
与纸币和类似的重要有形物品不同，只有通过故意扰动视频电影和/或视频数据以有效地印上信号和/或数据水印，才能在视频电影和/或视频数据中引入水印。
在与将水印应用到音频和视频信号和/或数据的方法有关的当前文献中，已经采用了多种方法用于在这种信号和/或数据当中引入隐蔽的信息，以用于向其中应用水印。在查看和/或聆听该信号和/或数据时，实质上是察觉不到这种隐蔽信息的。对于视频信号和/或视频数据来说，所包含的水印的幅度和这种信号和/或数据的噪声阈值差不多，在检测该水印的过程中，将它们的数据和/或信号对时间进行积分(即累加)以获得一个更可靠的水印指示。在时间上累加的图像噪声和常规节目素材最终积分为零，而所累加的水印数据随时间逐渐积分为一个显著不同的模式。
例如，在欧洲专利申请EP-A-1 156 660中描述了一种用于检测在原始图像信息中插入的数字水印信息的设备和方法，这种原始图像信息最初包括一个已被删除、改变或通过执行使原始信息变形的操作而变形了的数字水印。该装置包括一个第一装置，用于根据所获得的图像信息计算一个矩阵以及关于一个系统矩阵的转置矩阵；一个第二装置，用于根据所获得的图像信息计算一个估计的初始图像矢量；一个第三装置，用于计算该图像信息的一个残余矢量；一个第四装置，用于计算该残余矢量的平方误差；一个第五装置，用于判断该残余矢量的平方误差是否是最小值；一个第六装置，用于计算一个校正矢量；一个第七装置，用于计算一个反向旋转的图像；一个第八装置，用于以一个从第二装置计算的值代替来自第七装置的输出；一个第九装置，用于在检测到残余矢量平方误差的最小值时获得原始图像信号的估计值；一个第十装置，用于从原始图像信息的估计图像信息中恢复数字水印信息并显示所恢复的数字水印信息。该设备能够检测已遭受非授权处理的真实的专有原始图像信息，该非授权处理旨在删除被应用到原始信息上的水印，这些处理例如由非授权的发行商和/或滥用原始图像信息中的版权的黑客进行。
本发明的发明人认识到，如果视频图像信息中的图像已经遭受了仿射变换(例如由一个黑客进行)，则检测该视频图像信息中的水印是很困难的。本发明范围内的仿射变换被认为是包括缩放、图像旋转、图像翻转和类似的空间重新排列以及这种重新排列的组合中的一种或多种。此外，本发明的发明人认识到，在分析所接收的图像信息时，由黑客所施加的变换通常是无法预知的，因此，本发明的发明人认识到，需要对这种所接收的信息执行一系列穷举的逆变换以便在基于水印检测判断所接收信息的真实性之前确定是否存在一个水印。然而，本发明的发明人还认识到，这样一种穷举搜索是不切实际的，并且由于执行这一系列穷举变换所要求的数据处理能力非常高，所以难于在实践中通过使用当前水印装置来执行。
因此，本发明的发明人不仅设想了适用于这样一系列穷举变换的水印，还设想了用于检测这种水印的设备。
本发明的发明人了解之前对提供更为鲁棒的水印检测方法的尝试。例如，在国际PCT专利申请WO-A-01/24113中揭示了大多数当前水印方案对诸如加了水印的图像的几何畸变之类的处理不具抵抗力，这是因为所述处理破坏了在被采用来标记图像的原始水印与存在于经处理的图像中的该原始水印的畸变版本之间的相关性。该PCT申请公开了一种用于恢复这一相关性的方法和装置。在此方法中，分析一个待检图像，看看是否存在一个重复的数据模式。如果该方法确定存在这样一个模式，就判定已经通过在图像上“平铺”一个小尺寸水印图案而对该图像加了水印；本方法范围内的“小尺寸”意味着比图像小很多，例如，当在空间上重新组成时，每一个水印图案在图像中的面积约为该图像总面积的1％。接着，通过确定待检图像内所发现的图案的周期性，在该方法中执行一个实际检测，看看待检图像内所检测的水印是否为给定水印W，然后处理该待检图像以将该图案的周期性与为待检测的给定水印W计算的周期性匹配。如果发现该待检图像实际上包括该给定水印W，则撤消该几何处理并从而验证了该经处理的图像。
发明概述本发明的一个目的是提供一种更鲁棒的检测在与图像序列对应的数据和/或信号中的水印的方法。
本发明的另一个目的是提供一种更鲁棒的可用来检测在与图像序列对应的数据和/或信号中的水印的水印检测器，例如在视频信号中检测水印。在这方面，本发明的另一个目的是在仅仅使用数量有限的存储器与相关控制逻辑的同时提供这种检测器，因此可以修改现有的检测器以实现根据本发明的功能。
本发明的另一个目的是提供一种用更鲁棒的水印进行编码的信号和/或数据。
根据本发明的第一方面，提供一种检测在与一个图像序列对应的数据/信号中的水印的方法，该方法包括以下步骤(a)累加与序列中的一个或多个图像的空间子区域对应的数据，并在第一存储器中存储累加的数据；(b)在累加的数据上执行一个或多个变换来产生用于存储在第二存储器中的相应的变换数据；(c)比较存储在第二存储器中的变换数据与一个或多个参考水印来确定相关的一个或多个相似度；以及(d)输出一个或多个表示所述一个或多个相似度是否超出一个或多个所定义的相似度阈值的结果，从而表示在图像序列中是否存在一个或多个参考水印。
该方法的优势在于能够提供对于在与一个图像序列对应的数据/信号中的水印的更为鲁棒的检测。
优选地，所述一个或多个图像的空间子区域与基本上位于其中心的子区域对应。
优选地，在该方法中，借助相关性执行在步骤(c)中的对第二存储器装置中的所述变换数据与所述一个或多个参考水印的比较。使用相关性能够有利地使得可以通过使用当前水印检测硬件来执行该方法。
优选地，以时分多路复用方式在一个或多个硬件和软件中执行步骤(a)到(d)，在此过程中，所述一个或多个硬件和软件能够执行其它功能。这种时分多路复用的优势在于，可以在硬件和/或软件上有效地执行该方法，所述硬件和/或软件在为该方法提供充分的时间来执行步骤(a)中的充分累加的同时还提供其它功能。
优选地，为了可以避免与所述一个或多个参考水印的不准确的相关，第二存储器具有足够的存储容量，以便在步骤(b)中通过所述变换功能将存在于第一存储器内的所有数据单元映射到第二存储器的对应单元之上，从而基本上规避了与变换累加数据的空间上的周围区域相关的信息损失。
优选地，为了降低存储器要求，第一和第二存储器被设置成具有基本上与序列中的一个或多个图像的所述空间子区域相关的数据对应的容量。
优选地，为了检测存在于累加数据内的一个或多个水印，在所定义的搜索界限内多次执行步骤(b)和(c)，以便对所述第一存储器装置内的累加数据进行基本上穷举的搜索。本发明的发明人认识到，使用当前水印检测方法的这种穷举搜索在实际上和/或在经济上都不可行，因此当前水印检测方法有可能会遗漏水印的检测。
优选地，为了试图规避水印的误检测(其中通过使用数量比较合适的存储器来执行本发明的方法)，在将存储在第二存储器中的变换数据与所述一个或多个参考水印进行比较之前，在步骤(c)中对存储在第二存储器中的变换数据应用一个汉宁类窗。更为优选地，为了改进相关性检测，将该汉宁类窗设置成具有逐渐减小的空间周围范围。最优选地，通过一种平滑变化的函数来描述该汉宁类窗。此外，可以根据多个函数来实现该汉宁类窗，例如诸如具有一个中心最大值的二次函数之类的多项式函数、诸如具有一个中心最大值的余弦之类的三角函数、具有一个中心最大值的线性三角形函数或其任何组合，该窗被平滑地实现或以步进方式离散地实现。汉宁类窗易于具有沿着其空间正交方向的彼此不同的缩放。
有利地，为了提高水印检测的可靠性同时也适应于范围有可能更为广泛的剽窃变化，所述一个或多个参考水印优选为与一个或多个非模糊的参考水印对应的模糊表示。更为优选地，该方法被设置成使用所述一个或多个非模糊的参考水印的模糊表示来初始地识别存在于累加数据中的一个或多个水印，接着该方法被设置成使用非模糊的参考水印来分析该累加数据。该方法的这种变型能够提供快速而且精确的水印检测。
优选地，在接收序列的各图像时不断更新在步骤(a)中累加在第一存储器中的数据，而且将步骤(b)到(d)重复应用于所述不断更新的累加数据。
优选地，为了检测用来规避水印检测的各种剽窃变化，步骤(b)中的所述一个或多个变换至少包括平移、旋转、倾斜、弯曲、缩放和翻转变换中的一种。
本发明的发明人已经认识到，本发明的方法有利地与现有水印检测方法向后兼容。因此，优选地，该方法与一个或多个传统水印检测处理在时间上交替地和/或同时地采用。更为优选地，在所述一个或多个传统检测处理未能检测到在图像序列中存在一个或多个水印时采用该方法。
有利地，本发明的发明人认识到，根据本发明第一方面的方法可以在机顶盒、DVD播放器、DVD记录器、MPEG编码器、MPEG解码器、VWM标记器、数据存储设备和显示设备当中的一个或多个中执行。
根据本发明的第二方面，提供一种水印检测器，用于检测在与图像序列对应的数据/信号中的水印，该检测器包括(a)累加装置，用于累加与该序列中的一个或多个图像的空间子区域对应的数据；以及一个第一存储器，用于存储由该累加装置产生的累加数据；
(b)变换装置，用于对来自第一存储器的累加数据执行一个或多个变换以产生相应的变换数据以便存储在一个第二存储器中；(c)比较装置，用于比较存储在第二存储器中的变换数据与一个或多个参考水印，从而确定相关的一个或多个相似度；以及(b)输出装置，用于输出一个或多个表示所述一个或多个相似度是否超出一个或多个所定义的相似度阈值的结果，从而表示在图像序列中是否存在一个或多个参考水印。
优选地，该检测器被合并入机顶盒、DVD播放器、DVD记录器、MPEG编码器、MPEG解码器、VWM标记器、数据存储设备和显示设备当中的一个或多个。
根据本方面的第三方面，提供了与图像序列对应的数据和/或信号，所述图像具有施加到它的彼此不同的空间子区域的多个彼此不同的水印。优选地，为了提高水印检测的鲁棒性和/或检测速度，将水印细节设置为易于与相应参考水印的模糊版本的相关。优选地，至少一个空间子区域与图像的中心区域对应。优选地，在一个数据载体上记录该数据和/或信号，例如紧致盘(CD)、DVD盘和/或视频磁带。
应当理解，在不偏离本发明范围的情况下可以以任何组合方式组合本发明的特征。
现在将以举例的方式参照以下附图描述本发明的各实施例，其中图1是根据本发明的方法的原理步骤的示意图；图2是在图1的方法中使用的转换功能的一个实例的示意图；图3是由图2的实例转换功能所提供的一种空间映射的示意图；图4是由图2和3的实例转换功能的一个变型所提供的另一种空间映射的示意图；图5是一种预相关汉宁类窗的示意图，使用该窗来减少由于对执行图1的方法时所采用的缓冲器空间范围外部进行映射而产生的误差；图6是执行图1的方法所要求的硬件示意图；图7是以一种状态机形式呈现的示意图，其举例说明了图6的硬件的操作。
发明的实施例说明为了描述本发明，将考虑当前的提供信号水印的方法。例如一种众所周知的频繁使用的当前水印系统，称为VWM。
当前VWM水印检测器无法应付将来的黑客，其剽窃方法是基于对加了水印的视频信号进行小的几何变换，这种小变换并非仅仅是在一维或二维中的缩放。例如，与大于1°的图像旋转对应的小变换易于导致在传统VWM水印系统中的水印误检测，这种程度的旋转使人们在查看被黑客剽窃和/或非法盗印的图像时根本察觉不到，例如在盗版DVD的视频记录中。其它诸如图像剪切、图像弯曲以及水平和/或垂直翻转之类的小变换也有可能干扰传统VWM水印检测器的能力。此外，在根据国际公认的MPEG标准编码的整个图像上执行逆旋转是极为困难的。
因此，本发明的发明人设想了一种简单而且低成本的扩展当前VWM水印检测器功能的方法，以便使它们能够处理经几何变换的视频信息，否则这些信息就会被当前VWM检测器错误处理。本方法使当前VWM水印检测器能够至少处理诸如缩放、旋转、倾斜、弯曲以及水平和/或垂直反射翻转那样的仿射变换。本发明的主要原理是通过分别对其重复实施逆变换来在所接收的一系列视频图像的累加的一小部分上执行一个穷举搜索，其中在每个变换之后是一个相关性测量，以试图识别一个或多个水印。这一方法与现有技术不同，现有技术分析整个图像来识别水印。由于为了穷举测试的目的仅仅选择了每个图像的一小部分，所以用于执行本发明的存储器和相关硬件要求不那么高。本发明的发明人构造并接着表征根据本发明的方法工作的检测器；已经发现该检测器具有高度可靠性并能够处理MPEG类型的图像信息。
现在将详细地描述本发明的方法。
总的来说，本发明的方法采用了三个原理的组合(a)为了水印检测的目的在一段时间内(例如对于几个连续图像)累加图像序列中的每个图像的一个小区域以便提供一个累加数据集合，该小区域是在每个图像的中间区域中的一个128×128像素的区域；(b)在所选界限内对该累加数据进行穷举搜索，其中该累加数据受到至少一个逆变换，该逆变换产生相应的变换数据，然后测试该变换数据与一个或多个参考水印的相关性，从而以最高可靠性确定所述至少一个逆变换中的哪一个逆变换识别出在该小区域中存在一个水印；以及(c)通过时间多路复用的集成将以上原理(a)到(b)结合到现有水印检测器当中。
现在将参照附图1详细说明以上引入的原理(a)到(c)。
在图1中，显示了通常用10来表示的本发明的方法。方法10包括接收一个图像的时间序列20，例如，该图像时间序列包含了一个图像30。在每个图像的一个空间子区域内、例如在图像30的一个中心区域40(不过另外也可采用远离该中心区域的一个子区域)内包含一个水印场，在该水印区域内，以查看单独图像时基本上察觉不到的大小将水印图案W的空间表示叠加在图像上，然而，当在部分帧上积分(即累加)各单独图像时，在存在于图像内的背景噪声和节目素材上可以清楚地区别该水印图案W的空间表示。如果需要的话，可以以类似于传统VWM水印的方式对每个图像30全面平铺水印图案W，包括区域40。
可使用方法10来接收图像30的序列20并累加它们的中心区域40以便提供一个存储在第一存储器缓冲器A中的累加矩阵50。接下来，将一个变换功能60应用到矩阵50，从而产生一个对应的变换矩阵70以用于存储在第二存储器缓冲器B中。变换矩阵70接着经过一个搜索功能80到一个相关联的比较器功能90，可以使用比较器功能90来比较变换矩阵70与参考水印100；如果在参考水印100与变换矩阵70之间发现一个在预定义匹配准则内的相关性匹配，则认为序列20包括一个基本上类似于参考水印100的水印。如果合乎需要的话，可以使用搜索功能80在预定义搜索界限内反复地为输入其中的各种变换参数组合调用变换功能60，以便为了判断在序列20的图像30中是否包括一个参考水印100而对可能的变换执行穷举搜索。
现在将详细描述在图1中所表示的方法10的步骤。优选地通过如传统VWM中所采用的一个128×128像素的区域来实现每个帧的中心区域40。由于需要数量比较合适的存储器来存储这一像素矩阵形式的区域，所以这一小面积是合乎需要的。优选地，存储器的数量在尺寸方面正好足以容纳区域40。鉴于区域40的离散像素特性、其比较小的尺寸以及中心位置，诸如旋转、弯曲和/或在图像序列20上执行的剪切那样的剽窃操作相对而言几乎不影响利用方法10检测图像序列20中的水印存在的可靠性。尽管在图1所示方法10中对于中心区域40使用一个128×128像素的区域，但是可以理解对于区域40也可能使用其它尺寸；例如，区域40的尺寸优选地在10×10像素到500×500像素的范围内，更为优选地是在30×30像素到300×300像素的范围内，最为优选是在50×50像素到160×160像素的范围内，例如实质上尺寸为128×128像素。
从一个图像空间观点看，所述一个或多个图像的空间子区域与图像中的一个至多包含所述一个或多个图像中存在的20％的像素的像素区域相对应；本发明的发明人发现这一范围是在水印检测鲁棒性与合适的存储器和实施该方法的逻辑硬件要求之间一个最理想的折衷。更为优选地，所述一个或多个图像的空间子区域与图像中的一个至多包含所述一个或多个图像中存在的5％的像素的像素区域相对应。最为优选地，所述一个或多个图像的空间子区域与图像中的一个至多包含所述一个或多个图像中存在的2％的像素的像素区域相对应。
虽然一个较大的区域40能够在提供一个非常特定的空间形式的水印的同时在比较器功能90中提供更为精确的相关性，但是一个较小的区域40能够提供一种不那么特定但更为鲁棒的水印。因此区域40的尺寸是可选择的，这取决于所要求的水印唯一性程度，以及结合存储器和实现方法10所必需的硬件所要求的鲁棒性程度。此外，如上文所述，应该认识到区域40不必在中心，而是可以在方法10的各种变型中的图像30内偏离中心。
本发明的发明人认识到，仅仅从中心区域40选择水印信息是特别合乎需要的，即使在图像30的其它区域平铺了水印信息也是如此。当前从视频图像序列中提取水印细节的方法采用“折叠”。在折叠过程中，从整个图像的平铺有水印图案的多个子区域重叠水印信息。为了水印检测目的而在重叠过程中使用这种周围区域致使水印相关性成为对于图像旋转敏感的函数，从而导致为了可靠地测试加水印的图像需要使用昂贵而复杂的当前硬件。例如，在其中采用重叠和相关性的当前图像水印方法中，本发明的发明人已知对加了水印的图像进行在1°到2°范围内的旋转改变导致检测不到水印存在，也就是说，在测试这种重叠的加水印图像内的水印存在的过程中所产生的相关性峰值高度足以超出在当前水印检测器中的相关联的预定义相关性阈值。
在使用方法10时，本发明的发明人已经认识到，在用于累加图像30的中心区域40以产生矩阵50的时间与中心区域40内的水印的空间范围之间存在一个折衷；实际上，本发明的发明人已经认识到，当区域40与当前加水印整个图像相比较小而且在采用较长的积分时间时产生一个有利的解决方案用以提供鲁棒的水印检测。
现在将详细描述在方法10中采用的变换功能60。在操作中，矩阵50被存储在第一个128×128像素存储器缓冲器中，即上述缓冲器A。此外，设置变换功能60来执行一个逆变换。通过拷贝缓冲器A的内容并将它们映射到第二缓冲器之上来执行该逆变换，第二缓冲器即上述缓冲器B。
缓冲器A包括像素单元PAi，j，其中下标i，j分别与观看图像30时以水平(x)和垂直(y)空间方向为基准的图像像素位置相对应。因此，对于尺寸为128×128像素的中心区域40来说，单元PA64，64与图像30的序列20中的一个中心像素的累加对应。类似地，缓冲器B包括像素单元PBk，l，其中下标k，l各在1到128的范围内。可以使用变换功能60来接收来自第一缓冲器A的单元并将它们映射到第二缓冲器B之上。此外，还可以设置函数60来执行多种彼此不同的逆变换。
为了提供一个功能60的实例，将考虑一个对应于如图3所示将缓冲器旋转一个角度θ的旋转功能。对于这样一个旋转功能存在以下一组参数dxrow，dyrow，dxcolumn，dycolumn，这些参数涉及图2中举例说明的相关矢量。在下面解释该图。从左往右并从上往下填充缓冲器B。为缓冲器B中的每一个像素确定在缓冲器A中的对应像素的地址。在以水平(行)方向通过缓冲器B的同时，对于缓冲器B中每一个接下来的像素，用一个水平方向上的步进dxrow和一个垂直方向上的步进dyrow更新对应于缓冲器A的地址。类似地，在以垂直(列)方向通过缓冲器B的同时，对于缓冲器B中每一个接下来的像素，用一个水平方向上的步进dxcolumn和一个垂直方向上的步进dycolumn更新对应于缓冲器A的地址。
上述参数组定义子像素精确度。在以下给出的实例中，值256表示1个像素的步进。可以用此参数组描述多种类型的变换功能60。同时在表1中提供了用于以类似于图2的方式定义矢量的相应参数组。应当理解，可以类似地通过变换功能60来适应倾斜和弯曲。
表1
有利地，本发明的发明人发现，在硬件中实现一个旋转功能是简单的，尽管通过该执行过程可能产生轻微的缩放误差；由于中心区域40相对较小，所以缩放误差基本上与方法10的成功操作无关。
根据表1会理解，参数dyrow与dxcolumn在旋转的情况下是不完全相同的，例如在正负号上不同。这种差异的产生是因为在视频帧旋转一个给定的角度时，参数与帧旋转对应而不是与场旋转对应。
如图3所示，关于缓冲器A、B左上角处的拐角点PC的旋转导致缓冲器A中的一些单元被空间地映射到缓冲器B中所表示的空间范围之外。这种映射可能会导致在缓冲器A、B的周围单元处的数据损失，其导致在比较变换矩阵70(即缓冲器B)与参考水印100时由比较器功能90检测的相关性降低。
本发明的发明人认识到，存在两种方法用于减少可能的数据损失。
在第一种方法中，设置表1的参数和变换功能60来为变换功能60提供一个参考点，如图4所示，其位于缓冲器A的中心点PM；应当将该中心点PM与图3的拐角点PC进行比较。作为关于中心点PM有效地应用效旋转的结果，相应地减少由变换功能60引入的周围误差。中心点PM优选地集中在不超出从缓冲器A到其最靠近的外围边界的空间距离的20％的范围内，更为优选地不超出其10％，最为优选地不超出其5％。
在第二种方法中，通过搜索功能80将一个汉宁类窗应用于缓冲器B来提供一个空间调制的缓冲器，用于在比较器功能90中与参考水印100相关。优选地，汉宁类窗具有一个逐渐减小的边界，朝向该汉宁类窗的中心区域方向有更大的加权。此外，汉宁类窗易于实现，以便通过多种函数描述其空间调制，例如，诸如具有一个中心最大值的二次函数之类的多项式函数、诸如具有一个中心最大值的余弦之类的三角函数、具有一个中心最大值的线性三角形函数或其任何组合，该窗被平滑地实现或以步进方式离散地实现。可以以沿着其空间正交方向具有彼此不同的缩放的函数来描述汉宁类窗。优选地，在执行相关时类似地对参考水印100进行空间调制。在图5中提供了这种汉宁类窗的实例，一个对应于围绕拐角点PC的旋转，一个对应于围绕中心点PM旋转。
在图5中，显示了一种汉宁类窗的步进式实现方式，该汉宁类窗包括一个汉宁内边界200和一个汉宁外边界210。在比较器功能90内的相关过程中，相比于在两个边界200、210之间的环型区域内的缓冲器B中的各单元，对于在内边界200内的缓冲器B的各单元给出更高的权重。对于在外边界210之外的各单元，可以在比较器功能90内执行相关时对其应用进一步降低的权重。如果需要的话，可以为了相关的目的而忽视位于外边界210之外的缓冲器B的各单元，即令其具有零权重。此外，如果需要的话，可以为了简单起见而采用单个汉宁边界；可选地，可以忽视位于这一单个汉宁边界之外的缓冲器B的各单元。
如图5所述，应该认识到，第一和第二方法易于被同时使用。
作为对所述第一和第二方法中的一个或多个的替换或补充，可以简单地使缓冲器A、B在空间上比容纳来自中心区域40的像素信息所要求的大得多，即包含每个图像30的一个延伸到中心区域40以外的区域。尽管这种方法要求缓冲器A、B大于绝对必要，但其确实通过影响比较器功能90内的相关的精确执行而减小了外围边界误差。
实际上已经举例说明了在第二种方法中使用一个或多个汉宁类窗来使方法10能够处理通过施行8°的图像旋转规避水印检测而剽窃的图像。
在上文中，应该认识到，方法10可以被设置成通过变换功能60来对第一缓冲器A中的数据施行一个或多个变换(例如，根据表1但不限定于其中所公开的函数)以在第二缓冲器B中产生相应的数据，而且搜索功能80可以被设置成向比较器功能90提供这种变换的结果，如果需要的话，在与参考水印100相关以搜索一个表示存在于图像序列20中的水印与参考水印相类似的互相关性时，对第二缓冲器B的数据应用一个或多个汉宁类窗。
搜索功能80易于被实现，以便能够快速并穷举地执行该函数。以下的描述提供了方法10关于搜索功能80的操作概述。
在与当前水印检测处理相比较长的一段时间内累加图像序列20，即在5秒到50秒范围内的时间段内累加在方法10中的图像序列20，更为优选地在10秒到30秒范围内的时间段内累加图像序列20。通过变换功能60以更高的相对速率执行多个彼此不同的逆变换。执行变换功能80中的每个变换都会导致相关数据被存储在第二缓冲器B中，然后对这些数据实施如上所述的水印检测步骤，该检测步骤利用与参考水印100的相关性，而且必要的话在执行相关之前应用一个汉宁类窗。将该相关的输出与一个相关性参考阈值进行比较，以判断在图像序列20中是否存在与参考水印相对应的水印。在由本发明的发明人举例说明的实际硬件中，执行变换功能60基本上需要0.3秒，该变换功能应用一种特定类型的变换，紧跟着在搜索功能与比较器功能80、90中执行穷举搜索和相关。
针对变换功能60的每一次重复执行改变变换功能60的参数以处理不同类型的逃避检测的变换，黑客可能已经将所述逃避检测的变换应用于图像序列20来试图规避水印检测。因此，以预定义步幅在预定义边界内改变如表1中所提供的变换功能60的参数。在由本发明的发明人所设计的示范硬件中，为了使方法10执行对图像序列20的穷举搜索，以自动测试的不同参数符号来采用上述每个参数dxrow、dyrow、dxcolumn、dycolumn的最小值、最大值和步幅。应当理解，如果需要的话，易于在执行不同形式的方法10时对这四个参数中的至少一个参数施加这些限制。
优选地设置方法10以使其确定由变换功能60向缓冲器A的内容应用的用来产生缓冲器B的内容的哪一个逆变换在比较器功能90初提供了最佳相关性，其中假设在图像序列20中存在一个水印而且该水印是可检测的。每次由比较器功能90检测到一个更大程度的相关性，就在存储器中存储在变换功能60中使用的一组相应的参数。当穷举搜索结束时，接着使用提供最佳相关性的参数组来对序列20进行水印检测；优选地连续执行接下来的这种测试。可选地，方法10可以被配置成在黑客以彼此不同的剽窃变换的各种随机时间变型剽窃了图像30的序列20的情况下(即在序列20中、在时间上修改由黑客在剽窃图像序列20时所采用的剽窃变换以试图规避水印检测)，不时地周期性重复穷举搜索。
通过使用接下来将描述的检测器硬件可以实现由本发明的发明人发现的2分钟的水印检测时间，一个相关的穷举搜索涉及最高2°的旋转和最高2％的缩放变化的相对较小的变换。
可以通过不测试所有符号组合来减少使用方法10的水印检测时间，如表1所示。如果不对图像序列20进行有关水平翻转(即dxrow为负)的测试，就可以将方法10的水印搜索时间减少一倍。类似地，还可以通过不测试垂直翻转(即dycolumn为负)来将水印检测时间减少一倍。
此外，为了获得满意的较短的水印检测时间，选择一个合适的步幅以用于如上所述涉及参数组的搜索也是很重要的。如果所述步幅中的一个或多个太小，例如步幅为1而表1中的计数256表示像素尺寸，就会花费不必要的长时间来执行水印搜索。相反地，如果所述步幅中的一个或多个太大，例如步幅为16而表1中的计数256表示像素尺寸，那么在执行相关时就可能在比较器功能90中找不到一个相关性峰值，从而就无法可靠地检测图像序列20中的水印的存在。优选地，所使用的最理想的步幅位于计数1到16的范围内，其中计数256对应于像素尺寸。更为优选地，所使用的步幅应该位于计数2到8的范围内。最为优选地，步幅应为计数4。
尽管在上文中描述了四个参数(如表1中所示)，但是应该理解，可以使用更多的参数来描述由变换功能60应用的逆变换，例如对应于处理旋转、剪切和弯曲的组合。
当在硬件中实现方法10时，可以设置该硬件来根据需要有选择地在方法10与更多当前水印检测程序之间进行切换，从而该硬件与现有的水印和相关的检测程序向后兼容。在这方面，如果使用当前水印检测处理没有检测到水印，就可以设置该硬件自动切换到方法10来为硬件提供额外的水印检测能力。
如果发现在某些实际应用中执行方法10需要过多的时间，就可以在执行时将其扩展在几个时隙上，以便在各时隙之间的周期内可以执行其它时间紧要的功能。可以通过设计和/或动态地依赖置于执行方法10的硬件上的其它执行请求来设置这种执行扩展。
为了进一步说明方法10，现在将参照图6描述执行该方法所需要的硬件。
在图6中，显示了一个通常用300来表示的水印检测器。检测器300包括一个存储器310，用于存储与两个缓冲器A、B有关的数据。此外，检测器300还包括用320来表示的信号处理硬件，该硬件320包括一个存储器接口330，用于发送数据到缓冲器A、B并接收来自缓冲器A、B的数据。此外，该硬件320包括一个微处理器接口360，用于与连接到该硬件的其它设备(未显示)进行接口，例如，这些设备可以包括DVD记录器、视频记录器和诸如宽屏格式等离子屏幕那样的视频观看屏中的一个或多个。硬件320还包括一个检测器核心350，用于执行水印检测功能，例如在缓冲器A当中累加数据、为缓冲器B产生数据的变换功能60、搜索功能80和比较器功能90。硬件320还包括一个反剽窃模块(CHM)，用于协同操作存储器接口330与检测器核心350以用于实际上执行方法10。如图6所示，硬件320及其存储器310被互连。
在图7中显示了一个状态机形式的流程图，其举例说明了为了应用本方法10来检测三个参考水印W1、W2、W3而由图6的检测器300所执行的步骤。在图7中，应该认识到方法10并不采用折叠与累加的组合而仅仅采用累加。此外，并不像在当前水印检测器中所使用的那样应用再缩放(rescaling)。此外，用图7中的CHM 340来代替传统水印检测中使用的现有拷贝操作。另外，在CHM已对图6中称为“视频”的图像序列20进行操作之后，执行上述汉宁窗和之后的任何相关的快速傅立叶变换。
在图7中，采取以下如表2所提供的缩写表2
针对基带的水印检测方法10易于应用在视频中，而且还易于对基于MPEG的检测器中的MPEG数据应用本方法。当考虑到MPEG实现方式时，设置方法10来展开/累加MPEG图像数据的离散余弦变换(DCT)系数，之后对于所述系数执行逆向离散余弦变换(IDCT)以重建图像信息，然后对该图像信息应用图1所示并如上所述执行的方法10。
应该理解，可以在不偏离由所附权利要求书所定义的本发明范围的情况下对上述方法10及其相关检测器300进行修改。
例如，优选地将提供给比较器功能90的用于与来自搜索功能的输出数据进行相关的水印设置成参考水印100的模糊版本，因此在比较器功能90内执行的相关是不太精确的而且给出较小的相关性峰值，这是因为驱动变换功能60及其相关搜索功能80的参数在搜索图像序列20中的水印的过程中被改变。使用参考水印的模糊版本作为到比较器功能90的输入意味着在利用方法10执行一个搜索时可以采用更大的步幅，从而有可能提高方法10的执行速度。替换地或者附加地，在图像30中采用的水印也可以是水印的模糊表示，以便使所述相关更为鲁棒。
如果需要的话，可以使得被提供给比较器功能90的参考水印100的模糊量是动态可改变的，以便初始地结合用在变换功能60及其相关搜索功能80内的相对较粗的步幅来使用水印100的模糊版本。接着，可以结合较细的步幅使用水印100的较不模糊的版本，以用于获得一个最佳相关函数，该相关函数被用于确认用来生成图像序列20的剽窃变换的特性，并且还用于提高与应用于序列20的水印的特性有关的确定性。
可以以几种方式产生参考水印100的模糊版本。例如，该模糊水印优选地为非模糊参考水印100的几个旋转版本的叠加。然而，替换地或附加地，可以通过使用包括平移、倾斜、弯曲、缩放和翻转中的一个或多个的其它变换操作来创建参考水印100的模糊版本。
如果需要的话，例如为了在对图像30的序列20中可能存在的水印进行初始搜索时使得比较器功能90中的水印检测更为鲁棒，可以对累加矩阵50或变换矩阵70的至少其中之一进行空间模糊化，以便在初始穷举搜索该序列(20)时使得与参考水印100的相关性对于变换功能60的选择较不敏感。
如果需要的话，图像30适于包括在图像30的彼此不同的子区域上布置的几个彼此不同的水印。例如，其中第一水印区域可以位于每个图像30的中心区域并且是公知的(即明显的)，而第二水印区域可以朝向和/或位于图像30的周围区域并切是保密的(即隐蔽的)。此外，方法10可以被配置成在累加来自第一与第二区域的水印信息之间交替地切换，并分别交替地与相应的明显的参考水印和隐蔽的参考水印进行相关。因此，这种水印布置与检测有可能在防止和/或检测版权侵犯方面极为有用，例如可以作为采取法律行动的前提。
方法10与执行该方法的设备都易于用在多种产品应用中，所述产品应用包括但并不局限于视频素材的拷贝保护、机顶盒、DVD播放器、DVD记录器、MPEG编码器、MPEG解码器、VWM标记器、存储装置、显示装置、注释器、水印检测器。其可以用于检测被剽窃的视频图像信息，例如伪造的DVD记录。
应该理解，方法10易于在一个或多个硬件和软件中实现。例如，可以单独地在一个专用集成电路(ASIC)中使用该方法。或者，可以在专有计算平台(例如高速微控制器或可编程信号处理集成电路)上的可执行软件中实现本方法。或者，可以在添加了某种定制数字逻辑的专有计算平台(即硬件与软件的混合)上实现本方法。
在方法10的修改版本中，参考水印100实际上是一个汉宁类窗。例如，易于从图像30的第一和第二子区域累加水印信息，然后在空间上将参考水印100作为一个汉宁类窗应用于从第一子区域累加的数据来产生一个相应的经汉宁处理的数据集合，接着将该数据集合与来自第二子区域的累加数据在空间上进行相关；其中识别空间相关性，图像30被认为包括相应于(不必类似于)被实现为汉宁类窗的参考水印的水印信息。这种安排能够增强对于期待更传统类型的水印的黑客的防范。
图像30的序列20可以包括被施加在它的一个子区域上的至少一个水印，该至少一个所施加的水印是一个参考水印的模糊表示，其中适于通过与参考水印的非模糊版本和模糊版本中的至少一个进行相关来检测所施加的该水印。
在上文中，“包括”一词不是排他性的，因此还可以存在其它项和/或组件。
本发明可以概括如下。如果图像已经受到(有可能是由黑客进行的)诸如缩放、旋转、翻转等的仿射变换，则难以在一个视频图像序列(20)中检测水印(40)。所执行的变换通常是未知的。因此，在检测(90)之前对图像执行一个或多个逆变换(60)直至可以做出可靠的判断。以充足参数的小的步幅变化来执行所述逆变换。在一个优选实施例中，在经逆变换的图像与参考水印的模糊版本之间进行对相关性的初始搜索，其中例如通过组合参考水印的多个旋转版本获得该模糊的参考水印。如果发现了某种相关性，就减少模糊量和/或降低该步幅。这样在检测水即时需要较少的步骤。
权利要求
1.一种检测在与一个图像序列(20)对应的数据/信号中的水印的方法(10)，该方法(10)包括以下步骤(a)累加与该序列(20)中的一个或多个图像(30)的一个空间子区域(40)相对应的数据，并在第一存储器(50；310)中存储所累加的数据；(b)对所累加的数据(50)执行一个或多个变换(60)来产生用于存储在第二存储器(70；310)中的相应的变换数据(70)；(c)比较(80，90)存储在第二存储器中的变换数据(70)与一个或多个参考水印(100)，以便确定相关联的一个或多个相似度；以及(d)输出一个或多个表示所述一个或多个相似度是否超出一个或多个所定义的相似性阈值的结果，从而表示在图像(30)的序列(20)中是否存在一个或多个参考水印。
2.按照权利要求1所述的方法，其中所述一个或多个图像(30)的该空间子区域(40)基本上与其中心子区域相对应。
3.按照权利要求1所述的方法，其中借助于相关性(90)来执行在步骤(c)中对第二存储器装置中的所述变换数据(70)与所述一个或多个参考水印(100)的比较。
4.按照权利要求1所述的方法，其中所述一个或多个参考水印(100)是汉宁类窗，以用于为了水印检测的目的而使来自多个存在于图像(30)的序列(20)内的加水印的子区域的累加数据彼此相关。
5.按照权利要求1所述的方法，其中以时分多路复用方式在一个或多个硬件(300)和软件中执行步骤(a)到(d)，在此过程中，所述一个或多个硬件(300)和软件能够执行其它功能。
6.按照权利要求1所述的方法，其中所述第二存储器(70；310)具有足够的存储容量，以便在步骤(b)中通过所述一个或多个变换将存在于第一存储器(50)内的所有数据单元映射到第二存储器(70)内的对应单元之上，从而基本上规避了与变换累加数据的空间上的周围区域相关的信息损失。
7.按照权利要求1所述的方法，其中所述第一和第二存储器(50，70)被设置成具有基本上对应于与序列(20)中的一个或多个图像(30)的该空间子区域(40)相关的数据的容量。
8.按照权利要求1所述的方法，其中为了检测累加数据内的一个或多个水印的存在，在所定义的搜索界限内多次执行步骤(b)和(c)以提供对所述第一存储器装置内的累加数据的基本上穷举的搜索。
9.按照权利要求1所述的方法，其中在与所述一个或多个参考水印(100)进行比较之前，在步骤(c)中将一个汉宁类窗(200，210)应用于存储在第二存储器(70；310)中的变换数据。
10.按照权利要求1所述的方法，其中在步骤(c)中对所述一个或多个参考水印(100)应用一个汉宁类窗(200，210)，以用于与变换数据(70)进行比较。
11.按照权利要求9或10所述的方法，其中所述汉宁类窗(200，210)被设置成具有逐渐减小的空间周围范围。
12.按照权利要求1所述的方法，其中所述一个或多个参考水印(100)是对应的一个或多个非模糊参考水印的模糊表示。
13.按照权利要求1所述的方法，其中在步骤(c)中对累加数据(50)和变换数据(70)的至少其中之一进行模糊化，以使得与所述一个或多个参考水印的比较对于逆变换(60)的选择较不敏感。
14.按照权利要求12或13所述的方法，其中该方法(10)被设置成使用所述一个或多个非模糊参考水印的模糊表示以用于初始地识别存在于累加数据(50)中的一个或多个水印，接着被设置成使用基本上为非模糊的参考水印来分析该累加数据(50)。
15.按照权利要求1所述的方法，其中所述空间区域(40)包括一个模糊水印。
16.按照权利要求1所述的方法，其中在接收所述序列(20)的图像(30)时不断更新在步骤(a)中累加在第一存储器(50；310)中的数据(50)，而且重复地将步骤(b)到(d)应用于所述不断更新的累加数据(50)。
17.按照权利要求1所述的方法，其中在步骤(b)中的所述一个或多个变换(60)包括平移、旋转、倾斜、弯曲、缩放和翻转变换中的至少一种。
18.按照权利要求1所述的方法，其中该方法(10)与一个或多个传统水印检测处理在时间上被交替地和/或同时地采用。
19.按照权利要求18所述的方法，其中在所述一个或多个传统检测处理未能检测到存在于图像序列(20)中的一个或多个水印时调用该方法。
20.按照权利要求1所述的方法，其中在步骤(a)中，所述子区域(40)的位置在所述图像(30)内的多个位置之间是可选的，其中从该子区域累加来自所述图像(30)的数据，而且根据所选的所述位置来选择在步骤(c)中使用的一个或多个参考水印(100)。
21.按照权利要求1所述的方法，该方法被设置成可在机顶盒、DVD播放器、DVD记录器、MPEG编码器、MPEG解码器、VWM标记器、存储装置和显示装置中的一个或多个中执行。
22.一种水印检测器(300)，用于检测在与图像(30)的一个序列(20)对应的数据/信号中的水印，该检测器(300)包括(a)累加装置(50，310，350)，用于累加与该序列(20)中一个或多个图像(30)的一个空间子区域(40)相对应的数据；以及一个第一存储器(50，310)，用于存储由该累加装置(50，310，350)产生的累加数据(50)；(b)变换装置(330，340，350)，用于对来自第一存储器(50，310)的累加数据(50)执行一个或多个变换以产生相应的变换数据(70)以用于存储在一个第二存储器(70；310)中；(c)比较装置(340，350)，用于比较存储在第二存储器(70；310)中的变换数据(70)与一个或多个参考水印，以便确定相关联的一个或多个相似度；以及(d)输出装置(360)，用于输出一个或多个表示所述一个或多个相似度是否超出一个或多个所定义的相似性阈值的结果，从而表示在图像(30)的序列(20)中是否存在一个或多个参考水印。
23.按照权利要求22所述的检测器(300)，其被合并在机顶盒、DVD播放器、DVD记录器、MPEG编码器、MPEG解码器、VWM标记器、数据存储装置和显示装置中的一个或多个当中。
全文摘要
如果图像已经受到(有可能是由黑客进行的)诸如缩放、旋转、翻转等的仿射变换，则难以在一个视频图像序列(20)中检测水印(40)。所执行的变换通常是未知的。因此，在检测(90)之前对图像执行一个或多个逆变换(60)直至可以做出可靠的判断。以充足参数的小的步幅变化来执行所述逆变换。在一个优选实施例中，在经逆变换的图像与参考水印的模糊版本之间进行对相关性的初始搜索，其中例如通过组合参考水印的多个旋转版本获得该模糊的参考水印。如果发现了某种相关性，就减少模糊量和/或降低该步幅。这样在检测水印时需要较少的步骤。
文档编号G06T9/20GK1771513SQ200480009650
公开日2006年5月10日 申请日期2004年4月2日 优先权日2003年4月11日
发明者H·A·G·范沃格特, H·A·W·范格斯特 申请人:皇家飞利浦电子股份有限公司