专利名称：在信号中嵌入辅助数据的制作方法
技术领域：
本发明涉及用于将辅助数据嵌进信息信号内的方法和装置，所述信息信号例如是视频信号、音频信号或具体说是多媒体内容。本发明还涉及用于检测上述辅助数据的方法和装置。
发明的背景美国专利5748783号中公开了一种嵌入辅助数据的公知方法。在这种已有技术中，通过增加具有纯噪音外观的低振幅水印而嵌入N位代码。该代码的每一位均与一单独水印相关联，所述水印具有与原始信号相同的长度和尺寸(例如这两者都是512×512的数字图像)。通过将相应的水印加进信号内来表示代码位“1”。通过避免将相应的水印加进信号内或通过从信号中去掉水印来表示代码位“0”。从而，用多达N个不同的水印(噪音)图形之和来表示上述N位代码。
在怀疑例如一期杂志中的图像(或图像的一部分)是原始图像的非法拷贝时，就从可疑图像中去掉原始图像并使N个单独水印图形与差分图像相关联。根据所述差分图像与各个水印图形之间的关联度而赋给相应的位“0”或“1”并检索出所说的N位代码。
上述先有方法的缺陷在于，在编码结束时要增加N个不同的水印图形，并且，在解码结束时要分别检测N个水印图形。
发明目的及概要本发明的目的是提供能克服已有技术缺陷的嵌入和检测水印的方法和装置。
为此，本发明提供了一种将辅助数据嵌进信息信号内的方法，该方法包括下列步骤在一矢量上变换一个或多个预定的水印图形一或多次，相应的矢量表示所说的辅助数据；以及，将上述变换过的水印嵌进所说的信息信号。检测信息信号中的辅助数据的相应方法包括下列步骤检测一个或多个嵌入的水印；确定一矢量，通过该矢量相对预定的水印变换所检测到的水印；以及，从上述矢量中检索出所说的辅助数据。从属权利要求限定了本发明的最佳实施例。
本发明还能将多位代码包含在单个水印图形中或包含在仅有的几个不同水印图形中。这对诸如视频和音频播放机及记录机之类的家用设备中的水印检测来说是很重要的，因为，必须要将要加以检测的水印存储在上述设备中。本发明利用了这样的思想即可以使用这样的检测方法，它们不仅能检测到是否将给定的水印嵌进信号内而且还能在不作额外计算的情况下提供大多数水印的相对位置。这是一种显著的优点，因为，在实践中，可嵌进信息内容中的位数在粗糙性、可视性与检测速度之间总是折衷的。本发明还能用适度的硬件需求来实时地进行检测。
对附图的简要说明
图1概略地示出了本发明用于将水印嵌进信号内的结构；图2和3示出了说明图1所示的嵌入器的操作的图；图4概略地示出了本发明用于检测所嵌入的水印的结构；图5、6A和6B示出了说明图4所示的检测器的操作的图；图7示出了用于播放嵌有水印的视频位流的设备；图8和9示出了说明本发明将多位信息嵌进水印并对水印中的多位信息进行检测的操作的又一种图。
对最佳实施例的说明为方便起见，将本发明的加水印方案说明为一种将不可视标记放进视频内容的系统，但是，所述说明可很明显地应用于包括音频和多媒体在内的任何其它内容。以下我们将这种方法称为JAWS(JustAnother Watermarking System，另一种适当的加水印系统)。
图1示出了本发明水印嵌入器的实际实施例。这种嵌入器包括一图像源11，它可生成图像P；以及，混合器12，它可将水印W加进图像P。水印W是与上述图像有同样长度的噪音图形，例如水平方向上有N1个象素、垂直方向上有N2个象素。水印W代表一键值k，即，可以在接收端加以检索的多位代码。
为了避免水印检测过程需要在大的N1×N2空间内查找水印W，通过在图像的范围内重复并在必要的情况下截出称之为“分割区”的更小单位W(K)。图2中示出了这种“分割”操作(15)。分割区W(K)具有固定的长度M×M。分割区长度M不应太小在W(K)中，较小的M意味着更加均匀，从而有更大的安全性危险。另一方面，M不应太大大M值对检测器来说意味着大的查找空间，从而有较大的复杂性。在JAWS中，作为一种合理的折衷方案，我们选定了M＝128。
然后，计算局部可见度映像或可视性掩码λ(P)(16)。λ(P)在各个象素的位置处提供了对附加噪音可视性的度量。映像λ(P)具有等于1的平均值。用λ(P)来顺序地调制(17)扩展的序列W(K)，也就是说，用各个位置处的可视性值λ(P)乘该位置处的分割水印W(K)的值。所以，最终的噪音序列W(K，P)取决于键值K和图像内容P。我们将W(P，K)称为适用性水印，因为它适用于图像P。
最后，最终的水印的浓度取决于全局可见度参数d，它可对W(K，P)作全局的比例调整。大d值对应于粗但可能是可视的水印。小的值对应于几乎是察觉不到但淡薄的水印。对d的实际选择应在粗与可感知性要求之间进行折衷。通过将W＝d×W(K，P)增加(12)给P、化整成整数象素值并截断成允许的象素值范围，可以获得带水印的图像Q。
为了将多位代码K嵌进水印W，依照下述公式根据一组有限的不相关的基本或原始分割区{W1，…WN}及其变换后的形式来构建分割区W(K)W(K)=Σi,jsijshift(Wi,kij)]]>其中，“shift(Wi，kij)”表示基本的M*M分割区Wi借助周期性的环绕处理在矢量Kij范围内的空间变换值。符号S∈{-1，+1}和变换值k通过编码函数E(13)取决于键值K。检测器的任务是在检索出符号Sj和变换值ki之后重构K。请注意，每个基本的分割区Wi均可能出现若干次。在图1中，编码器13生成W(K)＝W1+W2-W2′，其中，W2′是W2的变换后的形式。图3说明了这种操作。
图4示出了水印检测器的概略图。水印检测器接收可能带水印的图像Q。不是对每个单个的帧作JAWS中的水印检测而是对成组的帧进行这种检测。通过将多个帧累加起来(21)，可以改善检测的统计值，从而能改进检测的可靠性。随后将累加起来的帧分割(22)成长度为M×M(M＝128)的块，并将所有的块叠放到长度为M×M的缓冲存储器Q内。这种操作被称为折叠法。图5说明了这种折叠法的操作。
检测过程中的下一个步骤是确定缓冲存储器Q内存在有一特定的噪音图形。为了检测出缓冲存储器Q是否包括有特定的噪音图形W，将缓冲存储器的内容与水印图形作对比。计算可疑信息信号Q与水印图形W的相关度包括计算信息信号值与水印图形的相应值的内积d＝<Q，W>。对一维信息信号q＝{qn}和水印图形w＝{wn}来说，用数学标记写为d=1NΣn=1Nqnwn]]>对两维M×M图形q＝{qij}和水印图形w＝{wij}来说，上述内积是d=1M2Σi=1MΣj=1Mqijwij]]>从理论上说，通过使带不同矢量k的Wi相继地作用于检测器并确定出就哪个k而言相关度为最大，可以找出已利用其变换了Wi的矢量Ki。但是，这种强力查找算法是耗时的。而且，图像Q可能在水印检测之前经历了多种形式的处理(例如平移或剪裁处理)，因此，检测器不知道基本水印图形Wi相对图像Q的空间位置。
JAWS利用了图形W(K)的结构而不是强力查找法。检验缓冲存储器Q中是否存在有原始的图形、这些图形的符号和变换值。用矢量k(kx为水平象素，ky为垂直象素)变换的图像Q与原始图形W的相关度dk为dk=1M2Σi=1MΣj=1Mqijwi+kx,j+ky]]>利用快速傅里叶变换同时计算出基本图形Wi的所有可能的变换矢量k的相关值dk。如图4所示，分别在变换电路24和25中对缓冲存储器Q的内容和基本的水印图形Wi进行快速傅里叶变换(FFT)。这些操作会产生q^=FFT(q)]]>w^=FFT(w)]]>其中，
和
为成组的复数。
计算相关度与计算Q的卷积和Wi的逻辑积相类似。在变换域中，它对应于d^=q^⊗conj(w^)]]>其中，符号表示逐点乘，conj()表示颠倒变元的虚数部分的符号。在图4中，用逻辑积电路26来实现
的逻辑积，用乘法器27来实现逐点乘。通过对上述乘法的结果作逆傅里叶变换可获得一组相关值d＝{dk}d=IFFT(d^)]]>在图4中用逆FFT电路执行上述逆变换。如果相关值dk大于给定的阈值，则检测到了存在有水印图形Wi。
图6A示出了在检查出图像Q中存在有水印图形W1(见图1和图3)情况下的相关值dk的曲线图。峰值61表示确实找到了W1。该峰值的位置(0，0)表示作用于检测器的图形W1碰巧相对图像Q与作用于嵌入器的图形W2有相同的空间位置。图6B示出了在水印图形W2作用于检测器情况下的相关值的曲线图。发现有两个峰值。(0，0)处的正峰值62表示存在有水印W2，(48，80)处的负峰值表示存在有水印-W2′。后一个峰值63相对峰值62(或相似地的是峰值61)的相对位置揭示出了W2′相对W2的(按象素的)相对位置。所嵌入的数据K源于这样找到的矢量。
所嵌入的信息可标识出例如版权所有者或对内容的描述。在DVD版权保护中，可将素材标记为“拷贝一次”、“不能拷贝”、“无限制”、“不再拷贝”等等。图7示出了DVD驱动器，它用于播放记录在光盘71上的MPEG位流。通过开关72使记录的信号作用于输出端73。该输出端与外部MPEG解码器及显示设备(未示出)相连。假定除非是满足了与本发明不相关的的条件，否则VD驱动器不能播放带有预定嵌入水印的视频信号。例如，如果盘71包括给定的“扫描”键，则仅能播放带水印的信号。为了检测水印，DVD驱动器包括如前所述的水印检测器74。该检测器接收所记录的信号并响应是否检测到了水印而对开关72进行控制。
对作用于水印检测器的各个原始水印图形Wi而言，计算电路29(图4)记录一个或多个三元组S＝{(ij，sij，kij)}。这里，ij表示原始图形的下标，S是原始图形的符号，k是原始图形相对所作用的图形的位置。所嵌入的键值K来自这些数据。
如果作用于检测器的相应基本水印图形(W2)相对图像与在嵌入器中有同样的位置，就可将多位代码嵌进单个变换后水印图形(例如图3所示的图形W2′)中。在这种情况下，峰值(即图6B中的峰值63)在相关度矩阵中的坐标明确地代表矢量k。但是，在实践中，峰值在与给定的基本水印相对应的相关值阵列中的绝对位置会因图像的剪裁或平移而变。但是，多个峰值的相对位置是不随平移或剪裁而变的。据此，最好是多个水印嵌进相对位置并将键值K编码进这些相对位置。最佳的是，上述峰值中的一个提供了参照位置。这是通过嵌入预定末经变换的水印(参照图6A中的W1，它提供了参照峰值61)或嵌入多个带有不同符号的水印中的一个(参照图6B中的W2，它提供了参照峰值62)而做到的。
以下对可以嵌入的位数进行数学分析。更一般地说，我们假定，已有N个基本水印分割区W1…Wn，它们均具有相同的固定长度M×M并且是互不相关的。M取M＝2m的形式，M为整数。一般地说，有M＝128＝27。实际上，要加以使用的不同基本图形的可行的数量目前是较少的例如，可以考虑N＝4或N＝8。峰值的准确位置只能精确到几个象素。所以，为了在峰值相对变换时嵌入信息，我们将引导网格用于基本水印图形的可允许的平移。我们考虑了长度为G×G的网格，其中，G＝2g，G为大于M的整数。网格的间距为h＝M/G。
首先考虑可嵌进N个不同基本水印图形(W1…Wn)的位数，这些图形之一(例如W1)的峰值用于提供参照位置。在这种情况下，我们将信息嵌进W2…Wn相对W1的相对位置处。对这些图形W2…Wn中的每一个图形来说，我们有G2种可能的变换(即2G位)。可在G×G的网格上于N个水印图形作相对变换时嵌进的信息内容等于2G(N-1)位。下表I示出了用于不同网格大小的位数和基本图形数。表中我们假定水印图形的大小为128×128。
表I利用在间距为16、8和4的网格上对N个水印的变换而嵌入的位数。
就峰值检测的当前精度而言，为4个象素的网格间矩h看起来是可行的选择。在必须考虑进行比例调整时，也许需要有更大的间距。在达到可视性时，可以使用的水印数可能高达4个甚至是6个。在有例如4个基本图形的情况下，粗糙性不一定总是问题，但检测的复杂性仍然存在。所以，值得注意的是了解我们使用了刚好为一个基本图形的不同变换的情况。
我们还考虑了可仅在一个基本图形Wi的N种平移形式中嵌入的位数。这具有这样的优点即我们仅需要使一个图形作用于检测器以确定N个相关峰值。与使用了N个不同图形的情况相比，这可以通过因子N降低检测的复杂性。我们还注意到，这会牺牲某些信息的内容，但是，降低率要显著地小于检测时间上的降低率。在将使用同一水印的N种变换与使用N种不同的水印作比较时，存在有两种重要的不同
——所有的变换必须是不同的。在使用不同的图形时并不要求这一点；——与上述我们“固定住”W1并考虑其它水印(W2，W2′)相对W1位置的相对位置的情况相反，不存在有参照位置。
图8示出了在按不同的变换嵌入基本水印图形三次的情况下8×8网格(h＝16)上的峰值实例。峰值图形81示出了如水印检测器所检测到的那样的3个峰值的位置。请注意，这种峰值图形的循环变位可能源于同一个水印。例如，峰值图形82、83和84(其中一个峰值变换到了左下角)均等价于峰值图形81。图9示出了单个基本水印图形Wi的4种变换形式的类似峰值图形。在这种情况下，有一个峰值位于左下角的峰值图形的所有变换形式是相同的。
为了确定精确的信息内容，我们需要计算在循环变换范围内的所有可能的不同图形。本发明人已实现了这种计算。下表II列出了计算结果
表II利用一个水印在间距为16、8和4的网格上的N种变换形式而嵌入的位数。
可按多种方式来组合上述方法。例如，一种方法可使用不同图形的多种变换形式，或者，一种方法可使用与变换相结合的符号信息，等等。
因此，本发明是以加水印方法的恒定性质为基础的，而所述方法则是以嵌入N个基本水印图形为基础的。按傅里叶域的检测方法能在图像的变换或剪裁形式中找出水印。水印图形的精确变换用相关峰值来表示，该峰值是在进行了逆快速傅里叶变换之后获得的。本发明使用了这样的思想即由于检测出了水印的精确变换，故可用这种变换来嵌入信息。本发明能以成本—效益好的方式进行水印检测，以便嵌入多位信息，而不是仅确定图像或视频是否加了水印。
总之，公开了一种在信号中嵌入辅助数据的方法。这种数据被编码进一个或多个水印图形的相对位置或相位。这就能通过仅用一个或几个不同的水印图形来嵌入多位数据。
权利要求
1.一种将辅助数据(K)嵌进信息信号(P)内的方法，该方法包括下列步骤——在矢量(k)上变换一个或多个预定的水印图形一或多次，相应的矢量表示所说的辅助数据(K)；以及——将上述变换过的水印(W2′)嵌进所说的信息信号。
2.如权利要求1的方法，其特征在于，该方法包括这样的步骤还嵌入预定的水印(W2)以提供用于上述矢量(k)的参照点。
3.如权利要求2的方法，其特征在于，所述预定的水印图形(W2)中嵌有不同的符号。
4.如权利要求1的方法，其特征在于，该方法包括这样的步骤嵌入另一个预定的水印(W1)以提供用于上述矢量(k)的参照点。
5.如权利要求1的方法，其特征在于，所嵌入的水印具有这样的长度，它小于前述信息信号的长度，并且，所述嵌入步骤包括在上述信息信号的范围内重复所说的水印。
6.一种检测信息信号中的辅助数据的方法，该方法包括下列步骤——检测一个或多个嵌入的水印(W2′)；——确定一矢量(k)，通过该矢量相对预定的水印(W2)变换所检测到的各个水印(W2′)；以及——从上述矢量中检索出所说的辅助数据。
7.如权利要求6的方法，其特征在于，所述嵌入的水印中的一个水印是预定的水印图形(W2)，该预定水印图形的符号提供了用于上述矢量的参照点。
8.如权利要求6的方法，其特征在于，该方法包括下列步骤检测所嵌入的另一个水印(W1)以提供用于上述矢量(k)的参照点。
9.如权利要求6的方法，其特征在于，所述检测嵌入的水印(W2′)的步骤包括确定信息信号与预定水印(W1)的变换形式之间的相关度，所述矢量是由变换后的矢量所限定的，就上述变换后的矢量而言，所说的相关度超过了给定的阈值。
10.如权利要求6的方法，其特征在于，所嵌入的水印(W2′)具有这样的长度，它小于前述信息信号的长度，所述方法包括下列步骤用所嵌入的水印将信息信号分成子信号，这些子信号具有前述大小；增加上述子信号；以及，确定矢量(k)，可通过该矢量相对具有同样长度的预定水印(W2)来变换所嵌入的水印(W2′)。
11.一种用于将辅助数据(K)嵌进信息信号(P)内的装置，该装置包括——用于在矢量(k)上变换一个或多个预定的水印图形一个或多次的装置(13)，相应的矢量表示所说的辅助数据(K)；以及——将上述变换过的水印(W2′)嵌进所说的信息信号中的装置(12、14)。
12.一种用于检测信息信号中的辅助数据的装置，该装置包括——检测一个或多个嵌入的水印(W2′)的装置(24-27)；——用于确定一矢量(k)的装置(24-28)，可通过该矢量相对预定的水印(W2)变换所检测到的各个水印(W2′)；以及——从上述矢量中检索出所说的辅助数据的装置(29)。
13.一种用于记录和/或播放信息信号的设备，该设备包括用于根据嵌在所述视频信号中的辅助数据来禁止记录和/或播放信息信号的装置，所述设备的特征在于，它包括如权利要求12的用于检测前述辅助数据的装置。
14.一种带有辅助数据(K)的信息信号(P)，所述辅助数据呈嵌入的水印(W2′)的形式，上述信息信号的特征在于，所述嵌入的水印是预定水印(W2)的变换形式，矢量(k)表示所说的辅助数据，上述预定水印已在矢量(k)上进行了变换。
15.一种存储媒体(71)，其上存储有带辅助数据(K)的信息信号(P)，所述辅助数据呈嵌入的水印(W2′)的形式，上述存储媒体的特征在于，所述嵌入的水印是预定水印(W2)的变换形式，矢量(k)表示所说的辅助数据，上述预定水印已在矢量(k)上进行了变换。
全文摘要
公开了一种在信号中嵌入辅助数据的方法。这种数据被编码进一个或多个水印图形的相对位置或相位。这就能通过仅用一个或几个不同的水印图形来嵌入多位数据。
文档编号G06K9/46GK1266586SQ99800654
公开日2000年9月13日 申请日期1999年3月2日 优先权日1998年3月4日
发明者A·A·C·M·卡尔克 申请人:皇家菲利浦电子有限公司