专利名称:在信号内辅助数据的植入的制作方法
技术领域：
本发明涉及将辅助数据植入例如视频信号、音频信号或更一般地说多媒体内容的信息信号的方法和配置。本发明也涉及检测所述辅助数据的方法和配置以及录取和/或播放信息信号的设备。
技术背景辅助数据可以例如是一个数字水印(digital watermark)，最好(但不是必需)是一个植入/加给例如包括多媒体内容、视频、音频等的信息/主信号的难以觉察的标志。这个标志可以含有例如版权信息、内容拥有者的名称、用户的权利等。可以存储在水印内或者根据水印得出的信息量通常称为净荷，用比特数表示。
在大多数水印设计中，水印是一个伪随机噪声序列(pn序列)，加到一个处在时间、空间或变换域(例如傅里叶、离散余弦或小波域)的主信号/信息信号上。水印检测通常是根据水印与所植入的主信号之间的相关性进行的。在这种情况下，对于这种水印我们有1比特的净荷，即噪声序列存在或者不存在。
为了得到较大的净荷，一个可选方案是植入一组预定噪声序列中的一个噪声序列。在检测期间，将主信号与这个组内的所有可能的噪声序列相关。对于例如一个8比特的净荷需要与2^8＝256个噪声序列相关。在这种情况下，检测器的复杂性以与净荷的比特数成指数地增大。
书US 5,748,783揭示了在一个信息信号内植入多个噪声序列而不是单个噪声序列的技术。净荷的每个比特与一个噪声序列关联。于是，一个“1”比特可以通过将所关联的噪声序列加到主信号上表示，而一个“0”比特可以通过不加或者从主信号中减去这个噪声序列表示。对于一个8比特的净荷只需要与一些噪声序列相关。在这种情况下，检测器的复杂性以与净荷的比特数成线性地增大。
然而，这种方法的缺点是在实际的水印系统中如果要得到合理的稳固性和隐蔽性就只有少数几个噪声序列可以加到主信号上，从而限制净荷只有少数比特。
在书WO 99/45705(代理人案号PHN 17.317)中，Kalker等人揭示了一种在复杂性与稳固性/隐蔽性之间可以得到良好折衷的方法。这个说明书揭示了植入一个噪声序列集合中的一个噪声序列。然而，这个噪声序列集合只包括一个噪声序列的一些循环移位版本。为了检索净荷，将主信号与噪声序列的这些循环移位版本相关。对于一个8比特的净荷需要一个长度为256的噪声序列。用一个噪声序列的循环移位版本的优点是可以用快速傅里叶变换(FFT)在傅里叶域内计算相关性。对于Kalker等人的方法的净荷大小的限制是由于物理(例如图像大小)和/或感觉原因限制了噪声序列的大小，见例如J.A.Haitsma和A.A.C.Kalker的非预先公布的PCT专利申请BP 01/00356(代理人案号PHNL000042)“基于傅里叶域的音频水印方法”(“A FourierDomain Based Audio Watermarking Method”)。书WO 99/45705在此列为参考予以引用。
发明内容
本发明的一个目的是提供一种将附加/辅助数据植入一个信息信号的方法和配置，这种方法和配置解决了现有技术的这些问题。
这是用这样一种将辅助数据植入一个信息信号的方法(和相应的配置)达到的，这种方法包括植入一个水印信号Wi，p(K)的步骤，这个Wi，p(K)的样点是按照辅助数据(K)从一个水印信号Wi中选出的，其中Wi，p(K)表示辅助数据。检测一个信息信号内的辅助数据的相应方法(和相应配置)包括下列步骤检测一个植入的水印信号(Wp)；植入的水印信号(Wp)的样点是从一个水印信号(Wi)中选出的，其中水印信号(Wp)表示辅助数据(K)；将一个预定信号(S)与水印(Wp)组合在一起，产生一个第一信号(Wp′)；以及根据第一信号(Wp′)确定辅助数据(K)。本发明的一些优选实施例在从属权利要求
中给出。
因此，虽然植入的只是一个水印/噪声信号的一部分，但可以检测/识别这个完整的水印/噪声信号，从而允许有较大的净荷。
此外，由于只是将整个噪声序列的一部分植入主信号，因此提高了水印系统的安全性。
图1a示出了按照本发明设计的植入配置的实施例；图1b示出了植入配置的另一个实施例；
图2例示了按照本发明设计的检测器的原理图；图3例示了按照本发明设计的检测器的另一个实施例；以及图4示出了录取和/或播放一个带有植入水印的信息多媒体比特流的设备。
具体实施方式
为了方便起见，本发明将就一个为视频内容植入/附加最好是人眼看不见的标志的系统进行说明，但是这些原理显然可以应用于任何其他包括音频和多媒体的内容。此外，还对检测一个或多个标志的实施例作了说明。
图1a示出了按照本发明设计的植入配置的实施例。所示的信源(101)提供需植入辅助信息/水印的信息信号P。信源可以例如提供一个图像、音频信号、具有多媒体内容的信号等。作为一个在下面所用的例子，信息信号P表示一个图像。所示出的还有一个将水印Wi，p加到信息信号/图像P上的加法器(107)。水印Wi，p最好是一个大小与图像相同的随机噪声模式，例如水平上有N1个像素，垂直上有N3个像素。作为另一个选择，水印Wi，p最好是一个长度与音频信号的一个部分/帧相同的随机噪声模式。
第一选择装置(105)根据一个密钥/净荷K从一个具有N个水印W1，...，WN的预定集合中产生/选择一个中间水印Wi(K)。每个水印Wi，I∈[1，...，N]表示在接收/检测端要检索的给定密钥K。这个集合包括单个水印信号W的N个循环移位版本W1，...，WN(从而包括信号W本身)，大小各为N个比特/样点。由于每个可能的密钥按照一个给定的方案、规则等与集合中的一个特定的水印关联，因此密钥/净荷也是N个比特。
作为一个例子，单个水印信号(W)包括1024个比特，从而这个集合包括1024个循环移位版本(包括W)。于是，净荷表示log2(1024)＝10比特的信息。
第一选择装置(105)可以例如包括根据所提供的表示特定的移位版本的密钥K将一个所存储或提供的水印(W)移位给定次数的移位装置(未示出)。或者，也可以存储每个移位版本，而可以将密钥K用作选择表示密钥K的有关版本的索引。
由于物理(例如图像大小)和/或感觉原因可以植入信息信号P的噪声序列的大小可能是有限的，因此第二选择装置(108)选择所选水印Wi(K)的一个大小为M个样点的部分Wi，p(K)，其中M个样点为可以满足限制植入的信息量。所选部分Wi，p(W)可以例如是水印Wi(K)的前M个样点，或者一般说来水印Wi(K)的长度为M个样点/比特的任何部分。这个部分可以例如是连续的，也可以是包括M个任意样点，只要是对于编码器和相应的解码器都以同样的方式执行，例如通过选择每四个中的第四个样点、组合若干个分开的长度相等或不等的部分等。
作为一个例子，由于如上面提到的限制在信息信号内只可以植入一个例如具有M＝256个样点的水印。于是，可以从给定所选的具有例如1024比特/样点的循环移位版本中选出一个连续的长度为256个比特/样点的部分。
作为一个优选的备选方案，可以植入一个中间水印Wi(K)，用包括N个比特/样点的单个噪声序列作为输入，由例如第一选择装置(105)根据密钥/净荷(K)选择一个特定的比特/样点作为一个起始点，再由例如第二选择装置(108)选择水印Wi(K)的一个从选为起始点的这个特定的比特/样点开始、长度为M个样点/比特(由于如上所述的限制)的部分Wi，p(K)。如果M大于起始点到最后一个样点之间的样点数，就采用循环绕回(cyclic wrap-around)，即将第一个样点“看”作最后一个样点的下一个样点。由于有N个起始点，净荷就表示log2(N)个比特。
所选的水印部分Wi，p(K)像上面所说明的那样由加法器(107)加到信息信号P上，产生一个水印/主信号Q，“承载”一个N比特的净荷，这个净荷可用稍后要说明的适当检测方式检测。
或者，第一选择装置(105)和第二选择装置(108)的功能可以集成入适当的装置，使得一个有关的循环移位版本Wi(K)的一个有关的部分Wi，p(K)可以一举产生/选择。
图1b示出了植入配置的另一个实施例。这个实施例除下面将说明的一些单元(102、103、104和106)以外与图1a的实施例相应。
可取的是，一个大小为一个完整的图像P的2D水印Wi，p*(K)在(104)通过重复和截取(如果必要的话)一些各包括一个在整个图像范围内选择/产生的有关循环移位版本Wi(K)的有关部分Wi，p(K)的较小的水印单元/瓦块(tile)，使得一个水印检测过程可以不必在整个N1×N2的图像空间内而只要在一个大小固定等于一个单元/瓦例如为M1×M2(最好M1等于M2)的空间内搜索一个水印。
此外，在(102)产生/得出一个局部深度图/能见度掩模λ(P)。深度图λ(P)为图像P每个像素位置提供一个对外加噪声的能见度的度量。水印Wi，p*(K)在像素级用深度图加以调制(103)，即Wi，p*(K)的每个像素乘以对于这个特定像素的相应深度图值，产生一个取决于图像P和密钥K的噪声序列Wi，p(P，K)。最好，使所得出的深度图或能见度掩模λ(P)具有为1的平均值。
最后，由一个提供Wi，p(P，K)全局定标(106)的全局深度参数d确定最终水印的强度，产生一个经定标的水印Wi，p(P，K，d)，加到图像P上(107)，例如四舍五入为整数像素值和/或限幅到一个所允许的像素值范围，产生一个经水印的图像Q。值大的和小的d分别与一个稳健但可见的水印和一个虚弱但几乎/基本上觉察不到的水印相应。这也可以适合ID信号，在(104)通过在整个帧范围内重复和截取(如果必要的话)一些各包括所选/产生的适当循环移位版本Wi(K)的适当部分Wi，p(K)的较小的水印单元产生一个长度为一个帧的ID水印Wi，p*(K)。
图2例示了按照本发明设计的检测器的原理图。所示出的有一个信息/主信号Q，作为一个例子表示一个图像，可能含有需检测的辅助数据/水印。从信息/主信号Q中提取/检索出一个具有给定长度M的样本/帧Wi，p。将一个预定信号S与水印Wi，p融合、并置、连接或组合(202)在一起，产生一个第一信号Wi′。最好，预定信号S是一个长度为N-M的只包括一些“0”比特值的信号，其中N为一个水印的一个循环移位版本(它只有一部分植入一个主/信息信号)的长度，而M为样本Wi，p的长度。S怎样延伸、融合、并置、组合等并不重要，只要是在编码器和解码器内以同样的方式执行。作为一个例子，信号Wi，p(K)是水印信号Wi的一个循环移位版本的一个连续的段，即Wi，p(K)可以具有形式Wi[i0+k]，其中i0为一个给定的起始点，k遍及一个采用循环绕回的连续的变址值段。或者，Wi，p(K)的这些样点是通过从一个给定的起始点(i0)开始以一个子采样因子(d)采用循环绕回从水印信号Wi中选出来的若干样点，即Wi，p(K)可以具有形式Wi[i0+k*d]，所给定的起始点(i0)、子采样因子(d)和水印信号下标(i)指出了辅助数据(K)的给定值。于是应该因此配置解码器，对于分别用一个起始点和用一个起始点和子采样指出辅助数据(K)的情况，二元数组(i0，i)或三元数组(i0，d，i)指出了辅助数据(K)的一个给定值。此外，如果采用以(d)对Wi子采样，组合方法可以取为在Wp的相继样点之间填以(d-1)个“0”(从而可以用“0”延伸)。第二种方法(i，i0，d)是第一种方法(i，i0)的推广。
然后，将第一信号Wi′与等于上面结合植入所说明的集合的属于单个水印信号W的循环移位版本W1，...，WN的集合的每个可能的循环移位版本Wi，i∈[1，...，N]，相关(203)。这可以例如通过使所存储的每个循环移位版本与第一信号Wi’相关或使所存储的一个版本与第一信号Wi’循环相关来实现。相关(203)产生N个相关值di，k，i∈[1，...，N]，即对于每个可能植入的噪声信号产生一个相关值。一个高于给定门限的相关值意味着在一帧信息信号Q内存在一个特定的噪声信号。由于只植入水印/噪声信号的一部分，因此对于这个信号的相关值将小于植入整个水印/噪声信号的情况下的相关值。然而，仍然可以用第一信号Wi′计算相关值，这个相关值是与不存在水印/噪声信号的相关值可辩别的。
计算在一个信息信号Q的一个样本、帧、部分等W′与一个特定的水印W之间的相关性可以例如包括计算信息信号值和相应的水印模式/噪声信号的值的内积dk＝<W′，W>。对于一个一维水印和信息信号，例如一个样本长度为N的音频信号，内积可以由下式给出dk=1NΣN=1NWN′WN,]]>对于一个两维水印和信息信号，例如一个大小为N1×N2的图像，内积可以由下式给出dk=1N1N2Σk=1N1Σl=1N2Wkl′Wkl,]]>一种得到第一信号Wi′与集合W1，...，WN的每个可能植入水印之间的一个相关值的硬算方法需要计算N个相关值dk。
鉴定电路(204)将这N个计算得的相关值di，k，i∈[1，...，N]，与一个预定门限相比较，确定高于这个门限的相关值(如果有的话)，从而意味着在信息信号Q内存在相应的水印。所确定的水印直接表示在这水印象前面结合图1a和1b说明的那样植入时的净荷/辅助数据K。
作为一个例子，按照图1a和1b在一个信息信号P内植入了一个具有1024个版本的集合中的一个水印的一个特定循环移位版本，例如号码32，即按照预定方案移位32次、从样点/比特32开始的循环移位版本。这意味着净荷/辅助数据具有值32。由于限制，只能植入这个特定的循环版本的总共1024个样点中的256个样点。按照本发明设计的检测器于是将取信息信号的带有植入水印的256个样点的一个子部分、帧等，再将一个具有1024-256＝768个“0”的第一信号与这个子部分并置连接在一起，计算出1024个相关值(集合的每个可能循环移位版本各一个相关值)。对于特定的循环版本的相关值将高于门限，从而可以确定植入的是哪个特定的版本，得到号码(在这个例子中为32)，因此就得到净荷的值。这样，可以得出净荷的log2(1024)比特，虽然实际上只植入256个样点。植入M个样点而不是N个样点来扩展净荷是以所得到的对于一个存在的水印的相关值比较小为代价的，因此实际上相对于N来说M必须具有给定的大小。
或者，由于采用如图3所示的快速傅里叶变换(FFT)后每个可能的水印模式是其他可能的水印模式的循环移位版本，因此可以同时计算出N个相关值。第一信号Wi′和集合的可能植入的水印W1，...，WN分别在变换电路(301)和(304)内受到FFT。操作给出W^i′FFT(Wi′and]]>Set^=FFT(W1,...,WN),]]>相关性的计算与计算W1′与Set^的共轭的卷积类似，这在变换域内相当于d^k=W^t⊗couj(Set^)]]>
其中，表示点乘，conj()表示将自变量的虚部的符号反相。共轭电路(303)执行对Set^求共轭，点乘由乘法器(305)实现。对相乘的结果进行傅里叶逆变换，就可得到相关值dk的集合d＝IFFT(dk)，这由逆FFT电路(302)执行。象上面所说明的那样，如果有一个相关值dk大于给定的门限，就检测到存在一个水印模式(任何W1，...，WN)。
图3中还示出了另一个有益的实施例，水印检测不是对每个帧/样点而是对一些帧/样点组执行的。积累(306)若干个帧可以使检测的统计特性有所改善，因此也就改善了检测的可靠性，这是特别有益的，因为实际上只植入噪声信号/水印的一部分，一个存在的水印的相关值只有十分之一。所积累的帧接着例如分割(307)成一些大小适当的块，再将这些块堆(308)在一个大小为M1×M2的缓存器内，其中M1最好等于M2(最好等于在一个实施例中在植入期间所用的瓦块/单元的大小)。对于1D信号，M1＝1，M2＝一个给定的帧的长度。缓存器于是用作(201)的输入。或者，(306，307，308)可以用在(202)与(203)之间。模块(306-308)和/或(301-305)可以结合本发明的检测器独立实现，即可以实现模块(306-308)或(301-305)，或者模块(306-308)和(301-305)。如果使用模块(306-308)，计算出的相关值dk就不是根据整个图像Q而只是根据一个部分/瓦块计算的。
植入的信息可以标识例如拷贝权拥有者、内容说明和/或与内容使用关联的权利。在DVD拷贝保护中，会允许将内容标为“拷贝一次”、“拷贝不限”、“不得拷贝”等。图4示出了一个设备，例如是一个DVD录放机，用来录取和/或播放带植入水印的MPEG编码比特流。比特流录/存在一个象DVD盘401那样的信息媒体上。所录的信号通过开关402加到输出端403上。输出端403与外部MPEG解码器和显示设备(未示出)连接。假设，这个DVD播放机不可以播放带有一个预定植入水印的视频信号，除非满足其他与本发明无关的条件。或者，可以使音频和/或视频的播放质量恶化。例如，如果媒体401包括一个所谓的“摆动(wobble)”密钥，就只可以播放水印信号。为了检测水印，DVD播放机包括一个如上所述的水印检测器404。检测器接收到录制的信号后根据是否检测到水印和/或辅助数据/净荷的值的意义控制开关403。
权利要求
1.一种将辅助数据(K)植入一个信息信号(P)的方法，所述方法包括下列步骤植入一个水印信号Wi，p(K)，所述Wi，p(K)的样点按照辅助数据(K)从一个水印信号Wi中选择，其中所述水印信号Wi根据所述辅助数据来产生，使得Wi，p(K)表示辅助数据(K)。
2.一种按照权利要求
1所述的方法，其中所述信号Wi，p(K)是水印信号Wi的一个循环扩展版本的一个连续的段。
3.一种按照权利要求
1所述的方法，其中所述信号Wi，p(K)是水印信号Wi的一个周期性地子采样版本的一个连续的段。
4.一种按照权利要求
1-3所述的方法，其中所述Wi是从预定水印信号(W1，...，WN}的集合中选出的，其中N可以等于1，而一个给定的水印信号Wi的选择指出了辅助数据(K)的给定值的集合。
5.一种按照权利要求
1或2所述的方法，其中所述Wi，p(K)的样点是通过从一个给定的起始点开始用循环绕回选择若干个样点从水印信号Wi中选出的，给定的起始点和水印信号的下标(i)指出了辅助数据(K)的一个给定值。
6.一种按照权利要求
1或3所述的方法，其中所述Wi，p(K)的样点是通过从一个给定的起始点(i0)开始用循环绕回以子采样因子(d)跳越选择若干个样点从水印信号Wi中选出的，给定的起始点(i0)、子采样因子(d)和水印信号下标(i)指出了辅助数据(K)的一个给定值。
7.一种按照权利要求
1-6所述的方法，其中所述信号Wi，p(K)的长度小于或等于水印信号Wi的长度。
8.一种检测一个信息信号(Q)内的辅助数据(K)的方法，所述方法包括下列步骤检测一个植入的水印信号(Wp)，植入的水印信号(Wp)的样点是从一个水印信号(Wi)中选出的，其中，水印信号(Wp)表示辅助数据(K)；将一个预定信号(S)与水印(Wp)组合在一起，产生一个第一信号(Wp′)；以及通过所述第一信号(Wp′)与若干预定水印相关，根据所述第一信号(Wp′)确定辅助数据(K)。
9.一种按照权利要求
8所述的方法，其中所述水印信号(Wi)是从预定水印信号(W1，...，WN)的集合中选出的，其中N可以等于1，而一个给定的水印信号Wi的选择指出了辅助数据(K)的给定值的集合；所述确定辅助数据(K)的步骤是通过将第一信号(Wp′)与预定集合(W1，...，WN)内的每个信号进行相关实现的；而其中一个高于一个预定门限值的相关值(di，k)指出在(W1，...，WN)内的一个信号的一个相应部分(Wp)植入了所述信息信号(P)。
10.一种按照权利要求
8所述的方法，其中所述Wi，p(K)的样点是从通过从一个给定的起始点(i0)开始选择一些循环连续的样点从水印信号Wi中选出的，其中二元组(i0，i)指出了辅助数据(K)的一个给定值；以及所述确定辅助数据(K)的步骤包括将第一信号(Wp′)与水印信号Wi进行循环相关。
11.一种按照权利要求
8所述的方法，其中所述Wi，p(K)的样点是通过从一个给定的起始点(i0)开始以一个因子(d)循环跳越选择一些样点从水印信号Wi中选出的，其中(d)可以等于1，从而三元组(i0，d，i)指出了辅助数据(K)的一个给定值；以及所述确定辅助数据(K)的步骤包括将第一信号(Wp′)与水印信号Wi进行循环相关。
12.一种按照权利要求
9-11所述的方法，其中所述相关的步骤包括下列步骤对所述第一信号(Wp′)进行快速傅里叶变换(FFT)，产生一个第一FFT信号，而且对水印信号(W1，...，WN)的所述预定集合或所述水印信号Wi的每个循环移位版本进行快速傅里叶变换，产生一个第二FFT信号的集合；将第一FFT信号与第二FFT信号的共轭点乘，产生一个第三FFT信号的集合；以及对第三个FFT信号的集合进行快速傅里叶逆变换(FFT)。
13.一种将辅助数据(K)植入一个信息信号(P)的装置，所述装置包括选择一个水印信号Wi，p(K)的装置(108)，其中所述Wi，p(K)的样点是按照辅助数据(K)从所述水印信号Wi中选出的；以及将水印信号Wi，p(K)植入所述信息信号(P)的装置(107)。
14.一种检测一个信息信号(Q)内的辅助数据(K)的装置，所述装置包括检测一个植入的水印信号(Wp)的装置(201，203)，所述植入的水印信号(Wp)的样点是从一个水印信号(Wi)中选出的，其中水印信号(Wp)表示辅助数据(K)；将一个预定信号(S)与水印(Wp)组合在一起产生一个第一信号(Wp′)的装置(202)；以及通过所述第一信号(Wp′)与若干预定水印相关，根据所述第一信号(Wp′)确定辅助数据(K)的装置(204)。
15.一种录取和/或播放一个信息信号的设备，所述设备包括根据植入所述信息信号的辅助数据影响录取和/或重放信息信号的装置(402)，其中所述设备还包括一个按照权利要求
11所述的检测所述辅助数据(K)的装置(404)。
16.一种发送一个信息信号的设备，所述设备包括一个将一个水印植入信息信号的装置，所述装置包括选择一个水印信号Wi，p(K)的装置(108)，其中所述Wi，p(K)的样点是按照辅助数据(K)从所述水印信号Wi中选择的；将水印信号Wi，p(K)植入所述信息信号(P)的装置(107)。
专利摘要
本发明提出了将辅助数据植入一个信息信号的方法和配置。植入的只是表示辅助数据的噪声信号的一部分，但可以检测出完整的噪声信号。这使植入的信号可以承载较大的净荷。本发明也提出了检测一个信息信号内的辅助数据的方法和配置。
文档编号G06T1/00GKCN1319027SQ02803007
公开日2007年5月30日 申请日期2002年6月26日
发明者J·A·海特斯马, A·A·C·M·卡尔克, A·A·M·L·布吕克尔斯, M·范德维恩 申请人:皇家菲利浦电子有限公司导出引文BiBTeX, EndNote, RefMan