专利名称：在编码信号中嵌入补充数据的制作方法
技术领域：
本发明涉及在编码的信号中嵌入补充数据的方法和电路。所述方法包括以下步骤按照给定的编码方法对所述信号进行编码，而所述编码过程又包括反馈已编码的信号以便控制编码过程的步骤；以及修改已编码的信号来代表所述补充数据。本发明还涉及一种从这样编码的信号中提取补充数据的方法和电路。
把水印装入音频和视频信号中的必要性日益增长。水印是嵌入、最好用感知上不可见的方法嵌入多媒体资产中的补充数据信息。它们包括，例如，关于文件和音像程序的来源或版权状态的信息。它们可以用来提供版权拥有者的法律证据，并允许跟踪盗版行为，并支持知识产权的保护。
开篇中定义的视频信号加水印的一种已知的方法是在F.Hartung和B.Giros“给原视频信号或压缩的视频信号加数字水印”,SPIEVol.2952,pp.205-212一文中公开的。这里加水印是通过修改活动图象专家组2(MPEG2)编码器输出位流中选定的离散余弦变换(DCT)系数，包括预测编码(P或B)图象的DCT系数来实现的。预测编码器包括用来控制编码过程的反馈回路。对预测误差(输入信号与其预测的差值)编码，而不是对输入信号本身编码。预测信号是通过在本机对编码信号进行译码而获得的。
在先有技术的方法中，水印是在传统的编码过程之后插入的。因此，可以用来对编码信号加水印的能力看来是有限的。
本发明的一个目的是提供在编码的音频或视频信号中嵌入补充数据的方法，它允许在对感知质量基本上不发生影响的情况下改变较多的编码信号位。
为此目的，按照本发明的方法具有以下特征在所述修改所述编码信号的步骤之后进行反馈所述编码信号的步骤。现在所述修改编码信号的步骤是在编码器的反馈回路内部进行的。因此，为形成水印而对编码信号所作的任何修改都被反馈，并将在随后的编码操作中得到补偿。于是，这样嵌入的水印以与在发射机中影响编码过程的方式类似的方式在接收机中影响译码过程。在发射机中补偿过程的结果是，接收机产生好得多的输入信号复制品。信噪比明显提高，或者在给定的信噪比下可以嵌入更多的水印数据。
本发明对于在一位编码的信号中嵌入补充数据特别有用。一位编码的信号对加水印是非常脆弱的。每一个编码步骤编码器产生一个一位输出样值。为加水印而修改编码信号的输出样值与、例如、仅仅改变多位样值的值相比，一般都比较激烈。
一位编码器的实例是delta调制器、sigma-delta调制器及噪音波形编码器。它们也属于具有反馈回路的编码器一类。sigma-delta调制器是为在数字万用光盘(DVD)音频版本上利用2822400Hz(64*44100)采样频率记录高质量音频信号而设计的，并具有115dB信噪比。水印是通过，例如，用数字水印位组合的位来代替输出位流的选定位而插入的。若这是用先有技术所教导的方法，亦即在传统的编码之后完成的，则水印位的插入会明显地引起量化噪音。例如，每100位sigma-delta调制的音频信号中的1位用一个水印位代替，将引起-60dB的量化噪音。相比之下，本发明可以以仅仅增加1dB量化噪声的代价每100位sigma-delta调制的音频信号改变1位。这相当于约每秒28000位的水印位率。
图1表示按照本发明在编码音频或视频信号中嵌入补充数据用的电路。
图2表示按照本发明在delta调制的音频信号中嵌入补充数据用的电路。
图3-5表示举例说明图2所示的电路操作的信号波形。
图6表示按照本发明在sigma-delta调制的音频信号中嵌入补充数据用的电路。
图7-9表示举例说明图6所示的电路操作的波形。
图10表示用来从用图2或图6所示电路编码的信号中抽取嵌入的水印的电路。
图11表示用来从用图1所示电路编码的信号中抽取嵌入的水印的电路。
图12表示从(sigma-)delta调制的信号中抽取水印用的另一个实施例。
图13表示举例说明图12所示的实施例的操作的信号波形。
图1表示按照本发明在已编码的音频或视频信号中嵌入补充数据用的电路示意图。所述电路包括预测编码器1和修改电路2。预测编码器1接收(模拟或数字)输入信号x，并包括减法器11，用来从输入信号x减去预测信号
。这样得到的预测误差信号e加在编码级12上。预测编码器还包括获得预测信号
用的反馈通路，包括译码级13、加法器14和延时单元15。预测编码器1可以采取先有技术已知的不同形式，诸如delta调制器、微分脉码调制器，或离散余弦变换(DCT)编码器。
修改电路2接收编码的预测误差y，并被安排来根据给定的水印w修改这个信号。这种修改电路的一些实例是现有技术已知的。在前面讨论过的Hartung等人的参考文献中，对水印信号w的8*8块作离散余弦变换(DCT)，并将这样获得的DCT系数加到变换编码的预测误差信号的选定的DCT系数上。另一个实例是在I.J.Cox,J.Kilian,T.Leighton及T.Shamoon“多媒体用的可靠的不可感知的但在感知上突出的扩频水印”，Conference Record of Southcon 96,June25-27,1996,pp.192-197中公开的。在这篇参考文献中，通过给除DC系数以外的最高阶转换系数加实数序列来给视频信号加水印。
按照本发明，修改电路2位于编码级12和译码级13之间，亦即在预测编码器的回路内部。于是预测信号
是由经过修改的编码信号z而不是未经修改编码信号y中得出的。当把对信号加水印的步骤看作等价于在编码信号y中故意引入误差时，其作用便变得明显了。在先有技术的系统中，所述”误差”插入发送的信号中。正如在预测编码领域已知的，这样的误差在整个译码过程中在接收机中传播，并使信号质量严重恶化。但是，在这里误差被引入预测回路内部。现在由修改级2引入的任何”误差”都会通过译码级13反馈到减法器11，致使预测误差随后以一种其影响得到补充的方式编码。结果，给定的信噪比下允许的”误差率”显著提高，和/或感知质量显著改善。
如图1所示对来自编码器的编码信号进行译码的接收机一般与编码器的预测回路相同，因此不再单独示出。
现将参照图2给出更详细的实例，图2表示对模拟或PCM编码的音频信号进行编码用的delta调制器。所述电路包括减法器21，用来从输入信号x减去预测信号
。预测误差e加到极性检测器22上，后者以由采样频率fs确定的速率在
时产生输出样值+1，而在
时产生输出样值-1。反馈回路包括译码滤波器23(累加器或积分器)，以便获得预测信号。按照本发明，修改电路24连接在极性检测器22和滤波器23之间。在这个实施例中，修改电路是一个多路开关转换器，后者响应选择信号s用水印的位组合w代替极性检测器输出信号的选定位(例如，每隔99位)。嵌入水印的另一个实例是把编码信号选定的样值倒置，水印数据用相继的倒置的样值之间的位周期数来代表。
图3-5示出举例说明图2所示电路操作的不同信号波形。在这些图中，标号30表示输入信号x。
为了参考，图3示出无水印设施情况下的传统delta调制器的波形。在该图中，标号31表示预测信号
，或等效地表示接收器的输出信号(去除过高的频率分量用的低通滤波器操作除外)。标号32表示传统delta调制器的输出位流。
图4阐明用先有技术所教导的方法对编码信号加水印的效果。标号34表示分别用-1,-1及+1，相当于数字水印位组合w=‘001’分别代替位流32(图3)的第6、第16及第26位而得到的位流。标号33表示接收这种位流的接收机的输出信号。可以清楚地看到信噪比明显降低。
图5表示按照本发明嵌入水印的效果。标号35表示预测信号
标号36表示所述电路的输出位流。与图4所示类似，水印位组合w=‘001’装在位流36的第6、第16及第26位的位置上，但现在位的修改是在编码信号反馈之前进行的。嵌入的水印的第一位51与所述采样周期内所述极性检测器产生的样值-1并无差别。相应地，预测信号电平54与图3所示的预测信号电平37相同。水印第二位52与极性检测器产生的值+1不同。因为现在这个”差错”位通过预测回路反馈，所以预测信号变为电平55,delta调制器通过产生随后的不同的位来对其加以补偿。结果预测信号35在几个采样周期之后已经与输入信号再次相交。类似地，水印第三位53使电路产生+1的样值，而不然的话电路本来会在所述采样周期内产生(而且极性检测器则真的会产生)-1的值。它还是只用了几个采样周期就补偿了”差错”的预测电平56。
图5中的标号35也表示接收机的输出信号。比较波形33和55就会看出，信噪比得到了明显改善。
图6表示按照本发明的sigma-delta调制器。sigma-delta调制器是为把高质量的音频信号记录在数字万用光盘(DVD)的音频版本上而设计的。它与delta调制器的差别在于，编码之前，输入信号用与delta调制器反馈回路中的滤波器相同的滤波器滤波。然后输入通路和反馈通路中的滤波器用编码回路的正向通路的单一滤波器代替。因此，图6所示的sigma-delta调制器与图2所示的delta调制器的差别在于滤波器23已经从反馈通路移到了正向通路上。
图7表示没有加水印设施的传统的sigma-delta调制器。标号70表示输入信号x，而标号71表示编码后的输出信号。随着输入信号变得比较大，sigma-delta调制器产生较多的正样值。如图7所示，输入电压-0.5V被编码成3个-1伏脉冲和一个+1伏脉冲的序列，输入电压0V被编码成-1伏和+1伏的交替模式，而输入电压+0.5V被编码成3个+1伏脉冲和1个-1伏脉冲的序列。信号在接收端通过对接收的脉冲进行再整形并令其通过低通滤波器来进行译码。在图7中，信号通过对13个样值的位流取平均来解调。标号72表示重构后的信号，取平均的操作引起的时间延迟除外。因而重构后的信号在时间上是与输入信号对齐的。
图8表示按照先有技术，亦即在传统的sigma-delta调制之后对编码信号加水印的效果。在所述实施例中，传统的sigma-delta调制器的-1样值73(图7)被+1样值74代替。这一代替不影响编码过程，并使余下的编码输出信号75保持不变。标号76表示接收端的重构信号。与图7中的重构信号72的差在77处显现出来(在所述图中由于信号的时间对齐而在时间上较早)，并在整个余下的译码过程起波纹。这里可以再次看到信噪比显著降低。
图9表示按照本发明嵌入同样的水印样值74的效果。现在这个水印的作用被反馈到输入端，并在水印插入后通过对输入信号的不同编码而得到补偿。现在重构信号明显更好地类似于输入信号。
图6所示的以2822400(64*44100)Hz的采样频率f对高质量音频信号进行编码用的sigma-delta调制器的一个实际例子具有115dB的信噪比。已经发现，每100个样值替换1个样值会使量化噪音增大1dB。这相当于28000位/秒的水印位速率。
图10表示从图2所示电路产生的delta调制信号或从图6所示电路产生的sigma-delta调制信号中提取嵌入的水印用的电路。已修改的编码信号z加在以选择信号s作为时钟脉冲的寄存器100的数据输入端。寄存器100的输出是水印的位组合w。选择信号s确定位流中的哪一位是水印位。这种选择信号是由除法器级101产生的，后者用给定的的数目N、例如100除采样频率。假定所述信号与发射机中的相应的采样信号s同步。可以通过在水印信号w中提供预定的同步位组合来实现同步。在这样的实施例中，同步检测器102检测所述位组合，并改变除法器级101的相位直至检测到所述同步位组合为止。
图11表示一种用于提取嵌入的水印的电路，若在接收机端可以得到原来的输入信号x，则可采用所述电路。所述电路包括与图1所示的相应的发射机相同的编码器1。但是，现在反馈回路接收水印信号z。因此，重构的预测信号
与发射机端产生的相同。本机编码信号y和所接收的信号z加到提取电路3上，后者完成与图1修改电路2相反的操作。例如，若水印信号是加到MPEG编码器的DCT系数上的实数序列，则提取电路就是减法器。
图12是用于从(sigma-)delta调制信号中提取水印的具体的实施例。在所述图中，标号21-23构成与图2中所示相同的delta调制器。提取电路3包括“异”门301，后者检测加了水印的信号z的位与编码信号y的对应位是否相等。若它们不相等，则已经检测到水印信号z带有倒置的位的位周期。把所述检测到的信号加在以采样频率f作时钟的计数器302上，而且若两个相继的倒置的位之间的位周期个数是第一给定数(例如75)，则产生二进制”0”。而若位周期的所述个数是第二给定数(例如125)，则产生二进制”1”。
图13表示举例说明这一实施例的操作的信号波形。标号130表示原来的输入信号x，标号131表示所接收的加有水印的信号z，而标号132表示通过对加有水印的信号进行译码而获得的预测信号
。标号133表示本机极性检测器22(图12)的输出信号。在所述图中很容易看出，本机极性检测器产生-1’(表示为134)的输出，而所接收的信号z包括+1(表示为135)。这一差异由“异”门301(图12)检测出来。用类似的方法，所述“异”门检测出表示为136和137的水印位的出现。计数器302(图12)对检测到的水印位之间的位周期的个数进行计数。在本(简化的)实施例中，15个位周期的距离代表水印位组合的”0”，而7个位周期的距离代表水印位组合的”1”。
总而言之，描述了一种在由具有反馈回路的编码器，例如，sigma-delta调制器(21,22,23)编码的信号中嵌入水印的方法。通过用水印位组合的样值修改编码信号(y)的选定样值(例如，每隔99位代替一次)把数字水印位组合(w)嵌入信号(y)中。修改样值用的电路(24)处于所述编码器的回路内。这样，加水印的效应在随后的编码过程中被补偿，而信噪比仅仅略受影响。
权利要求
1．一种在编码的信号中嵌入补充数据的方法，它包括下列步骤按照给定的编码方法对所述信号进行编码，包括反馈已编码的信号以控制所述编码过程的步骤；修改所述已编码的信号来代表所述补充数据；其特征在于反馈所述已编码信号的步骤是在所述修改所述信号的步骤之后进行的。
2．权利要求1的方法，其特征在于所述编码是一位编码。
3．权利要求2的方法，其特征在于所述编码是sigma-delta调制。
4．权利要求1,2或3的方法，其特征在于修改所述编码信号的步骤包括用所述补充数据的样值代替所述已编码信号的选定样值。
5．权利要求2或3的方法，其特征在于修改所述编码信号的步骤包括将所述已编码信号的选定样值倒置，嵌入的数据用相继出现的倒置样值之间的样值周期数来代表。
6．一种从接收的编码信号中提取补充数据的方法，所述编码信号中选定的样值用所述补充数据的样值代替，其特征在于包括响应预定的选择信号选择所述样值的步骤。
7．权利要求6的方法，其特征在于所述选择信号是通过检测包括在所述补充数据中的同步位组合取得的。
8．一种从接收的编码信号中提取补充数据的方法，其特征在于包括下列步骤按照给定的编码方法对原来的信号进行编码，所述编码方法包括反馈所接收的编码的信号以控制所述编码过程；以及把编码的原信号与所接收的编码信号加以比较，所述信号之间的差别代表所述补充数据。
9．权利要求8的方法，其特征在于所述补充数据由相继倒置的样值之间的样值周期数代表，所述方法包括对相继出现的倒置样值之间样值周期数进行计数，以提取所述补充数据。
10．一种在编码的信号中嵌入补充数据的电路，它包括对所述信号进行编码的编码器，包括反馈回路以控制所述编码过程；以及用于对所述编码信号的选定样值进行修改以代表所述补充数据的装置；其特征在于连接所述反馈回路以反馈所述修改过的编码信号。
11．权利要求10的电路，其特征在于所述编码器是一位编码器。
12．权利要求11的电路，其特征在于所述编码器是sigma-delta调制器。
13．权利要求10,11或12的电路，其特征在于用于修改编码信号的装置是多路开关转换器，用来以所述补充数据的样值代替已编码信号的选定样值。
14．权利要求11或12的电路，其特征在于用于修改编码信号的装置是反相器，用来倒置一位编码信号的选定样值，所述嵌入的数据用相继出现的修改了的样值之间的样值周期数来代表。
15．一种用于从接收的编码信号中提取补充数据的电路，其中选定的样值用所述补充数据的样值代替，其特征在于包括用来响应预定的选择信号选择所述样值的寄存器。
16．权利要求15的电路，其特征在于包括用来检测包括在所述补充数据中的同步位组合的装置以及用来响应所述检测而产生所述选择信号用的装置。
17．一种从接收的编码信号中提取补充数据的电路，其特征在于包括编码器，用来对原始的音频或视频信号进行编码，它包括接收所述接收的编码信号以控制所述编码过程的反馈回路；以及用来把编码的原始信号与所接收的编码信号加以比较的装置，所述两信号之间的差别代表所述补充数据。
18．权利要求17的电路，其特征在于所述补充数据由相继倒置的样值之间的样值周期数来代表；所述电路包括周来对倒置样值之间的样值周期数进行计数，以提取所述补充数据的计数器。
19．一种嵌有补充数据的编码信号，其特征在于所述编码信号的选定样值是所述补充数据的样值。
20．一种嵌有补充数据的一位编码信号，其特征在于所述编码信号的选定位已经被倒置，相继出现的倒置位之间的位周期数代表所述嵌入的数据。
21．一种在其上已储存了权利要求19或20的信号的存储介质。
全文摘要
在用具有反馈回路的编码器,例如,sigma－delta调制器(21,22,23)编码的信号中嵌入水印的方法。通过用水印位组合的样值来修改编码信号(y)的选定样值(例如,每隔99位代替一次)把数字水印位组合(w)嵌入所述信号(z)中。修改样值用的电路(24)处在编码器的回路内部。这样,加水印的效应在随后的编码步骤中得到补偿,而信噪比仅略受影响。
文档编号H04N7/08GK1234944SQ98800340
公开日1999年11月10日 申请日期1998年1月12日 优先权日1997年1月27日
发明者A·A·M·L·布吕克尔斯, G·F·G·德伯维雷, P·A·C·M·尼藤, A·W·J·奥门 申请人:皇家菲利浦电子有限公司