专利名称：数字视频信号中的嵌入补充数据的制作方法
技术领域：
该发明涉及用于在数字视频信号中嵌入补充数据的方法和装置。该发明还涉及用于将嵌入补充数据解码的装置。
背景技术：
视频和音频信号越来越多地以数字编码方式，例如MPEG比特流，来传输和记录。这样一种需求正在上升，即在信号中提供补充数据，例如水印，来将信号分类为可靠的内容材料，标记上水印的数字信号在版权保护应用中尤其有用。其中的水印可以很有效地采用单比特的形式，该比特表明信号属于版权受保护的材料，或者其中的水印采用表明该材料来源的多比特码。
在已知的用于音频和视频压缩的MPEG标准中，为了实现该目的定义了一个版权(copy protection)保护比特。然而，该已知方法的缺点是保护比特可以很容易地被修改以回避版权保护机制。
发明目标和概要该发明的目的是给出一种方法和装置用来在视频信号中以这样一种方式嵌入一个水印，即，嵌入的水印可以被很容易地检测到，但是删除却很困难。
因此，该发明给出一种在视频信号中嵌入补充数据的方法，该方法包括将视频信号编码为帧组的步骤，其中的帧组包括帧内(I)编码帧和一系列预测(P)编码帧及双向预测(B)编码帧，其特征在于，以某种方式编码视频信号，在该方式中帧组(GOP)中的帧编码类型模板代表一个补充数据的值。
通过该发明能够很容易地检测到水印。帧编码类型被提供在MPEG比特流的帧头中，并且很容易被读到。然而，改变帧中的帧编码类型来除去水印会使得帧数据不再遵从编码标准。该MPEG比特流不再能被遵从标准的解码器解码。相关的帧必需被进行代码转换以遵从新的帧编码类型，例如，通过将帧解码后再编码。
应该注意的是，在MPEG信号中产生预定顺序的I，P和B帧从而标记某个数字视频信号的一般思想已经在专利申请者的国际专利申请WO97/13248中被提出。然而，这项发明在该发明的优先日期之后被公布，并且没能够描述通过帧组中的帧编码类型模板来表示补充数据的思想。
最好是，补充数据值由GOP中的B和P帧编码类型的给定模板来表示，例如，通过GOP中的BPP模板的位置来表示。因此实现的是，改变帧编码类型也改变了它对GOP中其它帧的相对参考性，从而影响到GOP中其它的帧。为了除去水印，GOP中的大部分帧而不是单个帧要被进行代码转换。这里有一个例外，P帧可以被代码转换为I帧而不需要其他帧也被进行代码转换。然而，I帧必须用P帧所使用的少量比特来编码。这影响了I帧以及参考该帧的P帧的质量。因此，要除去水印就必须对GOP中剩余的帧进行代码转换或者GOP中剩余帧质量会严重降低。
附图简要描述
图1-4表示了MPEG编码的视频信号GOP结构的例子，用来图解说明根据该发明嵌入补充数据的方法。
图5表示了将不同的补充数据值分配给GOP组中BPP模板各个位置的例子。
图6表示根据该发明用来在MPEG视频信号中嵌入补充数据的装置示意图。
图7是说明图6中所表示的控制电路操作的流程图。
图8是根据该发明用来将嵌入在MPEG编码的视频信号中的补充数据解码的装置示意图。
实施方案描述首先，对于根据该发明的水印方法很基本的MPEG基础理论将要被简单描述。
为了实现有效的视频压缩，MPEG编码器根据三个不同编码方法中的一个来编码帧。一些帧被独立编码，即，不参考视频序列中任何其它帧。这些帧被表示为帧内编码帧或I帧。其它帧被预测编码。使用运动补偿的以前帧作为参考(预测)图象。它们被表示为P帧。P帧参考的以前帧可以是I帧或另外的P帧。还有其它的帧是双向预测编码的。它们不仅参考以前的I或P帧，而且参考未来的I或P帧，并被表示为B帧。
一般的，I帧中需要用来表示帧的比特数是最多的，其次是P帧，最少的是B帧。压缩量和解码视频序列的质量很大程度上取决于编码器中的运动估计过程。运动估计是MPEG编码器中最复杂而且计算强度最大的操作。正是这种操作使得专业的MPEG编码器长期以来比成本低的商用编码器更出众。
为了使得MPEG解码器知道接收到的帧是I，P还是B帧，MPEG视频比特流的每个帧头中的参数picture_type描述了相关的帧是如何被编码的。如果帧编码类型是I，那麽解码器完全根据接收到的帧数据来重构图象。如果帧编码类型是P，那麽解码器根据接收到的帧数据和已经显示的I或P帧来重构图象。如果帧编码类型是B，那麽解码器基于前面及后面的I或P帧来重构图象。应该注意的是，参数picture_type暗示了参考帧P帧参考最近的I或P帧，B帧参考最近的和下一个I或P帧。
一系列的I帧和连续的B，P帧被称为帧组(GOP)。根据MPEG标准，编码器可以随意选取I，B和P帧编码类型的最佳顺序。然而，只有很少的GOP结构被用于实践之中IPPP...被用于不需要访问大量存贮器的廉价编码器中。
IBPBP被用于比较先进的编码器中。
IBBPBBP一般用在专业编码器中。
处于开发中的MPEG编码器使GOP结构比上面列出的传统序列优化了一些，其方式一般为当大部分场景发生变化时，选择I帧。
图1表示一般使用的GOP的IBBPBBP结构的例子，它包括12个帧，1，2...12。图中的箭头指向相关的参考帧。例如B帧2和3利用I帧1和P帧4进行预测编码。B帧5，6利用P帧4和P帧7作为参考来编码。同样的，P帧4利用I帧1进行预测编码。P帧7利用P帧4进行预测编码等等。注意图中所示是按显示顺序排列的帧。因为在其配置下，解码器在解码B帧时必须已经接收到未来的P或I帧，所以发送顺序是不同的。
如图1所示，一般使用的GOP结构包括多个BBP模板。BPP模板很少用在GOP中。在该发明的优选实施方案中，正是该模板被用来表示水印数据。图2表示一个包括这种BPP模板(帧5，6和7)的GOP。
采用BPP形式的水印可以很容易被检测到，因为帧编码类型被包括在各个帧头中。然而，仅通过改变参数picture-type来除去水印是不可能的。例如，如图2的帧6中的参数picture-type被从P改变为图3中所示的B，那麽解码器将参考P帧4和P帧7来解码该帧，然而，编码器仅使用P帧4作为预测图象。帧7将不会被正确解码，因为它现在参考P帧4而编码器是参考帧6的。不用说，解码器将会失败或至少会产生错误的结果。
同样的，如果通过将图2中的帧7的参数picture-type从P改变为图4所示的B来除去水印，那麽解码器将参考P帧6和10来解码帧7，而编码器仅参考帧6。帧8，9和10将不再会被正确地解码，因为它们原来对P帧7的参考已经被改变为对P帧6的参考。
P帧6或P帧7的参数picture-type都不能从P被变换为I，因为在这种情况下，预测编码帧被解释为独立编码帧(象素差值被解释为象素)。
因此，为了除去水印，相关帧必须被进行代码转换，即，被解码到象素域，然后再根据其修改后的帧编码类型将之编码。这样对于″黑客″就不那麽有吸引力了，因为如前面提到的，除非可以接受质量的严重降低，否则高质量编码涉及复杂的运动估计电路。在这方面，要注意的是，不仅picture-type参数被改变的帧必须要再编码，参考修改后帧的帧也要被重新编码。例如，如果图2中的帧7象图4所表示的那样从P帧转换为B帧。B帧8，9和P帧10也将要被进行代码转换，因为它们的参考帧已经改变了。因此除非相关的P帧被转换为I帧，否则代码转换的影响将波及GOP中剩余的帧。然而，在这种情况下，I帧必须被压缩为与原来P帧中相同的(相对低)的比特数。
出现两个连续P帧的情况几乎不会是偶然的。因此，错误警告的数目(在非水印信号中检测到水印)受到限制。为了进一步减少错误警告的可能性，可以对两个加上水印的GOP之间的GOP最大数上施加一个条件。例如，如果加上水印的GOP发生在足够小的间隔上，那麽该视频流被指定为受版权保护。
以上描述的加水印GOP的概念使得任意长度的信息可以被嵌入到MPEG视频信号中。因此，不同的补充数据值被分配给GOP中BPP模板中的不同位置上。有关的第一个例子在图5中表示出来。在该例中，以BPP模板开始的GOP20表示一个同步码来标记信息的开始。在一个单个P之后跟随着BPP模板的GOP21表示二进制补充数据值″0″。在两个P之后跟随着BPP模板的GOP22表示二进制″1″，参考数23表示具有嵌入消息″0110...″的MPEG编码的视频信号段。注意到，从水印影响编码效率的事实出发，并不是每个GOP都传送一个补充数据值(大部分GOP具有普通的IBBPBBP的结构)。在每个第n个GOP中嵌入一个补充数据值(n是一个预定值)来在相关GOP的辩识中辅助水印检测器并降低错误警告率显然是很有利的。还要注意到的是，视频信号23中的GOPs具有可变长度。不仅GOP中的帧数会改变，每帧中的比特数也很大程度地取决于图象内容。
要认识到的是，补充数据值的符号可以被进一步地扩大。例如，根据下表I，6个不同的消息符号0-5可以被分配给GOP结构
表I图6是根据该发明用来在MPEG视频信号中嵌入补充数据的装置示意图。该装置包括一个传统的MPEG视频编码器30和一个控制电路40。MPEG视频编码器被更详细地表示出来，然而仅到理解该发明所须的程度。更特别的是，编码器包括减法器31，该减法器接收将要被编码的视频信号x，并从中减去一个预测信号。差值信号被进行离散余弦变换，量化和变长编码(在图中统一表示为32)。MPEG编码的输出信号Y被发送给接收器或存储在存储媒体中(未表示出)。信号y也被通过本地解码器33解码，并通过加法器34被施加到运动估计和补偿电路35。所述的运动估计和补偿电路给出一个前向预测帧和一个双向预测帧。
通过选择开关36，图6中三个MPEG编码模型(I，P，B)被符号化，其中的开关36选择施加到减法器31的预测信号，该选择开关有三个输入端，表示为I，P和B。如果I终端被选中，预测信号为零，这导致输入信号x将被独立编码。如果P终端被选中，前向预测帧被施加到减法器。如果B终端被选中，双向预测帧被施加到减法器。选中的预测信号也通过加法器34被反馈给运动估计和补偿电路35。
当前编码模型(I，P，B)被控制电路40控制，该电路根据将要被嵌入的接收到的水印消息w通过帧编码类型信号PT来控制选择开关36。图7表示说明所述控制电路操作的流程图。在该例中，假设根据前面描述的表I，水印符号wi(wi＝0...5)被嵌入到每第8个GOP中。在步骤50确定当前GOP是否为第8个GOP。如果不是，在步骤51产生控制信号PT＝IBBPBBP。为了响应这种情况，MPEG编码器产生常规的GOP结构。然而，对于每个第8个GOP，将要被嵌入的水印消息w中的下一个水印符号wi在步骤52中被读出。然后在存储表I的存储器中寻找被分配了所述符号的GOP结构，并在步骤53中产生相应的控制信号PT＝I...BPP..。
图8为根据该发明用来将嵌入到MPEG编码的视频信号中的补充数据解码的装置示意图。该装置包括一个GOP检测器61，一个帧头检测器62，一个窗产生器63，门64，偏移寄存器64和查找表65。帧头检测器62检测预定的32比特picture_start_code(16进制值00000100)在MPEG信号中的存在性并将帧头信号PHDR施加给窗产生器63。为了响应这种情况，窗产生器63产生一个时序窗w。每次MPEG参数picture_coding_type被接收时，窗w打开门64并使得所述的参数被写入偏移寄存器65。该参数表明当前帧是帧间编码帧(I)，预测编码帧(P)还是双向预测编码帧(B)。GOP检测器61检测另一个预定的32比特参数group_start_code(16进制值000001B8)在MPEG信号中的存在性，该参数表明帧组的开始。为了响应这种情况，检测器激活查找表66来将在偏移寄存器65中的当前帧编码类型PTRN模板转换为补充数据值wI。另外，GOP检测器重置偏移寄存器65以便开始为下一个GOP收集帧编码类型模板。
总之，该发明描述了一种在MPEG编码视频信号中嵌入水印的方法。MPEG编码的视频信号包括帧组(GOPs)。每个GOP包括一个帧间编码(I)帧和一系列预测编码(P)帧和双向预测帧(B)。一般地，GOP结构IBBPBBP被使用。根据该发明，通过强迫MPEG编码器来产生一个一般不会产生的GOP结构，例如包括BPP序列的GOP，视频信号被加上了水印。不同的符号值可以被分配给GOP中BPP序列的不同位置。
权利要求
1.将补充数据嵌入视频信号的方法，包括将视频信号编码成帧组的步骤，其中的帧组包括帧内编码帧(I)，一系列预测编码帧(P)和双向预测编码帧(B)；该方法的特征在于将视频信号以下述方式编码即帧组中的帧编码类型(I，P，B)表示补充数据值。
2.如权利要求1所述的方法，其特征在于补充数据值由帧组中BPP模板的位置表示。
3.用来将补充数据嵌入视频信号的装置，该装置包括用来将视频信号编码为帧组的装置(30)，其中的帧组包括帧内编码帧(I)，一系列预测编码帧(P)和双向预测编码帧(B)；该装置的特征在于用来以下述方法编码视频信号的装置(40)即帧组中的帧编码类型(I，P，B)表示补充数据值。
4.如权利要求3所述的装置，其特征在于补充数据值由帧组中BPP模板的位置表示。
5.将嵌入到视频信号中的补充数据解码的方法，其中的视频信号被编码为帧组，其中的帧组包括帧内编码帧(I)，一系列预测编码帧(P)和双向预测编码帧(B)；该方法的特征在于读出帧组中的帧编码类型(I，P，B)并确定所述帧组中由帧编码类型模板表示的补充数据值的步骤。
6.如权利要求5所述的方法，其特征在于补充数据值由帧组中BPP模板的位置表示。
7.将嵌入到视频信号中的补充数据解码的装置，其中的视频信号被编码为帧组，其中的帧组包括帧内编码帧(I)，一系列预测编码帧(P)和双向预测编码帧(B)；该装置的特征在于用于读出帧组中的帧编码类型(I，P，B)并确定所述帧组中由帧编码类型模板表示的补充数据值的装置。
8.如权利要求7所述装置，其特征在于补充数据值由帧组中BPP模板的位置表示。
9.具有嵌入补充数据的编码视频信号，该信号包括各组帧内编码帧(I)，预测编码帧(P)和双向预测编码帧(B)，其特征在于补充数据值由帧组中不同的预定帧编码类型(I，B和P)的模板表示。
10.如权利要求9所述的信号，其特征在于补充数据值由帧组中BPP模板的位置表示。
11.一种存储介质，如权利要求9或10所述的具有嵌入补充数据的编码视频信号被存储在其中。
全文摘要
将水印嵌入到MPEG编码的视频信号中的方法,MPEG视频编码信号包括帧组(GOPs),每个帧组包括一个帧间编码(I)帧和一系列预测编码(P)帧和双向预测帧(B)。一般地,GOP结构IBBPBBP…被使用。根据该发明,通过强迫MPEG编码器产生一个一般不会产生的GOP结构,例如包括BPP序列的GOP,视频信号被加上了水印。不同的符号值可以被分配给GOP中BPP序列的不同位置。
文档编号H04N7/24GK1242907SQ98800027
公开日2000年1月26日 申请日期1998年1月12日 优先权日1997年1月13日
发明者E·D·L·M·弗里茂特, S·J·J·尼森, J·P·M·G·林纳茨 申请人:皇家菲利浦电子有限公司