专利名称：编码和解码载有净荷数据的符号的方法和设备的制作方法
技术领域：
本发明涉及一种方法和设备，用于编码载有用于给音频或视频信号加水印的净荷数据的符号，并涉及一种方法和设备，用于解码载有加水印的音频或视频信号的净荷数据的符号。
背景技术：
水印信息(表示为“WM”)由多个符号组成，这些符号被连续地嵌入在载波内容中，例如在(编码的)音频或视频信号中，以便识别信号的作者。在解码器处，例如如果使用扩频作为基础技术，通过使用接收信号与公知m序列的相关，重新获得WM。在一些水印技术中，异步地发送水印信息，即持续测试是否可以难以觉察地将WM嵌入在(编码的)音频或视频信号中。只在该测试为真时发送WM帧。然而WM帧由几十个符号组成，每一个符号载有同步发送的一个或多个比特。即，如果可以嵌入WM的周期短于帧长度，则在接收器侧不能够恢复一些符号。
因此，多数WM技术发送用于纠错的冗余比特。然而，这些纠错只具有有限的能力。如果在接收器侧不能够直接恢复一个或多个符号，纠错可以校正一些符号。但是如果超出了纠错的能力，不能够恢复WM。
其次，附加的冗余比特增加了WM帧的长度，导致帧长于在其中可以发送WM帧的信号长度的更高可能性。第三，纠错通常与要加水印的信号无关，因此由于必须的奇偶比特，导致比“好”信号必须的净比特率低而不足以纠错“坏”信号的信号。可以在解码器一侧恢复“好”信号，而不能够恢复“坏”信号。
WO-A-01/06755示出了基于能量电平的水印数据的插入。
发明内容
在公知的WM系统中，嵌入了WM的信号必须在至少与帧长度一样长的时间周期内是“好”的，并且具有不多于纠错可以处理的“坏”部分。
本发明要解决的问题是提供一种加水印技术，其中可以尽可能地使用可用于发送WM的时间周期，而不需要消耗不必要的附加冗余比特用于纠错目的。由在权利要求1和3中公开的方法解决该问题。在权利要求2和4中公开了使用这些方法的设备。
根据本发明，除了其正常的净荷之外，每一个WM符号载有标识数据项(表示为ID)，并且已经在编码器中测试了信号是否足够“好”以便可以在接收器或解码器一侧恢复嵌入的符号。如果为真，则正常嵌入。如果非真，在一个符号的长度内不嵌入WM，并且针对接下来的信号和相同的符号重复测试。在编码器处知道ID序列，因此编码器可以使用ID来检测是否跳过了符号。
根据本发明，信号只必须在与符号长度一样长的时间周期内是“好”的。如果不是，稍后当内容更适于嵌入信号时发送信号。这在具有多个静音周期(即暂停)的信号中(例如谈话信号)产生很大的差异。本发明使严格的声音信号的水印更加鲁棒，这在接收WM和接收根本没有WM的信号之间产生差异。因为在空块之后要计算多个相关，上述在编码器中执行的测试消耗更多的处理功率。但是有利地，对于非严格的声音信号，即其中不插入空块并且在与预定数据序列的相关中产生清晰峰值的信号，本发明的处理在解码器中不使用更多的处理功率。
本发明不局限于使用扩频技术。而是，例如可以将基于载波的技术或回波隐藏技术用于水印编码和解码。
理论上，本发明的方法适用于编码载有给音频或视频信号加水印的净荷数据的符号，例如所述加水印使用扩频调制，其中可以通过使用与公知数据序列的相关来解扩和解调，来恢复所述符号，可以在解码侧恢复所述符号，并且组合所述符号中的至少一个和至少一个同步块以形成当前的水印帧，所述方法包括步骤a)编码所述净荷数据，从而针对所述符号的每一个，产生展开的ID数据项；b)在编码器一侧检查在相应解码器中是否可以正确地解码所述符号的当前一个如果真，则将所述当前符号与所述ID数据项一起设置在所述当前帧中，并且如果所述当前帧没有被完全处理，则继续步骤a)，或者如果非真，通过将空符号设置在不包含所述ID数据项的相应一个的所述当前帧中，跳过所述当前帧中的所述当前符号，并且如果所述当前帧没有被完全处理，则使用用于所述空符号位置处的符号的ID数据项，继续步骤a)；c)在所述当前帧被完全处理之后，输出嵌入在所述音频或视频信号中的所述当前帧，并且继续处理下一个帧。
理论上，本发明的设备适用于编码载有用于逐帧地给音频或视频信号加水印的净荷数据的符号，例如所述加水印使用扩频调制，其中可以通过使用与公知数据序列的相关来解扩和解调，来恢复所述符号，可以在解码侧恢复所述符号，并且组合所述符号中的至少一个和至少一个同步块以形成当前的水印帧，所述设备包括-装置，适用于编码所述净荷数据，从而针对所述符号的每一个，产生展开的ID数据项；-装置，适用于检查在相应解码器中是否可以正确地解码所述符号的当前一个，这表示如果真，将所述当前符号与所述ID数据项一起设置在所述当前帧中，并且如果所述当前帧没有被完全处理，则继续在所述编码装置中的处理，或者如果非真，通过将空符号设置在不包含所述ID数据项的相应一个的所述当前帧中，跳过所述当前帧中的所述当前符号，并且如果所述当前帧没有被完全处理，则使用用于所述空符号位置处的符号的ID数据项，继续在所述编码装置中的处理；-装置，适用于在所述当前帧被完全处理之后，输出嵌入在所述音频或视频信号中的所述当前帧。
理论上，本发明的方法适用于解码载有加水印的音频或视频信号的净荷数据的符号，例如所述加水印使用扩频调制，其中例如通过使用与预定数据序列的相关来解扩和解调，组合了所述符号中的至少一个和至少一个同步块以形成当前的水印帧，并且按照下面的步骤给所述音频或视频信号加水印a)编码所述净荷数据，从而针对所述符号的每一个，产生展开的ID数据项；b)检查在相应解码器中是否可以正确地解码所述符号的当前一个如果真，将所述当前符号与所述ID数据项一起设置在所述当前帧中，并且如果没有完全处理所述当前帧，则该处理继续步骤a)，或者如果非真，通过将空符号设置在不包含所述ID数据项的相应一个的所述当前帧中，跳过所述当前帧中的所述当前符号，并且如果没有完全处理所述当前帧，则使用用于所述空符号位置处的符号的ID数据项，该处理继续步骤a)；c)在完全处理所述当前帧之后，输出嵌入在所述音频或视频信号中的所述当前帧，并且继续处理下一个帧，并且所述解码方法还包括以下步骤-在利用与所述ID数据项的当前一个相关的预定数据序列来解码当前符号的处理之后，确定所述解码处理是否产生了显式结果如果真，则提供所述当前帧的所述已处理的当前符号，或者如果非真，则跳过所述当前帧中的所述当前符号，其中，例如所述解码处理是与预定数据序列的相关。
理论上，本发明的设备适用于解码载有加水印的音频或视频信号的净荷数据的符号，例如所述加水印使用扩频调制，其中组合了所述符号中的至少一个和至少一个同步块以形成当前的水印帧，并且所述解码设备包括解码装置，适用于例如通过使用与预定数据序列的相关来解扩和解调，来恢复所述符号，并且其中按照下面的步骤给所述音频或视频信号加水印a)编码所述净荷数据，从而针对所述符号的每一个，产生展开的ID数据项；
b)检查在相应解码器中是否可以正确地解码所述符号的当前一个如果真，将所述当前符号与所述ID数据项一起设置在所述当前帧中，并且如果没有完全处理所述当前帧，则该处理继续步骤a)，或者如果非真，通过将空符号设置在不包含所述ID数据项的相应一个的所述当前帧中，跳过所述当前帧中的所述当前符号，并且如果没有完全处理所述当前帧，则使用用于所述空符号位置处的符号的ID数据项，该处理继续步骤a)；c)在完全处理所述当前帧之后，输出嵌入在所述音频或视频信号中的所述当前帧，并且继续处理下一个帧，并且所述解码还包括装置，适用于在与所述ID数据项的当前一个相关的当前符号的解码处理之后，确定所述解码处理是否产生了显式结果，这表示如果真，提供所述当前帧的所述已解调的当前符号，或者如果非真，则跳过所述当前帧中的所述当前符号，其中，例如所述解码处理是与预定数据序列的相关。
在各个独立权项中公开了本发明的有利的其它实施例。
参考
本发明的典型实施例，附图中图1是本发明的水印编码器；图2是本发明的水印解码器；图3是帧结构；图4是根据本发明的帧序列。
具体实施例方式
水印的最小自包含单元被称为帧。图3示出了三个连续帧FRn-1、FRn和FRn+1。帧由在解码器一侧检测帧的开始所需的多个同步块SYNBL(至少一个同步块)和载有实际信息的多个净荷块PLBL(至少一个有效的净荷块或符号)组成。根据技术，同步或异步地将帧插入音频流中。连续地，即在SYNBL块之后同步地，完成净荷块的插入。每一个净荷块持有一个或多个比特信息。因此净荷块还被称为符号。净荷符号包括要插入到WM中的信息，并且可选地包含用于纠错的冗余信息。例如，典型的设置是5个同步块和36个净荷块/帧，每一个净荷块载有2比特，因此这些72比特中的24个被用于纠错，导致每一个帧有48比特的净净荷。
在图1的水印编码器中，要被用于给音频信号AS加水印的净荷数据PLD被输入到纠错和/或检测编码阶段ECDE，ECDE添加有利于在解码器中错误检测到的符号的恢复的冗余比特。在下行解调和扩频阶段MS中，将标识数据项ID与信号组合。阶段MS的输出信号被提供给心理声学成形阶段PAS，所述PAS使WS信号成型，从而WM是非可听或可视的，并且PAS将其输出信号提供给信号添加和判决阶段SAD以及解码器阶段DEC。解码器阶段DEC实现为根据图2的解码器。阶段PAS和SAD的每一个接收音频流信号AS并且逐符号地处理WM帧。阶段SAD确定对于当前WM帧FRn，在解码器DEC中是否正确地解码了净荷数据PLD。如果真，将心理声学形成的WM符号添加到当前帧。如果非真，则跳过当前帧FRn中的当前符号。其后，继续处理在当前符号之后的下一个符号。在完成对WM帧的处理之后，输出嵌入在音频信号中的相应加水印的帧WAS。其后，继续处理在当前帧之后的帧FRn+1。
在图2的水印解码器中，音频信号的加水印帧WAS通过谱白化阶段SPW(反转在阶段PAS中完成的成形)和解扩和解调阶段DSPDM(从信号WAS中重新获得嵌入的数据)，到达ID评价和跳过阶段IDESK。在阶段IDESK中，检查接收的WM帧的接收符号或块是否具有正确的ID，即，接收的ID是否按照时序顺序。如果非真，跳过相应的WM符号。如果真，将WM符号传递给输出有效净荷数据PLD的纠错和/或检测解码阶段ECDD。
水印是根据心理声学原理的成形块，即，在不同符号之间水印和音频能量之间的比值可以改变。对于一些信号，嵌入水印的可能质量非常差，因此在编码器一侧已经知道在解码器一侧不能够正确地恢复嵌入在这些信号中的符号。
根据本发明，对于要嵌入在音频信号中的每一个符号，在编码器中决定是否可以在解码器中正确地恢复符号。如果可以恢复的概率很高，则将其插入在音频中。如果不高，在一个符号长度的持续时间内不插入附加的WM信号，或者只插入代表零的空符号，并且重复测试，直到信号适用于下一个WM项的嵌入。插入的每一个空符号使帧长度增加了1个符号长度，因此每一个帧载有相同数目的净荷比特/帧。
图4A示出了其中信号的示出部分适用于WM的嵌入的示例。因此持续地嵌入符号。在图4B中信号不适用于在第三符号处嵌入WM。因此，在符号2之后不嵌入符号(或者插入空符号)，并且在下一个可能的插入点处再次测试信号，然而信号仍然不适合。因此，再次推迟非空符号的插入。下一个测试成功并且插入符号3。这表示解码器接收符号1，然后符号2，然后两次空符号(即没有水印的纯音频信号)，然后是符号号码3。
解码器必须将由于发射和接收之间的噪声或攻击而不能够恢复的符号或块与没有嵌入水印的信号区分。通过在编码器中分配给符号附加的ID并且在解码器中评价它，利于该区分。例如通过使用预定量的扩频技术中的不同最大长度数据序列，例如不同的m序列，可以执行该处理。在图4中，使用了三个不同m序列。可以对所有符号或块进行BPSK编码，即每一个载有一个比特信息。第一块使用第一m序列，第二块使用第二m序列，第三块使用第三m序列，第四块再次使用第一m序列，依此类推。解码器按照相同次序使用相同的m序列。在图4A所示的示例中，按照次序1、2、3、1、2、3使用m序列。
在图4B中，作为示例，第三块与m序列3的相关没有示出清晰的结果(即在相应相关结果中不存在清晰的量值峰值)。这表示干扰了WM符号或者没有嵌入WM符号。因此第四块与m序列1和3相关，在本示例中都没有给出清晰的相关结果。第五块与m序列1、2和3相关。只有与序列3的相关给出了清晰的峰值，表示两个在先块(第3和4块)是空的并且未载有WM符号。
权利要求
1.一种用于编码载有给音频或视频信号(AS)加水印的净荷数据(PLD)的符号(PLBL)的方法，其中，可以在解码侧恢复所述符号，并且组合所述符号中的至少一个和至少一个同步块，以形成当前的水印帧(FRn)，其特征在于以下步骤a)编码所述净荷数据(ECDE、MS、PAS)，从而针对所述符号的每一个，产生展开的ID数据项(ID)；b)在编码器一侧检查在相应解码器中是否能够正确地解码(DEC)所述符号的当前一个；如果真，则将所述当前符号与所述ID数据项一起设置在所述当前帧中，并且如果所述当前帧没有被完全处理，则继续步骤a)，或者如果非真，通过将空符号设置在不包含所述ID数据项的相应一个的所述当前帧中，跳过所述当前帧中的所述当前符号，并且如果所述当前帧没有被完全处理，则使用用于在所述空符号位置处的符号的ID数据项，继续步骤a)；c)在所述当前帧被完全处理之后，输出(SAD)嵌入在所述音频或视频信号(WAS)中的所述当前帧，并且继续处理下一个帧。
2.一种用于编码载有用于逐帧地(FRn-1、FRn、FRn+1)给音频或视频信号(AS)加水印的净荷数据(PLD)的符号的(PLBL)的设备，其中，可以在解码器恢复所述符号，并且组合所述符号中的至少一个和至少一个同步块，以形成当前的水印帧(FRn)，所述设备包括-装置(ECDE、MS、PAS)，适用于编码所述净荷数据，从而针对所述符号的每一个，产生展开的ID数据项(ID)；-装置(DEC)，适用于检查在相应解码器中是否能够正确地解码所述符号的当前一个，这表示如果真，则将所述当前符号与所述ID数据项一起设置在所述当前帧中，并且如果所述当前帧没有被完全处理，则继续在所述编码装置中的处理，或者如果非真，通过将空符号设置在不包含所述ID数据项的相应一个的所述当前帧中，跳过所述当前帧中的所述当前符号，并且如果所述当前帧没有被完全处理，则使用用于所述空符号位置处的符号的ID数据项，继续在所述编码装置中的处理；-装置(SAD)，适用于在所述当前帧被完全处理之后，输出嵌入在所述音频或视频信号(WAS)中的所述当前帧。
3.一种用于解码载有加水印的音频或视频信号(AS)的净荷数据(PLD)的符号(PLBL)的方法，其中，组合了所述符号中的至少一个和至少一个同步块，以形成当前的水印帧(FRn)，其特征在于所述音频或视频信号按照下面的步骤被加水印a)编码所述净荷数据(ECDE、MS、PAS)，从而针对所述符号的每一个，产生展开的ID数据项(ID)；b)检查在相应解码器中是否能够正确地解码(DEC)所述符号的当前一个如果真，则将所述当前符号与所述ID数据项一起设置在所述当前帧中，并且如果所述当前帧没有被完全处理，则该处理继续步骤a)，或者如果非真，则通过将空符号设置在不包含所述ID数据项的相应一个的所述当前帧中，跳过所述当前帧中的所述当前符号，并且如果所述当前帧没有被完全处理，则使用用于所述空符号位置处的符号的ID数据项，该处理继续步骤a)；-在所述当前帧被完全处理之后，输出(SAD)嵌入在所述音频或视频信号(WAS)中的所述当前帧，并且继续处理下一个帧，并且所述解码方法还包括以下步骤-在与所述ID数据项的当前一个相关的当前符号的解码处理之后，确定(IDESK)所述解码处理是否产生了显式结果如果真，则提供所述当前帧的所述已处理的当前符号，或者如果非真，则跳过所述当前帧中的所述当前符号，其中，所述解码处理是与预定数据序列的相关。
4.一种用于解码载有加水印的音频或视频信号(AS)的净荷数据(PLD)的符号(PLBL)的设备，其中，组合了所述符号中的至少一个和至少一个同步块，以形成当前的水印帧(FRn)，并且所述解码设备包括解码装置(SPW、DSPDM)，适用于恢复所述符号，其特征在于所述音频或视频信号按照下面的步骤被加水印a)编码所述净荷数据(ECDE、MS、PAS)，从而针对所述符号的每一个，产生展开的ID数据项(ID)；b)检查在相应解码器中是否能够正确地解码(DEC)所述符号的当前一个如果真，则将所述当前符号与所述ID数据项一起设置在所述当前帧中，并且如果所述当前帧没有被完全处理，则该处理继续步骤a)，或者如果非真，通过将空符号设置在不包含所述ID数据项的相应一个的所述当前帧中，跳过所述当前帧中的所述当前符号，并且如果所述当前帧没有被完全处理，则使用用于所述空符号位置处的符号的ID数据项，该处理继续步骤a)；c)在所述当前帧被完全处理之后，输出(SAD)嵌入在所述音频或视频信号(WAS)中的所述当前帧，并且继续处理下一个帧，并且所述解码设备还包括装置(IDESK)，适用于在与所述ID数据项的当前一个相关的当前符号的解码处理之后，确定所述解码处理是否产生了显式结果，这表示如果真，则提供所述当前帧的所述已处理的当前符号，或者如果非真，则跳过所述当前帧中的所述当前符号，其中，所述解码处理是与预定数据序列的相关。
5.根据权利要求1所述的方法、或根据权利要求2所述的设备，其中，所述净荷数据(PLD)的所述编码是调制和扩频(MS)，并且对于所述净荷数据，在所述调制和扩频之前，执行纠错和/或检错编码(ECDE)。
6.根据权利要求1或5所述的方法、或根据权利要求2或5所述的设备，其中，所述净荷数据(PLD)的所述编码是调制和扩频(MS)，并且在执行所述检查(DEC、SAD)之前，对所述调制和扩频的输出信号进行心理声学成形(PAS)。
7.根据权利要求3所述的方法、或根据权利要求4所述的设备，其中，在所述当前帧(FRn)的所述检查和完全处理之后，对所述净荷数据执行纠错和/或检错解码(ECDD)。
8.根据权利要求3或7所述的方法、或根据权利要求4或7所述的设备，其中，所述解码是使用与已知数据序列的相关，对所述符号的解扩和解调，并且在所述解扩和解调之前，对所述加水印的音频或视频信号(WAS)执行谱白化(SPW)。
9.根据权利要求1到8之一所述的方法或设备，其中，插入在所述当前帧(FRn)的每一个空符号使所述当前帧的长度增加了一个符号长度，因此每一个帧载有每帧相同数目的净荷比特。
10.根据权利要求1到9之一所述的方法或设备，其中，由不同的最大长度数据序列来表示所述展开的ID数据项(ID)，并且使用所述不同最大长度数据序列来执行所述相关，例如预定量的不同m序列，其中，可以对所述m序列进行BPSK编码，并且每一个所述m序列均载有一比特信息。
全文摘要
水印信息(表示为“WM”)由被连续地嵌入在音频或视频信号中的多个符号组成。在解码器处，如果使用扩频，通过使用接收信号与m序列的相关，重新获得WM。在一些水印技术中，异步地发送水印信息，即持续测试是否可以难以觉察地将WM嵌入在音频或视频信号中。只在该测试为真时发送WM帧。然而WM帧由几十个符号组成，每一个符号载有同步发送的一个或多个比特。即，如果可以嵌入WM的周期短于帧长度，则在接收器侧不能够恢复一些符号。根据本发明，除了其正常的净荷之外，每一个WM符号载有ID项，并且已经在编码器中测试了信号是否足够“好”以便可以在解码器侧恢复嵌入的符号。
文档编号G06T1/00GK1835591SQ20061005978
公开日2006年9月20日 申请日期2006年3月7日 优先权日2005年3月18日
发明者彼得·乔治·鲍姆, 沃尔特·弗斯辛 申请人:汤姆森许可贸易公司