专利名称：水印生成器、水印解码器、用于提供水印信号的方法、用于根据加水印后的信号提供二进 ...的制作方法
技术领域：
根据本发明的实施方式涉及用于根据二进制消息数据来提供水印信号的水印生成器。根据本发明的另一实施方式涉及用于根据加水印后的信号来提供二进制消息数据的水印解码器。根据本发明的又一实施方式涉及用于根据二进制消息数据来提供水印信号的方法。根据本发明的又一实施方式涉及根据加水印后的信号来提供二进制消息数据的方法。本发明的其他实施方式涉及相应的计算机程序。根据本发明的一些实施方式涉及稳健的低复杂度的音频水印系统。
背景技术：
在许多技术应用中，需要在表示有用数据或“主数据”(例如，音频信号、视频信号、 图形、测量量等)等的信息或信号中包括附加信息。在许多情况下，需要包括附加数据，使得附加数据以不被该数据的用户感知的方式结合到主数据(例如，音频数据、视频数据、静态图像数据、测量数据、文本数据等)。此外，在一些情况下，需要包括附加数据，使得附加数据不能容易地从主要数据(例如，音频数据、视频数据、静态图像数据、测量数据等)中去除。在需要实施数字权利管理的应用中，尤其如此。然而，有时只是需要在有用数据中添加实质上不可感知的边信息(side information)。例如,在一些情况下,理想的是将边信息添加到音频数据，使得边信息提供关于音频数据源、音频数据的内容、与音频数据相关的权利等的信息。为了将附加数据嵌入到有用数据或“主数据”中，可以使用所谓的“水印”的概念。在例如音频数据、静态图像数据、视频数据、文本数据等的多种不同的有用数据的文献中，已经讨论了水印概念。在下文中，将给出其中讨论了水印概念的一些参考。然而，为了获得更详细的信息，读者还应关注与水印相关的宽领域的文本文献以及应用。DE 196 40 814 C2描述了一种用于将非可听数据信号(non-audibledatasignal)引入到音频信号中的编码方法以及用于对以非可听形式包括在音频信号中的数据信号进行解码的方法。用于将非可听数据信号引入到音频信号中的编码方法包括将音频信号转换为频谱域。编码方法还包括确定音频信号的掩蔽阈值和伪噪声信号的供应。编码方法还包括提供数据信号并将伪噪声信号和该数据信号相乘，以获得频分数据信号。编码方法还包括将频分数据信号和掩蔽阈值加权并将音频信号和加权的数据信号叠加。另外，WO 93/07689描述了用于通过向节目的声音信号添加听不见的编码消息，自动识别由电台或电视频道广播或者记录在介质上的节目的方法和设备，其中，上述消息识别广播频道或电台、节目和/或提取日期。在该文献描述的实施方式中，将由模拟数字转换器将声音信号传输至数据处理器，该数据处理器能够分离频率分量，并使得能够以预定方式改变一些频率分量中的能量以形成编码的识别消息。数据处理器的输出通过数字模拟转换器连接至音频输出端，用于广播或记录声音信号。在该文献描述的另一实施方式中，采用模拟带通，以从声音信号分离频带，使得可以这样改变分离的频带中的能量以对声音信号编码。 US 5，450，490描述了用于在声音信号中包括具有至少一个码频率分量的码的设备和方法。评估音频信号中各频率分量屏蔽人类听觉的码频率分量的能力，并且基于这些评估，为码频率分量分配幅度。还描述了用于检测编码的音频信号中的码的方法和设备。基于预期码幅度或包括码分量的频率的音频频率范围中的噪声幅度，检测编码的音频信号中的码频率分量。WO 94/11989描述了用于编码/解码广播或记录的片段并监控其观众接触率的方法和设别。描述了用于将广播或记录的片段信号中的信息编码和解码的方法和设备。在文献描述的实施方式中，观众监控系统使用扩频编码将广播或记录的片段的音频信号部分中的标识信息编码。监控装置经由麦克接收广播或记录的信号的声学再生版本，将标识信息从音频信号部分解码而不管显著的环境噪声并存储该信息，自动提供该观众的日志，该日志随后将被上传到中心装置。单独的监控装置将另外的信息从广播信号解码，其与中心装置的观众日志信息匹配。该监控器可以使用拨号电话线同时向中心装置发送数据，并通过使用扩频技术编码并用来自第三方的广播信号调制的信号从中心装置接收数据。WO 95/27349描述了用于在音频信号中包括码并解码的设备和方法。描述了用于在音频信号中包括具有至少一个码频率分量的码的设备和方法。评估音频信号中各频率分量屏蔽人类听觉的码频率分量的能力，并且基于这些评估，为码频率分量分配幅度。还描述了用于检测编码的音频信号中的码的方法和设备。基于预期码幅度或包括码分量的频率的音频频率范围中的噪声幅度，检测编码的音频信号中的码频率分量。然而，在已知的水印系统中，在解码器侧获取适当的同步有时是困难或者耗时的。此外，在一些情况下，从水印生成器向水印解码器传输同步信息的资源工作量相对较高。此夕卜，在一些情况下，会出现可靠性问题。鉴于这种情况，本发明的目的是提供用于水印传输的同步概念，其能够实现资源效率、可靠性、以及获取同步所需的时间之间的良好平衡。
发明内容
本发明的目的是通过如下来实现的根据权利要求I的水印生成器、根据权利要求10的水印解码器、根据权利要求17的用于提供水印信号的方法、根据权利要求18的用于提供二进制消息数据的方法、以及根据权利要求19的计算机程序。根据本发明的实施方式提供了用于根据二进制消息数据提供水印信号的水印生成器。水印生成器包括信息扩展器，被被配置为将信息单位扩展到多个时频域值，以获得扩展信息表示型态。水印生成器还包括同步插入器，其被配置为将扩展信息表示型态与同步序列乘法结合，以获得结合的信息同步表示型态。水印生成器还包括被配置为基于结合的信息同步表示型态来提供水印信号的水印信号提供器。本发明的关键思想在于可以在水印生成器侧通过将表示二进制消息数据的一个或多个信息单位(例如，比特)的扩展信息表示型态与同步序列乘法结合来获得能够实现快速同步恢复并提供可靠性和资源效率之间的良好平衡的同步信息，使得可以获得结合的信息同步表示型态。基于提供了水印信号，结合的信息同步表示型态在相同频率或在相同的频带中同时携带消息数据信息和同步信息。此外，通过乘法结合扩展信息表示型态与同步序列，即使不考虑数据内容，也能确保(例如，通过适当选择同步序列和/或扩展信息表示型态的值的幅度)结合的信息同步表示型态的值的强度是明确定义且是可预测的。因此，乘法结合扩展信息表示型态与同步序列的概念有利于将结合的信息同步表示型态的强度设置为可允许的最大值的可能性而不会可察觉地使有用信号的内容失真，其中，在该有用信号中引入了水印信号。总之，所描述的将扩展信息表示型态和同步序列乘法结合以获得结合的信息同步表示型态的概念允许使用因为无需时间分片而能被快速检测的连续同步，连续同步因为可以在宽频率范围上扩展而可以以高可靠性检测，并且因为可以进行乘法结合使得结合的信息-同步表示型态的值的能量不依赖于扩展信息表示型态的数据内容，因此连续同步相对于能量被很好地控制。
在优选实施方式中，信息扩展器被配置为根据比特扩展序列频率扩展二进制消息数据的比特，使得在扩展信息表示型态中，与多个不同频率(或频带)相关的一组时频域值与比特相关。在该情况下，同步序列包括多个同步扩展序列，同步扩展序列定义了在频率上扩展的多个不同同步图样。该实施方式允许将不同同步扩展序列应用于扩展信息表示型态的不同时间部分，使得不同同步扩展序列与二进制消息数据的不同比特的扩展表示乘法结
口 ο在优选实施方式中，同步插入器被配置为将扩展信息表示型态的不同时间部分(其表示二进制消息数据的不同比特)与不同的同步扩展序列乘法结合，使得不同是同步扩展序列与不同的比特扩展序列或给定的扩展序列的不同缩放版本结合。在优选实施方式中，同步插入器被配置为将扩展信息表示型态与同步扩展序列的周期序列乘法结合。在第一情况下，同步扩展序列的序列周期等于二进制消息(例如，提供比特块作为基于块的信道编码器的输出信息)的比特数。因此，可以做出消息的时间对准的唯一标识。在可选情况下，同步扩展序列的序列周期短于二进制消息的比特数。在该情况下，可以使用额外的机制来唯一地获得消息同步。在优选实施方式中，同步扩展序列被选择为正交。这改善了解码器侧获取同步的质量。在另一优选实施方式中，同步插入器被配置为将扩展信息表示型态的每个时间部分与至少一个同步序列乘法结合，使得结合的信息同步表示型态的每个时间部分都包括多个值，该多个值取决于二进制消息数据的一个比特并且还表示同步信息。因此，存在加速了解码器侧获取同步的连续同步信息。在优选实施方式中，信息扩展器被配置为将根据给定比特的值，将给定比特扩展到第一比特表示型态上，或者扩展到第二比特表示型态上，第一比特表示型态为比特扩展序列的正倍数，第二比特表示型态为比特扩展序列的负倍数。根据本发明的实施方式提供了用于根据加水印后的信号来提供二进制消息数据的水印解码器。水印解码器包括时频域表示型态提供器，被配置为提供加水印后的信号的时频域表示型态，例如，分析加水印后的信号的分析器或滤波器组。水印解码器还包括同步确定器，被配置为找到在加水印后的信号的时频域表示型态中的水印信息的时间对准。同步确定器被配置为计算时频域表示型态的值的第一子集、第一同步解扩序列的值、以及比特解扩序列的值之间的逐元素乘法的结果值的第一和，并且计算时频域表示型态的值的第二子集、第二同步解扩序列的值、以及比特解扩序列的值之间的逐元素乘法的结果值的第二和。同步确定器还被配置为将结果值的第一和的绝对值与结果值的第二和的绝对值相力口，以获得似然测量(likelihood measure,似然测度),该似然测量表示时频域表示型态的值的第一子集和第二子集携带同步信息的可能性，该同步信息与同步扩展序列时间对准。同步确定器还被配置为根据似然测量来确定同步。根据本发明的实施方式是基于如下在加水印后的信号中可以找到同步，S卩，关于加水印后的信号的时频域表示型态中的水印信息的时间对准的信息，其中，通过计算时频域表示型态的值的第一子集、第一同步解扩序列的值、以及比特解扩序列的值之间的逐元素乘法的结果值的第一和，计算时频域表示型态的值的第二子集、第二同步解扩序列的值、以及比特解扩序列的值之间的逐元素乘法的结果值的第二和，并将结果值的第一和的绝对值与结果值的第二和的绝对值相加，而独立于确定扩展信息表示型态的二进制消息数据，·将扩展信息表示型态与同步序列乘法结合。通过取结果值的第一和的绝对值与第二和的绝对值之和，可以计算所谓的非相干相关，如果找到同步，这将导致大相关值(甚至相关峰值)，而不依赖于扩展信息表示型态的值，其中，扩展信息表示型态与同步序列乘法结合，以获得包括在加水印后的信号中的结合的信息同步表示型态。换句话说，结果值的第一和的绝对值与结果值的第二和的绝对值的形成可以引起相关性，其包括时频域表示型态的值的第一子集、第一同步解扩序列的值、以及比特解扩序列的值之间的逐元素乘法以及时频域表示型态的值的第二子集、第二同步解扩序列的值、以及比特解扩序列的值之间的逐元素乘法，且不依赖于数据。因此，可以获得同步的可靠及不依赖于数据的检测。在优选实施方式中，时频域表示型态的值的第一子集包括与时频域表示型态的第一时间部分相关联的时频域表示型态的值，并且时频域表示型态的值的第二子集包括与时频域表示型态的第二时间部分相关联的时频域表示型态的值。此外，优选地，第一同步解扩序列和第二同步解扩序列正交。该实施方式通过使用包括不同时间部分下的正交同步的同步图样而能够实现彻底的检测同步。在优选实施方式中，同步确定器被配置为接收硬比特信息或软比特信息作为时频域表示型态。在该情况下，同步确定器被配置为将第一同步解扩序列(a)应用于值的第一子集以逆转第一同步嵌入操作，将第二同步解扩序列(b)应用于值的第二子集以逆转同步嵌入操作。此外，同步确定器还被配置为应用比特解扩序列(Cf)以逆转比特扩展操作。因此，同步确定器优选地被配置为逆转在编码器侧执行的比特扩展操作以及同步嵌入操作。在优选实施方式中，同步确定器被配置为关于时频域表示型态来计算第一子集和第二子集的多个位置选择的似然测量，以获得与第一子集和第二子集的不同位置选择相关联的一序列似然测量。同步确定器被配置为使一序列似然测量与基准序列相关联以确定同步瞬时干扰，或者用适于预期的一序列似然值的匹配滤波器过滤一序列似然测量，以确定同步瞬时干扰。通过使用一序列似然测量的相关性，或者通过用匹配滤波器过滤一序列似然测量，可以获得同步的提高了的准确度和/或同步瞬时干扰检测的提高了的可靠性。根据本发明的一些实施方式还提供了用于根据二进制消息数据提供水印信号的方法以及用于根据加水印后的信号提供二进制消息数据的方法。该方法还基于与上述设备相同的发现。根据本发明的一些实施方式还包括用于执行本发明的方法的计算机程序。
后续将参照附图来描述根据本发明的实施方式，在附图中图1示出了根据本发明实施方式的水印插入器的示意性框图；图2示出了根据本发明实施方式的水印解码器的示意性框图；图3示出了根据本发明实施方式的水印生成器的详细示意性框图；图4示出了用于本发明实施方式的调制器的详细示意性框图；图5示出了用于本发明实施方式的心理声学处理模块的详细示意性框图；图6示出了用于本发明实施方式的心理声学模块处理器的示意性框图；图7示出了由块801输出的音频信号的功率频谱在频率上的曲线表示；图8示出了由块802输出的音频信号的功率频谱在频率上的曲线表示；图9示出了幅度计算的示意性框图；图IOa示出了调制器的示意性框图；图1Ob示出了时间频率要求(time-frequency claim)的系数的位置的曲线表示；图1la和图Ilb示出了同步模块的实现替代方案的示意性框图；图12a示出了找到水印的时间对准的问题的曲线表示；图12b示出了识别消息开始的问题的曲线表示；图12c示出了同步序列在全消息同步模式中的时间对准的曲线表示；图12d示出了同步序列在部分消息同步模式中的时间对准的曲线表示；图12e示出了同步模块的输入数据的曲线表示；图12f示出了识别同步瞬时干扰(synchronization hit)的概念的曲线表示；图12g 不出了同步签名相关器(synchronization signature correlator)的不意性框图；图13a示出了用于时间解扩的实例的曲线表示；图13b示出了比特和扩展序列之间的逐元素(element-wise)乘法的实例的曲线表不;图13c示出了同步签名相关器在时间平均后的输出的曲线表示；图13d示出了用同步签名的自相关函数过滤的同步签名相关器的输出的曲线表示；图14示出了根据本发明实施方式的水印提取器的示意性框图；图15示出了选择时频域表示型态作为候选消息的示意表示；图16示出了分析模块的示意性框图；图17a不出了同步相关器的输出的曲线表不；图17b示出了解码消息的曲线表示；图17c示出了从加水印后的信号中提取的同步位置的曲线表示；图18a示出了有效载荷、具有Viterbi (维特比)终止序列的有效载荷、维特比编码的有效载荷、以及维特比编码有效载荷的重复编码版本的曲线表示；图18b示出了用于嵌入加水印后的信号的子载波的曲线表示；图19示出了非编码消息、编码消息、同步消息和水印信号的曲线表示，其中，同步序列应用于这些消息；图20示出了所谓的“ABC同步”概念的第一步的示意表示；图21示出了所谓的“ABC同步”概念的第二步的曲线表示；图22示出了所谓的“ABC同步”概念的第三步的曲线表示；图23示出了包括有效载荷和CRC部分的消息的曲线表示； 图24示出了根据本发明实施方式的水印生成器的示意性框图；图25示出了根据本发明实施方式的水印解码器的示意框图；图26示出了用于根据二进制消息数据来提供水印信号的方法的流程图；以及图27示出了根据加水印后的信号来提供二进制消息数据的方法的流程图。
具体实施例方式I.水印生成I. I根据图24的水印生成器以下，将参照图24描述水印生成器2400，图24示出了这种水印生成器的示意性框图。水印生成器2400被配置为接收二进制消息数据2410并基于此来提供水印信号2420。水印生成器包括信息扩展器2430，其被配置为接收例如二进制消息数据2410的比特的信息单位，并且将信息单位扩展到多个时频域值，以获得扩展信息2432。水印生成器2400还包括同步插入器2440，其被配置为接收扩展信息2432和同步序列2442并将扩展信息2432与同步序列2442乘法结合，以获得结合的信息同步表示型态2444。水印生成器2400还包括水印信号提供器2450，其被配置为基于结合的信息同步表示型态2444来提供水印信号2420。水印生成器2400可以由在以下的章节3中更详细描述的特征和功能来补充。I. 2根据图26的用于根据二进制消息数据来提供水印信号的方法以下，将参照图26说明根据二进制消息数据来提供水印信号的方法，图26示出了这种方法的流程图。图26的方法2600包括将信息单位(例如，比特)扩展到多个时频域值以获得扩展信息表示型态的步骤2610。该方法2600还包括将扩展信息表示型态与同步序列乘法结合以获得结合的信息同步表示型态的步骤2620。该方法2600还包括基于结合的信息同步表示型态来提供水印信号的步骤2630。自然地，方法2600可以由还相对于本发明的设备描述的任何特征和功能来补充。2.水印解码2. I根据图25的水印解码器以下，将参照图25描述水印解码器2500，图25示出了这种水印解码器的示意性框图。水印解码器2500被配置为根据加水印后的信号2510提供二进制消息数据2520。水印解码器2500包括时频域表示型态提供器，其被配置为提供加水印后的信号2510的时频域表示型态2532。时频域表示型态提供器2530例如可以包括时域到时频域变换器或滤波器组。水印解码器2500还包括同步确定器2540，其被配置为找到在加水印后的信号2510的时频域表示型态2532中的水印信息的时间对准。同步确定器2540被配置为计算时频域表示型态2532的值的第一子集、第一同步解扩序列的值、以及比特解扩序列的值之间的逐元素乘法的结果值的第一和，并且计算时频域表示型态的值的第二子集、第二同步解扩序列的值、以及比特解扩序列的值之间的逐元素乘法的结果值的第二和。同步确定器2540还被配置为将结果值的第一和的绝对值与结果值的第二和的绝对值相加，以获得似然测量，似然测量表示时频域表示型态的值的第一子集和第二子集携带同步信息的可能性，同步信息与同步扩展序列时间对准。同步确定器2540还被配置为根据似然测量来确定同步，并提供适当的同步信息2542。自然地，水印解码器2500可以由本文相对于水印解码所讨论的任何手段和功能来补充。 2. 2根据图27的用于根据加水印后的信号来提供二进制消息数据的方法以下，将参照图27描述根据水印信号来提供二进制消息数据的方法2700，图27示出了这种方法的流程图。方法2700包括提供水印信号的时频域表示型态的步骤2710。方法2700还包括找到在水印信号2510的时频域表示型态2532中的水印信息的时间对准的步骤2720。在水印信号的时频域表示型态中找到水印信息的时间对准的步骤2720包括子步骤2722，计算时频域表示型态的值的第一子集、第一同步解扩序列的值、以及比特解扩序列的值之间的逐元素乘法的结果值的第一和。步骤2720还包括子步骤2724，计算时频域表示型态的值的第二子集、第二同步解扩序列的值、以及比特解扩序列的值之间的逐元素乘法的结果值的第二和。步骤2720还包括子步骤2726，将结果值的第一和的绝对值与结果值的第二和的绝对值相加，以获得似然测量，似然测量表示时频域表示型态的值的第一子集和第二子集携带同步信息的可能性，同步信息与同步扩展序列时间对准。步骤2720还包括根据似然测量来确定同步的子步骤2728。自然地，方法2700可以由本文相对于水印解码所描述的任何特征或功能来补充。3.系统描述以下，将描述用于水印传输的系统，其包括水印插入器和水印解码器。自然地，水印插入器和水印解码器可以彼此独立地使用。对于系统的描述，这里选择了自顶向下方法。首先，区分编码器和解码器。然后，在章节3. I至3. 5中，详细地描述了每个处理块。在分别描述了编码器侧和解码器侧的图I和图2中可以看到系统的基本结构。图I示出了水印插入器100的示意性框图。在编码器侧，基于与心理声学处理模块102交换的信息104、105，根据二进制数据IOla在处理块101 (也被指定为水印生成器)中生成水印信号101b。从块102提供的信息通常保证水印是听不见的。然后，由水印生成器101生成的水印被添加到音频信号106。然后，可以传输、存储、或进一步处理加水印后的信号107。在例如音频视频文件的多媒体文件的情况下，需要将适当的延迟添加到视频流，以不失去音频视频同步。在多信道音频信号的情况下，如在该文献中说明的，单独处理每个信道。在章节3. I和3. 2中分别详细说明了处理块101 (水印生成器)和102 (心理声学处理模块)。在图2中描述了解码器侧，图2示出了水印解码器200的示意性框图。例如由麦克记录的水印音频信号200a被使得可用于系统200。还被指定为分析模块的第一块203在时间/频率域中解调并转换数据(例如，加水印后的音频信号)(从而获得水印音频信号200a的时频域表示型态204)，并将其传递到同步模块201，该同步模块分析输入信号204并执行时间同步，即，确定(例如，相对于时频域表示型态的编码水印数据的)编码数据的时间对准。该信息(例如，由此产生的同步信息205)被提供给对数据解码(并随后提供二进制数据202a，其表示水印音频信号200a的数据内容)的水印提取器202。
3. I水印生成器101图3中详细描述了水印生成器101。待隐藏在音频信号106中的二进制数据(表示为±1)被提供给水印生成器101。块301在等长度Mp的数据包中组织数据101a。出于信令的目的，向每个数据包添加(例如，附加)开销比特(overhead bit)。假设Ms表示其数量。在章节3. 5中将详细描述其使用。值得注意的是，在下文中，有效载荷比特连同信令开销比特的每个数据包均为表示的消息。长度为Nm=Ms+Mp的每个消息301a都被移交至处理块302，即，信道编码器，其负责对这些比特编码以用于防止误差。该模块的可能实施方式由卷积编码器(convolutionalencoder)连同交织器(interleaver)组成。卷积编码器的比率极大地影响水印系统防止误差的总程度。另一方面，交织器保护免受噪声突发。交织器的操作的范围可以限于一个消息，但其还可以延伸至多个消息。假设R。表示码比，例如，1/4。每个消息的编码比特数为Nm/R。。信道编码器例如提供编码的二进制消息302a。下一处理模块303在频域中执行扩展。为了实现足够大的信噪比的信号，在Nf个仔细选择的子带中扩展并传输信息(例如，二进制消息302a的信息)。一开始确定其在频率中的确切位置，并且这对于编码器和解码器都是已知的。在章节3. 2. 2中给出了该重要系统参数的选择的细节。由大小为NfX I的扩展序列Cf来确定频率的扩展。块303的输出303a由Nf个比特流组成，每个子带一个比特流。通过将输入比特与扩展序列Cf的第i个分量相乘来获得第i个比特流。最简单的扩展由将比特流复制到每个输出流，即，使用所有比特流的扩展序列来组成。也被指定为同步方案插入器的块304将同步信号添加到比特流。当解码器不知道比特或数据结构的时间对准(即，不知道每个消息何时开始)时，稳健同步是重要的。同步信号由每个都为Nf个比特的Ns个序列组成。这些序列为相乘的逐元素并周期性地与比特流(或比特流303a)相乘。例如，假设a、b和c是Ns=3个同步序列(也被指定为同步扩展序列)。块304将a乘以第一扩展比特，将b乘以第二扩展比特，并将c乘以第三扩展比特。对于以下的比特，定期地重复该过程，即，将a乘以第四比特，将b乘以第三比特等。因此，获得了结合的信息同步信息304a。仔细地选择同步序列(也被指定为同步扩展序列)，以使假同步的风险最小化。在章节3. 4中给出了更多细节。此外,应当注意的是,序列a、b、c···可以被看作是一序列同步扩展序列。块305在时域中执行扩展。输入端处的每个扩展比特(即，长度Nf的向量)在时域中重复Nt次。与频率下的扩展相类似，发明人定义了大小为NtX I的扩展序列ct。第i个时间重复与Ct的第i个分量相乘。块302至305的操作可以如下放在数学方面中。假设大小为IXNm=Re的m为302的编码消息、输出。块303的输出303a (可以被看作扩展信息表示型态R)为大小NfXNm/Rc 的 Cf · m(I)块304的输出304a (可以被看作结合信息同步表示型态C)为大小Nf XNnZRcS 〇(cf · m)(2)其中，〇表不Schur 逐兀素乘积(Schur element-wise product),并且S=大小 NfXNm/Rc 的[· · · a b c. · · a b. · · ](3)
305 的输出 305a 为大小NfXNt · Nm/Rc0cf(4)其中， 和T分别表示Kronecker乘积和转置。请记住，二进制数据被表示为±1。块306执行比特的差分编码。该步骤给出了抵抗由于移动或本地振荡器不匹配导致的相移的系统附加稳健性。在章节3. 3中给出了关于该问题的更多细节。如果b(i;j)是在块306的输入端处的第i个频带以及第j个时间块的比特，则输出比特bdiff(i ；j)为bdiff(i, j)=bdiff(i, j-1) · b(i, j)(5)在流开始时，S卩，对于j = O, bdiff(i，j-1)被设置为I。块307根据在其输入端给出的二进制信息306a执行实际调制，即，生成水印信号波。在图4中给出了更详细的图表。Nf个并行输入，S卩，401至40Nf包含不同子带的比特流。每个子带流的每个比特通过位成型块(411至41Nf)来处理。位成型块的输出为时域中的波形。如下计算基于输入比特1^ (1，j)针对第j个时间块和第i个子带生成的由sid(t)表示的波Sij j(t) = bdiff(i, j) y (i, j) · gi(t-j,Tb)(6)其中，y (i ；j)是由心理声学处理单元102提供的加权因子，Tb为比特时间间隔，gi(t)为第i个子带的比特形成函数(bit forming function)。根据用余弦在频率下调制
的基带函数//7(0来获得比特形成函数
(f) - it} (O · i'o.s{2 /,0(7)其中，fi为第i个子带的中心频率，并且标号T表示转置器。对于每个子带，基带函数可以不同。如果选择相同，则解码器处的更有效实现是可能的。更多细节参见章节3. 3。在由心理声学处理模块(102)控制的迭代处理中重复用于每个比特的比特成型。为了微调权重Y (i，j)以在保持水印不被听到的同时为水印分配尽可能多的能量，迭代是必要的。在章节3. 2中给出了更多细节。在第i个比特成型滤波器41i的输出端处的完整波为S r·1) = Σ 51)( 8 )尽管主要能量集中在比特间隔内，但对于远大于Tb的时间间隔，比特形成基带函数通常不为零。在图12中可以看出一个实例，在图12中，对于两个相邻的比特绘制了相同的比特形成基带函数。在附图中，使Tb=40ms。Tb的选择以及函数的形状都对系统有很大的影响。实际上，较长的符号提供了较窄的频率响应。这在回响环境中特别有益。实际上，在这种场景下，加水印后的信号经由多个传播路径到达麦克风，每个传播路径都以不同的传播时间为特征。所得到的信道表现出强频率选择性。在时域中进行解释，当具有可与比特间隔相比的延迟的回声产生建设性的干扰时，较长的符号是有益的，这意味着，回声增大了接收到信号的能量。尽管如此，较长的符号也有一些缺陷；较大的重叠可能导致符号间干扰(ISI)并且肯定更难以隐藏在音频信号中，使得心理声学处理模块将允许相比于较短的符号更少的能量。通过将比特形滤波器的所有输出相加获得水印信号Σ#)(9)
3. 2心理声学处理模块102如图5所示，心理声学处理模块102由3部分组成。第一级为将时间音频信号转换到时域/频域中的分析模块501。该分析模块可以在不同的时间/频率分辨率中执行并行分析。在分析模块之后，时间/频率数据被传输至心理声学模块(PAM)502，其中，根据心理声学的考虑来计算水印信号的掩蔽阈值(参见Ε. Zwicker H. Fasti, “PsychoacousticsFacts and models”)。该掩蔽阈值指示可以隐藏在用于每个子带和时间块的音频信号中的能量数。心理声学处理模块102中的最后一个块描绘了幅度计算模块503。该模块确定将在水印信号的生成中使用的幅度增益，使得满足掩蔽阈值，即，嵌入的能量小于等于由掩蔽阈值定义的能量。3. 2. I时间/频率分析501块501通过重叠变换来执行音频信号的时间/频率变换。当执行多个时间/频率分辨率时，可以实现最佳音频量。重叠变换的一个有效实施方式是基于窗口化时间块的快速傅立叶变换(FFT)的短时间傅立叶变换(STFT)。窗口长度决定时间/频率分辨率，使得较长的窗口产生较短的时间和较高的频率分辨率，而较短的窗口反之亦然。另一方面，在其他方面中，窗口的形状确定频率泄漏。对于所提出的系统，发明人通过分析具有两个不同分辨率的数据来实现听不到的水印。第一滤波器组(first filter bank)以Tb的跳距(B卩，比特长度)为特征。跳距是两个相邻时间块之间的时间间隔。窗口长度大约为Tb。请注意，窗口形状不必与用于比特成型的窗口形状相同，并且一般地，应当模拟人听觉系统。许多出版物研究了该问题。第二滤波器组应用较短的窗口。由于其时间结构一般比Tb更精细，当在语音中嵌入水印时，实现较高的时间分辨率特别重要。输入音频信号的采样率不重要，只要其足够大而不会走样的情况下描述水印信号。例如，如果水印信号中包含的最大频率分量为6kHz，则时间信号的采样率必须至少为12kHz ο3. 2. 2心理声学模块502心理声学模块502具有确定掩蔽阈值的任务，即，可以掩藏在每个子带和时间块的音频信号中的能量量，从而保持加水印的音频信号与原来的信号不可区分。在两个极限之间，即,/Mn)和/j1·)之间定义第i个子带。通过定义Nf个中心频率
、，，，，(maxi λ (min),,,,
fi 并使得对于 i=2，3，· · ·，Nf，y^ = J i。通过由 Zwicker 在 1961 年提出的 Bark scale来给出对中心频率的适当选择。子带对于越高的中心频率而变得越大，该系统的一种可能实现使用以适当方式排列的在I. 5kHz至6kHz范围内的9个子带。对于每个子带和每个时间块的每个时间/频率分辨率，可以单独执行以下的处理步骤。处理步骤801执行频谱平滑。实际上，需要平滑调素(tonal element)以及功率频谱中的缺口。这可以以多种方式来执行。可以计算音调测量，并然后用来驱动自适应平滑滤波器。可选地，在该块的较简单实现中，可以使用类似中值的滤波器。中值滤波器考虑了值的向量，并输出其中值。在中值滤波器中，可以选择对应于分位数差(different quantiIe)50%的值。在Hz中定义滤波器宽度并且被应用为在较低频率开始并在最高可能频率下结束的非线性活动平均。在图7中示出了 801的操作。红色曲线为该平滑的输出。—旦执行了平滑,则由仅考虑频率掩蔽(frequency masking)的块802来计算阈值。在该情况下，还有不同的可能性。一种方法是使用每个子带的最小值来计算掩蔽能量Ei0这是有效地操作掩蔽的信号的等效能量。根据该值，可以简单地乘以一定的比例因子，以获得掩蔽能量Λ。这些因子对于每个子带和时间/频率分辨率是不同的，并且经由经验心理声学实验来获得。在图8中示出了这些步骤。 在块805，考虑时间掩蔽。在该情况下，分析同一子带的不同时间块。根据经验得出的后掩蔽配置文件(postmasking profile)来修改掩蔽能量J\。发明人考虑两个相邻时间块，即，k - I和k。对应的掩蔽能量为Ji (k - I)和Ji (k)。例如，后掩蔽配置文件定义了掩蔽能量Ei可以在时间k时掩蔽能量Ji并在时间k+Ι时掩蔽α Ji能量。在该情况下，块805比较JiGO (由当前时间块掩蔽的能量)和a -Ji (k+1)(由前一时间块掩蔽的能量)，并选择最大值。后掩蔽配置文件可以在文献中找到并已经经由经验心理声学实验所获得。值得注意的是，对于大的Tb，S卩，>20ms，仅对具有较短时间窗口的时间/频率分辨率应用后掩蔽。总之，在块805的输出端处，具有针对两个不同的时间/频率分辨率所获得的每个子带和时间块的掩蔽阈值。已经通过考虑频率和时间掩蔽现象获得了阈值。在块806中，合并不同时间/频率分辨率的阈值。例如，一个可能的实现是，806考虑对应于其中分配了比特的时间和频率间隔的所有阈值，并选择最小值。3.2.3幅度计算块503参照图9，503的输入是执行来自所有心理声学刺激的计算的心理声学模块502的阈值505。在幅度计算器503中，执行与阈值的额外计算。首先，发生幅度映射901。该块仅将掩蔽阈值(通常被表示为能量)转换为可以用于缩放在章节3. I中定义的比特成型函数的幅度。之后，运行幅度自适应块(amplitude adaptation block) 902。该块迭代地自适应用于使水印生成器101中的比特成型函数增倍的幅度Y (i，j)，使得实际上满足掩蔽阈值。实际上，如已经讨论的，比特成型函数通常延伸长于Tb的时间间隔。因此，使满足点i、j处的掩蔽阈值增倍的正确幅度Y (i，j)不一定满足点i、j-l的要求。当预回声变得可以听到时，这在强起始点处特别重要。另一个需要避免的情形是不同比特尾部的不期望的叠力口，这将导致听得到的水印。因此，块902分析由水印生成器生成的信号，以检查是否已经满足了阈值。如果没有，则其相应地修改幅度Y(i，j)。这终结了编码器侧。以下的部分涉及在接收器(还被指定为水印解码器)执行的处
理步骤。
3.3分析模块203分析模块203是水印提取过程的第一级(或块)。其目的是将加水印后的音频信号200a转换回Nf个比特流 ,(/)(还被指定为204)，每个光谱频带i 一个比特流。如分别在章节3. 4和3. 5中描述的，这些进一步由同步模块201和水印提取器202处理。应注意的是，長(/)是软比特流，即，例如，它们可以取任何实际值并且尚未对比特做出硬性决定。分析模块由图16中示出的三个部分构成分析滤波器组1600、幅度标准化块1604、以及差分解码1608。3. 3. I分析滤波器组1600通过图IOa中详细示出的分析滤波器组1600来将加水印后的音频信号转换到时频域中。滤波器组的输入是接收的加水印后的音频信号Ht)。其输出是在时间瞬间j的第 i个分支或子带的复系数Vi78G) 些值含有关于在中心频率和时间j · Tb时的信号的幅度和相位的信息。滤波器组1600由Nf个分支构成，每个频谱子带i 一个分支。每个分支都被分成用于相位中分量的上子分支和用于子带i的正交分量的下子分支。尽管在水印生成器处的调制以及由此产生的加水印后的音频信号是纯粹实际值的，但需要在接收器处的信号的复杂值分析，这是因为，在接收器处不知道由信道和同步偏差引入的调制星座图(modulationconstellation)的旋转。在下文中，考虑滤波器组的第i个分支。通过将相位中和正交子
分支相结合，可以将复杂值基带信号定义为
hfFB(t) = r(t) · e_j2wJ)! * gf(t)
1 " (10)其中，*表示卷积，并且//尸( /.)是子带i的接收器低通滤波器的脉冲响应。通常，//P (/.)i (t)等于调制器307中的子带i的基带比特形成函数以满足匹配的滤波器条件，但其他脉冲响应也是可以的。为了获得比率为I=Tb的系数必须对连续的输出Vkb⑴进行采样。如果接收器知道比特的正确时序，用比率I=Tb进行采样将是足够的。然而，由于还不知道比特同步，因此用比率NtjsZtb执行采样，其中，Ntjs是分析滤波器组过采样系数。通过选择足够大的Ntjs (例如，1=4)，可以假设，至少一个采样周期与理想的比特同步足够接近。在同步处理期间做出关于最佳过采样层的决定，因此在此期间保持所有的过采样数据。在章节3. 4中详细描述了该处理。在第i个分支的输出处，具有系数⑷η .λ·，其中，j表示比特数或时刻，并且k表示单个比特中的过采样位置，其中，k=l ；2 N0so图IOb给出了时频平面上的系数位置的示例性概述。过采样系数是凡3=2。矩形的高度和宽度分别表示由对应系数幻表示的信号部分的带宽和时间间隔。如果将子带频率&选择为特定间隔Af的倍数，则可以使用快速傅立叶变换(FFT)来有效地实施分析滤波器组。3. 3. 2幅度标准化1604
不失一般性的且为了简化描述，在下文中，假设已知比特同步并且N^l。S卩，在正交化块1604具有复杂系数由于在接收器处没有信道状态信息可用(即，传播信道未知)，因此使用等增益合并(EGC)方案。由于时间和频率分散的信道，不仅在中心频率和时刻j附近发现发送比特bjj)的能量，在相邻的频率和时刻下也发现发送比特bi(j)的能量。因此，为了更精确的加权，计算频率fi±n Af下的额外系数并将其用于系数
的标准化。如果n=l，例如，则有
权利要求
1.一种用于根据二进制消息数据(ioia,m ;2410)提供水印信号(101b, Si (t) ;2420)的水印生成器(101，2400)，所述水印生成器包括 信息扩展器(303 ;2430)，被配置为将信息单位扩展到多个时频域值，以获得扩展信息表示型态(303a，cf m ；2432)； 同步插入器，被配置为将所述扩展信息表示型态(303a，cf m ；2432)与同步序列(S ；a,b，c ；2442)乘法结合，以获得结合的信息同步表示型态(304a，S O cf m ;2444);以及 水印信号提供器(305, 306, 307 ；2450),被配置为基于所述结合的信息同步表不型态(304a, S O cf m ；2444)来提供所述水印信号(101b，Si (t) ;2420)。
2.根据权利要求I所述的水印生成器，其中，所述信息扩展器被配置为根据比特扩展序列(a，b，c)来频率扩展所述二进制消息数据的一个比特，使得在所述扩展信息表示型态中，与多个不同频率相关联的一组时频域表示型态值与所述比特相关联；以及 其中，所述同步序列包括多个同步扩展序列(a，b，C)，所述同步扩展序列定义了在频率中扩展的多个同步图样。
3.根据权利要求2所述的水印生成器，其中，所述同步插入器被配置为将所述扩展信息表示型态的不同时间部分与不同的同步扩展序列(a，b，c)乘法结合，使得所述不同的同步扩展序列与不同的比特扩展序列相结合，或者与给定比特扩展序列的不同缩放版本相结合，其中，所述不同时间部分代表所述二进制消息数据的不同比特。
4.根据权利要求2或3所述的水印生成器，其中，所述同步插入器被配置为将所述扩展信息表示型态与同步扩展序列(a，b，c，a, b，c)的周期序列(S)乘法结合；以及 其中，所述同步扩展序列的序列周期等于二进制消息的比特数；或者 其中，所述同步扩展序列的序列周期短于所述二进制消息的所述比特数。
5.根据权利要求2至4中任一项所述的水印生成器，其中，所述同步扩展序列(a，b，c)被选择为彼此正交。
6.根据权利要求I至5中任一项所述的水印生成器，其中，所述同步插入器被配置为将所述扩展信息表示型态的每个时间部分与至少一个同步扩展序列(a，b，c)乘法结合，使得所述结合的信息同步表示型态的每个时间部分均包括取决于所述二进制消息数据的一个比特并且还表示同步信息的多个值。
7.根据权利要求I至6中任一项所述的水印生成器，其中，所述信息扩展器被配置为根据给定比特的值，将所述给定比特选择性地扩展到第一比特表示型态上，或者扩展到第二比特表示型态上，其中，所述第一比特表示型态为比特扩展序列(Cf)的正倍数，所述第二比特表示型态为所述比特扩展序列(Cf)的负倍数。
8.根据权利要求I至7中任一项所述的水印生成器，其中，所述信息扩展器被配置为根据R=Cf m来获得扩展信息表示型态R， 其中，Cf为表示频率扩展宽度Nf的比特扩展序列的大小为NfX I的向量； 其中，m为表示所述二进制消息数据的Nm。个比特的大小为IXNm。的向量，其中，所述比特的二进制值由具有不同符号的向量m的条目表示； 其中，所述同步插入器被配置为根据C=S〇R将所述扩展信息与同步序列S相结合，以获得所述结合的信息同步表示型态C， 其中，S表示代表一序列Nm。个同步扩展序列(a，b，c)的大小为NfXNnrc的矩阵；以及其中，〇表示Schur逐元素乘积。
9.根据权利要求I至8中任一项所述的水印生成器，其中，所述信息扩展器被配置为在第一扩展方向上扩展所述二进制消息数据的所述信息单位，并且其中，所述水印生成器被配置为在第二扩展方向上扩展所述结合的信息同步表示型态的信息单位。
10.根据权利要求I至9中任一项所述的水印生成器，其中，所述同步插入器被配置为将所述扩展信息表示型态与所述同步扩展序列逐元素地乘法结合，以获得所述结合的信息同步表示型态。
11.一种用于根据加水印后的信号(200a，r(t) ;2510)来提供二进制消息数据(202a，m ；2520)的水印解码器(200 ;2500)，所述水印解码器包括 时频域表示型态提供器(203 ;2530)，被配置为提供所述加水印后的信号的时频域表示型态(204 ；2532);以及 同步确定器(201 ;2540)，被配置为找到在所述加水印后的信号的所述时频域表示型态中的水印信息的时间对准； 其中，所述同步确定器被配置为计算所述时频域表示型态的值的第一子集(1301aa)、第一同步解扩序列(a)的值、以及比特解扩序列(Cf)的值之间的逐元素乘法的结果值的第一和，并且计算所述时频域表示型态的值的第二子集(1301ab)、第二同步解扩序列(b)的值、以及比特解扩序列(Cf)的值之间的逐元素乘法的结果值的第二和，以及 所述同步确定器被配置为将所述结果值的第一和(1303aa)的绝对值与所述结果值的第二和(1303ab)的绝对值相加，以获得似然测量，所述似然测量表示所述时频域表示型态的值的所述第一子集和所述第二子集携带同步信息的可能性，所述同步信息与所述同步扩展序列是时间对准的；以及 其中，所述同步确定器被配置为根据所述似然测量来确定同步。
12.根据权利要求11所述的水印解码器，其中，所述时频域表示型态的值的所述第一子集包括与所述时频域表示型态的第一时间部分相关联的所述时频域表示型态的值，以及 其中，所述时频域表示型态的值的所述第二子集包括与所述时频域表示型态的第二时间部分相关联的所述时频域表示型态的值， 其中，所述第一同步解扩序列(a)和所述第二同步解扩序列(b)是正交的。
13.根据权利要求11或12所述的水印解码器，其中，所述同步确定器被配置为接收硬比特信息或软比特信息(^i(J))作为所述时频域表示型态；以及 其中，所述同步确定器被配置为将所述第一同步解扩序列(a)应用于值的所述第一子集以逆转第一同步嵌入操作，将所述第二同步解扩序列(b)应用于值的所述第二子集以逆转同步嵌入操作，并且应用所述比特解扩序列(Cf)以逆转比特扩展操作。
14.根据权利要求11至13中任一项所述的水印解码器，其中，所述同步确定器被配置为关于所述时频域表示型态来计算所述第一子集和所述第二子集的多个位置选择的似然测量，以获得与所述第一子集和所述第二子集的不同位置选择相关联的一序列似然测量；以及 其中，所述同步确定器被配置为使所述一序列似然测量与基准序列相关联以确定同步瞬时干扰，或者通过适于预期的一序列似然值的匹配滤波器来过滤所述一序列似然测量，以确定同步瞬时干扰。
15.根据权利要求11至14中任一项所述的水印解码器，其中，所述同步确定器被配置为执行时间解扩，以获得所述时频域表示型态。
16.根据权利要求11至15中任一项所述的水印解码器，其中，所述同步确定器被配置为使用多个候选同步点对消息解码，并且其中，所述同步确定器被配置为估计在解码的数据中是否存在预期的信令字，以从所述多个候选同步点中选择正确的同步点。
17.根据权利要求11至15中任一项所述的水印解码器，其中，所述同步确定器被配置为使用多个候选同步点对消息解码，并且其中，所述同步确定器被配置为执行合理性检查，以从所述多个候选同步点中选择正确的同步点。
18.一种用于根据二进制消息数据提供水印信号的方法，所述方法包括 将信息单位扩展到多个时频域值以获得扩展信息表示型态； 将所述扩展信息表示型态与同步序列(a，b，c)乘法结合，以获得结合的信息同步表示型态；以及 基于所述结合的信息同步表示型态提供所述水印信号。
19.一种用于根据加水印后的信号提供二进制消息数据的方法，所述方法包括 提供所述加水印后的信号的时频域表示型态；以及 找到在所述加水印后的信号的所述时频域表示型态中的水印信息的时间对准， 其中，找到所述水印信息的所述时间对准包括 计算所述时频域表示型态的值的第一子集、第一同步解扩序列(a)的值、以及比特解扩序列(Cf)的值之间的逐元素乘法的结果值的第一和； 计算所述时频域表示型态的值的第二子集、第二同步解扩序列(b)的值、以及比特解扩序列(cf)的值之间的逐元素乘法的结果值的第二和； 将所述结果值的第一和的绝对值与所述结果值的第二和的绝对值相加，以获得似然测量，所述似然测量表示所述时频域表示型态的值的所述第一子集和所述第二子集携带同步信息的可能性，所述同步信息与所述同步扩展序列(a，b，c)是时间对准的；以及根据所述似然测量来确定同步。
20.一种计算机程序，用于在计算机上运行时执行根据权利要求18或19所述的方法。
21.一种用于根据二进制消息数据(101a，m;2410)提供水印信号(101b，Si (t) ；2420)的水印生成器(101 ;2400)，所述水印生成器包括 信息扩展器(303 ;2430)，被配置为将所述二进制消息数据的信息单位扩展到多个时频域值，以获得扩展信息表示型态(303a，cf m ；2432)； 同步插入器，被配置为将所述扩展信息表示型态(303a，cf m ;2432)和同步扩展序列(S ；a, b，c ；2442)乘法结合，以获得结合的信息同步表示型态(304a，S O cf m ；2444)；以及 水印信号提供器(305, 306, 307 ；2450),被配置为基于所述结合的信息同步表不型态(304a, S O cf m ；2444)提供所述水印信号(101b，Si (t) ；2420)； 其中，所述信息扩展器被配置为根据给定比特的值将所述给定比特选择性地扩展到所述第一比特表示型态上，或者扩展到所述第二比特表示型态上，所述第一比特表示型态为比特扩展序列(Cf)的正倍数，所述第二比特表示型态为所述比特扩展序列(Cf)的负倍数。其中，所述信息扩展器被配置为根据R=Cf m获得所述扩展信息表示型态R 其中，Cf为表示频率扩展宽度Nf的比特扩展序列的大小为NfX I的向量； 其中，m为表示所述二进制消息数据的Nm。个比特的大小为IXNm。的向量，其中，所述比特的二进制值由具有不同符号的向量m的条目表示； 其中，所述同步插入器被配置为根据C=S O R结合所述扩展信息与同步序列S，以获得所述结合的信息同步表示型态C， 其中，S表示代表一序列Nm。个同步扩展序列(a，b，c)的大小为NfXNnrc的矩阵；以及 其中，〇表示Schur逐元素乘积。
全文摘要
一种用于根据二进制消息数据(2410)提供水印信号(2420)的水印生成器(2400)，水印生成器包括信息扩展器(2430)，被配置为将信息单位扩展至多个时频域值，以获得扩展信息表示型态(2432)。水印生成器还包括同步插入器，被配置为将扩展信息表示型态(2432)与同步序列(2442)乘法结合，以获得结合的信息同步表示型态(304a，S○cf◆m；2444)。水印生成器还包括水印信号提供器(2450)，被配置为基于结合的信息同步表示型态(2444)来提供水印信号(2420)。本发明还描述了水印解码器、方法、以及计算机程序。
文档编号G10L19/00GK102884571SQ201180020760
公开日2013年1月16日 申请日期2011年2月25日 优先权日2010年2月26日
发明者斯特凡·瓦布尼克, 赖因哈德·兹茨曼, 托比亚斯·布利姆, 伯特·格文博希, 伯恩哈德·格里, 恩斯特·埃伯莱因, 乔瓦尼·德尔加尔多, 马尔科·布雷林, 斯特凡·克雷格洛, 尤利娅内·博尔苏姆, 约尔格·皮克尔 申请人:弗兰霍菲尔运输应用研究公司