水印信号提供器以及用于提供水印信号的方法

专利名称：水印信号提供器以及用于提供水印信号的方法
技术领域：
根据本发明的实施方式涉及用于根据水印数据的时频域表示来提供水印信号的水印信号提供器。其他实施方式涉及用于根据水印数据的时频域表示来提供水印信号的方法。根据本发明的一些实施方式涉及稳健的低复杂度的音频水印系统。
背景技术：
在许多技术应用中，需要在表示有用数据或“主数据”(例如，音频信号、视频信号、图形、测量量等)等的信息或信号中包括附加信息。在许多情况下，需要包括附加数据，使得附加数据以不被该数据的用户感知的方式结合到主数据(例如，音频数据、视频数据、静态图像数据、测量数据、文本数据等)。此外，在一些情况下，需要包括附加数据，使得附加数据 不能容易地从主要数据(例如，音频数据、视频数据、静态图像数据、测量数据等)中去除。在需要实施数字权利管理的应用中，尤其如此。然而，有时只是需要在有用数据中添加实质上不可感知的边信息(side information)。例如,在一些情况下,理想的是将边信息添加到音频数据，使得边信息提供关于音频数据源、音频数据的内容、与音频数据相关的权利等的信息。为了将附加数据嵌入到有用数据或“主数据”中，可以使用所谓的“水印”的概念。在例如音频数据、静态图像数据、视频数据、文本数据等的多种不同的有用数据的文献中，已经讨论了水印概念。在下文中，将给出其中讨论了水印概念的一些参考。然而，为了获得更详细的信息，读者还应关注与水印相关的宽领域的文本文献以及应用。DE 196 40 814 C2描述了一种用于将非可听数据信号(non-audible datasignal)引入到音频信号中的编码方法以及用于对以非可听形式包括在音频信号中的数据信号进行解码的方法。用于将非可听数据信号引入到音频信号中的编码方法包括将音频信号转换为频谱域。编码方法还包括确定音频信号的掩蔽阈值和伪噪声信号的供应。编码方法还包括提供数据信号并将伪噪声信号和该数据信号相乘，以获得频分数据信号。编码方法还包括将频分数据信号和掩蔽阈值加权并将音频信号和加权的数据信号叠加。另外，WO 93/07689描述了用于通过向节目的声音信号添加听不见的编码消息，自动识别由电台或电视频道广播或者记录在介质上的节目的方法和设备，其中，上述消息识别广播频道或电台、节目和/或提取日期。在该文献描述的实施方式中，将由模拟数字转换器将声音信号传输至数据处理器，该数据处理器能够分离频率分量，并使得能够以预定方式改变一些频率分量中的能量以形成编码的识别消息。数据处理器的输出通过数字模拟转换器连接至音频输出端，用于广播或记录声音信号。在该文献描述的另一实施方式中，采用模拟带通，以从声音信号分离频率带，使得可以这样改变分离的频率带中的能量以对声音
号编码。US 5，450，490描述了用于在声音信号中包括具有至少一个码频率分量的码的设备和方法。评估音频信号中各频率分量屏蔽人类听觉的码频率分量的能力，并且基于这些评估，为码频率分量分配幅度。还描述了用于检测编码的音频信号中的码的方法和设备。基于预期码幅度或包括码分量的频率的音频频率范围中的噪声幅度，检测编码的音频信号中的码频率分量。WO 94/11989描述了用于编码/解码广播或记录的片段并监控其观众接触率的方法和设别。描述了用于将广播或记录的片段信号中的信息编码和解码的方法和设备。在文献描述的实施方式中，观众监控系统使用扩频编码将广播或记录的片段的音频信号部分中的标识信息编码。监控装置经由麦克接收广播或记录的信号的声学再生版本，将标识信息从音频信号部分解码而不管显著的环境噪声并存储该信息，自动提供该观众的日志，该日志随后将被上传到中心装置。单独的监控装置将另外的信息从广播信号解码，其与中心装置的观众日志信息匹配。该监控器可以使用拨号电话线同时向中心装置发送数据，并通过使用扩频技术编码并用来自第三方的广播信号调制的信号从中心装置接收数据。WO 95/27349描述了用于在音频信号中包括码并解码的设备和方法。描述了用于在音频信号中包括具有至少一个码频率分量的码的设备和方法。评估音频信号中各频率分 量屏蔽人类听觉的码频率分量的能力，并且基于这些评估，为码频率分量分配幅度。还描述了用于检测编码的音频信号中的码的方法和设备。基于预期码幅度或包括码分量的频率的音频频率范围中的噪声幅度，检测编码的音频信号中的码频率分量。然而，在已知水印系统中，水印信号基于多个时域相邻的波形，其中，因为需要将水印信号保持不可听到，因此该波形的最大能量是有限的。但是波形以及水印信号的低能量导致了对水印信号的检测更困难，并且可能导致比特错误以及水印信号的低鲁棒性。鉴于该情况，本发明的目的在于提供一种用于提供水印信号的概念，其允许在接收器侧更容易地将水印信号解码。

发明内容
该目的是通过根据权利要求I的水印信号提供器、根据权利要求10的用于提供水印信号的方法、以及根据权利要求11的计算机程序来实现的。根据本发明的实施方式创建了一种用于根据水印数据的时频域表示型态型态来提供水印信号的水印信号提供器。时频域表示型态包括与频率子带和比特间隔相关联的值。水印信号提供器包括时频域波形提供器和时域波形组合器。时频域波形提供器被配置为将时频域表示型态的给定值映射到比特成型函数上。比特成型函数的时间延伸长于与时频域表示型态的给定值相关联的比特间隔，使得在针对同一频率子带的时频域表示型态的时间上连续的值所提供的比特成型函数之间存在时间重叠。时频域波形提供器进一步被配置为使得给定频率子带的时域波形含有针对同一频带的时频域表示型态的时间上连续的值所提供的多个比特成型函数。时域波形组合器被配置为组合针对时频域波形提供器的多个频率所提供的波形，以获取水印信号。本发明的关键思想在于，不仅使水印数据的表示型态的二进制值(例如，同一频率子带和后续比特间隔的二进制值)相关，还使与该值对应的比特成型函数彼此相关。这样，增加了加水印后的信号的冗余，这允许在接收器侧更容易地解码，而不会增大水印信号的能量。此外，还增大了水印信号的鲁棒性。
在实施方式中通过比特成型函数实现了该比特成型函数的相关，其中，比特成型函数的时间延伸长于时频域表示型态的对应值的比特时间。因此，相比于用于传统水印系统的解码器，可以使得接收器侧的水印信号的解码器更容易且较不复杂。此外，特别是在噪声环境下，可以增大从获得的信号中获得正确的水印信息的机会。水印数据的时频域表示型态的值可以是二进制值，其中，一个值对应于频率子带和比特间隔。在实施方式中，时频域 波形提供器被配置为为时频域表示型态的每个值提供比特成型函数，其中，时频域波形提供器被配置为使得同一频带的相邻值的比特成型函数重叠，由此实现了相邻值的比特成型函数的相关性。在实施方式中，时频域波形提供器可以被配置为使得针对时频域表示型态的给定值提供的比特成型函数与同一频率子带的类似于时频域表示型态的给定值的时间上在前的值的比特成型函数相重叠，以及与同一频率子带的时频域表示型态的给定值的时间上在后的值的比特成型函数相重叠，使得由时频域波形提供器提供的时域波形在同一频率子带的至少三个时间上连续的比特成型函数之间含有重叠。换句话说，给定频率子带的时域波形至少基于对应于给定频率子带和给定时间间隔的第一值的第一比特成型函数、对应于给定频率子带和时间上在前的时间间隔的第二值的第二比特成型函数、对应于给定频率子带和时间上在后的时间间隔的第三值的第三比特成型函数，而在给定的比特间隔中。在实施方式中，比特成型函数的时间延伸可以是时间范围，其中，比特成型函数包括非零值。此外，包括非零值的比特成型函数的时间范围可以至少是三个比特间隔长。比特成型函数可以称为比特形成函数并且可以对于水印数据的时频域表示型态的每个频率子带不同。因此，实现了不同频率子带的不同滤波(比特成型)。在实施方式中，比特成型函数可以基于幅度调制的周期信号。幅度调制的周期信号的幅度调制可以基于基带函数。比特成型函数的时间延伸可以基于基带函数。因此，基带函数的时间延伸(其中基带函数不含有零值)长于比特间隔。基带函数对于水印数据的时频域表示型态的同一频带的值可以相同。在实施方式中，基带函数对于时频域表示型态的多个或全部频率子带相同。换句话说，基带函数对于时频域表示型态的多个值或全部值可以相同。如果基带函数对于每个子带都相同，则在解码器侧更有效的实施是可能的。在实施方式中，比特成型函数的幅度调制因子可以是时域基带函数，例如，如同滤波器函数。基带函数对于水印数据的时频域表示型态的同一频带的值相同。在实施方式中，给定频率子带的比特成型函数的周期部分可以基于余弦函数，基于是给定频率子带的中心频率的频率。在实施方式中，水印信号提供器进一步包括权重调谐器，例如，心理声学处理模块，其被配置为针对水印数据的时域表示型态的每个值来调谐每个比特成型函数的权重(以及幅度)。权重调谐器可以被配置为就水印信号的不可听性而言，使给定值的比特成型函数的能量最大化。换句话说，权重调谐器可以被配置为微调权重，以在保持水印信号不可听到的同时为其分配尽可能多的能量。在实施方式中，权重调谐器可以配置为在由权重调谐器控制的迭代处理中调谐权重。因此，权重调谐器可以调节从时频域波形提供器提供的每个比特成型函数，使得每个比特成型函数具有最大能量(但是当然保持不可闻)并且这对于解码器侧的检测而言更好。在实施方式中，给定频率子带的时域波形是给定频率子带的所有比特成型函数之和。在实施方式中，水印信号是针对多个频率子带所提供的波形之和。根据本发明的一些实施方式还创建了用于根据水印数据的时频域表示型态来提供水印信号的方法。该方法基于与上述设备相同的发现。根据本发明的一些实施方式包括用于执行本发明的方法的计算机程序。


后续将参照附图来描述根据本发明的实施方式，在附图中 图I示出了根据本发明实施方式的水印插入器的示意性框图；图2示出了根据本发明实施方式的水印解码器的示意性框图；图3示出了根据本发明实施方式的水印生成器的详细示意性框图；图4示出了用于本发明实施方式的调制器的详细示意性框图；图5示出了用于本发明实施方式的心理声学处理模块的详细示意性框图；图6示出了用于本发明实施方式的心理声学模块处理器的示意性框图；图7示出了由块801输出的音频信号的功率频谱在频率上的曲线表示；图8示出了由块802输出的音频信号的功率频谱在频率上的曲线表示；图9示出了幅度计算的示意性框图；图IOa示出了调制器的示意性框图；图IOb示出了时间频率要求(time-frequency claim)的系数的位置的曲线表示；图Ila和图Ilb示出了同步模块的实现替代方案的示意性框图；图12a示出了找到水印的时间对准的问题的曲线表示；图12b示出了识别消息开始的问题的曲线表示；图12c示出了同步序列在全消息同步模式中的时间对准的曲线表示；图12d示出了同步序列在部分消息同步模式中的时间对准的曲线表示；图12e示出了同步模块的输入数据的曲线表示；图12f示出了识别同步瞬时干扰(synchronization hit)的概念的曲线表示；图12g 不出了同步签名相关器(synchronization signature correlator)的不意性框图；图13a示出了用于时间解扩的实例的曲线表示；图13b示出了比特和扩展序列之间的逐元素(element-wise)相乘的实例的曲线表不;图13c示出了同步签名相关器在时间平均后的输出的曲线表示；图13d示出了用同步签名的自相关函数过滤的同步签名相关器的输出的曲线表示；图14示出了根据本发明实施方式的水印提取器的示意性框图；图15示出了选择时频域表示型态作为候选消息的示意表示；
图16示出了分析模块的示意性框图；图17a示出了同步相关器的输出的曲线表示；图17b示出了解码消息的曲线表示；图17c示出了从加水印后的信号中提取的同步位置的曲线表示；图18a示出了有效载荷、具有Viterbi (维特比)终止序列的有效载荷、维特比编码的有效载荷、以及维特比编码有效载荷的重复编码版本的曲线表示；图18b示出了用于嵌入加水印后的信号的子载波的曲线表示；
图19示出了非编码消息、编码消息、同步消息和水印信号的曲线表示，其中，同步序列应用于这些消息；图20示出了所谓的“ABC同步”概念的第一步的示意表示；图21示出了所谓的“ABC同步”概念的第二步的曲线表示；图22示出了所谓的“ABC同步”概念的第三步的曲线表示；图23示出了包括有效载荷和CRC部分的消息的曲线表示；图24示出了根据本发明实施方式的水印信号提供器的示意性框图；以及图25示出了根据本发明实施方式的用于根据时频域表示型态来提供水印信号的方法的流程图。
具体实施例方式I.水印信号提供器以下，将参照图24描述水印信号提供器2400，图24示出了这种水印信号提供器的生意框图。水印信号提供器2400被配置为接收水印数据作为在输入端处的时域频率表示型态2410，并且基于此在输出端处提供水印信号2420。水印生成器2400包括时频域波形提供器2430和时频域波形组合器2460。时频域波形提供器2430被配置为基于水印数据的时频域表示型态2410，为多个频率子带提供时域波形2440。时频域波形提供器2430被配置为将时频域表示型态2410的给定值映射到比特成型函数2450上。比特成型函数2450的时间延伸长于与时频域表示型态2410的给定值相关联的比特间隔，使得在针对同一频率子带的时频域表示型态2410的时间上连续的值所提供的比特成型函数之间存在时间重叠。时频域波形提供器2430进一步被配置为使得给定频率子带的时域波形2440含有针对同一频率子带的时频域表示型态2410的时间上连续的值所提供的多个比特成型函数。时域波形组合器2460被配置为组合针对时频域波形提供器2430的多个频率所提供的波形2440，以获取水印信号2420。根据实施实施方式，时频域波形提供器2430可以包括多个比特成型块，它们被配置为将水印数据的时频域表示型态2410的给定值映射到比特成型函数2450上，因此，比特成型块的输出为时域中的比特成型函数或波形。时频域波形提供器2430可以包括与水印数据的时频域表示型态中的频率子带一样多的比特成型块。根据另一实施方式，水印信号提供器2400可以包括权重调谐器。该权重调谐器还可以被称为心理声学处理模块。权重调谐器可以被配置为调谐对应于水印数据的时频域表示型态2410的值的比特成型函数的权重或幅度。可以调谐比特成型函数的权重，使得为比特成型函数分配尽可能多的能量，但水印信号2420仍然保持不可听到。权重调谐器可以在迭代处理中为对应于时频域表示型态2410的每个比特成型函数调谐权重。因此可以改变不同比特成型函数的权重。2.提供水印信号的方法图25示出了用于根据水印数据的时频域表示型态来提供水印信号的方法2500。方法2500包括第一步骤2510，基于水印数据的时频域表示型态，通过将时频域表示型态的给定值映射到比特成型函数上，来为多个频率子带提供时域波形，其中，比特成型函数的时间延伸长于与时频域表示型态的给定值相关联的比特间隔，使得在针对同一频率子带的时频域表示型态的时间上连续的值所提供的比特成型函数之间存在时间重叠。给定频率子带的时域波形含有针对同一频率子带的时频域表示型态的时间上连续的值所提供的多个比特成型函数。
方法2500还包括步骤2520，用于组合针对多个频率提供的波形，以获取水印信号。水印信号例如可以是针对多个频率所提供的波形之和。可选地，方法2500可以包括对应于上述设备的特征的其他步骤。3.系统描沭以下，将描述用于水印传输的系统，其包括水印插入器和水印解码器。自然地，水印插入器和水印解码器可以彼此独立地使用。对于系统的描述，这里选择了自顶向下方法。首先，区分编码器和解码器。然后，在章节3. I至3. 5中，详细地描述了每个处理块。在分别描述了编码器侧和解码器侧的图I和图2中可以看到系统的基本结构。图I示出了水印插入器100的示意性框图。在编码器侧，基于与心理声学处理模块102交换的信息104、105，根据二进制数据IOla在处理块101 (也被指定为水印生成器)中生成水印信号101b。从块102提供的信息通常保证水印是听不见的。然后，由水印生成器101生成的水印被添加到音频信号106。然后，可以传输、存储、或进一步处理加水印后的信号107。在例如音频视频文件的多媒体文件的情况下，需要将适当的延迟添加到视频流，以不失去音频视频同步。在多信道音频信号的情况下，如在该文献中说明的，单独处理每个信道。在章节3. I和3. 2中分别详细说明了处理块101 (水印生成器)和102 (心理声学处理模块)。在图2中描述了解码器侧，图2示出了水印解码器200的示意性框图。例如由麦克记录的水印音频信号200a被使得可用于系统200。还被指定为分析模块的第一块203在时间/频率域中解调并转换数据(例如，加水印后的音频信号)(从而获得水印音频信号200a的时频域表示型态204)，并将其传递到同步模块201，该同步模块分析输入信号204并执行时间同步，即，确定(例如，相对于时频域表示型态的编码水印数据的)编码数据的时间对准。该信息(例如，由此产生的同步信息205)被提供给对数据解码(并随后提供二进制数据202a，其表示水印音频信号200a的数据内容)的水印提取器202。3. I水印生成器101图3中详细描述了水印生成器101。待隐藏在音频信号106中的二进制数据(表示为±1)被提供给水印生成器101。块301在等长度Mp的数据包中组织数据101a。出于信令的目的，向每个数据包添加(例如，附加)开销比特(overhead bit)。假设Ms表示其数量。在章节3. 5中将详细描述其使用。值得注意的是，在下文中，有效载荷比特连同信令开销比特的每个数据包均为表示的消息。长度为Nm=Ms+Mp的每个消息301a都被移交至处理块302，即，信道编码器，其负责对这些比特编码以用于防止误差。该模块的可能实施方式由卷积编码器(convolutionalencoder)连同交织器(interleaver)组成。卷积编码器的比率极大地影响水印系统防止误差的总程度。另一方面，交织器保护免受噪声突发。交织器的操作的范围可以限于一个消息，但其还可以延伸至多个消息。假设R。表示码比，例如，1/4。每个消息的编码比特数为Nm/R。。信道编码器例如提供编码的二进制消息302a。下一处理模块303在频域中执行扩展。为了实现足够大的信噪比的信号，在Nf个仔细选择的子带中扩展并传输信息(例如，二进制消息302a的信息)。一开始确定其在频率中的确切位置，并且这对于编码器和解码器都是已知的。在章节3. 2. 2中给出了该重要系统参数的选择的细节。由大小为NfX I的扩展序列Cf来确定频率的扩展。块303的输出303a由Nf个比特流组成，每个子带一个比特流。通过将输入比特 与扩展序列Cf的第i个分量相乘来获得第i个比特流。最简单的扩展由将比特流复制到每个输出流，即，使用所有比特流的扩展序列来组成。也被指定为同步方案插入器的块304将同步信号添加到比特流。当解码器不知道比特或数据结构的时间对准(即，不知道每个消息何时开始)时，稳健同步是重要的。同步信号由每个都为Nf个比特的Ns个序列组成。这些序列为相乘的逐元素并周期性地与比特流(或比特流303a)相乘。例如，假设a、b和c是Ns=3个同步序列(也被指定为同步扩展序列)。块304将a乘以第一扩展比特，将b乘以第二扩展比特，并将c乘以第三扩展比特。对于以下的比特，定期地重复该过程，即，将a乘以第四比特，将b乘以第三比特等。因此，获得了结合的信息同步信息304a。仔细地选择同步序列(也被指定为同步扩展序列)，以使假同步的风险最小化。在章节3. 4中给出了更多细节。此外,应当注意的是,序列a、b、c···可以被看作是一序列同步扩展序列。块305在时域中执行扩展。输入端处的每个扩展比特(即，长度Nf的向量)在时域中重复Nt次。与频率下的扩展相类似，发明人定义了大小为NtX I的扩展序列ct。第i个时间重复与ct的第i个分量相乘。块302至305的操作可以如下放在数学方面中。假设大小为IXN111=Re的m为302的编码消息、输出。块303的输出303a (可以被看作扩展信息表示型态R)为大小NfXNnZRc 的 Cf · m(I)块304的输出304a (可以被看作结合信息同步表示型态C)为大小Nf XNnZRc 的 S ο (Cf · m)(2)其中，ο表不 Schur 逐兀素乘积(Schur element-wise product),并且S=大小 NfXNnZRc 的[· · · a b c. · · a b. · · ] (3)305 的输出 3O5a 为
大小ArfXNf Nm / Εβ] “Wc/. mj) Ocf( 4 )其中， 和T分别表示Kronecker乘积和转置。请记住，二进制数据被表示为±1。块306执行比特的差分编码。该步骤给出了抵抗由于移动或本地振荡器不匹配导致的相移的系统附加稳健性。在章节3. 3中给出了关于该问题的更多细节。如果b(i ；j)是在块306的输入端处的第i个频率带以及第j个时间块的比特，则输出比特bdiff (i ；j)为bdiff(i, j)=bdiff(i, j-1) · b(i, j)(5)在流开始时，即，对于j = O, bdiff (i，j - I)被设置为I。块307根据在其输入端给出的二进制信息306a执行实际调制，即，生成水印信号波。在图4中给出了更详细的图表。Nf个并行输入，S卩，401至40Nf包含不同子带的比特流。每个子带流的每个比特通过位成型块(411至41Nf)来处理。位成型块的输出为时域中的波形。如下计算基于输入比特1^ (1，j)针对第j个时间块和第i个子带生成的由sid(t)表示的波 Si, j(t)=bdiff (i, j) Y (i, j) · gjt-j, Tb)(6)其中，y (i ；j)是由心理声学处理单元102提供的加权因子，Tb为比特时间间隔，gi(t)为第i个子带的比特形成函数(bit forming function)。根据用余弦在频率下调制的基带函数O来获得比特形成函数 < ^( ) /// (O . 2-Ji f)(7)其中，&为第i个子带的中心频率，并且标号T表示转置符。对于每个子带，基带函数可以不同。如果选择相同，则解码器处的更有效实现是可能的。更多细节参见章节3. 3。在由心理声学处理模块(102)控制的迭代处理中重复用于每个比特的比特成型。为了微调权重Y (i，j)以在保持水印不被听到的同时为水印分配尽可能多的能量，迭代是必要的。在章节3. 2中给出了更多细节。在第i个比特成型滤波器41i的输出端处的完整波为= ⑴ (8)
J尽管主要能量集中在比特间隔内，但对于远大于Tb的时间间隔，比特形成基带函
数通常不为零。在图12中可以看出一个实例，在图12中，对于两个相邻的比特绘制
了相同的比特形成基带函数。在附图中，使Tb=40ms。Tb的选择以及函数的形状都对系统有很大的影响。实际上，较长的符号提供了较窄的频率响应。这在回响环境中特别有益。实际上，在这种场景下，加水印后的信号经由多个传播路径到达麦克风，每个传播路径都以不同的传播时间为特征。所得到的信道表现出强频率选择性。在时域中进行解释，当具有可与比特间隔相比的延迟的回声产生建设性的干扰时，较长的符号是有益的，这意味着，回声增大了接收到信号的能量。尽管如此，较长的符号也有一些缺陷；较大的重叠可能导致符号间干扰(ISI)并且肯定更难以隐藏在音频信号中，使得心理声学处理模块将允许相比于较短的符号更少的能量。通过将比特形滤波器的所有输出相加获得水印信号Hsfi)(9)3.2心理声学处理模块102如图5所不,心理声学处理模块102由3部分组成。第一级为将时间音频信号转换到时域/频域中的分析模块501。该分析模块可以在不同的时间/频率分辨率中执行并行分析。在分析模块之后，时间/频率数据被传输至心理声学模块(PAM)502，其中，根据心理声学的考虑来计算水印信号的掩蔽阈值(参见E. Zwicker H. Fasti, “PsychoacousticsFacts and models”)。该掩蔽阈值指示可以隐藏在用于每个子带和时间块的音频信号中的能量数。心理声学处理模块102中的最后一个块描绘了幅度计算模块503。该模块确定将在水印信号的生成中使用的幅度增益，使得满足掩蔽阈值，即，嵌入的能量小于等于由掩蔽阈值定义的能量。3. 2. I时间/频率分析501块501通过重叠变换来执行音频信号的时间/频率变换。当执行多个时间/频率分辨率时，可以实现最 佳音频量。重叠变换的一个有效实施方式是基于窗口化时间块的快速傅立叶变换(FFT)的短时间傅立叶变换(STFT)。窗口长度决定时间/频率分辨率，使得较长的窗口产生较短的时间和较高的频率分辨率，而较短的窗口反之亦然。另一方面，在其他方面中，窗口的形状确定频率泄漏。对于所提出的系统，发明人通过分析具有两个不同分辨率的数据来实现听不到的水印。第一滤波器组(first filter bank)以Tb的跳距(B卩，比特长度)为特征。跳距是两个相邻时间块之间的时间间隔。窗口长度大约为Tb。请注意，窗口形状不必与用于比特成型的窗口形状相同，并且一般地，应当模拟人听觉系统。许多出版物研究了该问题。第二滤波器组应用较短的窗口。由于其时间结构一般比Tb更精细，当在语音中嵌入水印时，实现较高的时间分辨率特别重要。输入音频信号的采样率不重要，只要其足够大而不会走样的情况下描述水印信号。例如，如果水印信号中包含的最大频率分量为6kHz，则时间信号的采样率必须至少为12kHz ο3. 2. 2心理声学模块502心理声学模块502具有确定掩蔽阈值的任务，即，可以掩藏在每个子带和时间块的音频信号中的能量量，从而保持加水印的音频信号与原来的信号不可区分。在两个极限之间，即，/—)和之间定义第i个子带。通过定义Nf个中心频率
fi并使得对于i=2，3,=f 纟。通过由Zwicker在1961年提出的Bark scale
来给出对中心频率的适当选择。子带对于越高的中心频率而变得越大，该系统的一种可能实现使用以适当方式排列的在I. 5kHz至6kHz范围内的9个子带。对于每个子带和每个时间块的每个时间/频率分辨率，可以单独执行以下的处理步骤。处理步骤801执行频谱平滑。实际上，需要平滑调素(tonal element)以及功率频谱中的缺口。这可以以多种方式来执行。可以计算音调测量，并然后用来驱动自适应平滑滤波器。可选地，在该块的较简单实现中，可以使用类似中值的滤波器。中值滤波器考虑了值的向量，并输出其中值。在中值滤波器中，可以选择对应于分位数差(different quantiIe)50%的值。在Hz中定义滤波器宽度并且被应用为在较低频率开始并在最高可能频率下结束的非线性活动平均。在图7中示出了 801的操作。红色曲线为该平滑的输出。—旦执行了平滑,则由仅考虑频率掩蔽(frequency masking)的块802来计算阈值。在该情况下，还有不同的可能性。一种方法是使用每个子带的最小值来计算掩蔽能量Ei0这是有效地操作掩蔽的信号的等效能量。根据该值，可以简单地乘以一定的比例因子，以获得掩蔽能量Λ。这些因子对于每个子带和时间/频率分辨率是不同的，并且经由经验心理声学实验来获得。在图8中示出了这些步骤。
在块805，考虑时间掩蔽。在该情况下，分析同一子带的不同时间块。根据经验得出的后掩蔽配置文件(postmasking profile)来修改掩蔽能量J\。发明人考虑两个相邻时间块，即，k - I和k。对应的掩蔽能量为Ji (k - I)和Ji (k)。例如，后掩蔽配置文件定义了掩蔽能量Ei可以在时间k时掩蔽能量Ji并在时间k+Ι时掩蔽a -Ji能量。在该情况下，块805比较JiGO (由当前时间块掩蔽的能量)和a -Ji (k+1)(由前一时间块掩蔽的能量)，并选择最大值。后掩蔽配置文件可以在文献中找到并已经经由经验心理声学实验所获得。值得注意的是，对于大的Tb，S卩，>20ms，仅对具有较短时间窗口的时间/频率分辨率应用后掩蔽。总之，在块805的输出端处，具有针对两个不同的时间/频率分辨率所获得的每个子带和时间块的掩蔽阈值。已经通过考虑频率和时间掩蔽现象获得了阈值。在块806中，合并不同时间/频率分辨率的阈值。例如，一个可能的实现是，806考虑对应于其中分配了比特的时间和频率间隔的所有阈值，并选择最小值。
3. 2. 3幅度计算块503参照图9，503的输入是执行来自所有心理声学刺激的计算的心理声学模块502的阈值505。在幅度计算器503中，执行与阈值的额外计算。首先，发生幅度映射901。该块仅将掩蔽阈值(通常被表示为能量)转换为可以用于缩放在章节3. I中定义的比特成型函数的幅度。之后，运行幅度自适应块(amplitude adaptation block)902。该块迭代地自适应用于使水印生成器101中的比特成型函数增倍的幅度Y (i，j)，使得实际上满足掩蔽阈值。实际上，如已经讨论的，比特成型函数通常延伸长于Tb的时间间隔。因此，使满足点i、j处的掩蔽阈值增倍的正确幅度Y (i，j)不一定满足点i、j - I的要求。当预回声变得可以听到时，这在强起始点处特别重要。另一个需要避免的情形是不同比特尾部的不期望的叠加，这将导致听得到的水印。因此，块902分析由水印生成器生成的信号，以检查是否已经满足了阈值。如果没有，则其相应地修改幅度Y(i，j)。这终结了编码器侧。以下的部分涉及在接收器(还被指定为水印解码器)执行的处
理步骤。3. 3分析模块203分析模块203是水印提取过程的第一级(或块)。其目的是将加水印后的音频信号200a转换回Nf个比特流長(/丨(还被指定为204)，每个光谱频率带i 一个比特流。如分别在章节3. 4和3. 5中描述的，这些进一步由同步模块201和水印提取器202处理。应注意的是，是软比特流，即，例如，它们可以取任何实际值并且尚未对比特做出硬性决定。分析模块由图16中示出的三个部分构成分析滤波器组1600、幅度标准化块1604、以及差分解码1608。3. 3. I分析滤波器组1600通过图IOa中详细示出的分析滤波器组1600来将加水印后的音频信号转换到时频域中。滤波器组的输入是接收的加水印后的音频信号Ht)。其输出是在时间瞬间j的第
i个分支或子带的复系数力(i)。这些值含有关于在中心频率A和时间j · Tb时的信号的
幅度和相位的信息。滤波器组1600由Nf个分支构成，每个频谱子带i 一个分支。每个分支都被分成用于相位中分量的上子分支和用于子带i的正交分量的下子分支。尽管在水印生成器处的调制以及由此产生的加水印后的音频信号是纯粹实际值的，但需要在接收器处的信号的复杂值分析，这是因为，在接收器处不知道由信道和同步偏差引入的调制星座图(modulationconstellation)的旋转。在下文中，考虑滤波器组的第i个分支。通过将相位中和正交子
分支相结合，可以将复杂值基带信号Ilf KB(fI定义为
权利要求
1.一种用于根据水印数据的时频域表示型态(2410 ;bdiff(i，j) ;401-40Nf)来提供水印信号(2420，wms (t) ；307a ；101b)的水印信号提供器(2400 ;307)，其中，所述时频域表示型态(2410 ；bdiff(i, j) ；401-40Nf)包括与频率子带(i)和比特间隔(j)相关联的值，所述水印信号提供器(2400 ；307)包括 时频域波形提供器(2430;411-41Nf，421-42Nf)，被配置为基于所述水印数据的所述时频域表示型态(2410 ；bdiff(i, j) ;401-40Nf)，为多个频率子带(i)提供时域波形(2440 ；Si (t))，其中，所述时频域波形提供器(2430 ;411-41Nf，421-42Nf)被配置为将所述时频域表示型态(2410 ；bdiff(i, j) ；401-40Nf)的给定值(bdiff(i，j))映射到比特成型函数(gi(t))上，其中，所述比特成型函数(gi(t))的时间延伸长于与所述时频域表示型态(2410 ；bdiff(i, j) ;401-40Nf)的所述给定值(bdiff(i，j))相关联的所述比特间隔(j)，使得在针对同一频率子带(i)的所述时频域表示型态(2410 ；bdiff(i, j) ；401-40Nf)的时间上连续的值所提供的比特成型函数(gi (t))之间存在时间重叠；以及 其中，所述时频域波形提供器(2430 ；411-41Nf,421-42Nf)进一步被配置为使得给定频率子带(i)的时域波形(2440, Si (t))含有针对同一频带(i)的所述时频域表示型态(2410 ； bdiff(i, j) ；401-40Nf)的时间上连续的值所提供的多个比特成型函数(Si,」(t));以及 时域波形组合器(2460)，组合针对所述时频域波形提供器(2430 ;411_41Nf，421_42Nf)的多个频率(i)所提供的时域波形(2440，Si(t))，以获取所述水印信号(2420，wms(t)；307a ;101b)。
2.根据权利要求I所述的水印信号提供器(2400;307)，其中，所述时频域波形提供器(2430 ；411-41Nf,421-42Nf)被配置为使得针对所述时频域表示型态(2410 ；bdiff(i, j)；401-40Nf)的给定值(bdiff(i，j))所提供的比特成型函数(士,」(0)与同一频率子带(1)的类似于所述时频域表示型态(2410 ；bdiff(i, j) ;401-40Nf)的所述给定值(bdiff(i，j))的时间上在前的值(bdiff (i, j-1))的比特成型函数(Si, (t))相重叠，并与所述同一频率子带(i )的类似于所述时频域表示型态(2410 ；bdiff(i, j) ;401-40Nf)的所述给定值(bdiff(i，j))的时间上在后的值(\j+1 (t))的比特成型函数(Si,j+1 (t))相重叠，使得由所述时频域波形提供器(2430 ；411-41Nf, 421-42Nf)所提供的时域波形(2440，Si (t))在所述同一频率子带(i )的至少三个时间上连续的比特成型函数(Si,j(t))之间含有重叠。
3.根据权利要求I所述的水印信号提供器(2400;307)，其中，所述时频域波形提供器(2430 ;411-41Nf，421-42Nf)被配置为使得比特成型函数(2450，gi(t))的时间延伸为时间范围，其中，所述比特成型函数(2450，gi(t))包括非零值，并且其中，所述时间范围为至少三个比特间隔(j)长。
4.根据权利要求I所述的水印信号提供器(2400;307)，其中，所述时频域波形提供器(2430 ;411-41Nf，421-42Nf)被配置为使得所述比特成型函数(2450，gi(t))基于幅度调制周期信号； 其中，所述幅度调制周期信号的幅度调制基于基带函数(gf的)； 其中，所述比特成型函数(2450，gi(t))的所述时间延伸基于所述基带函数(g,7Xd);以及 其中，i表示频率子带的指数，T表示转置符,并且t表示时间变量。
5.根据权利要求4所述的水印信号提供器(2400;307)，其中，所述时频域波形提供器(2430 ;411-41Nf，421-42Nf)被配置为使得对于所述时频域表示型态(2410 ；bdiff(i, j)；401-40Nf)的多个频率子带(i)，所述基带函数(是相同的。
6.根据权利要求4所述的水印信号提供器(2400;307)，其中，所述比特成型函数(2450，gi (t))的周期部分基于余弦函数，使得孚⑷其中， COS为余弦函数,并且fi为所述比特成型函数(2450，gi (t))的对应频率子带(i)的中心频率。
7.根据权利要求I所述的水印信号提供器(2400；307), 还包括权重调谐器(102)，用于调谐针对所述时频域表示型态(2410 ；bdiff(i, j)；401-40Nf)的给定值(bdiff(i，j))所提供的比特成型函数(si;」(t))的权重(105，y (i, j))，使得Si, j(t)=bdiff(i，j) y (i, j) gi (t-j Tb)，其中，所述权重调谐器(102)被配置为调谐所述权重(105，y (i，j))，使得所述比特成型函数(Si, j(t))的能量就不可听到性而言是最大的。
8.根据权利要求I所述的水印信号提供器(2400;307)，其中，所述时频域波形提供器(2430 ；411-41Nf, 421-42Nf)被配置为使得给定频率子带(i )的时域波形(2440，Si (t))是所述给定频率子带(i )的所有比特成型函数(Si,」(t))之和，使得(0 = E幻(0。
J
9.根据权利要求I所述的水印信号提供器(2400;307)，其中，所述时域波形组合器(2460)被配置为使得所述水印信号(2420，wms (t) ；307a ；101b)是针对所述多个频率子带(i )所提供的波形(2440，Si⑴)之和，使得胃O = 2>< W。i
10.一种用于根据水印数据的时频域表示型态(2410 ;bdiff(i，j) ;401-40Nf)来提供水印信号(2420，wms(t) ；307a ；101b)的方法(2500)，其中，所述时频域表示型态(2410 ；bdiff (i, j) ；401-40Nf)包括与频率子带(i )和比特间隔(j )相关联的值，所述方法(2500)包括 基于所述水印数据的所述时频域表示型态(2410 ；bdiff(i, j) ;401-40Nf)，通过将所述时频域表示型态(2410 ；bdiff(i, j) ；401-40Nf)的给定值(bdiff(i，j))映射到比特成型函数(2450，gi(t))上，为多个频率子带(i)提供(2510)时域波形(2440 ;Si (t))，其中，所述比特成型函数(gi(t))的时间延伸长于与所述时频域表示型态(2410 ；bdiff(i, j) ；401-40Nf)的所述给定值(bdiff(i，j))相关联的比特间隔(j)，使得在针对同一频率子带(i)的所述时频域表示型态(2410 ；bdiff(i, j) ；401-40Nf)的时间上连续的值所提供的所述比特成型函数(gi (t))之间存在时间重叠，并且使得给定频率子带(i )的时域波形(2440，Si (t))含有针对同一频带(i)的所述时频域表示型态(2410 ；bdiff(i, j) ；401-40Nf)的时间上连续的值所提供的多个比特成型函数(su(t)); 以及 组合(2520)针对多个频率所提供的所述时域波形(2440，Si(t))，以获取所述水印信号(2420,碰s(t) ;307a ;101b)。
11.一种计算机程序，用于当在计算机上运行时执行根据权利要求10所述的方法。
12.—种用于根据水印数据的时频域表示型态(2410 ;bdiff(i，j) ;401-40Nf)来提供水印信号(2420，wms (t) ；307a ；101b)的水印信号提供器(2400 ;307)，其中，所述时频域表示型态(2410 ；bdiff (i, j) ；401-40Nf)包括与频率子带(i )和比特间隔(j )相关联的值，所述水印信号提供器(2400 ；307)包括 时频域波形提供器(2430;411-41Nf，421-42Nf)，被配置为基于所述水印数据的所述时频域表示型态(2410 ；bdiff(i, j) ；401-40Nf)为多个频率子带(i)提供时域波形(2440 ；Si (t))，其中，所述时频域波形提供器(2430 ;411-41Nf，421-42Nf)被配置为将所述时频域表示型态(2410 ；bdiff(i, j) ；401-40Nf)的给定值(bdiff(i，j))映射到比特成型函数(gi(t))上，其中，所述比特成型函数(gi(t))的时间延伸长于与所述时频域表示型态(2410 ；bdiff(i, j) ;401-40Nf)的给定值(bdiff(i，j))相关联的所述比特间隔(j)，使得在针对同一频率子带(i)的所述时频域表示型态(2410 ；bdiff(i, j) ；401-40Nf)的时间上连续的 值所提供的所述比特成型函数(gi (t))之间存在时间重叠；以及 其中，所述时频域波形提供器(2430 ；411-41Nf,421-42Nf)进一步被配置为使得给定频率子带(i)的时域波形(2440, Si (t))含有针对同一频带(i)的所述时频域表示型态(2410 ；bdiff(i, j) ；401-40Nf)的时间上连续的值所提供的多个比特成型函数(Si,」(t));以及 时域波形组合器(2460)，组合针对所述时频域表示型态(2410 ；bdiff(i, j) ；401-40Nf)的多个频率(i)所提供的所述时域波形(2440，&(0)，以获取所述水印信号(2420，丽18(0 ；307a ；101b)； 其中，所述时频域波形提供器(2430 ；411-41Nf,421-42Nf)被配置为使得针对所述时频域表示型态(2410 ；bdiff(i, j) ；401-40Nf)的给定值(bdiff(i，j))所提供的比特成型函数(Si,j(t))与同一频率子带(i)的类似于所述时频域表示型态(2410 ；bdiff(i, j) ;401-40Nf)的所述给定值(bdiff (i，j))的时间上在前的值(bdiff (i，j-1))的比特成型函数(Sm⑴)相重叠，并与所述同一频率子带(i)的类似于所述时频域表示型态(2410 ；bdiff(i, j) ；401-40Nf)的所述给定值(bdiff(i，j))的时间上在后的值(Ut))的比特成型函数(Si,j+1 (t))相重叠，使得由所述时频域波形提供器(2430 ；411-41Nf,421-42Nf)提供的时域波形(2440，Si (t))在所述同一频率子带(i)的至少三个时间上连续的比特成型函数(Sij(t)之间含有重叠。
13. 一种用于根据水印数据的时频域表示型态(2410 ;bdiff(i，j) ;401-40Nf)来提供水印信号(2420，wms(t) ；307a ；101b)的方法(2500)，其中，所述时频域表示型态(2410 ；bdiff (i, j) ；401-40Nf)包括与频率子带(i )和比特间隔(j )相关联的值，所述方法(2500)包括 基于所述水印数据的所述时频域表示型态(2410 ；bdiff(i, j) ;401-40Nf)，通过将所述时频域表示型态(2410 ；bdiff(i, j) ；401-40Nf)的给定值(bdiff(i，j))映射到比特成型函数(gi(t))上，为多个频率子带(i)提供(2510)时域波形(2440 ;Si(t))，其中，所述比特成型函数(gi(t))的时间延伸长于与所述时频域表示型态(2410 ；bdiff(i, j) ；401-40Nf)的给定值(bdiff(i，j))相关联的比特间隔(j)，使得在针对同一频率子带(i)的所述时频域表示型态(2410 ；bdiff(i, j) ；401-40Nf)的时间上连续的值提供的比特成型函数(gi(t))之间存在时间重叠，并且使得给定频率子带(i)的时域波形(2440，Si(t))含有针对同一频带(i)的所述时频域表示型态(2410 ；bdiff(i, j) ；401-40Nf)的时间上连续的值所提供的多个比特成型函数(SiJt)); 以及 组合针对所述时频域表示型态(2410 ；bdiff(i, j) ；401-40Nf)的多个频率(i)所提供的时域波形(2440，Si⑴)，以获取所述水印信号(2420，wms (t) ；307a ；101b)； 其中，针对所述时频域表示型态(2410 ；bdiff(i, j) ；401-40Nf)的给定值(bdiff(i，j))所提供 的比特成型函数(su(t))与同一频率子带(i)的类似于所述时频域表示型态(2410;bdiff(i, j) ；401-40Nf)的所述给定值(bdiff(i，j))的时间上在前的值(bdiff(i，j-1))的比特成型函数(Si, (t))相重叠，并与所述同一频率子带(i )的类似于所述时频域表示型态(2410 ；bdiff(i, j) ；401-40Nf)的所述给定值(bdiff(i，j))的时间上在后的值(bi.j+Jt))的比特成型函数(su+1(t))相重叠，使得所提供的时域波形(2440，Si (t))在所述同一频率子带(i)的至少三个时间上连续的比特成型函数(Sy (t))之间含有重叠。
全文摘要
一种水印信号提供器，用于根据水印数据的时频域表示型态来提供水印信号，其中，时频域表示型态包括与频率子带和比特间隔相关联的值，水印信号提供器包括时频域波形提供器，其基于水印数据的时频域表示型态来为多个频率子带提供时域波形。时频域波形提供器被配置为将时频域表示型态的给定值映射到比特成型函数上。比特成型函数的时间延伸长于与时频域表示型态的给定值相关联的比特间隔，使得在针对同一频率子带的时频域表示型态的时间上在后的值所提供的比特成型函数之间存在时间重叠。给定频率子带的时域波形含有针对同一频带的时频域表示型态的时间上连续的值所提供的多个比特成型函数。水印信号提供器进一步包括时域波形组合器，用于组合针对时频域提供器的多个频率所提供的时域波形，以获取水印信号。
文档编号G10L19/00GK102859585SQ201180020584
公开日2013年1月2日 申请日期2011年2月23日 优先权日2010年2月26日
发明者赖因哈德·兹茨曼, 斯特凡·瓦布尼克, 约尔格·皮克尔, 伯特·格文博希, 伯恩哈德·格里, 恩斯特·埃伯莱因, 乔瓦尼·德尔加尔多, 斯特凡·克雷格洛, 托比亚斯·布利姆, 尤利娅内·博尔苏姆, 马尔科·布雷林 申请人:弗兰霍菲尔运输应用研究公司