水印嵌入方法和装置的制作方法

专利名称：水印嵌入方法和装置的制作方法
技术领域：
本发明总体上涉及媒体测量，更具体来说，涉及用于在压缩数字数据流中嵌入水 印的方法和装置。
背景技术：
在现代电视或无线电广播站中，一般使用压缩数字数据流承载要传输的视频和/ 或音频数据。例如，美国的用于数字电视(DTV)广播的高级电视制式委员会(ATSC)标准，其 采用用于承载视频内容的活动画面专家组(MPEG)标准(如MPEG-l、MPEG-2、MPEG-3、MPEG-4
等)和用于承载音频内容的数字音频压缩标准(如AC-3，也被称为Dolby Digital )(即， ATSC标准数字音频压缩(AC-3)，修订版A，2001年8月)。AC-3压缩标准基于这样一种感 知数字音频编码技术，即，该技术在使感知失真最小化的同时减少了再现原音频信号所需 的数据量。具体来说，AC-3压缩标准认识到人耳无法感知比特定谱频率处的掩蔽能量要小 的该特定谱频率处的谱能量变化。该掩蔽能量是取决于音频段的音调和类噪声特性的音频 段特性。可以使用不同的公知心理声学模型来确定特定谱频率处的掩蔽能量。此外，AC-3 压缩标准提供了用于数字电视(DTV)、高清晰度电视(HDTV)、数字多功能盘(DVD)、数字电 缆以及卫星传输的多声道数字音频格式(例如，5. 1声道格式)，该多声道数字音频格式使 得可以对特殊声音效果(例如，环绕声)进行广播。现有电视或无线电广播站采用水印技术把水印嵌入根据诸如AC-3压缩标准和 MPEG高级音频编码(AAC)压缩标准等的压缩标准而压缩的视频和/或音频数据流内。典 型地，水印是用于唯一地标识广播商和/或节目的数字数据。典型地，在一个或更多个接收 点(例如，家庭或其他媒体消费点)处使用解码操作提取水印，由此，可以将该水印用于评 估单个家庭和/或家庭组的收看特性，以生成收视率信息。然而，许多现有水印技术被设计成与模拟广播系统一起使用。具体来说，现有加 水印技术将模拟节目数据转换成解压缩的数字数据流，将水印数据插入解压缩数字数据流 中，并在传输之前将加水印的数据流转换成模拟格式。随着正在向全数字广播环境(其中 通过广播网络把压缩视频和音频流传输到本地联播台)的转变，可能需要将水印数据直接 嵌入或插入压缩数字数据流中。现有加水印技术可以将压缩数字数据流解压缩成时域样 本，将水印数据插入这些时域样本中，并将这些加水印的时域样本再压缩成加水印的压缩 数字数据流。这种解压/压缩可能导致压缩数字数据流中的媒体内容的质量劣化。此外， 现有解压/压缩技术需要附加设备并导致在某些情况下可能无法接受的广播音频分量的 延迟。此外，本地联播台所采用的用于从它们的父网络接收压缩数字数据流并通过复杂拼 接(splicing)设备插入本地内容的方法不允许在对数字数据流进行再压缩之前把压缩数 字数据流转换成时域(解压缩)信号。


图1是一示例媒体监视系统的框图表示；图2是一示例水印嵌入系统的框图表示；图3是与图2的示例水印嵌入系统相关联的示例解压缩数字数据流的框图表示；图4是可用于实现图2的示例水印嵌入系统的示例嵌入装置的框图表示；图5示出了与图4的示例嵌入装置相关联的示例压缩数字数据流；图6示出了可用于实现图2的示例水印嵌入系统的示例量化查找表；图7示出了可以使用图2的示例水印嵌入系统来压缩然后处理的另一示例解压缩 数字数据流；图8示出了与图7的示例解压缩数字数据流相关联的示例压缩数字数据流；图9示出了其中可以对图2的示例水印嵌入系统进行配置以嵌入水印的一种方 式；图10示出了其中可以实现图9的修改过程的一种方式；图11示出了其中可以处理数据帧的一种方式；图12示出了其中可以将水印嵌入压缩数字数据流中的一种方式；图13示出了可用于实现图2的示例水印嵌入系统的示例编码频率指数表；以及图14是可用于实现图2的示例水印嵌入系统的示例处理器系统的框图表示。
具体实施例方式总体上，本文公开了用于将水印嵌入压缩数字数据流中的方法和装置。可以将这 里公开的方法和装置用于把水印嵌入压缩数字数据流中而不必预先对压缩数字数据流进 行解压缩。因此，这里公开的方法和装置无需对压缩数字数据流进行多次解压/压缩循环， 由于多次解压/压缩循环可能显著劣化压缩数字数据流中的媒体内容质量，因此，这一般 对于例如电视广播网络的联播台来说是不可接受的。在进行广播之前，例如，可以将这里公开的方法和装置用于对改进型离散余弦变 换(MDCT)系数组(其与根据诸如AC-3压缩标准的数字音频压缩标准而格式化的压缩数字 数据流相关联)进行解包(unpack)。可以修改解包出的MDCT系数组的尾数以嵌入水印，该 水印不可感知地增大了压缩数字数据流。当接收到压缩数字数据流时，接收装置(如在媒 体消费点处的机顶电视计量装置)可以从解压缩的模拟输出(例如，从电视机喇叭发出的 输出)提取嵌入的水印信息。可以将提取的水印信息用于识别与在媒体消费点处当前正在 消费(如收看、收听等)的媒体相关联的媒体源和/或节目(如广播站)。接着，可以按公 知的方式将该源和节目识别信息用于生成收视率信息和/或任何其他信息，这些信息可用 于评估与单个家庭和/或家庭组相关联的收看特性。参照图1，使用受众测量系统计量示例广播系统100，该示例广播系统100包括业 务提供商110、电视120、遥控装置125以及接收装置130。可以按任何公知方式连接广播 系统100的多个部分。例如，将电视120置于位于住有一个或更多个人的家庭中的收看区 150中，将这些人称为家庭成员160，这些人中的一些或所有人已同意参与受众测量调查研 究。接收装置130可以是连接到电视120的机顶盒(STB)、磁带录像机、数字录像机、个人录像机、个人计算机、数字视频盘播放器等。收看区150包括电视120所在的区域，位于收看 区150中的一个或更多个家庭成员160可以从收看区150收看电视120。在所例示的示例中，将计量装置140构造成根据从接收装置130传送到电视120 的视频/音频输出信号识别收看信息。计量装置140通过网络170把该收看信息以及其他 调谐和/或人口统计数据提供给数据收集设备180。可以使用硬件和无线通信链路(例如 包括因特网、以太网连接、数字用户线(DSL)、电话线、蜂窝电话系统、同轴电缆等)的任何 期望的组合实现网络170。可以将数据收集设备180设计成处理并且/或者存储从计量装 置140接收的数据以生成收视率信息。业务提供商110可以通过任何业务提供商实现，例如有线电视业务提供商112、射 频(RF)电视业务提供商114和/或卫星电视业务提供商116。电视120接收由业务提供 商110通过多个频道发送的多个电视信号，并且可以使电视120适合于处理和显示按任何 格式提供的电视信号，该格式为如国家电视标准委员会(NTSC)电视信号格式、高清晰度电 视(HDTV)信号格式、高级电视制式委员会(ATSC)电视信号格式、逐行倒相(PAL)电视信号 格式、数字视频广播(DVB)电视信号格式、无线电工商业协会(ARIB)电视信号格式等。用户操作的遥控装置125使得用户(例如，家庭成员160)可以将电视120调谐到 期望的频道并接收在该期望频道上发送的信号，并使得电视120处理并呈现或放出在该期 望频道上发送的信号中所包含的节目或媒体内容。电视120执行的处理例如可以包括提 取经由接收信号传递的视频和/或音频分量、使得在与电视120相关联的屏幕/显示器上 显示视频分量以及使得由与电视120相关联的喇叭发出音频分量。包含在电视信号中的节 目内容例如可以包括电视节目、电影、广告、视频游戏、网页、静态图像和/或由业务提供商 110当前提供的或将来要提供的其他节目内容的预演。尽管图1所示的多个部分被示为广播系统100内的多个独立部分，但是可以把由 这些结构中的某些结构执行的功能集成在单个单元内，或者可以使用两个或更多个独立部 分来实现这些功能。例如，尽管电视120和接收装置130被示为独立结构，但是可以将电视 120和接收装置130集成在单个单元(如集成数字电视机)中。在另一示例中，可以将电视 120、接收装置130和/或记录装置140集成在单个单元中。为了评估单个家庭成员160和/或家庭组的收看特性，水印嵌入系统(如图2的 水印嵌入系统200)可以把用于唯一地识别广播商和/或节目的水印编码到来自业务提供 商110的广播信号中。可以在业务提供商110处实现水印嵌入系统，使得由业务提供商110 发送的多个媒体信号(例如，电视信号)中的每一个都包括一个或更多个水印。根据家庭 成员160的选择，接收装置130可以调谐到期望的频道并接收在期望的频道上发送的媒体 信号，并使得电视120处理并呈现在期望的频道上发送的信号中所包含的节目内容。计量 装置140可以根据从接收装置130传送到电视120的视频/音频输出信号识别水印信息。 因此，计量装置140可以通过网络170向数据收集设备180提供该水印信息和其他调谐和 /或人口统计数据。在图2中，示例水印嵌入系统200包括嵌入装置210和水印源220。将嵌入装置 210构造成把来自水印源220的水印信息230插入压缩数字数据流240中。可以根据音频 压缩标准(如AC-3压缩标准和/或MPEG-AAC压缩标准，可以使用这两者中的任何一个来 通过使用来自多个音频信号块中每一块的预定数量个数字化样本来处理音频信号块)对压缩数字数据流240进行压缩。可以按例如48千赫(kHZ)的速率对压缩数字数据流240 的源(未示出)进行采样，以形成如下所述的音频块。典型地，音频压缩技术(诸如基于AC-3压缩标准的音频压缩技术)使用交叠音频 块和MDCT算法将音频信号转换成压缩数字数据流(如图2的压缩数字数据流240)。根据 样本音频信号的动态特性可以使用两个不同的块大小(即，短块和长块)。例如，可以使用 AC-3短块以使音频信号的瞬变段的前回声最小化，而可以使用AC-3长块以实现用于音频 信号的非瞬变段的高压缩增益。根据AC-3压缩标准，AC-3长块对应于512时域音频样本 块，而AC-3短块对应于256个时域音频样本。根据在AC-3压缩标准中使用的MDCT算法的 交叠结构，在AC-3长块的情况下，通过把前一(旧)块的256个时域样本与当前(新)块的 256个时域样本连接起来以获得512个时域样本，从而创建512个时域样本的音频块。然后 使用MDCT算法对AC-3长块进行变换以生成256个变换系数。根据同一标准，从一对连续 的时域样本音频块类似地获得AC-3短块。然后使用MDCT算法对AC-3短块进行变换以生 成128个变换系数。然后使与两个相邻短块对应的该128个变换系数交错以生成一组256 个变换系数。因此，对AC-3长块或AC-3短块中的任何一个的处理都得到相同数量个MDCT 系数。根据作为另一示例的MPEG-AAC压缩标准，短块含有128个样本，长块含有1024个样 本。在图3的示例中，解压缩数字数据流300包括多个256样本时域音频块310，通常 如AO、Al、A2、A3、A4以及A5所示。MDCT算法对音频块310进行处理以生成MDCT系数组 320，例如如嫩0、嫩1、嫩2、嫩3、嫩4以及MA5(其中未示出MA5)所示。例如，MDCT算法可 以对音频块AO和Al进行处理以生成MDCT系数组ΜΑΟ。将音频块AO与Al连接起来以生 成512样本音频块(如AC-3长块)，使用MDCT算法对该512样本音频块进行MDCT变换以 生成包括256个MDCT系数的MDCT系数组ΜΑΟ。类似地，可以对音频块Al和Α2进行处理 以生成MDCT系数组ΜΑ1。因此，音频块Al是交叠音频块，因为它被用于生成MDCT系数组 MAO和MAl两者。按类似的方式，使用MDCT算法对音频块Α2和A3进行变换以生成MDCT系 数组ΜΑ2，对音频块A3和Α4进行变换以生成MDCT系数组ΜΑ3，对音频块Α4和Α5进行变换 以生成MDCT系数组ΜΑ4等。因此，音频块Α2是用于生成MDCT系数组MAl和ΜΑ2的交叠音 频块，音频块A3是用于生成MDCT系数组ΜΑ2和ΜΑ3的交叠音频块，音频块Α4是用于生成 MDCT系数组ΜΑ3和ΜΑ4的交叠音频块等。多个MDCT系数组320 —起形成了压缩数字数据 流 240。如下详细描述的，图2的嵌入装置210可以将来自水印源220的水印信息或水印 230嵌入或插入压缩数字数据流240中。例如，水印230可以用于唯一地识别广播商和/或 节目，使得可以生成媒体消费信息(如收看信息)和/或收视率信息。因此，嵌入装置210 生成了要传输的加水印的压缩数字数据流250。在图4的示例中，嵌入装置210包括识别单元410、解包单元420、修改单元430以 及再打包单元440。尽管以下根据AC-3压缩标准对嵌入装置210的操作进行描述，但是可 以将嵌入装置210实现为通过另外或其他压缩标准(如MPEG-AAC压缩标准)来操作。结 合图5更详细地描述嵌入装置210的操作。首先，将识别单元410构造成识别与压缩数字数据流240相关联的一个或更多个 帧510，这些帧中的一部分帧例如被示为图5中的帧A和帧B。如前所述，压缩数字数据流240可以是根据AC-3标准压缩的数字数据流(以下称为“AC-3数据流”)。尽管AC-3数据 流240可以包括多个声道，但是，为简明起见，以下示例将AC-3数据流240描述成只包括一 个声道。在AC-3数据流240中，各帧510包括多个MDCT系数组520。根据AC-3压缩标准， 例如，各帧510包括6个MDCT系数组(即，6个“audblk (音频块)”)。例如，帧A包括MDCT 系数组 MAO、MAl、MA2、MA3、MA4 以及 MA5，帧 B 包括 MDCT 系数组 MBO、MB1、MB2、MB3、MB4 以 及 MB5。还将识别单元410构造成识别与各帧510相关联的报头信息，例如，与AC_3数据 流240相关联的声道数。尽管示例AC-3数据流240如上所述只包括一个声道，但是以下结 合图7和8对具有多个声道的示例压缩数字数据流进行描述。参照图5，将解包单元420构造成对MDCT系数组520进行解包以确定压缩信息，例 如原压缩过程的参数(即，音频压缩技术压缩音频信号或音频数据以形成压缩数字数据流 240的方式)。例如，解包单元420可以确定使用了多少位来表示MDCT系数组520内的各 MDCT系数。此外，压缩参数可以包括用于限制AC-3数据流240可被修改的程度的信息，以 确保通过AC-3数据流240传送的媒体内容具有足够高的质量级。嵌入装置210随后使用 解包单元420所识别的压缩信息将期望的水印信息230嵌入/插入到AC-3数据流240中， 从而确保按与信号中提供的压缩信息相一致的方式执行水印插入。如在AC-3压缩标准中详细描述的那样，压缩信息还包括与各MDCT系数相关联的 尾数和幂。AC-3压缩标准采用技术来减少用于表示各MDCT系数的位数。心理声学掩蔽是 可被这些技术利用的一个因子。例如，在特定频率k(如音调)处或跨越靠近该特定频率k 的频带(如类噪声特性)存在的声能Ek产生了掩蔽效应。即，如果在频率k处或跨越靠近 该频率k的频带的频谱区中的能量变化小于给定能量阈值AEk,那么人耳无法感知该能量 变化。由于人耳的该特性，可以利用与ΔEk有关的步长对与频率k相关联的MDCT系数mk 进行量化，而不存在给音频内容带来任何人类可感知变化的风险。对于AC-3数据流240，将 各MDCT系数mk表示成尾数Mk和幂Xk，使得mk = Mk · 2_\。根据在AC-3压缩标准中公布的 已知量化查找表(如图6的量化查找表600)可以确定用于表示MDCT系数组520的各MDCT 系数的尾数Mk的位数。在图6的示例中，量化查找表600给出了 MDCT系数的由四位数表 示的尾数码或位模式和对应的尾数值。如下详细描述的，可以改变(如增大)尾数Mk以表 示MDCT系数的修改值，以将水印嵌入AC-3数据流240中。回到图5，将修改单元430构造成对各MDCT系数组520执行逆变换以生成时域音 频块 530，例如如 TA0，、TA3”、TA4，、TA4”、TA5，、TA5”、TB0，、TB0”、TB1，、TB1” 以及 TB5，所示 (未示出TAO”到TA3，和TB2，到TB4”)。修改单元430执行逆变换操作以生成与多个256 样本时域音频块(将这些256样本时域音频块连接起来以形成AC-3数据流240的MDCT系 数组520)相关联的前一(旧)时域音频块(被表示为主块(prime block))组和当前(新) 时域音频块(被表示为双主块(double-prime block))组。例如，修改单元430对MDCT系数 组MA5执行逆变换以生成时域块TA4”和TA5，，对MDCT系数组MBO执行逆变换以生成TA5” 和ΤΒ0，，对MDCT系数组MBl执行逆变换以生成ΤΒ0”和ΤΒΓ等。按此方式，修改单元430 生成经重构的时域音频块540，该经重构的时域音频块540提供了对被压缩的原时域音频 块的重构，以形成AC-3数据流240。为了生成经重构的时域音频块540，修改单元430可以 例如根据如以下文献所描述的公知的Princen-Bradley时域混叠抵消(TDAC)技术添加时域音步页块Princen等人,Analysis/Synthesis FilterBank Design Based on Time Domain Aliasing Cancellation, Institute ofElectrical and Electronics Engineers(IEEE) Transactions on Acoustics, Speech and Signal Processing, Vol. ASSP-35, No. 5, pp. 1153-1161(1996)。例如，通过使用Princen-Bradley TDAC技术添加主时域音频块TA5， 和双主时域音频块TA5”，修改单元430可以重构时域音频块TA5(即，TA5R)。类似地，通过 使用Princen-Bradley TDAC技术添加主音频块TBO，和双主音频块TBO”，修改单元430可 以重构时域音频块TBO (即，TB0R)。按此方式，重构用于形成AC-3数据流240的原时域音 频块以使得可以将水印230直接嵌入或插入AC-3数据流240中。还将修改单元430构造成将水印230插入经重构的时域音频块540中以生成加水 印的时域音频块550，例如如TA0W、TA4W、TA5W、TB0W、TB1W以及TB5W所示(未示出块TA1W、 TA2W、TA3W、TB2W、TB3W以及TB4W))。为了插入水印230，修改单元430通过把两个相邻的 经重构的时域音频块连接起来生成可修改时域音频块，以创建512样本音频块。例如，修改 单元430可以把经重构的时域音频块TA5R与TB0R(各为256样本音频块)连接起来以形 成512样本音频块。然后修改单元430可以把水印230插入由经重构的时域音频块TA5R和 TBOR形成的512样本音频块中，以生成加水印的时域音频块TA5W和TB0W。可以使用诸如 在美国专利No. 6，272，176,No. 6，504，870以及No. 6，621，881中描述的编码过程将水印230 插入经重构的时域音频块540中。因此通过引用将美国专利No. 6，272，176,No. 6，504，870 以及6，621，881的全部公开并入于此。在美国专利No. 6，272，176、No. 6，504，870以及No. 6，621，881中所描述的示例编 码方法和设备中，可以将水印插入512样本音频块中。例如，各512样本音频块承载水印 230的一位嵌入或插入数据。具体来说，可以修改或增大指数为和f2的谱频率分量以插 入与水印230相关联的数据位。例如，为了插入二进制“1”，可以增强或增大与指数相关 联的第一谱频率处的功率以使其成为在频率邻域内的谱功率最大值(如由指数1-2、1-1、 f\、f1+U f\+2定义的频率邻域)。此时，衰减或增大与指数f2相关联的第二谱频率处的功 率以使其成为在频率邻域内的谱功率最小值(如由指数f2_2、f2-l、f2、f2+l、f2+2定义的频 率邻域)。相反，为了插入二进制“0”，衰减与指数相关联的第一谱频率处的功率以使其 成为局部谱功率最小值，而增强与指数f2相关联的第二谱频率处的功率以使其成为局部谱 功率最大值。回到图5，根据加水印的时域音频块550，修改单元430生成加水印的MDCT系数 组 560，例如如 mm、MA4W、MA5W、MBOff 以及 MB5W 所示(未示出块 MA1W、MA2W、MA3W、MBlff, MB2W、MB3W以及MB4W)。按照上述示例，修改单元430根据加水印的时域音频块TA5W和TBOW 生成加水印的MDCT系数组MA5W。具体来说，修改单元430将加水印的时域音频块TA5W与 TBOW连接起来以形成512样本音频块，并将该512样本音频块转换成加水印的MDCT系数组 MA5W,如以下更加详细描述的，该加水印的MDCT系数组MA5W可以用于修改原MDCT系数组 MA5。MDCT系数组520与加水印的MDCT系数组560之间的差别表示由于嵌入或插入水 印230而产生的AC-3数据流240的变化。如结合图6所描述的那样，例如，修改单元430 可以根据对应的加水印的MDCT系数组MA5W中的系数与原MDCT系数组MA5中的系数之间 的差别，修改MDCT系数组MA5中的尾数值。量化查找表(如图6的查找表600)可以用于确定与加水印的MDCT系数组560的MDCT系数相关联的新尾数值，以替代与MDCT系数组 520的MDCT系数相关联的旧尾数值。由此，新尾数值表示由于嵌入或插入水印230而产生 的AC-3数据流240的变化或增大。需要特别指出的是，在本示例实现中，MDCT系数的幂未 改变。改变该幂可能需要重新计算基本的压缩信号表示，从而要求对该压缩信号进行真正 的解压/压缩循环。如果只对尾数进行修改不足以完全反映加水印的MDCT系数与原MDCT 系数之间的差，那么合适的话将受到影响的MDCT尾数设置为最大或最小值。在存在这种编 码限制的情况下，加水印过程中所包含的冗余使得可以对正确的水印进行解码。返回到图6，示例量化查找表600包括在-0. 9333到+0. 9333范围内的示例尾数 Mk的15级量化的尾数码和尾数值。尽管示例量化查找表600给出了与MDCT系数相关联的 使用4位表示的尾数信息，但是AC-3压缩标准提供了与每个MDCT系数的其他适当位数相 关联的量化查找表。为了例示其中修改单元430可以修改包含在MDCT系数组MA5中的尾 数为Mk的特定MDCT系数mk的一种方式，假设原尾数值为-0. 2666 (即，-4/15)。使用量化 查找表600，将与MDCT系数组MA5中的特定MDCT系数mk对应的尾数码确定为0101。加水 印的MDCT系数组MA5W包括尾数值为WMk的加水印的MDCT系数wmk。此外，假设加水印的 MDCT系数组MA5W中的对应加水印的MDCT系数wmk的新尾数值是-0. 4300，该值在尾数码 0011与0100之间。换句话说，在本示例中，水印230导致在原尾数值-0. 2666与加水印的 尾数值-0. 4300之间产生了 -0. 1667的差。为了将水印230嵌入或插入AC-3数据流240中，修改单元430可以使用加水印 的MDCT系数组MA5W来修改或增大MDCT系数组MA5中的MDCT系数。接着上述示例，由 于与对应的加水印的MDCT系数Wmk相关联的加水印的尾数WMk在尾数码0011与0100之 间(因为对应于加水印的MDCT系数wmk的尾数值是-0. 4300)，因此尾数码0011或尾数 码0100均可以代替与MDCT系数mk相关联的尾数码0101。对应于尾数码0011的尾数值 是-0. 5333 (即，-8/15)，对应于尾数码0100的尾数值是-0. 4 ( S卩，-6/15)。在本示例中，由 于对应于尾数码0100的尾数值-0. 4最接近于期望的加水印的尾数值-0. 4300，因此修改单 元430选择尾数码0100而非尾数码0011来代替与MDCT系数mk相关联的尾数码0101。结 果，与加水印的MDCT系数wmk的加水印的尾数WMk对应的新尾数位模式0100代替原尾数位 模式0101。类似地，按上述方式可以修改MDCT系数组MA5中的各MDCT系数。如果加水印 的尾数值在尾数值量化范围以外(即，大于0. 9333或小于-0. 9333)，那么合适的话选择正 极限值1110或负极限值0000作为新尾数码。此外，如上所述，尽管可以如上所述地修改与 MDCT系数组的各MDCT系数相关联的尾数码，但是与MDCT系数相关联的幂保持不变。将再打包单元440构造成对与要传输的AC-3数据流240的各帧相关联的加水印 的MDCT系数组560进行再打包。具体来说，再打包单元440识别出AC-3数据流240的帧内 的各MDCT系数组的位置，使得可以把对应的加水印的MDCT系数组用于修改MDCT系数组。 例如，为了重建加水印的帧A，再打包单元440可以识别出MDCT系数组MAO到MA5的位置， 并根据在对应识别位置处的对应加水印的MDCT系数组MAOW到MA5W修改MDCT系数组MAO 到MA5。利用这里所描述的解包、修改以及再打包过程，AC-3数据流240仍然是压缩数字数 据流，同时把水印230嵌入或插入了 AC-3数据流240中。结果，在不进行可能劣化AC-3数 据流240中的媒体内容质量的附加解压/压缩循环的情况下，嵌入装置210将水印230插 入了 AC-3数据流240中。
为简单起见，结合图5描述了包括单个声道的AC-3数据流240。然而，如下所述， 可以将这里所公开的方法和装置应用于具有与多个声道(如5.1声道(即，5个全带宽声 道))相关联的音频块的压缩数字数据流。在图7的示例中，解压缩的数字数据流700可以 包括多个音频块组710。各音频块组710可以包括与多个声道720和730相关联的音频块， 这些声道720和730例如包括前左声道、前右声道、中央声道、环绕左声道、环绕右声道以及 低频效果(LFE)声道(例如，重低音声道)。例如，音频块组AUDO包括与前左声道相关联的 音频块A0L、与前右声道相关联的音频块A0R、与中央声道相关联的音频块A0C、与环绕左声 道相关联的音频块A0SL、与环绕右声道相关联的音频块AOSR以及与LFE声道相关联的音频 块A0LFE。类似地，音频块组AUDI包括与前左声道相关联的音频块AIL、与前右声道相关联 的音频块A1R、与中央声道相关联的音频块A1C、与环绕左声道相关联的音频块A1SL、与环 绕右声道相关联的音频块AlSR以及与LFE声道相关联的音频块A1LFE。可以按与以上结合图5和6描述的方式类似的方式对与音频块组710中的特定声 道相关联的各音频块进行处理。例如，可以对与图8的中央声道810相关联的多个音频块 (例如如AOC、A1C、A2C以及A3C所示)进行变换以生成与压缩数字数据流800相关联的 MDCT系数组820。如上所指出的，可以根据把前一(旧)256样本音频块与当前(新)256 样本音频块连接起来而形成的512样本音频块导出各MDCT系数组820。然后MDCT算法可 以对时域音频块810 (如AOC到A5C)进行处理以生成MDCT系数组(如MOC到M5C)。根据压缩数字数据流800的MDCT系数组820，识别单元410如上所述识别出多个 帧(未示出)以及与各帧相关联的报头信息。该报头信息包括与压缩数字数据流800相关 联的压缩信息。对于各帧，解包单元420对MDCT系数组820进行解包以确定与MDCT系数 组820相关联的压缩信息。例如，解包单元420可以识别出由原压缩过程用来表示各MDCT 系数组820中的各MDCT系数的尾数的位数。如以上结合图6所描述的那样，可以将这种 压缩信息用于嵌入水印230。然后修改单元430生成经逆变换的时域音频块830，例如如 TA0C”、TA1C，、TA1C”、TA2C，、TA2C”以及TA3C，所示。时域音频块830包括前一(旧)时域 音频块(被表示为主块)组和当前(新)时域音频块(被表示为双主块)组。通过例如根 据Princen-Bradley TDAC技术添加对应的主块和双主块，可以重构被压缩以形成AC-3数 字数据流800的原时域音频块(S卩，经重构的时域音频块840)。例如，修改单元430可以添 加时域音频块TA1C，和TA1C”以重构时域音频块TAlC (即，TA1CR)。类似地，修改单元430 可以添加时域音频块TA2C，和TA2C”以重构时域音频块TA2C( S卩，TA2CR)。为了插入来自水印源220的水印230，修改单元430将两个相邻的经重构的时域 音频块连接起来以创建512样本音频块(即，可修改时域音频块)。例如，修改单元430可 以将经重构的时域音频块TAlCR与TA2CR(均为256样本短块)连接起来以形成512样本 音频块。然后修改单元430将水印230插入由经重构的时域音频块TAlCR和TA2CR形成的 512样本音频块以生成加水印的时域音频块TAlCW和TA2CW。根据加水印的时域音频块850，修改单元430可以生成加水印的MDCT系数组860。 例如，修改单元430可以将加水印的时域音频块TAlCW与TA2CW连接起来以生成加水印的 MDCT系数组M1CW。修改单元430根据多个加水印的MDCT系数组860中的对应一个修改 MDCT系数组820。例如，修改单元430可以使用加水印的MDCT系数组MlCW来修改原MDCT 系数组M1C。然后修改单元430可以针对与各声道相关联的音频块重复上述过程以将水印
11230插入压缩数字数据流800中。图9是示出其中可以将图2的示例水印嵌入系统构造成把水印嵌入或插入压缩数 字数据流中的一种方式的流程图。利用存储在机器可访问介质(如易失性或非易失性存储 器)或其他大容量存储装置(例如，软盘、CD以及DVD)的任何组合上的许多不同编程代码 中的任何编程代码，可以将图9的示例过程实现为机器可访问指令。例如，可以在以下机器 可访问介质中实现该机器可访问指令可编程门阵列、专用集成电路(ASIC)、可擦除可编 程只读存储器(EPROM)、只读存储器(ROM)、随机存取存储器(RAM)、磁介质、光介质和/或任 何其他合适类型的介质。此外，尽管图9例示了特定次序的动作，但是也可以按其他时间顺 序执行这些动作。而且，所给出并结合图2到5描述的流程图900仅仅是作为用于将系统 构造成把水印嵌入压缩数字数据流中的一种方式的示例。在图9的示例中，该过程开始于识别单元410(图4)识别与压缩数字数据流 240(图2)相关联的帧(如帧A(图5))(块910)。所识别的帧可以包括通过交叠和连接多 个音频块而形成的多个MDCT系数组。例如，根据AC-3压缩标准，一帧可以包括6个MDCT 系数组(即，6个“audblk”)。此外，识别单元410(0 4)还识别与该帧相关联的报头信息 (块920)。例如，识别单元410可以识别与压缩数字数据流240相关联的声道数。然后解包单元420对该多个MDCT系数组进行解包以确定与用于生成压缩数字数 据流240的原压缩过程相关联的压缩信息(块930)。具体来说，解包单元420识别各MDCT 系数组的各MDCT系数mk的尾数Mk和幂Xk。然后可以按与AC-3压缩标准相适应的方式对 MDCT系数的幂进行分组。解包单元420 (图4)还确定用于表示各MDCT系数的尾数的位数， 使得可以如以上结合图6所描述的那样可以使用由AC-3压缩标准指定的合适的量化查找 表来修改或增大所述多个MDCT系数组。然后控制进行到块940，以下结合图10对该块940 进行更详细的描述。如图10所示，修改过程940这样开始利用修改单元430 (图4)对MDCT系数组执 行逆变换以生成经逆变换的时域音频块(块1010)。具体来说，修改单元430生成与用于生 成对应的MDCT系数组的各256样本原时域音频块相关联的前一(旧)时域音频块(例如， 被表示为图5中的主块)和当前(新)时域音频块(被表示为图5中的双主块)。如结合 图5所描述的那样，例如，修改单元430可以根据MDCT系数组MA5生成TA4”和TA5，，根据 MDCT系数组MBO生成TA5”和TBO，，根据MDCT系数组MBl生成TBO ”和ΤΒΓ。对于各时域 音频块，修改单元430例如根据Princen-Bradley TDAC技术添加对应的主块和双主块以重 构时域音频块(块1020)。根据上述示例，可以添加主块TA5’和双主块TA5”以重构时域音 频块TA5 (即，经重构的时域音频块TA5R)，而可以添加主块ΤΒ0’和双主块ΤΒ0”以重构时域 音频块TBO (即，经重构的时域音频块TB0R)。为了插入水印230，修改单元430使用经重构的时域音频块生成可修改时域音频 块(块1030)。修改单元430使用两个相邻的经重构的时域音频块生成可修改的512样本 时域音频块。例如，修改单元430可以通过将图5的经重构的时域音频块TA5R与TBOR连 接起来生成可修改时域音频块。通过实现编码过程，例如在美国专利No. 6，272，176、No. 6，504, 870和/或 6，621，881中所描述的一个或更多个编码方法和装置，修改单元430将来自水印源220的水 印230插入可修改时域音频块中(块1040)。例如，修改单元430可以将水印230插入通过使用经重构的时域音频块TA5R和TBOR而生成的512样本时域音频块中，以生成加水印的 时域音频块TA5W和TB0W。根据这些加水印的时域音频块和压缩信息，修改单元430生成 加水印的MDCT系数组(块1050)。如上所指出的，两个加水印的时域音频块(其中各块均 包括256个样本)可以用于生成加水印的MDCT系数组。例如，可以把加水印的时域音频块 TA5W与TBOW连接起来然后把它们用于生成加水印的MDCT系数组MA5W。如以上结合图6描述的那样，根据与压缩数字数据流240相关联的压缩信息，修改 单元430计算与加水印的MDCT系数组MA5W中的各加水印的MDCT系数相关联的尾数值。 按此方式，修改单元430可以使用加水印的MDCT系数组修改或增大原MDCT系数组以将水 印230嵌入或插入压缩数字数据流240中(块1060)。按照以上示例，修改单元430可以根 据图5的加水印的MDCT系数组MA5W代替原MDCT系数组MA5。例如，修改单元430可以将 MDCT系数组MA5中的原MDCT系数置换为来自加水印的MDCT系数组MA5W中的对应加水印 的MDCT系数(其具有增大的尾数值)。另选地，修改单元430可以计算在与原MDCT系数 和对应加水印的MDCT系数相关联的尾数码之间的差(即，AMk = Mk-WMk)并根据该差AMk 修改原MDCT系数。在任一情况下，在修改了原MDCT系数组之后，修改过程940结束并且控 制返回到块950。回到图9，再打包单元440对压缩数字数据流的帧进行再打包(块950)。再打包 单元440识别MDCT系数组在帧内的位置，使得可以在原MDCT系数组的位置处替换为经修 改的MDCT系数组以重建该帧。在块960处，如果嵌入装置210确定需要处理压缩数字数据 流240的其他帧，那么控制返回到块910。而如果已处理完压缩数字数据流240的所有帧， 那么过程900结束。如上所指出的，典型地，公知的加水印技术将压缩数字数据流解压缩成解压缩的 时域样本，将水印插入该时域样本，并将加水印的时域样本再压缩成加水印的压缩数字数 据流。与之对照的是，在这里所描述的示例解包、修改以及再打包过程中，数字数据流240 保持压缩状态。结果，在不进行可能劣化压缩数字数据流500中的内容质量的附加解压/ 压缩循环的情况下，将水印230嵌入了压缩数字数据流240中。为了进一步说明图9和10的示例修改过程，图11示出了其中可以处理数据帧(如 AC-3帧)的一种方式。示例帧处理过程1100这样开始嵌入装置210读取所获得的帧(如 AC-3帧)的报头信息(块1110)并将MDCT系数组计数初始化成0(块1120)。在处理的是 AC-3帧的情况下，每个AC-3帧都包括具有压缩域数据的6个MDCT系数组(如图5的ΜΑΟ、 ΜΑ1、ΜΑ2、ΜΑ3、ΜΑ4以及ΜΑ5，在AC-3标准中也被称为“audblk”)。因此，嵌入装置210确定 MDCT系数组计数是否等于6 (块1130)。如果MDCT系数组计数尚不等于6，则表示至少还有 一个MDCT系数组需要处理，嵌入装置210提取与该帧的MDCT系数相关联的幂(块1140) 和尾数(块1150)(如以上结合图6所描述的原尾数Mk)。嵌入装置210计算出与在块1220 处读取的码符号相关联的新尾数(如以上结合图6所描述的新尾数WMk)(块1160)，并根据 该新尾数修改与该帧相关联的原尾数(块1170)。例如，可以根据该新尾数与原尾数之差 (但是限制在与原尾数的位表示相关联的范围之内)修改原尾数。嵌入装置210使MDCT系 数组计数加1(块1180)并且控制返回到块1130。尽管将以上图11的示例过程描述成包括 6个MDCT系数组(如MDCT系数组计数的阈值为6)，但是也可以使用利用了更多或更少个 MDCT系数组的过程。在块1130处，如果MDCT系数组计数等于6，那么已处理完所有MDCT系数组，从而已嵌入了水印并且嵌入装置210对帧进行了再打包(块1190)。如上所指出的，已知很多用于将人耳不可感知的水印(如不可听码)嵌入解压缩 音频信号中的方法。例如，在Jensen等人的美国专利No. 6，421，445中描述的一种公知方 法，通过引用将其全部公开内容并入于此。具体来说，如Jensen等人所述，码信号(如水 印)可以包括按10个不同频率组合的信息，这些频率可以由解码器使用音频样本序列(例 如，如下详细描述的12，288个音频样本序列)的傅立叶谱分析而检测到。例如，可以按48 千赫(kHz)的速率对音频信号进行采样以输出可被处理(如使用傅立叶变换)的12，288 个音频样本的音频序列，以获得对经解压缩的音频信号的相对高分辨率(如3. 9Hz)的频域 表示。然而，根据Jensen等人公开的方法的编码过程，在整个音频样本序列上具有常数幅 值的正弦码信号是不可接受的，因为人耳可以感知到正弦码信号。为了满足掩蔽能量限制 (即，为了确保正弦码信号信息保持不可被感知)，使用掩蔽能量分析在整个12，288个音频 样本的序列上对正弦码信号进行合成，该掩蔽能量分析用于确定各音频样本块内的局部正 弦幅值(例如，其中每个音频样本块都可以包括512个音频样本)。由此，根据该掩蔽能量 分析，局部正弦波形在12，288个音频样本序列上可以是(相位)相干，但是具有变化的幅 值。然而，与Jensen等人公开的方法相比，可以将这里所描述的方法和装置用于按这 样的方式把水印或其他码信号嵌入压缩音频信号中，即，使得在解包、修改以及再打包过程 中包含有压缩音频信号的压缩数字数据流保持压缩状态。图12示出了其中可以将水印(如 Jensen等人公开的水印)插入压缩音频信号的一种方式。该示例过程1200开始于将帧计 数初始化为0(块1210)。可以对表示各音频声道的总共12，288个音频样本的8个帧(如 AC-3帧)进行处理，以将一个或更多个码符号(例如，图13所示并且由Jensen等人描述的 一个或更多个符号“0”、“1”、“S”以及“E”)嵌入音频信号中。尽管这里所描述的压缩数字 数据流包括12，288个音频样本，但是该压缩数字数据流可以具有更多或更少个音频样本。 嵌入装置210 (图2)可以从水印源220读取水印230以将一个或更多个码符号插入帧序列 中(块1220)。嵌入装置210可以获得这些帧中的一个帧(块1230)并进行到上述帧处理 操作1100以对获得的帧进行处理。因此，示例帧处理操作1100结束，并且控制回到块1250 以使帧计数加1。嵌入装置210确定该帧计数是否为8(块1260)。如果帧计数不是8，则嵌 入装置210返回去获得该序列中的另一帧并重复如以上结合图11所描述的示例帧处理操 作1100来处理另一帧。而如果帧计数为8，则嵌入装置210返回到块1210以将帧计数重新 初始化为0并重复过程1200以处理另一帧序列。如以上指出的，可以将码信号(如水印230)嵌入或插入压缩数字数据流(如AC-3 数据流)。如图13的示例表1300所示和由Jensen等人描述的那样，码信号可以包括与频 率指数到f10对应的10个正弦分量的组合以表示4个码符号“0”、“1”、“S”以及“Ε”中 的一个。例如，码符号“0”可以表示二进制值0，码符号“1”可以表示二进制值1。此外，码 符号“S”可以表示消息的开始，码符号‘ ”可以表示消息的结束。尽管图13只示出了 4个 码符号，但是也可以使用更多或更少个码符号。此外，表1300列出了与各符号的10个正弦 分量大致所在的中心频率对应的变换位(transform bins)。例如，512样本中心频率指数 (如10、12、14、16、18、20、22、24、26以及28)与压缩数字数据流的低分辨率频域表示相关 联，12，288 样本中心频率指数(如 240、288、336、384、432、480、528、576、624 以及 672)与压缩数字数据流的高分辨率频域表示相关联。如以上所指出的，可以使用与表1300所示的频率指数到f1(l相关联的10个正弦 分量形成各码符号。例如，用于插入或嵌入码符号“0”的码信号包括分别与频率指数237、 289、339、383、429、481、531、575、621以及673对应的10个正弦分量。类似地，用于插入或 嵌入码符号“1”的码信号包括分别与频率指数239、291、337、381、431、483、529、573、623以 及675对应的10个正弦分量。如示例表1300所示，频率指数到f1(1中的每一个都具有 位于或靠近12，288样本中心频率指数中每一个的唯一频率值。使用这里描述的方法和装置可以在时域中对与频率指数&到€1(|相关联的10个正 弦分量中的每一个进行合成。例如，用于插入或嵌入码符号“0”的码信号可以包括正弦曲 线 C1 (k)、C2 (k)、C3 (k)、C4 (k)、C5 (k)、C6 (k)、C7 (k)、C8 (k)、C9 (k)以及 Cltl (k)。可以在时域中
将第一正弦曲线C1 (k)合成为如下样本序列q(幻=COS2^ 237fc，对于k = 0到12287。但
122oo
是，按此方式生成的正弦曲线C1 (k)在整个12，288样本窗口上将具有常数幅值。相反地，为 了生成其幅值可以随音频块变化的正弦曲线，可以如下计算与第一正弦曲线C1 (k)相关联
权利要求
一种用于在压缩媒体数据流中嵌入媒体识别信息的方法，该方法包括以下步骤根据所述压缩媒体数据流来重构非压缩媒体数据流，所述非压缩媒体数据流与所述压缩媒体数据流是分离的；将所述媒体识别信息嵌入所述非压缩媒体数据流中，以确定加水印的非压缩媒体数据流；以及修改与关联于所述压缩媒体数据流的第一变换系数相对应的第一尾数值，以将所述媒体识别信息嵌入所述压缩媒体数据流中而无需解压缩所述压缩媒体数据流，所述第一尾数值的修改是基于所述第一变换系数与对应的第二变换系数之差来进行的，所述第二变换系数是根据所述加水印的非压缩媒体数据流而生成的。
2.根据权利要求1所述的方法，其中，所述压缩媒体数据流包括压缩音频数据流，而所 述非压缩媒体数据流包括时域音频数据流。
3.根据权利要求1所述的方法，其中，所述媒体识别信息包括表示节目或源识别信息 中的至少一个的水印。
4.根据权利要求1所述的方法，其中，所述第一、第二变换系数包括各自的第一、第二 经修改的离散余弦变换MDCT系数。
5.根据权利要求1所述的方法，其中，根据所述压缩媒体数据流来重构非压缩媒体数 据流的步骤包括以下处理对所述压缩媒体数据流的副本进行逆变换，以确定第一、第二逆变换数据块；以及将所述第一、第二逆变换数据块组合以形成所述非压缩媒体数据流。
6.根据权利要求1所述的方法，其中，将所述媒体识别信息嵌入所述非压缩媒体数据 流中以确定加水印的非压缩媒体数据流的步骤包括以下处理增大所述非压缩媒体数据流的第一频率分量并减小所述非压缩媒体数据流的第二频 率分量，以表示与所述媒体识别信息相关联的第一数据值；以及减小所述非压缩媒体数据流的所述第一频率分量并增大所述非压缩媒体数据流的所 述第二频率分量，以表示与所述媒体识别信息相关联的第二数据值。
7.根据权利要求1所述的方法，其中，将所述媒体识别信息嵌入所述非压缩媒体数据 流以确定加水印的非压缩媒体数据流的步骤包括以下处理确定多个码信号分量，以表示与所述媒体识别信息相关联的数据值；以及基于所确定的掩蔽能量，将所述多个码信号分量与所述非压缩媒体数据流进行组合。
8.根据权利要求1所述的方法，其中，修改与关联于所述压缩媒体数据流的所述第一 变换系数相对应的第一尾数值的步骤包括以下处理确定与根据所述加水印的非压缩媒体数据流生成的所述第二变换系数相关联的第二 尾数值；基于与所述第一尾数值相关联的压缩信息来量化所述第二尾数值；以及用量化后的第二尾数值来替换所述第一尾数值。
9.根据权利要求1所述的方法，其中，所述第一变换系数还包括所述第一尾数值和第 一指数值，并且其中，所述第一指数值未被修改而嵌入所述媒体识别信息。
10.根据权利要求9所述的方法，其中，当仅所述第一尾数值的修改不足以说明所述第 一变换系数与所述第二变换系数之差时，基于与所述第一尾数值相关联的压缩信息，将所述第一尾数值设置为最小值或最大值中的至少一个。
11.一种用于确定等级信息的方法，该方法包括以下步骤提取嵌入在所呈现的媒体内容中的识别信息，所述识别信息被嵌入在与所呈现的媒体 内容相对应的所广播的压缩音频数据流中，通过以下步骤将所述识别信息嵌入到所述压缩 音频数据流中而无需解压缩所述压缩音频数据流修改与关联于所述压缩音频数据流的第一变换系数相对应的第一尾数值，以将所述识 别信息嵌入所述压缩音频数据流中，所述第一尾数值的修改是基于所述第一变换系数与对 应的第二变换系数之差来进行的，所述第二变换系数是根据也嵌入了所述识别信息的、所 述压缩音频数据流的分离非压缩版本而生成的。
12.根据权利要求11所述的方法，其中，所述识别信息包括表示节目或源识别信息中 的至少一个的水印。
13.根据权利要求11所述的方法，该方法还包括以下步骤在接收装置处对所广播的压缩音频数据流进行解压缩，以生成与所呈现的媒体内容相 对应的非压缩音频数据流；以及从与所述非压缩音频数据流相对应的模拟音频信号中提取所述识别信息，所述模拟音 频信号是由所述接收装置的扬声器或模拟输出中的至少一个提供的。
全文摘要
公开了用于嵌入水印的方法和装置。在示例方法中，识别与压缩数字数据流(240)相关联的一个或更多个帧。对该一个或更多个帧中的每个帧进行解包以确定多个变换系数组(320)。修改该多个变换系数组(320)以嵌入水印(230)。
文档编号H04N7/24GK101950561SQ20101050120
公开日2011年1月19日 申请日期2004年6月14日 优先权日2003年6月13日
发明者韦努高博·斯里尼瓦桑 申请人:尼尔森(美国)有限公司