利用低频率进行卷标记的制作方法

专利名称：利用低频率进行卷标记的制作方法
技术领域：
本发明一般涉及视频处理，并且更具体地涉及向内容插入水印数据(watermark data)和从内容恢复水印数据。
背景技术：
当内容被准备呈现或者实际呈现给用户时，易于被未经授权的捕获、再现或存储。 对内容的展示、销售或者任何未授权使用使得合法的所有者不能从这样的利用中获益。虽 然在内容发行或存储的不同阶段加密和其它访问限制技术针对未授权使用提供了保护，但 是在被呈现给用户期间内容本身易受攻击。对于防止捕获正在展示的内容的倔强企图，能 做的很少。
对未授权使用内容的一种制止方法是向内容本身插入信息、水印，以使其虽然可 利用工具在未授权拷贝中被检测到以恢复所插入的水印但是用户实质上察觉不到它们。当 水印被与分发渠道链接时，诸如对于每个发行者或展览位置具有唯一的水印，则可以确定 出未授权拷贝的源。为了获得成功，所插入的信息必须经受得住捕获/拷贝处理，以使得此 信息在未授权拷贝中仍能被检测到。另外，此水印信息不能通过未授权的人插入，并且必须 是安全可靠的以防止其在插入后被删除。美国专利申请20030021439 (序列号124995，系列码10)以及美国专利申请 20050025336 (序列号872962，系列码10)中的现有技术描述了向数据流中所选择的位置插 入经过调制的载波。这些系统描述了使用低频载波向帧序列中嵌入信息。所插入的数据由 载波的符号表示，因此，载波被添加到序列中以表示一个符号或者被从序列中减去以表示 第二符号。在这样的系统中，所使用的检测器必须恢复载波的近似值并且然后确定嵌入的 可能符号。为了对载波进行近似，检测器必须具有来自原始资料的未标记序列的拷贝。在 对两个序列进行仔细的空间、时间和直方图配准(registration)后，检测器将差异认为是 对该组嵌入的载波的近似。在检测器处需要未标记的序列从而需要原始资料是该方法的缺 点ο其它人已经通过在帧序列中的每个帧中嵌入水印序列样本而提出了对此问题的 解决方案。嵌入处理基于与帧相对应的水印样本的值来修改帧中的像素值。有时，在整个 水印被重复之前，每个水印样本在预定数量的连续帧中被重复以增大水印占据的时空。还 使用比例因子来逐帧减小在被确定没有移动的帧的区域中所插入的水印样本的幅度，以及 逐帧增大在保持移动的帧的区域中所插入的水印样本的幅度。该方法采用了人类视觉系统 对平坦领域中的闪烁的较高敏感性以及对移动区域中的较低敏感性。检测器提取出序列中的每个帧的总亮度并且逐帧地将总亮度的改变与原始水印 的改变进行比较。此方法可能向经标记的序列中引入不希望的可见闪烁假象(visible flickering artifact) 0当在平坦领域区域中亮度幅度被降低时，对亮度的改变和原始水 印的改变进行比较的能力被降低。本发明认识到如下优点减少加有水印的输出中闪烁的发生，以及在检测加有水印的数据流中的水印时不需要未标记输入的拷贝。

发明内容
根据本发明，一区域的像素亮度值被操纵以建立帧序列的某些特征之间的关系。 本发明将图像序列划分成大量区域。一区域被进一步细划分成多个子区域，以使得子区域 中的亮度大致相等。在每个子区域中，可以添加载波而不会引入可见假象的位置被识别。这 些位置以及所允许的载波幅度被提供给嵌入设备。嵌入器通过在一个或多个位置处添加或 减去载波来向子区域插入载波符号。这种载波的添加和减去具有增大被添加了载波的子区 域中的亮度以及降低被减去了载波的子区域中的亮度的作用。这建立了子区域之间的理想 关系(子区域开始具有大致相等的亮度值)。通过向检测设备提供有关区域和子区域的位 置的信息来辅助检测。对于特定区域，检测器确定相关联的子区域中的亮度。与区域相关 联的子区域中的相对亮度确定了其中包含的水印数据。对连续区域进行解码恢复所嵌入的 水印信息。


图1是表示根据本发明的示例性预处理步骤的框图；图2是表示示例性可替代的预处理步骤的框图；图3是表示示例性嵌入处理的框图；图4是示例性嵌入处理的流程图示例；图5是示例性检测处理的框图；图6是示例性水印检测器设备。
具体实施例方式根据本发明，一区域的像素亮度值被操纵以建立帧序列的某些特征之间的关系。 本发明将图像序列划分成大量区域。区域被进一步细划分成多个子区域，以使得子区域中 的亮度大致相等。在每个子区域中，可以插入载波而不会引入可见假象的位置被识别。嵌 入器通过在一个或多个位置处添加或减去载波来向子区域插入载波符号。这种载波的添加 和减去具有增大被添加了载波的子区域中的亮度以及降低被减去了载波的子区域中的亮 度的作用。这建立了子区域之间的理想关系(子区域开始具有大致相等的亮度值)。在一 个示例性实施例中，找到具有大致相等亮度的两个子区域，即区域A和区域B。在子区域中 找到可以插入载波而不会引入假象的位置。这些位置以及所允许的载波幅度被成组地提供 给嵌入设备；一组(或多组)用于被标注为‘A’的子区域A，并且一组(或多组)用于被标 注为‘B’的子区域B。为了嵌入一个符号(例如，位“0”)，嵌入器添加标注为‘A’的载波并 且减去标注为‘B’的载波。为了嵌入另一符号(例如，位“1”)，嵌入器减去标注为‘A’的 载波并且添加标注为‘B’的载波。此载波的添加和减去具有增大一个子区域中的亮度并且 降低另一子区域中的亮度的作用，因此建立了两个子区域之间的理想关系(子区域开始具 有大致相等的亮度值)。实际上，嵌入器的目的是建立两个子区域之间的理想关系，并且在上面的示例性 实施例中描述的载波的使用是建立此理想关系的一种方式。在第二实施例中，增大或降低一区域中的所有像素的亮度值来建立理想关系。像素亮度改变量可以是一个常数因子或者 可以取决于分析潜在影象的模型，并且可以取决于从像素到区域边界的距离。通过向检测设备提供有关区域和子区域的位置的信息来辅助检测。对于特定区 域，检测器确定相关联的子区域中的亮度。与一区域相关联的子区域中的相对亮度确定了 其中包含的水印数据。如果子区域A中的亮度大于子区域B中的亮度，则检测器报告一个 符号(例如，位“0”)，并且如果子区域B中的亮度大于子区域A中的亮度，则检测器报告另 一符号(例如，位“1”)。对连续区域进行解码来恢复所嵌入的水印信息。根据本发明，加水印处理以如在图1和图2中所例示的预处理级(100)开始。通 过时间分段元件(101)将原始序列分段成分离的相邻帧的集合，称为时间片段。每个时间 片段可具有与其它时间片段相同或不同的帧数。通过允许不 同片段具有不同帧数可以引入 额外的安全性。可以利用以密钥(107)作为种子的随机数生成器来控制每个单独时间片段 的帧数。不同时间片段按照随机数生成器的控制而由不同帧数构成。每个片段的帧数表现 为是随机的。在图1和图2所示的预处理元件(100)中所使用的密钥(107)被用作对时间 分段块(101)的输入。密钥还在图5所示的检测处理(300)中被用于定位在各个单独的片 段中所使用的帧。要使用的随机帧数可以被强制遵循指定分布。为了额外的安全性，两个相邻的片 段在它们之间可以具有随机数量的跳过帧(skipped frames) 0在实际示例性实施例中，片 段中的帧数是从平均值为120并且标准偏差为20的高斯分布得出的随机数，并且相邻片段 之间的跳过帧的数目是从平均值为12并且标准偏差为2的高斯分布得出的随机数。在预处 理开始处，利用密钥初始化用于这些值的随机数生成器。检测器具有相同的随机数生成器， 并且如果给定相同的密钥，则可以重新准确地生成每个片段中的帧数以及片段之间的跳过 帧的数目。片段或者区域是图像序列并且可以被认为是三维数据卷(volume ofdata)。根据 本发明，区域被细划分成两个子区域。此处理的目的是在片段卷中找到两个卷，以使得第一 卷的总亮度等于第二卷的总亮度。在一个实施例中，这是通过找到一穿过片段卷的几何平 面以使得该平面的一侧上的总亮度等于该平面的另一侧上的总亮度来实现的。这是通过首 先将片段卷子采样到较低分辨率并且然后执行搜索以找到如下平面来实现的所述平面的 一侧上的亮度与该平面的另一侧上的亮度之间的差异被最小化。此平面然后被用在全分辨 率片段中。在第二实施例中，在低分辨率片段卷中检查少许测试平面，并且然后应用梯度下 降算法(gradient descent algorithm)找到使得一侧上的总亮度和另一侧上的总亮度之 间的差异最小化的平面。此平面然后被用在全部分辨率片段中。在第三实施例中，使用前两种方法之一找到全部分辨率片段中的起始平面。从此 起始平面起，在围绕起始平面的搜索窗口中应用利用了扫描整个卷以查找可能的匹配的搜 索或者梯度下降搜索。在第四实施例中，与一片段的第一帧相符的第一卷以及与一片段的最后帧相符的 第二卷被用作起始点。确定第一卷和第二卷的亮度。如果第一卷的亮度大于第二卷的亮度， 则通过将第二卷边界移向第一卷以包括与当前第二卷相邻的帧而增大第二卷来形成新的 第二卷。现在确定以包含片段末端处的两个帧的新位置所限定的新的第二卷的亮度。如果第二卷的亮度大于第一卷的亮度，则通过将第一卷边界移向第二卷以包括与当前第一卷相邻的帧而增大第一卷来形成新的第一卷。现在确定新的第一卷的亮度。再次比较第一和第 二卷的亮度。此时，限定具有较低亮度的卷的边界的平面然后被以一次一帧的方式移向限 定具有较高亮度的卷的边界的平面。此处理继续，直到两个卷的边界驻留在同一帧中。此 时，子区域一(卷一)中的亮度几乎等于子区域二(卷二)中的亮度。现在，调节平面相对 于三个维度轴的角度，以将两个子区域中的亮度最优化为实际相等。所发现的平面可以利 用适用于片段卷的共坐标系统中的值来描述。对于每个片段，这些值被保存以在检测中使 用。如本领域普通技术人员将理解的，对子区域卷的描述可用于向嵌入器和检测器识 别卷。载波可以是在每个维度上慢慢改变的三维形状。载波形状的一个示例是在每个维 度上是高斯形状。此载波形状具有中心，在中心处幅度最大。注意位于中心的帧，载波的幅 度与离中心的距离成比例地缓慢降低。类似地，沿着时间轴，对于任一像素位置，载波的幅 度与离中心帧的距离成比例地逐渐衰减。向子区域添加子载波将具有增大该子区域的亮度的作用，并且从子区域减去子载 波将具有降低该子区域的亮度的作用。每个子区域可以被认为是一三维数据卷，并且该子 区域中的每个像素是针对载波的潜在中心位置。在每个子区域中，选择一像素用作用于载 波的中心位置。在一个实际实施例中，被选作中心位置的像素是随机选择的。此选择不需要在检 测器除再次创建，因此无需保存对于此随机选择的初始化值。在第二实际实施例中，利用感 知模型(perceptual model)来估计对子区域中各个像素位置处的载波的视觉影响。导致 最小视觉影响的位置或者导致的视觉影响低于某一阈值的任何位置可以被选作载波的中 心位置。在第三实际实施例中，利用感知模型来预测可以向像素添加载波而不会引入视觉 影响的最大幅度。此处理的输出是用于子区域中的像素的幅度值。然后，可以选择可支持 最大幅度值的位置。在前两个实施例中，返回的是载波中心的位置。此位置可以由三个值X、y和帧数 来表示；其中帧数是到片段的偏移量。载波的幅度被暗示。在第三实施例中，载波的幅度也 被指定。此信息、载波的位置以及可能的幅度被保存以供在嵌入期间使用。在一个替代实施例中，子区域卷和载波位置是同时确定的。目的是要找到片段中 的子区域卷和多个载波，其中每个子区域卷有一个载波，以使得当添加或者减去载波时，子 区域将具有指示哪些区域添加了载波以及从哪些区域减去了载波的可检测的亮度差异。图3示出示例性嵌入处理的输入和输出。有效载荷首先被源编码。此步骤常常包 括纠错编码，并且可以包括抗合谋编码(anti-collusioncoding)。经编码的有效载荷是嵌 入器的输入。对嵌入器的两个主要输入是在预处理期间创建的嵌入数据和输入序列。示例 性嵌入数据由一表构成，该表针对每个载波有一个条目。每个条目包含片段号、载波的中心 位置并且可选地可包含载波的幅度。中心位置可以是利用X和Y空间位置指定的，同时F 时间位置可指示帧号(多半相对于片段的开始)。与相同片段号相关联的载波可以成对出 现。嵌入表数据通常按照时间来安排。与时间片段相关联的成对载波可以按照与时间片段 在输入图像序列中出现顺序相同的顺序出现。这允许嵌入器能够按照载波出现在嵌入数据表中的顺序来处理载波对，就好像其按照顺序处理图像序列一样。图3还示出第四输入，载波表。这是可选的表，其可以由嵌入器在初始化时读取或 者生成。载波表是包含规范的载波函数的值的三维表。这允许在嵌入期间能够快速查找载 波值，而不需针对每个像素计算值。示例性嵌入处理可以向每对载波分配一个经编码的有 效载荷位。此有效载荷位可以是两个符号的其中之一。这些符号中的一个被认为意思是第 一载波被添加到图像序列并且第二载波被减去。另一符号意思是第一载波被从图像序列中 减去并且第二载波被添加。在图4中示出了此处理的一个实际实施例。对于在嵌入数据表(105)中的一个载 波对，嵌入器(200)确定载波可以做贡献的帧的范围。类似地，嵌入器确定每个载波可以做 贡献的行和列的范围。此改变取决于哪些帧正在被检查 。在一个实际实施例中，载波的范 围可以被近似为以该载波为中心帧的矩形。此矩形包含该载波的所有非零值。对于每个载 波，嵌入器因此可以确定由一三维矩形框所指定的一像素范围，这可受到载波的添加(或 减去)的影响。因为载波对是时间上分离并且按照时间顺序出现在嵌入数据表中的，所以 嵌入器一次可以考虑一个载波对。对于当前的载波对，可以找到将受影响的第一帧号。当 前帧和此第一受影响的帧之间的输入序列的所有帧可以不经修改而传送到输出。将受影响 的输入序列帧在受影响的位置通过添加来自载波表的对应载波值而被修改，通过嵌入数据 表中指定的幅度而被缩放，或者通过减去来自载波表的对应载波值而被修改，通过嵌入数 据表中指定的幅度而被缩放。是添加还是减去的选择由当前有效载荷符号来规定。在图5中所示的检测处理器接收经标记的并且潜在地被歪曲的图像序列(310)。 在运行检测处理之前，检测数据(106)必须是可用的。此检测数据可以包含用于对序列进 行时间分段的密钥以及对于每个片段要在片段中找到的子区域的描述。检测器(300)执行 将片段细划分成子区域并且找到子区域的亮度并对它们进行比较。从比较块(302)得出的 子区域之间的亮度差异被应用到有效载荷解码块(303)。有效载荷解码块(303)的输出是 检测到的水印有效载荷(320)。有效载荷检测器(303)中的源解码器与在嵌入期间使用的 源编码器相反。在图6中所示的示例性水印检测器设备以加有水印的输入序列(310)作为输入。 片段定位器(601)利用检测数据(106)(其可以包括密钥(107))来识别加有水印的图像序 列中的片段(310)。子区域定位器(602)识别位于片段中的子区域。利用亮度检测器(603) 找到子区域的亮度值，并且将其存储以供比较器(604)使用。比较器(604)确定各个亮度 值以解码水印信息。将理解，本发明可以以硬件、软件、固件、专用处理器或者它们的组合的各种形式 来实施。在一个示例性实施例中，本发明可以被实施为硬件和软件的组合。例如，软件可以 被实施为有形地嵌入在程序存储装置上的应用程序。在一个示例性实施例中，应用程序可 以被加载到计算机平台并被其执行，计算机平台诸如具有一个或多个中央处理单元(CPU)、 随机存取存储器(RAM)和一个或多个输入/输出(I/O)接口。计算机平台还包括操作系统 和微指令码。在此描述的各种处理和功能可以是微指令码的一部分或者是应用程序的一部 分(或者它们的组合)，这经由操作系统来执行。例如，在图6中所示的水印检测器元件601 到605可以被实施为计算机平台上的子例程或者由包括计算机处理器的处理器来实施。另 夕卜，诸如其它数据存储装置和打印装置之类的各种其它外围装置可以连接到计算机平台。
还将理解，因为附图中所描述的方法步骤和形成系统的组件中的一些可以以软件来实施，所以系统组件(或处理步骤)之间的实际连接可以依赖于本发明被编程的方式而 不同，在此给出的教导下，本领域普通技术人员能够预期到本发明的这些以及类似的实施 方式或者配置。
权利要求
一种用于处理数据以插入水印数据的方法，该方法包括如下步骤(a)将图像序列划分成多个区域；(b)将所述区域中的一个区域细划分成多个子区域，以使得一所选子区域中的亮度大致等于另一子区域中的亮度；并且(c)在所述所选子区域中选择一位置，该位置适于插入与该位置的原始亮度幅度不同的亮度幅度。
2.根据权利要求1所述的方法，其中，在所选位置处插入表示水印数据的亮度幅度。
3.根据权利要求1所述的方法，其中，选择多个适于插入亮度幅度的位置，并且插入多 个表示水印数据的亮度幅度中的一个或多个。
4.根据权利要求1所述的方法，其中，通过选择卷中的平面来细划分区域，所述平面的 一侧上的亮度大致等于该平面的第二侧上的亮度。
5.根据权利要求4所述的方法，其中，在选择平面之前，将亮度子采样到较低分辨率。
6.根据权利要求5所述的方法，其中，通过执行搜索来选择平面，以使得所述平面的相 对侧上的亮度值之间的差异最小。
7.根据权利要求5所述的方法，其中，定位多个测试平面，并且使用梯度下降算法来选 择平面。
8.根据权利要求5或权利要求6或权利要求7所述的方法，其中，所述所选平面被用在 全分辨率区域或子区域中。
9.根据权利要求4所述的方法，其中，利用包括如下步骤的方法来找到平面(a)找到包含一区域的第一帧的第一卷的亮度以及包含一区域的最后帧的第二卷的亮度；(b)将所述第一卷的亮度与所述第二卷的亮度进行比较，并且找到较高亮度的卷和较 低亮度的卷；(c)通过包括与所述较低亮度的卷相邻的下一帧来增大所述较低亮度的卷，并且找到 此新卷的亮度；(d)将此新卷的亮度与所述较高亮度的卷的亮度进行比较，以找到新的较高亮度的卷 和新的较低亮度的卷；(e)利用新的较高亮度的卷和新的较低亮度的卷重复步骤(c)和(d)，直到该区域中的 所有帧都被包括在较高亮度的卷中或者较低亮度的卷中为止，从而将分割这两个卷的平面 定位在单个帧中；(f)相对一个或多个轴调节分割这两个卷的平面的角度，以将两个子区域中的亮度最 优化为实际上相等。
10.一种用于检测被嵌入在数据源中的水印数据的方法，包括如下步骤(a)识别所述数据源中的多个片段；(b)识别所述片段中的一个所选片段中的多个子区域，定位预定的子区域；(c)确定与多个所选择的所述子区域相关联的各个亮度值；(d)比较各个亮度值，以解码所嵌入的水印信息。
11.根据权利要求10所述的方法，其中，子区域之间的亮度关系确定对水印数据的二 进制位编码。
12.一种用于在检测器处利用由嵌入处理生成的检测数据检测嵌入在数据源中的水印 数据而无需原始数据源的方法，包括如下步骤(a)利用检测数据将加有水印的数据源划分成多个区域；(b)利用检测数据定位一所选区域中的多个子区域；(c)确定所述多个子区域的各个亮度值；(d)对所述亮度值进行比较，以确定水印有效载荷信息。
13.根据权利要求12所述的方法，其中，所述亮度值中的一个包括如下内容之一(1)子区域中的亮度值的和；(2)子区域中的亮度值的中间亮度值；(3)子区域中的亮度值的平均亮度值；(4)子区域中的亮度值的最大亮度值；(5)子区域中的亮度值的最小亮度值。
14.一种用于检测在数据源中嵌入的水印数据的设备，该设备包括 用于接收所述数据源的输入；用于识别所述数据源中的多个片段的处理器；所述处理器识别所述片段中的一个所选片段中的多个子区域，定位预定子区域，确定 与多个所选择的所述子区域相关联的各个亮度值，并且将各个亮度值进行比较以解码所嵌 入的水印信息。
全文摘要
一种用于利用将经加有水印的数据[105]所调制的低频载波[103]插入所选择的具有相等总亮度值的时空卷来向数据流[110]嵌入水印数据[105]的方法和设备。
文档编号H04L9/00GK101828356SQ200780053591
公开日2010年9月8日 申请日期2007年6月29日 优先权日2007年6月29日
发明者杰弗里·亚当·布鲁姆, 田峻 申请人:汤姆逊许可证公司