图像序列标记方法和设备、标记承载物、标记识别方法和设备的制作方法

专利名称：图像序列标记方法和设备、标记承载物、标记识别方法和设备的制作方法
技术领域：
本发明总体上涉及视频处理，具体涉及对视频作标记。
背景技术：
该部分旨在向读者介绍本领域的各方面，其可能与以下描述和/或要求的本发明各方面有关。相信该讨论有助于向读者提供背景信息，以便更好地理解本发明各方面。应当理解，要从这种角度来阅读这些论述，而不是作为对现有技术的引入。
可以以多种方式制造如电影之类的视频内容的非法拷贝。与本发明相关的第一示例是在电影院中制造拷贝，通常在电影公映期间，借助于私自携带的摄像机进行制造，有时也在电影放映员的协助下制造。这种拷贝通常在电影首映后的数天内通过互联网或
DVD或其他承载物得以散播，从而在电影院门票销售和DVD销售两方面都会导致电影业收益的重大损失。
为了打击这种拷贝，现有技术提出了所谓"编码反盗版码"(CAPCode)的使用，CAP Code将唯一的可见标记烧制到每巻胶片或每批巻上，该唯一的可见标记标识特定拷贝，并间接地标识电影上映的电影院。CAP Code系统的缺点是对观众而言标记是清晰可见的，因此仅在有限数量的帧中引入标记，以争取限制干扰。结果，观众有时仍然抱怨，而盗版者通过抑制一些帧可以相对容易地去除该码。
与本发明相关的第二示例是根据向电影选评比赛(如"奥斯卡奖@")的影评人或评委会成员发放的限量发行的DVD (如"screenerDVD")，来制造拷贝。在这种情况下，电影可能还没有首映，甚至可能造成收益和声望的更严重损失。
对于该示例，解决方式是插入对DVD送达的人或机构进行标识的唯一标记。不同之处在于这些标记清晰可见，且这些标记可以提醒观看者不应制造拷贝，且如果仍制造拷贝，则可以识别出观看者。缺点是这些清晰可见的标记可能会给观看者对电影的欣赏造成负面影响。当然，如果在电影开始前插入这种标记，则盗版者可以非常容易地去除这些标记。
本领域中还有不太引起注意的标记方法。例如，WO 2007/149086提出了一种通过在图像中找到可插入标记的"最佳"区域来克服该问题的方法，最佳区域例如是标记最不易受到注意的区域。然而，虽然该解决方案教授了将标记放在何处，但没有明显地教授任何新的标记算法。
在GB 2407227中，从整个视频中选择多个图像，并通过对图像稍作修改来将每个图像标记为二进制1，或通过不改变图像来将每个图像标记为二进制0。作为序列，这些1和0组成了视频的标记。然而，至少在某些情况下认为该解决方案可能缺乏鲁棒性。
因此，可以理解，需要备选的解决方案，其允许对视频内容进行鲁棒标记，以便内容可被唯一标识，同时，在使对观看者的视觉干扰最小时或在对观看者的干扰不是主要关注问题时，需要备选解决方案来解决标记问题。本发明提供了这种解决方案。

发明内容
在第一方面，本发明提出了一种对大小相同的图像的序列的拷贝作标记的方法。首先，定义由P个分别编号的虚拟域组成的栅格，以便栅格覆盖该序列的每个图像的至少一部分。然后，获得随机值或伪随机值，并在编号与该随机值或伪随机值相同的虚拟域中，用可见标记对该图像序列中的M个连续图像作标记。对获得步骤和作标记步骤进行至少一次迭代。
在第一优选实施例中，在M个已标记的图像之后，N个连续图像不会被标记，N大于或等于0。在获得步骤和作标记步骤的每次迭代后重复该步骤。
在第二优选实施例中，N是针对每次迭代获得的随机值或伪随机值。在第三优选实施例中，栅格覆盖整个图像。
在第四优选实施例中，M是针对每次迭代获得的随机值或伪随机值。
在第五优选实施例中，将标记放置在域的预定位置。在第六优选实施例中，将标记放置在域中随机选择的位置。在第七优选实施例中，对要标记的图像的域进行分析，以将标记放置在最不可见的位置。
在第八优选实施例中，由使用拷贝的至少一个标识符作为种子的算法来产生伪随机值。
在第九优选实施例中，随机值与拷贝的标识符相关联。在第二方面中，本发明涉及一种对大小相同的图像的序列的拷贝作标记的设备。该设备包括用于定义P个分别编号的虚拟域所组成的栅格以便栅格覆盖该序列的图像的至少一部分的装置；用于获得随机值或伪随机值的装置；以及用于在编号与该随机值或伪随机值相同的虚拟域中用可见标记对该图像序列中的M个连续图像作标记的装置。
在第三方面中，本发明涉及一种承载物，其包括使用根据权利要求l所述的方法而作标记的、大小相同的图像的序列，所述序列包括
多个图像块，所述多个图像块包括在N个未标记图像之前的、在P个分离的虚拟域之一中带有可见标记的M个连续图像，其中N可以是O。在第一优选实施例中，该承载物是胶片巻。
在第四方面中，本发明涉及一种对己标记图像序列进行识别的方法。在多个图像中搜索标记，并针对找到的每个标记，记录标记所处的图像和域，该域与值对应。然后，使用针对每个图像而给出的单个值，来产生这些值的所有可能的组合，并将这些可能的组合与多个值序列作比较，以找到至少一个匹配。如果找到多于一个匹配，则在其他图像中搜索标记，并重复比较步骤直至找到单个匹配。
在第五方面中，本发明涉及一种对已标记图像序列进行识别的设
备。该设备包括用于在多个图像中搜索标记并针对找到的每个标记来记录标记所处的图像和域的装置，该域与值对应；用于使用针对每个图像而给出的单个值来产生这些值的所有可能的组合的装置；以及
用于将这些可能的组合与多个值序列作比较以找到至少一个匹配的装 置。如果首次比较找到多于一个匹配，则该搜索装置还在其他图像中 搜索标记，该比较装置还使用来自其他图像的值来重复进行比较，直 至找到单个匹配。


现在将通过非限制性示例、参照附图来描述本发明的优选特征，
在附图中
图1 (包括图la和图lb)示出了两个图像序列中的标记序列；
图2示出了P个框(case)的虚拟栅格；
图3示出了已标记序列的示例； 图4示出了标记在图像域中的三个示例性位置； 图5示出了根据本发明的检测方法的优选实施例； 图6示出了根据本发明的标记方法的优选实施例；以及 图7示出了根据此处描述的本发明方法的任一实施例的、用于对 图像序列作标记的示例性设备。
具体实施例方式
将可见标记插入图像序列(即视频)中的本发明基于以下原理
-将标记引入视频的大部分，优选地，引入整个视频。
-根据本申请，标记可以几乎不会引起注意(如小片阴影)，或者
如果期望标记应是明显的、清晰可见的(如TV图像中8x8像素的白色 正方形)。
-优选地，在每个图像中有单个标记。
-对于每个新的已标记图像，标记可以改变位置，但标记也可以 在改变位置之前，在M个图像保持在相同位置。
-该标记可以存在于每个图像中，但也可以在每个已标记图像或 每M个图像的序列之间留下N个连续图像不被标记。
-标记位置的时间序列优选地由将要编码的数据(如巻编号或名称)作为种子的伪随机产生器来产生。然而，也可以使用随机数作为 种子，然后将该随机数与要编码的数据相联系。本领域技术人员应当 理解，理想情况下使用真正的随机值产生器，且将结果序列与要编码 的数据相关联。
图la和lb (可以共同表示为图l)示出了图像ll的序列10a、 10b 中的两个标记序列。在图la中，M=11N=0，即，对于每个新标记， 标记位置改变(M=l)，且对每个帧作标记(N=0)。在图lb中，M=2 且N-3，即，相同的标记用在两个连续图像(M=2)中，并且在下两 个已标记图像之前存在三个未标记图像(N=3)。应当注意，在图l和 其他可应用的图中，时间按照从左至右的次序，并且出于示例目的， 使标记比正常情况下大一些。
值M和N允许对鲁棒性与图像质量之间的折衷作出调整。例如， M〉l时，由于确保所有标记都存在于拷贝中，所以对于使用摄像机(每 秒25或30个图像)制造的电影拷贝(每秒24个图像)，鲁棒性得到提高， 但同时作为权衡，标记更加可见，标记所携带的信息的量降低。另一 方面，NX)时，标记数目减少，这使得图像质量得到改善，但所传送 信息的量降低。应当注意，优选地，N不应太大以至存在不同的已标 记视频之间发生冲突的风险；优选地，标记数目应当远大于要标记中 要编码的比特的数目。
有利地，将标记分布在P个框组成的虚拟栅格。图2示出了P-12 的这种栅格。本领域技术人员将理解，栅格不必覆盖要标记的整个图 像，且栅格不必是线性的，而且各个域不必具有相同大小。例如，域 完全可以使靠近图像边缘处的域较小，以使标记在距图像中心相对较 远处出现的可能性增大。标记设备可以产生栅格和域，从而定义该栅 格和域，但也可以通过获取由另一设备产生的栅格和域来定义它们。 然后，使伪随机产生器产生1与P之间的值(包括1和P)，并将标记插 入相应编号的域中。图3示出了M-1、 N4且值为6、 4、 11、 2、 5......
的己标记序列的示例。
如上所述，优选地，标记比域小，且不必将标记插入到域的中心， 如图4中针对域编号6中的标记的三个示例性位置所示的那样。如以下进一步描述的，对于标记检测，验证标记是否存在于域中就足够了， 这样，即使拷贝的图像已变形，也可以进行鲁棒检测。本领域技术人 员应当理解，可以选择域中的插入位置，以使标记尽量对观看者不造
成干扰。
当涉及标记的检测以及已编码信息的确定时，如果拷贝的图像频 率与原件的图像频率不同，则优选地，首先要重新计算M和N。这种
频率不同的情况可能是由摄像机(每秒25或30个图像)捕获投影电影 (每秒24个图像)的情况。在以下描述中，为了简明清楚，假定M4 且N4。然而，本领域技术人员应当理解如果NX)，则可以忽略预 期没有标记的图像；以及对于M〉1，多种可选方案可用，例如对标记 应处于相同位置的图像进行平均。
图5示出了使用以下步骤的、根据本发明的检测方法的优选实施 例。为了简明清楚，仅在图中示出了某些步骤。
1. 一个接一个地处理图像。首先，将图像索引i设置为等于标记 位置索引j，将标记位置索弓ij设置为第一己标记图像的索引。如果使 用置信值c，则将其初始化为0。步骤510。
2. 在步骤520，在图像中执行对标记的穷举搜索(exhaustive search)。(应当注意，盗版者可能试图通过增加另外的标记来阻挠作标 记)。这将在以下更详细地描述。如果已找到足够数量的标记(步骤 530)，则该方法前进至步骤3;否则再次执行步骤2。
3. —旦在检测到的标记与可能的已编码数据之间找到充分的匹 配，就可以预测标记在当前图像I(i)中的位置X(j)(即，根据伪随机序 列标记应该位于的域)。执行搜索以在该预期的域中检测标记。如果找 到标记，则在下一图像I(i+l)中搜索下一预期位置X(j+l)的标记，且如 果使用置信值，则该置信值加一。换句话说，只要在预期的域中找到 标记，就对步骤3进行迭代。步骤540。
4. 如果在预期的位置没有找到标记，则可能是由于如下的多种不 同原因
a.已删除了一个或多个图像。在某些情况下，这可以通过当 前图像I(i)与原件(其不必与拷贝所用的版本对应)的相应图像的比较来检测到。在这种情况下，可以在当前图像I(i)中搜索与伪随 机序列X(j+l)中在后的值对应的标记，但也可以扫描整个图像以 找到标记，然后尝试使该值与伪随机序列匹配。
b. 可能已擦除了标记。在这种情况下，该方法转至下一图像
1(i+l)和下一预期位置X(j+l)。
c. 可能己通过例如重复操作，插入了一个或多个图像。在这
种情况下，该方法转至下一图像I(i+l)并搜索相同预期位置X(j)的 标记。
因此，该方法尝试多种组合，直至找到允许将图像与伪随机序列 重新同步的增量i+i'和j+j'为止。根据可用的处理能力和其他约束，可 采用多种公知的现有技术。在以下描述中，假定在图像序列中不可能 向回移动。首先存储位置(J=j)。
5. 然后，该方法搜索下一位置X(j+l)并在图像I(i)中搜索标记。如 果找到标记，则该方法继续执行步骤3。如果没有找到，则在前进至步 骤6之前，根据处理能力对步骤5重新进行多次迭代。
6. 对位置进行重新初始化(j=J)，使用下一图像，并根据处理能 力对步骤5进行多次迭代。如果使用置信值c，则在前进至步骤7之前， 在每次迭代时将置信值c减一，直至达到0。
7. 此时，应当得出结论已编码数据是不正确的，即，图像中的 标记序列与预期的伪随机不对应。在这种情况下，该方法前进至步骤2 的穷举搜索。
现在将使用优选的示例性实施例，更详细地描述上述穷举搜索方 法。当已标记的序列完全未知或不充分已知时，使用该穷举搜索。
1. 基于图像序列的场景或其他视觉特征，对图像索引i进行估计。 这在图像序列有部分遗失时(如在拷贝的起始位置与原件的起始位置 不一致时)特别重要。因此，可以在可能的索引的特定范围内执行搜 索。
2. 在图像中搜索所有可能的域中(注意，这些域不必覆盖整个图 像)的标记，记录所有标记，这是由于盗版者可能己插入一个或多个标记，并且可能将图像的真正的、原始的特征误认为是标记。
3. 针对多个(如10个)连续图像重复步骤2，以提取出己编码序 列的一个或多个片段。即使正确地解释了标记，单个标记也与可能序 列的总数的1/P对应。如果一个或多个图像包括多于一个标记，则应当
检査所有可能的组合。例如，如果第一图像在位置5和11包括标记，第 二图像在位置2包括标记，第三图像在位置4和7包括标记，则要分析的 序列片段是[5,2,4]、 [5,2，7]、 [11,2,4]和[11,2,7]。
4. 然后，在所有可能的序列中搜索与找到的一个或多个片段的匹 配。如果得到单个匹配，则该方法可继续执行以上检测方法的步骤3。
5. 如果没有找到匹配，则该方法搜索越来越远的图像索引，或者 将图像序列的被搜索部分声明为不可用，并进一步沿着图像序列向后 重新开始搜索。如果找到多于一个匹配，则应当找到下一个或下几个 标记，直至找到的片段与单个可能的伪随机序列对应。
在变体中，可以根据另外的随机序列或伪随机序列等等，使标记 出现的周期(即，M和N的值)发生变化。在另一变体中，可以与第 一变体结合，根据另外的随机序列或伪随机序列等等，使标记特征(如 形状或颜色)发生变化。因此，根据任一变体得到的标记都更不易被 盗版者检测到，但标记可能对攻击更加敏感，这是由于更难将两个序 列同步。
如果盗版者设法获得了两个已标记的原件，并根据该原件制造拷 贝，则该盗版者可能试图进行共谋攻击(collusion attack)。例如，这 可通过在图像中检测标记来进行，如通过简单的比较，然后插入来自 其他拷贝(如果未标记)的图像或对其他图像的未标记部分进行拷贝。 由于标记处于两个原始版本的相同域中只存在1/P的可能性，所以盗版 者至多可以去除标记的1画1/P，即，P二12时标记的920/。。
可能的解决方案是限制域的数量(如设置P:4)，并总是将标记 插在域中相同的位置。对于盗版者可用的两个拷贝，使用这种替代技 术擦除标记的75%以上是不可能的。因此，如果检测算法是足够鲁棒 的且图像数量足够多，则可能对两个原件进行识别。如上所述，盗版者并不擦除标记，而可以随机地选择应从哪个原 件来拷贝出每个图像。在这种情况下，标记是可见的，但在没有对所 有图像的大范围穷举搜索以及对找到的标记的统计计算的帮助下，难 以找到己编码数据。首先，找到所有图像中的所有标记。然后，将每 个找到的标记与所有可能的伪随机序列相比较，并对于每个匹配，增 加伪随机序列的概率计数。最后，搜索概率计数显著高于其他序列的 伪随机序列。
图6示出了上述标记方法的优选实施例的概要。在步骤610中定义 了覆盖图像至少一部分的P个域所组成的栅格，每个域与从1到P的值
相对应。在步骤620中获得随机值或伪随机值，该随机值或伪随机值用 于在相应域中对M个连续图像作标记，如步骤630。然后，在步骤640 中使接下来的N个图像不被标记，NW。在步骤650中，确定是否已标 记了足够的图像。如果是，则该方法在步骤660结束；否则该方法继续 执行步骤620。
图7示出了根据此处描述的本发明方法的任一实施例的、用于对图 像序列作标记的设备700。设备700包括多个功能模块，其中每个功能
模块均可以软件、多种硬件组件或它们的组合实现如下用于定义栅 格和域的栅格定义模块740、用于产生或获取伪随机值或随机值的随机 化模块750、用于将标记插入图像的标记模块760、以及用于分析图像 以找到标记最不可见的位置分析模块770。设备700包括 一个或多个 处理器(图中"处理器")710，处理器710可以实现不同的模块，控制 该设备并执行没有在这些模块中未实现的方法步骤； 一个或多个存储 器组件(图中"存储器")720;以及至少一个通信接口730。因此，设 备700可以对在如胶片巻、DVD或任何其他适当的承载物上存储的图 像序列的拷贝20作标记。
本领域技术人员应当理解，本发明的优点可以包括 -对用户而言的低干扰；经常移动的小标记将被视作噪声。 -对抗标记删除的鲁棒性，由于盗版者必须在许多不同图像的不 可预测位置搜索标记并对标记进行擦除。 -对抗标记插入的鲁棒性。-由所插入信息的大小，限制了冲突风险。
可以独立地或以任何适当的组合来提供在说明书、权利要求(适 当时)和附图中公开的每个特征。被描述为以硬件实现的特征也可以 以软件实现，反之亦然。在可应用连接的位置，连接可以实现为无线 连接或有线连接，且不必是直接连接或专用连接。
权利要求中出现的附图标记仅作为示例而不应对权利要求的范围 有任何限定。
权利要求
1. 一种对大小相同的图像的序列的拷贝作标记的方法，包括以下步骤a)定义(610)由P个分别编号的虚拟域组成的栅格，以便所述栅格覆盖所述序列的每个图像的至少一部分；b)获得(620)随机值或伪随机值；c)在编号与所述随机值或伪随机值相同的虚拟域中，用可见标记对图像序列中的M个连续图像作标记(630)；以及e)对步骤b)到c)进行至少一次迭代。
2. 根据权利要求1所述的方法，在步骤c)后还包括以下步骤d) 选择(640)不会被标记的N个连续图像，N大于或等于0， 其中与步骤b)和c) 一起对步骤d)进行迭代。
3. 根据权利要求2所述的方法，其中N是针对每次迭代获得的随 机值或伪随机值。
4. 根据权利要求l所述的方法，其中所述栅格覆盖整个图像。
5. 根据权利要求1所述的方法，其中M是针对每次迭代获得的 随机值或伪随机值。
6. 根据权利要求l所述的方法，其中将标记放置在域的预定位置。
7. 根据权利要求1所述的方法，其中将标记放置在域中随机选择 的位置。
8. 根据权利要求1所述的方法，其中对要标记的图像的域进行分 析，以将标记放置在最不可见的位置。
9. 根据权利要求1所述的方法，其中由使用拷贝的至少一个标识 符作为种子的算法来产生伪随机值。
10. 根据权利要求1所述的方法，其中随机值与拷贝的标识符相 关联。
11. 一种对大小相同的图像的序列的拷贝作标记的设备(500)， 包括用于定义由P个分别编号的虚拟域组成的栅格以便所述栅格覆盖所述序列的图像的至少一部分的装置(540);用于获得随机值或伪随机值的装置(550);以及用于在编号与所述随机值或伪随机值相同的虚拟域中用可见标记对图像序列中的M个连续图像作标记的装置(560)。
12. —种承载物，包括使用根据权利要求1所述的方法而作标记 的、大小相同的图像的序列，所述序列包括多个图像块，所述多个图 像块包括在N个未标记的图像之前的、在P个分离的虚拟域之一中带 有可见标记的M个连续图像，其中N能够为0。
13. 根据权利要求12所述的承载物，其中所述承载物是胶片巻。
14. 一种对已标记的图像序列进行识别的方法，包括以下步骤 在多个图像中搜索(520)标记，并针对找到的每个标记，记录标记所处的图像和域，所述域与值对应；用针对每个图像给出的单个值，产生这些值的所有可能的组合； 将所述可能的组合与多个值序列作比较，以找到至少一个匹配；以及如果找到多于一个匹配，则在其他图像中搜索标记，并重复比较 步骤，直至找到单个匹配。
15. —种对已标记的图像序列进行识别的设备，包括 用于在多个图像中搜索标记并针对找到的每个标记来记录标记所处的图像和域的装置，所述域与值对应；用于使用针对每个图像给出的单个值来产生这些值的所有可能的 组合的装置；以及用于将所述可能的组合与多个值序列作比较以在首次比较中找到 至少一个匹配的装置；其中，如果在首次比较中找到多于一个匹配，则用于搜索的装置 在其他图像中搜索标记，并且用于比较的装置使用来自其他图像的值 来重复进行比较，直至找到单个匹配。
全文摘要
一种用于对如电影之类的图像序列作标记以进行标识的方法。电影的拷贝与伪随机值序列相关联，所述伪随机值序列与覆盖图像(10)的虚拟栅格的域对应。将可见标记放置(630)在与后跟有(640)N个未标记图像(N≥0)的M个连续图像中的第一伪随机值对应的域中，此后用下一个伪随机值重复该步骤。有利地，可见标记是非常小的，以最小化对用户的干扰，但标记也可以清楚可见。还提供了一种标记设备(700)。
文档编号G06T1/00GK101482964SQ200910002019
公开日2009年7月15日 申请日期2009年1月8日 优先权日2008年1月9日
发明者奥利维尔·库尔泰, 让-弗朗索瓦·维亚尔 申请人:汤姆森许可贸易公司