用于媒体鉴别的隐蔽且鲁棒的标记的制作方法

专利名称：用于媒体鉴别的隐蔽且鲁棒的标记的制作方法
技术领域：
本发明一般涉及数字媒体，并且具体地涉及嵌入承载媒体(carrier media)中的安全、察觉不到且鲁棒的媒体标记，其可被呈现 为可识别(recognizable)的图像，从而鉴别(identify)承栽媒体。
背景技术：
数字媒体的数字表示、存储、分发和复制已经非常普遍，这是因 为其成本低、易于使用并且保证媒体的质量。然而，这些优点却使得 诸如在因特网上未经授权地分发数字图像和视频之类的非法分发和 使用已取得版权的材料非常普遍。已经提出了多种不同的方法来防止数字媒体免于未经授权的使 用。例如，针对使得能够安全通信和交付，数字加密技术是有效的。 然而，如果以对人来讲是可视和可听的方式对加密的内容解密或呈 现，那么该内容可被再录制，并且可获得未经保护的拷贝。通过在媒体中嵌入接收方信息来标记媒体可有助于鉴别以未经 授权的方式接收媒体并且使用该内容的个体。此外，在媒体中嵌入的 所有权信息可指示拷贝限制以及可阐明该媒体的所有权。一种标记媒体的方式是通过对数字媒体文件格式添加注解来实 现的，其可从未修改的文件中读出并且在播放期间被忽略。然而，如 果将该文件再记录或将其转换为另 一种格式，那么可能会丢失该信为了在视频媒体中实现鲁棒和永久的标记，已经提出了在回放期 间显示版权信息的可视和重叠的图像。重叠的图像针对修改具有鲁棒 性并易于读出。然而，该方法可降低标记视频的品质，这是因为重叠 的图像干扰了原始视频，其降低了收看体验的品质。此外，重叠的图像是明显的并且因此容易进行鉴别，以及可通过盖写或剪裁而去除。数字水印是另一种方法，其已经提出几种不同的变化方式。许多 普通的数字水印方案包括通过在空间或时间的某些位置上引入机器 可读操作而将数字比特序列嵌入数字媒体中。在读出期间，使用软件 来解译这些操作并得到用来组装所嵌消息的数字比特序列。为了解译 这些操作，需要在空间或时间上的操作的位置的知识。当该操作失真 (即，例如，偏位或变弱)时，该读出(也被称作检测)经常是困难 或不可能的。在诸如剪裁、旋转、转换到另一种文件格式以及帧速率 的修改之类的简单媒体处理期间可能出现失真。此外，该操作的有意 偏位可由攻击者来实施，从而去除标记，以及可通过诸如移位、旋转 和回放速度变化之类的察觉不到、轻微且组合的失真来达到。公共可 用的工具以自动方式应用一定的这些操作，其也被称作攻击。当前的数字水印算法对识别(recognize)失真内容的偏位(也,皮称作配准(registration)的处理)经常不够有效。所以，有意的偏位可导致数字 水印不可读。机器可读出操作也易受到另外的安全风险的攻击，将在下面进行 说明。机器可读出操作的检测通常需要已执行操作的知识。所以，试 图绕过水印的人通过观察要读出或被嵌入的水印可确定操作的位置 和含义。通过分析、或反向工程、嵌入或检测处理可执行该观察。随 后，有技能的攻击者可去除或转化该操作，即，有效地去除该水印。 除了去除水印，上述的反向工程方法还使得能够修改嵌入水印中的信 息。即使利用密钥来加密操作的位置，这也是成立的。由于对于嵌入 和检测通常使用相同的密钥，所以限制了通过使用密钥提供的保护。 攻击者可分析或反向工程研究嵌入或检测应用并获得对所述位置的 接入，即使其被加密。此外，通过分析该检测或嵌入应用可观察密钥。除了配准和安全，针对有损压缩和过滤的鲁棒性是多媒体内容的察觉不到标记的重要部分。在形成水印期间，通过操作数字媒体的区 域，通常将消息嵌入数字媒体中，该区域适于隐藏机器可读的信息并 且使人对标记内容没有明显察觉。在数字媒体中这样区域的示例包括含有细节(例如，高频)的区域。然而，可改变或去除这些区域，同时内容维持在可接受的品质。例如，如MPEG2和H.264之类的通常的 有损压缩方案去除了这种感知不明显的信息，从而减少了数字媒体文 件的大小，并且因此去除了存储在那儿的水印信息。所以，利用这种 有损压缩方案的媒体压缩可使一些或全部水印信息去除。数字静止图像已经是早期水印研究的焦点。视频水印方法通常基 于对每一视频帧应用静止图像水印。原因在于对每一视频帧应用静止 图像水印是显而易见的并且易于实现。然而，该方法没有有效地使用 时域以来收集嵌入的信息。水印检测通常仅在可恢复来自各个帧的某 些信息的情况下是成功的。如果由于配准不成功或视频帧的相关区域 的损坏导致在任何帧中不能读出水印，那么这种方法经常失败。此外， 如果使帧水印化为各个图像并且水印在帧之间变化，那么因为可对在 一个视频内的类似帧求平均从而消弱水印，所以水印易于受攻击的影 响。如果所述帧中的每一帧包含相同的水印，那么该帧可被用来分析 在每帧中的水印的结构，从而理解和随后去除该水印。此外，数字水印的处理通常包括初始图像和要嵌入的消息的复杂 转换。这样复杂变换的示例是DCT、快速傅立叶或小波变换。执行这 些变换所需要的计算是时间密集处理，当实时地(例如，在回放或下 栽期间)嵌入数字水印时，这个可能是明显的限制。此外，水印方法 通常包括清楚限定的修改、允许变化的灵活性较小，从而采用不同的 压缩格式、安全或性能要求。发明内容本发明通常涉及数字和模拟媒体，并且更具体地涉及重复地将信 息嵌入承载媒体的系统和处理，该信息可被揭示(uncover)以鉴别该承栽媒体。本发明的一个实施例包括以以媒体的形式呈现所述信息；从所 述承载媒体中选择多个媒体組分(portion of media);将被呈现的媒体 的至少一部分与该承载媒体的所选择的媒体组分中的每个媒体组分组合以形成修改后的媒体组分，其中对所述修改后的媒体组分的所述修改对于人类观察者是不可见的；以及使用所述修改后的媒体组分来创建修改后的承载媒体。在进一步的实施例中，所述承栽媒体包括视频序列；承载媒体的每个所述媒体组分是单个视频帧；并且所述被呈现的媒体是图像。 另一实施例还包括改变表示被呈现的媒体的图像的几何形状。 在又进一步的实施例中，将所述被呈现的媒体的部分与所述承载媒体的每个所述媒体组分组合包括根据感知模型来修改所述被呈现的媒体。在另一实施例中，伪随机地选择被呈现的媒体的、与所述承载媒 体的媒体组分组合的部分。在还有的进一步的实施例中，所述承载媒体包括音频序列，所述 承载媒体的每个所述媒体组分是一段音频，并且所述被呈现的媒体是 音频序列。在另一实施例中，承载媒体包括视频，并且被呈现的媒体包括通 过其可投影或录制视频的透镜。在进一步的实施例中，所述信息包括与媒体有关的元数据。 在另 一实施例中，所述信息标识(identify)视频回放的时间和位置。在进一步的实施例中，所述信息标识版权的拥有者或媒体的接收方。在另一附加的实施例中，所述信息包括对数据库的引用。 进一步的实施例包括从所述承载媒体中选择多个媒体組分；选择每个所述媒体组分的至少一部分；强调来自所述媒体组分的所述部分；以及組合来自所述媒体组分的所迷部分。在另 一实施例中，强调所述媒体组分的部分包括对每个媒体组分应用高通滤波。在进一步的实施例中，强调所述媒体组分的部分包括从含有所述体。在另一实施例中，所述承载媒体包括视频序列；所述嵌入媒体包 括数字图像；每个媒体组分是视频帧，并且被强调的每个视频帧的部 分包括一组像素。在进一步的实施例中，将所述媒体组分的每个部分组合在一起包 括对所述媒体组分的每个部分求平均。在另一附加实施例中，在组合所述媒体组分的所述部分之后，通 过一设备来识别所述嵌入媒体。在进一步的实施例中，所述承载媒体包括音频序列；所述嵌入媒 体包括音频序列；音频的每个组分包括音频序列的组分；并且所述音 频序列的每个组分的所述部分包括一组音频取样。


在附图中，在全部不同的视图中，类似的附图标记一般涉及相同 的部件。此外，在图解说明本发明的原理时，附图没有必要按比例画 出，通常代替地给予强调。图1是示出根据本发明实施例的媒体分发系统的示意图。图2是示出根据本发明实施例的配置来在^L频序列和/或音频序 列中嵌入媒体标记的用户电子设备的示意图。图3是示出根据本发明实施例的将媒体标记嵌入媒体中的处理流程图。图4是示出根据本发明实施例的生成媒体标记的处理流程图，该 媒体标记可被嵌入视频序列或图像组中。图5是示出根据本发明实施例的对用于媒体标记的信息进行编码 的处理流程图。图6是示出根据本发明另 一实施例的对用于媒体标记的信息进行 编码的处理流程图。图7是示出根据本发明实施例的呈现媒体标记的处理流程图。 图8是根据本发明实施例应用的文本信息的媒体标记的示例，其被呈现成具有几何变化的图像。图9是示出根据本发明实施例的用于选择嵌入媒体标记的预定的 媒体组分的处理流程图。图10是示出根据本发明实施例的用于选择要嵌入媒体标记的媒 体组分的处理流程图。图ll是示出根据本发明实施例的用于组合媒体标记和媒体组分 的处理流程图。图12是示出根据本发明实施例的用于利用感知模型来修改媒体 组分以包括来自媒体标记的信息的处理流程图。图13是嵌入处理的图解说明示例，其中包括具有文本"ABC 12 " 的标识图形的标记被可感知地整形并与显示地球的视频帧組合。图13A是根据本发明另 一 实施例的在模拟视频的投影或录制期 间利用透镜的媒体标记应用的图解说明示例。图14是示出根据本发明实施例的揭示媒体标记的处理流程图。图15是根据本发明实施例的通过累计结果来揭示媒体标记的处 理流程图。图16是根据本发明另 一实施例的用于通过在几个视频帧中强调 数据操作和组合结果来揭示媒体标记的揭示处理的图解说明示例。
具体实施方式
现在参考附图，示出了根据本发明实施例的嵌入和揭示媒体标记 的系统和方法。在许多实施例中，媒体标记是以信息的形式存在，其 被重复地嵌入媒体序列或媒体组中，并且嵌入的信息通常对于人类观 察者来讲是察觉不到的。然而，构成媒体标记的信息是可恢复的，并 且通常该信息被设计成 一 旦被恢复便为人可理解的。在多个实施例 中，通过强调和组合来自媒体序列或媒体组中的所选择的媒体组分的 信息来揭示媒体标记。在媒体标记被重复地嵌入媒体中的实施例中， 组合来自多个媒体组分的信息相对于基础媒体信息增强了标记。通过 重复地将标记嵌入媒体中，难以通过对媒体的操作去除媒体标记。此外，在媒体系列中嵌入媒体标记使得在诸如由重定格式或录制引起的 品质下降后，媒体序列或媒体组能保持媒体标记。根据本发明实施例的嵌入和揭示媒体标记的处理是不对称的。嵌 入和揭示处理是利用不同算法实现的不同处理。揭示媒体标记时所需 要的或所获得的信息不足以从媒体中去除媒体标记。此外，嵌入和揭 示处理通常由计算机来执行，但是实际的识别和解译通常由人来执 行。在媒体序列是一 系列视频帧的实施例中，媒体标记可采用可视信 息的形式，其被重复地与来自视频序列的帧的图像信息组合。在多个实施例中，感知掩蔽(perceptual mask )被用来以减少人类观察者将 察觉所呈现的视频帧中存在可视信息的可能性的方式来组合该可视 信息和视频帧的图像信息。在其它实施例中，媒体标记是音频信息，其被周期地嵌入音频序 列中，或者媒体标记是可视信息，其被嵌入图像组中类似的位置处。 媒体标记可以是插入数字媒体中的数字信息或者利用模拟处理插入 的数字信息。根据本发明实施例的媒体标记可被用来鉴别(标识)媒体 的接收方以及跟踪特定媒体序列或媒体组的分发。此外，媒体标记可 被用来将档案信息嵌入媒体中、执行拷贝控制、执行广播监视和/或分 发保密通信。用于嵌入媒体标记的系统图l中示出了用于分发媒体的根据本发明的系统的实施例。系统 10包括多个服务器12，其通过网络14被连接到多个设备。在图解说明 的实施例中，网络是有线电视网，而被连接到网络的设备之一是计算 机16，其通过有线调制解调器17而连接到网络。连接到网络的另一设 备是向电视机20提供输出的电视译码器18。服务器12存储可被提供给连接到网络的设备的媒体。在多个实施 例中，在服务器和设备之间的媒体传递利用加密码来保护。通常压缩 媒体以减少被要求来传送的数据量。从服务器接收的加密媒体通常被解密和解压缩以进行呈现(render),并且部分解密和解压缩处理包括 将媒体标记嵌入被解密的和被解压缩的媒体中。在由诸如电视译码器 18的用户电子设备接收的媒体的情况下，经常在硬件中执行解密和嵌 入处理。当可配置接收加密的媒体软件的设备(例如，计算机16)时， 在硬件中执行或利用客户端软件执行解密、解压缩和/或在媒体中嵌入 媒体标记。如果媒体被复制或被传递，那么一旦媒体标记被嵌入解密 的和解压缩的媒体中，媒体标记将出现在媒体中。在多个实施例中， 媒体标记对于接收和解密媒体的设备是唯一的。在多个实施例中，媒 体标记包括涉及接收内容的日期和时间以及用于接收设备或用户的 标识的信息。诸如日期、时间和标识的将被嵌入的信息可由服务器产 生并且可使其随着媒体来交付，或者所述设备可以使用本地存储的信 息，例如其序列号以及根据其内部时钟的日期和时间。在压缩加密的媒体的实施例中，在解压缩之前或之后，媒体标记可被嵌入媒体。在 下面将进一步讨论用于嵌入媒体标记的技术。尽管图l所示的实施例包括有线电视网，但是本发明的其它实施 例可包括其它使得能在连接到网络的服务器和设备之间进行通信的 网络技术。此外，根据本发明实施例的可接收媒体和嵌入的媒体标记 的设备不限于电视译码器和计算机。根据本发明实施例，任何多种连 接和断开的用户电子设备和计算设备可嵌入媒体标记。图1中所示的实施例包括通过网络的媒体分发和在分发后媒体标 记的嵌入。本发明的多个实施例包括在媒体分发之前将媒体标记嵌入 媒体中。在多个实施例中，媒体标记通过服务器(即，在头端)被嵌 入媒体中。当通过服务器嵌入媒体标记或者将被嵌入的信息由服务器 来确定时，服务器可记录有关嵌入的媒体标记的信息。例如，服务器 可存储有关请求者的账单信息的信息和/或有关接收设备以及关于传 输的媒体和信息的通信协议的信息。在许多实施例中，在媒体的分发 或处理中，或者同时或者在不同阶段地将多个媒体标记嵌入媒体中。 可才艮据揭示的标记来跟踪添加单独标记的每一个分发或处理步骤。此术兼容，其中，在相同的媒体中媒体标记可与传统的水印技术共存而 没有明显的干扰。所以，本发明的实施例可被用来在形成水印的媒体 中嵌入媒体标记或者将水印施加到含有媒体标记的媒体中。图2示出了根据本发明实施例的可将媒体标记嵌入媒体中的用户 电子设备的实施例。用户电子设备40包括连接到存储器46的处理器 44、 1/0控制器48和视频转换器50。 1/0控制器48被连接到网络接口设 备52、输入接口设备54、附加存储器56和音频输出设备58。在图解说 明的实施例中，网络接口设备52被连接到网络并且通过网络接收媒 体。所接收的媒体由处理器来操作以进行呈现。如上所述，可由处理 器执行的操作之一是将媒体标记嵌入媒体中。处理器可利用固件或软 件配置的微处理器的形式而存在。或者，可将处理器实现为一部分数 字信号处理电路或专用集成电路。在多个实施例中，将微处理器和其 它电路进行组合以用来实现处理器。尽管在图2中示出了特定的结构， 但是本发明的实施例可采用任何用户电子器件、嵌入设备和计算设备 的形式。例如，本发明的实施例包括VHS磁带播放器、DVD播放器、 视频投影仪、像机、数字视频摄像机、处理媒体数据的个人计算机、 手持视频回放设备(包括蜂窝式电话和游戏机)以及可处理视频的个 人信息管理器。嵌入媒体标记以上的讨论包括根据本发明实施例的可将媒体标记嵌入媒体中 的系统的描述。图3中示出了根据本发明实施例的可被用来在媒体中 嵌入媒体标记的处理。处理60包括产生媒体标记(62)并且然后选择 其中将嵌入标记的媒体组分(64)。然后将该媒体标记与媒体组分进 行组合以形成其中嵌入了标记的修改后的媒体组分(66)。然后对其 中要嵌入标记的任何另外的媒体是否可获得做出判断(68)。如果存 在另外的媒体，那么选择另一媒体组分并且将媒体标记与该媒体组分 进行组合直到没有另外的媒体为止。 一旦没有另外的媒体，就通过再 组合该多个媒体组分来完成该处理(70)。在许多实施例中，由于当媒体组分被播放时媒体标记与媒体组分进行了组合，所以再组合不是 必要的。在上述处理中，其中嵌入媒体标记的媒体可以是媒体序列或媒体 组的部分。如以下将详细描述的，在媒体序列或媒体组中不需要媒体 标记与每个媒体组分进行组合。当只将媒体标记与多个媒体组分中的 一些进行组合时，然后将修改的多个媒体组分与未修改的多个媒体组 分进行组合以创建其中嵌入媒体标记的媒体。以下的讨论更加详细地 针对上述处理的多个方面。生成媒体标记如上所讨论的，根据本发明实施例的媒体标记通常采用以人可理 解的形式表示的信息形式。例如，将被嵌入视频序列或图像组中的媒 体标记可包括文字和/或图像。由特定的大小、形状、紋理、字体类型 或符号的位置也可表示信息。要被嵌入音频序列的媒体标记可包括声 音、音调或口语单词。在多个实施例中，媒体标记也可包括诸如条形码或OCR字体的机器可理解的信息。可包括在媒体标记中的信息其多样性方面几乎是无限的。在多个 实施例中，媒体标记包括有关接收方、拥有者和/或传送或显示的时间 和位置的信息。媒体标记也可包括作为大量信息的散列码和/或对其它 信息(诸如数据库记录)的索引的信息。在多个实施例中，媒体标记 包括关于分发或处理限制的信息，该处理限制表示允许的工作流、对 媒体的修改、允许拷贝的量或允许的媒体文件拷贝的接收方。生成用于视频序列或图像组的媒体标记图4中示出了产生可被嵌入视频序列或图像组的媒体标记的处 理。处理72包括确定要被嵌入的信息(74)、对该信息编码(76)和 呈现编码的信息(78)。如上所讨论的可被嵌入媒体标记的信息实际上没有限制。该信息 可以是人可理解的和/或机器可理解的。 一旦已经确定要被嵌入的信息，就对该信息进行编码。可将该信息仅仅编码为然后被呈现的一系 列字母数字符号。在其它实施例中，在呈现之前修改基本信息。在多 个实施例中，可对信息进行压缩、用错误鉴别或纠错信息对其进行补 偿和/或对其进行编码。该呈现处理包括利用编码的信息来生成媒体。 在视频序列或图像组中将被嵌入的媒体标记的情况下，呈现编码的信 息为图像。在音频序列中将被嵌入的媒体标记的情况下，将编码的信 息转换为音频序列。对信息编码以呈现为媒体标记根据本发明实施例的对信息编码包括确定包含在媒体标记中的 信息将被表示的方式。如上所讨论的，嵌入视频序列或图像组中的媒 体标记可包括文字和/或图像，而嵌入音频序列中的媒体标记可包括声 音、音调或口语单词。在多个实施例中，利用大的符号和/或诸如AHal之类的简单字体 (例如，大约视频帧的l/4高度)来表示信息。大的符号具有很少的细 节并且因此大部分由较低频率分量组成。低频分量是非常鲁棒的并且 在视频通过诸如压缩、再录制和滤波之类的各种处理而降级后，低频 分量保留在视频内。可以这样的方式来进一步选择符号，该方式为 该符号对于人们来讲较为熟悉以易于识别，诸如根据文字的符号，且 当其被嵌入时最好为不易见到，诸如垂直和圆滑线而不是水平或垂直 线，例如，或者其具有彼此之间的最大差，诸如垂直和水平条。当选 择要表示嵌入信息的符号时的另一考虑是符号可被机器应用的效率， 例如可有效地存储和应用的块(blocks)。在多个方式中，通过符号的位置来表示信息。将帧大小逻辑地划 分为几个不同的区，并且通过使能或无效在区域中的符号来对信息进 行编码。在多个实施例中，在特定位置中符号的存在或不存在被用来 编码二进制信息。在几个实施例中，将同一类的信息存储在相同的位 置，使得被平均以去除媒体标记的标记视频在每一类中维持共同的信 息。以分等级的方式进一步构建信息以在相同的位置具有显著的值。例如，如果将包含不同时间码但包含相同邮政区号(zip code)的几部电 影进行平均，那么邮政区号信息不会被平均处理弱化。如果来自不同 区域的拷贝被平均，那么根据彼此接近的并且差异不大的邮政区号来 维持第一数字位。在其它实施例中，从几个不相关的区域中选择标记的位置，使得 ;故求平均的标记浮见频可能包含几个可读的标记而不重叠。一组实施例对信息进行编码以在固定位置提供固定的符号，从而 鉴别某部电影已被标记。如果试图通过对来自多个不同的媒体拷贝的 帧进行组合来去除嵌入的媒体标记，那么可弱化不在所有媒体拷贝中 出现的、在媒体标记中的信息。然而，可揭示包含在每一个拷贝的媒 体标记中的共同信息(即，在多个固定位置中的多个固定符号)。除了信息的表现，编码处理可包括设计来压缩或保护在媒体标记 内包含的信息的附加处理以及设计来纠正由随后的媒体处理引入信 息的错误的处理。图5中示出了根据本发明实施例的包括压缩和嵌入 纠错码的编码信息的处理。处理90包括提供(92)接着被压缩(94) 的信息，以及处理接着的压缩以生成纠错信息，该纠错信息被附加到 压缩的信息(96)。用于纠错的附加信息增加了冗余，其可被用来纠 正潜在的错读，并且恢复在识别揭示的媒体标记期间缺失的或不可识 别的符号。当对信息编码以形成媒体标记时，可应用任何种类的处理。图6 中示出了根据本发明实施例的包括加密的用于对信息进行编码的另 一处理。处理90，包括提供随后被压缩(94，)和被加密(96，)的信息。 对包括在媒体标记中的信息加密使得在媒体中的信息能安全传送。在 多个实施例中，包括(或以视频或音频格式的)加密信息的媒体标记 可被用来发送媒体内的保密消息。因为根据以上的讨论显而易见，在 呈现为媒体标记之前，任何不同的编码技术和处理可被用来编码信 息。编码处理的特性通常取决于存储在媒体中的信息、该信息的随后 使用和该信息的期望的降级以及与存储在标记中的信息相关的信息 的可用性。呈现编码的信息以形成媒体标记一旦编码被期望处于媒体标记内的信息，通过呈现作为媒体的编 码信息可创建根据本发明实施例的媒体标记。在用于嵌入视频序列或 图像組中的媒体标记的情况下，通常将编码信息呈现为图像，而在用 于嵌入音频序列中的媒体标记的情况下，通常将编码信息呈现为音频 序列。在编码为符号的信息被嵌入视频序列或图像组中的实施例中，可 将该符号呈现为图像，使得符号具有与背景不同的色彩和亮度信息。 在多个实施例中，要形成媒体标记的图像的背景是中等灰度。在嵌入 媒体标记后，具有中等灰度背景色彩的区域通常不会修改视频帧。在 几个实施例中，当使暗的内容具有亮边界而在符号的轮廓处提供强的 对比时，呈现符号。在许多实施例中，最亮和最暗的区域从中等灰度改变大约8%。对于8位灰度图像，像素值范围为0至255。中等灰度具 有127的像素值，而最小和最大像素值分别是大约107和147。此外， 利用较强的标记可强调用来识别字符的感知重要的区域，使得每一个 字符线的端点较暗，从而实现更强的嵌入。更强的嵌入在所揭示的媒 体标记中可提供更好的可读性，即使内容被降级的情况。作为根据本发明实施例的呈现媒体标记的部分处理，在生成图像 后，可应用各种滤波和/或转换。由滤波和转换导致的变化通常不妨碍 人识别揭示的媒体标记。然而，利用针对自动识别而提高保护的机器， 该变化可使媒体标记位置的检测变得复杂。图7中示出了根据本发明 实施例的呈现嵌入视频序列或图像组中的媒体标记的处理。处理IOO 包括使用编码的信息生成图像(102)以及对所生成的图像应用滤波 (104)。在图解说明的实施例中，该滤波是具有大约0.5的西格马的 高斯模糊和大约0.5的标准偏差。应用高斯模糊可去除在标记的内容中 是可视的强的边缘。在应用滤波后，对图像进行转换(106)。在图 解说明的实施例中，该转换包括将伪随机几何变化应用到图像。例如， 应用-5和+5度之间的旋转、图像大小的-10%和+10%之间位置变化以及在水平和垂直方向上+10%和-10°/。之间的拉伸。尽管在其它实施例中，可应用其它伪随机变化。在多个实施例中，伪随机变化的应用取决于保密密钥的使用而生 成伪随机序列，根据该伪随机序列可得到针对变化的参数。可由用户 提供密钥或者随机地生成密钥。当以上述方式应用伪随机变化来生成 媒体标记时，媒体标记不能从媒体中理想地去除，在该媒体中嵌入该 媒体标记而不用知道密钥。所以，根据本发明的系统的多个实施例存 储密钥以使得能使用密钥来从其中嵌入媒体标记的媒体中去除媒体 标记。如果不用去除媒体标记，那么在嵌入媒体标记后可丢弃该密钥， 这是因为对于检测不需要该密钥。除了上述的参考图7的滤波和转换，本发明的实施例还在呈现媒 体标记时可利用任何的滤波、转换或数据操作处理。例如，对用于嵌 入视频序列或图像组中的媒体标记的呈现可包括紋理、字体类型或符 号形状的修改。通常，基于使用媒体标记的特定应用的要求来确定针 对基本呈现的媒体所执行的处理。图8示出了根据本发明实施例的所呈现的媒体标记。媒体标记210 包括文本信息205和图形206,其利用应用的几何变化而呈现到图像 200。在图解说明的实施例中，文本信息205和图形206呈现为具有亮 的边界区域207和暗的内部区域208。应用到图像的几何变化的至少一 个是图像的部分旋转，使得文本信息的线条没有与图像的边缘相平行 地延伸。在其它实施例中，使用单色或不同的区域组合可呈现文本和 图形。此外，各种其它滤波、转换和/或处理可被用来创建图像的其它 变化(见以上说明)。此外，可使用滤波或字体，其消弱(breakup) 媒体标记中的线条，并且可向媒体标记应用伪随机噪音模式以进一步 减少已嵌入的媒体标记的可视性。选择其中将嵌入媒体标记的媒体如上所讨论的，根据本发明实施例的媒体标记被重复地嵌入媒体 中。随着时间扩展媒体标记可增加媒体标记的鲁棒性，这是因为揭示处理包括随着时间根据若干媒体组分累积结果。尽管媒体标记通常不 能根据单个媒体组分来恢复，所以每个媒体組分对总的检测结果有贡 献。当处理高度降级的媒体时，通过使用较长周期的媒体和处理更多 的单独媒体組分可使媒体标记经常被揭示(即使媒体标记在单独媒体 组分中已经明显地被减弱)。在多个实施例中，遍及媒体分发媒体标 记包括选择其中将以周期间隔嵌入媒体标记的媒体组分。在其它实施 例中，基于媒体组分的特性来选择其中将嵌入媒体标记的媒体组分。 例如，可只将媒体标记嵌入不可能使媒体标记的存在为可观察到的多 个媒体组分中。图9中示出了根据本发明实施例的选择其中将嵌入媒体标记的媒 体组分的处理。处理220包括选择笫一媒体组分(222 )、忽略预定份 的媒体(224 )、确定是否还有另外的媒体(226 )以及选择另一媒体 组分直到没有另外的媒体保留为止(222 )。为此，结束该处理(228 )。在其中处理被用来从视频序列中选择帧的以上处理的实施例中， 媒体标记可被嵌入数字视频的每个帧、数字视频的每隔N个帧或随机 的数字视频的多个帧中。在多个实施例中，在每隔N个帧嵌入媒体标 记的第一部分，而数字视频的每隔M个帧嵌入媒体标记的第二部分。 遍及媒体重复地嵌入不同的多个媒体组分标记可增加定位媒体标记 的困难以及从媒体中去除媒体标记的复杂性。图10中示出了用于选择其中将嵌入媒体标记的媒体组分的另一 处理。处理240包括检查(242 )媒体组分以确定(244 )该媒体组分 是否具有适于根据一组标准嵌入(246)媒体标记的特性。例如，该 标准可包括在媒体中变化的程度和/或背景噪声。当在包括高程度的变 化和/或背景噪声的媒体組分内进行嵌入时，媒体标记不大可能被检 测。如果该媒体组分的特性被确定为合适的，那么选择该媒体组分 (246)以嵌入媒体标记。该处理确定是否还有另外的媒体(248)。 如果存在另外的媒体，那么对下一組分的特性进行检查(242 )。 一 旦已检查了所有的媒体，那么该处理就完成了 (250)。在多个实施例中，以上处理的组合可被用来选择其中将嵌入媒体标记的多个媒体组分。此外，根据本发明的实施例可使用其它处理来 确定其中将嵌入媒体标记的多个媒体组分。组合媒体标记和媒体根据本发明的实施例，可使用多种技术来组合媒体标记和媒体。 该处理的属性通常取决于媒体的属性以及在特定应用中指定的任何 的不可见性、性能和格式要求。如上所讨论的，媒体的属性影响被用来组合媒体标记和媒体的处 理。该媒体可被压缩或被解压缩，并且可使根据本发明实施例的媒体 标记与或被压缩的或解压缩的媒体信息进行组合。图11中示出了根据本发明实施例的组合媒体标记和媒体的处理。处理260包括将初始的媒体组分转换到嵌入域中(如果被要求的话) (262 )。 一旦在嵌入域中，那么修改形成初始的媒体组分的信息以 包括媒体标记的信息。该修改通常在单个媒体组分中不明显。在对于 几个媒体组分的所选位置中弱修改的分布使得使用空间和时间域并 且使得三维(即，高、宽和时间)标记嵌入媒体中。以上讨论涉及嵌入域。嵌入域是信息的属性，其中可嵌入媒体标 记。例如，用于视频帧或图像的嵌入域可以是空间域或频域。在媒体 組分是视频帧的多个实施例中，嵌入域是解压缩的空间域。可以以适于其中将嵌入媒体标记的媒体组分的嵌入域的任何方 式来执行根据本发明实施例的对媒体组分的修改。在将媒体标记与视 频帧或图像进行组合的多个实施例中，该组合是逐个像素地将媒体标 记加到初始视频帧的亮度分量。从呈现在中等灰度级背景上的媒体标 记中减去中等灰度值，使得媒体灰度值不对帧进行修改，并且要嵌入 的图形由正和负数组成。只有这些被呈现的媒体标记的较亮和较暗的 区对该媒体组分引入了修改。图12中示出了根据本发明实施例的用于修改视频帧的部分的处 理。处理280包括将感知掩蔽应用到媒体标记(282 )、施加表示对媒 体标记的嵌入长度的加权(284 )并且然后将应用掩蔽和加权的媒体标记与视频帧或图像的像素进行组合(286 )。以上处理涉及感知掩 蔽的使用。感知掩蔽用来将对区域的媒体组分的改变限制到该改变对 人类观察者来讲不可能可见的区域。下面将更为详细地讨论感知掩 蔽。在多个实施例中，根据以下公式来执行应用掩蔽和加权的媒体标 记与视频帧或图像的像素的组合Sx，y，f = Ox,y,f + (Cx,y - (V/2))* Mx，y/R 其中Sx，y，f是在帧号为f的加标记的视频中、在位置x， y处的像素。S被 限制在允许的像素值范围内；Ox，y，f是在帧号为f的初始未加标记的视频中、在位置x， y处的像素；C、y是在呈现的媒体标记图像的位置x， y处的像素； V/2是中等灰度值；Mx，y，f是在帧号为f中、在位置x， y处感知模型计算的结果； R是确定多么强的修改被应用到视频帧或图像上、并且因此其的 可视性是多大以及媒体标记抵制内容的修改是多强的鲁棒性值。将越 高的R值嵌入可视性更高但也对修改抵制更强的标记，其中在较低品 质版本的媒体标记视频中很快可以检测到它。在优选实施例中，R具 有1的值。在其它实施例中，从视频中减去媒体标记，并且在多个实施例中， 只有背景被标记(即，不包含信息的媒体标记的区域)，其使负像被 嵌入。在一些实施例中，按照类似的帧之间的差对媒体标记编码。利 用阈值来测量相似性。该阈值可以是固定的或根据视频来动态确定， 例如使得5%的帧是在具有至少 一个其它类似的帧的组中。在编码时， 差被引入彼此类似的帧之间。在由媒体标记覆盖的区域中，通过在帧 之间引入差来对媒体标记进行编码。可根据可视性考虑和安全性考虑 来选择这些区域。如上所讨论的，多个本发明的实施例在除了亮度的域中修改了视频帧或图像。在多个实施例中，修改单个或多个色彩分量值。可根据诸如lab、 RGB、 YUV、 HSL和CMYK之类的色彩空间得到色彩分量。 嵌入域的选择可通过处理能力来确定以将承载媒体转换成那一处理 域。这对应用来讲特别相关，其中要求标记的有效应用，诸如在回放 或下载期间嵌入。如果媒体被解压缩以回放，那么可使用解压缩的域， 而如果亮度域例如在YUV像素格式中是可用的，那么亮度、解压缩的 像素域可被用来应用标记。如果例如在下载期间视频在压缩域中是可 用的，那么标记可被应用在压缩域中，如下面将进一步说明的。感知模型组合媒体标记和媒体组分的以上讨论涉及感知掩蔽的应用。通常 使用感知模型来生成感知掩蔽以分析该媒体组分以及鉴别何处对该 媒体组分的改变对人类观察者来讲可视性较低。根据本发明实施例的 感知模型通常以这样的下述方式来生成与媒体标记组合的掩蔽，该方 式即为通过与掩蔽的媒体标记的组合创建的媒体组分的改变在其中 降低人对该媒体组分的改变的察觉能力的区域中相对较大。在多个实 施例中，感知掩蔽限定了最大不可感知的修改，该最大不可感知的修 改可在进行媒体组分的改变时被执行。当为了组合媒体标记和视频帧或图像而创建感知掩蔽时，考虑人 的视觉系统的属性。人的视觉系统的属性限定了人根据区域的局部和 时间相邻(temporal neighborhood)的属性而看见对一见频帧或图像的 修改(即，嵌入的媒体标记的信息)的能力。该属性包括亮度、对比 度、噪声、色彩以及这些特性在时间和空间上发生的变化。例如，在 作为非常暗或非常亮的区域中、在包含对比度的区域中、在与诸如场 景变化之类的先前帧或随后帧不同的区域中、以及在包含大量高频信 息的区域中，对帧的修改可察觉性较低。根据本发明实施例的感知模 型也可考虑其上将显示视频的设备以根据使用的显示设备来适应不 同的—见频感知。以下将讨论根据本发明实施例的用于生成感知掩蔽的处理，该感知掩蔽表示在视频帧或图像中对于每一个像素的允许修改量。在下列等式中，Px,y，f表示在帧号为f中在位置x,y处的亮度的像素值。V是对于该^泉素值的最大值。此外，M是不可感知值Mlx，y，f、 M2x，y，f和M3x，y，f的加权的总和，其由下迷的几个不同感知属性的分析得到。在其它实施 例中，M可形成为相同或其它不可感知值的函数。Mlx，y，f是对于Px，y，f的空间对比度掩蔽的量度并且是针对那 一像素 的对比度，其被测量为Px，y,f和相邻像素之间绝对差的平均值。下列公式限定了对于3x3像素的区域的这一计算，其适于640x480像素的帧大 小。<formula>formula see original document page 22</formula>通过增加计算量并对于较大的帧尺寸使用更大的范围，以上用于 Mlx,y,f的z^式可容易地适应于对应于超过640x480的帧大小或小于 640x480的帧大小的像素区。M2x,y，f是Px，y，f的亮度并对于很暗和很亮的区具有更高的值，如由以下/〉式所确定的。M2-ld广K/2|，其中V/2是中等灰度。M3 x，y，f是时间对比度掩蔽并且是Px，y，f和先前帧的相同位置中的像素之间的^对差，即，M3wHc「d作为处理的部分，使无感知值M1至M3标准化以具有范围从0至1 的值。可进一步限定M1至M3为最大值以对于特定的或不寻常的帧内 容避免极端值。无感知值的加权总和由以下等式来确定<formula>formula see original document page 22</formula> 其中，W1是M1的加权，W2是M2的加权，而W3是M3的加权。 加权W1、 W2和W3确定感知属性对感知掩蔽的影响并且可4艮据可^L性测试或视频内容来改善。在优选实施例中，M1和M3具有1的加权，而M2具有0.5的加权。以上的讨论说明了关于空间域的感知掩蔽的创建。在多个实施例中，当压缩的内容被标记时，将用于压缩的信息用于感知模型。普遍在MPEG1和MPEG2中使用的压缩分量包括运动矢量，其表示再使用 在不同位置中的先前帧的帧内容。运动矢量确定所包括的运动量，其 是感知模型的重要属性。具有长运动矢量(long motion vector )或缺 失运动矢量的帧通常与先前的帧有很少的相似性。压缩帧或压缩区的 大小也可以是在帧或区域中噪声或频率量的表示。如果表现多个频 率，那么所述帧包含大量信息并且可被标记而无感知降级。通过使用 压缩信息来创建感知掩蔽，获得有关图像和特征的有价值的信息而不 消耗时间的分析。数据可被用于在嵌入之前可感知地对媒体标记整形 并且动态地适配在特定区域中嵌入的长度。在几个实施例中，执行一次对于视频序列或图像组的感知模型的 生成，并且将其应用到几个单独标记的视频序列或图像组的拷贝。也 可电子地压缩、传送所生成的信息并在稍后的阶段被应用。例如，可 将感知模型分开地存储并且可将其在视频序列或图像组的每次回放 期间进行应用而不用修改所存储的媒体。存储分开的感知模型可允许 以灵活的方式使能、无效或修改的暂时性标记。图13中示出了根据本发明的嵌入处理的图解说明的示例。消息 "ABC12⑥，，301被编码并被呈现以形成媒体标记305。在嵌入期间，针 对在嵌入期间修改的区域来创建感知掩蔽310。根据感知掩蔽310来组 合媒体标记305和本例中为地球315的视频帧以生成具有嵌入媒体标 记320的帧。在多个实施例中，因为感知模型将针对类似帧提供类似的结果， 所以在类似的帧中以类似的方式嵌入媒体标记。对于类似的帧生成类似结果的能力可妨碍通过比较在两个可视类似的帧中引入的差而确 定媒体标记的属性的统计分析的使用。此外，以类似的方式在每帧中嵌入媒体标记增加了媒体标记将表现在任何新的视频序列的可能性， 其中该新的视频序列是通过对其中嵌入媒体标记的视频序列的帧一 起求平均或者通过改变视频序列的帧的顺序而创建的。在多个实施例中，感知模型可被简化，并且要被修改的像素和嵌入符号的数量及大小可根据性能要求而改变。此外，可将初始视频划 分为几段并且利用不同的媒体标记来标记以隐藏大量信息。
对媒体标记和压缩媒体进行組合
在几个实施例中，通过修改压缩的元素来执行修改。可在诸如
DCT、 Wavelet(小波)和快速傅立叶之类的普通压缩域中执行感知模型 的分析以及实际的组合。媒体标记以及帧被表示并被组合在特定的域 中。对于用于MPEG1、 MPEG2和MPEG4的DTC域，空间对比度量 度Ml是包含Px,y，f的块(block)的所有DCT分量的绝对总和，亮度量 度M2可根据DC分量的值得到，以及时间对比度量度M3是在当前帧和 先前帧中频率之间的绝对差的总和。媒体标记与DCT压缩的帧的组合 是对应DCT系数的相加并且可按以下公式来计算
标记帧0<:1分量=初始视频001分量+ (媒体标记DCT分量-中等 灰度值DCT分量)*M*R
在另 一实施例中，媒体标记浮皮嵌入诸如Wavelet或快速傅立叶域 的不同域中。当在经转换的域中对媒体标记与媒体组分进行组合时， 在经转换的域或空间域中，该媒体标记是人可识别的。例如，可将标 记的空间表示嵌入初始视频的经转换的域中(揭示的媒体标记在经转 换的域中是可识别的，当在经快速傅立叶变换的图像中查看时可视的 图像)，或者标记的转换表示被嵌入初始视频的经转换的域中。在经 转换的域中嵌入空间信息可导致伪像(artifact)，其不可识别为人可 读的符号而却是噪声。
在多个实施例中，将信息嵌入多个嵌入域中。将信息放入多个域 中可减少其中嵌入了媒体标记的媒体的操作将导致所有媒体标记信 息消除的可能性。不同的域也可用作由每一个用户独立嵌入的不同信 息的栽体，以保护在相同内容中的不同位置和时间应用的若干独立的 标记。
嵌入位置的修改在另一实施例中，利用密码处理使嵌入位置得到保护以防止未经 授权地去除媒体标记。该处理包括根据密钥或密钥序列来改变嵌入位 置。在时间间隔中可伪随机地被生成密钥序列，或者可根据有效载荷 生成密钥序列以便被嵌入，或者可通过用户来提供密钥序列。在一些 本发明的实施例中，在每一个帧内实施变化，并且使用帧的相同位置 以嵌入比其它位置更强的标记。这些变化对于每一个帧和对于不同电 影中的相同帧来讲不相同。该变化妨碍了在不知道密钥的情况下嵌入 处理的理想反转。因为对于揭示或识别媒体标记不需要密钥，所以密 钥是非对称的。仅对于嵌入和去除媒体标记需要密钥。在嵌入后，如 果不需要去除，那么可丢弃该密钥。
在本发明的其它实施例中，使用另一密钥或密钥序列来通过改变 在帧中图形的位置而对帧序列实施变化。可在时间间隔中伪随机地生 成密钥序列，或者可根据要被嵌入的有效栽荷生成密钥系列，或者可 通过用户来提供密钥序列。取决于密钥序列，不同的帧序列会包含不 同位置的图形，并且因而形成的电影的间隔会包含不同的标记。由于 去除内容的试图通常实施到整部电影，所以提高了安全性，并且尽管 其可能影响一个间隔，但是在其它间隔中可能不明显地影响标记。为 了揭示，可存储该密钥序列，因为其在揭示期间会有帮助于而鉴别具 有相同位置的媒体标记的帧序列。
在音频中嵌入媒体标记
尽管上述的许多实施例说明了媒体标记对视频的应用，但是以对 视频所描述的类似方式可将音频媒体标记添加到音频。媒体标记是短 音频，其由信号音调或口述的单词或数字組成。媒体标记(音频标记) 以弱的、不可听见的方式被重复地嵌入媒体内容中。在一个实施例中， 对音频标记可感知地整形，在修改的可听见性较弱的位置应用较强的 标记。这些是表示许多其它可听见频率的周期。通过对音频应用高通 滤波并且对短音频标记的长度的子区段求平均来执行揭示。
在多个实施例中，音频媒体标记的长度是s秒，其被可感知地整形以及被重复地加到音频。在检测期间，将数字音频分成s秒长度的 多个区段。利用高通滤波来处理这些区段并且对其进行平均直到隐藏 的声音对人成为可听见的。
利用透镜将媒体标记嵌入视频中 除了在媒体中嵌入媒体标记的数字技术，本发明的实施例还可利
用模拟技术。图13A中示出了根据本发明实施例的利用透镜可在视频 序列中嵌入媒体标记的系统的实施例。该系统利用具有视频投影仪 605或记录装置的透镜610将媒体标记嵌入模拟视频中，透镜610被用 来在投影期间或录制视频期间嵌入标记。透镜610包括一个或多个半 透明字符615。字符615起着媒体标记的作用并且表示视频的标识信 息。当通过该透镜投影视频时，标识信息被重叠在所显示的视频上， 并且该字符被轻微地叠合在所投影的视频上，以及因此造成了对所投 影视频的修改，其类似于在本发明中公开的数字处理。这些字符的透 明度被调整到足够弱，使得它们在投影的图像上通常是不可察觉的 (为了说明的目的而在图13A中示出)，并且这些字符的透明度还被 调整到足够强来轻微地改变所投影的视频。利用根据再录制内容的数 字版本的本发明中公开的过程，这些改变通常可被揭示。在另一实施
例中，透镜被安全地固定在投影仪上或者利用防篡改密封来密封。该 应用对于在所投影的视频中隐藏像机标识信息是有用的并且在录制 时间保护运动画面内容。在另一实施例中，利用像机镜头来执行媒体 标记的嵌入，并且媒体标记的嵌入被用来鉴别用于录制的像机。
揭示媒体标记
根据本发明实施例的揭示媒体中嵌入的媒体标记通常包括使用 被设计来强调其中嵌入媒体标记的媒体组分之间的细微差别的处理。 强调该差别使得对由嵌入处理引入的媒体的细微变化进行强调。通过 对媒体的几个间隔进行结果累计，该差别可被显示以进行识别。在多 个实施例中，由人来执行所提取的媒体标记的识别和解译。人感知的能力经常较高地适于降级的图像或音频的识别。在多个实施例中，通 过来自多个媒体组分的组合信息来揭示标记，并且当组合信息时，执 行检查。根据媒体的不同部分使用多个媒体组分的能力意味着不需要 媒体的同步来揭示媒体标记。当与信息的组合同时执行检查时，当利 用足够的清晰度揭示了媒体标记时，用户可停止组合处理。在其它实 施例中，所有的媒体组分被组合或者可组合预定的媒体组分，并且然 后执行检查。图14中示出了根据本发明实施例的揭示、识别和解译嵌入媒体中 的媒体标记的处理。处理340包括选择第一媒体组分(342 )以及将来 自另外的媒体组分的信息与第一組分进行组合以强调媒体标记 (344)。然后检查组合的信息(346)，以及对关于媒体标记是否已 用足够的清晰度来揭示而执行识别做出判断(348)。当媒体标记没 有被充分地揭示时，来自另外的媒体组分的信息与先前组合的信息进 行组合(344 )直到揭示媒体标记为止。 一旦媒体标记被揭示，则可 执4亍识别(350 )。在许多实施例中，组合来自媒体組分的信息以强调媒体标记包括 高通滤波。其可通过处理每帧的每一个像素来实现，其中通过对其分 配对应于在围绕该像素的NxN像素区(例如，9x9)上拉伸的直方图 的值来处理每一个帧的每一个像素。该操作是特定版本的高通滤波。 在一些实施例中，与密钥无关地实施揭示处理，并且该揭示处理只根 据其内容处理视频的所有位置。在其它实施例中，以由密钥限定的间 隔来处理媒体，如上所述。在许多实施例中，诸如对比度提高、钝化 掩蔽、如直方图拉伸的直方图功能、自动达到级别(auto to level)和 利用诸如Sobel滤波器或其它边缘检测滤波器的滤波器进行滤波的应 用的其它处理被用来强调媒体标记。在几个实施例中，对多个帧求平 均，并且然后应用滤波处理。在其它实施例中，对多个帧进行滤波， 并且然后平均经过滤波的帧以强调媒体标记。图15中示出了根据本发明实施例的揭示视频序列中嵌入的媒体 标记的处理。如以上所讨论的，该揭示处理包括对不同的媒体组分所共同的不十分明显的信息加高亮。在图解说明的实施例中，将揭示处 理应用到潜在地经受了 一些转换的标记视频中，该转换诸如再录制、 再编码或滤波。首先，对于揭示处理，选择可包括媒体标记的视频序列(405)。 从视频序列中获得视频的帧(410)。如果有必要，那么将该帧转换 到检测域。在一些实施例中，对检测域进行解压缩。根据该帧，选择 适于对媒体标记加高亮的像素的相关区域(415)。根据自从媒体标 记的嵌入起视频已经经受了的降级，由于媒体标记造成的改变在每帧 的某些区域中可能较强，并且因此对于揭示媒体标记更为相关。这些 相关的区域可包括与先前的帧相比存在差异的像素区、包括相当数量 的低频信息的像素区或者通常适于揭示媒体标记的像素区。然后强调 像素区内的细微差别(420)。然后可对揭示的帧进行组合(425)，并且将该结果呈现给人类 观察者以便检测(430 )。在一些实施例中，然后可使用该结果来查 询数据库项、停止机器进行录制或者将该视频是非法的拷贝通知给拥 有者或初始接收方。在许多实施例中，强调细微差别的处理包括在每一个色彩域(诸 如红、绿和蓝)中针对每帧f的每一个位置x，y处的每一个像素Px，y,f的 下列处理的应用。该处理包括NxN高通滤波的应用(见以上讨论)。A. 选择区域Gx，y，f。这是围绕像素Px，y,f的区域。在该示例中，GX，y，f的大小是9x9像素区，并且在这种情况下，其由4个角落的像素位置 (x-4，y-4)， (x+4，y-4)， (x-4，y+4)， (x+4，y+4)来限定。根据应用到视频和/ 或帧分辨率的变化，该区域的大小、宽度和高度可改变。B. 通过计算在区域Gx，y，f上的直方图拉伸来强调区域Gx，y，f中的像 素之间的差别。然后，根据下述的公式，值Lp，x，y，f (直方图拉伸的结 果)被存储在像素Px，y,f的位置。Lp， x，y,f = ( Px，y,f - Lmin xy，f) *V/ ( Lmax x，y,广Lmin x，yf) 其中，Lminx，y，f=在区域Gw中的任何像素的最小值；Lman x，y，f =在区域Gx，y，f中的任何像素的最大值;以及 Lp， x，y,f =对于像素Px,y，f的这种直方图拉伸的结果。 V=最大像素值，最小像素值为O。C.通过确定在揭示的媒体标记的位置(x， y)处的对应像素Ex，y 来对每一个位置(x， y)处的每一个像素的处理过的帧求平均作为对 所有帧的Lp，的平均，如下列等式中所示的。Z7 — / ='其中，Nf =用于揭示处理的标记帧的总量 Ex，y-在位置x， y处的已揭示的媒体标记的像素 在几个实施例中，以上算法的步骤B包括对比度提高、钝化掩蔽、 高通滤波、直方图拉伸、直方图均衡化和诸如边缘检测滤波器实现的 边缘检测。最佳结果可根据视频内容和降级来改变。根据不同揭示方 法的结果可通过人员来分析，以便在任何给定应用中选择用于识别的 最佳结果。在几个实施例中，例如，直接使用诸如在DCT压缩帧而不是像素 中的DC系数之类的压缩分量来执行检测。当使用如MPEG1、 MPEG2 或H.264的DCT压缩的视频时，DCT块可被作为要被分析的区域。或 者，如果视频序列具有足够高的分辨率(例如，640x480像素)，那 么可分析DC分量而不是单独的像素。尽管根据本发明实施例不需要初始视频序列来揭示媒体标记，但 是接入初始视频基本上可改进所揭示的媒体标记的清晰度。在处理之 前，可从利用媒体标记所标记的帧中减去初始视频帧。图16中示出了根据本发明实施例的应用于视频序列的揭示处理 的图解说明示例。利用嵌入的媒体标记示出了三个数字电影帧505、 510、 515，为了示范的目的，其为可视的。处理每一个视频帧505、 510、 515以强调媒体标记，如上所述。该处理分别产生了三个修改的 帧520、 525、 530。如上所述，组合^务改的帧520、 525、 530以获得可视的且人可读的揭示的媒体标记540。当在视频序列或图像组中揭示媒体标记时，尽管由于应用到视频 序列或图像组的诸如旋转、移位和拉伸之类的转换造成了 一些几何变 形，但是人的视觉系统通常可执行配准并且可识别字符。几何变形的 根源可包括在诸如利用摄像机再录制的视频处理期间所引入的几何 转换。此外，即使视频已经具有主动应用的几何转换来破坏水印或者 即使(例如，通过压缩、转换、色彩变换、附加噪声等等)使视频明 显地降级，但是所揭示的媒体标记仍然可读。媒体标记的机器识别在另一实施例中，媒体标记包括计算机可读信息。在利用揭示处 理对其进行揭示之后，通过机器解译揭示的媒体标记以使能自动读 出。机器可读信息可包括诸如或者字符(OCR字体，如OCR-A或 OCR-B)、条形码(例如，线性条码、堆叠式条码、二维条码)或者 可由计算机识别的符号的机器可读元素。例如，条形码包括以下符号 表示UPC、 Interleaved 2 of 5、 Code 39、 Code 93、 Code 128、 EAN， 堆叠式条码符号表示，如PDF417，利用符号表示的也称作矩阵码 的2D条码，如Aztec Code、 Bullseye、 DataGlyphs、 Datamatrix、 DotCode。为了识别，使用条码读取、模式识别或光学字符识别。去除媒体标记在嵌入处理期间，只有某些视频数据被修改，然而，为了揭示， 使用所有的视频数据。因此，即使可识别揭示的媒体标记，但是个体 变化的精确位置不能通过分析或者逆向操纵揭示处理而被观察到。所 以，使媒体标记免于未授权的去除，因为对于去除来讲必须知道嵌入 位置和修改。然而，如果知道媒体标记、嵌入参数和所有随后的修改， 那么嵌入处理是可逆的。如果需要去除媒体标记，那么嵌入处理可以 被逆转，使得视频好像从来未被标记过。去除媒体标记的处理基本上 包括^f吏用嵌入处理的知识来反向地应用嵌入处理。应用的说明可将上述系统和技术用于基本上无限制范围的应用。提供下列作 为 一 系列应用的示例，其中根据本发明实施例的系统和处理可以是有 用的。跟踪保密的或取得版权的信息的无授权分发面对许多产业的问题是信息的未授权分发。可使用根据本发明实息中。可利用诸如接收方标识号和时戳之类的信息来唯一地标记每一 个分发的拷贝，并且如果该拷贝是公共可获得的、或处于未经授权来 拥有该信息的个体或实体的拥有中，那么可揭示该信息并且可鉴别作 为媒体的接收方和未经授权分发的可能的源的个人或实体。在多个实例中，在制作和授权的分发期间，保密的或取得版权的 信息在几个不同的实体和/或个体之间传递。在几个实施例中，在没有 授权的情况下信息从其被分发的点可在交付前、通过嵌入与信息的最 终接收方关联的媒体标记来确定。可基于被加到媒体的最终媒体标记 来鉴别负责未授权分发的实体或个体然后。其中分发取得版权的信息的 一般实例是通过网络对媒体播放器 分发取得版权的媒体。在多个实施例中，播放器是诸如机顶盒或个人 计算机之类的用户电子设备。通常以压缩和加密的形式将取得版权的 媒体分发到播放器。在解密后，根据本发明的实施例可将媒体标记嵌 入媒体中。媒体标记可包含与播放器的拥有者相关的信息以及标识传 送或播放的时间的信息。如果知道信息的接收方，那么将被嵌入的信 息可通过提供媒体的服务器(或首端)来生成。也可通过服务器将嵌 入的信息存入数据库，其包括诸如用户的账单信息之类的有关交易的 附加信息和有关接收设备的细节。在其它实施例中，播放器维持诸如 播放器标识号和时间的信息，其在存储和/或回放期间作为媒体标记被 嵌入。其中未授权的分发是普遍问题的另 一 实例是在媒体的制作中。在 制作期间，内容易于被未授权的分发，其可能对媒体的出品人造成极 大的损害。在多个实施例中，媒体标记在制作的各个阶段期间被嵌入 媒体中，其标识媒体的接收方和媒体的接收时间。如果使拷贝可^^共 地获得，那么可揭示媒体标记并且可鉴别负责人或实体。在上述的多个实施例中，针对分发的媒体而创建感知模型，并且 利用该媒体对其进行存储和分发。因为媒体标记被嵌入媒体中，所以 然后可使用感知模型。在其它实施例中，每当媒体标记被嵌入媒体中 时，创建感知模型。所有权的验证一旦媒体经历了公共分发，在媒体中验证版权的所有权可能成了 问题。在多个实施例中，使媒体标记嵌入媒体中以验证内容的所有权。 在多个实施例中，媒体标记包括对于取得版权的内容的所有权信息或 标识。该标记可被自动读取并且可评估它的存在与否以限制或允许分 发，或者证明分发媒体的源是该媒体的合法分发者。也可以使用该标 记，使得相对于内容有兴趣获得权利的实体或个体通过揭示嵌入的媒 体标记可鉴别内容的拥有者。对于由特定用户或用户组拥有的内容来 讲，标识拥有者的媒体标记的另 一使用是在例如通过因特网可接入的 公共可用的数据库中自动鉴别内容以防止进一步地分发。最终，在争 论的情况下，该标记可被用来验证所有权。存储鲁棒的元信息在长期的存储和存档期间，利用媒体存储的信息可能被丟失，这 或是因为其被偶然地删除或是因为其不可被读取。本发明的许多实施 例被配置成利用媒体标记来存储有关媒体的信息。利用媒体标记存储 信息可使得能在格式改变后取回信息，并且不需要额外的存储空间。拷贝控制在多个实施例中，机器可读的强媒体标记可被嵌入媒体中。然后 通过播放器可使用媒体标记以控制媒体的回放和/或录制。播放器可揭 示媒体标记并且确定播放媒体所需要的授权。如果播放器具有适当的 授权，那么播放器可播放媒体或拒绝回放。广播监视通过电视或广播台，根据本发明实施例的机器可读媒体标记也可 被嵌入媒体广播中。然后通过接收设备可使用机器可读媒体标记以自 动录制作为广播的内容并且跟踪广播的频率和时间。嵌入媒体中的媒 体标记针对每项工作和广播可能是不同的。保密通信如上所述，媒体标记可用来利用媒体传送保密信息。尽管可观察 到媒体的传送，但是事实上媒体包含另外的媒体标记是不明显的并且 可被用来传送信息，而不允许其它人观察到除了媒体内容之外还传送 信息。公共显示的媒体的标识被公共显示的媒体经常是录制的对象。在多个实施例中，媒体标 记被嵌入公共显示的媒体中，其标识公共显示的时间和/或位置。如果 在公共显示期间再录制媒体，那么媒体标记被嵌入未授权的再录制， 并且揭示该信息可有助于阻止将来在其中进行再录制的场所再录制 公共显示的媒体。尽管以上说明包含了许多特定的本发明的实施例，但是这些将不 构成对本发明范围的限制，而是作为本发明的一个实施例的示例。所 以，通过图解说明的实施例并不应该确定本发明的范围，而是通过所 附权利要求和它们的等价物来确定。
权利要求
1.一种在承载媒体中嵌入信息的方法，包括以媒体的形式呈现所述信息；从所述承载媒体中选择多个媒体组分；将被呈现的媒体的至少一部分与该承载媒体的所选择的媒体组分中的每个媒体组分组合以形成修改后的媒体组分，其中对所述修改后的媒体组分的所述修改对于人类观察者是不可见的；以及使用所述修改后的媒体组分来创建修改后的承载媒体。
2. 如权利要求l所述的方法，其中 所迷承载媒体包括视频序列； 承载媒体的每个所述媒体组分是单个视频帧；并且 所述被呈现的媒体是图像。
3. 如权利要求2所述的方法，还包括改变表示所述被呈现的媒体 的所迷图像的几何形状。
4. 如权利要求l所述的方法，其中，将所述被呈现的媒体的部分 与所述承载媒体的每个所述媒体组分组合包括根据感知模型来修改 所述被呈现的媒体。
5. 如权利要求l所述的方法，其中，伪随机地选择被呈现的媒体 的、与所述承载媒体的媒体组分组合的部分。
6. 如权利要求l所述的方法，其中 所述承栽媒体包括音频序列，所述承栽媒体的每个所述媒体组分是一段音频，并且 所述被呈现的媒体是音频序列。
7. 如权利要求l所述的方法，其中 所述承载媒体包括视频；并且所述被呈现的媒体包括通过其可投影或录制视频的透镜。
8. 如权利要求l所述的方法，其中，所述信息包括与所述媒体相 关的元数据。
9. 如权利要求l所述的方法，其中，所述信息标识视频回放的时 间和位置。
10. 如权利要求l所述的方法，其中，所述信息标识版权拥有者 或媒体的接收方。
11. 如权利要求l所述的方法，其中，所述信息包括对数据库的引用。
12. —种从承载媒体揭示嵌入媒体的方法，包括 从所述承载媒体中选择多个媒体组分； 选择每个所述媒体組分的至少一部分； 强调来自所述媒体組分的所述部分；以及 组合来自所述媒体组分的所述部分。
13. 如权利要求12所述的方法，其中，强调所述媒体组分的部分 包括对每个媒体组分应用高通滤波。
14. 如权利要求12所述的方法，其中，强调所述媒体组分的部分体的所述承载媒体。
15. 如权利要求12所述的方法，其中 所述承载媒体包括视频序列； 所述嵌入媒体包括数字图像；每个媒体组分是视频帧，并且被强调的每个视频帧的部分包括一 组像素。
16. 如权利要求12所述的方法，其中，将所述媒体组分的每个部 分组合在一起包括对所述媒体组分的每个部分求平均。
17. 如权利要求12所述的方法，其中，在组合所述媒体组分的所 述部分之后，通过一设备来识别所述嵌入媒体。
18. 如权利要求12所述的方法，其中 所述承载媒体包括音频序列； 所述嵌入媒体包括音频序列； 音频的每个组分包括音频序列的组分；并且 所述音频序列的每个组分的所述部分包括一组音频取样。
全文摘要
描述了将信息重复嵌入媒体中的系统和方法，该信息可通过强调媒体之间的细微变化而恢复。在许多实施利中，感知模型被用来鉴别媒体组分，其中所嵌入的信息不大可能被人类观察者看到。本发明的一个实施例包括以媒体的形式呈现所述信息；从所述承载媒体中选择多个媒体组分；将被呈现的媒体的至少一部分与该承载媒体的所选择的媒体组分中的每个媒体组分组合以形成修改后的媒体组分，其中对所述修改后的媒体组分的所述修改对于人类观察者是不可见的；以及使用所述修改后的媒体组分来创建修改后的承载媒体。
文档编号G06K9/00GK101273367SQ200680032570
公开日2008年9月24日 申请日期2006年7月19日 优先权日2005年7月19日
发明者尼尔斯·索维尔瑟 申请人:美国唯美安视国际有限公司