专利名称：：亮度评估的制作方法
技术领域：
：本发明涉及一种用于定量地评估水印并将水印应用于视频的方法。
背景技术：
：当今，强烈需求作为反盗版技术的数字水印加注。为了使得盗版者更难以规避水印，重要的是提出并使用许多潜在水印。不幸地，水印加注造成了影响视频的给定区域中的像素的改变。这样，重要的是，水印不造成可能干扰预期观众(intendedaudience)的预期观看体验的改变。因此，存在一种在嵌入水印之前利用一度量(metric)来评估潜在水印的需求，所述度量确定带水印的图像在感受上是否与不带水印的图像相同。
发明内容本发明的一方面是一种方法，其包括以下步骤提供要应用于视频的水印；基于亮度和/或色度准则确定该水印是不可察觉的水印还是可察觉的水印；以及将不可察觉的水印添加到列表。该方法可以包括以下步骤评价与该水印的应用相关联的视频的亮度和/或色度改变；仅对于一些块计算亮度和/或色度改变，其中在至少一个其它块上不执行计算；以及构造该水印的传播图。传播图包括具有某种亮度和/或色度改变的块。该方法还可以包括计算由于运动矢量改变引起的亮度和/或色度改变。另外，根据本发明的方法的特征在于以下步骤提供要应用于视频的水印；定量地确定如果嵌入该水印而引入的亮度和/或色度改变；基于所获得的定量值确定该水印是可接受的水印还是不可接受的水印；以及将可接受的水印添加到列表。另外的步骤可以包括以下步骤的不同组合将视频帧划分为块；仅对于一些块计算亮度改变，其中在至少一个其它块上不执行计算；仅对于一些块计算亮度和/或色度改变，其中对这些块的精确的亮度和/或色度值不执行计算；以及构造该水印的传播图，该传播图包括具有某种亮度和/或色度改变的块。水印的传播图可以存储参考帧号码、原始运动矢量和新运动矢量。可以基于对于块的运动矢量改变、帧内预测参考改变、和/或帧间预测改变来计算亮度改变。还可以使用所计算的亮度和/或色度改变来建立水印检测的检测参考值。另外的步骤可以包括将来自列表的水印应用于视频并且滤除来自列表的不满足有效负荷约束(payloadconstraint)的水￡口。另外，根据本发明的方法包括访问原始视频序列；访问或生成改变列表；对于改变列表上的预期改变，评估或计算对于块的各个亮度和/或色度改变；依据各个亮度和/或色度改变中的至少一个构造差码片，该差码片包含一组受该预期改变影响的块；以及依据各个亮度和/或色度改变中的至少一个更新差码片，其中各个亮度和/或色度改变是估计并且不是精确的亮度和/或色度值。特征可以包括在改变列表中的每个预期改变的开始处初始化差码片；在对于块的各个亮度和/或色度改变的每个亮度和/或色度评估或计算之后，更新该差码片。各个亮度和/或色度改变的估计可以基于与该预期改变相关联的运动矢量改变。使用与特定目标块邻近的相邻块中的边界像素中的亮度和/或色度改变，各个亮度和/或色度改变的估计可以基于当前块的帧内预测亮度和/或色度改变。还提供了一种装置，其包括用于将水印应用于视频的部件；用于预测如果嵌入水印而引入的亮度和/或色度改变的部件；用于基于预测的改变而确定水印的可接受性的部件；以及用于将可接受的水印添加到列表的部件。该装置还可以包括用于将视频帧划分为块的部件；用于仅对于一些块计算亮度和/或色度改变的部件，其中不执行计算来产生这些块的精确的亮度和/或色度值；以及构造该水印的传播图的部件，其中该传播图可以包括具有某种亮度和/或色度改变的块，并且该传播图可以存储参考相邻块号码和预测模式；用于通过帧间预测来计算对于块的改变的部件；用于通过帧内预测来计算对于块的改变的部件；以及用于使用所计算的亮度和/或色度改变来生成水印检测的检测参考值的部件。现在将参考附图通过示例描述本发明。图1表示帧内预测中涉及的相邻块。图2是亮度评估计算的框图。图3图示用于帧间预测块的亮度评估处理。图4图示用于帧内预测块的亮度评估处理。图5图示亮度评估方法的独立的版本。图6图示将亮度评估集成到AVC_解码器/传播图工具中的实现方式。图7图示基于AVC_解码器的传播图构造。图8图示传播图初始化。图9图示用于产生最终传播图列表的步骤。图10图示传播更新处理。图11图示对于帧内预测的传播图更新。图12图示对于帧间/帧内预测的优化的传播图更新。图13是传播图的图示。图14是图示传播图构造的框图。具体实施例方式本发明属于水印的评估和实现，并且本发明的实施例包括列表创建步骤，其后可以跟随一组列表过滤步骤。列表创建步骤的输出是可以作出的、对于观察者而言不反感的改变的列表。过滤步骤维持列表中的满足至少一个约束的改变，但满足各种约束将是优选的。最重要的约束是在水印嵌入之后，标记的图像应看上去在感受上与未标记的原始图像相同。本发明的关键特征是估计和/或计算由于运动矢量改变或帧内预测参考改变而引起的亮度和色度改变。在水印嵌入期间评估由修改运动矢量值而引起的改变的处理在此被称为亮度评估(LumEval)。亮度评估测量对于每个块的亮度改变量，其可以被用来评估改变，诸如水印加注应用中的保真度评价。本发明的几个其它关键特征是在没有充分重构修改后的亮度的情况下，获得帧间预测块的亮度评估；对于帧内预测，在每个块的亮度评估之后构造并更新码片差值，并且使用差值来构造修改后的码片；基于模式和原始/差码片来确定帧内预测块的亮度评估；以及将亮度评估应用于水印加注中的保真度评价、鲁棒性评价、和检测。此外，本发明的特征具体地可应用于AVC/CABAC(高级视频压缩/基于上下文的自适应二进制算术编码)水印加注技术，其中，多个步骤涉及嵌入。嵌入可以包括分析步骤，其中分析视频内容以创建在嵌入中可以使用的改变的列表。分析步骤可以被粗略地描述为列表创建处理，其后跟随一组列表过滤处理。列表创建处理的输出是在没有扰乱比特流的AVC/CABAC兼容性的情况下可以实现的改变的列表。设计过滤操作以便例如移除将引入可视伪像的改变，移除将难以恢复的改变，以及产生一组与其它外部约束(诸如，有效负荷约束和其它应用约束)兼容的改变。这里描述的至少一个实施例试图定量地识别由改变引入的亮度差。在许多方面，亮度差信息可能是关键的，所述许多方面包括以下保真度评价；鲁棒性评价；以及检测。在保真度评价中，使用亮度差来识别将引入可视伪像的改变。这可能允许移除如果不移除则将在标记的视频中引入可视伪像的那些改变。这样的可视伪像将通常是不可接受的。关于鲁棒性评价，使用亮度差来帮助识别被预期为鲁棒性不足以使被应用于加注了水印的内容的常见处理可用(survive)的改变，以及被预期为提供良好鲁棒性的那些改变。关于检测，可以将亮度差用作水印检测期间的参考值。在本发明的应用中，存在改变的列表，在每个改变将引入的亮度改变的方面对其进行评估。通常，在由一个改变引入的亮度改变和由另一改变引入的亮度改变之间可能相互作用。因此，独立地对待每个改变。亮度评估指示假设没有作出其它改变，给定改变将引入的亮度改变。用于计算两个视频序列之间的亮度差的严格方法是生成原始视频和修改的视频两者，并且取得差。该方法通过解码修改后的H.264/AVC比特流来生成修改后的视频；典型地是计算量大的且耗存储空间的处理。此外，给定改变的列表，可以对于列表中的每个改变进行解码。这典型地要求大量开销，所述大量开销通常使得该严格方法对于具有要评估的长的修改列表的应用不可行。在至少一个实现方式中，该水印加注应用可能具有每分钟图像2000个改变的量级。其它实现方式可能具有每分钟或多或少的改变。亮度评估算法的细节以在水印嵌入处理期间考虑帧间预测块中运动矢量值的修改而开始。这样的改变将导致对于块的像素值预测中的改变，并且因此导致重构的像素值中的改变(假设仍使用原始的残留(residual))。在许多情况下，该改变将影响重构块的亮度。可以采用指示受到单个运动矢量的修改影响的块的传播图。一个运动矢量的改变可能影响宏块本身(帧间预测)的亮度、传播图上的帧间预测块、以及传播图上的帧内预测块。图13(a)图示传播图的一个示例。该传播图1300与一个B码片块1310相关联，该B码片块1310的运动矢量已经被直接改变。该图中的其它块1320是将由于传播而间接改变的块。当块由于直接修改或者因为其落入另一改变的传播路径而改变时，该改变具有进一步传播到其相邻块的可能性。图13(b)图示了传播图的另一示例，其中当仅直接改变一个块1330时，四个相邻块1340的亮度值可能由于该传播而被修改。改变块的传播图P表示其亮度值由于传播也被改变的块P的集合。利用以下数据结构来表示传播图中的每个块，所述数据结构指示初始改变、当前块的预测模式、以及当前块中的改变，并且被表示为ρ={head_node_info,mode,cur_node_info}"head_node"在发起改变的运动矢量的位置和替换值方面唯一地标识改变块。传播图P中的所有节点将具有相同的‘‘heacUode”。元素‘‘mode”指示当前块的预测模式，其可以是帧内预测或帧间预测。元素“cur_n0de”记录关于当前块的信息。对于帧间预测块，其包含原始运动矢量和新运动矢量，而对于帧内预测块，其包含帧内预测模式和参考块。图14示出了用于构造传播图的方法。在1410，利用改变块ρ来初始化传播图P。在评估框1420，作出确定以评估块ρ是否为空。如果块ρ不为空，则在框1430中检查其四个相邻块中的每一个ayi=1，...，4(如图13b中所定义的)。这些检查中每项检查的目标都是确定对块P的改变是否将传播到相邻块、。为了这样做，解码使用与ρ相关联的原始值可以与改变的值进行比较。如果块、是帧间预测块，则在帧间预测路径1440中可以检查使用P的新运动矢量预测的运动矢量以及其它相邻块的那些。如果与原始运动矢量不同，则该改变将传播到该相邻块，并且在传播框1460中块αi被附加到传播图P。如果αi在帧内预测路径1450中进行帧内预测并且块ρ被用作预测中的参考，则该改变将传播到该相邻块，并且在框1460中块Cii被附加到传播图P。在已经检查了所有四个相邻块之后，考虑P中的下一元素。该处理重复，直至在P中不存在新元素，到达结束框1470。现在，对于帧间预测块，可以假设访问原始运动矢量(mv_g)和修改的运动矢量(mv_new)、连同预测加权信息。将修改后的亮度表示为Lnrat，并且修改后的亮度为两个预测(假设双向预测)的加权和加上残留。Lnew=W0XMC(mv0new)+W1XMC(mvlnew)+residue其中W0和W1分别是用于双向预测中的列表0预测和列表1预测的权重；以及MC(·)代表运动补偿的预测函数。注意，该公式具有两个运动矢量，IWtlnew和HlV1new。这是双向预测的结果。类似地，如下地计算被表示为Ltffg的修改之前的亮度。Lorg=W0XMC(mv0org)+W1XMC^v1org)+residue因此，可以如下地计算被表示为ΔL的亮度改变AL=Lnew-Lorg=[w0XMC(mv0new)+W1XMC(mVlnew)+residue]-[w0XMC(mv0org)+W1XMC(Iiiv1org)+residue]=W0X[MC(mv0new)-MC(mv0new)]+W1X[MC(mvlnew)-MC(mvlorg)]接下来，在本发明的实施例中，可以关注以下情况，其中水印加注处理仅修改两个运动矢量之一。在此情况下，Hivnew运动矢量之一将等于对应的mv。ld。AL的以上公式中的对应项将消失，而留下AL=wxX[MC(mvxnew)-MC(mvxorg)](1)其中，下标χ指示被修改的运动矢量。可以观察到在修改之前和之后仅需要计算列表X预测的运动补偿差中的亮度改变，而不是重构块中的所有像素值。该差被Wx加权的结果将是由于嵌入而引入的亮度差。亮度改变AL可以从中计算表示保真度评估的多个测度(measure)中的任一个的像素块。两个示例测度是亮度差之和和最大绝对差。在至少一个实施例中，使用绝对亮度差之和。在H.264标准(ITU-TH.264标准Advancedvideocodingforgenericaudiovisualservices(类视听服务的高级视频编码)，2005/03)中，许多帧间预测块从它们相邻块的运动矢量中导出它们的运动矢量，从而一个帧间预测块中的运动矢量的修改可能产生相邻帧间预测块的运动矢量的改变。相邻块中的该改变可能影响相邻块的亮度，并且本身可能进一步传播到其相邻的帧间预测块。对于重构块的作为结果的像素改变还可能产生相邻帧内预测块中的像素改变。这些改变也可能进一步传播到其它的帧内预测块。传播图指示哪些块将受到单个运动矢量的修改的影响。一个运动矢量的改变可能影响其宏块本身(帧间预测)、传播图上的帧间预测块、以及传播图上的帧内预测块的亮度。亮度评估可以使用传播图来评估受到单个运动矢量的改变影响的所有块的亮度改变。这包括直接影响的块、以及由于传播而间接影响的所有块。根据上面公式的应用来评估传播图中任何帧间预测块的亮度改变。现在将讨论块的帧内预测。帧内预测使用相邻块的边界像素来预测当前块的像素值。参见图1，作为在帧内预测中涉及的相邻块的示例。当帧内预测块处于传播图上时，已经改变了参考相邻块。为了确定对当前块的影响，亮度评估将需要重构对参考相邻块的边界像素的改变。修改之前的帧内预测块的亮度被表示为Lg，并且是来自块N的帧内预测和残留之和，其中N是来自组A、B、C和D的一个或多个相邻块。Lorg=IntraP(LNorg)+residueIntraP(·)是取决于为当前块规定的帧内预测模式的帧内预测函数。类似地，修改之后的帧内预测块的亮度被表示为Lmw，被定义为Lnew=IntraP(LNnew)+residue并且亮度改变为AL=Lnew-Lorg=IntraP(Lnnew)-IntraP(Lnorg)相邻块N中的新亮度Lnnew是该块的原始亮度加上改变ALn。如此，可以在修改之后将预测重写为IntraP(L_Nnew)=IntraP(LN。rg+ΔL_N)亮度差变为AL=IntraP(LNorg)-IntraP(LNorg+ΔLn)(2)可以看出，与帧间预测块不同，对帧内预测块的亮度评估要求来自其相邻块的亮度差ALn。假设按照解码顺序列出了块样式105或传播图中的块，并且按照所列出的顺序将亮度评估应用于这些块，则在亮度评估被应用于之前的块期间将已经获得当前帧内预测块要求的ALn。为了快速访问ALn，可以构造被称为“差码片”的用于每个传播图的码片。根据H.264标准(ITU-TH.264标准Advancedvideocodingforgenericaudiovisualservices，2005/03)，改变不传播通过码片的结尾。因此，亮度评估将不需要保存比码片更大的区域的块差。在来自公式(1)或公式(2)的传播图上块的亮度差AL被计算之后，不同的码片对其进行存储。然后可以从该差码片中得到用于将来块的aln。注意，差码片的创建不表示任何附加计算。将亮度评估应用于帧间预测块要求公式(1)中AL的计算。可以将该数据块保存到差码片。在对传播图的第一块应用亮度评估之前，可以首先将该差码片初始化至全部为零。类似的，将亮度评估应用于帧内预测块要求公式(2)中的AL的计算，并且将该数据块保存至差码片。图2示出了亮度评估的概览。算法的输入是原始视频序列205、改变列表210、以及改变列表中每个改变的块样式105。通过获取块215馈送关于传播图中每个改变块的信息，并且将其馈送到亮度评估计算。传播图包含按照解码顺序列出的、受到一个改变影响的所有块。对于传播图上的每个块，传播图存储以下信息如果块是帧间预测的，存储参考帧号码、原始运动矢量和新运动矢量；而如果块是帧内预测的，存储帧内预测模式和参考相邻块。对于改变列表中的每个条目，将亮度评估应用于传播图上的每个块。传播图上的第一块是其中作出了改变的帧间预测块。这在本发明中唯一为真(uniquelytrue)0根据之前列出的协议分析帧间预测块220和帧内预测块225。在改变列表的每个条目的开始处初始化该差码片，并且在对该改变的传播图中的每个块进行了亮度评估之后更新该差码片。图3图示了帧间预测块的亮度评估处理。取得305原始运动矢量和修改的运动矢量两者，并且将其用于执行两个不同的运动补偿以便获得两个块预测一个用于原始运动矢量310、一个用于修改的运动矢量315。可以输出这两个预测之间的差以用于进一步处理，并且也用于更新对应的块位置中的差码片320。如刚提及的，亮度评估的输出是两个预测之间的差。然而，在一些应用中，该差的其它衍生物可能是有用的。例如，优选实施例计算并输出差块中的值之和以及差的绝对值之和。图4图示了当识别405要执行的预测类型时对帧内预测块的亮度评估处理。对原始序列执行帧内预测410。在生成了修改的序列415之后，还执行修改的序列的帧内预测420。如公式(2)中所示，从原始码片和差码片导出修改的序列。另外，这两个预测的差被用来更新差码片，并且被直接输出或产生或者被用来导出输出或产出物。列出亮度评估实现方式的两个基本版本独立的版本、以及被集成到AVC_解码器/传播图中的版本。AVC_解码器/传播图是在AVC_解码器中建立的用于识别改变的块列表的工具。稍后在该说明书中给出该工具的更详细说明。图5图示了亮度评估的独立的版本530。这里，编码视频505和改变列表510被馈送到AVC_解码器/传播图生成器515中。对于独立亮度评估530的另外的输入是由AVC_解码器/传播图生成器515生成的用于每个改变的传播图、以及也由AVC_解码器/传播图生成器515生成的解码的原始YUV文件520。输出535将指示输入的改变块列表的每个条目的传播图中每个块的亮度改变。注意，独立亮度评估要求原始TUV文件作为输入。该YUV文件可能要求相当大的磁盘空间来进行存储，并且可能招致相当大量时间进行写入(在AVC_解码器/传播图中)并且然后读出(在亮度评估中)。更有效的实现方式将亮度评估集成到AVC_解码器/传播图中。这避免了对于节省解码YUV序列的需要；节省了存储空间并加速了运行时间。图6图示了亮度评估集成到AVC_解码器/传播图工具中的实现方式。该集成亮度评估的核心实现与独立的版本相同编码视频605和改变列表610被馈送到AVC_解码器/传播图生成器615中，AVC_解码器/传播图生成器615还生成传播图625。主要区别在于集成版本直接从在AVC_解码器/传播图中建立的数据结构中读取改变的块信息，而不是从文件中读取改变的块信息，并且从缓冲器中而不是从文件中读取原始YUV帧620。因此，集成亮度评估630不要求任何外部输入文件。输出635与独立的版本相同。如先前指示的，现在呈现关于帧内预测的更详细的讨论。帧内预测的宏块被编码为来自当前帧/画面中的预测与残留之和。如果一个或多个参考块处于改变的传播图上，则预测可能受到该改变的影响，在此情况下，当前块也将处于传播图上。可能存在三种类型的帧内预测帧内_4X4、帧内_8X8、以及帧内_16X16。在帧内_4X4模式下，对于16个4X4块中的每一个预测宏块。存在总共涉及图1所示的所有4个相邻块A、B、C、和D的8种模式(按照ITU-TRecommendationH.264|ISO/IEC14496-lOInternationalStandardwithAmendment1ψ^table8_2)。g8禾中牛莫ζ连同所涉及的(多个)相邻块在下表1中列出(从ITU-TRecommendationH.264|IS0/IEC14496-lOInternationalStandardwithAmendment1ψ^table8—2Μπ^)。表中，与该标准中的表8-2的区别在于可以区分用于帧内_4X4_DC模式的三种不同情况模式2-使用A和B两者；模式9-仅使用A；模式10-仅使用B。4X4_DC模式的第四种情况是既不使用A也不使用B，其不影响传播图并且由此可以被忽略。表1:4X4巾贞内预测模式权利要求1.一种方法，包括以下步骤选择可以被嵌入具有给定亮度和色度的视频图像的水印；确定如果所述水印被嵌入视频图像中，在视频图像的给定亮度和色度的至少一个中可能出现的任何改变的定量值；响应于所述定量值，接受或拒绝所述水印；以及将所述水印中被接受的那些水印添加到列表。2.如权利要求1所述的方法，其中所述视频图像包括块，并且其中该方法还包括以下步骤基于所述视频图像中的一些块但并非全部块，实现该确定步骤。3.如权利要求1所述的方法，其中视频图像包括块，并且其中该方法还包括以下步骤通过仅评估在所述视频图像的给定亮度中可能出现的改变来修改该确定步骤；以及基于所述视频图像中的一些块但并非全部块，实现该修改后的确定步骤。4.如权利要求3所述的方法，还包括以下步骤对于所选择的水印，构造传播图；以及在该传播图中包括具有给定亮度上的某种改变的那些块。5.如权利要求4所述的方法，还包括计算由于运动矢量改变而引起的给定亮度的任何改变的步骤；或者计算由于帧内预测参考改变而引起的给定亮度的任何改变的步骤。6.如权利要求3所述的方法，还包括以下步骤通过计算对正在评估的块的帧间预测改变，来实现该确定步骤；对于所选择的水印，构造传播图；在该传播图中包括具有给定亮度上的某种改变的被评估的那些块；以及对于所包括的那些块，存储参考帧号码、原始运动矢量和新运动矢量。7.如权利要求3所述的方法，还包括以下步骤通过计算对正在评估的块的帧间预测改变，来实现该确定步骤；对于所选择的水印，构造传播图；在该传播图中包括具有在给定亮度和给定色度中的任一个上的某种改变的被评估的那些块；以及对于所包括的那些块，存储参考相邻块号码和预测模式。8.如权利要求7所述的方法，还包括以下步骤响应于给定亮度和给定色度中的任一个上的改变，生成用于水印检测的检测参考值。9.如权利要求1所述的方法，还包括以下步骤将来自列表的所接受的水印之一嵌入到所述视频图像中。10.一种方法，包括以下步骤选择可以被嵌入具有给定亮度和色度的视频图像的水印；确定如果所述水印被嵌入所述视频图像中，在所述视频图像的给定亮度和色度的至少一个中可能出现的任何改变的定量值；响应于所述定量值，接受或拒绝所述水印；以及将所接受的水印嵌入到视频图像中。11.如权利要求10所述的方法，还包括以下步骤将列表中的水印与有效负荷约束进行比较；从列表中移除不满足有效负荷约束的水印。12.一种方法，包括评价要应用于视频的改变，所述视频被划分为块；创建传播图，所述传播图仅捕获通过所述改变的应用将改变的、对块的特定改变；基于亮度准则将所述改变评估为可察觉的改变或不可察觉的改变；以及对于不可接受的改变的传播图，将该传播图存储到列表。13.如权利要求12所述的方法，还包括基于使用与所述改变相关联的运动矢量改变来创建传播图。14.如权利要求13所述的方法，其中所述改变为水印。15.一种方法，包括访问原始视频序列205；访问或生成改变列表210;对于改变列表上的预期改变，评估或计算对于块的各个亮度和/或色度改变；依据各个亮度和/或色度改变中的至少一个来构造差码片，该差码片包含一组受该预期改变影响的块；以及依据各个亮度和/或色度改变中的至少一个来更新差码片。16.如权利要求15所述的方法，其中各个亮度和/或色度改变是估计并且不是精确的亮度和/或色度值。17.如权利要求15所述的方法，包括在改变列表中的每个预期改变的开始处初始化差码片；以及在对于块的各个亮度和/或色度改变的每个亮度和/或色度评估或计算之后，更新该差码片。18.如权利要求16所述的方法，包括基于与该预期改变相关联的运动矢量改变，确定各个亮度和/或色度改变的估计。19.如权利要求16所述的方法，包括使用与特定目标块邻近的相邻块中的边界像素中的亮度和/或色度改变，通过当前块的帧内预测亮度和/或色度改变，确定各个亮度和/或色度改变的估计。全文摘要一种方法，包括提供要应用于视频的改变；将视频划分为块；创建传播图，其仅捕获被改变的应用所改变的、对块的特定改变；基于亮度准则将所述改变评估为可察觉的改变或不可察觉的改变；以及对于不可察觉的改变的传播图，将该传播图存储到列表，其中传播图是被应用于视频的基本数据结构。可以通过使用与该改变相关联的运动矢量改变来创建传播图。文档编号H04N7/26GK102187673SQ200980141396公开日2011年9月14日申请日期2009年8月18日优先权日2008年8月19日发明者何杉,杰弗里.A.布卢姆,邹德坤申请人:汤姆森特许公司