用于评估水印在视频中的存在的方法和设备的制作方法

用于评估水印在视频中的存在的方法和设备的制作方法
【专利摘要】本发明涉及一种用于评估水印在视频中的存在的方法和设备。所述视频至少包括帧的序列。所述方法针对在帧的序列之一之中的至少一个帧包括以下步骤：计算一组轴向交叉相关值，其中每个轴向交叉相关值对应于所述帧与沿着空间水平轴移位的参考水印之间的相关性；通过计算由应用于所述轴向交叉相关值的函数所输出的值的加权和来获得检测分数；根据所述检测分数来评估水印的存在。这样的方法特别好地适于视差相干水印的检测，但是与任何水印技术相容。进一步公开了一种实现所述方法的设备。
【专利说明】用于评估水印在视频中的存在的方法和设备

【技术领域】
[0001]本发明涉及在视频中特别是在合成视图视频或三维立体视频中的水印的检测。更特别地，本发明涉及一种用于评估水印在视频中的存在的方法并且涉及一种实施该方法的关联设备。

【背景技术】
[0002]本部分旨在向读者介绍技术的各个方面，其可以与在下面被描述和/或要求保护的本发明的各个方面相关。本讨论被认为在给读者提供背景信息以促进对本发明的各个方面的更好理解时是有帮助的。因此，应该理解的是，这些声明将被从这个角度阅读，并且不作为对现有技术的承认。
[0003]在三维(3D)立体视频中，右视图和左视图两者都被显示使得用户享受3D效果。左右视图是从立体相机捕获获得的或者左视图和右视图是从参考视图合成的。在多视图电视中，用不同的摄像机所捕获的相同场景的数个视图被发送给用户。用户自由显示所发送的场景的视图中的任一个，或者甚至从发送的视图合成中间视图，其对应于虚拟摄像机的视点。
[0004]至于标准视频，版权保护仍然是3D或多视图视频关注的问题。在许多替代版权管理系统之中，水印技术嵌入隐藏在图像中的看不见的信息。这种信息在取证中被用来识别非法拷贝的源。然而3D视频中的水印嵌入和水印检测比在单视图视频中更复杂。实际上立体水印本质上提出两个技术挑战。首先是检测器检测在新型的盗版样品(例如单个视图、组合视图、合成视图)内的嵌入式水印的能力，其次是嵌入式水印相对于深度感知的不可感知性。
[0005]现今，主要存在适于3D立体或多视图内容的两种类别的立体视频水印系统。
[0006]第一类别涉及深度不变量嵌入域。当立体视频的两个视图已被矫正时(在摄像机不是平行的情况下)，像素仅沿着两个视图之间的水平线被移位(shift)。为了忽视这样的位移，策略在于定义对于水平移位(例如沿着行的平均像素值)不变的域并且以将水印嵌入在这个域中。这样的方法在由同一 申请人:于2011年8月31日提交的欧洲专利申请EP2426 636A1中被公开。在这种不变域中表示视图是相当地稳定的，并且既定水印窍门能够被容易地再用。这就是说，已知从不变域回到视图的逆映射引入可能令人讨厌的赝像(持久性图案、头痛等)。
[0007]第二类别涉及视差相干水印。它在于基于左右视图关联的视差信息来导出左右视图中的参考水印。它稍微相当于模拟将被拍摄的有水印的3D场景。这种策略在视觉上产生相当自然的效果:水印噪声纹理是到场景中的对象的表面上。另一方面，迄今为止所提出的水印检测技术是非盲的。检测器需要辅助信息(原始摄像机的内在/外在参数、合成摄像机的内在/外在参数)来检索水印。可以在实践中估计一些这些参数，但是检测性能然后严重束缚于估计的质量。
[0008]例如，在“Watermarkingof free-view video，，(在“IEEE Transact1ns on ImageProcessing”2010 年 7 月第 19 卷第 1785-1797 页中)中，A.Koz，C.Cigla 和 A.Alatan 公开了一种用于通过利用人类视觉系统的空间屏蔽属性将水印嵌入到多个视图中的方法。他们同样公开了一种通过利用虚拟摄像机的位置和旋转来检测水印的方法。然而用于水印检测的方法需要不总是可得到的摄像机的原始视图和参数中的至少一个。在未知的摄像机参数情况下，他们公开使用原始视图连同所对应的深度图信息来估计合成视图的摄像机位置和定向。该方法包括相对于所估计的参数对原始视频进行变换的步骤，以及从合成视图减去它的步骤。作为结果的信号与水印信号之间的相关性在水印检测方面提供较好的性能。然而摄像机参数的估计需要大量的处理。这样的水印检测是不盲的以及是复杂的且费时的。此外，检测性能对摄像机参数估计敏感。
[0009]例如，在“Watermarkingfordepth-1mage-based rendering，，(在 2009 年 11 月关于图像处理的IEEE国际会议第4217-4220页中)中，E.Halici和A.Alaan同样公开了一种用于通过用参考水印加水印于参考视图来将水印嵌入到多个视图中、以及根据深度数据将这种参考水印的投影嵌入到其它视图中的方法。该方法以某种方式相当于加水印于3D场景拍摄。他们同样公开了一种用于通过估计参考视图与受测试视图之间的投影矩阵来检测水印的方法。因为该方法对于水印检测需要参考视图，所以检测器是非盲的。一旦投影矩阵被估计，参考水印图案的投影就被计算。然后如果受测试视图与已投影水印图案之间的相关性是足够高的，则受测试视图被认为是由有水印的视图生成的。然而，估计投影矩阵是易出错的且费时的。
[0010]水印系统的大部分依靠基于相关性的检测。本质上，检测器计算内容(例如视图)与参考水印信号之间的相关分数。如果内容包含水印并且与其对准，则检测分数是高的并且水印被检测到。
[0011]在应用于视频、图像或音频的现有技术水平水印检测方法中，(如例如在“Securespread spectrum watermarking for multimedia，，，IEEE trans.0n Image processing,1997 年 12 月 12 日，第六卷，1.Cox, J.Killian, F.Thomson Leighton, T.Shamoon 中所描述的那样)，水印通过计算参考水印信号与内容之间的相关性而在内容上被检测到。然后，相关性的绝对值与阈值相比较，以决定内容是否用所述水印信号水印。如果绝对值超过阈值，则相关性的符号使得能够确定位‘0’或位‘I’是否已被嵌入到内容中。当内容已经历几何失真时，例如如果内容已被修剪，或者内容的像素被移位，这样的方法未能恢复水印。如果该方法被直接地应用于立体图像水印，则视图合成将使得一些像素移位，并且移位的量将取决于图片中的对应对象的深度信息。因此，计算参考水印信号与合成视图之间的相关性将产生非常低的相关值:仅通过视图合成处理尚未被移位的像素将必定对相关性做出贡献。这种现有技术方法因此对于3D立体内容给出非常差的检测结果。
[0012]因为与盲水印检测器一起工作通常是更方便的，所以需要一种能够被与旧水印嵌入器特别是视差相干水印嵌入器一起工作、并且将不需要与原始视频相关的任何信息的检测算法。


【发明内容】

[0013]本发明的目的在于通过提出用于检测视频中的水印的方法来克服现有技术的缺点中的至少一个。本发明的构思在于计算每个都与水印信号的移位版本相对应的数个相关值，并且在于聚合这数个相关值以获得单个检测值。实际上，代替在基于相关性的检测之前对参考水印进行再成形，我们提出了收集不同片的散射水印信号的盲检测策略。
[0014]为此目的，本发明涉及一种用于评估水印在视频中的存在的方法，其中视频至少包括帧的序列。所述方法针对在帧的序列之一之中的至少一个帧包括:计算一组轴向交叉相关值，其中每个轴向交叉相关值对应于帧与沿着空间水平轴被移位的参考水印之间的相关性；通过计算由应用于所述轴向交叉相关值的函数所输出的值的加权和来获得检测分数从而根据检测分数来评估水印的存在。这样的方法特别好地适于视差相干水印的检测，但是与任何水印技术相容。
[0015]在第一优选实施例中，所述方法包括帧的初步处理，在该初步处理中，对帧进行变白和/或修剪。这样的预处理通过减少要被应用水印检测过程的帧中的主信号的干扰来有利地改进检测。
[0016]根据本发明的特别有利的特性，针对在一定范围内的移位计算每个轴向交叉相关值。
[0017]在变体中，函数例如是绝对值函数。在另一变体中，函数在其中轴向交叉相关值高于第二阈值的情况下输出轴向交叉相关值，并且函数在其中轴向交叉相关值低于第二阈值的情况下输出零。
[0018]在其它实施例中，视频包括与左视图和右视图相对应的帧的两个序列或者视频包括得自左视图和右视图的合成帧的序列。有利地在这些实施例中，轴是水平轴。
[0019]第二方面，本发明涉及一种存储计算机可执行的用来执行所公开的方法的程序指令的计算机可读存储介质。
[0020]第三方面，本发明涉及一种包括至少一个处理器的设备，所述至少一个处理器被适配成:为在帧的序列之一之中的至少一个帧计算一组轴向交叉相关值，其中每个轴向交叉相关值对应于帧与沿着确定轴移位的参考水印之间的相关性；聚合轴向交叉相关值中的至少一个以得到检测分数；以及将检测分数与第一阈值相比较以评估参考水印的存在。
[0021]虽然未显式地描述，但是可以在任何组合或子组合中采用本实施例。例如，聚合特征可以与预处理特征和/或3D立体型或合成视图的视频组合。此外，针对所述方法所描述的任何特性或变体与旨在处理所公开的方法的设备并且与存储程序指令的计算机可读存储介质兼容。

【专利附图】

【附图说明】
[0022]本发明的其它特性和优点将通过本发明的非限制性实施例的描述给出，本发明的非限制性实施例将在附图的帮助下被图示。
[0023]图1表示根据特定实施例用于检测视频中的水印的方法，
[0024]图2表示相同场景的左右视图中的像素的位移以及交叉相关值的集合，
[0025]图3图示实现根据优选实施例的方法的设备。

【具体实施方式】
[0026]因为所公开的检测方法特别好地适于3D立体视图中的视差相关水印的检测，所以尽管与任何水印技术相容，但是针对这样的水印方案和视频类型对优选实施例进行描述。
[0027]图1表示根据特定实施例用于检测视差相干水印的方法。该方法被应用到属于视频的帧的序列之一的帧之中的帧上。在以下描述中，术语“序列”包括表示视频内容的帧的时间集合。而且，在实践中，术语“序列”指的是3D立体视频中的“视图”(左或右)或者指的是多个视图视频中的“视图”。
[0028]在第一可选步骤101中，预处理操作被应用于帧以改进检测。在优选实施例中，这样的步骤在于将滤波器应用到帧上。例如，如果参考水印是白色或高通的，则变白滤波器可以被应用于帧。取决于所选滤波器的类型(例如，高通滤波器)，有可能仅保持在帧中所关注的东西(例如高频率)。通过这样做，帧与水印之间的干扰在接下来的步骤中将被减少，并且检测结果被增强。让我们考虑我们正在寻找的水印是以零为中心的高斯(Gaussian)噪声。在第一变体中，帧与高通滤波器之间的卷积被计算。简单高通滤波器例如是3X3矩阵:
「-1 -1 -Γ
[0029]- -1 8 一I
9
-1 -1 —1_
[0030]因为帧主要由低频分量组成，所以高通滤波将衰减这些分量并且因此提高水印信噪比。经滤波的帧能够被照原样保持，或者离群像素值能够被修剪:高于/低于预定义阈值的所有像素值被设置为阈值值。
[0031]在第二变体中，傅里叶变换被应用于帧。经滤波的帧将是该帧的傅里叶变换的相位(信号的大小被设置为一)的逆傅里叶变换:
[0032]F' = FFr1 [phase (FFT [F])]
[0033]在第二步骤102中，一组轴向交叉相关值被计算。每个轴向交叉相关值对应于帧与沿着确定轴移位的参考水印之间的相关性。在有利的变体中，轴是水平轴。这种变体很好地适于其中视频对应于包括合成左右视图的立体内容或者适于得自左右视图的合成帧的序列，其中视图是矫正的立体视图。那些合成视图还被称作虚拟视图。为了使用相关性来检测水印，帧必须不仅包含参考水印，而且被与它“对准”，即帧的像素在计算相关值之前必须尚未被移位或者修剪。在用视差相干水印保护的视图或从有水印的参考视图或者从有水印的左右视图生成的虚拟视图的情况下，水印在如图2上所表示的一些区域中将被移位(平移与对应于场景中的像素的对象的深度成比例)。在给定深度下的帧的每个区域将经历相同的移位，并且在这些区域中的底层水印也将经历这种移位。相同的对象在左视图和右视图中的位置之间的移位还被称作视差。基于单相关的之前所描述的现有技术检测方法将仅捕获其中视差是空的像素区域中的水印。步骤102包括计算帧与对于每个可能移位而被移位的参考水印之间的相关性，换句话说在滑窗内的交叉相关被计算。在给定深度下存在像素越多，帧与已移位水印之间的相关分数将越高。这种交叉相关步骤102的结果是向量P，其分量中的每一个都是帧F(大小为hXw)与具有给定移位I的水印W之间的相关性。在其中内容是矫正的立体帧的先前描述的变体中，仅针对水平移位执行相关:
[0034]^ =F(x，-1 y)
n 沙 \￡x<w
\<y<h
[0035]根据特定特性，有可能将移位的值限制于特定范围。实际上，因为视觉舒适，所以在立体内容中，视差值被限制在一定范围内。实际上，如果视差对于给定范围是较大的或较低的，则对于用户来说不可能享受3D对象，或者可能要求眼睛费太多的努力以会聚或者发散。因此，为了降低在检测中的计算负担并且为了避免考虑噪声相关分量，可以仅针对给定范围中的移位I来计算相关性。在实施例中，移位被包括在范围[_40，60]的像素中。
[0036]在第三步骤103中，轴向交叉相关值被聚合以获得检测分数。相关值P (I)的向量被用来决定图像是否用给定参考水印被加了水印，以及插入在图像中被加了水印的位是‘0’还是‘I’。在其中移位被限制在给定范围内的变体中，在给定移位范围中用于I的数个值P (I)被一起聚合成单个值。根据各种特性，遍及移位范围聚合这个向量的值以便获得检测分数包括
[0037]-求所有这些值的总和:
[0038]score{F) = TtP(I)


I
[0039]-取这些值中的最大值:
[0040]score{ F) = max /)(/)
[0041]或
[0042]score、/■') = pij ).Γ = arg maxjp(/)|
[0043]-求阈值值的总和:
[0044]Score(F)^T\P(J)ifPil)>T^

I [O olhenvise
[0045]或
[0046]OT(/--)=y|/7(/)//'p(/)|>7；

/ 1.() oiherwise
[0047]-求η个最大值的总和，当η是预设参数(例如η= 3)时:


η—\
[0048]score( I.') 二 V p(/.)


/=O
[0049]其中p (10)彡 p (I1) Dp (Ilri)彡 P (In) ^ ^ P (Ie)和 R 是所考虑移位的数目(即在移位范围中的移位的数目)。
[0050]替换地，上述聚合函数被应用于P (I)的绝对值。例如，聚合值是P (I)的绝对值在整个移位范围的和:
[0051]^ore(F) = X|p(/)|


I
[0052]针对聚合函数所描述的上述特性中的任一个都可以与绝对值I P (I) I而非有符号值P (I)组合。相关向量P (I)的任何其它函数可以被考虑作为聚合函数。
[0053]一旦检测分数被计算，第三步骤103检测分数与称作检测阈值Td的第一阈值的比较就允许决定帧是否包含参考水印。如果分数大于阈值，则认为参考水印被嵌入在帧中。如果分数低于阈值，则帧被检测为未被用参考水印加水印。在其中水印嵌入器使用水印参考信号的极性来嵌入水印位的变体中，比较的结果允许确定所嵌入的位。换句话说，水印嵌入器插入参考水印W(x，y)以嵌入水印位‘O’，并且插入参考水印-W(x，y)以嵌入水印位‘I’。因此，在这种情况下检测分数的符号被用来决定是位‘0’还是位‘I’被嵌入:
[0054]score (F) > Td:位 ‘O，
[0055]score (F) < Td:位 ‘I，。
[0056]图2表示在相同场景的左右视图中的像素的位移以及因此水印的位移以及交叉相关值的集合。
[0057]如先前所说明的那样，虽然常规的基于相关的检测器将遗漏嵌入式水印的所有未对准的片，但是与每个片相关联的水印能量能够通过在计算相关分数之前使参考水印信号偏离对应的视差值来获取。
[0058]在实践中，它归结成计算内容与参考信号之间的水平交叉相关。例如，让我们假定左视图200被用参考信号201加水印从而产生有水印的左视图202并且这个参考信号201被以视差相干方式导出到右视图203上从而产生有水印的右视图204。水平交叉相关值的集合揭示在左视图中以O为中心的峰值205，同时它产生与在右视图中的视差分布类似的曲线206。这种交叉相关和聚合检测不需要参考水印侧的任何辅助信息。检测是盲的。
[0059]图3图示被适配成实现检测方法的步骤的设备300的硬件实施例。本领域技术人员还将了解的是，能够在无需特殊设备的情况下通过诸如PC之类的设备相当容易地实现该方法。设备300例如对应于个人计算机，对应于膝上型电脑，对应于游戏控制台或者对应于任何图像处理单元。根据不同的变体，针对该方法所描述的特征用软件模块或用硬件模块加以实现。设备300包括旨在实现本发明的实施例的物理装置，例如处理器301 (CPU)、数据存储器302 (RAM或HDD)、程序存储器303 (ROM)、数个输入/输出304(1/0)中的一个。当被通电时，微处理器301加载并且运行在RAM302中包括的水印检测算法的指令。存储器RAM302还包括表不视频序列和关联的水印参考的数据。
[0060]如由本领域技术人员将了解的那样，本原理的方面能够被具体化为系统、方法或计算机可读介质。因此，本原理的方面能够采取全硬件实施例、全软件实施例(包括固件、驻留软件、微码等等)或组合能够全部一般地被在此称为“电路”、“模块”或“系统”的软件和硬件方面的实施例的形式。此外，本原理的方面能够采取计算机可读存储介质的形式。可以利用一个或多个计算机可读存储介质的任何组合。
[0061]自然地，本发明不限于先前所描述的实施例和特性。
[0062]特别地，本发明与任何水印方案兼容。
【权利要求】
1.一种用于评估水印在视频中的存在的方法，其中所述视频至少包括帧的序列，所述方法特征在于该方法针对在帧的序列之一之中的至少一个帧包括: ?计算(102) —组轴向交叉相关值，其中每个轴向交叉相关值对应于所述帧与沿着空间水平轴移位的参考水印之间的相关性； ?通过计算由应用于所述轴向交叉相关值的函数所输出的值的加权和来获得(103)检测分数； ?根据所述检测分数来评估(104)水印的存在。
2.根据权利要求1所述的方法，其中所述方法包括所述帧的初步处理(101)，在该初步处理中，对所述帧进行变白、修剪。
3.根据权利要求1所述的方法，其中针对在一定范围内的移位计算每个轴向交叉相关值。
4.根据权利要求1所述的方法，其中所述函数是恒等函数。
5.根据权利要求1的方法，其中根据所述来检测分数来评估(104)水印的存在包括将所述检测分数与第一阈值相比较。
6.根据权利要求1所述的方法，其中所述函数在轴向交叉相关值高于第二阈值的情况下输出所述轴向交叉相关值，并且所述函数在轴向交叉相关值低于第二阈值的情况下输出零。
7.根据权利要求1所述的方法，其中所述视频包括与左视图和右视图相对应的帧的两个序列。
8.根据权利要求1所述的方法，其中所述视频包括得自左视图和右视图的合成帧的序列。
9.一种计算机可读存储介质，其存储计算机可执行的用来执行根据权利要求1至8中任一项所述的方法的程序指令。
10.一种用于评估水印在视频中的存在的设备(300)，其中所述视频至少包括帧的序列，所述设备包括至少一个处理器(301)，其被适配成: ?为帧的序列之一之中的至少一个帧计算一组轴向交叉相关值，其中每个轴向交叉相关值对应于所述帧与沿着空间水平轴移位的参考水印之间的相关性； ?通过计算由应用于所述轴向交叉相关值的函数所输出的值的加权和来获得检测分数； ?根据所述检测分数来评估水印的存在。
【文档编号】H04N13/00GK104284182SQ201410315958
【公开日】2015年1月14日 申请日期:2014年7月3日 优先权日:2013年7月5日
【发明者】布里尼·瑟萨尔, 多尔·格纹内尔, 包德瑞·瑟伟尔里内 申请人:汤姆逊许可公司