专利名称：一种虚拟视点图像的版权保护方法
技术领域：
本发明涉及一种三维视频的处理技术，尤其是涉及一种虚拟视点图像的版权保护方法。
背景技术：
三维视频(Three-Dimensional Video, 3DV)是一种先进的视觉模式，它使人们在 屏幕上观看图像时富有立体感和沉浸感，可以满足人们从不同角度观看三维场景的需求。 通常，三维视频系统如
图1所示，其主要包括视频捕获、视频编码、传输解码、视点绘制和交 互显示等模块。多视点视频加深度(multi-view video plus depth,MVD)是目前ISO/MPEG 推荐采用的3D (Three-Dimensional，三维)场景信息表示方式，MVD数据在彩色图像基础上 增加了对应视点的深度信息，基于深度图像的绘制(D印th ImageBased Rendering, DIBR) 是一种利用参考视点的彩色图像及其所对应的深度图像绘制生成虚拟视点图像的方法。近年来，随着网络和信息技术的快速发展，使得数字图像、音频和视频等数字多媒 体信息和作品都能够通过数字化的形式直接获得和广泛传播，同时也使得盗版者可以非常 容易地复制或传播数字多媒体信息和作品，从而导致版权作品在非授权的情况下被广泛复 制和传播，严重侵犯了原作者的合法权益。因此，必须采取有效的版权保护措施来防止数字 多媒体作品的非法复制和传播。数字水印是实现版权保护的有效方法，不可见性、鲁棒性、 安全性等特征是评价数字水印方法的重要指标，而现有的数字水印方法的研究主要集中在 二维视频图像。在三维视频应用中，对多视点视频内容的版权保护也是非常重要的。对三维视频 内容的版权所有者来说，其不仅拥有原始采集的多视点视频内容的版权，而且采用DIBR方 法生成的虚拟视点图像也同样受版权保护。对虚拟视点图像的版权保护研究应当有别于现 有的二维视频图像的版权保护，这是因为一方面，绘制的虚拟视点图像受到几何变换、视 点同步攻击、空洞等各类攻击，如何有效地嵌入和提取水印信息，提高水印的鲁棒性是一个 亟需解决的问题；另一方面，由于绘制的虚拟视点图像没有原始视点图像作为参考，如何对 原始视点图像嵌入水印以保证由其绘制得到的虚拟视点图像也是受版权保护的，以及如何 从虚拟视点图像中精确地检测出水印信息，都是虚拟视点图像的版权保护过程中需要研究 解决的问题。
发明内容
本发明所要解决的技术问题是提供一种水印嵌入强度高、水印鲁棒性好、水印抗 干 扰能力强，且提取水印时无需参考原始视点图像的虚拟视点图像的版权保护方法。本发明解决上述技术问题所采用的技术方案为一种虚拟视点图像的版权保护方 法，其特征在于包括以下步骤①获取t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K 幅深度图像，将待嵌入的水印图像记为{Ρ(χ2，y2)}，其中，(χ2，y2)表示待嵌入的水印图像{P(x2，y2)}中像素点的坐标位置，1彡x2<N，l彡y2<N，N表示待嵌入的水印图像{P(x2, y2)}的水平和垂直尺寸大小，Ρ(χ2, ι2)表示待嵌入的水印图像{P(x2，y2)}中坐标位置为 (χ2, ι2)的像素点的水印信息；②将t时刻的第k个参考视点的彩色图像记为[^,(X1,>Oj，将t时刻的第k个参 考视点的深度图像记为，其中，1彡k彡K，i = 1，2，3分别表示YUV颜色空间的
三个颜色分量，YUV颜色空间的第1个颜色分量为亮度分量并记为Y、第2个颜色分量为第 一色度分量并记为U及第3个颜色分量为第二色度分量并记为V，(xi; Y1)表示彩色图像和 深度图像中像素点的坐标位置，1 ^ X1 ^ W, 1 ^ Y1 ^ H, W表示彩色图像和深度图像的宽 度，H表示彩色图像和深度图像的高度，/^_(、>0表示t时刻的第k个参考视点的彩色图像 {4柄，>0丨中坐标位置为(X1, Y1)的像素点的第i个颜色分量的值，极,(X1J1)表示t时刻 的第k个参考视点的深度图像[D^x1,>Oj中坐标位置为(Xpy1)的像素点的深度值；③首先对待嵌入的水印图像{P(x2，y2)}分别进行m次和η次置乱变换，分别得到 第一置乱水印图像和第二置乱水印图像，并分别记为(P1O^y3M和{ 2(知，73)}，其中，(知， y3)表示第一置乱水印图像{Pi(x3，y3)l和第二置乱水印图像{P2(x3，y3)l中像素点的坐标
位置
权利要求
一种虚拟视点图像的版权保护方法，其特征在于包括以下步骤①获取t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像，将待嵌入的水印图像记为{P(x2，y2)}，其中，(x2，y2)表示待嵌入的水印图像{P(x2，y2)}中像素点的坐标位置，1≤x2≤N，1≤y2≤N，N表示待嵌入的水印图像{P(x2，y2)}的水平和垂直尺寸大小，P(x2，y2)表示待嵌入的水印图像{P(x2，y2)}中坐标位置为(x2，y2)的像素点的水印信息；②将t时刻的第k个参考视点的彩色图像记为将t时刻的第k个参考视点的深度图像记为其中，1≤k≤K，i＝1，2，3分别表示YUV颜色空间的三个颜色分量，YUV颜色空间的第1个颜色分量为亮度分量并记为Y、第2个颜色分量为第一色度分量并记为U及第3个颜色分量为第二色度分量并记为V，(x1，y1)表示彩色图像和深度图像中像素点的坐标位置，1≤x1≤W，1≤y1≤H，W表示彩色图像和深度图像的宽度，H表示彩色图像和深度图像的高度，表示t时刻的第k个参考视点的彩色图像中坐标位置为(x1，y1)的像素点的第i个颜色分量的值，表示t时刻的第k个参考视点的深度图像中坐标位置为(x1，y1)的像素点的深度值；③首先对待嵌入的水印图像{P(x2，y2)}分别进行m次和n次置乱变换，分别得到第一置乱水印图像和第二置乱水印图像，并分别记为{P1(x3，y3)}和{P2(x3，y3)}，其中，(x3，y3)表示第一置乱水印图像{P1(x3，y3)}和第二置乱水印图像{P2(x3，y3)}中像素点的坐标位置，P1(x3，y3)表示第一置乱水印图像{P1(x3，y3)}中坐标位置为(x3，y3)的像素点的水印信息，P2(x3，y3)表示第二置乱水印图像{P2(x3，y3)}中坐标位置为(x3，y3)的像素点的水印信息；然后分别将第一置乱水印图像{P1(x3，y3)}和第二置乱水印图像{P2(x3，y3)}降维成一维序列，分别得到第一置乱水印序列和第二置乱水印序列，并分别记为{T1(l)}和{T2(l)}，其中，l＝y3×N+x3，T1(l)表示第一置乱水印序列{T1(l)}中的第l个水印信息，T2(l)表示第二置乱水印序列{T2(l)}中的第l个水印信息；再保存置乱次数m和n，作为水印提取密钥；④利用人类视觉对背景光照和纹理的视觉掩蔽效应，提取出t时刻的第k个参考视点的彩色图像的最小可察觉变化步长图像，记为⑤设定在t时刻的第k个参考视点的彩色图像中嵌入水印的起始位置，记为(x′1，y′1)，然后从起始位置(x′1，y′1)开始，根据t时刻的第k个参考视点的彩色图像的最小可察觉变化步长图像将第一置乱水印序列{T1(l)}嵌入到t时刻的第k个参考视点的彩色图像中，得到嵌入水印后的t时刻的第k个参考视点的彩色图像，记为再将起始位置(x′1，y′1)作为水印提取密钥，并保存，其中，1≤x′1≤W 8×N，1≤y′1≤H 8×N；⑥设定在t时刻的第k个参考视点的深度图像中嵌入水印的起始位置，记为(x″1，y″1)，然后从起始位置(x″1，y″1)开始，将第二置乱水印序列{T2(l)}嵌入到t时刻的第k个参考视点的深度图像中，得到嵌入水印后的t时刻的第k个参考视点的深度图像，记为再将起始位置(x″1，y″1)作为水印提取密钥，并保存，其中，1≤x″1≤W 8×N，1≤y″1≤H 8×N；⑦令k″＝k+1，k＝k″，重复执行步骤②至⑦，直至完成对K个参考视点的K幅彩色图像嵌入相同的第一置乱水印序列{T1(l)}及完成对对应的K幅深度图像嵌入相同的第二置乱水印序列{T2(l)}，将嵌入水印后的t时刻的K个参考视点的K幅彩色图像用集合表示为将嵌入水印后的t时刻的K个参考视点的K幅深度图像用集合表示为其中，k″的初始值为0；⑧采用多视点视频编码器对及进行编码传输，同时传输置乱次数m和n及起始位置(x′1，y′1)和(x″1，y″1)；⑨在用户端对编码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像进行解码，获得解码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像；⑩假定当前需绘制的是第k′个虚拟视点，从解码后的t时刻的K个参考视点中选择两个与第k′个虚拟视点最相邻的参考视点，假定这两个参考视点分别为第k个参考视点和第k+1个参考视点，采用基于深度图像的绘制得到t时刻的第k′个虚拟视点彩色图像和t时刻的第k′个虚拟视点深度图像，分别记为和其中，1≤k′≤K，(x1，y1)表示t时刻的第k′个虚拟视点彩色图像和t时刻的第k′个虚拟视点深度图像中像素点的坐标位置，1≤x1≤W，1≤y1≤H，W表示虚拟视点彩色图像和虚拟视点深度图像的宽度，H表示虚拟视点彩色图像和虚拟视点深度图像的高度，表示t时刻的第k′个虚拟视点彩色图像中坐标位置为(x1，y1)的像素点的第i个颜色分量的值，表示t时刻的第k′个虚拟视点深度图像中坐标位置为(x1，y1)的像素点的深度值；从起始位置(x′1，y′1)开始，从t时刻的第k′个虚拟视点彩色图像中提取出基本层置乱水印序列，记为从起始位置(x″1，y″1)开始，从t时刻的第k′个虚拟视点深度图像中提取出增强层置乱水印序列，记为其中，表示基本层置乱水印序列中的第l个水印信息，表示增强层置乱水印序列中的第l个水印信息；然后分别将基本层置乱水印序列和增强层置乱水印序列升维成二维图像，分别得到基本层置乱水印图像和增强层置乱水印图像，并分别记为和其中，y3＝Int(l/N)，x3＝lmodN，Int()表示取整数操作函数；再对基本层置乱水印图像进行m次反置乱变换恢复成基本层水印图像，记为对增强层置乱水印图像进行n次反置乱变换恢复成增强层水印图像首先对基本层水印图像和增强层水印图像进行融合，得到融合的水印图像，记为然后计算融合的水印图像和嵌入的水印图像{P(x2，y2)}的归一化互相关系数，记为再判断归一化互相关系数是否大于等于设定的第三阈值T3，如果是，则确定t时刻的第k′个虚拟视点彩色图像是受版权保护的，否则，确定t时刻的第k′个虚拟视点彩色图像是不受版权保护的，其中，0≤T3≤1；令k″＝k+1，k＝k″，重复执行步骤⑩至直至绘制得到的t时刻的K个虚拟视点彩色图像处理完毕。FDA0000031735070000011.tif,FDA0000031735070000012.tif,FDA0000031735070000013.tif,FDA0000031735070000014.tif,FDA0000031735070000015.tif,FDA0000031735070000016.tif,FDA0000031735070000017.tif,FDA0000031735070000021.tif,FDA0000031735070000022.tif,FDA0000031735070000023.tif,FDA0000031735070000024.tif,FDA0000031735070000025.tif,FDA0000031735070000026.tif,FDA0000031735070000027.tif,FDA0000031735070000028.tif,FDA0000031735070000029.tif,FDA00000317350700000210.tif,FDA00000317350700000211.tif,FDA00000317350700000212.tif,FDA0000031735070000031.tif,FDA0000031735070000032.tif,FDA0000031735070000033.tif,FDA0000031735070000034.tif,FDA0000031735070000035.tif,FDA0000031735070000036.tif,FDA0000031735070000037.tif,FDA0000031735070000038.tif,FDA0000031735070000039.tif,FDA00000317350700000310.tif,FDA00000317350700000311.tif,FDA00000317350700000312.tif,FDA00000317350700000313.tif,FDA00000317350700000314.tif,FDA00000317350700000315.tif,FDA00000317350700000316.tif,FDA00000317350700000317.tif,FDA00000317350700000318.tif,FDA00000317350700000319.tif,FDA00000317350700000320.tif,FDA00000317350700000321.tif,FDA00000317350700000322.tif,FDA00000317350700000323.tif,FDA00000317350700000324.tif,FDA00000317350700000325.tif,FDA00000317350700000326.tif,FDA0000031735070000041.tif,FDA0000031735070000042.tif,FDA0000031735070000043.tif,FDA0000031735070000044.tif,FDA0000031735070000045.tif,FDA0000031735070000046.tif,FDA0000031735070000047.tif,FDA0000031735070000048.tif,FDA0000031735070000049.tif,FDA00000317350700000410.tif,FDA00000317350700000411.tif,FDA00000317350700000412.tif,FDA00000317350700000413.tif
2.根据权利要求1所述的一种虚拟视点图像的版权保护方法，其特征在于所述的步骤 ④包括以下具体步骤④-1、计算t时刻的第k个参考视点的彩色图像[^.(XM》 的背景光照的视觉掩蔽效应的可视化阈值集合，记为
3.根据权利要求1或2所述的一种虚拟视点图像的版权保护方法，其特征在于所述 的步骤⑤中将第一置乱水印序列IT1 (1)}嵌入到t时刻的第k个参考视点的彩色图像
4.根据权利要求3所述的一种虚拟视点图像的版权保护方法，其特征在于所述的步骤 ⑥中将第二置乱水印序列IT2(1)}嵌入到t时刻的第k个参考视点的深度图像[D^x1, 中的具体过程为WxH⑥-1、将t时刻的第k个参考视点的深度图像分成个互不重叠的 8X8子块；⑥-2、定义从起始位置(x〃 y" D开始的第1个8X8子块为当前子块，记为，凡)，对当前子块，凡)的亮度分时进行DCT变换得到当前DCT系数矩阵，记 为V)，其中，1彡1 ^NXN, (x4, y4)表示当前子块,凡)中像素点的坐标位置，x4 ^ 8, y4 ^ 8, (u，ν)表示当前DCT系数矩阵Gf (μ,ν)中DCT系数的坐标位置，⑥-3、计算当前子块W(x4,凡冲所有像素点的标准差，记为σ(，判断σ〖<7；是否成立， 如果成立，则确定当前子块W(X4,凡)为平坦块，否则，确定当前子块,凡)为非平坦块， 其中，T1表示设定的第一阈值；然后依据当前子块的块类型为当前子块W(U4)指定一个强度因子β q，其中，q表示块类型，q = 1表示平坦块，q = 2表示非平坦块，β工> β2；⑥-4、假定低频坐标位置(u〃，ν")表示当前子块W(x4,凡)中要嵌入第二置乱水 印序列IT2(1)}中的第1个水印信息的位置，计算当前DCT系数矩阵(才( /,νΟ中坐标位置 为(u〃，ν")的DCT系数及与其横向相邻的两个DCT系数的均值，记为aVe(u"，ν")， ave(u", ν“) = (Gkl (u"-1, ν“) + Gkl (uν“) + Gkl (u"+1, ν"))/ 3，其中，位…"-1, ν“)表示当前 DCT 系 数矩阵Gf(M)中坐标位置为(u" -1，ν〃)的DCT系数，G； ")表示当前DCT系数矩阵 GfO/,ν)中坐标位置为(u"，ν")的DCT系数，O表示当前DCT系数矩阵GfhvO 中坐标位置为(u" +1, ν")的DCT系数；然后判断嵌入的第1个水印信息是否为1，如果 是，则修改当前子块冲要嵌入第1个水印信息的坐标位置(u〃，ν")对应的DCT 系数Gf K,ν") = ave(u\v^) + Pq，否则，修改当前子块g(x4,_y4)中要嵌入第1个水印信息的坐 标位置(u"，ν")对应的 DCT 系数=⑥-5、按照上面的步骤在当前子块W(X4J4)的四个低频坐标位置中嵌入相同的第1个 水印信息，并得到当前DCT系数矩阵位&ν)中的四个DCT低频系数修改后构成的DCT系数 矩阵；⑥-、令厂=1+1,1 = 1"，重复执行步骤⑥_2至⑥-5，直至t时刻的第k个参考视 点的深度图像[^i( >0j中的NXN个互不重叠的8X8子块处理完毕，得到各个8X8子块对应的修改后的DCT系数矩阵，其中，1"的初始值为0 ；⑥_7、对所有修改后的DCT系数矩阵进行反DCT变换，得到嵌入有第二置乱水印序列 {T2(l)}的t时刻的第k个参考视点的深度图像[^,(X1,只》。
5.根据权利要求4所述的一种虚拟视点图像的版权保护方法，其特征在于所述的步骤 ⑩中基于深度图像的绘制的具体过程为⑩-I、利用嵌入水印后的t时刻的第k个参考视点的深度图像[^，,(、只)}所提供的深度信息，分别将嵌入水印后的t时刻的第k个参考视点的彩色图像丨和深度图像 [^,(X1,>Oj中的各个像素点映射到需绘制的t时刻的第k'个虚拟视点，分别得到虚拟视 点彩色图像Ktf(X1J1)I和虚拟视点深度图像{仗/'(X1J1)I⑩-2、利用嵌入水印后的t时刻的第k+Ι个参考视点的深度图像[^^xyOj所提供的 深度信息，分别将嵌入水印后的t时刻的第k+Ι个参考视点的彩色图像和深度 图像{鸽;/(&>0}中的各个像素点映射到需绘制的t时刻的第k'个虚拟视点，分别得到虚 拟视点彩色图像{位:广(、>0}和虚拟视点深度图像{祝;广(、>0};⑩-3、判断由嵌入水印后的t时刻的第k个参考视点的彩色图像丨/Uxyjj绘制得到 的虚拟视点彩色图像p^f(X1A1)I中坐标位置为(Xpy1)的像素点是否为空洞像素点，如果 不是，则/L(X1J1) = Z^f (巧,>0，否则，继续判断由嵌入水印后的t时刻的第k+i个参考视 点的彩色图像绘制得到的虚拟视点彩色图像中坐标位置为U1, Y1)的像素点 是否为空洞像素点，如果不是，则^A，>0 =位广(巧，>0，否则，对空洞像素点进行填补， 得到最终的t时刻的第k'个虚拟视点彩色图像，其中，/Ux1J1)表示t时刻的 第k'个虚拟视点彩色图像PO1,>0j中坐标位置为(X1^1)的像素点的第i个分量的值； ⑩-4、判断由嵌入水印后的t时刻的第k+i个参考视点的深度图像绘制 得到的虚拟视点深度图像[^^巧，只)}中坐标位置为U1, Y1)的像素点是否为空洞像素 点，如果不是，则烤乂&只)=煤:η&,>0，否则，继续判断由嵌入水印后的t时刻的第k个 参考视点的深度图像 力^(巧，只力绘制得到的虚拟视点深度图像{力(巧，>0j中坐标位置 为(U1)的像素点是否为空洞像素点，如果不是，则母舡』)=彷/乜，>0，否则，对空洞 像素点进行填补，得到最终的t时刻的第k'个虚拟视点深度图像，记为[^i(AJ1)I，其中，^i(X1J1)表示t时刻的第k'个虚拟视点深度图像PO1,Wj中坐标位置为(Xpy1)的像 素点的深度值。
6.根据权利要求5所述的一种虚拟视点图像的版权保护方法，其特征在于所述的步骤 中提取基本层置乱水印序列伐(/)丨和增强层置乱水印序列的具体过程为WxH 」、将嵌入水印后的t时刻的第k个参考视点的彩色图像j/^^wj分成个互WxH不重叠的第一 8X8子块，将第k'个虚拟视点彩色图像j/j^(Xi，>^分成个互不重叠 的第二 8X8子块； -2、以起始位置(x' i;y' D作为提取水印的密钥，定义从起始位置(x' i;y')开 始的嵌入水印后的t时刻的第k个参考视点的彩色图像中的第1个第一 8X8 子块为当前第一子块，记为(x4,凡)，采用三维图像变换方法计算嵌入水印后的t时刻的 第k个参考视点的彩色图像^L(X1J1)丨中的坐标位置(x4，Y4)在t时刻的第k'个虚拟视 点彩色图像iH^，;^中的坐标位置，记为(X' 4，y' 4)，其中，(x4，y4)表示当前第一子块 (χ4,少4)的左上角像素点的坐标位置； .3、定义t时刻的第k'个虚拟视点彩色图像I^Xx1,>Oj中的左上角像素点的坐标 位置为(χ' 4, y' 4)的第二 8X8子块为当前第二子块，记为//'(X14,；/4)，对当前第二子块 彳'(χ'4,/4)进行DCT变换得到当前DCT系数矩阵，记为if (M)；然后计算四个嵌入水印的低 频坐标位置的DCT系数的平均值avel，以及四个低频坐标位置及与各个低频坐标位置横向 相邻的两个DCT系数的平均值ave2 ；再判断avel ^ ave2是否成立，如果成立，则提取出水 印信息1，否则，提取出水印信息0 ； _4、令丨“=1+1，i =丨"，重复执行步骤 -2至 -4，直至嵌入水印后的t时刻的第k个参考视点的彩色图像^Ux1,>Oj的NXN个互不重叠的第一 8X8子块处理完毕，得到基 本层的置乱水印序列WxH@_5、将嵌入水印后的t时刻的第k+i个参考视点的深度图像IA^xiJi彳分成 个互不重叠的第三8X8子块，将第k'个虚拟视点深色图像丨母‘JuJj分成个互不重叠的第四8X8子块； -6、以起始位置(χ〃D作为提取水印的密钥，定义从起始位置(x〃 1;y〃 D开始的嵌入水印后的t时刻的第k+1个参考视点的深度图像丨忍；/( >Oj中的第1个第三8X8 子块为当前第三子块，记为,凡)，采用三维图像变换方法计算嵌入水印后的t时刻的 第k+Ι个参考视点的深度图像中的坐标位置(x4，y4)在t时刻的第k'个虚拟 视点深色图像iA^a，>Oj中的坐标位置，记为(x〃 4，y〃 4)，其中，(x4，y4)表示当前第三子 块W+1(x4，_y4)的左上角像素点的坐标位置； _7、定义t时刻的第k'个虚拟视点深色图像[^',(X1,中的左上角像素点的坐标 位置为(X〃 4，y〃 4)的第四8X8子块为当前第四子块，记为/'4)，对当前第四子块 进行DCT变换得到当前DCT系数矩阵，记为Gf'b,V)；然后计算四个嵌入水印的 低频坐标位置的DCT系数的平均值avel，以及四个低频坐标位置及与各个低频坐标位置横 向相邻的两个DCT系数的平均值ave2 ；再判断avel ^ ave2是否成立，如果成立，则提取出 水印信息1，否则，提取出水印信息0 ； -8、令1" = 1+1，1 = 1"，重复执行步骤 -6至 -8，直至嵌入水印后的t时刻的第k+Ι个参考视点的深度图像[^Kx1,只》的NXN个互不重叠的第三8X8子块处理完毕，得 到增强层的置乱水印序列^2(Z)J。
7.根据权利要求6所述的一种虚拟视点图像的版权保护方法，其特征在于所述的步骤 中融合基本层水印图像
全文摘要
本发明公开了一种虚拟视点图像的版权保护方法，其根据人类视觉掩蔽效应提取最小可察觉变化步长阈值来对彩色图像嵌入不同强度的水印信息，根据深度图像不同区域的失真对虚拟视点绘制的影响来对深度图像嵌入不同强度的水印信息，这样大大提高了水印的嵌入强度和鲁棒性；然后采用基于深度图像的绘制得到虚拟视点彩色图像和虚拟视点深度图像，并设计不同的水印提取方法从虚拟视点彩色图像和虚拟视点深度图像中提取基本层和增强层水印图像，并通过融合得到最终的水印图像，从而实现对虚拟视点图像的水印盲检测，达到版权保护的目的。
文档编号H04N15/00GK101990081SQ20101053958
公开日2011年3月23日 申请日期2010年11月11日 优先权日2010年11月11日
发明者蒋刚毅, 邵枫, 郁梅, 陈恳 申请人:宁波大学