基于NSCT和SIFT的立体图像零水印方法与流程

本发明属于图像加密和图像处理技术领域，具体涉及一种立体图像的零水印方法。

背景技术：

随着多媒体技术的不断发展，传统的单视点平面图像已经不能满足人们的需求了，单视点图像提供的场景信息比较有限，视觉体验也不够强烈，而能够提供深度信息的立体图像能够将不同方向和不同角度上的信息整合起来，给人以身临其境的感觉，增强了对物体的认知程度。立体图像技术已经在很多方面得到了应用，例如3d电影、远程会议、医疗、军事等方面。立体图像技术具有很好的发展前景与应用。

但是由于互联网的快速发展，图像很容易被传播，盗取和篡改，随之而来的立体图像的安全问题亟待解决。数字水印是近年来发展起来的一种有效的版权保护技术，成为信息安全领域研究的热门技术。数字水印利用图像载体的内在特性，将水印信息嵌入到载体中，在接收端通过检测水印信息的完整度来判断图像内容的真实性和版权的归属。水印技术隐蔽性较好，不会对图像的使用造成影响，是一种有效的保护图像版权的手段。

目前，对于二维平面图像水印方法的研究已经很深入，技术也相对成熟，主要分为空域方法和频域方法。空域方法简单易行，但水印的鲁棒性较差，很难抵抗多种攻击；而频域方法一般是通过修改频域变换的系数实现水印的嵌入，频域系数的变化可以分布到每个空域的像素点，水印的鲁棒性也就得到了提高。但立体图像通过两路摄像机采集到的左右视点图像分别送入人的左右眼中，形成双目视差，在人脑中融合成真实场景，相比于平面图像，需要考虑更多方面的因素，例如左右视点图像之间的联系，不能简单地将平面图像水印方法应用到立体图像上。并且，传统的空域和变换域方法都会对立体图像的图像质量造成影响，就有可能破坏立体视觉效果。

关于立体图像水印方法的研究比较少，并且现有的方法不能完全兼顾抵抗常规攻击以及几何攻击，并保证图像质量不受影响。

技术实现要素：

本发明的目的在于提供一种基于nsct(非下采样轮廓波变换)和sift(尺度特征不变变换)的立体图像视差零水印方法，本发明鲁棒性强，对原始图像质量没有影响，实用性强，普适性好。

本发明的一种基于nsct和sift的立体图像零水印方法，包括水印嵌入过程和水印提取过程；

1.水印嵌入过程包括以下步骤：

1.1选择立体图像的数据库，选取用于仿真的立体图像对，将立体图像的右视点图像记作r，左视点图像记作l，两幅图像大小都为m×n，二值版权标志水印图像记作wl，大小为m×n；

1.2将左右视点图像灰度化，分别对两幅图像进行sift特征点提取：

1)在高斯差分尺度空间提取sift特征点时，图像i(x,y)的尺度空间l(x,y,δ)由下列公式(1)和公式(2)得到：

l(x,y,δ)＝i(x,y)*g(x,y,δ)(1)

其中：g(x,y,δ)为高斯核函数，(x,y)为空间像素坐标，δ为尺度坐标，由此得到高斯尺度空间：

2)得到尺度空间后，每个点与相邻的同尺度的8个点，以及上下相邻尺度的18个点进行比较，找出极值点；将所有极值点利用海森矩阵进行筛选，海森矩阵和稳定性计算公式如式(4)和式(5)所示：

其中：d为微分算子；tr(h)为矩阵h对角线元素之和；det(h)为矩阵的行列式；e为特征点最大特征值与最小特征值的比率；如果找出的极值点满足公式(4)和公式(5)，就可以记为稳定的特征点；设稳定的特征点的集合为：

f＝{fi|fi＝((xi,yi),si,θi),i∈(0,p)}(6)

其中：(xi，yi)为特征点的像素位置；si为图像的特征尺度；θi为特征点的主方向；p为特征点的个数；

3)生成128维特征点描述符；首先计算特征点附近的16×16的矩阵点的梯度大小和梯度角度，然后形成一个4×4的特征点描述符，共16个，每个包含8个直方图方向，共4×4×8＝128个向量，即可表示特征点的描述符；

1.3对左视点图像l和右视点图像r分别进行非下采样轮廓波nsct分解，得到低频子带图像sl和sr，以及各个尺度上的高频子带图像；

1.4取出低频子带sl和sr，利用立体图像匹配的方法，求取两幅低频子带图像之间的视差图像d，采用水平方向上的视差图，和从左到右的匹配方式，视差图像的大小与原始立体图像相同，也为m×n；

1.5将视差图像分为大小为(m/m)×(n/n)的不重叠的图像子块ci，图像子块的个数为m×n，用i给图像子块按照从左到右从上到下的次序标定顺序号，1≤i≤m×n；

1.6对每一个图像子块进行奇异值分解svd，如式(7)所示：

其中：u和v为酉矩阵；s为对角矩阵，即奇异值矩阵，对角线上的元素为奇异值，s＝diag{λ1，λ2，λ3,……λm}；取出每个图像子块奇异值第一个特征值λ1i，也就是矩阵中最大的特征值，求所有的λ1i的平均值λa，1≤i≤m×n，如式(8)：

1.7根据每个图像子块的奇异值与它们的平均值的关系来构造零水印，制定零水印的生成规则：如果第i个图像子块的奇异值大于平均值，设定wi为1；如果第i个图像子块的奇异值小于平均值，则设定wi为0，如式(9)；按顺序遍历所有的图像子块，将得到的所有wi汇集成一个二值序列，将二值序列变形为大小为m×n的二值零水印图像w；

1.8将版权标志水印图像wl与二值零水印图像w进行异或，得到认证水印图像w*，将认证水印图像送到注册中心的水印信息库中保存，使立体图像处于水印技术的保护之中；

将零水印的生成方式、生成规则以及原始图像的sift特征模板作为密钥保存；

2水印提取过程包括以下步骤：

2.1对待检测的立体图像的左右视点图像分别记作l'和r'，大小为m×n，用保存的特征模板首先进行sift特征匹配，判断是否受到几何攻击，如果存在几何攻击，进行图像校正，否则，直接进行下一步；

2.2将左视点图像l'与右视点图像r'灰度化后分别进行nsct分解，得到低频子带与高频子带，取出各自的低频子带图像s'l和s'r，大小为m×n；

2.3将两幅低频子带图像利用立体匹配的方法，求出水平方向上的视差图像d'，匹配方式是从左到右；

2.4将视差图像分解成大小为(m/m)×(n/n)的不重叠的子块c'i，将图像子块按照从左到右从上到下的顺序进行排列，用i代表图像子块的顺序，1≤i≤m×n；

2.5按顺序对每个图像子块进行奇异值分解：

在每个奇异值矩阵中提取出第一个奇异值λ'i1，求取它们的平均值：

2.6遍历所有的图像子块，依次比较每个图像子块的奇异值与它们奇异值的关系，如式(13)，如果第i个奇异值比平均值要大，返回值1，否则，返回值0，将所有返回值按顺序存储在大小为m×n的二值矩阵中，该矩阵就是提取出来的二值零水印图像w'；

2.7从注册中心取出保存的认证水印图像w*，与1.2.6步骤中提取的二值零水印图像w'进行异或，得到版权标水印志图像w'l：

用版权标志水印图像的内容判别版权的归属问题。

与现有技术相比，本发明的优点是：

1)利用立体图像nsct变换域低频子带的奇异值的稳健性来构造视差零水印，当受到各种攻击时仍然能够准确地从图像之中提取出水印，相比于其他方法，提高了水印的鲁棒性，同时nsct变换的冗余性也提高了水印的容量。

2)利用视差图像作为载体来构造水印，能保证水印与左右视点图像之间的联系。

3)解决了水印方法鲁棒性和不可察觉性之间的矛盾，零水印嵌入过程不会对原始图像造成改变，能保证原始图像的图像质量。

4)能提高水印抵抗几何攻击的能力，几何攻击会破坏水印信息与图像之间的同步性，利用sift特征点匹配将受到攻击的图像校正后再提取水印。

5)本发明所提出的方法是盲水印方法，提取水印时不需要原始图像，为实际应用提供了便利。

附图说明

图1为基于nsct和sift的立体图像零水印的流程图

图2为立体图像dolls,(a)为左视点图像,(b)为右视点图像

图3为版权标志水印图像

图4为立体图像teddy,(a)为左视点图像,(b)为右视点图像

图5为立体图像受到非对称攻击后提取出的水印,(a)～(j)依次为受到10种攻击类型后提取出版权标志水印图像

图6为立体图像受到对称攻击后提取出的水印,(a)～(j)依次为受到10种攻击类型后提取出的版权标志水印图像

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。

如图1所示，本发明的水印嵌入过程，包括以下步骤：

1.选择立体图像的数据库，图2为选取用于仿真的立体图像对的左视点图像和右视点图像，大小为512×512；图3为二值版权标志水印图像，记作wl，大小为64×64。

1.2.将左右视点图像灰度化，分别对两幅图像进行sift特征点提取：

1.2.1提取sift特征点时，是在高斯差分尺度空间(differenceofgaussian,dog)进行的，图像i(x,y)的尺度空间l(x,y,δ)可由式(15)和式(16)得到：

l(x,y,δ)＝i(x,y)*g(x,y,δ)(15)

其中，g(x,y,δ)为高斯核函数；(x,y)为空间像素坐标；δ为尺度坐标，由此可得到高斯尺度空间：

1.2.2得到尺度空间后，每个点与相邻的同尺度的8个点，以及上下相邻尺度的18个点进行比较，找出极值点；将所有极值点利用海森矩阵进行筛选，海森矩阵和稳定性计算公式如式(18)和式(19)所示：

其中：其中，d为微分算子；tr(h)为矩阵h对角线元素之和；det(h)为矩阵的行列式；e为特征点最大特征值与最小特征值的比率；如果找出的极值点满足上面公式(18)和公式(19)，就可以记为稳定的特征点；设稳定的特征点的集合为

f＝{fi|fi＝((xi,yi),si,θi),i∈(0,p)}(20)

其中：(xi,yi)为特征点的像素位置；si为图像的特征尺度；θi为特征点的主方向，p为特征点的个数。

1.2.3生成128维特征点描述符；计算特征点附近的16×16的矩阵点的梯度大小和梯度角度，然后形成一个4×4的特征点描述符，共16个，每个包含8个直方图方向，即共4×4×8＝128个向量，即可表示特征点的描述符。

1.2.4将左视点图像与右视点图像各自的特征点的位置、尺度、描述子保存为模板tl和tr。

1.3.对左视点图像l和右视点图像r分别进行非下采样轮廓波nsct分解，得到低频子带图像sl和sr，以及各个尺度上的高频子带图像。

1.4.取出低频子带sl和sr，利用立体图像的匹配方法，求取两幅低频子带图像之间的视差图像d，这里我们采用的是在水平方向上的视差图，匹配方式是从左到右，视差图像的大小与原始立体图像相同，也为512×512。

1.5.将视差图像分为大小为8×8的不重叠的图像子块ci，图像子块的个数为64×64，用i给图像子块按照从左到右从上到下的顺序标定顺序序号，1≤i≤64×64。

1.6.对每一个图像子块进行奇异值分解(svd)：

其中，u和v为酉矩阵；s为对角矩阵，即奇异值矩阵，对角线上的元素为奇异值，s＝diag{λ1，λ2，λ3,……λm}，有研究表明，图像的奇异值在受到干扰和攻击时，稳健性很强；取出每个图像子块奇异值第一个特征值λ1i，也就是矩阵中最大的特征值，求所有的λ1i的平均值λa，1≤i≤m×n，如式(22)所示：

1.7.根据每个图像子块的奇异值与它们的平均值的关系来构造零水印，制定零水印的生成规则：如果第i个图像子块的奇异值大于平均值，设定wi为1；如果第i个图像子块的奇异值小于平均值，则设定wi为0，如式(23)；按顺序遍历所有的图像子块，将得到的所有wi汇集成一个二值序列，将二值序列变形为大小为64×64的二值零水印图像w。

1.8.将版权标志水印图像wl与二值零水印图像w进行异或，得到认证水印w*，将认证水印送到注册中心的水印信息库中保存，使立体图像就处于水印技术的保护之中。

将零水印的生成方式、生成规则以及原始图像的sift特征模板作为密钥保存。

如图1右部所示，本发明的水印提取过程，包括以下步骤：

2.1用不同的方法对立体图像进行攻击，对待检测的立体图像对的左右视点图像分别记作l'和r'，大小为512×512，用保存的特征模板首先进行sift特征匹配，判断是否受到几何攻击，如果存在几何攻击，进行图像校正，否则，直接进行下一步。

2.2将左视点图像l'与右视点图像r'灰度化后分别进行nsct分解，得到低频子带与高频子带，取出各自的低频子带s'l和s'r。

2.3将低频子带图像利用立体匹配的方法，求出水平方向上的视差图像d'，匹配方式是从左到右。

2.4将视差图像分解成大小为8×8的不重叠的子块c'i，将图像子块按照从左到右从上到下的顺序进行排列，用i来代表图像子块的顺序，1≤i≤64×64。

2.5按顺序对每个图像子块进行奇异值分解：

在每个奇异值矩阵中提取出第一个奇异值λ'i1，求取它们的平均值：

2.6遍历所有的图像子块，依次比较每个图像子块的奇异值与它们奇异值的关系，如式(27)如果第i个奇异值比平均值要大，返回值1，否则，返回值0。将所有返回值按顺序存储在大小为64×64的二值矩阵中，该矩阵就是提取出来的二值零水印图像w'。

2.7从注册中心取出保存的认证水印图像w*，与2.6步骤中提取的二值零水印图像w'进行异或，得到版权标志水印图像w'l:

如图5、6所示，版权标志水印图像的内容可以证明版权归属。

为了衡量水印方法的有效性，峰值信噪比(psnr)用来衡量图像的质量好坏，归一化相关系数(nc)用来比较从原始图像之中提取的水印与受到攻击的图像对之中提取的水印之间的相似程度。psnr定义如下：

其中：i(x,y)代表原始图像在(x,y)点的像素值；iw(x,y)代表受到攻击后的图像在(x,y)点的像素值，图像的大小都为m×n；d代表图像信号的峰值，一般设置为255。psnr的数值越低，代表图像的质量越差。

nc定义为：

其中：w(i,j)是原始图像之中提取出的水印在(i,j)点的像素值；w'(i,j)是受到攻击的图像之中提取的水印在(i,j)点的像素值；水印的大小为m×n；nc值越大，意味着两幅水印图像越相近，也就是水印方法抗攻击性能越好。

零水印的构造过程与立体图像的内在性质有关，所以不同立体图像所提取出的水印应该是不同的。用nc值的大小来衡量提取的不同零水印之间的相似程度。图2提取出的零水印与图4提取出的零水印之间的nc值为0.5882，远小于1，相关性很低，所以本发明能够保证不同图像之间水印的唯一性。

下面对嵌入水印的图像进行各种类型的攻击，验证本发明的有效性。攻击类型分为非对称攻击以及对称攻击。非对称攻击是只攻击右视点图像，左视点图像保持不变，对称攻击是同时攻击左右视点图像。表1为受到各种攻击后，图2中立体图像的左右视点图像的psnr值，以及从原始图像中提取出的零水印和从受到攻击的图像中提取出水印的零水印之间的nc值。

表1

从表1中的数据可以看出，本发明能够有效抵抗各种常规攻击，尤其能提升抵抗几何攻击的能力，并且水印的嵌入不会影响图像的质量，提取出的版权标志水印图像有效的证明了版权归属。如图5和图6所示，从视觉结果可以看出，即使图像已经被严重破坏，仍然可以成功地提取出清晰的版权标志水印图像来确认图像所有权。

本发明考虑在增强水印方法鲁棒性的同时，不影响载体图像的质量，利用nsct和svd的稳健性来构造视差零水印，零水印在嵌入过程中不会对载体图像进行更改，引入sift特征点校正增强水印抵抗几何攻击的能力，nsct的冗余度也增强了抵抗噪声攻击的能力，并且提高了水印容量，在水印提取过程中不需要原始图像，增强了实际应用便利，实现了对立体图像的版权保护及认证。