用于大视角差异相似图像的压缩编码方法与流程

本发明属于图像处理技术领域，更进一步涉及一种图像编码方法，可用于对云空间的相似图像压缩。

背景技术：

近年来，随着云存储技术的不断发展，越来越多的人选择将自己拍摄的照片存储到云空间。因此，云空间中存在的相似图像数量与日俱增。这些相似图像，是对同一个对象拍摄到的光照、距离、视角、方位等属性不尽相同的图片。因为相似图像是对同一个物体进行描述的图像，所以相似图像之间总是存在着大量的图像间冗余。然而，在目前的云存储技术中，对于这种相似图像的压缩编码，依然以各图像的帧内编码为主，这就造成了大量云存储空间的浪费。因而，当下的云存储技术亟需一种能够有效消除相似图像的图像间冗余的压缩编码方法。

消除相似图像的图像间冗余，需要减小相似图像间各属性的差异。而减小相似图像间的属性差异，则可以通过一系列的图像处理方法来实现。例如，通常可以用几何变形的方法来减小相似图像间的距离、视角、方位等差异；用光照补偿的方法来减小相似图像间的光照差异。此外，在尽可能地减小相似图像间的差异后，通常采用高效视频编码hevc的帧间编码方法来消除相似图像间的图像冗余。

zhongboshi,xiaoyansun,fengwu在论文“photoalbumcompressionforcloudstorageusinglocalfeatures”(《ieeejournalonemergingandselectedtopicsincircuitsandsystems》2014)中提出了一种用于云存储的相似图像压缩编码方法，这种方法是在对参考图像进行几何变形、光照补偿后，用生成的预测图像作为预测参考对目标图像进行hevc编码。这种方法虽说在大多数情况下都能有效地消除参考图像与目标图像间存在的图像间冗余，但是，由于该方法采用的sift图像匹配的固有局限性，使得当参考图像与目标图像间存在的视角差比较大时，图像匹配部分无法得到理想的匹配结果，导致其后的几何变形也不能正确地完成，更进一步地影响了hevc帧间编码的顺利进行。因此，在参考图像与目标图像间的视角差较大时，该方法存在着图像压缩效果急剧下降的问题。

dongliu,tongshao,houqiangli,fengwu的论文“three-dimensionalpoint-cloudpluspatches:towardsmodel-basedimagecodinginthecloud”(《ieeeinternationalconferenceonmultimediabigdata》2015)和tongshao,dongliu,houqiangli的论文“inter-picturepredictionbasedon3dpointcloudmodel”(《internationalconferenceonimageprocessing》2015)都提出了通过三维点云技术实现的的压缩编码方法。这些方法工作过程是：先依托大量的相似图像，建立起相似图像所描述对象的三维模型；再在要编码某张相似图像时，选择模型中图像的三维点云图块，经几何变形与光照补偿后，拼接出一张预测图像；最后用预测图像作为预测参考，对待编码的相似图像进行hevc编码。该方法，虽然可以在建模后有效地对各个角度的相似图像进行压缩编码，但仍然存在明显的局限性，即必须存在大量的各个角度的相似图像，才能建立起一个实用的模型，从而对相似图像进行压缩编码。然而，现实中大多数用户一般不可能针对同一物体拍摄大量各个角度的照片，而是只拍摄多张存在角度差异的相似照片，并且这些照片通常不会是各个角度俱全的，当这些照片中存在角度差异大的相似图像时，该方法就不能对其进行有效编码。

综上，现有技术依然无法满足大角度差异相似图像的压缩编码需求。

技术实现要素：

本发明的目的在于针对上述现有技术的不足，提出一种用于大视角差异相似图像的压缩编码方法，以有效完成大视角差异相似图像间的几何变形，提高大视角差异相似图像的压缩编码效果。

为实现上述目的，本发明的技术方案包括如下：

(1)输入一对相似的参考图像和目标图像，并用仿射-尺度不变特征变换图像匹配方法asift对其进行匹配，得到特征点匹配对；

(2)从特征点匹配对中，挑选出其中的任意四对匹配对，并用这四对匹配对的坐标产生一个变形模型，即h模型；

(3)重复步骤(2)，直到所有的匹配对组合使用完毕为止，共得到n个h模型；

(4)通过能量最优化的方法，对所有的h模型进行筛选和修正，得到n'个筛选修正后的h模型，n'≤n；

(5)用筛选修正后的n'个h模型，分别对参考图像进行透视变换，得到n'张透视变换后的图像，以减小两张相似图像之间在距离、视角、方位这些属性上的差异；

(6)对n'张经过透视变换的图像进行光度转换，以补偿参考图像与目标图像间因光照引起的亮度和阴影差异，生成n'张预测图像，并保留至多4张预测图像；

(7)用保留的预测图像作为预测参考，用高效视频编码hevc方法对目标图像进行压缩编码，以消除相似图像间的冗余，得到压缩数据。

本发明由于采用asift方法对参考图像和目标图像进行图像匹配，能够有效地处理大视角差异参考图像与目标图像间存在的图形畸变，确保了参考图像和目标图像匹配结果的可靠性，保证了产生的h模型的准确性，保障了几何变形过程的正确完成，显著地提高了大视角差异相似图像的压缩编码效果。

附图说明

图1是本发明的实现流程图；

图2是测试相似图像集中拍摄角度为0°的图像；

图3是测试相似图像集中拍摄角度为50°的图像；

图4是测试相似图像集中拍摄角度为55°的图像；

图5是测试相似图像集中拍摄角度为60°的图像；

图6是测试相似图像集中拍摄角度为65°的图像；

图7是用本发明对图3压缩编码后得到的重构图像；

图8是用本发明对图4压缩编码后得到的重构图像；

图9是用本发明对图5压缩编码后得到的重构图像；

图10是用本发明对图6压缩编码后得到的重构图像。

具体实施方式

以下结合附图对本发明的技术方案和效果做进一步详细描述。

参照图1，本发明的实现步骤如下：

步骤一：图像匹配。

图像匹配现有技术主要有尺度不变特征变换sift，加速鲁棒特征surf，最大稳定极值区域mser，哈里斯-仿射harris-affine，海赛-仿射hessian-affine，仿射-尺度不变特征变换asift这些主流方法，但它们都不能有效地对存在大尺度图形畸变的大视角差异相似图像进行匹配。asift方法是一种致力于应对所有由相机位置改变而引起的图形畸变的图像匹配方法，即使在大视角差异相似图像中也能有效地完成匹配，因此，本实例选择asift方法来完成图像匹配工作，其实现步骤如下：

(1a)模拟参考图像因各种仿射变换而产生的图形畸变，获得所有参考图像的模拟图像：

(1a1)对参考图像先进行一次旋转变换，再进行一次倾斜变换，生成一张参考图像的模拟图像i1'，表示为：i1'＝bai1，其中i1表示参考图像，是旋转变换矩阵，是倾斜变换矩阵，r是旋转参数，t是倾斜参数；

(1a2)用不同的旋转参数r和倾斜参数t，反复执行步骤(1a1)这个过程，即可模拟出因各种仿射变换而产生的图形畸变，其中倾斜参数n＝0,1,2,3,4,5,6,7；旋转参数b＝72°，k是正整数，且

(1b)模拟目标图像因各种仿射变换而产生的图形畸变，获得所有目标图像的模拟图像：

(1b1)对目标图像先进行一次旋转变换，再进行一次倾斜变换，生成一张目标图像的模拟图像i2'，表示为：i2'＝bai2，其中i2表示目标图像，是旋转变换矩阵，是倾斜变换矩阵,r是旋转参数，t是倾斜参数；

(1b2)用不同的旋转参数r和倾斜参数t，反复执行步骤(1b1)这个过程，即可模拟出因各种仿射变换而产生的图形畸变，其中倾斜参数n＝0,1,2,3,4,5,6,7；旋转参数b＝72°，k是正整数，且

(1c)将参考图像的每一幅模拟图像与目标图像的所有模拟图像，依次用尺度不变特征变换图像匹配方法sift进行匹配，获得参考图像的模拟图像与目标图像的模拟图像之间的特征点匹配对p'；

(1d)根据产生模拟图像时进行的图像畸变过程，对步骤(1c)产生的特征点匹配对p'按如下公式进行反向转换，得到参考图像与目标图像之间的特征点匹配对p：

其中，是参考图像的模拟图像与目标图像的模拟图像之间特征点匹配对p的一个特征点的坐标，是参考图像与目标图像之间特征点匹配对p'的一个特征点的坐标，和是参考图像或目标图像与其模拟图像相对应的一对点，是产生模拟图像时的旋转变化矩阵，是产生模拟图像时的倾斜变化矩阵，a^-1是矩阵a的逆矩阵，b^-1是矩阵b的逆矩阵。

步骤二：产生h模型。

(2a)从特征点匹配对中，挑选出其中的任意四对匹配对，并用这四对匹配对的坐标产生一个变形模型，即h模型：

(2a1)将挑选出的4对匹配对的坐标分别记为((x1(k1,2),y1(k1,2))(x2(k1,2),y2(k1,2)))、((x1(l1,2),y1(l1,2))(x2(l1,2),y2(l1,2)))、((x1(m1,2),y1(m1,2))(x2(m1,2),y2(m1,2)))、((x1(n1,2),y1(n1,2))(x2(n1,2),y2(n1,2)))，其中i1表示参考图像，i2表示目标图像，(x1(k1,2),y1(k1,2))和(x2(k1,2),y2(k1,2))分别表示一对特征点匹配对在参考图像和目标图像上的坐标，k1,2、l1,2、m1,2、n1,2分别表示参考图像i1与目标图像i2之间所有匹配对中的第k、l、m、n个匹配对；

(2a2)根据上述这4对匹配对坐标，构建矩阵：

(2a3)化简矩阵c为行最简矩阵，即可得到所需h模型；

(2b)重复步骤(2a)，直到所有的匹配对组合使用完毕为止，共得到n个h模型。

步骤三：筛选修正h模型。

通过能量最优化的方法，对所有的h模型进行筛选和修正，具体步骤如下：

(3a)使用α-expansion方法，最小化能量e＝d+λs，同时确定每个匹配特征点与h模型的对应关系，得到与各个h模型相对应的匹配特征点个数u(hl)，直到能量e不再减小为止，其中：

λ是一个提前设置好的加权参数，其值与两幅图像的匹配特征点对之间距离成反比；

s是平滑成本项，f(k1,2)表示与匹配特征点k1,2相邻的所有匹配特征点的集合，m1,2是k1,2的一个相邻的匹配特征点，sl(k1,2,m1,2)表示两个匹配特征点间的关系，即如果相邻两点在同一个h模型中，则平滑成本为0，否则为1；

d为数据成本项，dl(k1,2)是特征点匹配对的几何距离，dl(k1,2)＝||p2(k1,2)-p1(k1,2)*hl||，hl表示所有h模型中的第l个h模型，p1(k1,2)和p2(k1,2)是一个特征点匹配对的两个匹配特征点的坐标，p1(k1,2)＝(x1(k1,2)y1(k1,2))，p2(k1,2)＝(x2(k1,2)y2(k1,2))；

(3b)设置阈值t＝2，剔除u(hl)＜t的那部分h模型，得到筛选后的h模型；

(3c)基于莱文贝格－马夸特(l-m)方法对筛选后的h模型进行修正，得到修正后的模型：

利用梯度求最大值或最小值的最优化方法主要有梯度法、牛顿法和莱文贝格－马夸特法这几种，其中，梯度法存在越接近目标值，步长越小，前进越慢的问题，在靠近极小值时收敛速度缓慢，且直线搜索时得不到理想结果；牛顿法虽然收敛快，但需要严格满足条件的初始点和方向，复杂度高，占用内存大；而莱文贝格－马夸特法克服了梯度法和牛顿法两者的缺点，又对过参数化问题不敏感，能有效处理冗余参数问题，因此，本实例选择莱文贝格－马夸特法来完成h模型的修正工作，实现步骤如下：

(3c1)输入筛选后的h模型；

(3c2)将参考图像i1与目标图像i2匹配特征点间的差距表示为f²(h)：

f²(h)＝d(p2(k1,2),hp1(k1,2))²+d(p1(k1,2),h^-1p2(k1,2))²，

式中d表示欧氏距离,p1(k1,2)和p2(k1,2)是一个特征点匹配对的两个匹配特征点的坐标，p1(k1,2)＝(x1(k1,2)y1(k1,2))，p2(k1,2)＝(x2(k1,2)y2(k1,2))；

(3c3)计算阻尼系数：λ＝τ*max{hesii}，

其中τ表示参考图像i1与目标图像i2匹配特征点之间误差近似的期望值，是一个根据实际情况自己选择预设的常数；hesii是hessian矩阵的第i行第i列元素值，hes＝j(h)^tj(h)，式中t表示转置，j(h)是雅可比矩阵，j(h)的计算公式为：

其中hij表示变形模型h中第i行，第j列的元素值；

(3c4)计算梯度：g＝j(h)^tf(h)；

(3c5)设置一个标志f，设置迭代次数q，设置步长的阈值ε，判断梯度g是否小于阈值ε，若g＜ε，则将标志f置为1，直接输出h模型即可；否则，将标志f置为0，将迭代次数k的初始值置为0，执行步骤(3c6)，其中阈值ε是一个预设的常数；

(3c6)对标志f和迭代次数q进行判断：

若f＝1或q≥500，则不需要再对h模型进行修正，直接输出经过修正过的h模型；否则，执行步骤(3c7)；

(3c7)利用下式计算修正后h模型中参数的步长dp：

(hes+λi)·dp＝-g，

式中i是单位矩阵；

(3c8)将步长dp与阈值ε进行比较：若dp＜ε，则将f置1，返回步骤(3c6)；若dp＞ε，则将f置为0，执行步骤(3c9)；

(3c9)更新h模型中的参数值，将更新所得的h模型记为h'；

(3c10)计算h模型更新前后f(h)的差值δ＝f(h)-f(h')，其中f(h)的计算公式为

式中k1,2表示参考图像i1与目标图像i2之间所有匹配对中的第k个匹配对；

(3c11)判断步骤(3c10)中的δ是否大于0：若大于0，则将更新后的h模型h'作为新的h模型，并将阻尼系数λ减小；否则，不更新h模型，只需要将阻尼系数λ增大；

(3c12)将迭代次数q的值增加1，回到步骤(3c6)；

(3d)将修正后的模型作为新的h模型，返回步骤(3a)再次进行能量最优化，直到

与所有h模型对应的匹配特征点不再改变为止，得到筛选修正后的n'个h模型。

步骤四：透视变换。

用筛选修正后的n'个h模型，分别对参考图像进行透视变换，得到n'张透视变换后的图像

式中i1表示参考图像，hl表示所有h模型中的第l个h模型。

步骤五：光度转换。

对n'张经过透视变换的图像进行光度转换，生成n'张预测图像并保留至多4张预测图像，其中光度转换按如下公式进行：

式中αl和βl分别为尺度因子和平移因子，αl和βl这两个因子通过最小化与目标图像i2之间的匹配特征点所在对应像素的灰度距离函数确定，灰度距离函数为：

其中l2(p2(k1,2))是目标图像i2在p2(k1,2)处的灰度值，是在处的灰度值，p1(k1,2)是匹配特征点的坐标，p1(k1,2)＝(x1(k1,2)y1(k1,2))，hl表示所有h模型中的第l个h模型。

步骤六：用保留的预测图像作为预测参考，采用高效视频编码hevc的帧间预测方法对目标图像进行压缩编码，得到压缩数据。

本步骤的实现如下：

(6a)将目标图像切割为像素块；

(6b)从预测参考图像中为目标图像的像素块寻找最佳匹配块；

(6c)将找到的最佳匹配块与对应目标图像像素块间的位移记为运动矢量；

(6d)将目标图像像素块与最佳匹配块之间的差值记为预测残差；

(6e)将最佳匹配块、运动矢量及预测残差保存为目标图像的压缩数据。

本发明的效果可通过以下实验进一步说明：

1.实验条件：

本发明仿真实验是在windows7x86系统，intercorei3-2370m，2.4ghz处理器，4gb内存的环境下进行的。编程语言是c++,编程软件为vs2010。

本发明选取一组拍摄视角逐步增大的相似图像进行仿真实验，即附图2、附图3、附图4、附图5、附图6，其中，相对于附图2，附图3的拍摄视角差为50°，附图4的拍摄视角差为55°，附图5的拍摄视角差为60°，附图6的拍摄视角差为65°。

本发明的仿真实验中，其hevc编码程序中使用的量化参数qp值为27。

2.实验内容及结果分析：

本发明的仿真实验，为了验证本发明的编码效果，将本发明与论文“photoalbumcompressionforcloudstorageusinglocalfeatures”中的编码方法(以下简称shi方法)以及直接采用hevc帧内编码方法进行对比。

仿真实验1，将附图2作为参考图像，将相对于附图2的拍摄视角差为50°的附图3作为目标图像，分别使用hevc帧内编码方法、shi方法以及本发明的编码方法对目标图像进行压缩编码，得到三组压缩数据，根据压缩数据记录编码比特和重构帧psnr值。

对本发明方法得到的压缩数据进行解压，得到重构图像，如图7。

仿真实验2，将附图2作为参考图像，将相对于附图2的拍摄视角差为55°的附图4作为目标图像，分别使用hevc帧内编码方法、shi方法以及本发明的编码方法对目标图像进行压缩编码，得到三组压缩数据，根据压缩数据记录编码比特和重构帧psnr值。

对本发明方法得到的压缩数据进行解压，得到重构图像，如图8。

仿真实验3，将附图2作为参考图像，将相对于附图2的拍摄视角差为60°的附图5作为目标图像，分别使用hevc帧内编码方法、shi方法以及本发明的编码方法对目标图像进行压缩编码，得到三组压缩数据，根据压缩数据记录编码比特和重构帧psnr值。

对用本发明方法得到的压缩数据进行解压，得到重构图像，如图9。

仿真实验4，将附图2作为参考图像，将相对于附图2的拍摄视角差为65°的附图6作为目标图像，分别使用hevc帧内编码方法、shi方法以及本发明的编码方法对目标图像进行压缩编码，得到三组压缩数据，根据压缩数据记录编码比特和重构帧psnr值。

对用本发明方法得到的压缩数据进行解压，得到重构图像，如图10。

上述4组仿真实验，得到目标图像的编码比特和重构帧psnr值，如表1。

表1三种方法的测试结果

从表1可以看出：在参考图像与目标图像间的视角差为50°时，本发明与shi方法的编码效率差不多，它们的编码比特都比帧内编码方法减少了27％左右，而psnr仅仅减少不到0.3db。当参考图像与目标图像间的视角差增大到55°时，虽然shi法相比于帧内编码方法时取得了更少的编码比特，然而由于shi法采用的sift匹配方法得到的匹配点无论数量或是正确率都已无法满足几何变形的需求，所以相对于shi方法，本发明不仅得到更高的psnr值，并且编码比特上还更少40％。而当参考图像与目标图像间的视角差增大到60°以上时，shi法中得到的匹配点数更是不能满足几何变形需求，而本发明仍然能够有效地完成几何变形和压缩编码，相比于帧内编码方法，在视角差为60°时，本发明的编码比特减少了29％，在视角差为65°时，本发明的编码比特减少了17％。

此外，从附图7～附图10可以看到，使用本发明压缩编码后的重构图像，并没有出现肉眼可见的失真。由此可见，对于大视角差异的相似图像编码，本发明是有效的。

综上所述，较之现有技术，本发明能够有效地提高了对大视角差异相似图像的压缩编码效果。