本发明涉及一种图像信号的处理方法，尤其是涉及一种基于对象的立体图像深度调整方法。
背景技术
随着3d技术的快速发展，立体图像和立体视频越来越受到人们的关注和喜爱。特别是随着手机、平板和个人电脑的发展，移动端的显示越来越受到用户们的欢迎。然而，在移动端屏幕上显示立体图像和立体视频时，立体感会随之减弱甚至消失，电影制造者试图通过调整特定对象的大小和深度来使得观看者将注意力集中在该对象上，以提升该对象的立体感。因此，对于在移动端屏幕上显示立体图像和立体视频时，基于对象的深度调整可以增强该对象的关注度和深度感。
在立体图像的深度调整上，大致可分为两种方法：使用深度图进行深度调整和不使用深度图进行深度调整。前一类方法需要精确的深度图，并利用虚拟视点绘制技术来产生深度调整后的图像；后一类方法是直接通过对图像中的像素点搬移达到深度调整的目的的，然而该方法在深度调整后常常会产生空洞或者导致对象的形变，因此，如何减少深度调整后的立体图像的图像形变，如何根据用户的选择自适应地控制对象的调整以突出显著内容，都是在对立体图像进行深度调整过程中需要研究解决的问题。
技术实现要素：
本发明所要解决的技术问题是提供一种基于对象的立体图像深度调整方法，其使得深度调整后的立体图像能够保留精确的对象形状、具有较高的舒适性和深度感，且可以根据用户的选择自适应地控制重要内容的缩放比例。
本发明解决上述技术问题所采用的技术方案为：一种基于对象的立体图像深度调整方法，其特征在于包括以下步骤：
步骤一：将待处理的宽度为w且高度为h的立体图像的左视点图像、右视点图像及左视差图像对应记为{l(x,y)}、{r(x,y)}及{dl(x,y)}；其中，1≤x≤w，1≤y≤h，w和h均能被8整除，l(x,y)表示{l(x,y)}中坐标位置为(x,y)的像素点的像素值，r(x,y)表示{r(x,y)}中坐标位置为(x,y)的像素点的像素值，dl(x,y)表示{dl(x,y)}中坐标位置为(x,y)的像素点的像素值；
步骤二：将{l(x,y)}分割成个互不重叠的尺寸大小为8×8的四边形网格，将{l(x,y)}中的第k个四边形网格记为ul,k，并将{l(x,y)}中的所有四边形网格构成的集合记为vl，vl＝{ul,k|1≤k≤m}；然后根据{l(x,y)}中的所有四边形网格和{dl(x,y)}，获取{r(x,y)}中的所有互不重叠的尺寸大小为8×8的四边形网格，将{r(x,y)}中的第k个四边形网格记为ur,k，并将{r(x,y)}中的所有四边形网格构成的集合记为vr，vr＝{ur,k|1≤k≤m}；其中，k为正整数，1≤k≤m，m表示{l(x,y)}中包含的四边形网格的总个数，也表示{r(x,y)}中包含的四边形网格的总个数，ul,k通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示ul,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，ur,k通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示ur,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，表示{dl(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示{dl(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示{dl(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示{dl(x,y)}中坐标位置为的像素点的像素值；
采用尺度不变特征转换提取出{l(x,y)}中的所有特征点；然后将{l(x,y)}中的第q个特征点记为接着根据{l(x,y)}中的每个特征点和{dl(x,y)}，获取{r(x,y)}中与{l(x,y)}中的每个特征点匹配的特征点，将{r(x,y)}中与匹配的特征点记为其中，q为正整数，1≤q≤q，q表示{l(x,y)}中的特征点的总个数，也表示{r(x,y)}中的特征点的总个数，表示的横坐标位置，表示的纵坐标位置，表示的横坐标位置，表示{dl(x,y)}中坐标位置为的像素点的像素值，表示的纵坐标位置，
步骤三：根据{l(x,y)}中的每个四边形网格的所有网格顶点的边缘组成的矩阵和{l(x,y)}中的每个四边形网格对应的目标四边形网格的所有网格顶点的边缘组成的矩阵、{r(x,y)}中的每个四边形网格的所有网格顶点的边缘组成的矩阵和{r(x,y)}中的每个四边形网格对应的目标四边形网格的所有网格顶点的边缘组成的矩阵，计算{l(x,y)}和{r(x,y)}中的所有四边形网格对应的目标四边形网格的总边缘保持能量，记为eedge；
根据用户选择的重要内容，计算{l(x,y)}和{r(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有四边形网格对应的目标四边形网格的总对象控制能量，记为eobject；
根据{l(x,y)}和{r(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点，计算{l(x,y)}和{r(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有四边形网格对应的目标四边形网格的总深度控制能量，记为edepth；
根据{l(x,y)}中落于背景区域内的所有特征点和对应的目标特征点、{r(x,y)}中落于背景区域内的所有特征点和对应的目标特征点，计算{l(x,y)}和{r(x,y)}中落于背景区域内的所有四边形网格对应的目标四边形网格的总背景保持能量，记为eback；其中，背景区域为除用户选择的重要内容所在的矩形区域外的区域；
步骤四：根据eedge、eobject、edepth和eback，计算{l(x,y)}和{r(x,y)}中的所有四边形网格对应的目标四边形网格的总能量，记为etotal，etotal＝eedge+λobject×eobject+λdepth×edepth+λback×eback；然后通过最小二乘优化求解得到{l(x,y)}中的所有四边形网格对应的最佳目标四边形网格构成的集合及{r(x,y)}中的所有四边形网格对应的最佳目标四边形网格构成的集合，对应记为及接着根据计算{l(x,y)}中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵，将ul,k对应的最佳目标四边形网格的最佳相似变换矩阵记为并根据计算{r(x,y)}中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵，将ur,k对应的最佳目标四边形网格的最佳相似变换矩阵记为其中，λobject为eobject的加权参数，λdepth为edepth的加权参数，λback为eback的加权参数，min()为取最小值函数，表示{l(x,y)}中的所有四边形网格对应的目标四边形网格构成的集合，表示{r(x,y)}中的所有四边形网格对应的目标四边形网格构成的集合，表示ul,k对应的最佳目标四边形网格，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点，表示ur,k对应的最佳目标四边形网格，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点，(al,k)t为al,k的转置，((al,k)tal,k)-1为(al,k)tal,k的逆，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，(ar,k)t为ar,k的转置，((ar,k)tar,k)-1为(ar,k)tar,k的逆，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置；
步骤五：根据{l(x,y)}中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵，计算{l(x,y)}中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，将ul,k中水平坐标位置为x'l,k和垂直坐标位置y'l,k的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{l(x,y)}中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，获取深度调整后的左视点图像，记为其中，1≤x'l,k≤w，1≤y'l,k≤h，1≤x'≤w'，1≤y'≤h，w'表示深度调整后的立体图像的宽度，h亦为深度调整后的立体图像的高度，表示中坐标位置为(x',y')的像素点的像素值；
同样，根据{r(x,y)}中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵，计算{r(x,y)}中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，将ur,k中水平坐标位置为x'r,k和垂直坐标位置y'r,k的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{r(x,y)}中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，获取深度调整后的右视点图像，记为其中，1≤x'r,k≤w，1≤y'r,k≤h，1≤x'≤w'，1≤y'≤h，表示中坐标位置为(x',y')的像素点的像素值。
所述的步骤三中的eedge的计算过程为：
a1、计算{l(x,y)}中的所有四边形网格对应的目标四边形网格的边缘保持能量，记为其中，el,k表示ul,k的所有网格顶点的边缘组成的矩阵，(el,k)t为el,k的转置，((el,k)tel,k)-1为(el,k)tel,k的逆，表示的所有网格顶点的边缘组成的矩阵，表示ul,k对应的目标四边形网格，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，符号“||||”为求欧氏距离符号；
同样，计算{r(x,y)}中的所有四边形网格对应的目标四边形网格的边缘保持能量，记为其中，er,k表示ur,k的所有网格顶点的边缘组成的矩阵，(er,k)t为er,k的转置，((er,k)ter,k)-1为(er,k)ter,k的逆，表示的所有网格顶点的边缘组成的矩阵，表示ur,k对应的目标四边形网格，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，
a2、根据和计算{l(x,y)}和{r(x,y)}中的所有四边形网格对应的目标四边形网格的总边缘保持能量eedge，
所述的步骤三中的eobject的计算过程为：
其中，表示用户选择的重要内容所在的矩形区域范围，表示{l(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点的水平坐标位置，表示{l(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点的水平坐标位置，表示{l(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，表示{l(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，表示{r(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点的水平坐标位置，表示{r(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点的水平坐标位置，表示{r(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，表示{r(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，sx表示用户指定的重要内容的水平缩放因子。
所述的步骤三中的edepth的计算过程为：
b1、计算{l(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点的舒适度保持能量，记为ecomfort，其中，表示{l(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点重新编号后的序号构成的集合，表示{l(x,y)}中落于用户选择的重要内容所在的矩形区域内的第p个特征点的深度值，exp()表示以自然基数e为底的指数函数，符号“||”为取绝对值符号，zmax表示{l(x,y)}的最大深度值，zmin表示{l(x,y)}的最小深度值，cvzmin表示最小舒适观看区域范围，he表示待处理的立体图像的左视点与右视点之间的水平基线距离，d表示待处理的立体图像的左视点和右视点与显示器之间的观看距离，wd表示显示器的水平宽度，rd表示显示器的水平分辨率，η1表示最小舒适观看视角，cvzmax表示最大舒适观看区域范围，η2表示最大舒适观看视角，表示{l(x,y)}中落于用户选择的重要内容所在的矩形区域内的第p个特征点的视差值，也表示{dl(x,y)}中坐标位置为落于用户选择的重要内容所在的矩形区域内的第p个特征点的像素点的像素值，表示的目标深度值；
b2、计算{l(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点的特征保持能量，记为efeature，其中，表示{l(x,y)}中落于用户选择的重要内容所在的矩形区域内与该矩形区域内的第p个特征点相邻的八邻域范围内的所有特征点重新编号后的序号构成的集合，表示{l(x,y)}中落于用户选择的重要内容所在的矩形区域内与该矩形区域内的第p个特征点相邻的八邻域范围内的第p'个特征点的深度值，表示的目标深度值；
b3、通过求解min(ecomfort+λfeature×efeature)，得到{l(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点的最佳目标深度值集合，记为为的最佳目标深度值；然后根据获取{l(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点的最佳目标视差值集合，记为为的最佳目标视差值，其中，min()为取最小值函数，λfeature为efeature的加权参数；
b4、根据计算{l(x,y)}和{r(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有四边形网格对应的目标四边形网格的总深度控制能量edepth，
其中，符号“||||”为求欧氏距离符号，表示{l(x,y)}中落于用户选择的重要内容所在的矩形区域内的第p个特征点，表示{r(x,y)}中落于用户选择的重要内容所在的矩形区域内的第p个特征点，表示对应的目标特征点，表示对应的目标特征点，表示的横坐标位置，表示的横坐标位置，表示的横坐标位置，表示的横坐标位置，1≤i'≤4，1≤k'≤m，表示所在的四边形网格ul,k'的第i'个网格顶点，ul,k'为{l(x,y)}中的第k'个四边形网格，表示所在的四边形网格ul,k'的作为第1个网格顶点的左上网格顶点，表示所在的四边形网格ul,k'的作为第2个网格顶点的左下网格顶点，表示所在的四边形网格ul,k'的作为第3个网格顶点的右上网格顶点，表示所在的四边形网格ul,k'的作为第4个网格顶点的右下网格顶点，表示与之间的欧氏距离，表示所在的目标四边形网格的第i'个网格顶点，为ul,k'对应的目标四边形网格，表示所在的目标四边形网格的作为第1个网格顶点的左上网格顶点，表示所在的目标四边形网格的作为第2个网格顶点的左下网格顶点，表示所在的目标四边形网格的作为第3个网格顶点的右上网格顶点，表示所在的目标四边形网格的作为第4个网格顶点的右下网格顶点，表示所在的四边形网格ur,k'的第i'个网格顶点，ur,k'为{r(x,y)}中的第k'个四边形网格，表示frp所在的四边形网格ur,k'的作为第1个网格顶点的左上网格顶点，表示所在的四边形网格ur,k'的作为第2个网格顶点的左下网格顶点，表示所在的四边形网格ur,k'的作为第3个网格顶点的右上网格顶点，表示所在的四边形网格ur,k'的作为第4个网格顶点的右下网格顶点，表示与之间的欧氏距离，表示所在的目标四边形网格的第i'个网格顶点，为ur,k'对应的目标四边形网格，表示特征点所在的目标四边形网格的作为第1个网格顶点的左上网格顶点，表示所在的目标四边形网格的作为第2个网格顶点的左下网格顶点，表示所在的目标四边形网格的作为第3个网格顶点的右上网格顶点，表示特征点所在的目标四边形网格的作为第4个网格顶点的右下网格顶点。
所述的步骤三中的eback的计算过程为：其中，表示{l(x,y)}和{r(x,y)}中落于背景区域内的所有特征点重新编号后的序号构成的集合，表示{l(x,y)}中落于背景区域内的第g个特征点，表示{r(x,y)}中落于背景区域内的第g个特征点，表示对应的目标特征点，表示对应的目标特征点，符号“||||”为求欧氏距离符号，1≤i'≤4，1≤k”≤m，表示所在的四边形网格ul,k”的第i'个网格顶点，ul,k”为{l(x,y)}中的第k”个四边形网格，表示所在的四边形网格ul,k”的作为第1个网格顶点的左上网格顶点，表示所在的四边形网格ul,k”的作为第2个网格顶点的左下网格顶点，表示所在的四边形网格ul,k”的作为第3个网格顶点的右上网格顶点，表示所在的四边形网格ul,k”的作为第4个网格顶点的右下网格顶点，表示与之间的欧氏距离，表示所在的目标四边形网格的第i'个网格顶点，为ul,k”对应的目标四边形网格，表示所在的目标四边形网格的作为第1个网格顶点的左上网格顶点，表示所在的目标四边形网格的作为第2个网格顶点的左下网格顶点，表示所在的目标四边形网格的作为第3个网格顶点的右上网格顶点，表示所在的目标四边形网格的作为第4个网格顶点的右下网格顶点，表示所在的四边形网格ur,k”的第i'个网格顶点，ur,k”为{r(x,y)}中的第k”个四边形网格，表示所在的四边形网格ur,k”的作为第1个网格顶点的左上网格顶点，表示所在的四边形网格ur,k”的作为第2个网格顶点的左下网格顶点，表示所在的四边形网格ur,k”的作为第3个网格顶点的右上网格顶点，表示所在的四边形网格ur,k”的作为第4个网格顶点的右下网格顶点，表示与之间的欧氏距离，表示所在的目标四边形网格的第i'个网格顶点，为ur,k”对应的目标四边形网格，表示所在的目标四边形网格的作为第1个网格顶点的左上网格顶点，表示特征点所在的目标四边形网格的作为第2个网格顶点的左下网格顶点，表示特征点所在的目标四边形网格的作为第3个网格顶点的右上网格顶点，表示特征点所在的目标四边形网格的作为第4个网格顶点的右下网格顶点。
与现有技术相比，本发明的优点在于：
1)本发明方法通过提取立体图像的左视点图像和右视点图像对应的总边缘保持能量、总对象控制能量、总深度控制能量和总背景保持能量，并通过优化使得总能量最小，获取最佳相似变换矩阵，这样可使得深度调整后的立体图像能够保留精确的对象形状、具有较高的舒适性和深度感，且可以根据用户的选择自适应地控制重要内容的缩放比例。
2)本发明方法通过控制立体图像中的所有落在重要区域内和背景区域内的特征点的坐标位置，并进而控制四边形网格的形变，从而能够保证深度调整后的立体图像的舒适性和深度感。
附图说明
图1为本发明方法的总体实现框图；
图2a为“image1”的原始立体图像的“红/绿”图；
图2b为“image1”的对象深度调整后的“红/绿”图；
图3a为“image2”的原始立体图像的“红/绿”图；
图3b为“image2”的对象深度调整后的“红/绿”图；
图4a为“image3”的原始立体图像的“红/绿”图；
图4b为“image3”的对象深度调整后的“红/绿”图；
图5a为“image4”的原始立体图像的“红/绿”图；
图5b为“image4”的对象深度调整后的“红/绿”图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种基于对象的立体图像深度调整方法，其总体实现框图如图1所示，其包括以下步骤：
步骤一：将待处理的宽度为w且高度为h的立体图像的左视点图像、右视点图像及左视差图像对应记为{l(x,y)}、{r(x,y)}及{dl(x,y)}；其中，1≤x≤w，1≤y≤h，w和h均能被8整除，l(x,y)表示{l(x,y)}中坐标位置为(x,y)的像素点的像素值，r(x,y)表示{r(x,y)}中坐标位置为(x,y)的像素点的像素值，dl(x,y)表示{dl(x,y)}中坐标位置为(x,y)的像素点的像素值。
步骤二：将{l(x,y)}分割成个互不重叠的尺寸大小为8×8的四边形网格，将{l(x,y)}中的第k个四边形网格记为ul,k，并将{l(x,y)}中的所有四边形网格构成的集合记为vl，vl＝{ul,k|1≤k≤m}；然后根据{l(x,y)}中的所有四边形网格和{dl(x,y)}，获取{r(x,y)}中的所有互不重叠的尺寸大小为8×8的四边形网格，将{r(x,y)}中的第k个四边形网格记为ur,k，并将{r(x,y)}中的所有四边形网格构成的集合记为vr，vr＝{ur,k|1≤k≤m}；其中，k为正整数，1≤k≤m，m表示{l(x,y)}中包含的四边形网格的总个数，也表示{r(x,y)}中包含的四边形网格的总个数，ul,k通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示ul,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，ur,k通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示ur,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，表示{dl(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示{dl(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示{dl(x,y)}中坐标位置为的像素点的像素值，以的水平坐标位置和垂直坐标位置来描述，表示{dl(x,y)}中坐标位置为的像素点的像素值。
采用现有的尺度不变特征转换(scaleinvariantfeaturetransform，sift)提取出{l(x,y)}中的所有特征点；然后将{l(x,y)}中的第q个特征点记为将{l(x,y)}中的所有特征点构成的集合记为接着根据{l(x,y)}中的每个特征点和{dl(x,y)}，获取{r(x,y)}中与{l(x,y)}中的每个特征点匹配的特征点，将{r(x,y)}中与匹配的特征点记为将{r(x,y)}中的所有特征点构成的集合记为其中，q为正整数，1≤q≤q，q表示{l(x,y)}中的特征点的总个数，也表示{r(x,y)}中的特征点的总个数，表示的横坐标位置，表示的纵坐标位置，表示的横坐标位置，表示{dl(x,y)}中坐标位置为的像素点的像素值，表示的纵坐标位置，
步骤三：根据{l(x,y)}中的每个四边形网格的所有网格顶点的边缘组成的矩阵和{l(x,y)}中的每个四边形网格对应的目标四边形网格的所有网格顶点的边缘组成的矩阵、{r(x,y)}中的每个四边形网格的所有网格顶点的边缘组成的矩阵和{r(x,y)}中的每个四边形网格对应的目标四边形网格的所有网格顶点的边缘组成的矩阵，计算{l(x,y)}和{r(x,y)}中的所有四边形网格对应的目标四边形网格的总边缘保持能量，记为eedge。
在此具体实施例中，步骤三中的eedge的计算过程为：
a1、计算{l(x,y)}中的所有四边形网格对应的目标四边形网格的边缘保持能量，记为其中，el,k表示ul,k的所有网格顶点的边缘组成的矩阵，(el,k)t为el,k的转置，((el,k)tel,k)-1为(el,k)tel,k的逆，表示的所有网格顶点的边缘组成的矩阵，表示ul,k对应的目标四边形网格，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，符号“||||”为求欧氏距离符号。
同样，计算{r(x,y)}中的所有四边形网格对应的目标四边形网格的边缘保持能量，记为其中，er,k表示ur,k的所有网格顶点的边缘组成的矩阵，(er,k)t为er,k的转置，((er,k)ter,k)-1为(er,k)ter,k的逆，表示的所有网格顶点的边缘组成的矩阵，表示ur,k对应的目标四边形网格，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，
a2、根据和计算{l(x,y)}和{r(x,y)}中的所有四边形网格对应的目标四边形网格的总边缘保持能量eedge，
根据用户选择的重要内容，计算{l(x,y)}和{r(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有四边形网格对应的目标四边形网格的总对象控制能量，记为eobject。
在此具体实施例中，步骤三中的eobject的计算过程为：
其中，表示用户选择的重要内容所在的矩形区域范围，表示{l(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点的水平坐标位置，表示{l(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点的水平坐标位置，表示{l(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，表示{l(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，表示{r(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点的水平坐标位置，表示{r(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点的水平坐标位置，表示{r(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，表示{r(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，sx表示用户指定的重要内容的水平缩放因子，sx可以根据用户的需要进行设置，在本实施例中取sx＝1.8，即调整后的重要内容尺寸为原始尺寸1.8倍。
根据{l(x,y)}和{r(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点，计算{l(x,y)}和{r(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有四边形网格对应的目标四边形网格的总深度控制能量，记为edepth。
在此具体实施例中，步骤三中的edepth的计算过程为：
b1、计算{l(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点的舒适度保持能量，记为ecomfort，其中，表示{l(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点重新编号后的序号构成的集合，表示{l(x,y)}中落于用户选择的重要内容所在的矩形区域内的第p个特征点的深度值，exp()表示以自然基数e为底的指数函数，e＝2.71828183…，符号“||”为取绝对值符号，zmax表示{l(x,y)}的最大深度值，zmin表示{l(x,y)}的最小深度值，cvzmin表示最小舒适观看区域范围，he表示待处理的立体图像的左视点与右视点之间的水平基线距离，d表示待处理的立体图像的左视点和右视点与显示器之间的观看距离，wd表示显示器的水平宽度，rd表示显示器的水平分辨率，在本实施例中取he＝65毫米、d＝1200毫米、wd＝750毫米和rd＝1920毫米，η1表示最小舒适观看视角，在本实施例中取η1＝-1o，cvzmax表示最大舒适观看区域范围，η2表示最大舒适观看视角，在本实施例中取η2＝1o，表示{l(x,y)}中落于用户选择的重要内容所在的矩形区域内的第p个特征点的视差值，也表示{dl(x,y)}中坐标位置为落于用户选择的重要内容所在的矩形区域内的第p个特征点的像素点的像素值，表示的目标深度值。
b2、计算{l(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点的特征保持能量，记为efeature，其中，表示{l(x,y)}中落于用户选择的重要内容所在的矩形区域内与该矩形区域内的第p个特征点相邻的八邻域范围内的所有特征点重新编号后的序号构成的集合，表示{l(x,y)}中落于用户选择的重要内容所在的矩形区域内与该矩形区域内的第p个特征点相邻的八邻域范围内的第p'个特征点的深度值，表示的目标深度值。
b3、通过求解min(ecomfort+λfeature×efeature)，得到{l(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点的最佳目标深度值集合，记为为的最佳目标深度值；然后根据获取{l(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有特征点的最佳目标视差值集合，记为为的最佳目标视差值，其中，min()为取最小值函数，λfeature为efeature的加权参数，在本实施例中取λfeature＝0.4。
b4、根据计算{l(x,y)}和{r(x,y)}中落于用户选择的重要内容所在的矩形区域内的所有四边形网格对应的目标四边形网格的总深度控制能量edepth，
其中，符号“||||”为求欧氏距离符号，表示{l(x,y)}中落于用户选择的重要内容所在的矩形区域内的第p个特征点，表示{r(x,y)}中落于用户选择的重要内容所在的矩形区域内的第p个特征点，表示对应的目标特征点，表示对应的目标特征点，表示的横坐标位置，表示的横坐标位置，表示的横坐标位置，表示的横坐标位置，1≤i'≤4，1≤k'≤m，表示所在的四边形网格ul,k'的第i'个网格顶点，ul,k'为{l(x,y)}中的第k'个四边形网格，表示所在的四边形网格ul,k'的作为第1个网格顶点的左上网格顶点，表示所在的四边形网格ul,k'的作为第2个网格顶点的左下网格顶点，表示所在的四边形网格ul,k'的作为第3个网格顶点的右上网格顶点，表示所在的四边形网格ul,k'的作为第4个网格顶点的右下网格顶点，表示与之间的欧氏距离，表示所在的目标四边形网格的第i'个网格顶点，为ul,k'对应的目标四边形网格，表示所在的目标四边形网格的作为第1个网格顶点的左上网格顶点，表示所在的目标四边形网格的作为第2个网格顶点的左下网格顶点，表示所在的目标四边形网格的作为第3个网格顶点的右上网格顶点，表示所在的目标四边形网格的作为第4个网格顶点的右下网格顶点，表示所在的四边形网格ur,k'的第i'个网格顶点，ur,k'为{r(x,y)}中的第k'个四边形网格，表示所在的四边形网格ur,k'的作为第1个网格顶点的左上网格顶点，表示所在的四边形网格ur,k'的作为第2个网格顶点的左下网格顶点，表示所在的四边形网格ur,k'的作为第3个网格顶点的右上网格顶点，表示所在的四边形网格ur,k'的作为第4个网格顶点的右下网格顶点，表示与之间的欧氏距离，表示所在的目标四边形网格的第i'个网格顶点，为ur,k'对应的目标四边形网格，表示特征点所在的目标四边形网格的作为第1个网格顶点的左上网格顶点，表示所在的目标四边形网格的作为第2个网格顶点的左下网格顶点，表示所在的目标四边形网格的作为第3个网格顶点的右上网格顶点，表示特征点所在的目标四边形网格的作为第4个网格顶点的右下网格顶点。
根据{l(x,y)}中落于背景区域内的所有特征点和对应的目标特征点、{r(x,y)}中落于背景区域内的所有特征点和对应的目标特征点，计算{l(x,y)}和{r(x,y)}中落于背景区域内的所有四边形网格对应的目标四边形网格的总背景保持能量，记为eback；其中，背景区域为除用户选择的重要内容所在的矩形区域外的区域。
在此具体实施例中，步骤三中的eback的计算过程为：
其中，表示{l(x,y)}和{r(x,y)}中落于背景区域内的所有特征点重新编号后的序号构成的集合，表示{l(x,y)}中落于背景区域内的第g个特征点，表示{r(x,y)}中落于背景区域内的第g个特征点，表示对应的目标特征点，表示对应的目标特征点，符号“||||”为求欧氏距离符号，1≤i'≤4，1≤k”≤m，表示所在的四边形网格ul,k”的第i'个网格顶点，ul,k”为{l(x,y)}中的第k”个四边形网格，表示所在的四边形网格ul,k”的作为第1个网格顶点的左上网格顶点，表示所在的四边形网格ul,k”的作为第2个网格顶点的左下网格顶点，表示所在的四边形网格ul,k”的作为第3个网格顶点的右上网格顶点，表示所在的四边形网格ul,k”的作为第4个网格顶点的右下网格顶点，表示与之间的欧氏距离，表示所在的目标四边形网格的第i'个网格顶点，为ul,k”对应的目标四边形网格，表示所在的目标四边形网格的作为第1个网格顶点的左上网格顶点，表示所在的目标四边形网格的作为第2个网格顶点的左下网格顶点，表示所在的目标四边形网格的作为第3个网格顶点的右上网格顶点，表示所在的目标四边形网格的作为第4个网格顶点的右下网格顶点，表示所在的四边形网格ur,k”的第i'个网格顶点，ur,k”为{r(x,y)}中的第k”个四边形网格，表示所在的四边形网格ur,k”的作为第1个网格顶点的左上网格顶点，表示所在的四边形网格ur,k”的作为第2个网格顶点的左下网格顶点，表示所在的四边形网格ur,k”的作为第3个网格顶点的右上网格顶点，表示所在的四边形网格ur,k”的作为第4个网格顶点的右下网格顶点，表示与之间的欧氏距离，表示所在的目标四边形网格的第i'个网格顶点，为ur,k”对应的目标四边形网格，表示所在的目标四边形网格的作为第1个网格顶点的左上网格顶点，表示特征点所在的目标四边形网格的作为第2个网格顶点的左下网格顶点，表示特征点所在的目标四边形网格的作为第3个网格顶点的右上网格顶点，表示特征点所在的目标四边形网格的作为第4个网格顶点的右下网格顶点。
步骤四：根据eedge、eobject、edepth和eback，计算{l(x,y)}和{r(x,y)}中的所有四边形网格对应的目标四边形网格的总能量，记为etotal，etotal＝eedge+λobject×eobject+λdepth×edepth+λback×eback；然后通过最小二乘优化求解得到{l(x,y)}中的所有四边形网格对应的最佳目标四边形网格构成的集合及{r(x,y)}中的所有四边形网格对应的最佳目标四边形网格构成的集合，对应记为及接着根据计算{l(x,y)}中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵，将ul,k对应的最佳目标四边形网格的最佳相似变换矩阵记为并根据计算{r(x,y)}中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵，将ur,k对应的最佳目标四边形网格的最佳相似变换矩阵记为其中，λobject为eobject的加权参数，λdepth为edepth的加权参数，λback为eback的加权参数，在本实施例中取λobject＝4、λdepth＝8、λback＝4，min()为取最小值函数，表示{l(x,y)}中的所有四边形网格对应的目标四边形网格构成的集合，表示{r(x,y)}中的所有四边形网格对应的目标四边形网格构成的集合，表示ul,k对应的最佳目标四边形网格，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点，表示ur,k对应的最佳目标四边形网格，通过其左上、左下、右上和右下4个网格顶点的集合来描述，对应表示的第1个网格顶点、第2个网格顶点、第3个网格顶点、第4个网格顶点，(al,k)t为al,k的转置，((al,k)tal,k)-1为(al,k)tal,k的逆，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，(ar,k)t为ar,k的转置，((ar,k)tar,k)-1为(ar,k)tar,k的逆，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置。
步骤五：根据{l(x,y)}中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵，计算{l(x,y)}中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，将ul,k中水平坐标位置为x'l,k和垂直坐标位置y'l,k的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{l(x,y)}中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，获取深度调整后的左视点图像，记为其中，1≤x'l,k≤w，1≤y'l,k≤h，1≤x'≤w'，1≤y'≤h，w'表示深度调整后的立体图像的宽度，h亦为深度调整后的立体图像的高度，表示中坐标位置为(x',y')的像素点的像素值。
同样，根据{r(x,y)}中的每个四边形网格对应的最佳目标四边形网格的最佳相似变换矩阵，计算{r(x,y)}中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，将ur,k中水平坐标位置为x'r,k和垂直坐标位置y'r,k的像素点经最佳相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{r(x,y)}中的每个四边形网格中的每个像素点经最佳相似变换矩形变换后的水平坐标位置和垂直坐标位置，获取深度调整后的右视点图像，记为其中，1≤x'r,k≤w，1≤y'r,k≤h，1≤x'≤w'，1≤y'≤h，表示中坐标位置为(x',y')的像素点的像素值。
为了进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。
以下就利用本发明方法对image1、image2、image3和image4四幅立体图像进行对象深度调整实验。图2a给出了“image1”的原始立体图像的“红/绿”图，图2b给出了“image1”的对象深度调整后的“红/绿”图；图3a给出了“image2”的原始立体图像的“红/绿”图，图3b给出了“image2”的对象深度调整后的“红/绿”图；图4a给出了“image3”的原始立体图像的“红/绿”图，图4b给出了“image3”的对象深度调整后的“红/绿”图；图5a给出了“image4”的原始立体图像的“红/绿”图，图5b给出了“image4”的对象深度调整后的“红/绿”图。从图2a至图5b中可以看出，采用本发明方法得到的深度调整后的立体图像能够较好地保留对象形状，且可以根据用户的选择增加重要对象的尺寸。