本发明涉及一种图像信号的处理方法，尤其是涉及一种立体图像重定位方法。
背景技术：
随着立体显示技术的快速发展，各种具有不同立体显示功能的终端设备也广泛出现，但由于立体显示终端种类繁多，宽/高比规格不一，因此若将宽/高比一定的图像放在不同的立体显示终端上显示，则必须先对图像尺寸进行调整，以达到立体显示的效果。传统的图像缩放方法是通过裁剪或者是按固定比例进行缩放，这样做可能会出现图像中的内容减少或者导致显著物体形变。
对于立体图像而言，沿水平或垂直方向的拉伸或缩小处理会严重地影响立体效果，导致双目视差的变化，从而引起立体深度感发生变化，严重时会导致视觉不舒适，因此，如何对立体图像的左视点图像和右视点图像进行缩放以减少图像形变；如何保证缩放后的左视点图像与右视点图像的视差/深度分布的一致性，从而降低视觉不舒适、增强深度感；如何根据用户的选择自适应地控制对象的缩放以突出显著内容，都是在对立体图像进行重定位过程中需要研究解决的问题。
技术实现要素：
本发明所要解决的技术问题是提供一种符合显著语义特征，且能够有效地调整立体图像尺寸大小的立体图像重定位方法。
本发明解决上述技术问题所采用的技术方案为：一种立体图像重定位方法，其特征在于包括以下步骤：
①将待处理的宽度为w且高度为h的立体图像的左视点图像、右视点图像及左视差图像对应记为{l(x,y)}、{r(x,y)}及{dl(x,y)}；其中，1≤x≤w，1≤y≤h，w和h均能被8整除，l(x,y)表示{l(x,y)}中坐标位置为(x,y)的像素点的像素值，r(x,y)表示{r(x,y)}中坐标位置为(x,y)的像素点的像素值，dl(x,y)表示{dl(x,y)}中坐标位置为(x,y)的像素点的像素值；
②将{l(x,y)}分割成个互不重叠的尺寸大小为8×8的四边形网格；然后将{l(x,y)}中的所有四边形网格构成一个集合，记为vl，vl＝{ul,k|1≤k≤m}；其中，ul,k表示{l(x,y)}中的第k个四边形网格，以四边形网格的左上、左下、右上和右下4个网格顶点的集合来描述，k为正整数，1≤k≤m，m表示{l(x,y)}中包含的四边形网格的总个数，对应表示ul,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，
④采用基于图论的视觉显著模型提取出{l(x,y)}的显著图，记为{sml(x,y)}；然后根据{sml(x,y)}和{dl(x,y)}，获取{l(x,y)}的视觉显著图，记为{sl(x,y)}，将{sl(x,y)}中坐标位置为(x,y)的像素点的像素值记为sl(x,y)，其中，sml(x,y)表示{sml(x,y)}中坐标位置为(x,y)的像素点的像素值，表示sml(x,y)的权重，表示dl(x,y)的权重，
⑤将{l(x,y)}的所有目标四边形网格构成的集合记为并将{l(x,y)}的所有目标四边形网格的左上、左下、右上和右下网格顶点的深度值构成的集合记为然后根据{l(x,y)}中的所有四边形网格对应的目标四边形网格，对{l(x,y)}中的每个四边形网格进行相似变换，使得原四边形网格与原四边形网格经过相似变换后得到的目标四边形网格的变换误差最小，得到{l(x,y)}中的每个四边形网格对应的目标四边形网格的相似变换矩阵，将ul,k对应的目标四边形网格的相似变换矩阵记为其中，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，表示的第i个网格顶点，i＝1,2,3,4，对应表示各自的深度值，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，(al,k)t为al,k的转置，((al,k)tal,k)-1为(al,k)tal,k的逆；
⑥根据{l(x,y)}中的每个四边形网格对应的目标四边形网格的相似变换矩阵，并结合{sl(x,y)}，计算{l(x,y)}中的所有四边形网格对应的目标四边形网格的图像质量能量，记为eq；
根据{l(x,y)}中的每个四边形网格的各个网格顶点的深度值和{l(x,y)}中的每个四边形网格对应的目标四边形网格的各个网格顶点的深度值，计算{l(x,y)}中的所有四边形网格对应的目标四边形网格的立体质量能量，记为es；
根据用户选择的重要内容的尺寸缩放比例和深度缩放比例，计算{l(x,y)}中的所有四边形网格对应的目标四边形网格的重要内容能量，记为ei；
⑦计算{l(x,y)}中的所有四边形网格对应的目标四边形网格的总能量，记为etotal，etotal＝eq+λs×es+λi×ei；然后通过最小二乘优化求解得到{l(x,y)}中的所有四边形网格对应的最佳目标四边形网格构成的集合及{l(x,y)}中的所有四边形网格对应的最佳目标四边形网格的左上、左下、右上、右下网格顶点的深度值构成的集合，对应记为及接着根据计算{l(x,y)}中的每个四边形网格对应的最佳目标四边形网格的相似变换矩阵，将ul,k对应的最佳目标四边形网格的相似变换矩阵记为并根据计算{l(x,y)}中的每个四边形网格对应的最佳目标四边形网格的深度变换矩阵，将ul,k对应的最佳目标四边形网格的深度变换矩阵记为其中，λs和λi均为加权参数，min()为取最小值函数，表示ul,k对应的最佳目标四边形网格，表示的左上、左下、右上、右下网格顶点的深度值构成的集合，(bl,k)t为bl,k的转置，((bl,k)tbl,k)-1为(bl,k)tbl,k的逆，对应表示的左上、左下、右上和右下网格顶点各自的深度值；
⑧根据{l(x,y)}中的每个四边形网格对应的最佳目标四边形网格的相似变换矩阵，计算{l(x,y)}中的每个四边形网格中的每个像素点经相似变换矩形变换后的水平坐标位置和垂直坐标位置，将ul,k中水平坐标位置为x'l,k和垂直坐标位置y'l,k的像素点经相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{l(x,y)}中的每个四边形网格中的每个像素点经相似变换矩形变换后的水平坐标位置和垂直坐标位置，获取重定位后的左视点图像，记为其中，1≤x'l,k≤w，1≤y'l,k≤h，1≤x'≤w'，1≤y'≤h，w'表示重定位后的立体图像的宽度，h亦为重定位后的立体图像的高度，表示中坐标位置为(x',y')的像素点的像素值；
并根据{l(x,y)}中的每个四边形网格对应的最佳目标四边形网格的深度变换矩阵，计算{l(x,y)}中的每个四边形网格中的每个像素点的深度值经深度变换矩形变换后的深度值，将ul,k中水平坐标位置为x'l,k和垂直坐标位置y'l,k的像素点的深度值z'l,k经过深度变换矩阵变换后的深度值记为然后根据{l(x,y)}中的每个四边形网格中的每个像素点的深度值经深度变换矩形变换后的深度值，获取重定位后的左视点深度图，记为接着根据获取重定位后的左视差图像，记为将中坐标位置为(x',y')的像素点的像素值记为其中，b'l,k＝[z'l,k1]，表示中坐标位置为(x',y')的像素点的像素值；
⑨根据和获取重定位后的右视点图像，记为将中坐标位置为(x',y')的像素点的像素值记为然后将和构成重定位后的立体图像；其中，1≤x'≤w'，1≤y'≤h，w'表示重定位后的立体图像的宽度，h亦为重定位后的立体图像的高度，表示中坐标位置为的像素点的像素值。
所述的步骤⑥中的eq的计算过程为：
⑥_1a、计算{l(x,y)}中的所有四边形网格对应的目标四边形网格的形状保护能量，记为esd，其中，sl(k)表示ul,k中的所有像素点的视觉显著值的均值，也即表示{sl(x,y)}中与ul,k对应的区域中的所有像素点的像素值的均值，符号“||||”为求欧氏距离符号；
⑥_2a、根据esd和elb，计算{l(x,y)}中的所有四边形网格对应的目标四边形网格的图像质量能量eq，eq＝esd+λlbelb；其中，λlb为加权参数。
所述的步骤⑥中的es的计算过程为：
⑥_1b、计算{l(x,y)}中的所有四边形网格对应的目标四边形网格的形状缩放能量，记为esc，其中，符号“||||”为求欧氏距离符号，表示的所有网格顶点的边缘组成的矩阵，表示ul,k的第i个网格顶点的深度值，表示的深度值，el,k表示ul,k的所有网格顶点的边缘组成的矩阵，
并计算{l(x,y)}中的所有四边形网格对应的目标四边形网格的深度控制能量，记为edc，其中，exp()表示以自然基数e为底的指数函数，符号“||”为取绝对值符号，zmax表示{l(x,y)}的最大深度值，zmin表示{l(x,y)}的最小深度值，cvzmin表示最小舒适观看区域范围，e表示待处理的立体图像的左视点与右视点之间的水平基线距离，d表示待处理的立体图像的左视点和右视点与显示器之间的观看距离，η1表示最小舒适观看视角，cvzmax表示最大舒适观看区域范围，η2表示最大舒适观看视角；
⑥_2b、根据esc和edc，计算{l(x,y)}中的所有四边形网格对应的目标四边形网格的立体质量能量es，es＝esc+λdcedc；其中，λdc为加权参数。
所述的步骤⑥中的ei的计算过程为：其中，表示用户选择的重要内容所在的矩形区域范围，xi,j表示{l(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点的水平坐标位置，xi,j+1表示{l(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点的水平坐标位置，zi,j表示{l(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点的深度值，表示{l(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，表示{l(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，表示{l(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的深度值，s'x表示用户指定的水平缩放因子，s'z表示用户指定的深度缩放因子，λds为加权参数。
与现有技术相比，本发明的优点在于：
1)本发明方法通过提取左视点图像对应的图像质量能量、立体质量能量和重要内容能量，并通过优化使得左视点图像对应的总能量最小，获取最佳的相似变换矩阵和深度值集合，这样使得获得的重定位立体图像能够较好地保留重要的显著语义信息、保持视觉舒适性，且可以根据用户的选择自适应地控制重要内容的缩放比例。
2)本发明方法对立体图像的水平坐标位置、垂直坐标位置和深度值同时进行调整，从而保留了重定位后的左视点图像重要的显著信息，同时又能保证与根据重定位后的左视差图像获得的重定位后的右视点图像是匹配的，从而能够保证重定位后的立体图像的舒适性和深度感。
附图说明
图1为本发明方法的总体实现框图；
图2a为“image1”的原始立体图像的“红/绿”图；
图2b为“image1”的重定位到原始立体图像的宽度60％后的“红/绿”图；
图3a为“image2”的原始立体图像的“红/绿”图；
图3b为“image2”的重定位到原始立体图像的宽度60％后的“红/绿”图；
图4a为“image3”的原始立体图像的“红/绿”图；
图4b为“image3”的重定位到原始立体图像的宽度60％后的“红/绿”图；
图5a为“image4”的原始立体图像的“红/绿”图；
图5b为“image4”的重定位到原始立体图像的宽度60％后的“红/绿”图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种立体图像重定位方法，其总体实现框图如图1所示，其包括以下步骤：
①将待处理的宽度为w且高度为h的立体图像的左视点图像、右视点图像及左视差图像对应记为{l(x,y)}、{r(x,y)}及{dl(x,y)}；其中，1≤x≤w，1≤y≤h，w和h均能被8整除，l(x,y)表示{l(x,y)}中坐标位置为(x,y)的像素点的像素值，r(x,y)表示{r(x,y)}中坐标位置为(x,y)的像素点的像素值，dl(x,y)表示{dl(x,y)}中坐标位置为(x,y)的像素点的像素值。
②将{l(x,y)}分割成个互不重叠的尺寸大小为8×8的四边形网格；然后将{l(x,y)}中的所有四边形网格构成一个集合，记为vl，vl＝{ul,k|1≤k≤m}；其中，ul,k表示{l(x,y)}中的第k个四边形网格，以四边形网格的左上、左下、右上和右下4个网格顶点的集合来描述，k为正整数，1≤k≤m，m表示{l(x,y)}中包含的四边形网格的总个数，对应表示ul,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，
④采用现有的基于图论的视觉显著(graph-basedvisualsaliency，gbvs)模型提取出{l(x,y)}的显著图，记为{sml(x,y)}；然后根据{sml(x,y)}和{dl(x,y)}，获取{l(x,y)}的视觉显著图，记为{sl(x,y)}，将{sl(x,y)}中坐标位置为(x,y)的像素点的像素值记为sl(x,y)，其中，sml(x,y)表示{sml(x,y)}中坐标位置为(x,y)的像素点的像素值，表示sml(x,y)的权重，表示dl(x,y)的权重，在本实施例中取
⑤将{l(x,y)}的所有目标四边形网格构成的集合记为并将{l(x,y)}的所有目标四边形网格的左上、左下、右上和右下网格顶点的深度值构成的集合记为然后根据{l(x,y)}中的所有四边形网格对应的目标四边形网格，对{l(x,y)}中的每个四边形网格进行相似变换，使得原四边形网格与原四边形网格经过相似变换后得到的目标四边形网格的变换误差最小，得到{l(x,y)}中的每个四边形网格对应的目标四边形网格的相似变换矩阵，将ul,k对应的目标四边形网格的相似变换矩阵记为其中，对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，表示的第i个网格顶点，i＝1,2,3,4，对应表示各自的深度值，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，和对应表示的水平坐标位置和垂直坐标位置，(al,k)t为al,k的转置，((al,k)tal,k)-1为(al,k)tal,k的逆。
⑥当改变立体图像的尺寸或者宽高比时，为了保护用户所关心的重要对象不发生拉伸形变，需要在网格形变过程中尽可能保持图像质量，因此本发明根据{l(x,y)}中的每个四边形网格对应的目标四边形网格的相似变换矩阵，并结合{sl(x,y)}，计算{l(x,y)}中的所有四边形网格对应的目标四边形网格的图像质量能量，记为eq。
在此具体实施例中，步骤⑥中的eq的计算过程为：
⑥_1a、计算{l(x,y)}中的所有四边形网格对应的目标四边形网格的形状保护能量，记为esd，其中，sl(k)表示ul,k中的所有像素点的视觉显著值的均值，也即表示{sl(x,y)}中与ul,k对应的区域中的所有像素点的像素值的均值，符号“||||”为求欧氏距离符号。
⑥_2a、根据esd和elb，计算{l(x,y)}中的所有四边形网格对应的目标四边形网格的图像质量能量eq，eq＝esd+λlbelb；其中，λlb为加权参数，在本实施例中取λlb＝1.25。
为了保证重定位立体图像的视觉舒适性和深度感，本发明根据{l(x,y)}中的每个四边形网格的各个网格顶点的深度值和{l(x,y)}中的每个四边形网格对应的目标四边形网格的各个网格顶点的深度值，计算{l(x,y)}中的所有四边形网格对应的目标四边形网格的立体质量能量，记为es。
在此具体实施例中，步骤⑥中的es的计算过程为：
⑥_1b、计算{l(x,y)}中的所有四边形网格对应的目标四边形网格的形状缩放能量，记为esc，其中，符号“||||”为求欧氏距离符号，表示的所有网格顶点的边缘组成的矩阵，表示ul,k的第i个网格顶点的深度值，表示的深度值，el,k表示ul,k的所有网格顶点的边缘组成的矩阵，
并计算{l(x,y)}中的所有四边形网格对应的目标四边形网格的深度控制能量，记为edc，其中，exp()表示以自然基数e为底的指数函数，e＝2.71828183…，符号“||”为取绝对值符号，zmax表示{l(x,y)}的最大深度值，zmin表示{l(x,y)}的最小深度值，cvzmin表示最小舒适观看区域范围，e表示待处理的立体图像的左视点与右视点之间的水平基线距离，d表示待处理的立体图像的左视点和右视点与显示器之间的观看距离，η1表示最小舒适观看视角，在本实施例中取η1＝-1°，cvzmax表示最大舒适观看区域范围，η2表示最大舒适观看视角，在本实施例中取η2＝1°。
⑥_2b、根据esc和edc，计算{l(x,y)}中的所有四边形网格对应的目标四边形网格的立体质量能量es，es＝esc+λdcedc；其中，λdc为加权参数，在本实施例中取λdc＝0.25。
为了保证重定位立体图像的舒适性和深度感，本发明根据用户选择的重要内容的尺寸缩放比例和深度缩放比例，计算{l(x,y)}中的所有四边形网格对应的目标四边形网格的重要内容能量，记为ei。
在此具体实施例中，步骤⑥中的ei的计算过程为：其中，表示用户选择的重要内容所在的矩形区域范围，xi,j表示{l(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点的水平坐标位置，xi,j+1表示{l(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点的水平坐标位置，zi,j表示{l(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点的深度值，表示{l(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，表示{l(x,y)}中在水平方向为第j+1个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的水平坐标位置，表示{l(x,y)}中在水平方向为第j个且在垂直方向为第i个的网格顶点在目标四边形网格中的网格顶点的深度值，s'x表示用户指定的水平缩放因子，s'z表示用户指定的深度缩放因子，在本实施例中取s'x＝1和s'z＝1，即保持重要内容的原始尺寸和深度，λds为加权参数，在本实施例中取λds＝0.025。
⑦计算{l(x,y)}中的所有四边形网格对应的目标四边形网格的总能量，记为etotal，etotal＝eq+λs×es+λi×ei；然后通过最小二乘优化求解得到{l(x,y)}中的所有四边形网格对应的最佳目标四边形网格构成的集合及{l(x,y)}中的所有四边形网格对应的最佳目标四边形网格的左上、左下、右上、右下网格顶点的深度值构成的集合，对应记为及接着根据计算{l(x,y)}中的每个四边形网格对应的最佳目标四边形网格的相似变换矩阵，将ul,k对应的最佳目标四边形网格的相似变换矩阵记为并根据计算{l(x,y)}中的每个四边形网格对应的最佳目标四边形网格的深度变换矩阵，将ul,k对应的最佳目标四边形网格的深度变换矩阵记为其中，λs和λi均为加权参数，在本实施例中取λs＝1.5和λi＝1.25，min()为取最小值函数，表示ul,k对应的最佳目标四边形网格，表示的左上、左下、右上、右下网格顶点的深度值构成的集合，(bl,k)t为bl,k的转置，((bl,k)tbl,k)-1为(bl,k)tbl,k的逆，对应表示的左上、左下、右上和右下网格顶点各自的深度值。
⑧根据{l(x,y)}中的每个四边形网格对应的最佳目标四边形网格的相似变换矩阵，计算{l(x,y)}中的每个四边形网格中的每个像素点经相似变换矩形变换后的水平坐标位置和垂直坐标位置，将ul,k中水平坐标位置为x'l,k和垂直坐标位置y'l,k的像素点经相似变换矩阵变换后的水平坐标位置和垂直坐标位置对应记为和然后根据{l(x,y)}中的每个四边形网格中的每个像素点经相似变换矩形变换后的水平坐标位置和垂直坐标位置，获取重定位后的左视点图像，记为其中，1≤x'l,k≤w，1≤y'l,k≤h，1≤x'≤w'，1≤y'≤h，w'表示重定位后的立体图像的宽度，h亦为重定位后的立体图像的高度，表示中坐标位置为(x',y')的像素点的像素值。
并根据{l(x,y)}中的每个四边形网格对应的最佳目标四边形网格的深度变换矩阵，计算{l(x,y)}中的每个四边形网格中的每个像素点的深度值经深度变换矩形变换后的深度值，将ul,k中水平坐标位置为x'l,k和垂直坐标位置y'l,k的像素点的深度值z'l,k经过深度变换矩阵变换后的深度值记为然后根据{l(x,y)}中的每个四边形网格中的每个像素点的深度值经深度变换矩形变换后的深度值，获取重定位后的左视点深度图，记为接着根据获取重定位后的左视差图像，记为将中坐标位置为(x',y')的像素点的像素值记为其中，b'l,k＝[z'l,k1]，表示中坐标位置为(x',y')的像素点的像素值。
⑨根据和获取重定位后的右视点图像，记为将中坐标位置为(x',y')的像素点的像素值记为然后将和构成重定位后的立体图像；其中，1≤x'≤w'，1≤y'≤h，w'表示重定位后的立体图像的宽度，h亦为重定位后的立体图像的高度，表示中坐标位置为的像素点的像素值。
为了进一步说明本发明方法的可行性和有效性，对本发明方法进行试验。
以下就利用本发明方法对image1、image2、image3和image4四幅立体图像进行重定位实验。图2a给出了“image1”的原始立体图像的“红/绿”图、图2b给出了“image1”的重定位到原始立体图像的宽度60％后的“红/绿”图；图3a给出了“image2”的原始立体图像的“红/绿”图、图3b给出了“image2”的重定位到原始立体图像的宽度60％后的“红/绿”图；图4a给出了“image3”的原始立体图像的“红/绿”图、图4b给出了“image3”的重定位到原始立体图像的宽度60％后的“红/绿”图；图5a给出了“image4”的原始立体图像的“红/绿”图、图5b给出了“image4”的重定位到原始立体图像的宽度60％后的“红/绿”图。从图2a至图5b中可以看出，采用本发明方法得到的重定位立体图像能够较好地保留重要的显著语义信息，同时又能保证左视点图像与右视点图像的一致性。