一种三维视频重定位方法与流程

本发明涉及一种图像信号的处理方法，尤其是涉及一种三维视频重定位方法。

背景技术：
随着视频显示设备(例如智能手机、平板电脑、电视等)的快速发展与更新换代，具有不同分辨率和屏幕高宽比的显示终端设备充斥着人们的工作与生活。当需要显示的图像或视频的分辨率与屏幕的分辨率不相符时，如何在尽可能不改变用户观看体验的前提下，改变图像或视频内容的分辨率使之适应不同尺寸的显示设备，这就是重定位(retargeting)问题。当前解决这个问题的方法有：均匀缩放(uniformscaling)、裁切(cropping)和在屏幕边缘填充黑色边带(letterboxing)。然而，这些传统方法通常不能达到很好的用户体验效果，不能充分利用显示设备的尺寸优势，降低了用户的体验。而对于视频的重定位而言，如果直接将细缝裁剪算法应用到视频，即单独处理视频中的每一帧，则会造成严重的抖动；同时，从视觉注意力的角度出发解构视频场景，深度这一维度信息可以很好地体现出人眼视觉注意力在前后背景内容上的区分度。因此，如何对三维视频进行缩放以减少图像形变、避免时域抖动、突出显著内容，从而降低视觉不舒适，都是在对三维视频进行重定位过程中需要研究解决的问题。

技术实现要素：
本发明所要解决的技术问题是提供一种能够有效地调整三维视频尺寸大小，且保持较高视觉舒适性的三维视频重定位方法。本发明解决上述技术问题所采用的技术方案为：一种三维视频重定位方法，其特征在于包括以下步骤：①待处理的原始三维视频序列由彩色视频序列和深度视频序列构成，假定彩色视频序列中包含的彩色图像的总帧数和深度视频序列中包含的深度图像的总帧数均为T，将彩色视频序列中t时刻的彩色图像记为{It(x,y)}，将深度视频序列中t时刻的深度图像记为{Dt(x,y)}，其中，T>1，1≤t≤T，1≤x≤W,1≤y≤H，W表示彩色视频序列中的彩色图像和深度视频序列中的深度图像的宽度，H表示彩色视频序列中的彩色图像和深度视频序列中的深度图像的高度，It(x,y)表示{It(x,y)}中坐标位置为(x,y)的像素点的像素值，Dt(x,y)表示{Dt(x,y)}中坐标位置为(x,y)的像素点的像素值；②对由T帧彩色图像构成并呈三维立方体的彩色视频序列在X方向上进行采样，得到彩色视频序列的W个Y-T截面图像，将彩色视频序列的第x个Y-T截面图像记为{Ix(y,t)}，将{Ix(y,t)}中坐标位置为(y,t)的像素点的像素值记为Ix(y,t)，Ix(y,t)＝It(x,y)；同样，对由T帧彩色图像构成并呈三维立方体的彩色视频序列在Y方向上进行采样，得到彩色视频序列的H个X-T截面图像，将彩色视频序列的第y个X-T截面图像记为{Iy(x,t)}，将{Iy(x,t)}中坐标位置为(x,t)的像素点的像素值记为Iy(x,t)，Iy(x,t)＝It(x,y)；③通过对彩色视频序列的每个Y-T截面图像进行低秩矩阵分解，获取彩色视频序列的每个Y-T截面图像的最优垂直方向运动矩阵，将{Ix(y,t)}的最优垂直方向运动矩阵记为同样，通过对彩色视频序列的每个X-T截面图像进行低秩矩阵分解，获取彩色视频序列的每个X-T截面图像的最优水平方向运动矩阵，将{Iy(x,t)}的最优水平方向运动矩阵记为然后根据彩色视频序列的每个Y-T截面图像的最优垂直方向运动矩阵和每个X-T截面图像的最优水平方向运动矩阵，获取彩色视频序列中每个时刻的彩色图像的运动显著图，将{It(x,y)}的运动显著图记为{Mt(x,y)}，其中，Mt(x,y)表示{Mt(x,y)}中坐标位置为(x,y)的像素点的像素值；④将彩色视频序列中当前待处理的t时刻的彩色图像定义为当前彩色图像，记为{It(x,y)}；并将深度视频序列中与{It(x,y)}对应的深度图像定义为当前深度图像，记为{Dt(x,y)}，其中，此处t的初始值为2，2≤t≤T；⑤提取{It(x,y)}的图像显著图、梯度能量图和运动显著图；然后对{It(x,y)}的图像显著图、梯度能量图和运动显著图进行融合，得到{It(x,y)}的视觉注意力图，记为其中，表示中坐标位置为(x,y)的像素点的像素值；⑥计算{It(x,y)}的帧内一致性能量图，记为将中坐标位置为(x,y)的像素点的像素值，即{It(x,y)}中坐标位置为(x,y)的像素点的帧内一致性能量值记为横坐标位置或与坐标位置(x,y)水平相邻的横坐标位置，x*∈{x-1,x,x+1}，如果x-1≥1，则It(x-1,y)表示{It(x,y)}中坐标位置为(x-1,y)的像素点的像素值，如果x-1<1，则令It(x-1,y)＝It(1,y)；如果x+1≤W，则It(x+1,y)表示{It(x,y)}中坐标位置为(x+1,y)的像素点的像素值，如果x+1>W，则令It(x+1,y)＝It(W,y)；当k＝x-1时如果k≥1且y-1≥1，则It(k,y-1)表示{It(x,y)}中坐标位置为(k,y-1)的像素点的像素值，当k＝x-1时如果k≥1且y-1<1，则令It(k,y-1)＝It(k,1)，当k＝x-1时如果k<1且y-1≥1，则令It(k,y-1)＝It(1,y-1)，当k＝x-1时如果k<1且y-1<1，则令It(k,y-1)＝It(1,1)；当k＝x时如果y-1≥1，则It(k,y-1)表示{It(x,y)}中坐标位置为(k,y-1)的像素点的像素值，当k＝x时如果y-1<1，则令It(k,y-1)＝It(k,1)；当k＝x+1时如果k≤W且y-1≥1，则It(k,y-1)表示{It(x,y)}中坐标位置为(k,y-1)的像素点的像素值，当k＝x+1时如果k≤W且y-1<1，则令It(k,y-1)＝It(k,1)，当k＝x+1时如果k>W且y-1≥1，则令It(k,y-1)＝It(W,y-1)，当k＝x+1时如果k>W且y-1<1，则令It(k,y-1)＝It(W,1)；当k＝x-1时It(k+1,y)表示{It(x,y)}中坐标位置为(k+1,y)的像素点的像素值，当k＝x时如果k+1≤W，则It(k+1,y)表示{It(x,y)}中坐标位置为(k+1,y)的像素点的像素值，当k＝x时如果k+1>W，则令It(k+1,y)＝It(W,y)；It(1,y)、It(W,y)、It(k,1)、It(1,y-1)、It(1,1)、It(W,y-1)、It(W,1)对应表示{It(x,y)}中坐标位置为(1,y)、(W,y)、(k,1)、(1,y-1)、(1,1)、(W,y-1)、(W,1)的像素点的像素值，符号“||”为取绝对值符号；⑦计算{It(x,y)}的帧间一致性能量图，记为将中坐标位置为(x,y)的像素点的像素值，即{It(x,y)}中坐标位置为(x,y)的像素点的帧间一致性能量值记为其中，2×B+1表示{It(x,y)}中以坐标位置为(x+i,y+j)的像素点为中心的块的尺寸，St-1,i'(y)表示彩色视频序列中t-1时刻的彩色图像的第i'条垂直缝隙的纵坐标位置为y时的横坐标位置，ln()为以自然基数e为底的对数函数，符号“||”为取绝对值符号，如果x+i<1且y+j<1，则令E(x+i,y+j)＝E(1,1)，并令It(x+i,y+j)＝It(1,1)；如果x+i<1且1≤y+j≤H，则令E(x+i,y+j)＝E(1,y+j)，并令It(x+i,y+j)＝It(1,y+j)；如果x+i<1且y+j>H，则令E(x+i,y+j)＝E(1,H)，并令It(x+i,y+j)＝It(1,H)；如果1≤x+i≤W且y+j<1，则令E(x+i,y+j)＝E(x+i,1)，并令It(x+i,y+j)＝It(x+i,1)；如果1≤x+i≤W且1≤y+j≤H，则It(x+i,y+j)表示{It(x,y)}中坐标位置为(x+i,y+j)的像素点的像素值；如果1≤x+i≤W且y+j>H，则令E(x+i,y+j)＝E(x+i,H)，并令It(x+i,y+j)＝It(x+i,H)；如果x+i>W且y+j<1，则令E(x+i,y+j)＝E(W,1)，并令It(x+i,y+j)＝It(W,1)；如果x+i>W且1≤y+j≤H，则令E(x+i,y+j)＝E(W,y+j)，并令It(x+i,y+j)＝It(W,y+j)；如果x+i>W且y+j>H，则令E(x+i,y+j)＝E(W,H)，并令It(x+i,y+j)＝It(W,H)；如果St-1,i'(y)+i<1且y+j<1，则令It-1(St-1,i'(y)+i,y+j)＝It-1(1,1)；如果St-1,i'(y)+i<1且1≤y+j≤H，则令It-1(St-1,i'(y)+i,y+j)＝It-1(1,y+j)；如果St-1,i'(y)+i<1且y+j>H，则令It-1(St-1,i'(y)+i,y+j)＝It-1(1,H)；如果1≤St-1,i'(y)+i≤W且y+j<1，则令It-1(St-1,i'(y)+i,y+j)＝It-1(St-1,i'(y)+i,1)；如果1≤St-1,i'(y)+i≤W且1≤y+j≤H，则It-1(St-1,i'(y)+i,y+j)表示彩色视频序列中t-1时刻的彩色图像中坐标位置为(St-1,i'(y)+i,y+j)的像素点的像素值；如果1≤St-1,i'(y)+i≤W且y+j>H，则令It-1(St-1,i'(y)+i,y+j)＝It-1(St-1,i'(y)+i,H)；如果St-1,i'(y)+i>W且y+j<1，则令It-1(St-1,i'(y)+i,y+j)＝It-1(W,1)；如果St-1,i'(y)+i>W且1≤y+j≤H，则令It-1(St-1,i'(y)+i,y+j)＝It-1(W,y+j)；如果St-1,i'(y)+i>W且y+j>H，则令It-1(St-1,i'(y)+i,y+j)＝It-1(W,H)；上述It(1,1)、It(1,y+j)、It(1,W)、It(x+i,1)、It(x+i,H)、It(W,1)，It(W,y+j)、It(W,H)对应表示{It(x,y)}中坐标位置为(1,1)、(1,y+j)、(1,W)、(x+i,1)、(x+i,H)、(W,1)、(W,y+j)、(W,H)的像素点的像素值，上述It-1(1,1)、It-1(1,y+j)、It-1(1,W)、It-1(x+i,1)、It-1(x+i,H)、It-1(W,1)、It-1(W,y+j)、It-1(W,H)对应表示彩色视频序列中t-1时刻的彩色图像中坐标位置为(1,1)、(1,y+j)、(1,W)、(x+i,1)、(x+i,H)、(W,1)、(W,y+j)、(W,H)的像素点的像素值；⑧根据和计算{It(x,y)}的总能量图，记为将中坐标位置为(x,y)的像素点的像素值记为其中，α2、β2和γ2为加权参数；⑨将重定位彩色图像和重定位深度图像的宽度记为W'，将{It(x,y)}和{Dt(x,y)}的垂直缝隙的条数记为Ns，Ns＝W-W'，其中，W'<W；⑩根据通过动态规划方法找出{It(x,y)}的Ns条垂直缝隙，将{It(x,y)}的第i'条垂直缝隙记为{St,i'(y)|1≤y≤H}，其中，1≤i'≤Ns，St,i'(y)表示{St,i'(y)|1≤y≤H}在纵坐标位置为y时的横坐标位置；将{It(x,y)}中所有落在{It(x,y)}的Ns条垂直缝隙内的像素点删除，得到重定位彩色图像，记为将{Dt(x,y)}中所有落在相同的Ns条垂直缝隙内的像素点删除，得到重定位深度图像，记为其中，1≤x1≤W'，表示中坐标位置为(x1,y)的像素点的像素值，表示中坐标位置为(x1,y)的像素点的像素值；令t＝t+1；然后将彩色视频序列中t时刻的彩色图像作为当前彩色图像，记为{It(x,y)}；并将深度视频序列中与{It(x,y)}对应的深度图像作为当前深度图像，记为{Dt(x,y)}；再返回步骤⑤继续执行，直至三维视频序列中的所有彩色图像和深度图像处理完毕，得到三维视频序列中的每帧彩色图像对应的重定位彩色图像、三维视频序列中的每帧深度图像对应的重定位深度图像；其中，t＝t+1中的“＝”为赋值符号。所述的步骤③中的的获取过程为：③-a1、对{Ix(y,t)}进行低秩矩阵分解，得到{Ix(y,t)}的所有垂直方向背景矩阵和所有垂直方向运动矩阵；③-a2、利用最小化概率密度函数，获取{Ix(y,t)}的最优垂直方向背景矩阵和最优垂直方向运动矩阵将和的组合记为其中，Sx为{Ix(y,t)}的矩阵形式表示，Sx＝Bx+Mx，Sx、Bx和Mx的维数均为H×T，argmin[]为最小化概率密度函数，表示取使得的值最小时的(Bx,Mx)，Ωx表示{Ix(y,t)}的所有垂直方向背景矩阵和所有垂直方向运动矩阵的组合(Bx,Mx)的集合，(Bx,Mx)∈Ωx，Bx指{Ix(y,t)}的垂直方向背景矩阵，Mx指{Ix(y,t)}的垂直方向运动矩阵，符号“||||*”为求取矩阵核的范数符号，符号“||||1”为求取矩阵的1-范数符号，λ为拉格朗日乘子，s.t.表示“受约束于”；所述的步骤③中的的获取过程为：③-b1、对{Iy(x,t)}进行低秩矩阵分解，得到{Iy(x,t)}的所有水平方向背景矩阵和所有水平方向运动矩阵；③-b2、利用最小化概率密度函数，获取{Iy(x,t)}的最优水平方向背景矩阵和最优水平方向运动矩阵将和的组合记为其中，Sy为{Iy(x,t)}的矩阵形式表示，Sy＝By+My，Sy、By和My的维数均为W×T，表示取使得的值最小时的(By,My)，Ωy表示{Iy(x,t)}的所有水平方向背景矩阵和所有水平方向运动矩阵的组合(By,My)的集合，(By,My)∈Ωy，By指{Iy(x,t)}的水平方向背景矩阵，My指{Iy(x,t)}的水平方向运动矩阵。所述的步骤③中的{Mt(x,y)}的获取过程为：③-c1、将彩色视频序列的W个Y-T截面图像各自的最优垂直方向运动矩阵在X方向上进行叠加，构造得到Y-T截面图像的立方体，记为ScubeYT，其中，ScubeYT的维数为W×H×T；同样，将彩色视频序列的H个X-T截面图像各自的最优水平方向运动矩阵在Y方向上进行叠加，构造得到X-T截面图像的立方体，记为ScubeXT，其中，ScubeXT的维数为W×H×T；③-c2、计算norm(ScubeXT·*ScubeYT)，然后将计算结果作为彩色视频序列的初步的运动显著序列，其中，norm()表示归一化操作函数，norm(ScubeXT·*ScubeYT)中的符号“·*”为矩阵点乘符号；③-c3、采用高斯滤波器对呈三维立方体的彩色视频序列的初步的运动显著序列中t时刻的X-Y截面图像进行平滑操作，得到{It(x,y)}的运动显著图{Mt(x,y)}，Mt(x,y)＝M't(x,y)*Gσ(x,y)，其中，M't(x,y)表示彩色视频序列的初步的运动显著序列中t时刻的X-Y截面图像，“*”为卷积操作符号，Gσ(x,y)表示标准差为σ的高斯函数中位置为(x,y)处的元素的值，exp()为以自然基数e为底的指数函数。所述的步骤⑤中的{It(x,y)}的图像显著图的获取过程为：利用基于图论的视觉显著模型提取出{It(x,y)}的图像显著图，记为{St(x,y)}，其中，St(x,y)表示{St(x,y)}中坐标位置为(x,y)的像素点的像素值；所述的步骤⑤中的{It(x,y)}的梯度能量图的获取过程为：采用Sobel算子对{It(x,y)}进行卷积，得到{It(x,y)}中的每个像素点的水平方向梯度和垂直方向梯度，将{It(x,y)}中坐标位置为(x,y)的像素点的水平方向梯度记为将{It(x,y)}中坐标位置为(x,y)的像素点的垂直方向梯度记为然后根据{It(x,y)}中的所有像素点各自的水平方向梯度和垂直方向梯度，计算{It(x,y)}的梯度能量图，记为{Gt(x,y)}，将{Gt(x,y)}中坐标位置为(x,y)的像素点的像素值记为Gt(x,y)，所述的步骤⑤中的其中，α1、β1和γ1为加权参数。所述的步骤⑩的具体过程为：⑩-1、根据计算{It(x,y)}中的每个像素点的累计能量值，将{It(x,y)}中坐标位置为(x,y)的像素点的累计能量值记为其中，min()为取最小值函数；⑩-2、根据{It(x,y)}中的每个像素点的累计能量值，采用动态规划方法找出{It(x,y)}中从y＝1到y＝H的Ns条成本最小的路径，将每条成本最小的路径作为{It(x,y)}的一条垂直缝隙。与现有技术相比，本发明的优点在于：1)本发明方法从人眼的视觉注意力特性出发，引入场景的深度信息并结合显著能量图、梯度能量图和运动能量图构造得到视觉注意力图，这样使得获得的重定位彩色图像和重定位深度图像能够较好地保留重要的显著语义信息。2)本发明方法构造帧间一致性能量图来保证相邻视频帧缝隙在时间域与空间域上的一致性，以减少相邻视频帧因为取缝不一致所导致的时域抖动现象，这样使得获得的重定位彩色图像和重定位深度图像能够较好地降低由于时域抖动导致的视觉不舒适，即保持了较高的视觉舒适性。3)本发明方法根据视觉注意力图、帧内一致性能量图和帧间一致性能量图构造总能量图，并通过动态规划方法找出最优的垂直缝隙，这样使得获得的重定位后的三维视频(即调整尺寸大小后的三维视频)能减少图像形变、避免时域抖动、突出显著内容，从而保持了较高的视觉舒适性。附图说明图1为本发明方法的总体实现框图；图2a为“Videol”三维视频序列的第1时刻的彩色视频帧；图2b为“Videol”三维视频序列的第1时刻的深度视频帧；图2c为“Videol”三维视频序列的第1时刻的重定位到原始图像宽度70％后的彩色视频帧；图3a为“Videol”三维视频序列的第34时刻的彩色视频帧；图3b为“Videol”三维视频序列的第34时刻的深度视频帧；图3c为“Videol”三维视频序列的第34时刻的重定位到原始图像宽度70％后的彩色视频帧；图4a为“Videol”三维视频序列的第59时刻的彩色视频帧；图4b为“Videol”三维视频序列的第59时刻的深度视频帧；图4c为“Videol”三维视频序列的第59时刻的重定位到原始图像宽度70％后的彩色视频帧；图5a为“Video2”三维视频序列的第1时刻的彩色视频帧；图5b为“Video2”三维视频序列的第1时刻的深度视频帧；图5c为“Video2”三维视频序列的第1时刻的重定位到原始图像宽度70％后的彩色视频帧；图6a为“Video2”三维视频序列的第34时刻的彩色视频帧；图6b为“Video2”三维视频序列的第34时刻的深度视频帧；图6c为“Video2”三维视频序列的第34时刻的重定位到原始图像宽度70％后的彩色视频帧；图7a为“Video2”三维视频序列的第59时刻的彩色视频帧；图7b为“Video2”三维视频序列的第59时刻的深度视频帧；图7c为“Video2”三维视频序列的第59时刻的重定位到原始图像宽度70％后的彩色视频帧；图8a为“Video3”三维视频序列的第1时刻的彩色视频帧；图8b为“Video3”三维视频序列的第1时刻的深度视频帧；图8c为“Video3”三维视频序列的第1时刻的重定位到原始图像宽度70％后的彩色视频帧；图9a为“Video3”三维视频序列的第34时刻的彩色视频帧；图9b为“Video3”三维视频序列的第34时刻的深度视频帧；图9c为“Video3”三维视频序列的第34时刻的重定位到原始图像宽度70％后的彩色视频帧；图10a为“Video3”三维视频序列的第59时刻的彩色视频帧；图10b为“Video3”三维视频序列的第59时刻的深度视频帧；图10c为“Video3”三维视频序列的第59时刻的重定位到原始图像宽度70％后的彩色视频帧。具体实施方式以下结合附图实施例对本发明作进一步详细描述。本发明提出的一种三维视频重定位方法，其总体实现框图如图1所示，其包括以下步骤：①待处理的原始三维视频序列由彩色视频序列和深度视频序列构成，假定彩色视频序列中包含的彩色图像的总帧数和深度视频序列中包含的深度图像的总帧数均为T，将彩色视频序列中t时刻的彩色图像记为{It(x,y)}，将深度视频序列中t时刻的深度图像记为{Dt(x,y)}，其中，T>1，如取T＝10，1≤t≤T，1≤x≤W,1≤y≤H，W表示彩色视频序列中的彩色图像和深度视频序列中的深度图像的宽度，H表示彩色视频序列中的彩色图像和深度视频序列中的深度图像的高度，It(x,y)表示{It(x,y)}中坐标位置为(x,y)的像素点的像素值，Dt(x,y)表示{Dt(x,y)}中坐标位置为(x,y)的像素点的像素值。②对由T帧彩色图像构成并呈三维立方体的彩色视频序列在X方向上进行采样，得到彩色视频序列的W个Y-T截面图像，将彩色视频序列的第x个Y-T截面图像记为{Ix(y,t)}，将{Ix(y,t)}中坐标位置为(y,t)的像素点的像素值记为Ix(y,t)，Ix(y,t)＝It(x,y)，即两者相等；同样，对由T帧彩色图像构成并呈三维立方体的彩色视频序列在Y方向上进行采样，得到彩色视频序列的H个X-T截面图像，将彩色视频序列的第y个X-T截面图像记为{Iy(x,t)}，将{Iy(x,t)}中坐标位置为(x,t)的像素点的像素值记为Iy(x,t)，Iy(x,t)＝It(x,y)，即两者相等。③由于Y-T截面图像和X-T截面图像包含了二维视频在垂直和水平方向的运动信息，因此本发明通过对彩色视频序列的每个Y-T截面图像进行低秩矩阵分解(low-rankmatrixdecomposition)，获取彩色视频序列的每个Y-T截面图像的最优垂直方向运动矩阵，将{Ix(y,t)}的最优垂直方向运动矩阵记为同样，通过对彩色视频序列的每个X-T截面图像进行低秩矩阵分解，获取彩色视频序列的每个X-T截面图像的最优水平方向运动矩阵，将{Iy(x,t)}的最优水平方向运动矩阵记为然后根据彩色视频序列的每个Y-T截面图像的最优垂直方向运动矩阵和每个X-T截面图像的最优水平方向运动矩阵，获取彩色视频序列中每个时刻的彩色图像的运动显著图，将{It(x,y)}的运动显著图记为{Mt(x,y)}，其中，Mt(x,y)表示{Mt(x,y)}中坐标位置为(x,y)的像素点的像素值。在此具体实施例中，步骤③中的的获取过程为：③-a1、对{Ix(y,t)}进行低秩矩阵分解，得到{Ix(y,t)}的所有垂直方向背景矩阵和所有垂直方向运动矩阵。③-a2、利用现有的最小化概率密度函数，获取{Ix(y,t)}的最优垂直方向背景矩阵和最优垂直方向运动矩阵将和的组合记为其中，Sx为{Ix(y,t)}的矩阵形式表示，Sx＝Bx+Mx，Sx、Bx和Mx的维数均为H×T，argmin[]为最小化概率密度函数，表示取使得的值最小时的(Bx,Mx)，Ωx表示{Ix(y,t)}的所有垂直方向背景矩阵和所有垂直方向运动矩阵的组合(Bx,Mx)的集合，(Bx,Mx)∈Ωx，Bx指{Ix(y,t)}的垂直方向背景矩阵，Mx指{Ix(y,t)}的垂直方向运动矩阵，符号“||||*”为求取矩阵核的范数符号，符号“||||1”为求取矩阵的1-范数符号，λ为拉格朗日乘子，在本实施例中取λ＝0.06，s.t.表示“受约束于”。在此具体实施例中，步骤③中的的获取过程为：③-b1、对{Iy(x,t)}进行低秩矩阵分解，得到{Iy(x,t)}的所有水平方向背景矩阵和所有水平方向运动矩阵。③-b2、利用现有的最小化概率密度函数，获取{Iy(x,t)}的最优水平方向背景矩阵和最优水平方向运动矩阵将和的组合记为其中，Sy为{Iy(x,t)}的矩阵形式表示，Sy＝By+My，Sy、By和My的维数均为W×T，表示取使得的值最小时的(By,My)，Ωy表示{Iy(x,t)}的所有水平方向背景矩阵和所有水平方向运动矩阵的组合(By,My)的集合，(By,My)∈Ωy，By指{Iy(x,t)}的水平方向背景矩阵，My指{Iy(x,t)}的水平方向运动矩阵。在此具体实施例中，步骤③中的{Mt(x,y)}的获取过程为：③-c1、将彩色视频序列的W个Y-T截面图像各自的最优垂直方向运动矩阵在X方向上进行叠加，构造得到Y-T截面图像的立方体，记为ScubeYT，其中，ScubeYT的维数为W×H×T。同样，将彩色视频序列的H个X-T截面图像各自的最优水平方向运动矩阵在Y方向上进行叠加，构造得到X-T截面图像的立方体，记为ScubeXT，其中，ScubeXT的维数为W×H×T。③-c2、计算norm(ScubeXT·*ScubeYT)，然后将计算结果作为彩色视频序列的初步的运动显著序列，其中，norm()表示归一化操作函数，norm(ScubeXT·*ScubeYT)中的符号“·*”为矩阵点乘符号。③-c3、采用高斯滤波器对呈三维立方体的彩色视频序列的初步的运动显著序列中t时刻的X-Y截面图像进行平滑操作，得到{It(x,y)}的运动显著图{Mt(x,y)}，Mt(x,y)＝M't(x,y)*Gσ(x,y)，其中，M't(x,y)表示彩色视频序列的初步的运动显著序列中t时刻的X-Y截面图像，“*”为卷积操作符号，Gσ(x,y)表示标准差为σ的高斯函数中位置为(x,y)处的元素的值，在本实施例中取σ＝5，exp()为以自然基数e为底的指数函数，e＝2.718281828。④将彩色视频序列中当前待处理的t时刻的彩色图像定义为当前彩色图像，记为{It(x,y)}；并将深度视频序列中与{It(x,y)}对应的深度图像定义为当前深度图像，记为{Dt(x,y)}，其中，此处t的初始值为2，2≤t≤T。⑤人眼会高度关注场景中运动的对象,而对于某一帧而言，高对比度的局部区域与纹理复杂的边缘部分也会在一定程度上吸引眼球的关注；另外，场景中物体的远近位置信息也能反映出人眼视觉注意的分配，因此本发明提取{It(x,y)}的图像显著图、梯度能量图和运动显著图；然后对{It(x,y)}的图像显著图、梯度能量图和运动显著图进行融合，得到{It(x,y)}的视觉注意力图，记为其中，表示中坐标位置为(x,y)的像素点的像素值,α1、β1和γ1为加权参数，在本实施例中取α1＝0.1、β1＝0.3和γ1＝0.6，St(x,y)表示{It(x,y)}的图像显著图中坐标位置为(x,y)的像素点的像素值，Gt(x,y)表示{It(x,y)}的梯度能量图中坐标位置为(x,y)的像素点的像素值。在此具体实施例中，步骤⑤中的{It(x,y)}的图像显著图的获取过程为：利用现有的基于图论的视觉显著(Graph-BasedVisualSaliency，GBVS)模型提取出{It(x,y)}的图像显著图，记为{St(x,y)}，其中，St(x,y)表示{St(x,y)}中坐标位置为(x,y)的像素点的像素值。在此具体实施例中，步骤⑤中的{It(x,y)}的梯度能量图的获取过程为：采用现有的Sobel算子对{It(x,y)}进行卷积，得到{It(x,y)}中的每个像素点的水平方向梯度和垂直方向梯度，将{It(x,y)}中坐标位置为(x,y)的像素点的水平方向梯度记为将{It(x,y)}中坐标位置为(x,y)的像素点的垂直方向梯度记为然后根据{It(x,y)}中的所有像素点各自的水平方向梯度和垂直方向梯度，计算{It(x,y)}的梯度能量图，记为{Gt(x,y)}，将{Gt(x,y)}中坐标位置为(x,y)的像素点的像素值记为Gt(x,y)，⑥为了避免由于缝隙移除所造成的帧内结构扭曲失真，本发明计算{It(x,y)}的帧内一致性能量图，记为将中坐标位置为(x,y)的像素点的像素值，即{It(x,y)}中坐标位置为(x,y)的像素点的帧内一致性能量值记为横坐标位置或与坐标位置(x,y)水平相邻的横坐标位置，x*∈{x-1,x,x+1}，根据x*与坐标位置(x,y)的位置关系，有3种可能的取值，如果x-1≥1，则It(x-1,y)表示{It(x,y)}中坐标位置为(x-1,y)的像素点的像素值，如果x-1<1，则令It(x-1,y)＝It(1,y)；如果x+1≤W，则It(x+1,y)表示{It(x,y)}中坐标位置为(x+1,y)的像素点的像素值，如果x+1>W，则令It(x+1,y)＝It(W,y)；当k＝x-1时如果k≥1且y-1≥1，则It(k,y-1)表示{It(x,y)}中坐标位置为(k,y-1)的像素点的像素值，当k＝x-1时如果k≥1且y-1<1，则令It(k,y-1)＝It(k,1)，当k＝x-1时如果k<1且y-1≥1，则令It(k,y-1)＝It(1,y-1)，当k＝x-1时如果k<1且y-1<1，则令It(k,y-1)＝It(1,1)；当k＝x时如果y-1≥1，则It(k,y-1)表示{It(x,y)}中坐标位置为(k,y-1)的像素点的像素值，当k＝x时如果y-1<1，则令It(k,y-1)＝It(k,1)；当k＝x+1时如果k≤W且y-1≥1，则It(k,y-1)表示{It(x,y)}中坐标位置为(k,y-1)的像素点的像素值，当k＝x+1时如果k≤W且y-1<1，则令It(k,y-1)＝It(k,1)，当k＝x+1时如果k>W且y-1≥1，则令It(k,y-1)＝It(W,y-1)，当k＝x+1时如果k>W且y-1<1，则令It(k,y-1)＝It(W,1)；当k＝x-1时It(k+1,y)表示{It(x,y)}中坐标位置为(k+1,y)的像素点的像素值，当k＝x时如果k+1≤W，则It(k+1,y)表示{It(x,y)}中坐标位置为(k+1,y)的像素点的像素值，当k＝x时如果k+1>W，则令It(k+1,y)＝It(W,y)；It(1,y)、It(W,y)、It(k,1)、It(1,y-1)、It(1,1)、It(W,y-1)、It(W,1)对应表示{It(x,y)}中坐标位置为(1,y)、(W,y)、(k,1)、(1,y-1)、(1,1)、(W,y-1)、(W,1)的像素点的像素值，符号“||”为取绝对值符号。⑦对彩色视频逐帧进行细缝裁剪处理的过程中，保持当前帧与前一帧之间取缝位置一致性非常重要，否则会造成严重的视频画面抖动和帧间内容差异等问题，因此本发明计算{It(x,y)}的帧间一致性能量图，记为将中坐标位置为(x,y)的像素点的像素值，即{It(x,y)}中坐标位置为(x,y)的像素点的帧间一致性能量值记为其中，2×B+1表示{It(x,y)}中以坐标位置为(x+i,y+j)的像素点为中心的块的尺寸，在本实施例中取B＝3，即块的尺寸为7×7，St-1,i'(y)表示彩色视频序列中t-1时刻的彩色图像的第i'条垂直缝隙的纵坐标位置为y时的横坐标位置，ln()为以自然基数e为底的对数函数，符号“||”为取绝对值符号，如果x+i<1且y+j<1，则令E(x+i,y+j)＝E(1,1)，并令It(x+i,y+j)＝It(1,1)；如果x+i<1且1≤y+j≤H，则令E(x+i,y+j)＝E(1,y+j)，并令It(x+i,y+j)＝It(1,y+j)；如果x+i<1且y+j>H，则令E(x+i,y+j)＝E(1,H)，并令It(x+i,y+j)＝It(1,H)；如果1≤x+i≤W且y+j<1，则令E(x+i,y+j)＝E(x+i,1)，并令It(x+i,y+j)＝It(x+i,1)；如果1≤x+i≤W且1≤y+j≤H，则It(x+i,y+j)表示{It(x,y)}中坐标位置为(x+i,y+j)的像素点的像素值；如果1≤x+i≤W且y+j>H，则令E(x+i,y+j)＝E(x+i,H)，并令It(x+i,y+j)＝It(x+i,H)；如果x+i>W且y+j<1，则令E(x+i,y+j)＝E(W,1)，并令It(x+i,y+j)＝It(W,1)；如果x+i>W且1≤y+j≤H，则令E(x+i,y+j)＝E(W,y+j)，并令It(x+i,y+j)＝It(W,y+j)；如果x+i>W且y+j>H，则令E(x+i,y+j)＝E(W,H)，并令It(x+i,y+j)＝It(W,H)；如果St-1,i'(y)+i<1且y+j<1，则令It-1(St-1,i'(y)+i,y+j)＝It-1(1,1)；如果St-1,i'(y)+i<1且1≤y+j≤H，则令It-1(St-1,i'(y)+i,y+j)＝It-1(1,y+j)；如果St-1,i'(y)+i<1且y+j>H，则令It-1(St-1,i'(y)+i,y+j)＝It-1(1,H)；如果1≤St-1,i'(y)+i≤W且y+j<1，则令It-1(St-1,i'(y)+i,y+j)＝It-1(St-1,i'(y)+i,1)；如果1≤St-1,i'(y)+i≤W且1≤y+j≤H，则It-1(St-1,i'(y)+i,y+j)表示彩色视频序列中t-1时刻的彩色图像中坐标位置为(St-1,i'(y)+i,y+j)的像素点的像素值；如果1≤St-1,i'(y)+i≤W且y+j>H，则令It-1(St-1,i'(y)+i,y+j)＝It-1(St-1,i'(y)+i,H)；如果St-1,i'(y)+i>W且y+j<1，则令It-1(St-1,i'(y)+i,y+j)＝It-1(W,1)；如果St-1,i'(y)+i>W且1≤y+j≤H，则令It-1(St-1,i'(y)+i,y+j)＝It-1(W,y+j)；如果St-1,i'(y)+i>W且y+j>H，则令It-1(St-1,i'(y)+i,y+j)＝It-1(W,H)；上述It(1,1)、It(1,y+j)、It(1,W)、It(x+i,1)、It(x+i,H)、It(W,1)，It(W,y+j)、It(W,H)对应表示{It(x,y)}中坐标位置为(1,1)、(1,y+j)、(1,W)、(x+i,1)、(x+i,H)、(W,1)、(W,y+j)、(W,H)的像素点的像素值，上述It-1(1,1)、It-1(1,y+j)、It-1(1,W)、It-1(x+i,1)、It-1(x+i,H)、It-1(W,1)、It-1(W,y+j)、It-1(W,H)对应表示彩色视频序列中t-1时刻的彩色图像中坐标位置为(1,1)、(1,y+j)、(1,W)、(x+i,1)、(x+i,H)、(W,1)、(W,y+j)、(W,H)的像素点的像素值。⑧根据和计算{It(x,y)}的总能量图，记为将中坐标位置为(x,y)的像素点的像素值记为其中，α2、β2和γ2为加权参数，在本实施例中取α2＝0.25、β2＝0.125和γ2＝0.625。⑨将重定位彩色图像和重定位深度图像的宽度记为W'，将{It(x,y)}和{Dt(x,y)}的垂直缝隙的条数记为Ns，Ns＝W-W'，其中，W'<W。⑩根据通过现有的动态规划方法找出{It(x,y)}的Ns条垂直缝隙，将{It(x,y)}的第i'条垂直缝隙记为{St,i'(y)|1≤y≤H}，其中，1≤i'≤Ns，St,i'(y)表示{St,i'(y)|1≤y≤H}在纵坐标位置为y时的横坐标位置。在此具体实施例中，步骤⑩的具体过程为：⑩-1、根据计算{It(x,y)}中的每个像素点的累计能量值，将{It(x,y)}中坐标位置为(x,y)的像素点的累计能量值记为其中，min()为取最小值函数。⑩-2、根据{It(x,y)}中的每个像素点的累计能量值，采用动态规划方法找出{It(x,y)}中从y＝1到y＝H的Ns条成本最小的路径，将每条成本最小的路径作为{It(x,y)}的一条垂直缝隙。将{It(x,y)}中所有落在{It(x,y)}的Ns条垂直缝隙内的像素点删除，得到重定位彩色图像，记为将{Dt(x,y)}中所有落在相同的Ns条垂直缝隙内的像素点删除，得到重定位深度图像，记为其中，1≤x1≤W'，表示中坐标位置为(x1,y)的像素点的像素值，表示中坐标位置为(x1,y)的像素点的像素值。令t＝t+1；然后将彩色视频序列中t时刻的彩色图像作为当前彩色图像，记为{It(x,y)}；并将深度视频序列中与{It(x,y)}对应的深度图像作为当前深度图像，记为{Dt(x,y)}；再返回步骤⑤继续执行，直至三维视频序列中的所有彩色图像和深度图像处理完毕，得到三维视频序列中的每帧彩色图像对应的重定位彩色图像、三维视频序列中的每帧深度图像对应的重定位深度图像；其中，t＝t+1中的“＝”为赋值符号。以下就利用本发明方法对普林斯顿大学提供的PrincetonTrackingBenchmark(PTB)数据库中的Video1、Video2和Video3三组三维视频序列进行重定位实验。图2a给出了“Videol”三维视频序列的第1时刻的彩色视频帧、图2b给出了“Videol”三维视频序列的第1时刻的深度视频帧、图2c给出了“Videol”三维视频序列的第1时刻的重定位到原始图像宽度70％后的彩色视频帧；图3a给出了“Videol”三维视频序列的第34时刻的彩色视频帧、图3b给出了“Videol”三维视频序列的第34时刻的深度视频帧、图3c给出了“Videol”三维视频序列的第34时刻的重定位到原始图像宽度70％后的彩色视频帧；图4a给出了“Videol”三维视频序列的第59时刻的彩色视频帧、图4b给出了“Videol”三维视频序列的第59时刻的深度视频帧、图4c给出了“Videol”三维视频序列的第59时刻的重定位到原始图像宽度70％后的彩色视频帧；图5a给出了“Video2”三维视频序列的第1时刻的彩色视频帧、图5b给出了“Video2”三维视频序列的第1时刻的深度视频帧、图5c给出了“Video2”三维视频序列的第1时刻的重定位到原始图像宽度70％后的彩色视频帧；图6a给出了“Video2”三维视频序列的第34时刻的彩色视频帧、图6b给出了“Video2”三维视频序列的第34时刻的深度视频帧、图6c给出了“Video2”三维视频序列的第34时刻的重定位到原始图像宽度70％后的彩色视频帧；图7a给出了“Video2”三维视频序列的第59时刻的彩色视频帧、图7b给出了“Video2”三维视频序列的第59时刻的深度视频帧、图7c给出了“Video2”三维视频序列的第59时刻的重定位到原始图像宽度70％后的彩色视频帧；图8a给出了“Video3”三维视频序列的第1时刻的彩色视频帧、图8b给出了“Video3”三维视频序列的第1时刻的深度视频帧、图8c给出了“Video3”三维视频序列的第1时刻的重定位到原始图像宽度70％后的彩色视频帧；图9a给出了“Video3”三维视频序列的第34时刻的彩色视频帧、图9b给出了“Video3”三维视频序列的第34时刻的深度视频帧、图9c给出了“Video3”三维视频序列的第34时刻的重定位到原始图像宽度70％后的彩色视频帧；图10a给出了“Video3”三维视频序列的第59时刻的彩色视频帧、图10b给出了“Video3”三维视频序列的第59时刻的深度视频帧、图10c给出了“Video3”三维视频序列的第59时刻的重定位到原始图像宽度70％后的彩色视频帧。从图2a至图10c中可以看出，采用本发明方法得到的重定位彩色图像能够较好地保留重要的显著语义信息，同时又能保证时域一致性。