一种视频显著图提取方法
【专利摘要】本发明公开了一种视频显著图提取方法，其首先通过对二维视频在时域上、在水平方向及在垂直方向进行采样，分别得到X-Y截面图像、X-T截面图像和Y-T截面图像，然后通过对X-T截面图像和Y-T截面图像进行低秩矩阵分解提取出X-Y截面图像的运动显著图，对X-Y截面图像的特征矢量进行低秩矩阵分解提取出X-Y截面图像的空间显著图，最后对运动显著图和空间显著图进行融合，得到最终的视频显著图，优点是所获得的视频显著图能够较好地反映视频的静态和动态区域的显著变化情况，符合人眼运动显著语义的特征。
【专利说明】一种视频显著图提取方法
【技术领域】
[0001]本发明涉及一种视频信号的处理方法，尤其是涉及一种视频显著图提取方法。
【背景技术】
[0002]在人类视觉接收与信息处理中，由于大脑资源有限以及外界环境信息重要性区另IJ，因此在处理过程中人脑对外界环境信息并不是一视同仁的，而是表现出选择特征。人们在观看图像或者视频片段时注意力并非均匀分布到图像的每个区域，而是对某些显著区域关注度更高。如何将视频中视觉注意度高的显著区域检测并提取出来是计算机视觉以及基于内容的视频检索领域的一个重要的研究内容。
[0003]目前，通常采用视频分割、光流法、运动估计等方法来提取视频显著区域，然而这些方法并不能很好地将运动的物体和静态背景进行分离，这是因为:一方面，通过运动估计或帧差法得到的运动信息只反映运动趋势，并不能很好地反映运动显著语义特征；另一方面，视频中的静态场景也会影响视觉注意力的判断，在某些情况下，空间显著图会起主要的作用，因此，如何提取反映运动显著语义特征的运动显著图，如何对运动显著图和空间显著图进行结合，都是视频显著图提取中需要研究解决的问题。
【发明内容】
[0004]本发明所要解决的技术问题是提供一种符合人眼运动显著语义特征，且提取精度高的视频显著图提取方法。
[0005]本发明解决上述技术问题所采用的技术方案为:一种视频显著图提取方法，其特征在于包括以下步骤:
[0006]①对呈三维立方体的二维视频在时域上进行采样，得到二维视频的T个X-Y截面图像，即得到二维视频的T个时刻的视频帧，将二维视频中的t时刻的视频帧记为{It(x，y)}，将{It(x，y)}中坐标位置为(x，y)的像素点的像素值记为It(x，y)，其中，T表示二维视频中包含的视频帧的总帧数，l^t^T,l^x^ff, l^y^H, W表示二维视频中各时刻的视频帧的宽，H表示二维视频中各时刻的视频帧的高；
[0007]同样，对呈三维立方体的二维视频在X方向上进行采样,得到二维视频的W个Y-T截面图像，将二维视频中的第X个Y-T截面图像记为{Ix(y，t)}，将{Ix(y，t)}中坐标位置为(y，t)的像素点的像素值记为Ix (y, t), Ix (y, t)=It(x, y)；
[0008]同样，对呈三维立方体的二维视频在Y方向上进行采样,得到二维视频的H个X-T截面图像，将二维视频中的第y个X-T截面图像记为{Iy(x，t)}，将{Iy(x，t)}中坐标位置为(X，t)的像素点的像素值记为Iy (X，t), Iy (X，t)=It(x, y)；
[0009]②对二维视频中的每个Y-T截面图像进行低秩矩阵分解，并获取二维视频中的每个Y-T截面图像的最优垂直方向运动矩阵，同样对二维视频中的每个X-T截面图像进行低秩矩阵分解，并获取二维视频中的每个X-T截面图像的最优水平方向运动矩阵；然后根据二维视频中的每个Y-T截面图像的最优垂直方向运动矩阵和每个X-T截面图像的最优水平方向运动矩阵，获取二维视频中每个时刻的视频帧的运动显著图，将二维视频中的t时刻的视频帧{It(x, y)}的运动显著图记为{St，m()tim(x，y)},其中，St，m(rti()n(x，y)表示{St；motion(x, y)}中坐标位置为(x，y)的像素点的像素值；
[0010]③提取二维视频中每个时刻的视频帧中的每个像素点的特征矢量；然后对提取得到的所有像素点的特征矢量构成的矩阵进行低秩矩阵分解，并获取二维视频中每个时刻的视频帧中的所有像素点的特征矢量构成的矩阵的最优背景矩阵和最优运动矩阵；再根据二维视频中每个时刻的视频帧中的所有像素点的特征矢量构成的矩阵的最优运动矩阵，获得二维视频中每个时刻的视频帧的空间显著图，将二维视频中的t时刻的视频帧{It(x，y)}的空间显著图记为表示{St,spatial(x，y)}中坐标位置为(X，y)的像素点的像素值；
[0011]④对二维视频中每个时刻的视频帧的运动显著图和空间显著图进行融合，得到二维视频中每个时刻的视频帧的视频显著图，将二维视频中t时刻的视频帧{It(x，y)}的视频显著图记为{SvidOT(x，y)}，将{SvidOT(x，y)}中坐标位置为(x，y)的像素点的像素值记为
【权利要求】
1.一种视频显著图提取方法，其特征在于包括以下步骤: ①对呈三维立方体的二维视频在时域上进行采样，得到二维视频的T个X-Y截面图像，即得到二维视频的T个时刻的视频帧，将二维视频中的t时刻的视频帧记为{It (X，y)}，将{It(x, y)}中坐标位置为(x，y)的像素点的像素值记为It(x，y)，其中，T表示二维视频中包含的视频帧的总帧数，l^y^H, W表示二维视频中各时刻的视频帧的宽，H表示二维视频中各时刻的视频帧的高； 同样，对呈三维立方体的二维视频在X方向上进行采样，得到二维视频的W个Y-T截面图像，将二维视频中的第X个Y-T截面图像记为{Ix(y，t)}，将{Ix(y，t)}中坐标位置为(y, t)的像素点的像素值记为 Ix (y, t), Ix (y, t)=It(x, y)； 同样，对呈三维立方体的二维视频在Y方向上进行采样，得到二维视频的H个X-T截面图像，将二维视频中的第y个X-T截面图像记为{Iy(x，t)}，将{Iy(x，t)}中坐标位置为(X，t)的像素点的像素值记为Iy (X，t), Iy (X，t)=It(x, y)； ②对二维视频中的每个Y-T截面图像进行低秩矩阵分解，并获取二维视频中的每个Y-T截面图像的最优垂直方向运动矩阵，同样对二维视频中的每个X-T截面图像进行低秩矩阵分解，并获取二维视频中的每个X-T截面图像的最优水平方向运动矩阵；然后根据二维视频中的每个Y-T截面图像的最优垂直方向运动矩阵和每个X-T截面图像的最优水平方向运动矩阵，获取二维视频中每个时刻的视频帧的运动显著图，将二维视频中的t时刻的视频帧{It(x, y)}的运动显著图记为{St，m()tim(x，y)},其中，St，m(rti()n(x，y)表示{St；motion(x, y)}中坐标位置为(x，y)的像素点的像素值； ③提取二维视频中每个时刻的视频帧中的每个像素点的特征矢量；然后对提取得到的所有像素点的特征矢量构成的矩阵进行低秩矩阵分解，并获取二维视频中每个时刻的视频帧中的所有像素点的特征矢量构成的矩阵的最优背景矩阵和最优运动矩阵；再根据二维视频中每个时刻的视频帧中的所有像素点的特征矢量构成的矩阵的最优运动矩阵，获得二维视频中每个时刻的视频帧的空间显著图，将二维视频中的t时刻的视频帧{It(x，y)}的空间显著图记为{St,spatial(x，y)}，其中，St,spatial(x，y)表示{St,spatial (x，y)}中坐标位置为(X，y)的像素点的像素值； ④对二维视频中每个时刻的视频帧的运动显著图和空间显著图进行融合，得到二维视频中每个时刻的视频帧的视频显著图，将二维视频中t时刻的视频帧{It(x，y)}的视频显著图记为{SvidOT(x，y)}，将{SvidOT(x，y)}中坐标位置为(x，y)的像素点的像素值记为Svideo (χ, y)， Svideo (X，Y) ^t, motion
(x，y)) ° X (Supatial(Xj))1^,其中，α 为权重系数。
2.根据权利要求1所述的一种视频显著图提取方法，其特征在于所述的步骤②的具体过程为: ②-1、对二维视频中的每个Y-T截面图像进行低秩矩阵分解，得到二维视频中的每个Y-T截面图像的所有垂直方向背景矩阵和所有垂直方向运动矩阵； ②-2、利用最小化概率密度函数，获取二维视频中的每个Y-T截面图像的最优垂直方向背景矩阵和最优垂直方向运动矩阵，将二维视频中的第χ个Y-T截面图像{Ix (y，t)}的最优垂直方向背景矩阵和最优垂直方向运动矩阵对应记为B!和M=，将和M=的组合记为
3.根据权利要求2所述的一种视频显著图提取方法，其特征在于所述的步骤②-2和所述的步骤②-5中取λ =0.06 ;所述的步骤②-8中取σ =5。
4.根据权利要求1至3中任一项所述的一种视频显著图提取方法，其特征在于所述的步骤③的具体过程为: ③-1、将当前正在处理的二维视频中的t时刻的视频帧{It(X，y)}定义为当前视频帧； ③-2、提取当前视频帧中的每个像素点的红颜色分量、绿颜色分量、蓝颜色分量、色调分量和饱和度分量，由提取出的每个像素点的红颜色分量、绿颜色分量、蓝颜色分量、色调分量和饱和度分量构成对应像素点的第一特征矢量，其中，当前视频帧中的每个像素点的第一特征矢量的维数为5 X (WXH)； ③_3、提取当前视频帧中的每个像素点经4个方向和3个尺度的可控金字塔滤波后得到的振幅，由提取出的每个像素点对应的12个振幅构成对应像素点的第二特征矢量，其中，当前视频帧中的每个像素点的第二特征矢量的维数为12X (WXH)； ③-4、提取当前视频帧中的每个像素点经12个方向和3个尺度的Gabor滤波后得到的振幅，由提取出的每个像素点对应的36个振幅构成对应像素点的第三特征矢量，其中，当前视频帧中的每个像素点的第三特征矢量的维数为36 X (WXH)； ③-5、将当前视频帧中的每个像素点的第一特征矢量、第二特征矢量和第三特征矢量按序重组构成对应像素点的特征矢量，然后对当前视频帧中的所有像素点的特征矢量构成的矩阵进行低秩矩阵分解，得到当前视频帧中的所有像素点的特征矢量构成的矩阵的所有背景矩阵和所有运动矩阵； ③-6、利用最小化概率密度函数，获取当前视频帧中的所有像素点的特征矢量构成的矩阵的最优背景矩阵和最优运动矩阵，对应记为
5.根据权利要求4所述的一种视频显著图提取方法，其特征在于所述的步骤③-6中取λ =0.06 ;所述的步骤③-7中取Μ=200。
6.根据权利要求5所述的一种视频显著图提取方法，其特征在于所述的步骤④中取α =0.3。`
【文档编号】G06T7/00GK103632372SQ201310651561
【公开日】2014年3月12日 申请日期:2013年12月5日 优先权日:2013年12月5日
【发明者】邵枫, 潘云峰, 蒋刚毅, 郁梅, 李福翠, 彭宗举 申请人:宁波大学