基于低秩模型的压缩感知视频重构方法_2

文档序号:8943739阅读:来源:国知局
取第t帧第1个图像块的所有相 似块的提取变换,X s表示第s次迭代的重构视频,
^(X')表示提取第s次迭代重构视频Xs的第t帧第1个图像块的所有相似块的提取变换, Κ#(Λ)表示提取第t帧第1个图像块的第q个相似块的提取矩阵,UX')表示提取第S次 迭代的重构视频Xs的第t帧第1个图像块的第q个相似块的提取矩阵,λ的取值为〇. 75, 11*1^·表示做弗罗贝尼乌斯Frobenius范数的平方操作,Il · IL表示核范数操作,H表示重构 视频第三维的大小,t表示视频帧的编号,即第t帧图像块的编号,t = 1,2, ...,Η,1表示 视频块的编号,1 = 1,2, ...,S,S表示视频块的数目,即每一帧划分的图像块的数目,q = 1,2,...,Q,Q表示相似块的数目;
[0038] (6)按照下式,更新重构视频:
[0039]
[0040] 其中,xs+1表示第s+i次迭代的重构视频,at^gf in表示取当目标函数值最小时重构 视频X的值,y表示由测量数据拉成的一维向量,φ表示由随机掩模观测矩阵生成的视频 观测矩阵,片(·)表示提取第t帧第1个图像块的所有相似块的提取变换,X表示重构视频,
表示提取重构视频X的第t帧第1个图像块的 所有相似块的提取变换,I/W表示提取第t帧第1个图像块的第q个相似块的提取矩阵, (x)表示提取重构视频X的第t帧第1个图像块的第q个相似块的提取矩阵,.£^+1表示 第S+1次迭代的第t帧第1个图像块的低秩结构,Tl的取值为1,Σ表示做求和操作,K 表示做2范数的平方操作,Hf表示做弗罗贝尼乌斯Frobenius范数的平方操作,H表示重 构视频第三维的大小,t表示视频帧的编号,即第t帧图像块的编号,t = 1,2, ...,H,1表示 视频块的编号,1 = 1,2, ...,S,S表示视频块的数目,即每一帧划分的图像块的数目,q = 1,2,...,Q,Q表示相似块的数目;
[0041] (7)判断当前迭代次数是否大于最大外部迭代次数,若是,执行步骤(8),否则将 当前迭代次数加1,执行步骤(4);
[0042] (8)输出重构视频。
[0043] 本发明与现有技术相比具有以下优点:
[0044] 第一,本发明利用基于联合稀疏和高斯分布的分段线性估计构造初始重构视频的 方法,克服了现有技术中分段线性重构的方法不能直接用于视频序列的重构,使得本发明 具有提高视频重构方法鲁棒性的优点。
[0045] 第二,本发明利用视频帧间和帧内的相关性搜索每个图像块的相似块,求解视频 的低秩结构,通过迭代优化求解重构视频,克服了现有技术中基于高斯混合模型的方法没 有利用视频帧内和帧间的相关性的缺点,使得本发明具有提高重构视频精确性的优点。
【附图说明】
[0046] 图1是本发明的流程图;
[0047] 图2是本发明与现有技术在H = 8时对车辆视频重构结果图;
[0048] 图3是用本发明方法与现有技术重构出来的车辆视频的峰值信噪比PSNR折线图。
【具体实施方式】
[0049] 下面结合附图对本发明做进一步的描述。
[0050] 参照附图1,本发明的具体步骤如下。
[0051] 步骤1,接收测量数据。
[0052] 压缩感知发送方对视频数据进行观测,将每H帧视频数据用一个随机掩模观测矩 阵进行一次观测的结果,组成一帧测量数据,并发送测量数据和随机掩模观测矩阵,其中,H 表示取值范围为1至20的正整数。
[0053] 接收方接收发送方发送的测量数据和随机掩模观测矩阵。
[0054] MX NX H维的原始视频数据t,用MX NX H维的随机掩模观测矩阵A进行观测,得 到一帧MXN维测量数据Y :
, ·τ表示做向量的转置操作,Y u表示测量数据Y的第i行j列的元素,其中i = 1,2,...,M, j = 1,2,. . .,N,表示原始视频数据X第t帧上第i行j列的元素,其中t = 1,2,. . .,H, Ali^表示随机掩模观测矩阵A的第t帧上第i行j列的元素,A I jin以概率r随机为0或者 1〇
[0055] 步骤2,初始化单帧协方差矩阵集合。
[0056] 生成18幅人工黑白图,每幅人工黑白图的大小为65 X 65像素,每幅人工黑白图代 表一个方向。
[0057] 采用窗口大小为8X8像素,以1个像素的步长,分别在每个方向的人工黑白图像 上滑窗选取大小为8X8像素的所有块,得到每个方向的方向块集合。
[0058] 分别对每个方向的方向块集合进行主成分分析PCA分解,得到主成分分析PCA正 交基和特征值矩阵,保留每个方向上的前8个最大特征值和对应的主成分正交基,得到相 应的特征值矩阵和方向基。
[0059] 计算每个人工黑白图所代表方向上的单帧协方差矩阵,得到单帧协方差矩阵集 合。
[0060] 按照下式,计算每个黑白图所代表方向上的单帧协方差矩阵: _1] Pk=BkDkBk'
[0062] 其中,Pk表示第k个方向上的单帧协方差矩阵,B k表示第k个方向上的方向基,D k 表示第k个方向上的特征值矩阵,T表示转置操作,k表示方向的编号,k = 1,2, ...,18。
[0063] 主成分分析PCA分解的步骤如下:
[0064] 从人工黑白图的所有方向中选择一个方向,按照下式,求出所选方向方向块集合 的协方差矩阵:
[0065] P = E[f1f1T]
[0066] 其中,P表示所选方向的方向块集合的协方差矩阵,E表示数学期望,匕表示所选 取方向的方向块集合中的第i个块,T表示转置操作。
[0067] 按照下式,对协方差矩阵进行对角化,得到主成分分析PCA正交基和特征值矩阵:
[0068] P = BDBt
[0069] 其中,P表示所选取方向的方向块集合的协方差矩阵,B表示所选取方向的主成分 分析PCA正交基,D表示该方向的特征值矩阵,T表示转置操作。
[0070] 步骤3,基于联合稀疏和高斯分布的分段线性估计构造初始重构视频。
[0071] 对每个人工黑白图所代表的方向,将其方向上的H个单帧协方差矩阵放在矩阵对 角线上,以联合稀疏表示每个人工黑白图所代表方向的对三维视频数据表示的视频协方差 矩阵,其中,第k个方向的视频协方差矩阵如下:
[0072]
[0073] 其中,1表示第k个方向的视频协方差矩阵,Pk表示第k个方向的单帧协方差矩 阵,k表示人工黑白图所代表的方向编号,k = 1,2, ...,18。
[0074] 将MXNXH维的重构视频初始为零矩阵,对初始重构视频的每一帧以步长p的大 小划分为nXn维的S个图像块,并保留分块的位置,将每一帧相同位置的图像块组成视频 块,得到视频块集合(X1,…·,Xi,…,Xs},其中,A = (a/,,.",,:气;^.4气)'_ .,X廣 块,气表示重构视频第t帧的第1个大小为nXn维的图像块,T表示转置操作,对于人工黑 白图所代表的方向k上的第1个视频块*丨:服从均值为0,协方差矩阵为1的高斯分布,R表 示第k个方向的视频协方差矩阵,M、N、H分别表示重构视频中的第一维、第二维、第三维的 大小,Ρ、η分别表示小于等于M、N维数中最小的值的正整数,k表示人工黑白图所代表的方 向编号,k = 1,2,. . .,18, 1 = 1,2,. . .,S,S表示视频块的数目,即每一帧划分的图像块的 数目。
[0075] 用分段线性估计计算视频块在人工黑白图所代表方向上的最优方向的步骤如 下:
[0076] 按照下式,计算视频块在人工黑白图中所代表方向上的估计值:
[0077]
[0078] 其中,X丨表示第1个视频块在人工黑白图所代表的方向k上的估计值,瓦表示第k 个视频协方差矩阵,O1表示从随机掩模观测矩阵取出的第1个视频块的观测矩阵,y i表示 从测量数据取出的第1个视频块的测量数据,σ的取值范围为O至l,Id表示d维单位矩阵, T表示转置操作,· 1表示矩阵求逆,k表示人工黑白图所代表的方向编号,k = 1,2, ...,18, 1表示视频块的编号,1 = 1,2, ...,S,S表示视频块的数目,即每一帧划分的图像块的数目。
[0079] 按照下式,计算人工黑白图所代表方向的最优方向:
[0080]
[0081] 其中,元表示第1个视频块在人工黑白图所代表方向中的最优方向,argmin()表示 返回使目标函数值最小时k的取值,Φ i表示从随机掩模观测矩阵取出的第1个视频块的观 测矩阵,4表示第1个视频块在人工黑白图所代表的方向k上的估计值,yi表示从测量数 据取出的第1个视频块的测量数据,Pit表示第k个视频协方差矩阵,〇的取值范围为0至 1,Il · Il2表示范数的平方,I · I表示行列式的值,T表示转置操作,· 1表示矩阵求逆,k表 示人工黑白图所代表的方向编号,k = 1,2,. . .,18, 1表示视频块的编号,1 = 1,2,. . .,S, S表示视频块的数目,即每一帧划分的图像块的数目。
[0082] 将每个视频块在其最优方向上的估计值,按照划分视频块时所保留的分块的位 置,组合成初始重构视频。
[0083] 设置迭代次数s以及最大外部迭代次数U,令当前迭代次数s为1,并将初始重构 视频作为第一次迭代的重构视频,其中,U表示正整数。
[0084] 步骤4,利用视频帧
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1