65像素，每幅人工黑白图代 表一个方向； (2b)采用窗口大小为8X8像素，以1个像素的步长，分别在每个方向的人工黑白图像 上滑窗选取大小为8X8像素的所有块，得到每个方向的方向块集合； (2c)分别对每个方向的方向块集合进行主成分分析PCA分解，得到主成分分析PCA正 交基和特征值矩阵，保留每个方向上的前8个最大特征值和对应的主成分正交基，得到相 应的特征值矩阵和方向基； (2d)计算每个人工黑白图所代表方向上的单帧协方差矩阵，得到单帧协方差矩阵集 合； (3) 基于联合稀疏和高斯分布的分段线性估计构造初始重构视频： (3a)对每个人工黑白图所代表的方向，将其方向上的H个单帧协方差矩阵放在矩阵对 角线上，构造每个人工黑白图所代表方向的用于重构三维视频数据的联合稀疏的视频协方 差矩阵，其中，第k个方向的视频协方差矩阵如下：其中，巧表示第k个方向的视频协方差矩阵，Pk表示第k个方向的单帧协方差矩阵，k 表示人工黑白图所代表的方向编号，k = 1，2,. . .，18 ; (3b)将MXNXH维的重构视频初始为零矩阵，对初始重构视频的每一帧以步长p的大 小划分为nXn维的S个图像块，并保留分块的位置，将每一帧相同位置的图像块组成视频 块，得到视频块集合U1, . . .，X1, . . .，Xs}，其中，=(气，…，a/,，…，气），第1个视频 ±夬，^表示重构视频第t帧的第1个大小为nXn维的图像块，T表示转置操作，对于人工黑 白图所代表的方向k上的第1个视频块4服从均值为0,协方差矩阵为巧的高斯分布，$ 表示第k个方向的视频协方差矩阵，M、N、H分别表示重构视频中的第一维、第二维、第三维 的大小，Ρ、η分别表示小于等于M、N维数中最小的值的正整数，k表示人工黑白图所代表的 方向编号，k = 1，2,. . .，18, 1 = 1，2,. . .，S，S表示视频块的数目，即每一帧划分的图像块 的数目； (3c)按照下式，计算视频块在人工黑白图中所代表方向上的估计值： CN 105160664 A _权利要求书_ _2/4 页其中，#表示第1个视频块在人工黑白图所代表的方向k上的估计值，^表示第k个视 频协方差矩阵，O1表示从随机掩模观测矩阵取出的第1个视频块的观测矩阵，y :表示从测 量数据取出的第1个视频块的测量数据，σ的取值范围为〇至1，Id表示d维单位矩阵，T 表示转置操作，· 1表示矩阵求逆，k表示人工黑白图所代表的方向编号，k = 1，2, ...，18,1 表示视频块的编号，1 = 1，2, ...，S，S表示视频块的数目，即每一帧划分的图像块的数目； (3d)按照下式，计算人工黑白图所代表方向的最优方向：其中，Ι?表示第1个视频块在人工黑白图所代表方向中的最优方向，nlin()表示返回 使目标函数值最小时k的取值，O1表示从随机掩模观测矩阵取出的第1个视频块的观测 矩阵，X)表示第1个视频块在人工黑白图所代表的方向k上的估计值，71表示从测量数据 取出的第1个视频块的测量数据，?表示第k个视频协方差矩阵，〇的取值范围为0至1， I · 112表示范数的平方，I · I表示行列式的值，τ表示转置操作，· 1表示矩阵求逆，k表 示人工黑白图所代表的方向编号，k = 1，2,...，18, 1表示视频块的编号，1 = 1，2,...，S， S表示视频块的数目，即每一帧划分的图像块的数目； (3e)将每个视频块在其最优方向上的估计值，按照步骤（3b)划分视频块时所保留的 分块的位置，组合成初始重构视频； (3f)设置迭代次数s以及最大外部迭代次数U，令当前迭代次数s为1，并将初始重构 视频作为第一次迭代的重构视频，其中，U表示正整数； (4) 利用视频帧间和帧内的相关性搜索每个图像块的相似块： (4a)将重构视频的每一帧以步长p的大小划分为ηXη维的块，将所有帧的块组成二维 图像块集合G1，其中，ρ、η表示小于等于M、N维数中最小的值的正整数，M、N表示重构视频 的第一维、第二维的大小； (4b)将重构视频的每一帧以步长为1划分为ηΧη维的块，将所有帧的块组成二维图像 块集合G2,并记录视频块在G2中的索引，其中，η表示小于等于M、N维数中最小的值的正整 数，M、N表示重构视频的第一维、第二维的大小； (4c)对G1中的每一个块，从G 2中取出所有在该块周围Z X Z X H窗口内的块，记为该块 的近邻块，其中，Z表示窗口第一维和第二维的大小，H表示窗口第三维的大小，G1表示以步 长P的大小划分块的二维图像块集合，G2表示以步长为1划分块的二维图像块集合； (4d)计算二维图像块集合G1中的每一个块与其近邻块的欧式距离，按欧式距离从小到 大排序，选择前Q个块作为对应块的相似块，记录每个块的相似块在G2中的索引，其中，Q表 示小于近邻块块数一半的正整数； (5) 按照下式，求解视频的低秩结构：其中，if1表示第S+1次迭代的第t帧第1个图像块的低秩结构，at^min表示取当目 标函数值最小时图像块的低秩结构4的值，& (*>表示提取第t帧第1个图像块的所有相 似块的提取变换，Xs表示第s次迭代的重构视频，= (:?傷％…，:^供％··%^))， & (X'>表示提取第S次迭代重构视频Xs的第t帧第1个图像块的所有相似块的提取变换， W表示提取第t帧第1个图像块的第q个相似块的提取矩阵，表示提取第s次 迭代的重构视频Xs的第t帧第1个图像块的第q个相似块的提取矩阵，λ的取值为〇. 75， ||*|_|J·表示做弗罗贝尼乌斯Frobenius范数的平方操作，I I · I L表示核范数操作，H表示重 构视频第三维的大小，t表示视频帧的编号，即第t帧图像块的编号，t = 1，2, ...，H，1表 示视频块的编号，1 = 1，2, ...，S，S表示视频块的数目，即每一帧划分的图像块的数目，q = 1，2，...，Q，Q表示相似块的数目； (6) 按照下式，更新重构视频：其中，Xs+1表示第s+1次迭代的重构视频，at^nin表示取当目标函数值最小时重构视 频X的值，y表示由测量数据拉成的一维向量，Φ表示由随机掩模观测矩阵生成的视频观 测矩阵，義t(*)表示提取第t帧第1个图像块的所有相似块的提取变换，X表示重构视频， 卑(X) = (R彳(X),.·.,Ri(X),...R/e<Χ)>，卑(X)表示提取重构视频X的第t帧第1个图像块的 所有相似块的提取变换，1表示提取第t帧第1个图像块的第q个相似块的提取矩阵，R^X)表示提取重构视频X的第t帧第1个图像块的第q个相似块的提取矩阵，表示 第s+1次迭代的第t帧第1个图像块的低秩结构，Π 的取值为1，Σ表示做求和操作，|·| 表示做2范数的平方操作，|·||;表示做弗罗贝尼乌斯Frobenius范数的平方操作，H表示重 构视频第三维的大小，t表示视频帧的编号，即第t帧图像块的编号，t = 1，2, ...，Η，1表示 视频块的编号，1 = 1，2, ...，S，S表示视频块的数目，即每一帧划分的图像块的数目，q = 1，2，...，Q，Q表示相似块的数目； (7) 判断当前迭代次数是否大于最大外部迭代次数，若是，执行步骤（8)，否则将当前 迭代次数加1，执行步骤（4); (8) 输出重构视频。2. 根据权利要求1所述的基于低秩模型的压缩感知视频重构方法，其特征在于：步骤 (2a)中所述人工黑白图的每幅人工黑白图的黑色区域和白色区域的分界线均经过中心坐 标（33, 33)，18幅人工黑白图分界线的角度从0到180度均匀采样。3. 根据权利要求1所述的基于低秩模型的压缩感知视频重构方法，其特征在于：步骤 (2c)中所述主成分分析PCA分解的步骤如下： 第1步，从人工黑白图的所有方向中选择一个方向，按照下式，求出所选方向方向块集 合的协方差矩阵：其中，P表示所选方向的方向块集合的协方差矩阵，E表示数学期望，A表示所选方向 的方向块集合中的第i个块，T表示转置操作； 第2步，按照下式，对协方差矩阵进行对角化，得到主成分分析PCA正交基和特征值矩 阵： P = BDBt 其中，P表示所选取方向的方向块集合的协方差矩阵，B表示所选取方向的主成分分析 PCA正交基，D表示该方向的特征值矩阵，T表示转置操作。4.根据权利要求1所述的基于低秩模型的压缩感知视频重构方法，其特征在于：步骤 (2d)中所述计算每个人工黑白图所代表方向上的单帧协方差矩阵的公式如下： Pk= BkDkB1/ 其中，Pk表示第k个方向上的单帧协方差矩阵，B k表示第k个方向上的方向基，D k表示 第k个方向上的特征值矩阵，T表示转置操作，k表示人工黑白图所代表的方向编号，k = 1，2, · · ·，18〇
【专利摘要】本发明公开了一种基于低秩模型的压缩感知视频重构方法，主要解决压缩感知视频重构不准确和低鲁棒的问题，其实现过程为：(1)接收测量数据；(2)初始化单帧协方差矩阵集合；(3)基于联合稀疏和高斯分布的分段线性估计构造初始重构视频；(4)利用视频帧间和帧内的相关性搜索每个图像块的相似块；(5)求解视频的低秩结构；(6)更新重构视频；(7)判断是否到达迭代停止条件；(8)输出重构视频。本发明与现有视频重构技术相比，具有重构图像质量高，鲁棒性好的优点，可用于自然场景视频的重构。
【IPC分类】G06T7/00
【公开号】CN105160664
【申请号】CN201510523631
【发明人】刘芳, 李婉, 郝红侠, 焦李成, 李玲玲, 杨淑媛, 尚荣华, 马文萍
【申请人】西安电子科技大学
【公开日】2015年12月16日
【申请日】2015年8月24日