基于数据驱动子空间集的压缩视频采集与重构系统的制作方法
【专利摘要】本发明提供了一种基于数据驱动子空间集的压缩视频采集与重构系统，包括：子空间集构造模块、稀疏基矩阵构造模块、视频信号传感模块和重构处理模块，其中：子空间集构造模块利用聚类方法生成子空间集，稀疏基矩阵构造模块利用线性子空间学习方法生成子空间集对应的稀疏基，传感模块对视频信号以块的形式进行投影，所得的数据最后在重构处理模块中被解码重构。本发明提供压缩采样的同时还契合了视频采样过程的分布式渐进式的结构，对稀疏基矩阵的特殊构造也提升了重构的精确度和效率，本发明大大提高了视频信号的采样效率，在不同的采样压缩率下相比其他方法取得了重构增益，同时也具备良好的可扩展性。
【专利说明】基于数据驱动子空间集的压缩视频采集与重构系统
【技术领域】
[0001]本发明涉及一种视频信号获取方案，具体是一种基于数据驱动子空间集的压缩视频采集与重构系统。
【背景技术】
[0002]视频信号的采集和编码(压缩)对于视频的存储和传输等应用至关重要。传统的信号处理系统采用先采样再压缩的模式:为了完整地保存信号所有信息，应以不小于信号带宽的两倍采样频率对视频进行采样；采集到的原始信号通过一系列编码技术后达到去除冗余的目的，相关技术的瓶颈在于花费了大量的传感器以及计算资源就为了获得处理后的少量信号压缩数据，对采样端的资源需求过高。为了进一步提高视频信号的采集效率，在采样的同时加入了一些信号处理技术，其中一种方案则是将采样与压缩同时进行，然后通过后端的一些算法对压缩后的数据进行重构。
[0003]经过对现有技术的文献检索发现，Ying Liu, Ming Li和Dimitris A.Pados在2013年的〈〈IEEE Transactions on Circuits and Systems for Video Technology〉〉(TCSVT)期刊上发表的 “Motion-Aware Decoding of Compressed-Sensed Video” 一文中提出 了基于Karhunen-Loeve transform (KLT)基的重构将压缩传感应用到视频采样上来,该方法在采样编码端直接对视频块采用传感矩阵进行压缩采样，在解码端使用KLT基作为稀疏基对信号进行重构，这种方法可以有效地提高视频采样的效率，并且保证重构获得的视频的主观质量，但这种方法所使用的KLT基是在局部搜索窗中产生的，对于具有复杂纹理或者剧烈运动的视频场景，该方法所使用的KLT基就不能准确有效的对视频帧块进行稀疏表示，进而导致效果降低。这些不足促使我们在其基础上去寻找一种更加有效地重构方法，充分利用视频信号块的特殊结构来提高重构结果的主客观质量。Yue M.Lu与Minh N.Do在2008年的《IEEE Transactions on Signal Processing)) (TSP)期刊上发表的 “A Theory forSampling Signals From a Union of Subspaces” 一文中提出了基于子空间集的信号采样理论，该理论给出了对于处在子空间集的信号的采样所要满足的唯一性和稳定性的条件，但是该理论所假设的子空间集是由固定基张成的，不能提供更加有效的稀疏性和适应性。
【发明内容】
[0004]本发明针对现有技术的不足，提供了一种基于数据驱动子空间集的压缩视频采集与重构系统，可以有效提高视频信号采集效率以及重构系统的主客观质量，并可作为一种通用的视频采集工具。
[0005]本发明是通过以下技术方案实现的:
[0006]本发明所述的基于数据驱动子空间集的压缩视频采集与重构系统，包括:子空间集构造模块、稀疏基矩阵构造模块、视频信号传感模块和重构处理模块，其中:
[0007]所述子空间集构造模块对视频信号关键帧块，利用聚类方法生成子空间集，并将该子空间集输出到稀疏基矩阵构造模块的输入端；[0008]所述稀疏基矩阵构造模块接收子空间集，利用线性子空间学习方法生成子空间集对应的稀疏基矩阵，并将该稀疏基矩阵输出到重构处理模块的输入端；
[0009]所述视频信号传感模块对视频信号的非关键帧块以块的形式进行投影，得到观测值，并将该观测值输出到重构处理模块的输入端；
[0010]所述重构处理模块接收所述稀疏基矩阵构造模块输出的基矩阵与所述视频信号传感模块输出的测量值，对信号进行重构。
[0011]所述的子空间集构造模块，实现由在重建的关键帧上进行块聚类生成不同类别的块组。每类块组对应于一个子空间，聚类得到的块组作为训练集用于生成子空间集的稀疏基矩阵。基于块聚类的子空间构造可以通过稀疏子空间聚类方法和块匹配方法对整个重构关键帧进行操作来实现。
[0012]所述的稀疏基矩阵构造模块实现由线性子空间学习方法生成的一种标准正交基，线性子空间学习方法分别单独作用于不同的块组得到不同的基，进而组成稀疏基矩阵。它能够适应性的表示出高维信号的内在结构，相对于固定基能更有效地稀疏表示视频信号，并且信号在此稀疏基矩阵上的稀疏表示是具有块结构的。
[0013]所述的传感模块是一种一阶的数字微镜设备(DMD)，它模拟了对视频信号的压缩传感。
[0014]所述的重构处理模块是通过一种凸松弛算法模型实现的。
[0015]本发明中采用的基于数据驱动子空间集的压缩传感技术为视频信号的采集提供了通用的解决方案，尤其是针对具有复杂纹理和剧烈运动的视频信号。本发明所使用的子空间集是通过在重构的关键帧中采用稀疏子空间聚类和块匹配方法聚类得到的，充分利用了视频帧块的独特结构，以及帧内帧间的空间时间冗余，提高了采样的效率与性能。另一方面，鉴于稀疏基矩阵在压缩传感的重构过程中发挥的重要作用，本发明通过线性子空间学习的方法对每个子空间单独进行学习得到相应的基进而组成子空间集的稀疏基矩阵，这样能够使得帧块信号具有适应性稀疏表示，并且该稀疏表示具有结构性，进而提高采样效率(降低精确重构所需的必要采样数)，还能加速凸松弛重构算法的收敛及稳定性，有助于本发明数据驱动子空间集压缩传感的性能及实用性的提升。
[0016]与现有技术相比，本发明具有如下的有益效果:
[0017]本发明大大提高了重构性能，与传统的使用固定基或者KLT基进行重构的视频压缩传感系统相比，由于本发明的重构采用的是适应性的全局最优的基因此在重构效果上均能够得到增强；对于其它高维信号，本发明通过适当的修改也可使用，具有较强的适应性；在重建时由于子空间集和稀疏基矩阵的特殊构造，使得信号具有结构性的稀疏表示，因此本发明在不降低视频的主观效果的情况下可以进一步提高采样效率，同时加快凸松弛重构算法的收敛速度，在不同的采样压缩率下相比其他方法取得了重构增益，同时也具备良好的可扩展性。
【专利附图】
【附图说明】
[0018]通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显:
[0019]图1为本发明系统一实施例的结构框图；[0020]图2为子空间集构造模块工作原理图；
[0021]图3为稀疏基矩阵构造模块对视频帧块信号产生的结构性稀疏表示示意图。【具体实施方式】[0022]下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
[0023]如图1所示，本发明一实施例的结构框图，包括:子空间集构造模块、稀疏基矩阵构造模块、视频信号传感模块和重构处理模块，其中:子空间集构造模块利用聚类方法生成子空间集，稀疏基矩阵构造模块利用线性子空间学习方法生成子空间集对应的稀疏基，传感模块对视频信号以块的形式进行压缩投影，所得的观测值最后在重构处理模块中被解码重构。在编码端中，视频信号传感模块对视频信号进行采样产生测量值；在解码端中，稀疏基矩阵构造模块产生基矩阵；所述稀疏基矩阵构造模块输出的的基矩阵与所述视频信号传感模块输出的测量值一起进入重构处理模块，在重构处理模块中信号被重构。
[0024]本实施例中，所述的子空间集构造模块如图2所示，在整幅重建的关键帧中做块聚类，其中:关键帧中的块集合X= Ix1, X2,…，ΧΚ}，利用稀疏子空间聚类方法或块匹配方法把X分割成t个聚类X1, X2,…，Xt，每个聚类中的块都是相似的且同属于一个子空间。X1, X2,…，Xt对应于t个子空间S1, S2，…，St，那么任一视频帧块信号X都属于子空间集U= U S”
[0025]本实施例中，所述的稀疏基矩阵构造模块实现由线性子空间学习方法生成的一种标准正交基，线性子空间学习方法(如主成分分析(PCA))分别单独作用于不同的块组Xi, i=l，...，t得到不同的基Wi, i=l，...，t，进而组成稀疏基矩阵Ψ2，…，Wt]。该稀疏基矩阵能够适应性的表示出视频帧块信号的内在结构，相对于固定基能更有效地稀疏表示视频信号，并且信号在此稀疏基矩阵上的稀疏表示c*是具有块结构的，如图3所示。
[0026]本实施例中，所述的视频信号传感模块是一种一阶的数字微镜投影设备(DMD)，它模拟了对视频信号的压缩传感y=oX，Φ为随机采样矩阵。该发明首先对关键帧块进行压缩采样，采样率为0.7，然后对非关键帧块信号进行压缩采样，采样率的选取在0.1到0.6之间，基于视频帧块的采样提高了视频采样和重构的速率。
[0027]本实施例中，所述的重构处理模块是通过一种凸松弛算法模型实现的，具体为:对于关键帧，找到I1范数最小的C使得7=ΦΨ(3，得到的是一个全局最优解，用二维DCT基Ψ乘以这个全局最优解就可以得到所需重构的关键帧块信号；对于非关键帧，找到I2,工范数最小的cM吏得，得到的是一个全局最优解，用Ψ*乘以这个全局最优解就可以得到所需重构的非关键帧块信号。其中，Φ为随机采样矩阵，12>1范数为混合范数，
INI, =Zllc[/=z]IL，I为块结构中块组的下标，如图3。
[0028]实施效果
[0029]本实施例中关键参数的设置为:实验用视频序列来源于Football_cif.yuv(352x288的4:2:0格式的YUV文件)，总共取250帧。每十帧为一个帧组，选取第一帧为关键帧，后九帧为非关键帧，块的尺寸选取为16X16像素。由于信号的灰度图集中了绝大部分能量，测试主要是在灰度图上完成的。本实施例比较了采用本发明所述的基于数据驱动子空间集的压缩感知的方法与Ying Liu等人在“Motion-Aware Decoding ofCompressed-Sensed Video，，论文中的方法，以及Yue Μ.Lu等人在“A Theory for SamplingSignals From a Union of Subspaces”论文中的方法。本发明所用稀疏基选取了 PCA基，每个子空间的维数为10，聚类产生的子空间的个数为50。
[0030]与之前两种方法相比，在压缩率为0.2时，本实施例系统分别获得9.2dB，2.7dB的重构增益；在压缩率为0.3时，本实施例系统分别获得11.6dB, 2.8dB的重构增益；在压缩率为0.4时，本实施例系统分别获得11.4dB, 4.2dB的重构增益；在压缩率为0.5时，本实施例系统分别获得10.3dB, 6.3dB的重构增益；
[0031]实验表明，本实施例系统重建出来的视频序列在重构质量上明显优于另外两种方法得到的视频序列。
[0032]以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。
【权利要求】
1.一种基于数据驱动子空间集的压缩视频采集与重构系统，其特征在于，包括:子空间集构造模块、稀疏基矩阵构造模块、视频信号传感模块和重构处理模块，其中: 所述子空间集构造模块对视频信号关键帧块，利用聚类方法生成子空间集，并将该子空间集输出到稀疏基矩阵构造模块的输入端； 所述稀疏基矩阵构造模块接收子空间集，利用线性子空间学习方法生成子空间集对应的稀疏基矩阵，并将该稀疏基矩阵输出到重构处理模块的输入端； 所述视频信号传感模块对视频信号的非关键帧块以块的形式进行投影，得到观测值，并将该观测值输出到重构处理模块的输入端； 所述重构处理模块接收所述稀疏基矩阵构造模块输出的基矩阵与所述视频信号传感模块输出的测量值，对信号进行重构。
2.根据权利要求1所述的基于数据驱动子空间集的压缩视频采集与重构系统，其特征是，所述的子空间集构造模块，实现由在重构的关键帧上进行块聚类生成不同类别的块组，每类块组对应于一个子空间，聚类得到的块组作为训练集用于生成子空间集的稀疏基矩阵。
3.根据权利要求2所述的基于数据驱动子空间集的压缩视频采集与重构系统，其特征是，基于块聚类的子空间构造可通过稀疏子空间聚类方法和块匹配方法对整个重构关键帧进行操作来实现。
4.根据权利要求1-3任一项所述的基于数据驱动子空间集的压缩视频采集与重构系统，其特征是，所述的稀疏基矩阵构造模块实现由线性子空间学习方法生成的一种标准正交基，它能够适应性的表示出高维信号的内在结构，相对于固定基能更有效地稀疏表示视频信号，这种在稀疏基矩阵上的稀疏表示是具有块结构的。
5.根据权利要求4所述的基于数据驱动子空间集的压缩视频采集与重构系统，其特征是，所述的线性子空间学习方法分别单独作用于不同的块组得到不同的基，进而组成稀疏基矩阵。
6.根据权利要求1-3任一项所述的基于数据驱动子空间集的压缩视频采集与重构系统，其特征是，所述的视频信号传感模块是一种一阶的数字微镜设备，它模拟了对视频信号的压缩传感。
7.根据权利要求1-3任一项所述的基于数据驱动子空间集的压缩视频采集与重构系统，其特征是，所述的重构处理模块通过一种凸松弛算法模型实现的，找到的全局最优解乘以稀疏基就是要得到的重构信号。
【文档编号】H04N19/59GK103517079SQ201310422841
【公开日】2014年1月15日 申请日期:2013年9月16日 优先权日:2013年9月16日
【发明者】熊红凯, 李勇 申请人:上海交通大学