基于结构化稀疏字典学习的压缩视频采集与重构系统的制作方法
【专利摘要】本发明提供了一种基于结构化稀疏字典学习的压缩视频采集与重构系统，包括：结构化稀疏字典学习模块、视频信号传感模块和重构处理模块，其中：结构化稀疏字典学习模块首先利用子空间聚类的方法得到训练集，然后利用线性子空间学习方法以及最小化块相关的块稀疏字典学习方法得到字典，传感模块对视频信号以图像块的形式进行投影，所得的数据最后在重构处理模块中被解码重构。本发明提供压缩采样的同时还契合了视频采样过程的分布式渐进式的结构，对结构化稀疏字典矩阵的特殊构造也提升了重构的精确度和效率，本发明大大提高了视频信号的采样效率，在不同的采样压缩率下相比其他方法取得了重构增益，同时也具备良好的可扩展性。
【专利说明】基于结构化稀疏字典学习的压缩视频采集与重构系统
【技术领域】
[0001] 本发明涉及一种视频信号获取方案，具体是一种基于结构化稀疏字典学习的压缩 视频采集与重构系统。
【背景技术】
[0002] 视频信号的采集和编码（压缩）对于视频的存储和传输等应用至关重要。传统的 信号处理系统采用先采样再压缩的模式：为了完整地保存信号所有信息，应以不小于信号 带宽的两倍采样频率对视频进行采样；采集到的原始信号通过一系列编码技术后达到去除 冗余的目的，相关技术的瓶颈在于花费了大量的传感器以及计算资源就为了获得处理后的 少量信号压缩数据，对采样端的资源需求过高。为了进一步提高视频信号的采集效率，在采 样的同时加入了一些信号处理技术，其中一种方案则是将采样与压缩同时进行，然后通过 后端的一些算法对压缩后的数据进行重构。
[0003] 经过对现有技术的文献检索发现，Yue M. Lu与Minh N. Do在2008年的《IEEE Transactions on Signal Processing〉〉（TSP)期干丨J 上发表的 "A Theory for Sampling Signals From a Union of Subspaces" 一文中提出了基于子空间集的信号采样理论，该 理论给出了对于处在子空间集的信号的采样所要满足的唯一性和稳定性的条件，但是该理 论所假设的子空间集是由固定基张成的，不能提供更加有效的稀疏性和适应性。Y. Li和 H. Xiong 在 2014 年的《IEEE Data Compression Conference》（IEEE DCC)会议上发表的 "Union of Data-driven Subspaces via Subspace Clustering for Compressive Video Sampling" 一文中提出了基于数据驱动子空间集模型将压缩传感应用到视频采样上来，该 方法在采样编码端直接对视频信号进行压缩采样，在解码端使用UoDS基作为稀疏基对信 号进行重构，这种方法可以灵活有效地对信号进行稀疏表示以保证重构获得的视频的主观 质量，但这种方法所使用的UoDS基没有考虑各个子空间之间的重叠性，表现在块间的相关 性高以至不能得到结构紧凑的块稀疏性，进而导致效果降低。这些不足促使我们在其基础 上去寻找一种更加有效灵活地稀疏基去进行重构，充分利用视频信号块的特殊结构来提高 重构结果的主客观质量。
【发明内容】
[0004] 本发明针对现有技术的不足，提供了一种基于结构化稀疏字典学习的压缩视频采 集与重构系统，可以有效提高视频信号采集效率以及重构系统的主客观质量，并可作为一 种通用的视频采集工具。
[0005] 本发明是通过以下技术方案实现的：
[0006] 本发明所述的基于结构化稀疏字典学习的压缩视频采集与重构系统，包括：结构 化稀疏字典学习模块、视频信号传感模块和重构处理模块，其中：
[0007] 所述结构化稀疏字典学习模块对视频信号关键帧块，利用结构化稀疏字典学习方 法得到结构化稀疏基矩阵，并将该稀疏基矩阵输出到重构处理模块的输入端；
[0008] 所述视频信号传感模块对视频信号的非关键帧块以块的形式进行投影，得到观测 值，并将该观测值输出到重构处理模块的输入端；
[0009] 所述重构处理模块接收所述结构化稀疏字典学习模块输出的结构化稀疏基矩阵 与所述视频信号传感模块输出的测量值，对信号进行重构。
[0010] 所述的结构化稀疏字典学习模块，实现由在重构的关键帧的块集合利用子空间聚 类的方法得到训练集，对各个类分别进行线性子空间学习得到各个子空间所对应的基矩 阵，然后使用结构化稀疏字典学习降低各个子空间之间的块相关性以得到更紧凑的结构 化稀疏表示，生成的结构化稀疏基能适应性的表示出信号的内在结构，相对于固定基能更 有效地稀疏表示视频信号。
[0011] 所述的传感模块是一种一阶的数字微镜设备（DMD)，它模拟了对视频信号的压缩 传感，对视频非关键帧块进行采样。
[0012] 所述的重构处理模块是通过一种结构化稀疏凸松弛算法模型实现的，对视频非关 键帧的块进行重构。
[0013] 本发明中采用的基于结构化稀疏字典学习的压缩传感技术为视频信号的采集提 供了通用的解决方案。本发明所使用的结构化稀疏基矩阵是通过在重构的关键帧中采用结 构化稀疏字典学习的方法得到的，充分利用了视频帧块的独特结构，降低各个子空间的重 叠，这样能够使得帧块信号具有适应性的更加紧凑的结构化稀疏表示，进而提高采样效率 (降低精确重构所需的必要采样数），有助于本发明结构化稀疏字典学习的压缩传感的性 能及实用性的提升。
[0014] 与现有技术相比，本发明具有如下的有益效果：
[0015] 本发明大大提高了重构性能，与传统的使用固定基或者UoDS基进行重构的视频 压缩传感系统相比，由于本发明的重构采用的是适应性的全局最优的稀疏基因此在重构效 果上均能够得到增强；对于其它多维信号，本发明通过适当的修改也可使用，具有较强的适 应性；在重建时由于训练集的特殊构造以及考虑了降低块相关性的结构化字典学习，使得 信号具有更紧凑的结构性稀疏表示，因此本发明在不降低视频的主观效果的情况下可以进 一步提高采样效率，同时加快凸松弛重构算法的收敛速度，在不同的采样压缩率下相比其 他方法取得了重构增益，同时也具备良好的可扩展性。
【专利附图】
【附图说明】
[0016] 通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、 目的和优点将会变得更明显：
[0017] 图1为本发明系统一实施例的结构框图；
[0018] 图2为结构化稀疏字典学习模块的工作原理图；
[0019] 图3为结构化稀疏字典学习模块对视频帧块信号产生的结构性稀疏表示示意图。
【具体实施方式】
[0020] 下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术 人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术 人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明 的保护范围。
[0021] 如图1所示，本发明一实施例的结构框图，包括：结构化稀疏字典学习模块、视频 信号传感模块、重构处理模块，其中：结构化稀疏字典学习模块利用结构化稀疏字典学习方 法生成稀疏基矩阵，传感模块对视频信号以块的形式进行压缩投影，所得的观测值最后在 重构处理模块中被解码重构。在编码端中，视频信号传感模块对视频信号进行采样产生测 量值；在解码端中，结构化稀疏字典学习模块产生稀疏基矩阵；所述结构化稀疏字典学习 模块输出的稀疏基矩阵与所述视频信号传感模块输出的测量值一起进入重构处理模块，在 重构处理模块中信号被重构。
[0022] 本实施例中，所述的结构化稀疏字典学习模块如图2所示，在整幅重建的关键帧 中做块聚类，其中：关键帧中的块集合X= {Xl，x2，…，xK}，利用稀疏子空间聚类方法或块匹 配方法把X分割成t个聚类Xi，X 2，…，Xt，每个聚类中的块都是相似的且同属于一个子空间。 Xp X2，…，Xt对应于t个子空间Si，S2，…，St，那么任一视频帧块信号X都属于子空间集U = U Sp训练集的实现由线性子空间学习方法生成的一种标准正交基，线性子空间学习方法 (如主成分分析（PCA))分别单独作用于不同的块组i = 1，. . .，t得到不同的基Ψρ i = 1，...，t，进而组成稀疏基矩阵Ψ# = [Ψρ Ψ2，…，Ψ,]。但是由于子空间的重叠导致块稀 疏性不够紧凑，同时表现出比较高的块相关度，块相关度定义为
【权利要求】
1. 一种基于结构化稀疏字典学习的压缩视频采集与重构系统，其特征在于，包括：结 构化稀疏字典学习模块、视频信号传感模块和重构处理模块，其中： 所述结构化稀疏字典学习模块对视频信号关键帧块，利用结构化稀疏字典学习方法生 成对应的结构化稀疏基矩阵，并将该稀疏基矩阵输出到重构处理模块的输入端； 所述视频信号传感模块对视频信号的非关键帧以块的形式进行投影，得到观测值，并 将该观测值输出到重构处理模块的输入端； 所述重构处理模块接收所述结构化稀疏字典学习模块输出的稀疏基矩阵与所述视频 信号传感模块输出的测量值，对视频信号进行重构。
2. 根据权利要求1所述的基于结构化稀疏字典学习的压缩视频采集与重构系统，其特 征是，所述的结构化稀疏字典学习模块，实现由在重构的关键帧的块集合利用子空间聚类 的方法得到训练集用于生成结构化稀疏基矩阵。
3. 根据权利要求2所述的基于结构化稀疏字典学习的压缩视频采集与重构系统，其特 征是，所述的结构化稀疏字典学习模块实现由结构化稀疏学习方法生成的一种结构化稀疏 基，该稀疏基能适应性的表示出信号的内在结构，相对于固定基能更有效地稀疏表示视频 信号。
4. 根据权利要求1-3任一项所述的基于结构化稀疏字典学习的压缩视频采集与重构 系统，其特征是，所述的结构化稀疏字典学习模块，实现由结构化稀疏学习方法用于降低各 个子空间之间的块相关性以得到更紧凑的结构化稀疏表示。
5. 根据权利要求1-3任一项所述的基于结构化稀疏字典学习的压缩视频采集与重构 系统，其特征是，所述的视频信号传感模块是一种一阶的数字微镜设备，它模拟了对视频信 号的压缩传感。
6. 根据权利要求1-3任一项所述的基于结构化稀疏字典学习的压缩视频采集与重构 系统，其特征是，所述的重构处理模块通过一种凸松弛算法模型实现的，找到的全局最优解 乘以稀疏基就是要得到的重构信号。
7. 根据权利要求6所述的基于结构化稀疏字典学习的压缩视频采集与重构系统，其特 征是，所述的重构处理模块利用一种块稀疏约束得到具有块稀疏性的表示向量用于重构信 号。
【文档编号】H04N19/176GK104301728SQ201410545458
【公开日】2015年1月21日 申请日期:2014年10月15日 优先权日:2014年10月15日
【发明者】熊红凯, 李勇 申请人:上海交通大学