专利名称：基于压缩感知的分布式视频编解码系统及其方法
技术领域：
本发明属于压缩感知和分布式视频编码技术领域，具体涉及一种基于压缩感知的分布式视频编解码系统及其方法。
背景技术：
传统的视频编码标准，无论是H. 26x系列还是MPEG系列，编码端通过帧间预测和 DCT变换来去除时间冗余和空间冗余，以获取高压缩效率，这就使得编码器对计算能力和内存容量的要求远远高于解码器。在大多数视频应用中，如广播、视频流的点播等服务，视频序列只需要编码一次， 而可能在多个终端上进行多次解码，因此，复杂的编码器和简单的解码器正好可以获得系统整体性能的最优。然而，随着多媒体技术的发展，新的应用场景不断涌现，如便携式摄像机、视频传感器网络、无线视频监控系统等。在这些应用中，视频采集设备往往在运算能力、 内存和能量上都有一定的限制，无法承担传统视频编码标准中复杂的编码操作，而解码端的设备往往拥有大量的资源，可以进行复杂的运算。传统的视频编码标准对编码器和解码器的复杂度分配情况与系统的资源分配情况不一致，因而，不适用于这些新应用场景。
发明内容
为了克服上述现有技术存在的不足，本发明的目的在于提供一种基于压缩感知的分布式视频编解码系统及其方法，避免了传统的视频编码标准对编码器和解码器的复杂度分配情况与系统的资源分配情况不一致，从而不适用于新应用场景的缺陷，实现了对任意域稀疏的信源进行有效压缩的目的，在相同的重建视频质量前提下，压缩效率高于传统分布式视频编解码系统，编码端的运算复杂度降低。为了达到上述目的，本发明所采用的技术方案是一种基于压缩感知的分布式视频编解码系统，包括相互通信连接的编码器101和解码器102，其中编码器101内包括视频帧分割器11，该视频帧分割器11同编码器101内的帧内编码器1和非关键帧预处理器4相通信连接，非关键帧预处理器4同编码器101内的第一压缩感知编码器5相通信连接；所述的解码器102内包括视频帧合成器12，该视频帧合成器12同解码器102内的帧内解码器2和非关键帧后处理器10相通信连接，非关键帧后处理器10和帧内解码器2同解码器102内的运动预测与场景分析模块3相通信连接， 非关键帧后处理器10和解码器102内的运动预测与场景分析模块3同第二减法器9相通信连接，运动预测与场景分析模块3、解码器102内的第二压缩感知编码器6以及第一减法器7相互通信连接，第二压缩感知编码器6、解码器102内的第一减法器7和第二减法器9 同解码器102内的压缩感知解码器8相通信连接；而第一压缩感知编码器5同第一减法器 7相通信连接，压缩感知解码器8同非关键帧预处理器4和第一压缩感知编码器5相通信连接，帧内编码器1同帧内解码器2相通信连接。所述的帧内编码器1采用H. 26x系列帧内编码器或MPEG系列帧内编码器，所述的帧内解码器2采用H. 26x系列帧内解码器或者MPEG系列帧内解码器。所述的视频帧分割器11和视频帧合成器12相适配。所述的第一压缩感知编码器5和第二压缩感知编码器6采用相同的测量矩阵或采样矩阵。所述的基于压缩感知的分布式视频编解码系统的方法为原始视频数据首先输入编码器101的视频帧分割器11，视频帧分割器11将该原始视频数据分为关键帧和非关键帧，随后视频帧分割器11将关键帧输入帧内编码器1编码，帧内编码器1编码后形成的关键帧编码数据发送到解码器102内的帧内解码器2，同时视频帧分割器11将非关键帧发送到非关键帧预处理器4进行预处理，预处理后得到预处理非关键帧数据，随后将该预处理非关键帧数据发送到第一压缩感知编码器5后进行压缩感知编码，经过压缩感知编码后形成的压缩感知编码数据发送到解码器102内的第一减法器7，这样在解码器102内，关键帧编码数据在帧内解码器2直接进行帧内解码操作，帧内解码操作后形成关键帧帧内解码数据分别送到视频帧合成器12和运动预测与场景分析模块3，关键帧帧内解码数据和第二减法器9得到的结果通过运动预测与场景分析模块3的运动预测与场景分析得到边信息，将此边信息送往第二减法器9和第二压缩感知编码器6，边信息通过第二压缩感知编码器6 进行压缩感知编码得到压缩感知编码边信息，压缩感知编码边信息继续被送入第一减法器 7同压缩感知编码数据进行差值运算，得到第一步差值，将该第一步差值发送到压缩感知解码器8做压缩感知解码，得到压缩感知解码差值数据，将该压缩感知解码差值数据发送到第二减法器9，这样第二减法器9控制边信息减去压缩感知解码差值数据得到第二步差值， 将第二步差值分别发送到非关键帧后处理器10进行后处理10和运动预测与场景分析模块 3进行运动预测与场景分析3，这样后处理后得到重构后的非关键帧，将非关键帧发送到视频帧合成器12，最后视频帧合成器12将关键帧帧内解码数据与非关键帧进行视频帧合成即得到最终重构的视频。 通过将第一压缩感知编码器5、第二压缩感知编码器6以及压缩感知解码器8融合入分布式视频编解码系统，相比于传统的以信道编码实现的分布式视频编解码系统，该基于压缩感知的分布式视频编解码系统及其方法能实现对任意域稀疏的信源进行有效压缩的目的，在相同的重建视频质量前提下，压缩效率高于传统分布式视频编解码系统，编码端的运算复杂度降低。
图1是本发明的基于压缩感知的分布式视频编解码系统结构示意图。图2是本发明的基于压缩感知的分布式视频编解码系统的方法原理结构图。
具体实施例方式下面结合附图和实施例对本发明作更详细的说明。分布式视频编码技术对视频帧独立编码、联合解码，在解码端去除相邻帧的时间冗余，从而将复杂度从编码端转移到解码端。与传统的视频编码标准相比，分布式视频编码方案具有帧内编码(Intraframe Coding，即I帧)的编码复杂度，在理论上具有帧间编码 (Interframe Coding，即P帧和B帧)的压缩效率。分布式视频编码潜在的优势为它赢得
5了广泛的应用前景。首先，编码复杂度低，解决了编码端资源受限的问题，编码器和解码器的复杂度分配情况正好与便携式摄像机、视频传感器网络、无线视频监控系统等应用系统的资源分配情况一致，可以达到系统整体性能的最优。其次，编码器无需知道边信息的具体值，所以解码端在生成边信息时具有很大的灵活性对于一个的解码端复杂度受限的系统， 可以直接用先前重建的帧作为边信息，代价是较高的码率；对于一个带宽受限的系统，可以利用复杂的运动补偿技术来获取高质量的边信息，以降低码率；对于一个低延迟系统，可以对视频帧按时间顺序编解码，解码端利用先前重建的帧通过运动补偿外推技术获取边信息，为了提高运动估计的准确度，还可以利用hash来辅助运动估计。由于解码端对边信息的具体值没有要求，所以可以有效地防止预测失配带来的解码错误，并可以阻止错误传播。2004年，Candes和Tao等人在研究医学MRI信号亚奈奎斯特采样和重建问题时， 从数学上严格证明了可以用部分傅里叶变换系数，以极大概率精确重构原始信号。同年， Donoho和Candes等人在各自的研究基础上，独立地正式提出了压缩感知理论发表于2006 年。该理论的核心思想是对稀疏信号进行全局观测而非局部采样，只需极低的观测率即可重构原始信号，即在观测的同时压缩了原始信号。它突破了奈奎斯特采样定理的约束，指出对稀疏信号进行观测而非采样，只需通过少量观测点就能精确的重构原始信号，人们对压缩、检测和识别等信号处理各个领域上一系列问题的认识都发生了本质变化，具有划时代的意义。，同时，压缩感知技术也具有编码简单、解码复杂的特点，非常适合与分布式视频编码相结合。众所周知，视频信号无论在空域还是频域都表现出显著的稀疏性，为了充分利用了视频信号内在的稀疏性，有效提高算法性能，本发明将压缩感知与分布式视频编码相结合，提出了基于压缩感知的分布式视频编解码系统和方法。本发明融合了分布式视频编码技术和压缩感知技术的优势，不仅降低了编码端的复杂度，同时提高了压缩效率和重建视
频质量。如图1所示，基于压缩感知的分布式视频编解码系统，包括相互通信连接的编码器101和解码器102，其中编码器101内包括视频帧分割器11，该视频帧分割器11同编码器101内的帧内编码器1和非关键帧预处理器4相通信连接，非关键帧预处理器4同编码器 101内的第一压缩感知编码器5相通信连接；所述的解码器102内包括视频帧合成器12，该视频帧合成器12同解码器102内的帧内解码器2和非关键帧后处理器10相通信连接，非关键帧后处理器10和帧内解码器2同解码器102内的运动预测与场景分析模块3相通信连接，非关键帧后处理器10和解码器102内的运动预测与场景分析模块3同第二减法器9 相通信连接，运动预测与场景分析模块3、解码器102内的第二压缩感知编码器6以及第一减法器7相互通信连接，第二压缩感知编码器6、解码器102内的第一减法器7和第二减法器9同解码器102内的压缩感知解码器8相通信连接；而第一压缩感知编码器5同第一减法器7相通信连接，压缩感知解码器8同非关键帧预处理器4和第一压缩感知编码器5相通信连接，帧内编码器1同帧内解码器2相通信连接。所述的帧内编码器1采用H. 26x系列帧内编码器或MPEG系列帧内编码器，所述的帧内解码器2采用H. 26x系列帧内解码器或者MPEG系列帧内解码器。所述的视频帧分割器11和视频帧合成器12相适配。所述的第一压缩感知编码器5和第二压缩感知编码器6采用相同的测量矩阵或采样矩阵。如图2所示，所述的基于压缩感知的分布式视频编解码系统的方法为原始视频数据首先输入编码器101的视频帧分割器11，视频帧分割器11将该原始视频数据分为关键帧和非关键帧，随后视频帧分割器11将关键帧输入帧内编码器1编码，帧内编码器1编码后形成的关键帧编码数据发送到解码器102内的帧内解码器2，同时视频帧分割器11将非关键帧发送到非关键帧预处理器4进行预处理，预处理后得到预处理非关键帧数据，随后将该预处理非关键帧数据发送到第一压缩感知编码器5后进行压缩感知编码，经过压缩感知编码后形成的压缩感知编码数据发送到解码器102内的第一减法器7，这样在解码器102 内，关键帧编码数据在帧内解码器2直接进行帧内解码操作，帧内解码操作后形成关键帧帧内解码数据分别送到视频帧合成器12和运动预测与场景分析模块3，关键帧帧内解码数据和第二减法器9的输出结果通过运动预测与场景分析模块3的运动预测与场景分析得到边信息，将此边信息送往第二减法器9和第二压缩感知编码器6，边信息通过第二压缩感知编码器6进行压缩感知编码得到压缩感知编码边信息，压缩感知编码边信息继续被送入第一减法器7同压缩感知编码数据进行差值运算，得到第一步差值，将该第一步差值发送到压缩感知解码器8做压缩感知解码，得到压缩感知解码差值数据，将该压缩感知解码差值数据发送到第二减法器9，这样第二减法器9控制边信息减去压缩感知解码差值数据得到第二步差值，将第二步差值分别发送到非关键帧后处理器10进行后处理10和运动预测与场景分析模块3进行运动预测与场景分析3，这样后处理后得到重构后的非关键帧，将非关键帧发送到视频帧合成器12，最后视频帧合成器12将关键帧帧内解码数据与非关键帧进行视频帧合成即得到最终重构的视频。其中，压缩感知解码器8、第二减法器9、运动预测与场景分析模块3和第一减法器7之间存在信息的迭代环路，可以用来迭代译码。
权利要求
1.一种基于压缩感知的分布式视频编解码系统，包括相互通信连接的编码器(101)和解码器(102)，其特征在于其中编码器(101)内包括视频帧分割器(11)，该视频帧分割器(11)同编码器(101)内的帧内编码器(1)和非关键帧预处理器(4)相通信连接，非关键帧预处理器(4)同编码器(101)内的第一压缩感知编码器(5)相通信连接；所述的解码器 (102)内包括视频帧合成器(12)，该视频帧合成器(12)同解码器(102)内的帧内解码器 (2)和非关键帧后处理器(10)相通信连接，非关键帧后处理器(10)和帧内解码器(2)同解码器(102)内的运动预测与场景分析模块(3)相通信连接，非关键帧后处理器(10)和解码器(102)内的运动预测与场景分析模块(3)同第二减法器(9)相通信连接，运动预测与场景分析模块(3)、解码器(102)内的第二压缩感知编码器(6)以及第一减法器(7)相互通信连接，第二压缩感知编码器(6)、解码器(102)内的第一减法器(7)和第二减法器(9)同解码器(102)内的压缩感知解码器(8)相通信连接；而第一压缩感知编码器(5)同第一减法器(7)相通信连接，压缩感知解码器(8)同非关键帧预处理器(4)和第一压缩感知编码器 5相通信连接，帧内编码器1同帧内解码器2相通信连接。
2.根据权利要求1所述的基于压缩感知的分布式视频编解码系统，其特征在于帧内编码器(1)采用H. 26x系列帧内编码器或MPEG系列帧内编码器，所述的帧内解码器(2)采用H. 26x系列帧内解码器或者MPEG系列帧内解码器。
3.根据权利要求1或权利要求2所述的基于压缩感知的分布式视频编解码系统，其特征在于所述的视频帧分割器(11)和视频帧合成器(12)相适配。
4.根据权利要求1或权利要求2所述的基于压缩感知的分布式视频编解码系统，其特征在于所述的第一压缩感知编码器(5)和第二压缩感知编码器(6)采用相同的测量矩阵或采样矩阵。
5.根据权利要求1所述的所述的基于压缩感知的分布式视频编解码系统的方法，其特征为原始视频数据首先输入编码器(101)的视频帧分割器(11)，视频帧分割器(11)将该原始视频数据分为关键帧和非关键帧，随后视频帧分割器(11)将关键帧输入帧内编码器 (1)编码，帧内编码器(1)编码后形成的关键帧编码数据发送到解码器(102)内的帧内解码器(2)，同时视频帧分割器(11)将非关键帧发送到非关键帧预处理器(4)进行预处理， 预处理后得到预处理非关键帧数据，随后将该预处理非关键帧数据发送到第一压缩感知编码器(5)后进行压缩感知编码，经过压缩感知编码后形成的压缩感知编码数据发送到解码器(102)内的第一减法器(7)，这样在解码器(102)内，关键帧编码数据在帧内解码器(2) 直接进行帧内解码操作，帧内解码操作后形成关键帧帧内解码数据分别送到视频帧合成器(12)和运动预测与场景分析模块(3)，关键帧帧内解码数据和第二减法器(9)的输出结果通过运动预测与场景分析模块(3)的运动预测与场景分析得到边信息，将此边信息送往第二减法器(9)和第二压缩感知编码器(6)，边信息通过第二压缩感知编码器(6)进行压缩感知编码得到压缩感知编码边信息，压缩感知编码边信息继续被送入第一减法器(7)同压缩感知编码数据进行差值运算，得到第一步差值，将该第一步差值发送到压缩感知解码器(8) 做压缩感知解码，得到压缩感知解码差值数据，将该压缩感知解码差值数据发送到第二减法器(9)，这样第二减法器(9)控制边信息减去压缩感知解码差值数据得到第二步差值，将第二步差值分别发送到非关键帧后处理器(10)进行后处理(10)和运动预测与场景分析模块(3)进行运动预测与场景分析(3)，这样后处理后得到重构后的非关键帧，将非关键帧发送到视频帧合成器(12)，最后视频帧合成器(12)将关键帧帧内解码数据与非关键帧进行视频帧合成即得到最终重构的视频。
全文摘要
一种基于压缩感知的分布式视频编解码系统及其方法，通过将第一压缩感知编码器、第二压缩感知编码器以及压缩感知解码器融合入分布式视频编解码系统，相比于传统的以信道编码实现的分布式视频编解码系统，该基于压缩感知的分布式视频编解码系统及其方法能实现对任意域稀疏的信源进行有效压缩的目的，在相同的重建视频质量前提下，压缩效率高于传统分布式视频编解码系统，编码端的运算复杂度降低。
文档编号H04N7/26GK102223536SQ20111015512
公开日2011年10月19日 申请日期2011年6月10日 优先权日2011年6月10日
发明者罗雷刚, 谷源涛, 金坚 申请人:清华大学