高速低功耗无线传感网络视频压缩采样方法及装置制造方法
【专利摘要】本发明属于无线传感网络视频压缩采样【技术领域】，为提供低复杂度、低功耗的编码端以保证长期稳定工作，而接收端可以进行大量的数据存储和复杂的解码计算，提出新的视频压缩采样框架以及基于压缩感知的编解码策略。为此，本发明采用的技术方案是，高速低功耗无线传感网络视频压缩采样方法，包括如下步骤：根据接收到采样视频信号的时间以及比特误码率要求控制视频信号的压缩采样率以及帧率，进行基于压缩感知的视频差分编码，完成对视频信号的压缩编码；在视频解码端，采用对应于基于压缩感知的视频差分编码的解码策略，恢复出视频图像帧，并远程控制对采样视频信号的时间以及比特误码率的要求。本发明主要应用于无线传感网络视频传输处理。
【专利说明】高速低功耗无线传感网络视频压缩采样方法及装置
【技术领域】
[0001]本发明属于无线传感网络视频压缩采样【技术领域】，尤其涉及基于压缩感知的视频编解码技术，具体讲，涉及高速低功耗无线传感网络视频压缩采样策略。
【背景技术】
[0002]传统的视频编码方式，无论是H.26X系列还是MPEG系列的传统视频编码技术，均采用编码端复杂、解码端简单的系统结构，即编码端通过帧间预测、帧内预测和DCT变换来去除时间和空间冗余，以获得高压缩效率，这使得整个系统对编码器的计算能力和内存容量的要求非常高，远高于解码器。
[0003]目前基于压缩感知(CS)的视频编码方式也被广泛熟知与应用，压缩感知(CS)是近年来信号处理领域诞生的一种新兴的理论。该理论在信号获得的同时对数据进行压缩，其频率远低于奈奎斯特采样频率，这样一来可减少采样的信息数据，节省存储空间的同时又包含有足够的信息。在需要恢复原始信号时，采用合适的重构算法进行还原，从而恢复出足量数据。压缩感知理论将传统的数据采集和压缩合二为一，不需要复杂的数据编码计算，非常适合采用于编码端资源受限的场合。
[0004]但是现有的基于压缩感知(CS)的视频编码方式缺少反馈控制，稳定性以及鲁棒性较差，要实现进一步的视频信号压缩对重构算法的复杂度以及视频信号自身的稀疏度要求会成倍的提高。改进型的如基于分布式的压缩感知视频编码(DVCS)、基于联合稀疏的压缩感知视频编码(JSMCS)、基于联合稀疏的分布式压缩感知视频编码(JSM-DVCS)等虽然在很大程度成提高了视频的压缩率、稳定性以及鲁棒性，但是对于资源受限的嵌入式无线传感器网络难以满足这些该进编码方式的计算复杂度要求。
【发明内容】
[0005]本发明旨在解决克服现有技术的不足，主要针对一些编码端资源受限的视频应用领域，如视频监控、无线视频传感网络等。因其使用的设备和环境的局限性，此应用领域要求低复杂度、低功耗的编码端以保证长期稳定工作，而接收端可以进行大量的数据存储和复杂的解码计算。为了达到上述技术要求，提出了新的视频压缩采样框架以及基于压缩感知的编解码策略。为此，本发明采用的技术方案是，高速低功耗无线传感网络视频压缩采样方法，包括如下步骤:根据接收到采样视频信号的时间以及比特误码率要求控制视频信号的压缩采样率以及帧率，进行基于压缩感知的视频差分编码，完成对视频信号的压缩编码；在视频解码端，采用对应于基于压缩感知的视频差分编码的解码策略，恢复出视频图像帧，并远程控制对采样视频信号的时间以及比特误码率的要求。
[0006]基于压缩感知的视频差分编码是，先对采集到的每一帧图像进行CS压缩采样，前一帧的采样信号作为关键帧输出，后一帧的采样信号与前一帧做差值，差分信号作为非关键帧输出；其中帧率控制图像组(GOP)的大小及分布，采样率控制视频的整体压缩率，两者结合控制恢复视频的时间以及质量。[0007]视频解码的详细步骤是:先将采集到的编码信号按照帧率的输入标记为关键帧与非关键帧，将关键帧的信号直接通过压缩感知(CS)重构算法恢复出关键帧图像输出，并存储到缓存单元；再将下一帧的非关键帧信号通过压缩感知(CS)重构算法恢复出差分图像，再与前一帧留在缓存单元中的图像信号进行叠加，恢复出非关键帧图像输出，并存储到缓存单元；其中帧率控制接收信号分离关键帧与非关键帧。
[0008]将关键帧的信号直接通过压缩感知(CS)重构算法恢复出关键帧图像输出具体是，直接利用改进型的修正牛顿法(NSLO)算法恢复出关键帧图像输出。
[0009]高速低功耗无线传感网络视频压缩采样装置，包括:摄像头模块、DSP压缩采样模块、无线收发模块、PC机视频解码器以及视频输出接口 ；其中摄像头模块负责采集视频信号，DSP压缩采样模块负责根据对接收到的时间以及比特误码率要求控制对视频信号的压缩采样率以及帧率，完成对视频信号的压缩编码，无线收发模块负责传输控制变量以及压缩编码的视频数据，PC机视频解码器负责对接收到的压缩编码视频数据进行解码重构，恢复出原始视频信号并远程控制对采样视频信号的时间以及比特误码率的要求，视频输出接口负责为解码的视频信号提供输出显示接口。
[0010]本发明的技术特点及效果:
[0011]视频序列经过压缩感知编码处理后，形成的是一些无结构的数据，并且这些数据之间不存在相关性特点。在无线信道上进行信息的传递存在着随机性的误码特点，会遇到偶然性的比特反转，也有可能会碰到一串联的联系比特错误。对于视频数据的传输，如果采用现有的MPEG与H26X系列的编码方案，由于编码出来的数据有运动信息和纹理信息，而纹理信息里面又分低频和高频的部分，对于这些不同类型的数据而言，它们对于视频解码端的重要性的贡献是不一样的，这样不同重要性的数据在无线的随机信道上传输产生的误码后产生的效果是不可预知的。当采用压缩感知的方法进行视频的压缩以后，对于纹理信息来说得到的是一组无结构无相应物理对应关系的数据，收到一帧图像解码后的质量仅仅取决于收到数据量的多少。也就是说，数据之间的重要性是完全平等的。任意相同数量的数据的丢失对于整个一帧视频来说是平均的分担到整个一帧视频上去的。
[0012]同时本发明的基于压缩感知的视频编解码策略在传统的压缩感知视频编码的基础上引入了根据解码时间以及比特误码率要求设定的反馈控制信号:图像压缩采样率以及图像关键帧非关键帧的帧率，能很好的适应不同的需求场合。同时设计了基于压缩感知的视频差分编解码策略，在提高视频压缩率的同时能够加快信号的解码速度并且并不会增加编码端的计算复杂度。
【专利附图】
【附图说明】
[0013]图1是本发明的系统的整体结构拓扑图。
[0014]图2是本发明的视频压缩编码框架结构图。
[0015]图3是传统的的基于压缩感知的视频差分编码原理结构图。
[0016]图4是本发明的基于压缩感知的视频差分编码原理结构图。
[0017]图5是本发明的基于压缩感知的视频解码原理结构图。
【具体实施方式】[0018]针对编码端资源受限的嵌入式无线传感器网络，视频压缩编码端在传统基于压缩感知的视频压缩编码器上加入反馈控制器来提高编码的稳定性以及鲁棒性。反馈控制信号主要是压缩感知的压缩采样率和视频序列关键帧非关键帧的帧率。反馈控制信号由解码端恢复视频图像序列后计算重构时间以及比特误码率，由系统对重构时间以及比特误码率的要求控制。
[0019]同时为了进一步提高视频压缩率以及加快视频解码速度以满足实时解码要求，本发明引入基于压缩感知的视频差分编码策略，思想类似于分布式视频编码中的外推法。可以提高视频压缩率以及加快视频解码的速度，同时相比于分布式视频编码中的外推法，基于压缩感知的视频差分编码策略的算法复杂度要更低并且使得整个视频编解码过程没有时延，为视频的高效实时解码创造了良好的条件。
[0020]在视频解码端，为了满足视频解码实时性的要求，采用对应于基于压缩感知的视频差分编码的解码策略，根据视频序列关键帧非关键帧的帧率分离出关键帧与非关键帧，再分别用不同的策略恢复出视频图像帧。由于非关键帧的信息量少所以重构时间会少于关键帧，所以相比于传统的基于压缩感知的视频解码，本发明的解码策略能提高解码速率，为视频的高效实时解码提供了保证。同时在解码算法上采用重构效率高的改进型的修正牛顿法(NSL0)，在高重构效果的同时算法的时间复杂度也很低，能够满足中低要求的实时视频解码。
[0021]如图1所示是本发明的系统整体结构拓扑图，系统主要由五个部分组成，分别是摄像头模块、DSP压缩采样模块、无线收发模块、PC机视频解码器以及视频输出接口。其中摄像头模块负责采集视频信号，DSP压缩采样模块负责根据对接收到的时间以及比特误码率要求控制对视频信号的压缩采样率以及帧率，完成对视频信号的压缩编码，无线收发模块负责传输控制变量以及压缩编码的视频数据，PC机视频解码器负责对接收到的压缩编码视频数据进行解码重构，恢复出原始视频信号并远程控制对采样视频信号的时间以及比特误码率的要求，视频输出接口负责为解码的视频信号提供输出显示接口。
[0022]与传统的视频或者基于压缩感知(CS)的视频编码不同:传统的视频编码如MPEG2、MPEG4、H.264等都是基于相邻帧之间的时间相关性估算运动矢量来压缩信号；传统的基于压缩感知(CS)的视频编码则是利用压缩感知图像压缩原理对视频帧进行压缩，然而较新的基于分布式的压缩感知视频编码则是把分布式视频编码与传统的基于压缩感知(CS)的视频编码相结合。优点是可以提高视频压缩率，减少信道传输数据量。但是缺点是提高了编码端的复杂度，并不适合资源受限的嵌入式无线传感器网络。本发明提出的视频编码策略针对资源受限的嵌入式无线传感器网络，采用低复杂度高效的压缩感知(CS)视频编码策略，同时通过远程控制引入联合采样率控制以及帧率控制来满足用户对视频信号质量的要求。如图2所示是本发明的视频压缩编码框架结构图。
[0023]如图3所示是传统的的基于压缩感知的视频差分编码原理结构图，先以图像组(GOP)等于2为例，传统的基于压缩感知的视频差分编码是先对采集到的前一帧图像进行CS压缩采样作为关键帧输出，采集的后一帧图像与前一帧做差值，再将差分后的图像进行CS压缩采样输出作为非关键帧输出。其中帧率控制图像组(GOP)的大小及分布，采样率控制视频的整体压缩率。两者结合可以控制恢复视频的时间以及质量。
[0024]如图4所示是本发明的基于压缩感知的视频差分编码原理结构图，先以图像组(GOP)等于2为例，本发明的基于压缩感知的视频差分编码是先对采集到的每一帧图像进行CS压缩采样，前一帧的采样信号作为关键帧输出，后一帧的采样信号与前一帧做差值，差分信号作为非关键帧输出。其中帧率控制图像组(GOP)的大小及分布，采样率控制视频的整体压缩率。两者结合可以控制恢复视频的时间以及质量。与传统的基于压缩感知的视频差分编码相比本发明提出的基于压缩感知的视频差分编码编码效率更高，耗时更少，同时根据实验结果证明在相同的条件下利用本发明提出的基于压缩感知的视频差分编码策略编码视频传输后解码的恢复结果优于利用传统的基于压缩感知的视频差分编码策略编码视频传输后解码的恢复结果。
[0025]如图5所示是本发明的基于压缩感知的视频解码原理结构图，先将采集到的编码信号按照帧率的输入标记为关键帧与非关键帧，以图像组(GOP)等于2为例，将关键帧的信号直接利用压缩感知(CS)重构算法(NSL0算法)恢复出关键帧图像输出，并存储到缓存单元。再将下一帧的非关键帧信号利用压缩感知(CS)重构算法(NSL0算法)恢复出差分图像，再与前一帧留在缓存单元中的图像信号进行叠加，恢复出非关键帧图像输出，并存储到缓存单元。其中帧率控制接收信号分离关键帧与非关键帧。
[0026]本系统设计的基于压缩感知的视频压缩采样方法是将无线摄像头采集到的视频信息按照远程设定的视频质量、恢复时间以及比特误码率来控制视频编码控制器(DSP)动态控制压缩感知采样率以及信号关键帧与非关键帧的帧率，达到压缩编码视频信号的目的。其中非关键帧信号只采集当前帧信号压缩采样后与前一帧信号压缩采样数据的差分信号。信号经过信道编码后进行无线传输。在无线视频信号采集解码端，接收的视频信号经过信道解码恢复出压缩视频信号，结合关键帧与非关键帧的帧率，解码器将关键帧的信号直接利用改进型的修正牛顿法(NSLO)算法恢复出关键帧图像输出，并存储到缓存单元。再将非关键帧信号利用改进型的修正牛顿法(NSLO)恢复出差分图像，再与留在缓存单元中的前一帧图像信号进行叠加，恢复出非关键帧图像输出，并再次存储到缓存单元，进而恢复出整个视频信号。
【权利要求】
1.一种高速低功耗无线传感网络视频压缩采样方法，其特征是，包括如下步骤:根据接收到采样视频信号的时间以及比特误码率要求控制视频信号的压缩采样率以及帧率，进行基于压缩感知的视频差分编码，完成对视频信号的压缩编码；在视频解码端，采用对应于基于压缩感知的视频差分编码的解码策略，恢复出视频图像帧，并远程控制对采样视频信号的时间以及比特误码率的要求。
2.如权利要求1所述的高速低功耗无线传感网络视频压缩采样方法，其特征是，基于压缩感知的视频差分编码是，先对采集到的每一帧图像进行CS压缩采样，前一帧的采样信号作为关键帧输出，后一帧的采样信号与前一帧做差值，差分信号作为非关键帧输出；其中帧率控制图像组(GOP)的大小及分布，采样率控制视频的整体压缩率，两者结合控制恢复视频的时间以及质量。
3.如权利要求1所述的高速低功耗无线传感网络视频压缩采样方法，其特征是，视频解码的详细步骤是:先将采集到的编码信号按照帧率的输入标记为关键帧与非关键帧，将关键帧的信号直接通过压缩感知(CS)重构算法恢复出关键帧图像输出，并存储到缓存单元；再将下一帧的非关键帧信号通过压缩感知(CS)重构算法恢复出差分图像，再与前一帧留在缓存单元中的图像信号进行叠加，恢复出非关键帧图像输出，并存储到缓存单元；其中帧率控制接收信号分离关键帧与非关键帧。
4.如权利要求3所述的高速低功耗无线传感网络视频压缩采样方法，其特征是，将关键帧的信号直接通过压缩感知(CS)重构算法恢复出关键帧图像输出具体是，直接利用改进型的修正牛顿法(NSLO)算法恢复出关键帧图像输出。
5.一种高速低功耗无线传感网络视频压缩采样装置，其特征是，包括:摄像头模块、DSP压缩采样模块、无线收发模块、PC机视频解码器以及视频输出接口 ；其中摄像头模块负责采集视频信号，DSP压缩采样模块负责根据对接收到的时间以及比特误码率要求控制对视频信号的压缩采样率以及帧率，完成对视频信号的压缩编码，无线收发模块负责传输控制变量以及压缩编码的视频数据，PC机视频解码器负责对接收到的压缩编码视频数据进行解码重构，恢复出原始视频信号并远程控制对采样视频信号的时间以及比特误码率的要求，视频输出接口负责为解码的视频信号提供输出显示接口。
【文档编号】H04N19/164GK103618903SQ201310669176
【公开日】2014年3月5日 申请日期:2013年12月10日 优先权日:2013年12月10日
【发明者】郭继昌, 申燊, 金卯亨嘉, 许颖, 孙骏 申请人:天津大学