基于前景背景分离的分布式压缩感知视频编解码方法
【技术领域】
[0001] 本发明属于分布式视频编码技术领域，尤其设及基于前景背景分离的分布式压缩 感知视频编解码。
【背景技术】
[0002] 传统的视频编码算法在编码端进行运动估计、运动补偿，在编码端有复杂的计算， 因此导致了编码端复杂度高，不适用于低复杂度的系统要求，因此传统的基于H.264/AVC的 视频编码方案在编码端采用了复杂的运动补偿预测编码技术导致编码端具有很高的复杂 度，难W满足无线视频监控网络、移动网络视频通信等领域对编码端低功耗低复杂度的要 求。因此为了适用于低复杂度的视频系统的要求，采用分布式的压缩感知进行降采样，从而 降低编码端的复杂度。
[0003] 传统的信号数据采集压缩过程要遵循奈奎斯特(NyquiSt)采样定理，又称为香农 (化annon)采样定理，即欲不失真地恢复出原始信号，信号的采样频率应当至少等于频谱中 最高频率的2倍。在此前诸多年间，此理论支配着所有图像和视频信号的获取、存储、压缩及 传输。然而，在许多实际应用中，如无线多媒体传感器网络（Wireless Multimedia SensorNetworks，简称WMS化），将NyquiSt采样定理应用于编码端，会因其复杂度高而致使 系统的硬件成本过高，而数据采集效率很低，采样资源造成大量采样资源的浪费。因此，如 何简单高效的进行数据采集与压缩处理就成为一个重要的研究方向。
[0004] 单纯的压缩感知视频编解码可W降低编码端的复杂度，但是运种算法需要对每个 视频帖进行信源编码。
【发明内容】
[0005] 本发明的目的是克服现有技术的上述不足，提供一种可W降低编码端复杂度的视 频编解码方法。本发明的技术方案如下：
[0006] -种基于前景背景分离的分布式压缩感知视频编解码方法，包括下列两个方面：
[0007] (1)在编码端，根据重构精度和实时性的要求，将视频按照帖序分为关键帖，即I 帖，和非关键帖，即P帖，每两帖组成一图像组G0P;对于I帖，选择适当的观测矩阵对其进行 测量;对于P帖，需要与对应I帖进行背景和前景分离，再使用相同的观测矩阵对分离后的前 景进行测量，使用差分完成背景和前景的分离，设P帖与I帖的差值为dv，在编码端引入解码 模式判断，判断依据为dv的均方误差值MSE，根据MSE的值将一个GOP中P帖的解码模式分为 跳帖模式SKIP、普通模式NORMAL和字典学习模式化S种模式，若MSE小于阔值下限，则判定 运两帖非常相似，该P帖无需重构，可直接使用I帖重构结果作为其重构结果;若MSE在阔值 范围内，则直接对I帖和P帖的前景分别进行重构;若MSE大于阔值上限，表明运两帖差别很 大，应更新稀疏字典W适应新的场景，解码端在完成此GOP内I帖的重构后用字典学习算法 更新当前稀疏字典；
[000引（2)在解码端，首先根据编码端发送的判断信号确定解码模式，之后对该GOP的两 帖进行相应的解码操作，具体的解码操作为:若为跳帖模式，则只重构I帖，P帖用I帖重构结 果替代;若为普通模式，I帖和差值分别进行重构，再通过图像重组得到P帖的重构结果;若 为字典学习模式，则先按照普通模式的步骤进行重构，再根据I帖的重构结果进行字典更 新，并将更新后的稀疏字典应用于P帖和下一个I帖的重构中，最后按照帖序和帖率输出重 构视频流。
[0009] 作为优选实施方式，在化模式中，对每帖均采用分块压缩感知，即先将图像信号X 分为N个b X b的不重叠块bi，i = 1，2，......N，再将每个块bi看作一个长度为化=b X b的列 向量，至此，图像信号X被转化为化XN的矩阵，对其进行差分分离和判断，并进行观测，最后 将测量信号和模式判断信号传给解码端。
[0010] 本发明的有益效果如下：
[0011] 第一，通过上述描述的基于前景背景分离的分布式压缩感知，在编码端将视频帖 分为两类，对关键帖采用高的采样率，非关键帖采用低的采样率，降低了编码端的复杂度。
[0012] 第二，上述描述的视算法采用前景背景分离，降低了编码端复杂度，同时采用压缩 感知算法，在低采样率的情况下具有较高的重构质量。
【附图说明】
[0013] 图1本发明的编解码流程。
【具体实施方式】
[0014] 结合附图对本发明作更详细的说明。
[0015] 如图1所示的基于前景背景分离的分布式压缩感知算法的编解码过程如下：
[0016] 在编码端，根据重构精度和实时性的要求，将视频按照帖序分为关键帖（I帖)和非 关键帖(P帖）。本模型中，每两帖组成一图像组，即GOP为2,其中奇数帖为I帖，紧随其后的偶 数帖为P帖。对于I帖，选择适当的观测矩阵，如局部哈达玛矩阵SB皿，对其进行测量。对于P 帖，需要与对应I帖进行背景和前景分离，再使用相同的观测矩阵对分离后的前景进行测 量。运里使用差分完成背景和前景的分离，如（1)所示。
[0017] dv=姑-Xi (1)
[0018] -般的，dv大于等于设定的阔值T则为前景，dv小于设定的阔值T则为背景。为了更 大程度的降低信道传输数据量和编解码复杂度，提高视频解码精度，本模型在编码端引入 解码模式判断，判断依据为dv的均方误差值(Mean Squared化ror，简称MSE)，根据M沈的值 将一个GOP中P帖的解码模式分为SKIP(固顺模式KNORMAL(普通模式)和化巧典学习模式） S种模式。若MSE小于阔值下限，则判定运两帖非常相似，该P帖无需重构，可直接使用I帖重 构结果作为其重构结果;若MSE在阔值范围内，则直接对I帖和P帖的前景分别进行重构;若 MSE大于阔值上限，表明运两帖差别很大，其拍摄场景或对象发生了较大改变，应更新稀疏 字典W适应新的场景，因此解码端在完成此GOP内I帖的重构后用字典学习算法更新当前稀 疏字典。
[0019] 在化模式中，对每帖均采用分块压缩感知。即先将图像信号X分为N个bXb的不重 叠块bi，i = 1，2，......N，再将每个块bi看作一个长度为化=b X b的列向量，至此，图像信号 X被转化为化XN的矩阵。对其进行差分分离和判断，并根据Y= OX对其进行观测，最后将测 量信号和模式判断信号传给解码端。
[0020] 测量矩阵O采用SB皿。SB皿具有W下五个优点：接近最优的性能、计算速度快、和 大多数现有的稀疏字典W不相关、高效存储和方便硬件实现。因此，使用SB肥作为测量矩阵 O可有效降低编码端所需内存，提高系统的编码效率。O的计算式为：
[0021] 巫=QmWPn (2)
[002引式中:W为一个NXN块对角阵;Wb表示b Xb的哈达玛矩阵;Pn是一个随机算子，对W的 N列随机重新排序;Qm是另一个算子，其作用为随机地从WPn中挑出M行。运种块对角矩阵W能 快速并行计算，复杂度为O(Nlogb),并且只需很小的存储单元。
[0024]和编码端相比，解码端的复杂度较高。首先根据编码端发送的判断信号确定解码 模式，之后对该GOP的两帖进行相应的解码操作。具体的解码操作为:若为跳帖模式，则只重 构I帖，P帖用I帖重构结果替代;若为普通模式，I帖和P帖的前景分别进行重构，再通过图像 重组得到P帖的重构结果;若为字典学习模式，则先按照普通模式的步骤进行重构，再根据I 帖的重构结果进行字典更新，并将更新后的稀疏字典应用于P帖和下一个I帖的重构中。最 后按照帖序和帖率输出重构视频流。
【主权项】
1. 一种基于前景背景分离的分布式压缩感知视频编解码方法，包括下列两个方面： (1) 在编码端，根据重构精度和实时性的要求，将视频按照帧序分为关键帧，即I帧，和 非关键帧，即P帧，每两帧组成一图像组GOP;对于I帧，选择适当的观测矩阵对其进行测量； 对于P帧，需要与对应I帧进行背景和前景分离，再使用相同的观测矩阵对分离后的前景进 行测量，使用差分完成背景和前景的分离，设P帧与I帧的差值为dv，在编码端引入解码模式 判断，判断依据为dv的均方误差值MSE，根据MSE的值将一个GOP中P帧的解码模式分为跳帧 模式SKIP、普通模式NORMAL和字典学习模式DL三种模式，若MSE小于阈值下限，则判定这两 帧非常相似，该P帧无需重构，可直接使用I帧重构结果作为其重构结果;若MSE在阈值范围 内，则直接对I帧和P帧的前景分别进行重构;若MSE大于阈值上限，表明这两帧差别很大，应 更新稀疏字典以适应新的场景，解码端在完成此G0P内I帧的重构后用字典学习算法更新当 前稀疏字典； (2) 在解码端，首先根据编码端发送的判断信号确定解码模式，之后对该G0P的两帧进 行相应的解码操作，具体的解码操作为:若为跳帧模式，则只重构I帧，P帧用I帧重构结果替 代;若为普通模式，I帧和差值分别进行重构，再通过图像重组得到P帧的重构结果;若为字 典学习模式，则先按照普通模式的步骤进行重构，再根据I帧的重构结果进行字典更新，并 将更新后的稀疏字典应用于P帧和下一个I帧的重构中，最后按照帧序和帧率输出重构视频 流。2. 根据权利要求1所述的分布式压缩感知视频编解码方法，其特征在于，在DL模式中， 对每帧均采用分块压缩感知，即先将图像信号X分为N个bXb的不重叠块Μ，? = 1，2， ......Ν，再将每个块bi看作一个长度为Nb = b X b的列向量，至此，图像信号X被转化为Nb X Ν 的矩阵，对其进行差分分离和判断，并进行观测，最后将测量信号和模式判断信号传给解码 端。
【专利摘要】本发明涉及一种基于前景背景分离的分布式压缩感知视频编解码方法：根据重构精度和实时性的要求，将视频按照帧序分为关键帧，即I帧，和非关键帧，即P帧；对于I帧，选择适当的观测矩阵对其进行测量；对于P帧，需要与对应I帧进行背景和前景分离，再使用相同的观测矩阵对分离后的前景进行测量，使用差分完成背景和前景的分离，在编码端引入解码模式判断，将一个GOP中P帧的解码模式分为跳帧模式SKIP、普通模式NORMAL和字典学习模式DL三种模式，再使用相同的观测矩阵对差值进行测量。本发明可以降低编码端复杂度。
【IPC分类】H04N19/177, H04N19/61, H04N19/42, H04N19/142
【公开号】CN105554502
【申请号】CN201510900810
【发明人】潘静, 宋占杰, 周璇, 王建
【申请人】天津大学
【公开日】2016年5月4日
【申请日】2015年12月7日