面向压缩感知视频流的帧组采样率分配系统的制作方法

本发明涉及视频处理与多媒体技术领域，特别是涉及一种面向压缩感知视频流的帧组采样率分配系统。

背景技术：

在移动可视传感应用中，从测量端到重建端的传输信道呈现出更低的带宽、更大的不稳定性，测量端资源往往受到严格的限制，测量端的可移动性会导致传感视频信号存在较大的场景变化，传感视频信号在重建端进行信号恢复后，越来越多地用于以机器为中心的模式识别任务。近年来兴起的压缩感知技术契合了传感视频信号潜在的稀疏属性，突破了奈奎斯特采样定理的限制，压缩感知对于提高传感视频信号的获取范围、减少测量端资源消耗都有重要意义。

“压缩感知视频流”是基于压缩感知理论的视频流技术体系，能够避免既有技术先获取额外信息再将其丢弃的不足，有望按需理解远端自然场景中的传感视频信号，本质上也有助于低质成像信号的获取与处理。为了防止误差累积传播，压缩感知视频流通常将传感视频信号划分为连续的帧组(gof)，再将每个gof划分为一个关键帧和若干个非关键帧，关键帧采样率通常高于非关键帧采样率，“观测参数”是指同一gof的关键帧采样率和非关键帧采样率。压缩感知视频流分为测量端与重建端两大部分，通常采用“单帧观测、帧组重构”的技术框架，测量端输入传感视频信号，重建端输出重建帧组。分块压缩感知(bcs)是代表性的测量端单帧观测技术，判别加权残差稀疏性(rss)是代表性的重建端帧组重构算法。大部分的压缩感知文献只考虑到实数形式的观测值，而压缩感知视频流须将观测值转换为比特码流进行自适应传输，因此，测量端还有预测编码、量化等功能模块。近年来，传感视频信号的无参考质量评价日趋活跃，科研人员专门构建了用于无参考质量评价的视频数据库。通过帧差相关统计建模分析失真视频特征变化，a.mittal,m.a.saad,a.c.bovik,“acompletelyblindvideointegrityoracle,”ieeetransactionsonimageprocessing,25(1):289-300,2016提出了基于空-时差异统计特性的viideo视频无参考评估准则，无需利用图像质量评估数据库中的图像样本进行训练，从而使得训练图像的获取范围更大。“重建质量”是指某一重建帧组的质量，重建端可采用viideo对各个重建帧组进行无参考质量评价。

压缩感知视频流的优化目标是在码率约束下获得较高的平均重建质量。测量端在生成前一gof的码流之后，需要预先设定后一gof的观测参数，以便联合控制后一gof的码率与重建质量。在压缩感知视频流中，测量端需要获取连续的gof，由于邻近的gof具有相关的统计特性，测量端通过分析若干gof的质量-码率特性，可以建立观测参数的统计模型，用于预先设定后续gof的观测参数。对于任一给定的码率阈值，测量端如何为后一gof预先设定优化的关键帧采样率和非关键帧采样率，实现码率-重建质量联合优化的观测参数控制，目前仍然缺少对应的方法。

技术实现要素：

本发明所要解决的技术问题是提供一种面向压缩感知视频流的帧组采样率分配系统，对于连续的gof，能够自适应地设定优化的观测参数，在码率约束下最大化连续gof的平均重建质量。

本发明解决其技术问题所采用的技术方案是：提供一种面向压缩感知视频流的帧组采样率分配系统，包括通过传输信道连接的测量端和重建端，所述测量端包括依次连接的帧组划分器、分配器、观测器和编码器，所述测量端还包括分别与所述帧组划分器、分配器和编码器相连的模型判决器；所述重建端包括依次连接的帧组解析器、帧组重构器和无参考评估器，所述无参考评估器还与所述模型判决器相连；在训练模式下，测量端统计不同观测参数对帧组的重建质量与码率的影响，然后分别建立码率模型与重建质量模型；在工作模式下，测量端根据建立的码率模型与重建质量模型以及前一帧组的观测结果，确定后一帧组的最优观测参数。

在训练模式下，测量端采用缺省的观测参数，连续执行前m个帧组的单帧观测，通过所述编码器获取前m个帧组对应的帧组码率；在重建端，所述帧组重构器生成重建帧组，然后由所述无参考评估器计算该重建帧组的重建质量，并将结果传回所述模型判决器；所述模型判决器通过前m个帧组的帧组码率与重构帧组生成的m个样本，采用关键帧码率模型的函数形式、非关键帧码率模型的函数形式和重建质量模型的函数形式对从第2个到第m个样本执行基于最小二乘回归的模型拟合，并选择均方误差最小的模型系数，建立码率模型与重建质量模型。

所述关键帧码率模型的函数形式为：r(s^km)＝cm-1,1·α^k·(s^km)^β，所述非关键帧码率模型的函数形式为：r(s^cm)＝cm-1,n·α^c·(s^cm)^γ，其中，每个帧组含有n帧，cm-1,1是前一帧组的关键帧观测向量的方差，cm-1,n是前一帧组的最后一个非关键帧观测向量的方差，s^km表示第m个帧组的关键帧采样率，s^cm表示第m个帧组的非关键帧采样率，α^k、α^c、β、γ是模型系数。

所述重建质量模型的函数形式为：q(s^km,s^cm)＝τ1/s^cm+(τ2·s^cm+τ3)/(s^km)²，其中，s^km表示第m个帧组的关键帧采样率，s^cm表示第m个帧组的非关键帧采样率，τ1、τ2、τ3是模型系数。

在工作模式下，所述模型判决器获取同类前一帧观测向量的方差，然后根据建立的码率模型与重建质量模型，执行码率-重建质量联合优化：对于给定的码率阈值rt，所述模型判决器利用建立的码率模型与重建质量模型在所有候选的观测参数中为后一帧组选取一组最优观测参数，即在满足码率r(s^km,s^cm)≤rt的条件下遍历搜索各个重建质量q(s^km,s^cm)，且r(s^km,s^cm)＝r(s^km)+(n-1)·r(s^cm)，为后一帧组找到重建质量最高的一组观测参数，将其作为后一帧组的最优观测参数，提供给所述分配器执行，同时更新模型系数，其中，r(s^km,s^cm)表示第m个帧组相应的帧组码率，q(s^km,s^cm)表示第m个帧组相应的重建质量。

所述更新模型系数时，模型系数α^k执行如下更新：α^k←λ·α^k+(1-λ)·r^am,1/(cm-1,1·(s^km)^β)，模型系数α^c执行如下更新程序：α^c←λ·α^c+(1-λ)·r^am,n/(cm-1,n·(s^cm)^γ)，r^am,1为第m个帧组的关键帧的实际码率r^am,1、r^am,n为第m个帧组的所有非关键帧平均的单帧实际码率，λ为遗忘因子。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明的帧组采样率分配系统通过训练模式建立起码率模型与重建质量模型，系统的工作模式根据这两个模型和前一gof的观测结果，在码率约束下为后一gof预先设定合适的关键帧采样率和非关键帧采样率，可在后一gof的码率和重建质量之间取得有效的性能折衷。本发明的帧组采样率分配系统能够在给定的码率阈值下为连续gof自适应地分配最优观测参数，联合地优化连续gof的平均码率与平均重建质量，并随着码率阈值的增加渐进地提升平均重建质量，从而为压缩感知视频流取得优化的码率-重建质量综合性能。

附图说明

图1是本发明的功能单元图；

图2是本发明中帧组gof的构成示意图；

图3是本发明中采样率自适应分配的流程图。

具体实施方式

下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本申请所附权利要求书所限定的范围。

本发明的实施方式涉及一种面向压缩感知视频流的帧组采样率分配系统，该帧组采样率分配系统以关键帧采样率和非关键帧采样率作为观测参数，在码率约束下最大化gof的重建质量。

系统的测量端包含帧组(gof)划分器、分配器、观测器、编码器、模型判决器等功能单元，系统的重建端包括gof解析器、帧组重构器和无参考评估器等功能单元，图1给出帧组采样率分配系统的功能单元图，gof划分器决定了gof的非关键帧数量，gm表示传感视频信号v中的第m个gof，每个gof含有n帧，分配器根据前一gof的观测结果，为后一gof的关键帧和非关键帧预先设定各自的采样率，观测器通过投影矩阵对gm逐帧进行基于分块压缩感知的单帧观测，块尺寸为16×16，生成n个帧观测向量，每一帧观测向量的方差是其所有块观测向量方差的平均值；编码器执行dpcm预测编码、8bit均匀量化、封装等过程，将码流ym发送到传输信道。重建端在收到码流ym后执行gof解析器，然后进行基于判别加权残差稀疏性rss的帧组重构，其中投影矩阵与测量端相同，最后由帧组重构器将重建帧组g'm按帧序和帧率输出。在本实施方式中，传感视频信号v选取cif格式、30帧/秒的hall视频测试序列。

图2为帧组gof的构成示意图，测量端对gof的每帧图像逐一执行单帧观测，每个gof含有1个关键帧和n-1个非关键帧。根据观测的先后顺序，gm表示第m个gof(m≥1)，gm,n表示第m个gof的第n帧(n≥n≥1)，其中，gm,1和gm,n分别表示第m个gof的关键帧和最后一个非关键帧。关键帧采样率和非关键帧采样率联合影响gof的重建质量和码率，若对同一gof执行单帧观测，更大的采样率将导致较高的重建质量，但码率会显著增加。gm具有两个重要的观测参数：关键帧采样率(s^km)、非关键帧采样率(s^cm)，k代表关键帧，c代表非关键帧。在本实施方式中，采样率的候选值从0.05到最大采样率1.00，步长ls＝0.05；测量端分别选取s^km(从0.05到最大采样率1.00,步长0.05)和s^cm(从0.05到最大采样率1.00，步长0.05)的不同组合，本实施方式总共有20×20组候选的观测参数。当s^km或s^cm值增加时，以增加帧组码率为代价，gm可以取得更好的重建质量，有必要对关键帧采样率和非关键帧采样率进行优化的选择。以某一组观测参数{s^km,s^cm}作为变量，r(s^km,s^cm)和q(s^km,s^cm)分别表示gm相应的帧组码率和重建质量。当{s^km＝1.00,s^cm＝1.00}时，gm通常取得最高的重建质量。

对于连续gof的单帧观测和帧组重构，每组{s^km,s^cm}产生一对重建质量和码率的样本：{q(s^km,s^cm),r(s^km,s^cm)}。码率-重建质量联合优化的目标是在码率阈值rt约束下最大化gm的重建质量q(s^km,s^cm)，上述观测参数分配的优化问题可采用模型表示如下：

maxq(s^km,s^cm)s.t.r(s^km,s^cm)≤rt(1)

上式中，rt表示视频传感信号的码率阈值，在本实施方式中，rt＝6000kbps。一般而言，若对同一gof进行单帧观测与帧组重构，更大的{s^km,s^cm}将导致较高的码率和较高的重建质量。基于viideo准则中的特征提取机制，无参考评估器可计算出帧组gm的实际重建质量；编码器可统计出帧组gm各帧的实际码率。

对于码率-重建质量联合优化的帧组采样率分配系统，图3给出了采样率自适应分配的流程图。系统的训练模式通过获取一定数量的样本，能够统计不同观测参数对gof的重建质量与码率的影响，然后分别建立码率模型与重建质量模型；系统的工作模式根据r(s^km,s^cm)、q(s^km,s^cm)以及前一gof的观测结果，确定后一gof的最优观测参数，以期获得优化的码率-重建质量综合性能。

由此可见，本实施方式的帧组采样率分配系统通过训练模式建立起码率模型与重建质量模型，系统的工作模式根据这两个模型和前一gof的观测结果，在码率约束下为后一gof预先设定合适的关键帧采样率和非关键帧采样率，可在后一gof的码率和重建质量之间取得有效的性能折衷。具体执行过程如下：

帧组采样率分配系统首先执行训练模式。为了获取单帧观测与帧组重构的统计特性，测量端对前m＝10个gof分别执行缺省的观测参数{s^k＝0.70,s^c＝0.20}，编码器和无参考评估器分别统计相应的码率和重建质量，将结果提供给模型判决器。关键帧码率模型的函数形式为：

r(s^km)＝cm-1,1·α^k·(s^km)^β(2)

非关键帧码率模型的函数形式为：

r(s^cm)＝cm-1,n·α^c·(s^cm)^γ(3)

上两式中，cm-1,1和cm-1,n分别是gm-1第1帧观测向量的方差和第n帧观测向量的方差，α^k、α^c、β、γ是需要通过训练模式进行拟合的模型系数。至此，帧组gm的码率模型表示为：

r(s^km,s^cm)＝r(s^km)+(n-1)·r(s^cm)(4)

重建质量模型的函数形式为：

q(s^km,s^cm)＝τ1/s^cm+(τ2·s^cm+τ3)/(s^km)²(5)

上式中，τ1、τ2、τ3是需要拟合的模型系数，“·”表示乘号，“/”表示除号。

模型判决器通过执行前m＝10个gof的单帧观测与帧组重构，在系统的训练模式下生成10个样本，统计不同参数对于重建质量与码率的影响，然后采用第2个到第10个的样本执行基于最小二乘回归的模型拟合，选择均方误差最小的模型系数，进而获得后续gof的r(s^km,s^cm)码率模型与q(s^km,s^cm)重建质量模型。对于一组观测参数s^km和s^cm，r(s^km,s^cm)表示帧组gm相应的帧组码率，q(s^km,s^cm)表示帧组gm相应的重建质量。

接下来，帧组采样率分配系统执行工作模式。模型判决器获取同类前一帧观测向量的方差，然后代入码率模型与重建质量模型，执行码率-重建质量联合优化：对于给定的码率阈值rt，模型判决器利用码率模型与重建质量模型为后一gof选取一组最优观测参数，即在满足码率r(s^km,s^cm)≤rt的条件下遍历搜索各个重建质量q(s^km,s^cm)，为后一gof在所有候选的观测参数中找到重建质量最高的一组观测参数s^*k,m和s^*c,m，将其作为后一gof的最优观测参数{s^*k,m,s^*c,m}，提供给分配器，同时更新模型系数。编码器可统计出gm关键帧的实际码率r^am,1、gm所有非关键帧平均的单帧实际码率r^am,n，因此在生成gm的码流后，模型系数α^k执行如下的更新：

α^k←λ·α^k+(1-λ)·r^am,1/(cm-1,1·(s^km)^β)(6)

模型系数α^c进行如下更新：

α^c←λ·α^c+(1-λ)·r^am,n/(cm-1,n·(s^cm)^γ)(7)

上述两式中，遗忘因子λ＝0.5。模型判决器通过将q(s^km,s^cm)、r(s^km,s^cm)模型所得数据输入到式(1)中，在码率阈值rt＝6000kbps约束下通过穷举地搜索基于模型的最大重建质量，为后续gof提供最优观测参数。重复执行上述过程，即可完成连续gof的观测参数控制。

不难发现，本发明的帧组采样率分配系统能够在给定的码率阈值下为连续gof自适应地分配最优观测参数，联合地优化连续gof的平均码率与平均重建质量，并随着码率阈值的增加渐进地提升平均重建质量，从而为压缩感知视频流取得优化的码率-重建质量综合性能。

对于典型的hall视频测试序列，传统系统始终执行缺省的观测参数{s^k＝0.70,s^c＝0.20}，平均重建质量最终取得了29.3db的峰值信噪比(psnr)。本实施方式的帧组采样率分配系统取得了比传统系统更好的平均重建质量，s^*k,m的平均值为0.63，s^*c,m的平均值为0.26，最终取得的psnr值为31.7db。随着码率阈值的增加，后续gof的平均重建质量能够获得较为稳定的增加。