时空域-质量融合的可分级视频编码装置及其编码方法与流程

本发明属于视频编码技术领域，尤其涉及一种时空域-质量融合的可分级视频编码装置及其编码方法。

背景技术：

可分级视频编码(svc，scalablevideocoding)旨在解决不同网络条件、终端算力条件下，面向用户差异化质量需求的多次编码或服务器需要二次编解码的问题。现有的可分级编码技术通常分为三类，即时域可分级、空间域可分级和质量可分级，利用svc技术可以实现一次编码产生不同帧率、分辨率、图像质量的码流，并在解码端进行自适应的调整得到对应分级的重建视频。可分级视频编码技术在视频监控领域广泛应用，视频监控源通常产生分辨率、帧率、质量由高到低的3路视频，分别用于存储、预览或实时视频分析，以及在带宽不充足情况下的移动端远程预览。

时域可分级视频编码方法对于不同的视频层使用不同的帧率，基于分层预测结构，例如图1所示的基于双向预测帧(b帧)的分层结构，在带宽受限情况下只传输基本层帧(图1中t0层)，帧率较低；在带宽增加情况下，可传输基本层帧+增强层帧(图1中t1，t2，t3层)，帧率较高。

空域可分级编码进行原始视频帧的多空间分辨率分解，在带宽有限情况下传输空域基本层，分辨率低；随着带宽增加，可传输空域增强层，分辨率上升，质量可分级编码通过调整各层使用的量化精度，使得各层视频具有不同的峰值信噪比(psnr)，基本层使用粗糙量化器，重建质量低，适用于低带宽条件；增强层使用更精细的量化器，重建质量高，适用于高带宽条件。

现有可分级编码方法未充分挖掘图像质量分级、时域分级和空域分级之间的相关性，难以达到三种分级策略的有机整合，较非分级编码方法会导致较大的编码效率下降，具体表现为：

1)现有时域可分级编码方法中，各层的帧率固定，无法根据视频内容进行帧率动态调整。

2)现有空域可分级编码方法中，增强层空间分辨率增加，但无法保证视频重建质量提高。

3)现有质量可分级编码方法中，各层量化精度的选择未针对视频内容的时空特性进行动态调整。

针对以上技术不足，本发明旨在提供一种时空域-质量融合的可分级视频编码装置及其编码方法，通过结合视频内容的时空特性，利用关注区域(regionofinterest,roi)技术，提取关注时间区间(regionofperiod,poi)，保证roi区域高质量和poi区间高帧率，形成内容自适应的时空域-质量可分层编码方法，动态调整各层帧率和重建质量，提升编码效率、提供更高视觉感知效果。

技术实现要素：

本发明的目的是针对现有技术的不足，提供一种时空域-质量融合的可分级视频编码装置及其编码方法。

本发明解决问题的技术方案是，提供一种时空域-质量融合的可分级视频编码装置，包括：

编码端，用于对视频进行预处理和分层编码；

解码端，连接于编码端，对视频进行分层解码而调整各层帧率和重建质量。

进一步地，编码端包括视频预处理模块和分层编码器模块，其中，所述视频预处理模块用于对视频进行预处理，所述分层编码器模块用于对视频进行分层编码。

进一步地，视频预处理模块包括：用于对输入所述可分级视频编码装置的原始分辨率视频进行关注区域划分的帧内roi划分处理器、用于判断未来数帧是否属于关注时间区间的poi预测处理器、用于获取poi阈值的统计数据分析处理器和用于获取所述分层编码中各层的量化精度及帧率的参数控制单元。

进一步地，解码端为视频分层解码器。

本发明还提供一种可分级视频编码装置进行编码的方法，包括：

步骤1、对视频进行关注区域划分；再动态计算roi区域面积占整帧面积的比例，记为proi；

步骤2：通过统计数据分析处理器获取用于反映判别敏感度的判别阈值；

步骤3：通过poi预测处理器判断未来数帧是否属于关注时间区间，将当前帧proi与判别阈值进行比较，根据比较的值判断未来数帧是否为poi区间；

步骤4：通过参数控制单元为poi区间分层编码各层均分配帧率和空间分辨率；为roi区域分层编码各层均分配量化参数。

进一步地，步骤1中，通过roi划分处理器对输入所述可分级视频编码装置的原始分辨率视频进行关注区域划分。

进一步地，步骤3中，若当前帧proi大于判别阈值，结合运动连续性，判断未来数帧为poi区间；若当前帧proi小于判别阈值，判断未来数帧为非poi区间。

进一步地，步骤4中，参数控制单元通过帧内roi划分处理器、poi预测处理器和实时带宽条件为poi区间分层编码各层均分配帧率和空间分辨率并为roi区域分层编码各层均分配量化参数。

本发明的有益效果是：本发明所述的时空域-质量融合的可分级视频编码装置及其编码方法利用关注区域技术(roi)，提取关注时间区间(poi)，保证roi区域高质量和poi区间高帧率，能够动态调整各层帧率和重建质量，有效提升编码效率、提供更高视觉感知效果。

附图说明

图1为本发明所述基于双向预测帧(b帧)的分层结构的示意图；

图2为本发明实施例中时空域-质量融合的可分级视频编码装置的结构示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述，需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

实施例

如图2所示，一种时空域-质量融合的可分级视频编码装置，包括：

编码端，用于对输入所述可分级视频编码装置的原始分辨率视频进行预处理和分层编码；

解码端，连接于编码端，对视频进行分层解码而调整各层帧率和重建质量。

在本实施例中，编码端包括视频预处理模块和分层编码器模块，其中，所述视频预处理模块用于对视频进行预处理，所述分层编码器模块用于对视频进行分层编码。

在本实施例中，视频预处理模块包括：用于对输入原始分辨率视频进行关注区域划分的帧内roi划分处理器、用于判断未来数帧是否属于关注时间区间的poi预测处理器、用于获取poi阈值的统计数据分析处理器和用于获取所述分层编码中各层的量化精度及帧率的参数控制单元，其中，为符合编码配置同时满足较高的响应速度，对与gop(groupofpictures，表示连续的画面组)帧数一致的未来数帧进行预处理，例如若低延时编码条件下gop包含8帧，则预分析帧数选择8帧进行。

在本实施例中，解码端为视频分层解码器。

本发明还提供一种可分级视频编码装置进行编码的方法，包括：

步骤1、对视频进行关注区域划分；再动态计算roi区域面积占整帧面积的比例，记为proi；

步骤2：通过统计数据分析处理器获取用于反映判别敏感度的判别阈值；

步骤3：通过poi预测处理器判断未来数帧是否属于关注时间区间；

步骤4：通过参数控制单元为poi区间分层编码各层均分配高帧率和高空间分辨率；为roi区域分层编码各层均分配较小的量化参数，即较小的量化步长(quantizationstep)，减小roi区域的量化失真。

在本实施例的步骤3中，监控视频中roi集中于前景运动物体，利用roi区域占比估算场景复杂度，尤其是运动复杂度，以为帧率配置提供依据。

在本实施例中，步骤1中，通过roi划分处理器对输入所述可分级视频编码装置的原始分辨率视频进行关注区域划分。

在本实施例中，步骤3中，将当前帧proi与判别阈值进行比较，根据比较的值判断未来数帧是否为poi区间(关注时间区间)，若当前帧proi大于判别阈值，结合运动连续性，判断未来数帧为poi区间；若当前帧proi小于判别阈值，判断未来数帧为非poi区间。

在本实施例中，步骤3中，通过统计数据分析处理器得到若干poi阈值{t1，t2，t3，……，tn}，其中n反映了时间周期，例如n可以是24，表示一天内每个小时的时间段内poi的判别阈值。该阈值反映了判别敏感度，例如凌晨2～3点间使用较小的t3，使得少量的roi区域，例如监控镜头中突然出现的可疑人员，就会将连续多帧判别为poi。

在本实施例中，步骤4中，参数控制单元的输入通过帧内roi划分处理器的判别输出、poi预测处理器的判别输出和实时带宽条件，编码控制参数包括量化步长、时空域下采样率，保证编码比特率满足该带宽条件，其中，帧内roi划分处理器的判别输出通过1表示是roi，通过0表示非roi；poi预测处理器的判别输出通过1表示是roi，通过0表示非roi。

在本实施例的步骤4中，所述高帧率和高空间分辨率即接近或保持原始视频帧率和分辨率，如1080p@30fps视频输入，若判别为poi区间则保持原始分辨率和帧率，或仅做少量时空下采样。

下面，以输入分辨率为1920x1080、帧率为60fps的视频序列为例，对本实施例进行进一步的说明：

s1：向所述可分级视频编码装置输入分辨率为1920x1080、帧率为60fps的视频序列，默认可分级编码基本层帧率为15fps、分辨率为432x240；

s2：通过roi划分处理器对输入所述可分级视频编码装置的原始分辨率视频进行关注区域划分，已经过动态计算，roi区域占整帧面积比例proi为8％；

s3：根据统计数据分析处理器获得12月份凌晨3点的阈值t3为0.05，同时将当前帧proi输入统计数据分析处理器，不断训练得到其分时段的统计参数以获得阈值t；

s4：将当前帧proi输入到poi预测处理器，若当前帧proi大于阈值t，判断未来10帧为poi区间；

s5：将roi划分信息、poi预测处理器的输出到输入参数控制单元，利用查表法得相关控制参数，得到未来10帧poi区间的分层编码的基本层帧率30fps，同时考虑带宽情况，若带宽受限，则将非roi区域量化步长增大；

s6：将相关控制参数输入分层编码器模块，在编码端进行可分级编码，输出码流，其中，相关控制参数包括：帧内roi区域范围、roi区域量化步长、非roi区域量化步长、poi区间范围、poi区间帧率、非poi区间帧率；

s7：在解码端，将码流输入视频分层解码器，进行分级解码、视频重建。

本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书界定。