一种基于空间位置自适应质量调整的视频、图像编解码方法及装置与流程

本发明专利属于视频、图像编码领域，具体涉及一种视频、图像编码或解码中基于图像空间位置的自适应质量调整方法和装置。

背景技术：

有损视频、图像编码中，量化技术对视频、图像质量的影响很大。量化技术通过对变换系数进行量化，引入信号失真，提高压缩率。量化程度由量化步长决定，量化步长越大，引入信号噪声越大，压缩率越大，也就是量化步长越大，失真越大，但码率越小。以hevc为例，hevc用量化程度指标量化参数qp来表明编码失真程度，qp与量化步长qstep有如下对应关系：

qstep≈2^(qp-4)/6,

qp与量化步长qstep对应关系可查表确定，且qp范围为0-51。编码解码系统也可以规定其它的对应关系。

在hevc编码控制中，编码决策的代价函数使用了拉格朗日乘子lamda。lamda与量化程度的指标qp相关联。而且在决策不同任务时，使用不同的lamda。例如：亮度块划分或帧内、帧间模式选择的模式乘子lamda_mode、运动估计的运动估计乘子lamda_motion与qp的关系如下：

lamda_mode＝α*2^((qp-12)/3)

其中，因子α由编码配置、编码图像在图像组gop中所处的位置以及当前图像是否作为参考图像。

对于传统的视频、图像编码，客观质量评价是对每帧图像进行空间像素误差均匀加权得到的。比如hevc、avc视频编码标准把psnr作为评价指标。在编码端，可以设定序列或图像的量化程度指标。对于一帧图像，会设置一个基本量化参数baseqp，可以通过码率控制、内容复杂度分布的分析等设定图像局部区域的量化程度指标，在baseqp基础上进行调整。但对于每帧图像不同的空间位置，不会针对的根据位置自适应调整qp，也就是一帧图像不同位置的baseqp不同，量化程度和图像的空间位置是不相关的。

随着视频，图像技术发展，一些新应用的质量评价指标是空间像素误差非均匀加权，比如360度全景视频，360度范围的图像表达为一个或多个的投影面,均匀采样的投影面映射到球面会不均匀。因此图像的不同空间位置质量的重要性、伸缩比例系数不同，需要球面加权评价[1]。附图5列举了部分360视频投影格式的评价伸缩比例系数图，不同面也可以重新拼放组合，投影格式上每个像素都有对应的伸缩比例系数wi，j，伸缩比例系数wi，j表示每个像素映射到单位球面的面积与投影格式上像素的面积比，其中亮度值大的区域表明该区域的像素伸缩比例系数大。对于这类视频、图像若仍采用相同的量化步长或者相同的量化步长组进行编码，不同位置视频的质量差异较大。在码率约束下，会使图像质量伸缩比例系数较小的空间位置消耗较多码率，影响整体的编码性能。

技术实现要素：

为了解决上述技术问题，本发明提出了一种视频、图像编码或解码中基于图像空间位置的自适应质量调整方法和装置。通过对视频、图像不同空间位置的单元自适应调整量化步长，使重要性大的空间位置具有较好的质量，在相同的码率下，提升视频、图像整体加权质量。

本发明的第一目的是提供一种基于空间位置自适应质量调整的视频、图像编码或解码方法，包括如下内容：

确定视频、图像不同空间位置自适应质量调整单元的质量重要性即伸缩比例系数；根据视频、图像不同空间位置的自适应质量调整单元伸缩比例系数，编码或解码不同自适应质量调整单元自适应调整量化步长，调整图像自适应质量调整单元在不同空间位置的质量。

所述的基于图像空间位置的自适应质量调整编码或解码方法，自适应质量调整单元至少包含以下一种表达形式：

a)划分图像的最大的处理单元：例如：编码树单元(ctu)、宏块(mb)等；

b)将最大的处理单元进一步划分为同一类型编码的单元：例如：编码单元(cu)；

c)进行一维或二维变换的单元，例如：变换单元(tu)、亮度变换块(y－tb)、某色彩分量的变换块等；

d)进行一维或二维变换的单元的子单元，多于一个变换系数；

e)多个上述单元的组合。

所述的基于图像空间位置的自适应质量调整编码或解码方法，自适应质量调整单元质量重要性即单元伸缩比例系数uw,是以下一种值：

a)客观质量评价指标中的该单元内像素的平均质量重要性，即单元内像素伸缩比例系数wi，j的平均值；

b)客观质量评价指标中的该单元内某一整像素的质量重要性，即单元内某个整像素的伸缩比例系数wi，j；

c)客观质量评价指标中的该单元内某一分像素的质量重要性，即单元内某个分像素的伸缩比例系数wi，j；

d)根据编码图像单元空间位置对上述(a)或(b)或(c)结果控制精度后的值，比如保留16位位宽。

所述的基于图像空间位置的自适应质量调整编码或解码方法，调整量化步长由下式得到：

new_qstep＝factor*ori_qstep

其中new_qstep表示新的量化步长值，ori_qstep表示初始的量化步长值；uwi，j表示单元坐标为(i，j)的伸缩比例系数且最大伸缩比例系数为1；factor表示量化步长qstep的因子；factor_ave表示量化步长整体平均的因子，是以下一种值：

a)图像每个自适应质量调整单元的伸缩比例系数uwi，j有对应的对所有单元的求平均值；

b)对图像所有自适应质量调整单元的伸缩比例系数uwi，j求平均得到的平均伸缩比例系数uwi，j‘，再求对应的值；

c)对上述(a)或(b)结果进行精度控制后的值，比如保留16位位宽的结果。

所述的基于图像空间位置的自适应质量调整编码或解码方法，调整量化步长量deltaqstep至少包含以下一种方法：

a)在编码或解码的量化反量化环节对量化步长进行调整；

b)在编码或解码调整量化参数qp，量化参数调整量deltaqp可由对浮点型量化参数调整量deltaqp‘上取整或下取整或四舍五入的整数得到，deltaqp‘可由下式获得：

deltaqp‘＝6*log2(factor)。

本发明第二目的是提供一种视频、图像编码或解码中基于图像空间位置的自适应质量调整装置，其包括：

确定视频、图像不同空间位置自适应质量调整单元的质量重要性即伸缩比例系数；根据视频、图像不同空间位置的单元伸缩比例系数，编码或解码不同单元自适应调整量化步长，调整图像自适应质量调整单元在不同空间位置的质量。

所述的基于图像空间位置的自适应质量调整编码或解码装置，自适应质量调整单元至少包含以下一种表达形式：

a)划分图像的最大的处理单元：例如：编码树单元(ctu)、宏块(mb)等；

b)将最大的处理单元进一步划分为同一类型编码的单元：例如：编码单元(cu)；

c)进行一维或二维变换的单元，例如：变换单元(tu)、亮度变换块(y－tb)、某色彩分量的变换块等；

d)进行一维或二维变换的单元的子单元；

e)多个上述单元的组合。

所述的基于图像空间位置的自适应质量调整编码或解码装置，自适应质量调整单元质量重要性即伸缩比例系数是以下一种值：

a)客观质量评价指标中的该单元内像素的平均质量重要性，即平均伸缩比例系数；

b)客观质量评价指标中的该单元内某一整像素的质量重要性，即某一整像素伸缩比例系数；

c)客观质量评价指标中的该单元内某一分像素的质量重要性，即某一分像素伸缩比例系数；

d)根据编码图像自适应质量调整单元空间位置对上述(a)或(b)或(c)结果控制精度后的值，比如保留16位位宽后的结果。

所述的基于图像空间位置的自适应质量调整编码或解码装置，调整量化步长由下式得到：

new_qstep＝factor*ori_qstep

其中new_qstep表示新的量化步长值，qri_qstep表示初始的量化步长值；uwi，j表示单元坐标为(i，j)的伸缩比例系数且最大伸缩比例系数为1；factor表示量化步长qstep的因子；factor_ave表示量化步长整体平均的因子，是以下一种值：

a)图像每个自适应质量调整单元的伸缩比例系数uwi，j有对应的对所有单元的求平均值；

b)对图像所有自适应质量调整单元的伸缩比例系数uwi，j求平均得到的平均伸缩比例系数uwi，j‘，再求对应的值；

c)对上述(a)或(b)结果进行精度控制的值，比如保留16位位宽后的结果。

所述的基于图像空间位置的自适应质量调整编码或解码装置，调整量化步长量deltaqstep至少包含以下一种方法：

a)在编码或解码的量化反量化环节对量化步长进行调整

b)在编码或解码调整量化参数qp，量化参数调整量deltaqp可由对浮点型量化步长调整量deltaqp‘上取整或下取整或四舍五入的整数得到，deltaqp‘可由下式获得：

deltaqp‘＝6*log2(factor)

本发明由于采用以上技术方案，其具有以下优点：

基于图像空间位置的自适应质量调整编码或解码，对视频、图像不同空间位置的自适应质量调整单元自适应质量调整，使重要性大的空间位置具有较好的质量，在相同的码率下，提升视频、图像整体加权质量。其中自适应质量调整通过调整量化步长实现，实现复杂度低，且能较大程度提升编码性能。

附图说明

结合附图，本发明的其他特点和优点可从下面通过举例来对本发明的原理进行解释的优选实施方式的说明中变得更清楚。

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明自适应质量调整单元确定量化步长因子算法的流程图。

图2是本发明自适应质量调整单元编码或解码算法的流程图。

图3是本发明自适应质量调整单元确定量化因子装置图。

图4是本发明自适应质量调整单元编码或解码装置图。

图5是部分360视频投影格式的质量评价伸缩比例系数图。

具体实施方式

为表述简单，以下实施例中视频、图像不同空间位置的自适应质量调整单元是划分图像的最大的处理单元，例如：编码树单元(ctu)、宏块(mb)等，或者是最大的处理单元进一步划分为同一类型编码的单元，例如：编码单元(cu)，或者是进行一维或二维变换的单元，例如：变换单元(tu)，或者是进行一维或二维变换的单元的子单元，或者是上述单元的组合。

为表述简单，以下实施例中视频、图像自适应质量调整单元伸缩比例系数uwi，j是该单元内像素的平均质量伸缩比例系数，或者是单元内某一整像素的质量伸缩比例系数，比如单元内左上角像素的伸缩比例系数或者是单元内某一分像素的质量伸缩比例系数，比如图像中心处插值得到的分像素或者是对上述3种结果进行精度控制后的结果，比如保留16位位宽。

为表述简单，以下实施例中视频、图像平均量化步长因子factor_ave是图像每个自适应质量调整单元的伸缩比例系数uwi，j有对应的对所有单元的求平均值，或者是对图像所有自适应质量调整单元的伸缩比例系数uwi，j求平均得到的uwi，j‘，再求对应的值，或者是前两者结果进行精度控制后的结果，比如保留16位位宽。

实施例1

一种编码或解码中量化步长因子确定方法。图1所示是该方法的流程图。其中s006-s008是本发明的特点。下面结合图1进行具体的说明。

在步骤s106中，输入为图像的自适应质量调整单元，输出为该自适应质量调整单元质量重要性即伸缩比例系数。首先根据视频格式以及自适应质量调整单元在图像中的坐标位置，确定该自适应质量调整单元伸缩比例系数uwi，j。

在步骤s108中，输入为自适应质量调整单元质量重要性即伸缩比例系数，输出为量化步长因子。自适应质量调整单元量化步长因子factor由伸缩比例系数uwi，j和平均量化步长因子factor_ave导出：

实施例2

一种自适应质量调整编码方法。图2所示是该方法的流程图。其中s106-s110是本发明的特点。下面结合图2进行具体的说明。

在步骤s106中，输入为图像的自适应质量调整单元，输出为该自适应质量调整单元质量重要性即伸缩比例系数。首先根据视频格式以及自适应质量调整单元在图像中的坐标位置，确定该自适应质量调整单元伸缩比例系数uwi，j。

在步骤s108中，输入为自适应质量调整单元质量重要性即伸缩比例系数，输出为量化步长因子。自适应质量调整单元量化步长因子factor由伸缩比例系数uwi，j和平均量化步长因子factor_ave导出：

在步骤s110中，输入为量化步长因子factor，输出为调整后的量化步长new_qstep。调整后的量化步长new_qstep可由输入的量化步长因子factor和初始量化步长ori_qstep确定：

new_qstep＝factor*ori_qstep

最后在编码的量化环节，使用更新后的量化步长new_qstep。

实施例3

一种自适应质量调整编码方法。图2所示是该方法的流程图。其中s106-s110是本发明的特点。下面结合图2进行具体的说明。

在步骤s106中，输入为图像的自适应质量调整单元，输出为该自适应质量调整单元质量重要性即伸缩比例系数。首先根据视频格式以及自适应质量调整单元在图像中的坐标位置，确定该自适应质量调整单元伸缩比例系数uwi，j。

在步骤s108中，输入为自适应质量调整单元质量重要性即伸缩比例系数，输出为量化步长因子。自适应质量调整单元量化步长因子factor由伸缩比例系数uwii，j和平均量化步长因子factor_ave导出：

在步骤s110中，输入为量化步长因子factor，输出为调整后的量化步长new_qstep。调整后的量化步长new_qstep可由输入的量化步长因子factor和初始量化步长ori_qstep确定：

new_qstep＝factor*ori_qstep

在编码端通过调整qp来调整量化步长qstep，qp调整量deltaqp可由对deltaqp‘上取整或下取整或四舍五入的整数得到，deltaqp‘可由下式获得：

deltaqp‘＝6*log2(factor)

最终图像的每个自适应质量调整单元使用调整后的new_qp进行编码，可由deltaqp和初始qpori_qp得到：

new_qp＝deltaqp+ori_qp

实施例4

在实施例2的基础上，对应的修改lambda。若lambda决策的单元只含有一个自适应质量调整单元,则新的lambda为初始的lambda乘上关于deltaqp的因子：

new_lambda＝ori_lambda*2^deltaqp/3

若lambda决策的单元包含多个自适应质量调整单元,上式的deltaqp是包含的质量调整单元的平均deltaqp,或者是根据包含的质量调整单元大小，加权得到的deltaqp。

其中，deltaqp可由对deltaqp‘上取整或下取整或四舍五入的整数得到，deltaqp‘可由下式获得：

deltaqp‘＝6*log2(factor)

实施例5

在实施例3的基础上，修改对应的lambda，若lambda决策的单元只含有一个自适应质量调整单元,则新的lambda为初始的lambda乘上关于deltaqp的因子：

new_lambda＝ori_lambda*2^deltaqp/3

若lambda决策的单元包含多个自适应质量调整单元,上式的deltaqp是包含的质量调整单元的平均deltaqp,或者是根据包含的质量调整单元大小，加权得到的deltaqp。

实施例6

一种自适应质量调整解码方法。图2所示是该方法的流程图。其中s106-s110是本发明的特点。下面结合图2进行具体的说明。

在步骤s106中，输入为图像的自适应质量调整单元，输出为该自适应质量调整单元质量重要性即伸缩比例系数。首先根据视频格式以及自适应质量调整单元在图像中的坐标位置，确定该自适应质量调整单元伸缩比例系数uwi，j。

在步骤s108中，输入为自适应质量调整单元质量重要性即伸缩比例系数，输出为量化步长因子。自适应质量调整单元量化步长因子factor由伸缩比例系数uwi，j和平均量化步长因子factor_ave导出：

在步骤s110中，输入为量化步长因子factor，输出为调整后的量化步长new_qstep。调整后的量化步长new_qstep可由输入的量化步长因子factor和初始量化步长ori_qstep确定：

new_qstep＝factor*ori_qstep

最后在解码的量化环节，使用更新后的量化步长new_qstep。

实施例7

一种自适应质量调整解码方法。图2所示是该方法的流程图。其中s106-s110是本发明的特点。下面结合图2进行具体的说明。

在步骤s106中，输入为某一帧图像的自适应质量调整单元，输出为该自适应质量调整单元质量重要性即伸缩比例系数。首先根据视频格式以及自适应质量调整单元在图像中的坐标位置，确定该自适应质量调整单元伸缩比例系数uwi，j。

在步骤s108中，输入为自适应质量调整单元质量重要性即伸缩比例系数，输出为量化步长因子。自适应质量调整单元量化步长因子factor由伸缩比例系数uwi，j和平均量化步长因子factor_ave导出：

在步骤s110中，输入为量化步长因子factor，输出为调整后的量化步长new_qstep。调整后的量化步长new_qstep可由输入的量化步长因子factor和初始量化步长ori_qstep确定：

new_qstep＝factor*ori_qstep

在解码端通过调整qp来调整量化步长qstep，qp调整量deltaqp可由对deltaqp‘上取整或下取整或四舍五入的整数得到，deltaqp‘可由下式获得：

deltaqp‘＝6*log2(factor)

最终图像的每个自适应质量调整单元使用调整后的new_qp进行解码，可由deltaqp和初始qpori_qp得到：

new_qp＝deltaqp+ori_qp

实施例8

一种编码或解码中量化步长因子确定装置。图3所示是该方法的装置图。其中s200-s202是本发明的特点。下面结合图3进行具体的说明。

在步骤s200中，输入为图像的自适应质量调整单元，输出为该自适应质量调整单元质量重要性即伸缩比例系数。首先根据视频格式以及自适应质量调整单元在图像中的坐标位置，确定该自适应质量调整单元伸缩比例系数uwi，j。

在步骤s202中，输入为自适应质量调整单元质量重要性即伸缩比例系数，输出为量化步长因子。自适应质量调整单元量化步长因子factor由伸缩比例系数uwi，j和平均量化步长因子factor_ave导出：

实施例9

一种自适应质量调整编码装置。图4所示是该方法的装置图。其中s302-s306是本发明的特点。下面结合图4进行具体的说明。

在模块s302中，输入为图像的自适应质量调整单元，输出为该自适应质量调整单元质量重要性即伸缩比例系数。首先根据视频格式以及自适应质量调整单元在图像中的坐标位置，确定该自适应质量调整单元伸缩比例系数uwi，j。

在模块s304中，输入为自适应质量调整单元质量重要性即伸缩比例系数和平均量化步长因子factor_ave，输出为量化步长因子。自适应质量调整单元量化步长因子factor由伸缩比例系数uwi，j和平均量化步长因子factor_ave导出：

在模块s306中，输入为量化步长因子factor和初始量化步长ori_qstep，输出为调整后的量化步长new_qstep。调整后的量化步长new_qstep可由输入的量化步长因子factor和初始量化步长ori_qstep确定：

new_qstep＝factor*ori_qstep

最后在编码的量化环节，使用更新后的量化步长new_qstep。

实施例10

一种自适应质量调整编码装置。图4所示是该方法的装置图。其中s302-s306是本发明的特点。下面结合图4进行具体的说明。

在模块s302中，输入为图像的自适应质量调整单元，输出为该自适应质量调整单元质量重要性即伸缩比例系数。首先根据视频格式以及自适应质量调整单元在图像中的坐标位置，确定该自适应质量调整单元伸缩比例系数uwi，j。

在模块s304中，输入为自适应质量调整单元质量重要性即伸缩比例系数平均量化步长因子factor_ave，输出为量化步长因子。自适应质量调整单元量化步长因子factor由伸缩比例系数uwi，j和平均量化步长因子factor_ave导出：

在模块s306中，输入为量化步长因子factor和初始量化步长qri_qstep，输出为调整后的量化步长new_qstep。调整后的量化步长new_qstep可由输入的量化步长因子factor和初始量化步长ori_qstep确定：

new_qstep＝factor*ori_qstep

在编码端通过调整qp来调整量化步长qstep，qp调整量deltaqp可由对deltaqp‘上取整或下取整或四舍五入的整数得到，deltaqp′可由下式获得：

deltaqp‘＝6*log2(factor)

最终图像的每个自适应质量调整单元使用调整后的new_qp进行编码，可由deltaqp和初始qpori_qp得到：

new_qp＝deltaqp+ori_qp

实施例11

在实施例8的基础上，对应的修改lambda。若lambda决策的单元只含有一个自适应质量调整单元，则新的lambda为初始的lambda乘上关于deltaqp的因子：

new_lambda＝ori_lambda*2^deltaqp/3

若lambda决策的单元包含多个自适应质量调整单元，上式的deltaqp是包含的质量调整单元的平均deltaqp，或者是根据包含的质量调整单元大小，加权得到的deltaqp。

其中，deltaqp可由对deltaqp‘上取整或下取整或四舍五入的整数得到，deltaqp‘可由下式获得：

deltaqp‘＝6*log2(factor)

实施例12

在实施例9的基础上，修改对应的lambda，若lambda决策的单元只含有一个自适应质量调整单元，则新的lambda为初始的lambda乘上关于deltaqp的因子：

new_lambda＝ori_lambda*2^deltaqp/3

若lambda决策的单元包含多个自适应质量调整单元，上式的deltaqp是包含的质量调整单元的平均deltaqp，或者是根据包含的质量调整单元大小，加权得到的deltaqp。

实施例13

一种自适应质量调整解码装置。图4所示是该方法的装置图。其中s302-s306是本发明的特点。下面结合图4进行具体的说明。

在模块s302中，输入为某一帧图像的自适应质量调整单元，输出为该自适应质量调整单元质量重要性即伸缩比例系数。首先根据视频格式以及自适应质量调整单元在图像中的坐标位置，确定该自适应质量调整单元伸缩比例系数uwi，j。

在模块s304中，输入为自适应质量调整单元质量重要性即伸缩比例系数和平均量化步长因子factor_ave，输出为量化步长因子。自适应质量调整单元量化步长因子factor由伸缩比例系数uwi，j和平均量化步长因子factor_ave导出：

在模块s306中，输入为量化步长因子factor和初始量化步长ori_qstep，输出为调整后的量化步长new_qstep。调整后的量化步长new_qstep可由输入的量化步长因子factor和初始量化步长qri_qstep确定：

new_qstep＝factor*ori_qstep

最后在解码的量化环节，使用更新后的量化步长new_qstep。

实施例14

一种自适应质量调整解码装置。图4所示是该方法的装置图。其中s302-s306是本发明的特点。下面结合图4进行具体的说明。

在模块s302中，输入为某一帧图像的自适应质量调整单元，输出为该自适应质量调整单元质量重要性即伸缩比例系数。首先根据视频格式以及自适应质量调整单元在图像中的坐标位置，确定该自适应质量调整单元伸缩比例系数uwi，j。

在模块s304中，输入为自适应质量调整单元质量重要性即伸缩比例系数和平均量化步长因子factor_ave，输出为量化步长因子。自适应质量调整单元量化步长因子factor由伸缩比例系数uwi，j和平均量化步长因子factor_ave导出：

在模块s306中，输入为量化步长因子factor和初始量化步长ori_qstep，输出为调整后的量化步长new_qstep。调整后的量化步长new_qstep可由输入的量化步长因子factor和初始量化步长ori_qstep确定：

new_qstep＝factor*ori_qstep

在解码端通过调整qp来调整量化步长qstep，qp调整量deltaqp可由对deltaqp‘上取整或下取整或四舍五入的整数得到，deltaqp‘可由下式获得：

deltaqp‘＝6*log2(factor)

最终图像的每个自适应质量调整单元使用调整后的new_qp进行解码，可由deltaqp和初始qpori_qp得到：

new_qp＝deltaqp+ori_qp

参考文献

[1]y.sun，a.lu，l.yu，“ahg8：ws-psnrfor360videoobjectivequalityevaluation，”jointvideoexplorationteamofitu-tsg16wp3andiso/iecjtc1/sc29/wg11，jvet-d0040，oct.2016，chengdu，china.