图像的编码、解码方法及装置、以及图像的编解码系统与流程

文档序号:11594791阅读:185来源:国知局
本发明涉及视频图像编解码领域,具体而言,涉及一种图像的编码、解码方法及装置、以及图像的编解码系统。
背景技术
:随着宽带网络和显示技术的不断发展,人们对视频画面的质量有了更高的期望。与普通视频相比,高动态范围(high-dynamicrange,简称为hdr)视频可同时大幅度拓展对比度和色彩,画面中明亮的部分会更加明亮,从而能够更好的反映真实环境,提高视觉体验。相关技术中采用的hdr视频存储格式需要占用许多的存储空间。因此,根据hdr视频的特点设计新的编码方法是hdr视频的关键问题。mpeg标准组织采用了感知量化(perceptualquantizer,简称为pq)对hdr视频进行转换,以适应h.265/hevcmain10profile的编码器。相关技术中基于pq的hdr视频编码方法是对固定且很大的亮度范围进行统一编码,而没有考虑hdr视频的实际亮度范围,因此基于pq的hdr视频编码方法在编码具体的hdr视频时往往无法充分利用量化值(编码比特数固定的情况下),存在量化损失。针对相关技术中的上述问题,目前尚未存在有效的解决方案。技术实现要素:本发明实施例提供了一种图像的编码、解码方法及装置、以及图像的编解码系统,以至少解决相关技术中在编码具体的hdr视频时无法充分利用量化值,以及存在量化损失缺陷的问题。根据本发明的一个方面,提供了一种基于自适应感知量化的视频编码方法,基于编码端;所述基于自适应感知量化的视频编码方法,包括:根据待处理的视频图像,确定量化调整因子;根据所述量化调整因子,对所述待处理的视频图像进行处理,得到视频码流;对所述量化调整因子进行处理,结合所述视频码流得到输入码流;将所述输入码流传送至编/解码器进行编码、解码处理。进一步地,根据待处理的视频图像,确定量化调整因子包括:将所述待处理的视频图像进行色彩空间转换,获取转换后视频图像的亮度分量;提取所述亮度分量中的亮度最大值和亮度最小值;根据所述亮度最大值和所述亮度最小值,确定量化调整因子。进一步地,根据所述最大值和所述最小值,确定量化调整因子,包括:基于公式一,确定量化调整因子ratio,其中,ymax为亮度最大值,ymin亮度最小值。进一步地,根据所述量化调整因子,对所述待处理的视频图像进行处理,得到视频码流,包括:基于公式二,确定自适应编码函数apq_tf(l),其中,其中,系数m1、m2分别为0.1593、78.8438,系数c1、c2和c3分别为0.8359、18.8516和18.6875;提取所述待处理的视频图像的像素值分量;基于所述自适应编码函数apq_tf(l)对所述像素值分量进行校正,得到校正分量;对所述校正分量进行处理,得到视频码流。进一步地,对所述量化调整因子进行处理,结合所述视频码流得到输入码流,包括:对所述量化调整因子进行二值化处理,将处理结构进行编码得到编码码流;将所述编码码流写入到数据单元中,结合所述视频码流,得到带有所述编码码流的输入码流;其中,所述数据单元包括:参数集,或辅助信息单元,或用户自定义数据单元。根据本发明的另一个方面,提供了一种基于自适应感知量化的视频编码方法,基于解码端;所述基于自适应感知量化的高动态范围视频压缩编码方法,包括:解析输入码流,获取量化调整因子和待恢复视频码流;根据所述量化调整因子,对所述待恢复视频码流进行处理,得到最终视频图像。进一步地,解析所述输入码流,获取量化调整因子和待恢复视频码流,包括:解析所述输入码流,从所述输入码流中获取待恢复视频码流和数据单元;从所述数据单元中获取编码码流;对所述编码码流进行处理,获取量化调整因子;其中,所述数据单元包括:参数集,或辅助信息单元,或用户自定义数据单元。进一步地,根据所述量化调整因子,对所述待恢复视频码流进行处理,得到最终视频图像,包括:对所述待恢复视频码流进行处理,得到待恢复视频图像,提取所述待恢复视频图像的像素值分量;根据所述量化调整因子ratio,基于公式三,确定自适应逆编码函数inverseapq_tf,其中,其中,系数m1、m2分别为0.1593、78.8438,c1、c2和c3分别为0.8359、18.8516和18.6875,函数max(x,y)表示取两者之间的最大值;基于所述自适应逆编码函数inverseapq_tf,对所述待恢复视频图像的像素值分量进行校正,得到校正分量;基于所述校正分量,进行重建,得到最终视频图像。根据本发明的另一个方面,提供管理一种基于自适应感知量化的视频编码系统,所述基于自适应感知量化的视频编码系统,包括:第一控制单元,用于执行如上述所述的基于自适应感知量化的视频编码方法;第二控制单元,用于执行如上述的基于自适应感知量化的视频编码方法。根据本发明的再一个方面,提供了一种图像的编码方法,包括:根据视频图像像素采样值确定调整因子;根据所述调整因子对所述视频图像进行变换处理,并对进行变换处理后的视频图像进行编码;将对所述调整因子进行编码得到的编码码流写入进行编码后的视频图像的编码码流中。进一步地,根据视频图像像素采样值确定调整因子包括:将所述视频图像像素采样值转换为像素亮度值;确定所述像素亮度值中的亮度最大值和亮度最小值;根据所述亮度最大值和所述亮度最小值确定所述调整因子。进一步地,根据所述亮度最大值和所述亮度最小值确定所述调整因子包括:计算所述亮度最大值和所述亮度最小值之间的差值;将所述差值的对数值的线性加权值设置为第一调整因子;将所述第一调整因子设置为所述调整因子;或,将所述第一调整因子的倒数值设置为所述调整因子。进一步地,根据所述调整因子对所述视频图像进行变换处理包括:根据所述调整因子对所述视频图像的像素采样值的采样分量进行校正处理;根据进行校正处得到的输出值得到所述采样分量的变换值。进一步地,对所述视频图像的像素采样值的采样分量进行校正处理的方式包括:对所述采样分量进行以所述调整因子或所述调整因子加权值为幂次的映射。进一步地,将对所述调整因子进行编码得到的编码码流写入进行编码后的视频图像的编码码流中包括:对所述调整因子取值进行二值化处理;对进行二值化处理的输出进行编码,并将编码比特写入所述视频图像的编码码流中的数据单元;其中,所述数据单元包括以下至少之一:参数集、辅助信息单元、用户自定义数据单元。进一步地,对所述调整因子取值进行二值化处理的方式至少包括以下之一:将所述调整因子取值转换为二进制表示的数值;将所述调整因子取值转换为一个或多个整数参数的二进制表示的数值。根据本发明的又一个方面,提供了一种图像的编码装置,包括:确定模块,用于根据视频图像像素采样值确定调整因子;编码模块,用于根据所述调整因子对所述视频图像进行变换处理,并对进行变换处理后的视频图像进行编码;写入模块,用于将对所述调整因子进行编码得到的编码码流写入进行编码后的视频图像的编码码流中。进一步地,所述确定模块包括:转换单元,用于将所述视频图像像素采样值转换为像素亮度值;第一确定单元,用于确定所述像素亮度值中的亮度最大值和亮度最小值;第二确定单元,用于根据所述亮度最大值和所述亮度最小值确定所述调整因子。进一步地,所述第二确定单元包括:计算子单元,用于计算所述亮度最大值和所述亮度最小值之间的差值;第一设置子单元,用于将所述差值的对数值的线性加权值设置为第一调整因子;第二设置子单元,用于将所述第一调整因子设置为所述调整因子;或,将所述第一调整因子的倒数值设置为所述调整因子。进一步地,所述编码模块包括:第一校正单元,用于根据所述调整因子对所述视频图像的像素采样值的采样分量进行校正处理;编码单元,用于根据进行校正处得到的输出值得到所述采样分量的变换值。进一步地,所述第一校正单元包括:第一映射子单元,用于对所述采样分量进行以所述调整因子或所述调整因子加权值为幂次的映射。进一步地,所述写入模块包括:二值化单元,用于对所述调整因子取值进行二值化处理;写入单元,用于对进行二值化处理的输出进行编码,并将编码比特写入所述视频图像的编码码流中的数据单元;其中,所述数据单元包括以下至少之一:参数集、辅助信息单元、用户自定义数据单元。进一步地,所述二值化单元至少包括以下之一:第一转换子单元,用于将所述调整因子取值转换为二进制表示的数值;第二转换子单元,用于将所述调整因子取值转换为一个或多个整数参数的二进制表示的数值。根据本发明的再一个方面,提供了一种图像的解码方法,包括:对码流进行解析,获取调整因子;根据所述调整因子,对解码恢复图像进行变换;其中,所述解码恢复图像包括:解码所述码流得到的图像,或解码所述码流得到的图像经过后处理的图像。进一步地,对码流进行解析,并获取解析后码流中的调整因子包括:对所述码流中的数据单元进行解析以获取用于确定所述调整因子的参数;其中,所述数据单元包括以下至少之一:参数集、辅助信息单元、用户自定义数据单元;根据所述参数确定所述调整因子的取值。进一步地,根据所述参数确定所述调整因子的取值包括:将所述参数的取值设置为所述调整因子的取值;或,对所述参数按照预设运算规则进行计算后的输出值设置为所述调整因子的取值。进一步地,根据所述调整因子,对解码恢复图像进行变换包括:根据所述调整因子对所述解码恢复图像的像素采样值的采样分量进行校正处理;根据校正处理得到的输出值计算所述采样分量的变换值。进一步地,对所述解码恢复图像的像素采样值的采样分量进行校正处理的方式包括:对所述采样分量进行以所述调整因子或所述调整因子加权值为幂次的映射。根据本发明的再一个方面,提供了一种图像的解码装置,包括:解码模块,用于对码流进行解析,获取调整因子;变换模块,用于根据所述调整因子,对解码恢复图像进行变换;其中,所述解码恢复图像包括:解码所述码流得到的图像,或解码所述码流得到的图像经过后处理的图像。进一步地,所述解码模块包括:解码单元,用于对所述码流中的数据单元进行解析以获取用于确定所述调整因子的参数;其中,所述数据单元包括以下至少之一:参数集、辅助信息单元、用户自定义数据单元;第三确定单元,用于根据所述参数确定所述调整因子的取值。进一步地,所述第三确定单元包括:第三设置子单元,用于将所述参数的取值设置为所述调整因子的取值;或,第四设置子单元,用于对所述参数按照预设运算规则进行计算后的输出值设置为所述调整因子的取值。进一步地,所述变换模块包括:第二校正单元,用于根据所述调整因子对所述解码恢复图像的像素采样值的采样分量进行校正处理;计算单元,用于根据校正处理得到的输出值计算所述采样分量的变换值。进一步地,所述第二校正单元包括:第二映射子单元,用于对所述采样分量进行以所述调整因子或所述调整因子加权值为幂次的映射。根据本发明的又一个方面,提供了一种图像的编解码系统,其特征在于,包括上述任一项所述的编码装置,和上述任一项所述的图像解码装置。本发明实施例,采用根据待处理的视频图像,确定量化调整因子;根据所述量化调整因子,对所述待处理的视频图像进行处理,得到视频码流;对所述量化调整因子进行处理,结合所述视频码流得到输入码流;将所述输入码流传送至编/解码器进行编码、解码处理,解决了相关技术中在编码具体的hdr视频时无法充分利用量化值,以及存在量化损失缺陷的问题,达到了可以更充分的利用量化值,提高hdr视频编码的准确性,降低量化损失的效果。附图说明此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:图1是根据本发明实施例的基于自适应感知量化的视频图像编解码方法的流程图;图2是根据本发明实施例提供的基于自适应感知量化的视频编码系统的结构示意图;图3是根据本发明实施例的图像的编码方法流程图;图4是根据本发明实施例的图像的编码装置结构示意图;图5是根据本发明实施例的图像的解码方法的流程图;图6是根据本发明实施例的图像的解码装置的结构示意图;图7(a)是本发明提供的使用hdranchor对market3进行编码得到的重建帧;图7(b)是本发明提供的使用hdranchor对market3进行编码得到的重建帧的局部放大图;图7(c)是本发明提供的一种基于自适应感知量化的视频编码方法对market3进行编码得到的重建帧;图7(d)是本发明提供的一种基于自适应感知量化的视频编码方法对market3进行编码得到的重建帧的局部放大图;图8(a)是本发明提供的使用hdranchor对balloon进行编码得到的重建帧;图8(b)是本发明提供的使用hdranchor对balloon进行编码得到的重建帧的局部放大图一;图8(c)是本发明提供的使用hdranchor对balloon进行编码得到的重建帧的局部放大图二;图8(d)是本发明提供的一种基于自适应感知量化的视频编码方法对balloon进行编码得到的重建帧;图8(e)是本发明提供的一种基于自适应感知量化的视频编码方法对balloon进行编码得到的重建帧的局部放大图一;图8(f)是本发明提供的一种基于自适应感知量化的视频编码方法对balloon进行编码得到的重建帧的局部放大图二。具体实施方式下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。实施例一本发明提供了一种基于自适应感知量化的视频编码方法,图1是根据本发明实施例的基于自适应感知量化的视频图像编解码方法的流程图,如图1所示,该编解码方法分为编码和解码两部分,以下分别进行描述。在编码端,该基于自适应感知量化的高动态范围视频压缩编码方法,包括:步骤s11、根据待处理的视频图像,确定量化调整因子。步骤s12、根据所述量化调整因子,对所述待处理的视频图像进行处理,得到视频码流。步骤s13、对所述量化调整因子进行处理,结合所述视频码流得到输入码流。步骤s14、将所述输入码流传送至编/解码器进行编码、解码处理。基于上述步骤s11至s14,在本发明的实施中,首先获取量化调整因子,接着根据量化调整因子对待处理的视频进行处理,得到处理后的视频码流。另外,对量化调整因子进行处理,将处理结果结合视频码流得到输入码流,通过上述于自适应感知量化的视频编码方法,可见,在本实施例中对视频的处理使用了自适应的调整方式,而自适应的调整量化区间的大小能够由计算得到的量化调整因子调整,而量化调整因子与待处理图像相关,因此,在编码比特数固定的情况下,可以更充分的利用量化值,提高hdr视频编码的准确性,降低量化损失,从而解决了相关技术中在编码具体的hdr视频时往往无法充分利用量化值,并且存在量化损失的缺陷的问题,在本发明的实施例中,以16bithdr视频为例,对本发明中提出的方法进行说明。本发明提出了一种基于自适应感知量化的视频编码方法,包括根据待处理的视频图像,确定量化调整因子,根据所述量化调整因子,对所述待处理的视频图像进行处理,得到视频码流,对所述量化调整因子进行处理,结合所述视频码流得到输入码流。通过使用感知驱动方法对hdr视频进行编码,不仅能够对人眼可见的亮度范围进行编码,而且有效的减少了编码需要的比特数,并且根据输入hdr视频的亮度范围自适应的调整量化区间的大小,在编码比特数固定的情况下,可以更充分的利用量化值,提高hdr视频编码的准确性,降低量化损失。可选的,根据待处理的视频图像,确定量化调整因子,包括:将所述待处理的视频图像进行色彩空间转换,获取转换后视频图像的亮度分量;提取所述亮度分量中的亮度最大值和亮度最小值;根据所述亮度最大值和所述亮度最小值,确定量化调整因子。在实施中,步骤s11的实现方式可以包括:步骤s101、将所述待处理的视频图像进行色彩空间转换,获取转换后视频图像的亮度分量。步骤s102、提取所述亮度分量中的亮度最大值和亮度最小值。步骤s103、根据所述亮度最大值和所述亮度最小值,确定量化调整因子。在本发明实施例中,为了获取量化调整因子,首先,将待处理的视频图像进行色彩空间转换,即从rgb色彩空间转换至ycbcr色彩空间,并在转换后,提取视频图像中每个像素的亮度分量即y分量。可选地的,转换及提取公式为:y=0.262700*r+0.678000*g+0.059300*b,其中,r为所述待处理的高动态范围视频中单个像素红色分量的数值,g为所述待处理的高动态范围视频中单个像素绿色分量的数值,b为所述待处理的高动态范围视频中单个像素蓝色分量的数值。接着,在获取到视频图像中每个像素的亮度分量后,提取其中的亮度最大值和亮度最小值。最后,基于获取到的亮度最大值和亮度最小值,确定与每个像素对应的量化调整因子,具体的确定过程如下。可选的,根据所述最大值和所述最小值,确定量化调整因子,包括:基于公式一,确定量化调整因子ratio,其中,ymax为亮度最大值,ymin亮度最小值。在实施中,确定与每个像素对应的量化调整因子,具体的确定过程如公式一所示。值得注意的是,量化调整因子ratio的表达式还可以为:之所以设置为上述形式,是考虑到在计算机中进行浮点运算处理时,通过两个分式相加的形式,可以提高数据处理精度。可选的,根据所述量化调整因子,对所述待处理的视频图像进行处理,得到视频码流,包括:基于公式二,确定自适应编码函数apq_tf(l),其中,其中,系数m1、m2分别为0.1593、78.8438,系数c1、c2和c3分别为0.8359、18.8516和18.6875;提取所述待处理的视频图像的像素值分量;基于所述自适应编码函数apq_tf(l)对所述像素值分量进行校正,得到校正分量;对所述校正分量进行处理,得到视频码流。在实施中,在获取到量化调整因子后,得到视频码流的方式即步骤s12可以通过如下方式来实现:步骤s201、基于公式二,确定自适应编码函数apq_tf(l),其中,其中,系数m1、m2分别为0.1593、78.8438,系数c1、c2和c3分别为0.8359、18.8516和18.6875。步骤s202、提取所述待处理的视频图像的像素值分量。这里提取的像素值分量,即待处理的视频图像中每个像素在rgb色彩空间中三个通道的分量。步骤s203、基于所述自适应编码函数apq_tf(l)对所述像素值分量进行校正,得到校正分量。基于步骤s201中构建的自适应编码函数apq_tf(l),对待处理的视频图像中每个像素值在rgb色彩空间中三个通道的分量进行校正,处理具体参照的公式如下:其中,r为待处理的视频图像中单个像素红色分量的数值,g为待处理的视频图像中单个像素绿色分量的数值,b为待处理的视频图像中单个像素蓝色分量的数值,r'为校正后待处理的视频图像中单个像素红色分量的数值,g'为校正后待处理的视频图像中单个像素绿色分量的数值,b'为校正后待处理的视频图像中单个像素蓝色分量的数值,函数max(x,y)表示取两者之间的最大值,min(x,y)表示取两者之间的最小值。基于上述公式进行校正后,得到与待处理的视频中每个像素对应的新的分量数值。步骤s204、对所述校正分量进行处理,得到视频码流。基于步骤s203校正后得到的结果,得到视频码流的处理包含如下步骤:(1)颜色空间变换:从r'g'b'到y'cbcr。其中,从r'g'b'色彩空间向y'cbcr色彩空间进行转换时使用的转换矩阵。根据上述转换矩阵t为:(2)将颜色变换后的视频量化到10比特范围。具体需要执行以下步骤:首先,提取色彩空间变换后的视频中y’分量的比特深度bitdepthy,提取所述变换后的视频中cb分量和cr分量bitdepthc。在具体实施方式中,由于需要将待处理的高动态范围视频的量化范围从16比特转换为10比特,因此,这里的bitdepthy和bitdepthc均取目标值10。其次,根据公式五获取量化后视频中与y’分量对应的量化值dy',以及与cb分量对应的量化值dcb,与cr对应的量化值dcr,其中,round(x)=sign(x)*floor(abs(x)+0.5)。为了完成以上中的计算步骤,第一,根据以及floor(x)取小于或等于x的最大整数的条件确定函数round(x)的表达式。第二,根据以上公式的表达式,分别确定与y’分量对应的量化值dy',以及与cb分量对应的量化值dcb,与cr对应的量化值dcr的数值,其中的<<表示左移运算符。这一过程是由标准的测试框架决定的。解码器输出的视频每个像素是10比特的整数,而最终重构的视频要求每个像素点的比特数是16比特,因此需要进行反量化处理。(3)通过下采样的处理使得视频格式从4:4:4变换到4:2:0。该部分的内容在现有技术中存在类似方案,因此不再对其进行赘述。可选的,对所述量化调整因子进行处理,结合所述视频码流得到输入码流,包括:对所述量化调整因子进行二值化处理,将处理结构进行编码得到编码码流;将所述编码码流写入到数据单元中,结合所述视频码流,得到带有所述编码码流的输入码流;其中,所述数据单元包括参数集,或辅助信息单元,或用户自定义数据单元。在实施中,步骤s13具体的处理方式可以包括:s301、对所述量化调整因子进行二值化处理,将处理结构进行编码得到编码码流。这里的二值化处理,可以为将量化调整因子的取值直接转换为二进制表示的数值,或者基于数据处理精度较高的需求,将量化调整因子取值转换为一个或多个整数参数的二进制表示的数值。详情可以参考前文中对公式一的相关解释。s302、将所述编码码流写入到数据单元中,结合所述视频码流,得到带有所述编码码流的输入码流。这里的数据单元包括参数集,或辅助信息单元,或用户自定义数据单元。本步骤之所以进行如s301至s302所示的处理过程,是考虑到为了能够将视频码流能够准确的进行编码处理,特增加了对视频码流的描述参数这一变量,变量中包含有视频码流的具体参数。在现有的视频编码协议中,相关的描述参数可以存储在参数集、辅助信息单元、用户自定义数据单元这三者中的任何一个中,在进行实际编码时,可以根据开发者的具体情况,在三者中选取一个进行使用。在步骤s302执行完毕后,得到包含视频码流和编码码流的输入码流。输入码流输入至hevcmain10编/解码器中,进行后续编码和解码处理。对应的,基于解码端,所述基于自适应感知量化的高动态范围视频压缩编码方法,包括:步骤s21、从编/解码器中获取输出码流,解析所述输出码流,获取量化调整因子和待恢复视频码流。步骤s22、根据所述量化调整因子,对所述待恢复视频码流进行处理,得到最终视频图像。在实施中,编/解码器对输入码流进行编码和解码,得到输出码流。在解码端,对输出码流进行解析,根据解析出的内容进行处理,并获取到能够降低量化损失的最终视频图像。可选的,解析所述输入码流,获取量化调整因子和待恢复视频码流,包括:解析所述输入码流,从所述输入码流中获取待恢复视频码流和数据单元;从所述数据单元中获取编码码流;对所述编码码流进行处理,获取量化调整因子;其中,所述数据单元包括参数集,或辅助信息单元,或用户自定义数据单元。在本发明实施例中,步骤s21中的方式可以通过如下方式来实现:s401、解析所述输入码流,从所述输入码流中获取待恢复视频码流和数据单元。解析得到的待恢复视频码流用于后续步骤中处理,得到最终视频图像。s402、从所述数据单元中获取编码码流。在步骤s302中提到对视频码流的描述参数的变量存储在参数集、辅助信息单元、用户自定义数据单元这三者中的任何一个中,因此,本步骤从上述三者中提取先前存储的编码码流。s403、对所述编码码流进行处理,获取量化调整因子。为了得到量化调整因子,可以将编码码流中的参数取值设置为量化调整因子,或者将编码码流中的参数按照设定运算规则进行计算后的输出值作为量化调整因子。在获取到量化调整因子后,在后续步骤中基于量化调整因子对待恢复视频码流进行处理。可选的,根据所述量化调整因子,对所述待恢复视频码流进行处理,得到最终视频图像,包括:对所述待恢复视频码流进行处理,得到待恢复视频图像,提取所述待恢复视频图像的像素值分量;根据所述量化调整因子ratio,基于公式三,确定自适应逆编码函数inverseapq_tf,其中,其中,系数m1、m2分别为0.1593、78.8438,c1、c2和c3分别为0.8359、18.8516和18.6875,函数max(x,y)表示取两者之间的最大值;基于所述自适应逆编码函数inverseapq_tf,对所述待恢复视频图像的像素值分量进行校正,得到校正分量;基于所述校正分量,进行重建,得到最终视频图像。在实施中,即步骤s22的实现方式可以包括:s501、对所述待恢复视频码流进行处理,得到待恢复视频图像,提取所述待恢复视频图像的像素值分量。本步骤获取待恢复视频图像的过程包含如下步骤:(1)通过上采样的处理使得视频格式从4:2:0变换到4:4:4。这里其实是上述步骤s204中(3)的逆向处理过程,相同的是,该部分的内容在现有技术中存在类似方案,因此不再对其进行赘述。(2)将色度上采样后的视频反量化。首先提取上采样处理后的视频中y’分量的比特深度bitdepthy,提取所述逆变换后的视频中cb分量和cr分量bitdepthc,同时获取逆变换后的视频中与y’分量对应的量化值dy',以及与cb分量对应的量化值dcb,与cr对应的量化值dcr;根据下边的公式将上采样处理后的视频反量化到原始比特范围,得到由分量y'、cb和cr构成的反量化后的视频其中,函数函数clip3的具体表达式为经过本步骤处理后,既可以将前一步进行上采样处理后的视频从10比特范围转换为原始的16比特范围,以便于后续步骤的继续处理。这一过程是由标准的测试框架决定的。解码器输出的视频每个像素是10比特的整数,而最终重构的视频要求每个像素点的比特数是16比特,因此需要进行反量化处理。(3)颜色空间反变换:从y'cbcr到r'g'b'。此时在进行完(2)的处理过程后得到反量化后的视频,还需要将反量化后的视频的色彩空间进行反变换,即从y'cbcr色彩空间转换至原始的r'g'b'色彩空间。具体反变换依据的公式为根据上述公式对反量化后的视频进行色彩空间反变换,其中的cliprgb(x)=clip3(0,1,x)。这里之所以需要进行色彩空间反变换,是由标准的测试框架决定的。解码器输出的视频是ycbcr格式,而最终得到的视频要求是rgb格式。s502、根据所述量化调整因子ratio,基于公式三,确定自适应逆编码函数inverseapq_tf,其中,其中,系数m1、m2分别为0.1593、78.8438,c1、c2和c3分别为0.8359、18.8516和18.6875,函数max(x,y)表示取两者之间的最大值。s503、基于所述自适应逆编码函数inverseapq_tf,对所述待恢复视频图像的像素值分量进行校正,得到校正分量。根据所述自适应的逆编码函数inverseapq_tf,对待恢复视频图像的像素值分量进行校正,校正过程依据的公式为:其中,r'为反变换后的视频中单个像素红色分量的数值,g'为反变换后的视频中单个像素绿色分量的数值,b'为反变换后的视频中单个像素蓝色分量的数值,r为校正后的视频中单个像素红色分量的数值,g为校正后的视频中单个像素绿色分量的数值,b为校正后的视频中单个像素蓝色分量的数值。校正后,得到与待恢复视频图像中每个像素对应的r、g、b三个通道对应的分量数值。s504、基于所述校正分量,进行重建,得到最终视频图像。基于步骤s503处理后得到的与待恢复视频图像中每个像素对应的r、g、b三个通道对应的分量数值,进行图像重建,得到最终的视频图像。整个处理过程中,在根据输入待处理视频亮度的最大和最小值,计算得到量化调整因子。根据量化调整因子,得到自适应的编码变换函数,对输入的待处理视频进行转换。将量化调整因子写入视频图像的编码码流。对经过自适应编码变换函数转换的视频做预处理,转换为hevcmain10支持的格式。使用hevcmain10,对预处理后的视频进行编码和解码。对解码后的视频做后处理。解析码流,获得量化调整因子。根据量化调整因子,得到自适应的逆编码变换函数,对经过后处理的视频进行转换,得到重建的hdr视频。通过使用基于hvs的感知驱动方法对hdr视频进行编码。不仅能够对人眼可见的亮度范围进行编码,而且有效的减少了编码需要的比特数。还根据输入hdr视频的亮度范围自适应的调整量化区间的大小,在编码比特数固定的情况下,可以更充分的利用量化值,提高hdr视频编码的准确性。在处理过程中对人眼不敏感的区域分配较少的比特,对人眼敏感的区域分配较多的比特,从而在编码比特数固定的情况下得到满意的结果。量化调整因子的计算与输入hdr视频的亮度有关。原来的方法(即pq)是把亮度范围取为一个固定值,所提的方法是根据视频计算亮度范围。亮度范围越大对应的失真越大,越小对应的失真越小(在相同比特数情况下),因此所提方法的失真小于原来的方法。详细的结果验证请参考后文中的仿真实验结果。本发明提出了一种基于自适应感知量化的视频编码方法,包括根据待处理的视频图像,确定量化调整因子,根据所述量化调整因子,对所述待处理的视频图像进行处理,得到视频码流,对所述量化调整因子进行处理,结合所述视频码流得到输入码流。通过使用感知驱动方法对hdr视频进行编码,不仅能够对人眼可见的亮度范围进行编码,而且有效的减少了编码需要的比特数,并且根据输入hdr视频的亮度范围自适应的调整量化区间的大小,在编码比特数固定的情况下,可以更充分的利用量化值,提高hdr视频编码的准确性,降低量化损失。实施例二一种基于自适应感知量化的视频编码系统,图2是根据本发明实施例提供的基于自适应感知量化的视频编码系统的结构示意图,图2所示,所述基于自适应感知量化的视频编码系统,包括:第一控制单元31,用于执行上述基于自适应感知量化的视频编码方法中的编码方法;第二控制单元32,用于执行上述基于自适应感知量化的视频编码方法中的解码方法。本发明提出了一种基于自适应感知量化的视频编码系统,包括根据待处理的视频图像,确定量化调整因子,根据所述量化调整因子,对所述待处理的视频图像进行处理,得到视频码流,对所述量化调整因子进行处理,结合所述视频码流得到输入码流。通过使用感知驱动方法对hdr视频进行编码,不仅能够对人眼可见的亮度范围进行编码,而且有效的减少了编码需要的比特数,并且根据输入hdr视频的亮度范围自适应的调整量化区间的大小,在编码比特数固定的情况下,可以更充分的利用量化值,提高hdr视频编码的准确性,降低量化损失。对应于上述实施例一和实施例二,本发明实施例还提供了一种图像的编码方法和图像的解码方法;实施例三本发明实施例提供了一种图像的编码方法对应于实施例一,图3是根据本发明实施例的图像的编码方法流程图,如图3所示,该方法的步骤包括:步骤s302:根据视频图像像素采样值确定调整因子;步骤s304:根据调整因子对视频图像进行变换处理,并对进行变换处理后的视频图像进行编码;步骤s306:将对调整因子进行编码得到的编码码流写入进行编码后的视频图像的编码码流中。可选地,对于上述步骤s302中根据视频图像像素采样值确定调整因子的方式,可以通过如下方式来实现:步骤s302-1:将视频图像像素采样值转换为像素亮度值;步骤s302-2:确定像素亮度值中的亮度最大值和亮度最小值;步骤s302-3:根据亮度最大值和亮度最小值确定调整因子。可选地,对于上述步骤s302-3中根据亮度最大值和亮度最小值确定调整因子的方式,可以包括:s302-31:计算亮度最大值和亮度最小值之间的差值;s302-32:将差值的对数值的线性加权值设置为第一调整因子;s302-33:将第一调整因子设置为调整因子;或,将第一调整因子的倒数值设置为调整因子。可选地,对于本发明实施例中步骤s304根据调整因子对视频图像进行变换处理的方式,可以包括:步骤s304-1:根据调整因子对视频图像的像素采样值的采样分量进行校正处理;步骤s304-2:根据进行校正处得到的输出值得到采样分量的变换值。需要说明的是,上述对视频图像的像素采样值的采样分量进行校正处理的方式包括:对采样分量进行以调整因子或调整因子加权值为幂次的映射。可选地,在本实施例的步骤s306中将对调整因子进行编码得到的编码码流写入进行编码后的视频图像的编码码流中的方式,可以包括:步骤s306-1:对调整因子取值进行二值化处理;步骤s306-2:对进行二值化处理的输出进行编码,并将编码比特写入视频图像的编码码流中的数据单元;其中,数据单元包括以下至少之一:参数集、辅助信息单元、用户自定义数据单元。可选地,上述对调整因子取值进行二值化处理的方式至少包括以下之一:将调整因子取值转换为二进制表示的数值;将调整因子取值转换为一个或多个整数参数的二进制表示的数值。基于上述图像的编码方法,本实施例提供了一种图像的编码装置,图4是根据本发明实施例的图像的编码装置结构示意图,如图4所示,该装置包括:确定模块42,用于根据视频图像像素采样值确定调整因子;编码模块44,与确定模块42耦合链接,用于根据调整因子对视频图像进行变换处理,并对进行变换处理后的视频图像进行编码;写入模块46,与编码模块44耦合链接,用于将对调整因子进行编码得到的编码码流写入进行编码后的视频图像的编码码流中。可选地,确定模块包括:转换单元,用于将视频图像像素采样值转换为像素亮度值;第一确定单元,与转换单元耦合链接,用于确定像素亮度值中的亮度最大值和亮度最小值;第二确定单元,与第一确定单元耦合链接,用于根据亮度最大值和亮度最小值确定调整因子。可选地,第二确定单元包括:计算子单元,用于计算亮度最大值和亮度最小值之间的差值;第一设置子单元,与计算子单元耦合链接,用于将差值的对数值的线性加权值设置为第一调整因子;第二设置子单元,与第一设置子单元耦合链接,用于将第一调整因子设置为调整因子;或,将第一调整因子的倒数值设置为调整因子。可选地,该编码模块44包括:第一校正单元,用于根据调整因子对视频图像的像素采样值的采样分量进行校正处理;编码单元,与第一校正单元耦合链接,用于根据进行校正处得到的输出值得到采样分量的变换值。其中,第一校正单元包括:第一映射子单元,用于对采样分量进行以调整因子或调整因子加权值为幂次的映射。可选地,该写入模块46包括:二值化单元,用于对调整因子取值进行二值化处理;写入单元,与二值化单元耦合链接,用于对进行二值化处理的输出进行编码,并将编码比特写入视频图像的编码码流中的数据单元;其中,数据单元包括以下至少之一:参数集、辅助信息单元、用户自定义数据单元。可选地,二值化单元至少包括以下之一:第一转换子单元,用于将调整因子取值转换为二进制表示的数值;第二转换子单元,用于将调整因子取值转换为一个或多个整数参数的二进制表示的数值。实施例四对应于上述实施例二,本发明实施例还提供了一种图像的解码方法,图5是根据本发明实施例的图像的解码方法的流程图,如图5所示,该方法的步骤包括:步骤s502:对码流进行解析,获取调整因子;步骤s504:根据调整因子,对解码恢复图像进行变换;其中,解码恢复图像包括:解码码流得到的图像,或解码码流得到的图像经过后处理的图像。可选地,本发明实施例中,步骤s502对码流进行解析,并获取解析后码流中的调整因子包括:步骤s502-1:对码流中的数据单元进行解析以获取用于确定调整因子的参数;其中,数据单元包括以下至少之一:参数集、辅助信息单元、用户自定义数据单元;步骤s502-2:根据参数确定调整因子的取值。其中,根据参数确定调整因子的取值包括:将参数的取值设置为调整因子的取值;或,对参数按照预设运算规则进行计算后的输出值设置为调整因子的取值。可选地,上述步骤s504中根据调整因子,对解码恢复图像进行变换的方式可以包括:步骤s504-1:根据调整因子对解码恢复图像的像素采样值的采样分量进行校正处理;步骤s504-2:根据校正处理得到的输出值计算采样分量的变换值。其中,对解码恢复图像的像素采样值的采样分量进行校正处理的方式包括:对采样分量进行以调整因子或调整因子加权值为幂次的映射。基于上述图像的解码方法还提供了一种图像的解码装置,图6是根据本发明实施例的图像的解码装置的结构示意图,如图6所示,该装置包括:解码模块62,用于对码流进行解析,获取调整因子;变换模块64,与解码模块62耦合链接,用于根据调整因子,对解码恢复图像进行变换;其中,解码恢复图像包括:解码码流得到的图像,或解码码流得到的图像经过后处理的图像。可选地,该解码模块62包括:解码单元,用于对码流中的数据单元进行解析以获取用于确定调整因子的参数;其中,数据单元包括以下至少之一:参数集、辅助信息单元、用户自定义数据单元;第三确定单元,用于根据参数确定调整因子的取值。可选地,第三确定单元包括:第三设置子单元,用于将参数的取值设置为调整因子的取值;或,第四设置子单元,用于对参数按照预设运算规则进行计算后的输出值设置为调整因子的取值。可选地,该变换模块64包括:第二校正单元,用于根据调整因子对解码恢复图像的像素采样值的采样分量进行校正处理;计算单元,与第二校正单元耦合链接,用于根据校正处理得到的输出值计算采样分量的变换值。可选地,第二校正单元包括:第二映射子单元,用于对采样分量进行以调整因子或调整因子加权值为幂次的映射。实施例五基于上述实施例三和四,本实施例还提供了一种图像的编解码系统,该系统包括上述实施例三中的编码装置,和上述实施例四中的图像解码装置。本发明实施例的效果可以通过以下仿真实验进一步说明:1.仿真条件:在cpu为intel(r)coretmi3核处理器m350:主频2.27ghz,内存2g,操作系统:windows7,仿真平台:hevcmain10参考软件hm16.6。仿真选择2个4:4:4格式的16比特hdr视频测试序列(market3和balloon),分辨率是1920×1080,采用主流画质(main10profile)编码。hm16.6量化参数qp的值分别设置为21,25,29,33,编码帧数为50帧,gop结构为i帧+49p帧。2.仿真内容:仿真实验中,利用本发明方法与现有的hdr视频压缩编码系统分别在2个视频序列上进行性能测试。仿真1,利用hdranchor和本发明方法对market3视频序列进行编码。表1和表2分别给出了编码market3序列时hdranchor和本发明方法的tpsnr和psnr_de。表1hdranchor编码结果(market3序列)表2本发明方法编码结果(market3序列)tpsnr值表明了重构视频与原视频之间的差异性,tpsnr越大说明重构视频的质量越好。psnr_de值表明重构视频与原始视频之间颜色的差异性,psnr_de越大说明重构视频的颜色保持的越好。通过表1和表2可以看出,本发明方法重构的视频质量优于hdranchor,且能更好的保持颜色。仿真2,利用hdranchor和本发明方法对balloon视频序列进行编码。表3和表4分别给出了编码balloon序列时hdranchor和本发明方法的tpsnr和psnr_de。表3hdranchor编码结果(balloon序列)qptpsnr_xtpsnr_ytpsnr_ztpsnr_xyzpsnr_de3336.04837.59133.15435.19832.7232938.37440.22135.09437.36833.7342540.97743.07337.35139.81334.9932143.59646.05639.52342.21636.045表4本发明方法编码结果(balloon序列)qptpsnr_xtpsnr_ytpsnr_ztpsnr_xyzpsnr_de3336.17037.70333.19735.27632.8422938.52140.34635.16937.47133.7312541.14843.19337.40239.90535.1662143.73346.16239.58942.30536.168通过表3和表4同样可以看出,本发明方法重构的视频质量优于hdranchor,且能更好的保持颜色(qp=29时psnr_de稍有下降,但下降很小)。仿真3,在qp=29情况下,利用hdranchor和本发明方法对测试序列market3进行编码,得到测试视频第2帧的重建帧图像如图7(a)~(d)所示,其中:图7(a)为hdranchor处理得到的重建帧;图7(b)为图7(a)的局部放大图;图7(c)为使用本发明方法处理得到的重建帧;图7(d)为图7(c)的局部放大图。由图7(a)~(d)对比可见,本发明方法得到的重建帧图像视觉感知质量优于hdranchor,不仅保留了原始帧图像中更多的结构信息和细节信息,减少了模糊(图5(d)蓝框),而且能够更好的保持原始帧图像的颜色(图5(d)红框)。仿真4,在qp=29情况下,利用hdranchor和本发明方法对测试序列balloon进行编码,得到测试视频第8帧的重建帧图像如图8(a)~(f)所示,其中:图8(a)为hdranchor处理得到的重建帧;图8(b)和(c)为图8(a)在不同区域的局部放大图;图8(d)为使用本发明方法处理得到的重建帧;图8(e)和(f)为图8(d)在不同区域的局部放大图。对比图8(b)和(e)可得本发明方法能够更好的保持原始帧图像的颜色。对比图8(c)和(f)可得本发明方法所得的重建帧图像具有更加清晰的结构和细节。因此,本发明方法得到的重建帧图像视觉感知质量优于hdranchor。仿真实验结果表明,本发明使用自适应的感知驱动方法对hdr视频进行编码,对人眼不敏感的区域分配较少的比特,对人眼敏感的区域分配较多的比特,不仅能够对人眼可见的亮度范围进行编码,而且有效的减少了编码需要的比特数。同时根据输入hdr视频的亮度范围自适应的调整量化区间的大小,可以更充分的利用量化值,提高hdr视频编码的准确性。可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。当前第1页12
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1