基于结构相似度的感知视频编码方法和系统的制作方法
【专利摘要】本发明是一种用于视频编码的系统和方法。所述视频编码系统可以涉及基于结构相似度的相除归一化方法，其中所述当前帧的所述帧预测残差可以转化为一组系数和相除归一化机制可用于归一化每个系数。所述归一化因子可设计以反映或粗略估算结构相似度定义中的正规化因子。相除归一化系数的RDO的拉格朗日参数可由量化步距和系数的先验分布函数。本发明通常可用于改善解码视频的感知质量而不增加数据码率，或者降低压缩视频流的数据码率而不牺牲解码视频的感知质量。本发明显著改善MPEG4/H.264AVC和HEVC编码方案的编码效率。本发明可以用于创建兼容于现有技术和最新的视频编码标准（如MPEG4/H.264AVC和HEVC）的视频代码。本发明还可以用于创建不兼容现有标准的编解码器，从而进一步提高了编码增益。
【专利说明】基于结构相似度的感知视频编码方法和系统
[0001]相关申请的交叉引用
[0002]本申请要求于2011年6月I日提交的专利号为US61/492，081美国分案申请以及于2011年8月15日提交的专利号US61/523，610的美国分案申请的优先权，其全部内容通过引用结合在本申请中。
【技术领域】
[0003]本发明主要涉及视频编码，尤其涉及一种基于结构相似度的视频编码来提高解码后的视频感知质量而不增加数据码率，或者降低压缩视频流的数据码率而不会牺牲解码后的视频的感知质量。
【背景技术】
[0004]在数字图像应用的各个环节，如采集，处理，压缩，存储，传输和再现过程中都会造成各种失真，任何一个过程都可以导致视觉质量的下降。由于图像最终是供用户观看的，量化视觉图像质量最可靠的方法是通过主观评价。然而在实践中，主观评价通常是不太方便，耗时和昂贵的。客观图像质量度量可以自动预测感知图像质量。最简单且最广泛使用的质量度量方法是通过计算失真及参考图像像素的均方差(MSE)和相关峰值信噪比(PSNR)。但是这些方法经过验证都不能很好的匹配感知视觉质量。在过去的十几年中，大量的努力付出在开发先进的质量评估方法。其中的结构相似指数(SSIM)方法在复杂性和质量预测准确性之间取得了一个很好的权衡，已成为被学术研究人员和行业实施者最广泛认可的图像/视频质量测量方法。总而言之，视频编码通常需要在数据码率R和允许的失真值D之间取得一个最好的权衡。现有的视频编码技术使用绝对差之和(SAD)或平方差之和(SSD)作为失真值D的模型，然而这种方法因其较差的感知图像质量的相关性在文献中被广泛批判。其他方法也试图定义基于D的SSIM和优化码率SSIM用于视频编码。
[0005]鉴于此，需要提供一种改进的方案，以解决上述的问题。
【发明内容】
[0006]在一方面，本发明涉及了一种使用结构相似度相除归一化机制的感知视频编码方法来改善视频编码方案，包括MPEG/H.264 AVC标准和高效率视频编码HEVC。
[0007]另一方面，本发明涉及一种使用相除归一化法的感知视频编码方法，包括以下步骤:在当前帧的编码过程中，从一个或多个先前编码的帧的预测中，减掉视频的当前帧，得到一个预测残差；变换所述预测残差形成一系列系数；使用相除归一化机制归一化各个系数；对归一化的系数进行率失真优化，量化和熵编码。
[0008]在另一方面，本发明涉及一种适应于各个变换系数的相除归一化因子的计算，通过利用像素，或变换域，或两者的信息，和至少如下任意一项信息，反映或粗略估计结构相似度指标中的归一化因子:编码的原始当前帧；先前编码的相邻帧在解码后的版本；从先前编码帧预测出来的当前帧；和预测残差。在又一个方面，本发明涉及在相除归一化变换领域的率失真(RDO)优化，其中最优拉格朗日参数由量化步距和变换系数的先验分布确定。
[0009]在又一个方面，本发明涉及一种感知视频编码方法，包括如下步骤:在当前帧的编码过程中，从一个或多个先前编码的帧的预测中，减去视频的当前帧，得到一个预测残差；变换所述预测残差形成一系列系数；使用相除归一化机制归一化各个系数；对归一化的系数进行码率-失真优化，量化和熵编码，还包括如下步骤:利用相除归一化机制，通过确定一个相除归一化因子来归一化各个系数；通过利用像素，或变换域，或两者中都存在的信息，和至少如下任意一项信息，粗略估计结构相似度指标中的归一化因子:编码的原始当前帧；一个或多个所述编码的相邻帧和当前帧解码后的版本；当前帧对于一个或多个先前编码帧的预测残差；和当前帧的预测残差；还包括如下步骤:在当前帧中，通过在相应的一个或多个先前编码帧或当前帧的预测的能量中使用一个比例因子，来确定一个基于当前帧中AC系数估算的能量的相除归一化系数。在一个实施例中，所述方法还包括，通过为每个MB/变换单位(TU)分割基于结构相似度的相除归一化因子，使其在所述整个帧中成为大小相同的小块，计算每个MB/变换单位(TU)的基于结构相似度的相除归一化因子，之后计算每个MB/TU内所有小块相除归一化因子的平均值。
[0010]在另一个实施例中，所述方法还包括为根据所述整个被编码帧的局部基于结构相似度的相除归一化因子的预期值，为每个MB/TU归一化一个局部基于结构相似度的相除归
一化因子。
[0011]在另一个实施例中，所述方法还包括根据所述视频帧的局部内容，调整相除归一化因子，其中所述内容可以由局部复杂性度量计算为局部对比度，局部能量，或局部信号活动。在另一个实施例中，所述方法还包括在空间上使各个TU适应基于结构相似度的相除归一化因子计算，其可以为在空间中可变大小的块。
[0012]在一个实施例中，本发明可以兼容当前和未来的(例如，最先进的MPEG4/H.264AVC标准，以及即将推出的高效视频编码或HEVC编解码器)来显著提高其编码效率。在另一个实施例中，当标准兼容性没有要求时，本发明可以通过修改当前和未来的视频编码标准(例如，最先进的PEG4/H.264 AVC标准，以及即将推出的HEVC编解码器)，使编码效率提高到更高的水平。
[0013]在此方面，在详细说明本发明的至少一个实施例前，应当理解，本发明并不限于应用到如下描述中或其举例中或附图中所示的构造的细节和元件的排列。本发明可以应用到其他实施例并且通过各种形式实行。另外，应当理解本文所采用的措辞和术语是出于描述的目的，而不应被视为限制。
【专利附图】
【附图说明】
[0014]为了更好的理解本发明、更清楚的说明本发明的目的，下面将结合具体实施例对本发明做进一步描述。对本发明的描述参考如下所述的附图，其中:
[0015]图1是本发明实施例中在预测视频编码中相除归一化结构流程的示意图。
[0016]图2是本发明一个实施例中的所述系统的系统示意图。
[0017]图3是本发明实施例中在预测视频解码中相除归一化结构流程的示意图。
[0018]图4是本发明实施例中作为能量补偿因子(纵轴)和量化步距Qs(横轴)的函数之间关系的曲线图。[0019]图5是一个视频帧中针对不同宏块的计算的相除归一化因子的视觉举例图。
[0020]图6是本发明实施例中最优拉格朗日参数λ作为拉普拉斯分布参数Λ和量化Qstep的函数的曲线图。
[0021]图7a是本发明和现有技术中标准测试视频序列NewsOQCIF使用的MPEG4/H.264AVC编码方式的码率-SSIM(结构相似度)的性能比较曲线图。
[0022]图7b是本发明和现有技术中标准测试视频序列Bus@CIY使用的MPEG4/H.264AVC编码方式的码率_SSIM(结构相似度)的性能比较曲线图。
[0023]图7c是本发明和现有技术中标准测试视频序列ParisOCIF使用的MPEG4/H.264AVC编码方式的码率-SSIM(结构相似度)的性能比较曲线图。
[0024]图7d是本发明和现有技术中标准测试视频序列Parkrun@720p使用的MPEG4/H.264 AVC编码方式的码率_SSM(结构相似度)的性能比较曲线图。
[0025]图8a是本发明和现有技术中标准测试视频序列AkiyoOQClF使用的MPEG4/H.264AVC编码方式的码率-SSIM(结构相似度)的性能比较曲线图。
[0026]图8b是MPEG4/H.264 AVC编码方式和本发明中使用的标准测试视频序列TempeteiCIF的码率-SSMw的性能比较曲线图。
[0027]图8c是MPEG4/H.264AVC编码方式和本发明中使用的标准测试视频序列WaterfalliClF的码率-SSMw的性能比较曲线图。
[0028]图8d是MPEG4/H.264AVC编码方式和本发明中使用的标准测试视频序列Nighti720p的码率-SSMw的性能比较曲线图。
[0029]图9是一种可以为本发明实施例实践提供合适运算环境的通用计算机设备。
[0030]在附图中，本发明的实施例通过举例的方式示出。但是应当清楚地理解，说明书和附图仅用于说明的目的，并作为对理解的帮助，并且不旨在作为对本发明的限制的定义。
【具体实施方式】
[0031]如上所述，本发明涉及一种视频编码的系统、方法及计算机程序产品。
[0032]在一方面，本发明的系统和方法使用了一种基于结构相似度(SSIM)的相除归一化机制来改进视频编码方案，其中的例子包括MPEG/H.264AVC标准和高效率的视频编码(HEVC)。在一个基于SSIM的相除归一化方法中，所述当前帧的帧预测残差可以变换成一组系数，并且相除归一化机制可以用于归一化每个系数。归一化因子可设计成反映或粗略估计SSIM定义的归一化因子。用于相除归一化系数的率失真优化(RDO)的拉格朗日参数可以由量化步距和先验分布函数来确定。本发明一般可用于提高解码后的视频感知质量而不增加数据码率，或者降低压缩视频流的数据码率而不会牺牲解码后的视频的感知质量。
[0033]在本发明的一个实施例中，所述视频编码系统可能涉及到一种预测编码方案，其中在对当前帧进行编码过程中，可以通过在一个或多个先前编码的帧的预测中减去当前帧来得到一个预测残差。所述预测残差可以变换形成一系列系数，例如DCT系数。一种相除归一化机制可以用来归一化每个系数。所述归一化系数可以设计成反映或粗略估计在SSIM度量中的归一化因子。为相除归一化系数进行RDO的拉格朗日参数可以由量化步距和/或先验分布函数来确定。量化和熵编码可以应用到归一化系数，以产生压缩的视频流。本发明一般可用于提高解码后的视频感知质量而不增加数据码率，或者降低压缩视频流的数据码率而不会牺牲解码后的视频的感知质量。
[0034]一般情况下，相除归一化是公认的感知和统计动力非线性图像表示模型。其是在人类视觉系统中为实现掩蔽效应的一种有用的帧，是指在一个大的相邻元件中降低图像分量的能见度。它也在为生物感知系统的许多神经元的反应的建模中起了重要作用。现有技术中的视频编码技术没有很好的将SSIM运用到使用相除归一化方法的视频编码帧中。如本文所述，本发明将SSIM运用到了使用相除归一化方法和配套系统的视频编码帧中。
[0035]所述SSIM指数可以通过更好的代表感知图像质量提供好处和优势。一个质量被评估的图像信号可以代表无失真的参考信号和误差信号的总和。现有技术的方法可以客观地量化误差信号的强度。然而，两幅失真的图像可以有相同的误差信号，但是可以有不同类型的随可见性而变化的误差。因此，现有技术的图像质量评估系统有一些明显的限制，因为这些系统是自下而上的复杂办法，其依靠一批笼统的假设和概括。使用SSIM指数可以用自上而下的方法来认识到，人类的视觉系统可以更好的适应于从其视场中提取结构信息。通过一种结构信息变化措施，SS頂指数提供了一种近似感知的图像失真。因此，图像失真的方差可以由SSIM指数识别，而这些图像失真的方差是无法通过现有技术的方法和系统进行识别的。
[0036]可以在任一象素或变换域定义所述SSM措施。在像素域中，两组像素之间的SSM可以是下列一个或多个元件:(i)[两组像素的平均强度值的乘积加上一个常数]与[一个或一组平均强度平方值的总和加上一个常数]的比值；(ii)[两组像素的标准偏差值的乘积加上一个常数]与[基于一个或两组像素方差总和的信号能量加一个常数]的比值；或者(iii)[两组像素强度的互关联加上一个常数]与[两组像素的标准偏差的乘积加上一个常数]的比值。SSIM的标准定义是以下三项的乘积。
【权利要求】
1.一种利用基于结构相似性的相除归一化法的感知视频编码的计算机实施方法，包括:在当前帧的编码过程中，从一个或多个先前编码的帧的预测中减去视频的当前帧，得到一个预测残差；变换所述预测残差形成一系列系数；使用相除归一化机制归一化各个系数；对归一化的系数进行码率-失真优化，量化和熵编码。
2.如权利要求1所述的方法，进一步包括:利用相除归一化机制，通过确定一个相除归一化因子归一化各个系数；利用像素，或变换域，或两者中的信息，和至少如下任意一项信息，粗略估计结构相似度指标中的归一化因子: (i)编码的当前帧； (ii)所述一个或多个先前编码的相邻帧和当前帧解码后的版本； (iii)所述一个或多个先前编码帧的的当前帧的预测残差；和 (iv)所述当前帧的预测残差。
3.如权利要求2所述的方法，进一步包括:在当前帧中，通过在相应的一个或多个先前编码帧或当前帧的预测的能量中使用一个比例因子，确定一个基于当前帧中AC系数估算的能量的相除归一化系数。
4.如权利要求2所述的方法，进一步包括:利用所述相除归一化因子自适应调整量化参数(QP)值以提高编码效率。
5.如权利要求4所述的方法，进一步包括:将所述QP值量化为整数以使所述编码解码器兼容 MPEG4H.264AVC 和 HEVC。
6.如权利要求1所述的方法，进一步包括:对归一化的系数进行码率-失真优化，其中拉格朗日参数由近似模型或者包括一个或多个输入变元的查找表确定，该输入变元包括下面至少一项:量化步距和归一化系数先验分布函数的一个或多个参数。
7.如权利要求1所述的方法，进一步包括:根据所述视频帧的局部内容调整所述相除归一化因子，其中局部内容用作为局部对照，局部能量或者局部信号活动度计算的局部复杂度侧度来表征。
8.如权利要求3所述的方法，进一步包括:空间自适应调整每个转换单元(TU)的所述相除归一化因子，其中，该转换单元可以是在空间上具有可变尺寸的块。
9.如权利要求6所述的方法，进一步包括:在整帧中将所述TU分割成相同尺寸的小块并且求在TU内所有小块的所述相除归一化因子的平均值。
10.如权利要求6所述的方法，进一步包括:根据所述整个被编码帧的局部相除归一化因子的预期值，为每个TU归一化局部相除归一化因子。
11.一种利用基于结构相似度的相除归一化法的感知视频编码计算机实施系统，其中，该系统用于: 在当前帧的编码过程中，从一个或多个先前编码的帧的预测中减去视频的当前帧，得到一个预测残差； 变换所述预测残差形成一系列系数； 使用相除归一化机制归一化各个系数； 对归一化的系数进行码率-失真优化，量化和熵编码。
12.如权利要求1所述的系统，其中，该系统进一步用于:利用相除归一化机制通过确定所述相除归一化机制归一化每个系数；并且，利用像素或转换域或两者的信息粗略估计结构相似度指标中的归一化因子，其中该信息包括下面其中之一: (i)编码的当前帧； (ii)所述一个或多个先前编码的相邻帧和当前帧解码后的版本； (iii)所述一个或多个先前编码帧的的当前帧的预测残差；和 (iv)所述当前帧的预测残差。
13.如权利要求12所述的系统，其中，该系统进一步用于在当前帧中，通过在相应的一个或多个先前编码帧或当前帧的预测的能量中使用一个比例因子，确定一个基于当前帧中AC系数估算的能量的相除归一化系数。
14.如权利要求12所述的系统，其中，该系统进一步用于利用所述相除归一化因子自适应调整量化参数(QP)值以提高编码效率。
15.如权利要求14所述的系统，其中，该系统进一步用于将所述QP值量化为整数以使所述编码解码器兼容MPEG4H.264AVC和HEVC。
16.如权利要求11所述的系统，其中，该系统进一步用于对归一化的系数进行码率-失真优化，其中拉格朗日参数由近似模型或者包括一个或多个输入变元的查找表确定，该输入变元包括下面至少一项:量化步距和归一化系数先验分布函数的一个或多个参数。
17.如权利要求11所述的系统，其中，该系统进一步用于根据所述视频帧的局部内容调整所述相除归一化因子，其中本地内容用作为局部对照，局部能量或者局部信号活动度计算的局部复杂度侧度来表征。
18.如权利要求13所述的系统，其中，该系统进一步用于空间自适应调整每个转换单元(TU)的所述相除归一化因子，其中，该转换单元可以是在空间上具有可变尺寸的块。
19.如权利要求16所述的系统，其中，该系统进一步用于在整帧中将所述TU分割成相同尺寸的小块并且求在TU内所有小块的所述相除归一化因子的平均值。
20.如权利要求16所述的系统，其中，该系统进一步用于根据所述整个被编码帧的局部相除归一化因子的预期值，为每个TU归一化局部相除归一化因子。
21.一种非瞬时性计算机可读介质，存储有计算机编码，其中，当在计算机设备上执行计算机编码时，使得所述 计算机装置执行如权利要求1-10的方法。
【文档编号】H04N19/61GK103918271SQ201280037758
【公开日】2014年7月9日 申请日期:2012年5月29日 优先权日:2011年6月1日
【发明者】王舟, 阿布杜尔·雷曼 申请人:王舟, 阿布杜尔·雷曼