用于具有增强动态范围的超高清视频信号的向后兼容编码的制作方法_4

文档序号:8909507阅读:来源:国知局

[0079] 算法3-一对于三个亮度子范围(N = 3)的阈值确定
end
[0081] 通过算法2和3计算的阈值可以在编码器(100)和解码器(200)两者中都应用于 算法1。在实施例中,可以使用元数据将所计算的阈值从编码器(100)发送到解码器(200)。
[0082] 如前所述,去隔行器(350)和(460)可以组合去隔行和上采样功能两者。图像处 理领域中的技术人员将意识到,本文中所讨论的用于上采样器(150)和(126)的改进设计 的亮度范围驱动的方法也可以应用于去隔行器(350)和(460)中的上采样器的设计中。
[0083] 自适应残差处理
[0084] 如图1和图3中所描绘的,在增强层(EL)中,在用EL编码器(160)压缩残差信号 (167)以产生EL流(162)之前,可以用非线性量化器(NL? (155)对残差信号(167)进行 处理。不失一般性,图5描绘了根据本发明的实施例的关于NLQ(155)的示例输入-输出关 系。
[0085] 如图5中所描绘的,设(-X_,X_)表示感兴趣的帧或帧区域中将被编码的残差像 素x(167)的像素值的范围。设Level表示量化器的每侧的可用码字的数量(例如,对于 x彡0, Level = 128),那么,给定正阈值T,设
[0086]
[0087] 那么,给定输入残差X,在将x裁剪在范围(_Xmax,Xmax)内之后,图5的量化运算可 以被表达为:
[0088]
[0089] 其中,Q (x)表示量化的输出,SL表示
Q (x)在(T,Xmax)内的斜率,M表示偏移值,该 偏移值表示当残差x = 0时的输出码字。阈值T是相对小的值,并且在一些实施例中,T = 0〇
[0090] 参数T、M、Xma!^P SL可以分别针对残差信号x的每个颜色分量定义,并且可以使用 元数据传送到接收器。在一些实施例中,NLQ量化参数中的一个或多个还可以针对整个帧、 帧的一个或多个分区或子区域、或者一组帧(例如,场景)定义。
[0091] 给定这样的量化器,在接收器(例如,(200))上,去量化处理(例如,NLDQ(220)) 可以被表达为:

[0095] Remp表示接收的(解码的)残差(或RL信号(212)),表示去量化的输出(222), 该输出也可以被限定在例如范0,
[0096] 实验结果表明,与NLQ (155)的参数的自适应设置相组合的残差数据(167)的适当 的预处理可以得到EL流的更高效的编码,从而导致编码伪像减小并且总体图像质量更好。 在该部分中,接着描述三种残差预处理算法。
[0097] 使用标准差度量的残差预量化
[0098] 残差信号(167)的不适当的量化和编码,尤其是当以相对较低的位率(例如, 0. 5Mbits/s)对EL流进行编码时,可能在解码的信号(232)中导致块状伪像。在实施例中, 可以通过自适应地预量化被感知为位于相对"平滑"区域中的某些残差值来减小这些伪像。 图6A中描绘了根据本发明的实施例的这样的处理的例子,其中,在不作为限制的情况下, 测量围绕每个残差像素的矩形像素区域的平滑度是基于计算该区域中的像素的标准差的。
[0099] 设rfi表示第f帧的第i残差像素。设该像素在被表示为n fi的W。XW。像素区域 (例如,1。= 15)的中心处。那么,在步骤(602)中,该像素的标准差〇 fi可以被确定为:
[0100]
[0101] 其中
[0102]
[0103] 给定阈值T。,在步骤(606)中,如果〇fi〈T。,则可以将残差像素rfi设置为预定值 (例如,零)。阈值T。可以是固定的,或者在优选实施例中,可以根据残差帧特性和总体位 率要求自适应地确定。例如,设P f表示第f帧中的像素的总数。设〇 fi表示在步骤(602) 中计算的标准差值。在步骤(604)中,可以如下确定T。:
[0104] (a)按降序对〇 fi进行排序以产生排序的&的列表;
[0105] (b)然后,T。是泛..排序列表中的1^村\值,其中,k被定义在范围0.0至1.0内。例 如,对于k = 0. 25,给定1920 X 1080帧,T。对应于排序列表中的第518, 400标准差值的值。
[0106] 计算平滑度的替代方法还可以包括计算IXW。像素的均值或方差,或者计算基 于每个像素周围的区域的边缘图的度量,或者使用本领域中已知的任何其它的平滑度检测 和确定算法。
[0107] 残差尾端边界调整
[0108] 设1》表示帧f中的最大正残差值,设表示帧f中的最小负残差值的绝对值。那 么,
[0112] 如图5中所描绘的,可以按照心+和乃来确定量化器的输入边界(例如, 及"ax= X;);然而,实验结果表明,残差值具有钟形分布,并且在每个帧中通常存在非 常少的接近于或的像素。如前所指出的,对于图5中所描绘的量化器,量化步长与 成比例。对于固定数量的码字(例如,Level的值),由于量化而导致的失真与X_ 的值成正比;因此,较小的X_值是优选的。在实施例中,不是根据X/或确定X_,而是确 定新的更小的范围[Thf_ Thf+]。在应用NLQ(155)之前,限制(或裁剪)残差像素值以位于 新范围[Thf_ Thf+]内;其中,对于帧f,Thf+表示正残差的边界,Thf_表示负残差的边界。也 就是说,
[0113] rfi= clip3 (r fi, Thf_, Thf+),
[0114] 其中,clip3〇函数表示:大于Thf+的残差像素值被裁剪为Thf+,小于Th f_的残差 像素值被裁剪为Thf_。
[0115] 虽然用于NLQ处理的较小的输入范围由于量化得到较小的误差,但是残差信号的 无限制的裁剪可能得到明显的伪像,因此需要根据残差信号的特性来改动新范围的选择。 在实施例中,自适应地基于所观察的残差像素值的连接性(或稀疏性)来确定这两个阈值。 也就是说,具有非常大的值的孤立残差像素可以被裁剪而对总体质量影响最小;然而,连接 的残差像素的像素值应被适当地编码。图6B中用处理(650)描绘了根据本发明的实施例 的这样的边界确定处理的示例实现。
[0116] 处理(650)计算阈值Th,该阈值Th满足如下条件:等于或大于Th的残差像素值 被认为是稀疏地连接,因此它们可以被裁剪。处理(650)可以用于根据输入的残差值计算 1\_或111 {+边界中的任何一个。例如,为了确定Thf+=Th,该处理仅考虑例如在范围(0, G )内的正残差像素值:
[0117]
[0118] 为了确定Thf_= Th,该处理仅考虑例如在范围(0, )内的负残差像素值的绝对 值:
[0119]
[0120] 在步骤(610)中,该处理通过将初始值设置为阈值Th而开始。所以,给定rfi的原 始边界(例如,Th_L = 0并_
;),在示例实施例中,初始阈值可以 被设置为已知范围的中间值,例如:
[0121] Th = (Th_H+Th_L) /2.
[0122] 给定阈值Th,在步骤(612)中,产生二值图Mf,其中,该二值图的元素被计算为:
[0123] mfi = (R fi ^ Th)
[0124] Mf(i) = mfi.
[0125] 给定Mf,在步骤(614)中,可以确定每个二值像素的连接性。例如,在MATLAB中,可 以使用函数bwconncomp计算近邻连接性(例如,4像素或8像素连接的邻域)。设NC f (i) 表示二值图像Mf中的每个像素的近邻的数量。在步骤(618)中,阈值Th可以被调整为使 得,如果像素的连接性超过预定的连接性阈值L (例如,= 5个像素),则这些像素都不 被裁剪。例如,如果所有像素上的最大像素连接性超过预定的连接性阈值T °c,则可以增大 阈值Th,否则,可以减小阈值Th。例如,使用二值搜索,
[0126] if (max {NCf (i)} ^ Tcc)//the maximal connectivity for each pixel exceeds Tcc
[0127] Th_L = Th ;
[0128] else
[0129] Th_H = Th ;
[0130] Th_old = Th ;
[0131] Th = (Th_H+Th_L) /2 ;
[0132] 为了降低计算复杂度,在实施例中,所述处理可以包括收敛测试步骤(620)。例如, 收敛步骤(620)可以计算先前的(或旧的)阈值和新的阈值之间的差值。如果它们的差值 大于预定的收敛阈值,则所述处理用该新阈值再次从步骤(612)继续进行。否则,它终止, 并且输出将被使用的最终边界(例如,Thf+= Th)。
[0133] 基于场景的非线性量化
[0134] 如前所讨论的,在一些实施例中,可以按照以下参数来表达非线性量化器(155): X max、offset (偏差)(例如,M)和Level(也参见关于图5的讨论)。在一些实施例中,可能 有益的是按照帧序列(例如,场景)中的残差像素特性来确定这些参数。
[0135] 给定用于F个帧的序列的和,设
[0136]
[0137]
[0138] 那么,非线性量化器的参数可以针对整个场景被设置为:
[0139]
[0140] Level = max {(2EL-bitdepth-l)-Offset, Offset},
[0141] 并且
[0142] Xmx= (l+A)max{X、X+},
[0143] 其中,EL_bitdepth 表示 EL 编码器(160)的位深(例如,EL_bitdepth = 8),A 表 示小的正数值(例如,△ =0. 1)。在实施例中,对于色度分量,可以使用下式来确定量化级 的数量:
[0144]
[0145] 在另一实施例中,$和H直还可以用如前计算的相应的Thf+和Th {_值取代。
[0146] 示例计算机系统实现
[0147] 本发明的实施例可以用计算机系统、用电子电路和组件中配置的系统、集成电路 (1C)器件(诸如微控制器)、现场可编程门阵列(FPGA)或另一可配置或可编程逻辑器件 (PLD)、离散时间或数字信号处理器(DSP)、专用IC(ASIC)、和/或包括这样的系统、器件或 组件中的一个或多个的装置来实现。计算机和/或1C可以执行、控制或运行与对UHD EDR 信号进行编码(诸如本文中所描述的那些)相关的指令。计算机和
当前第4页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1