高动态范围视频编码中的预抖动的制作方法_2

文档序号:9932924阅读:来源:国知局
增强动态范围的信号进行编码,同时允许老式解码器仍能够接收并解码同一信号 的具有较低动态范围(例如,SDR)的版本。图1A描绘了支持具有增强动态范围(EDR)和较低 动态范围(LDR)的信号的编码的向后兼容系统的示例实现的实施例。
[0029]暂时忽略预抖动模块(120),如图1A中所描绘的,给定EDR输入(102),LDR信号 (114)可以通过使用内容映射处理(110)而产生。如本文所使用的,"输入EDR图像或信号"是 指可以用于推导输入图像的EDR版本的增强或高动态范围图像数据(例如,高端图像获取装 置等捕捉的原始图像数据)。内容映射处理(110)可以组合本领域中已知的各种技术来将原 始的或颜色分级的EDR内容映射到LDR内容,诸如先进行全局或局部色调映射、再接着针对 目标显示器进行颜色分级。在G-M.Su等人于2012年11月1日提交的序号为PCT/US2012/ 062932、标题为 "Layer decomposition in hierarchical VDR coding" 的PCT申请('932申 请)以及R. Atkins等人于2013年4月9日提交的序号为61/810,104、标题为"Display management for high dynamic range video" 的美国临时专利申请(其也在2014年2月 13 日作为序号为PCT/US2014/016304的PCT申请提交)中描述了内容映射处理的其他例子,这 两篇申请的全部内容通过引用并入本文。
[0030] 例如在美国临时专利申请61/882,773中描述的£01?/〇)1?编码器(130)通常包括基 本层(BL)编码器和增强层(EL)编码器,BL编码器产生编码的基本层(BL)流(136),EL编码器 产生编码的EL流(132)。在一些实施例中,还可以产生辅助参考处理单元(RPU)流(134) APU 流通常携带可以帮助解码器更好地访问适当的解码处理所需的参数的辅助数据(也常被称 为元数据)。如本文所定义的,术语"元数据"或"辅助数据"可以与被作为编码的位流的一部 分发送并且辅助解码器渲染解码的图像的任何辅助信息相关。这样的元数据可以包括但不 限于诸如以下的信息:颜色空间或色域信息、动态范围信息、色调映射信息或其他编码器相 关的算子。
[0031] 在实施例中,编码的BL流(136)可以包括向后兼容的编码的LDR流,而编码的EL流 (132)可以包括残余流,该残余流可以与解码的BL信号一起被高级解码器用于重新产生EDR 信号(102)。
[0032]输入的EDR信号(102)可以在支持高动态范围色域的任何颜色空间中。尽管具有比 EDR信号(102)低的动态范围,但是LDR信号(114)可以被以相同的位深或者比EDR信号(102) 的位深低的位深表示。在实施例中,输入的EDR可以在16位RGB空间中,对应的LDR信号可以 在16位或12位RGB空间中。如图1B中所描绘的,编码系统(100B)可以包括附加的颜色变换和 颜色二次采样单元来适应H3R/LDR编码器(130)中的位深或颜色格式约束。
[0033]每个像素可以可选地和/或可替代地包括用于颜色空间中的通道中的一个或多个 的上采样或下采样的像素值。应指出,在一些实施例中,除了诸如红色、绿色和蓝色的三个 原色之外,不同的原色还可以在如本文描述的颜色空间中同时使用以例如支持宽的色域; 在那些实施例中,如本文描述的图像数据包括用于那些不同原色的附加像素值,并且可以 被如本文描述的技术同时处理。
[0034]如图1B中所描绘的,在实施例中,内容映射(110)将16-b RGB EDR输入(102-R)转 换为16-b RGB LDRdM-RhEDR信号(102-R)和LDR信号(114-R)都被进行颜色变换和颜色 二次采样以产生YCbCr 4: 2:0颜色格式(编码器(130)中的优选的编码压缩格式)的对应信 号(102-Y)和(114-Y)。传统上,在简单地截断到8位之后,LDR信号114-Y被传递到编码器130 进行编码,并且产生BL流(136);然而,如本发明所提出的,通过将预抖动处理(120)应用于 LDR信号(114-Y),假轮廓以及可能的假颜色伪像可以大幅减少或者被消除。
[0035]在产生分层的EDR流的所有部分之后,编码的EL流(132)、编码的BL流(136)和相关 的元数据(134)被复用并且被打包,以使得它们可以被存储在存储介质中和/或被发送到解 码器。
[0036] 抖动技术
[0037]在图形和显示相关处理中,传统的抖动技术包括以下步骤:a)产生噪声或抖动图 案;b)将产生的噪声添加到将显示的信号;以及c)将输出量化到期望位深。在编码理论中, 很少推荐在对信号进行压缩之前添加噪声,因为噪声使信号的熵增大,因此降低了编码效 率;因此,步骤(120)中的任何噪声添加必须还考虑各种矛盾的目标,诸如:
[0038] ?在解码器处减少假轮廓和其他伪像;
[0039] ?保持压缩效率,尤其是在位率低时(例如,对于108(^,5.21?348/8,对于72(^, 3.75Mbits/s);以及
[0040] ?保持输入的最初视频质量。
[0041] A1.使用经高通滤波的噪声的抖动
[0042]给定将被向下量化为P位图像的N位输入图像(例如,N= 16位)的序列,其中,P〈N 位,在数字抖动期间,在低位被丢弃或者被量化之前,噪声被添加到这些图像。基本工程权 衡是添加尽可能多的噪声以使得通过位深降低处理和图像压缩或编码处理能够保持同样 有效的感知位,但是使噪声本身在解码器处不可见。不可见性主要取决于显示和观看距离 参数。在实施例中,图像抖动中使用的噪声源的噪声特性基于人类视觉系统(HVS)的光学传 递函数(0TF)的模型以及EDR/LDR编码器(130)的输出处的目标位率要求而被确定。
[0043] HVS的0TF(从现在起被简单地表示为0TF)是严格低通函数,因此与HVS的对比灵敏 度函数(CSF)相比更好地代表平均化处理。在Deeley、Robin J.、Neville Drasdo和W.Neil Charman在Ophthalmic and Physiological Optics 11 ? 1 (1991):91-93上的 "A simple parametric model of the human ocular modulation transfer function" 中描述了常 见的〇TF表示,该文献的全部内容通过引用并入本文。
[0044] 图2A描绘了根据本发明的实施例的产生高通抖动噪声的示例方法(200A)。该方法 可以单独地应用于输入的LDR图像的颜色分量中的一个或多个。通过两个步骤产生噪声:a) 对均匀随机噪声进行空间滤波以产生高通噪声(200A-1);以及b)将时间滤波应用于产生的 高通噪声以产生高通空间-时间噪声(200A-2)。
[0045] 步骤1:空间滤波
[0046] 设及表示从具有0和1之间的值的均匀随机噪声源产生的W(宽度)XH(高度)(以 像素计)图像。设及,的每个像素元素(x,y)被表示为$/ (义>7),其中兹/ (-U) € [0,1]。
[0047] 将原始EDR信号位深表不:为Bedr,将基本层位深表不:为Bbl。将从Bedr位表不:到Bbl位 表示要移除的码字的数量被表示为C = 在实施例中,缩放的随机图像Nf (例 如,202)可以通过将及;.与(:或C的函数相乘而获得,例如:
[0048] N f - C Nf .
[0049] 例如,对于BEDR=16并且Bbl = 8,C = 28 = 256。如图2A中所描绘的,缩放的随机图像 Nf (例如,202)可以用表示Dee 1 ey的0TF模型的2D低通滤波器Fs进行滤波(205)。设:
[0050] D; -=Nf <E>FS,
[0051 ] 以及
[0052] Df -Nf ~(Nf?Fs),
[0053] 表不经低通滤波的噪声信号(204)和经高通滤波的噪声信号(206),其中,符号# (2〇5)表示卷积。将巧( 2〇4)和(2〇6)中的像素元素表示为 < (為 >,)和(尤,j) 6
[0054] 步骤2:时间滤波(200A-2)
[0055] 考虑容纳多达P个高通噪声图片(206)(其被表示为Df , 的环形缓 冲器(210)(例如,具有分开的起始指针和结束指针的缓冲器)。随着时间前进,缓冲器中的 最旧的图片(例如,被在
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1