随机接入点画面的制作方法_2

文档序号:9383440阅读:来源:国知局
方框886提供已编码视频流885中的一部分或其全部。可以 将熵解码方框886的输出提供给解码预测回路887。可以将解码预测回路887的输出提供 给参考缓冲器888。参考缓冲器可以向解码预测回路887提供反馈。参考缓冲器888还可 以输出经解码的基本层视频流884。
[0074] 接口 889还可以向增强层解码器815中的熵解码方框890提供经编码的视频流 885中的一部分或其全部。可以将熵解码方框890的输出提供给逆量化方框891。可以将 逆量化方框891的输出提供给加法器892。加法器892可以将逆量化方框891的输出与预 测选择方框895的输出相加。可以将加法器892的输出提供给去块方框893。可以将去块 方框893的输出提供给参考缓冲器894。参考缓冲器894可以输出经解码的增强层视频流 882。还可以将参考缓冲器894的输出提供给帧内预测器897。增强层解码器815可以包括 运动补偿896。可以在分辨率上升870之后,执行运动补偿896。预测选择方框895可以接 收帧内预测器897的输出和动作补偿896的输出。
[0075] 图3A是示出了编码器308和解码器372的一个示例的框图。在该示例中,示出了 电子设备A 302和电子设备B 370。然而,应注意,在一些配置中,可以将结合电子设备A 302以及电子设备B 370所述的特征和功能组合为一个电子设备。
[0076] 电子设备A 302包括编码器308。编码器308可以实现为硬件、软件或两者的组 合。在一个配置中,编码器308可以是高效视频编码(HEVC)编码器。也可以使用其他编码 器。电子设备A 302可以获得源306。在一些配置中,可以使用图像传感器在电子设备A 302上捕获、从存储器取得和/或从另一电子设备接收源306。
[0077] 编码器308可以对源106进行编码以产生比特流334。例如,编码器308可以对源 306中的一系列画面(例如,视频)进行编码。编码器308可以与结合图IA所述的编码器 106相似。
[0078] 比特流334可以包括基于源106的编码画面数据。在一些配置中,比特流334还 可以包括开销数据,例如,分片首部信息、PPS信息等。当对源306中的附加画面编码时,比 特流334可以包括一个或更多个已编码画面。
[0079] 可以将比特流334提供给解码器372。在一个示例中,可以使用有线或无线链路 将比特流334传输到电子设备B 370。在一些情况下,这可以通过网络(例如,互联网或局 域网(LAN))来完成。如图3A所示,可以将解码器372实现在电子设备B 102上,与电子设 备A 302上的解码器308相分离。然而,应注意,在一些配置下,可以将编码器308和解码 器372实现在相同电子设备上。在将编码器308和解码器372实现在相同电子设备上的实 现方案中,例如,可以通过总线将比特流334提供给解码器372或将其存储在存储器中以便 由解码器372取得。解码器372可以提供已解码画面392输出。
[0080] 可以将解码器372实现为硬件、软件或二者的组合。在一个配置中,解码器372可 以是高效视频编码(HEVC)解码器。可以使用其他解码器。解码器372可以与结合图2A所 述的解码器272相似。
[0081] 图3B是示出了编码器908和解码器972的另一示例的框图。在该示例中,示出了 电子设备A 902和电子设备B 970。然而,应注意,在一些配置中,可以将结合电子设备A 902以及电子设备B 970所述的特征和功能合并为一个电子设备。
[0082] 电子设备A 902包括编码器908。编码器908可以包括基本层编码器910和增强 层编码器920。编码器908适用于可缩放的视频编码和多视图视频编码。编码器908可以 实现为硬件、软件或两者的组合。在一个配置中,编码器908可以是高效视频编码(HEVC) 编码器,包括可缩放和/或多视图。也可以使用其他编码器。电子设备A 902可以获得源 906。在一些配置中,可以使用图像传感器在电子设备A 902上捕获、从存储器取得和/或 从另一电子设备接收源906。
[0083] 编码器908可以对源906进行编码以产生基本层比特流934和增强层比特流936。 例如,编码器908可以对源906中的一系列画面(例如,视频)进行编码。具体地,对于针 对SNR可缩放性(也称作质量可缩放性)的可缩放视频编码,可以向基本层和增强层编码 器提供相同源906。具体地,对于针对空间可缩放性的可缩放视频编码,可以将下采样源用 于基本层编码器。具体地,对于多视图编码,可以将不同视图源用于基本层编码器和增强层 编码器。编码器908可以与结合图IB所述的编码器782相似。
[0084] 比特流934、936可以包括基于供源906的已编码画面数据。在一些配置中,比特 流934、936还可以包括开销数据,例如,分片首部信息、PPS信息等。当对源906中的附加 画面编码时,比特流934、936可以包括一个或更多个已编码画面。
[0085] 可以将比特流934、936提供给解码器972。解码器972可以包括基本层解码器980 和增强层解码器990。视频解码器972适用于可缩放视频解码和多视图视频解码。在一个 示例中,可以使用有线或无线链路将比特流934、936传输到电子设备B 970。在一些情况 下,这可以通过网络(例如,互联网或局域网(LAN))来完成。如图3B所示,可以将解码器 972实现在电子设备B 970上,与电子设备A 902上的解码器908相分离。然而,应注意,在 一些配置下,可以将编码器908和解码器972实现在相同电子设备上。在将编码器908和 解码器972实现在相同电子设备上的实现方案中,例如,可以通过总线将比特流934、936提 供给解码器972或将其存储在存储器中以便由解码器972取得。解码器972可以提供已解 码基本层画面992和已解码增强层画面994,作为输出。
[0086] 可以将解码器972实现为硬件、软件或二者的组合。在一个配置中,解码器972可 以是高效视频编码(HEVC)解码器,包括可缩放和/或多视图。可以使用其他解码器。解码 器972可以与结合图2B所述的解码器812相似。
[0087] 图4示出了可以在电子设备409中使用的多种组件。可以将电子设备109实现为 一个或更多个电子设备。例如,可以将电子设备409实现为以上结合图IA和IB所述的电 子设备102,实现为以上结合图2A和2B所述的电子设备270,或二者。
[0088] 电子设备409包括控制电子设备409的操作的处理器417。处理器417还可以被 称作CPU。存储器411向处理器417提供指令413a(例如,可执行指令)和数据415a,所述 存储器411可以包括只读存储器(R0M)、随机存取存储器(RAM)或可以存储信息的任何类型 的设备。存储器411的一部分还可以包括非易失性随机存取存储器(NVRAM)。存储器411 可以与处理器417电子通信。
[0089] 指令413b和数据415b还可以驻留在处理器417中。被加载到处理器417的指令 413b和/或数据415b还可以包括来自存储器411的指令413a和/或数据415a,加载所述 指令413a和/或数据415a以便通过处理器417来执行或处理。可以通过处理器417执行 所述指令413b以实现本文所公开的一个或更多个技术。
[0090] 电子设备409可以包括一个或更多个通信接口 419,用于与其它电子设备进行通 信。通信接口 419可以基于有线通信技术、无线通信技术或二者。通信接口 419的示例包 括串行端口、并行端口、通用串行总线(USB)、以太网适配器、IEEE 1394总线接口、小型计 算机系统接口(SCSI)总线接口、红外(IR)通信端口、蓝牙无线通信适配器、符合第三代合 作伙伴计划(3GPP)规范的无线收发机等。
[0091] 电子设备409可以包括一个或更多个输出设备423以及一个或更多个输入设备 421。输出设备423的不例包括扬声器、打印机等。可以包括在电子设备409中的一种类型 的输出设备是显示设备425。使用本文所公开的配置的显示设备425可以使用任何适合的 图像投影技术,例如,阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)、气体等离子 体、电致发光等。可以提供显示控制器427用于将存储在存储器411中的数据转换为示出 在显示器425上的文本、图形和/或运动图像(视情况而定)。输入设备421的示例包括键 盘、鼠标、麦克风、遥控设备、按钮、操控杆、轨迹球、触摸板、触摸屏、激光笔等。
[0092] 将电子设备409的多种组件通过总线系统429耦接在一起,其中除了数据总线之 外,所述总线系统429还可以包括电力总线、控制信号总线和状态信号总线。然而,为了清 楚,图4将多种总线示出为总线系统429。图4所示的电子设备409是功能框图,而不是特 定组件的列表。
[0093] 术语"计算机可读介质"指可以由计算机或处理器访问的任何可用介质。如本文所 用,术语"计算机可读介质"可以表示非暂时性的且有形的计算机和/或处理器可读介质。 例如而非限制性地,计算机可读或处理器可读介质可以包括:RAM、ROM、EEPR0M、⑶-COM或 其它光学存储设备、磁盘存储设备或其它磁性存储器件、或可以用于携带或存储所需程序 代码(以指令或数据结构形式)并可通过计算机或处理器访问的任何其它介质。如本文所 用,磁盘和光盘包括:压缩盘(CD)、激光盘、光盘、数字多功能盘(DVD)、软盘和蓝光(注册商 标)盘,其中磁盘通常磁性地再现数据,而光盘用激光光学地再现数据。解码器和/或编码 器的代码可以存储在计算机可读介质上。
[0094] 包括多个已编码树块(例如,通常称作块)的输入画面可以被分为一个或若干个 分片。假定在编码器和解码器处使用的参考画面是相同的且去块滤波不使用分片边界两端 的信息,则可以正确地对在分片所代表的画面区域中的采样值进行解码,而不是用来自其 它分片的数据。因此,对分片进行的熵解码和块重构不依赖于其它分片。具体地,可以在每 一分片的起始重置熵编码状态。当限定邻域可用于进行熵解码和重构时,可以将其它分片 中的数据标记为是不可用的。可以并行地对分片进行熵解码和重构。优选地,不允许在分 片的边界上进行帧内预测和运动矢量预测。相反,去块滤波可以使用在分片边界上的信息。
[0095] 图5示出了在水平方向上包括11个块且在垂直方向上包括9个块的示例视频画 面500 (9个示例块被标记为501-509)。图5示出了三个示例分片:第一分片表示为"SLICE #0" 520、第二分片表示为"SLICE #1" 530且第三分片表示为"SLICE #2" 540。解码器可以 并行地对三个分片520、530、540进行解码和重构。可以按照扫描线顺序依次地传输每一分 片。当开始针对每一分片的去块/重构处理时,初始化或重置上下文模型,并将其它分片中 的块标记为不可用于熵解码和块重构。上下文模型通常代表熵编码器和/或解码器的状 态。因此,对于在"SLICE#1"中的块,例如,标记为503的块,无法将"SLICE#0"中的块(例 如,标记为501和502的块)用于上下文模型选择或重构。相反,对于在"SLICE#1"中的块, 例如,标记为505的块,可以将"SLICE#1"中的其他块(例如,标记为503和504的块)用 于上下文模型选择或重构。因此,在分片内连续地进行熵解码和块重构。除非使用灵活块 排序(FMO)来限定多个分片,否则以栅格扫描的顺序处理分片内的多个块。
[0096] 图6描述了分为三个分片组的示例块分配:第一分片组表示为"SLICE GROUP #0"550、第二分片组表示为"SLICE GROUP #1"560且第三片组表示为"SLICE GROUP #2"570。这些分片组550、560、570可以分别与画面580中的两个前景区域和一个背景区域 相关。
[0097] 可以将如图5所示的分片排列限制为以图像扫描顺序(也称作栅格扫描或栅格扫 描顺序)在一对块之间定义每一分片。尽管这种扫描顺序的分片排列是计算高效的,但是 不是为了用于高效地并行编码和解码。此外,这种扫描顺序定义的分片也不是用于将图像 的较小的局部区域聚集在一起,其中这些区域可能具有非常适用于进行高效编码的通用特 性。尽管如图6所示的分片排列在其排列上是非常灵活的,但是不是为了用于高效地进行 并行编码或解码。此外,这种高灵活性定义的分片是计算上复杂的,以便实现在解码器中。
[0098] 参考图7,瓦片技术将图像分为矩形(包括方形)区域集合。以栅格扫描顺序对 每一瓦片内的块(备选地,在一些系统中称作最大编码单元或编码树块)进行编码和解码。 类似地,以栅格扫描顺序对瓦片排列进行编码和解码。因此,可能存在任意适合数目的列边 界(例如,0个或更多个),可能存在任意适合数目的行边界(例如,0个或更多个)。因此, 所述帧可以定义一个或更多个分片,诸如图7所示的一个分片。在一些实施例中,不能将位 于不同瓦片内的块用于进行帧内预测、动作补偿、熵编码上下文选择或依赖于邻域块信息 的其它处理。
[0099] 参考图8,示出了将图像分为三个矩形列的集合的瓦片技术。以栅格扫描顺序对每 一瓦片内的块(备选地,在一些系统中也被称作最大编码单元或编码树块)进行编码和解 码。类似地,以栅格扫描顺序对瓦片进行编码和解码。可以以瓦片的扫描顺序来限定一个 或更多个瓦片。可对每一分片进行独立解码。例如,分片1可以定义为包括块1-9,分片2 可以定义为包括块10-28,片3可以定义为包括跨度了三个瓦片的块29-126。使用瓦片有 助于通过处理在更局部区域帧中的数据,来提高编码效率。
[0100] 应理解,在一些情况下,视频编码可以可选地不包括瓦片,并可以可选地包括针对 视频的帧使用波前编码/解码模式。因此,可以以并行方式对一排或更多排的视频(诸如, 多个一行或更多行的宏块(或备选地,编码树块)组)进行编码/解码,其中每一组代表波 前子流。通常,可以以任何适合方式构造对视频的划分。
[0101] 视频编码标准通常压缩视频数据,以便通过具有有限带宽和/或有线存储容量的 信道进行传输。这些视频编码标准包括多个编码阶段,例如,帧内预测、从空间域到频域的 变换、量化、熵编码、运动估计和运动补偿,以便更有效地对帧进行编码和解码。许多编码和 解码阶段在计算上是过分复杂的。
[0102] 视频比特流可以包括位于逻辑数据分组(通常被称作网络抽象层(NAL)单元)中 的语法结构。每一 NAL单元包括用于标识相关数据有效载荷的目的的NAL单元首部,例如, 双字节NAL单元首部(例如,16比特)。例如,可以在一个或更多个分片(和/或画面)NAL 单元中对每一已编码分片(和/或画面)进行编码。可以包括针对其它分类数据的其他 NAL单元,诸如例如辅助增强信息,时域子层接入(TSA)画面的已编码分片,逐步时域子层 接入(STSA)画面的已编码分片,非TSA、非STSA尾随画面(trailing picture)的已编码分 片,断点连接接入画面的已编码分片,即时解码的刷新画面的已编码分片,完全随机接入画 面的已编码分片,随机接入可解码前导画面的已编码分片、随机接入跳转前导画面的已编 码分片、视频参数集、序列参数集、画面参数集、接入单元分隔符、序列末尾、比特流末尾、填 充数据和/或序列增强信息消息。下表1示出了 NAL单元代码和NAL单元类型分类的一个 示例。可以根据需要包括其他NAL单元类型。应注意,可以对表1所示的NAL单元的NAL单 元类型进行重组和重新分配。此外,可以添加其他NAL单元类型。此外,可以去除一些NAL 单元类型。
[0103] 表1 一一NAL单元类型代码和NAL单元类型分类
[0104]

[0106] NAL提供将代表画面内容的视频编码层(VCL)数据映射到多种传输层的能力。 根据NAL单元是否包含编码画面或其他关联数据,NAL单元可以被分别分为VCL和非VCL NAL 单元D B. Bros,W-J. Han、J-R. Ohm、G. J. Sullivan 和 T-. Wiegand 的 "High efficiency video coding (HEVC) text specification draft 8",JCTVC-J10003,Stockholm,2012 年 7月(下文中称为"HEVC Draft 8")中通过全文引用合并于此。B.Bros、W-J.Han、J-R. Ohm、G. J. Sullivan、Wang 和 Τ_· Wiegand 的 "High efficiency video coding (HEVC) text specification draft 10(for DFIS&Last Call)",JCTVC-J10003-v34,Geneva,2013 年 I 月通过全文引用合并于此D B. Bros、W_J. Han、J-R. Ohm、G. J. SullivaruWang 和 T_. Wiegand 的"High efficiency video coding (HEVC) text specification draft 10"JCTVC-L1003, Geneva,2013年I月通过全文引用合并于此D
[0107] 为了实现随机接入和比特流接合,IDR接入单元包含帧内画面,即,可以在不对 NAL单元流中的任何先前画面进行解码的前提下对其进行解码的已编码画面。此外,存在 IDR接入单元表示比特流中的后续画面不需要参考在所包含的帧内画面之前的画面,以便 进行解码。
[0108] IDR接入单元可以表示仅包含I分片的IDR画面,可以是在解码顺序下比特流中的 第一画面,或可以随后出现在比特流中。每个IDR画面是在解码顺序下编码视频序列(CVS) 的第一画面。当IDR画面的VCL NAL单元的nal_unit_type等于IDR_W_RADL时,它可以具 有关联RADL画面。当针对IDR画面的每一 VCL NAL单元的nal_unit_type等于IDR_N_LP 时,它不具有任何关联前导画面。IDR画面不具有关联RASL画面。
[0109] BLA接入单元是指仅包括I分片的BLA画面,可以在解码顺序下比特流中的第一画 面,或可以随后出现在比特流中。每个BLA画面开始新的CVS,与IDR画面在解码处理上具 有相同效果。然而,BLA画面包含定义非空RPS的语法元素。当BLA画面的每一 VCL NAL单 元的nal_unit_type等于BLA_W_LP时,它可以具有相关RASL画面,该画面不是通过解码器 输出可以是不可解码的,这是由于它们可能包含对在比特流中不存在的画面的参考。当针 对BLA画面的每一 VCL NAL单元的nal_unit_type等于BLA_W_LP时,它可能同样具有关联 RADL画面,其中该画面用于进行解码。当针对BLA画面的每一 VCL NAL单元的nal_unit_ type等于BLA_W_RADL时,它不具有任何关联RASL画面,但是可能具有关联RADL画面。当 针对BLA画面的每一 VCL NAL
当前第2页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1