视频译码中的目标输出层的制作方法_2

文档序号:8461039阅读:来源:国知局
解 码器)可使用一或多个参数集来描述或确定经译码视频数据的多种特性。通过参数集,不 需要对于每一图片或图片序列重复很少改变的信息,由此增加译码效率。在一些个例中,参 数集可形成视频位流的一部分。在其它个例中,参数集可以其它方式由视频解码器来接收 (例如,频带外传输、硬译码或其类似者)。经译码视频序列与其相关联参数集一起可表示 视频位流的可独立解码部分。
[0026] HEVC继承H. 264/AVC的参数集概念,但包含若干修改和添加。一般来说,序列参数 集(SPS)含有应用到经译码视频序列的所有截块的信息。在HEVC中,经译码视频序列含有 在第一瞬时解码再新(IDR)图片(包含于序列中)与之后的IDR图片(不包含于序列中) 或位流的末尾(如果第一 IDR图片是位流中的最后一个IDR图片)之间的所有图片。图片 参数集(PPS)含有可在图片间改变的信息。
[0027] HEVC也包含视频参数集(VPS)结构。一般来说,VPS描述经译码视频序列的总体 特性,包含时间子层之间的相依性。VPS可允许实现HEVC标准在系统层处的兼容扩充性。 例如,VPS可提供关于可缩放或多视图位流结构的额外信息,所述信息针对能够解码这些层 的解码器可为相关的,但允许旧版解码器来解码基本层并忽略这些层。
[0028] 当多个视频数据层包含于位流中时,操作点可用以对来自位流的某些层进行剖析 或提取。例如,多层位流可包含多个操作点以促进解码并显示所接收经编码数据的子集。如 本文中所描述,"操作点"可通常指可包含一或多个视频数据层的层集合。如上文所提及, 层通常可指具有至少一个共同特性(例如,视图、帧率、分辨率或其类似者)的图片的序列 (例如,视频数据的视图、可缩放视频数据的层和其类似者)。因此,操作点可指具有一或多 个视频数据视图、一或多个视频数据层或其类似者的层集合。因而,本文中可互换地使用 "操作点"与"层集合"。
[0029] 使用不同操作点可允许各种用户端装置来执行调适。即,具有不同呈现和解码能 力的用户端装置可提取不同视图以显示二维或三维视频数据。用户端装置也可与服务器装 置协商以检索具可变位速率的数据以适应于具各种频宽能力的输送媒体。
[0030] 因此,每一操作点可表示以可变时间帧率和空间分辨率编码的多视图视频数据视 图的视图的不同组合和/或可缩放视频数据层的不同组合(例如,不同层集合)。换句话 说,操作点可指在包含以下各者的三个维度上对多视图视频数据的编码:视图维度(反映 视图的数目)、时间维度(反映帧率)和空间维度(反映空间分辨率)。在一些个例中,一 个以上操作点可与同一位流子集相关联。即,一个以上层集合可与同一位流相关联,使得位 流包含一或多个层集合。
[0031] 视频编码器可定义针对基本视图/层与增强视图/层的各种组合的数个层集合。 特定层集合可包含数个视频数据层,包含用于显示的一或多个目标输出层。例如,目标输出 视图可包含多视图视频数据的希望输出(例如,在显示时可检视)的视图。同样,目标输出 层可包含希望输出的可缩放视频数据层。如本文中所描述,可互换地使用目标输出视图与 目标输出层。
[0032] 例如,关于MVC,可在SPS中传信操作点。MVC数据的目标输出视图可与MVC数据的 目标最高时间层级一起经传信。关于SVC,可根据操作点的(例如)具有最高dependency_ id和quality_id的最高层来自动地选择目标输出层。关于HEVC,操作点可指定子位流,可 基于所述子位流的最高时间层级来提取所述子位流。HEVC也可使用可被重命名为layer_ id 的 nuh_reserved_zero_6bits 值的列表。
[0033] 当调适HEVC以供多个视频数据层使用时,例如针对HEVC的多视图译码扩展 (MV-HEVC),可单独地在VPS中传信操作点。例如,可针对每一操作点在VPS中传信存在于 位流(待解码)中的视图。关于HEVC的可缩放扩展(HSVC或者替代性地SHVC)的标准化, 预期到具有最高layer_id的层将是特定操作点的目标输出层。
[0034] 包含使用VPS结构的针对HEVC中的操作点的当前方法在通过多个层译码时可具 有缺陷。例如,定义于HEVC中的操作点对于位流提取用途可为足够的,但VPS并不指定操 作点的目标输出视图/层。即,VPS并不识别视频数据的希望显示的特定层。
[0035] 在不知晓哪些层是目标输出层的情况下,不用于输出的某些层的经解码图片可被 保持于经解码图片缓冲器(DPB)中历时比所需时间长的时间,由此增加多视图序列的存储 要求。此外,当多个视图包含于子位流中时,内容提供者可能想要控制解码哪些子位流并提 供所述子位流作为到显示器的输出以控制观看体验。例如,内容提供者可能不想允许用户 观看来自某子位流或子位流的组合的图片。在HEVC的当前VPS方案下,此控制可能不可用。
[0036] 本发明的技术包含从包含数个层集合(各自含有一或多个视频数据层)的多个视 频数据层确定与数个层集合中的一个层集合和一或多个目标输出层相关联的一或多个输 出操作点。例如,本发明的技术包含确定输出操作点,所述输出操作点识别多视图视频数据 的一或多个目标输出视图和/或可缩放视频数据的一或多个目标输出层。
[0037] 本发明的技术也包含由视频编码器传信指示输出操作点和/或目标输出层的一 或多个语法元素,和由视频解码器从经编码位流剖析指示输出操作点和/或目标输出层的 一或多个语法元素。提供并利用具有目标输出层的输出操作点的指示可使关于经解码图片 缓冲器管理的效率增加,且可使关于指示待输出(例如,显示)的特定视图和/或层的灵活 性增加。
[0038] 根据本发明的方面,如当前HEVC基本规范(例如,如上文所提及的WD 6)中所定 义的一个操作点可对应于一或多个输出操作点,其中每一输出操作点具有不同目标输出视 图和/或层。例如,在一些个例中,视频译码器(例如,视频编码器或视频解码器)可使用 层集合中的数个视频数据层来恰当地对视频数据译码。然而,可能仅需将经解码层的子集 用于输出(例如,显示)。根据本发明的方面,视频译码器可确定具体地识别目标视频数据 层以供输出的输出操作点。在一些个例中,视频译码器可确定层集合的一个以上输出操作 点(例如)以适应用于输出的视频数据层的不同组合。
[0039] 在一实例中,出于说明的目的,假设层集合对于立体应用(例如,用于输出的两个 视图)包含基本视图(视图〇)、第一视图(视图1)、第二视图(视图2)和第三视图(视图 3)。进一步假设,视图2和视图3提供最佳立体输出。在此实例中,视频解码器可使用基本 视图作为参考来解码视图2和视图3。此外,如果视频解码器符合某些常规译码标准(例 如,上文提及的H. 264/AVC的MVC或SVC扩展),那么视频解码器可选择输出点的最高层级 以供输出(即,基本层),而不管视图2和视图3是用于输出的最佳视图。
[0040] 根据本发明的方面,层集合指定经解码的一或多个子位流,且输出操作点指示在 层集合内的待输出的层的子集。因此,在以上实例中,视频解码器可解码具有基本视图、第 一视图、第二视图和第三视图的层集合。此外,视频解码器可确定层集合的输出操作点,其 中输出操作点包含视图2和视图3。因此,视频译码器可解码并输出视图2和视图3以供显 不O
[0041] 如上文所描述,先前并未针对HEVC指定输出操作点。此外,对H. 264/AVC的MVC 扩展并未遭遇确定操作点的哪些子位流希望用于显示的问题,这是因为MVC并不使用操作 点的概念,且MVC位流的所有目标视图由位流中的所有视图指定。因此,虽然本发明的技术 可以多种标准来实施,但本发明的方面提供一种使用HEVC标准来指定操作点的特定目标 输出视图的机制。
[0042] 图1为根据本发明的方面的说明可利用用于确定一或多个目标输出层的技术的 实例视频编码和解码系统10的框图。如图1中所展示,系统10包含源装置12,所述源装 置12提供待由目的地装置14在稍后时间解码的经编码视频数据。明确地说,源装置12经 由计算机可读媒体16将视频数据提供到目的地装置14。源装置12和目的地装置14可包 括广泛范围的装置中的任一者,所述装置包含桌上型计算机、笔记型(即,膝上型)计算机、 平板计算机、机顶盒、例如所谓"智能型"手机的电话手机、所谓"智能型"板、电视、摄影机、 显示装置、数字媒体播放器、视频游戏主机、视频流式传输器装置,或其类似者。在一些状况 下,源装置12和目的地装置14可经配备以用于无线通信。
[0043] 目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机 可读媒体16可包括能够将经编码视频数据从源装置12移动到目的地装置14的任何类型 的媒体或装置。在一个实例中,计算机可读媒体16可包括通信媒体以使得源装置12能够 将经编码视频数据实时地直接传输到目的地装置14。可根据通信标准(例如,无线通信协 议)调制经编码视频数据,且将经编码视频数据传输到目的地装置14。通信媒体可包括任 何无线或有线通信媒体,例如,射频(RF)频谱或一或多个物理传输线。通信媒体可形成基 于封包的网络(例如,局域网、广域网或例如因特网的全球网络)的部分。通信媒体可包含 路由器、交换器、基站,或可用以促进从源装置12到目的地装置14的通信的任何其它装备。 [0044] 在一些实例中,可将经编码数据从输出接口 22输出到存储装置。类似地,可由输 入接口从存储装置存取经编码数据。存储装置可包含多种分散式或本地存取式数据存储媒 体中的任一者,例如,硬盘机、蓝光光盘、DVD、
当前第2页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1