用于使用图形处理器的视频解码的图片参考控制的制作方法_2

文档序号:9621421阅读:来源:国知局
频比特流进行解码。
[0023]解码器207规定了要被图形处理器206使用来对编码图片解码从而生成可显示图片的参考图片集。例如,按照各种视频标准,典型类型的编码图片可以被称为I图片、P图片和B图片。每个可显示图片可以从这些编码图片中的一个编码图片中解码。参考图片不被用于解码I图片,但一个或者多个参考图片被用于解码P图片或者B图片。例如,如果电影包含鸟飞过蓝天的情景,则视频内容的大部分从一个所显示图片到下一所显示图片保持相同。主要的改变是鸟在其移动穿过蓝天时的位置。因此,不是发送用于每个编码P图片或者B图片的全新的视频数据集,视频编码重使用来自其他图片一一例如,之前编码的图片一一的图像数据来编码随后可显示的图片。在鸟/天的示例中,蓝天并不改变一一所以对应于蓝天区域的之前解码图片的部分可以被重使用来解码随后解码的P图片和B图片。这种方法减少了被下载到主处理设备204的数据量以及被编码和解码的数据量。
[0024]如作为该解码方案的举例说明,图2示出了被指定为用于当前图片的参考图片集合220的数据数组。参考图片集合220可以按照用于已编码视频序列的解码次序指定用于解码当前图片以及任何随后的图片(例如,当执行用于正常视频回放的解码过程时)的一个或者多个参考图片。因此,参考图片集合220可以向图形处理器206标识要被缓冲用于按照正常解码次序解码当前图片以及任何随后图片的解码参考图片。由解码器207和/或图形处理器206进行的用于解码每个当前图片的解码过程的操作取决于用于每个图片的编码数据,并且可以取决于关于图片排序和定时的信息,以及在解码过程中使用的参考图片在比特流数据中是被标识为短期参考图片还是被标识为长期参考图片的分类。用于当前图片的解码过程可以取决于在解码过程中使用的参考图片在比特流数据中是被标识为短期参考图片还是被标识为长期参考图片,例如,相对于参考图片被标识于图片缓冲参数中的方式或者相对于与参考图片相关联的运动向量数据被使用的方式。例如,将图片标识为短期参考图片或者长期参考图片的方式影响已编码比特流数据格式,并且解码过程可以是如在H.264/AVC标准中规定的、如在H.265/HEVC标准中规定的或者如在其他视频编码技术中使用的。
[0025]在所图示的示例中,在参考图片集合220中的每一项被标引以允许特定项被其他参数引用。在图2中,三个图片缓冲参数RefPicSetStCurrBefore []、RefPicSetStCurrAfter []和RefPicSetLtCurr []被定义为规定在参考图片集合220中的要被用于解码当前图片的参考图片。参考图片集合220还可以包含未被包括在这三个图片缓冲参数中的附加项(未在图2中示出)(例如,以标识在参考图片集合中的、未被用于解码当前图片但是可以用来解码一些其他随后图片的图片)。在示例中的三个图示的图片缓冲参数如下进一步详细描述:
? RefPicSetStCurrBefore []-规定按照正常显示次序在当前图片之前的、要用作用于已编码视频序列中的当前编码图片的解码过程中的短期参考图片的零个或者更多图片的图片缓冲参数
?RefPicSetStCurrAfter []-规定按照正常显示次序在当前图片之后的、要用作用于已编码视频序列中的当前编码图片的解码过程中的短期参考图片的零个或者更多图片的图片缓冲参数
?RefPicSetLtCurr []-规定了要用作用于已编码视频序列中的当前编码图片的解码过程中的长期参考图片的零个或者更多图片的图片缓冲参数
这些图片缓冲参数分别被指示为数组224、226和228。这些参数的每个持有指定参考图片集合220中的特定参考项的一个或者多个索引。解码器207针对要被解码的每个编码图片将这样的参数传递给图形处理器206 (例如,通过DDI 209),以使得图形处理器206可以标识要使用的参考图片来解码当前编码图片。由这些图片缓冲参数(数组224、226和228)规定用于当前编码图片的参考图片被称为参考图片集合的当前部分。参考图片集合的当前部分标识了与当前图片(不是随后的图片)相关联的参考图片集,并且包括按照解码次序在相关联图片之前的所有参考图片,其可以被用于对当前图片的图片间预测。除了包含参考图片集合的当前部分之外,参考图片集合220可以包含不属于当前图片的附加项(例如,这样的项可以属于按照解码次序的随后图片)。
[0026]在图2中,三个图示的图片缓冲参数(数组224、226和228)引用参考图片集合220中的适当项。例如,RefPicSetStCurrBefore[]数组224引用参考图片集合220中的项230和232。除了参考图片集合220中的对应项的标识之外,与所图示的图片缓冲参数(数组224,226和228)中的每一项相关联的数据可以包括一些附加相关联数据,诸如图片排序位置数据、图片定时数据等等。与参考图片集合220中的每一项相关联的数据还可以包括除了与参考图片集合220中的项相关联的图片的标识之外的一些附加相关联数据。在可替换实现方式中,与图片缓冲参数相关联的数据可以直接标识参考图片,而不是经由参考图片集合220间接地标识它们。
[0027]如相对于图1讨论的,图片缓冲参数可以从已编码视频比特流中的每个编码图片的条带头部中提取。然而,在某些情况下(例如,特技播放操作、差错隐藏操作等等),解码器207可以在将图片缓冲参数传递给图形处理器206之前对其进行更改。这样的更改可以包括(不作为限制)将对于(用于当前图片的参考图片集合中的)一个参考图片的参考采用对于不同参考图片的参考进行替代。在一个实现方式中,所更改的参考图片集合可以包括对于已经在参考图片集合中标识的参考图片的重复参考。在另一个实现方式中,替代参考图片可以是已经被图形处理器缓冲的不同参考图片。在又另一个实现方式中,替代参考图片可以对应于可以比在原始未更改的参考图片集合中标识的参考图片被图形处理器更快解码(例如,从容易地可用的编码图片数据和/或缓冲的参考图片)的编码图片。
[0028]图3图示了编码/解码过程300的示例。所图示的过程生成了修改的图片缓冲参数以用于在特技播放操作期间使用。类似过程可以生成修改的图片缓冲参数以用于在差错隐藏操作或者一些其他回放操作期间使用。诸如视频相机之类的记录设备捕获初始图片序列302。初始图片序列被保存在计算机存储器缓冲器中,并且被输入到将所捕获的视频数据转换成编码格式的编码器304中,如由用于图片A-N的数据集合306图示的。例如,数据集An ^和A 3图示了三个图片缓冲参数的集合,而A 4图示了可以用来对编码图片A解码的底层图像数据以及其他解码参数。三个图片缓冲参数ApAjP A 3表示规定了用于图片A的参考图片集合的三个图片缓冲参数。应该理解的是,其他图片缓冲参数(未示出)和其他数据可以用于各个视频图像的编码和解码。格式化器308用来形成可以跨通信网络312传输的已编码视频比特流310。应该理解的是,已编码视频比特流210还可以经由其他手段来存储和/或传输。
[0029]主处理系统从通信网络312接收已编码视频比特流310’。主处理系统的播放器314从已编码视频比特流310’的条带头部提取原始数据集316,其包括图片缓冲参数。在正常回放模式期间,原始数据集316 (例如,图片缓冲参数Αρ ^和A 3和其他数据A 4)通过接口被传递给图形处理器,以用于解码对应的编码图片来生成图片A、B、…N以用于显示。然而,在特技播放模式期间,解码器318可以修改原始数据集ApAjP A 3以例如创建新的图片缓冲参数(例如,A/、A2’、A3’)。(应该理解的是,取决于由播放器314执行的回放,可以修改图片缓冲参数中的一个或者多个一一并非图片缓冲参数的所有都需要被修改。这些一个或者多个修改的图片缓冲参数以及其他数据(例如,A4)被解码器318通过接口供应给图形处理器322,以产生稍微(或者甚至基本上)不同的解码图片A’、B’、C’、D’…N’。序列A’、B’、C’、D’…N’表示例如在快进特技播放操作期间显示的修改图片集324。
[0030]图4图示了可以用来构建一系列可显示图片的编码图片的示例序列400,这一系列可显示图片中的许多可以是参考图片。最终在视频显示器上显示的每个图片可以使用被称为图片间预测的技术从解码图片和零个或者更多参考图片的集合来构建。在图4中的箭头指示了哪些其他图片被用来解码当前编码图片,以生成用于由箭头所指的每个特定图片的可显示图片。图4示出了 1、P和B图片。I图片可由其自身解码,而不需要使用图片间预测来生成对应的可显示图片。因此,在图4中,没有箭头指向I图片。相反,P和B图片确实使用了图片间预测参考。因此,在图4中,各种箭头指向了这样的P和B图片。
[0031]在图4中,每个图片按照其图片类型由1、P或者B指定。而且,当每个图片使用对应于具有指向该特定图片的箭头的图片的参考图片来解码时,生成可显示图片。用于每个
1、P或者B的上标指示了对于这一系列图片而言在它们被串行地从已编码视频比特流中被解码时的正常解码次序。用于每个1、P或者B的下标指示了在正常回放模式期间从每个编码图片解码的图片的显示次序(即,正常显示次序)。因此,例如,图片W是在1:之后解码的第一图片,并且被用来产生在从V构建的图片之后显示的第四图片。
[0032]如较早前指出的,参考图片集合规定了用来解码当前图片以及可能地按照解码次序在编码视频序列中的所有随后图片的一个或者多个参考图片的列表。因此,在参考图片集合中规定的图片被缓冲以用于在解码当前图片和随后的图片时使用。在图4的所图示的示例中,用于正常前向回放中的前20个图片
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1