水平和垂直变换的并行处理的制作方法

文档序号:9794464阅读:375来源:国知局
水平和垂直变换的并行处理的制作方法
【技术领域】
[0001]本发明涉及视频译码,且更明确地说,涉及用于在译码视频数据时执行变换的技术。
【背景技术】
[0002]数字视频能力可并入到广泛范围的装置中,包括数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频电话会议装置及其类似物。数字视频装置实施视频压缩技术,例如通过MPEG-2、MPEG-4、ITU-T H.263,ITU-T
H.264/MPEG-4第10部分、高级视频译码(AVC)、目前正在开发的高效视频译码(HEVC)标准和此类标准的扩展部分定义的标准中描述的技术,以便更有效地发射、接收和存储数字视频?目息O
[0003]视频压缩技术包含空间预测及/或时间预测,以减少或移除视频序列中所固有的冗余。对于基于块的视频译码,一视频帧或片段可以分割成多个块。每一块可被进一步分害J。通过相对于同一图片或片段的相邻块中的参考样本使用空间预测来对经帧内译码(I)的图片或片段中的块进行编码。经帧间译码(P或B)图片或片段中的块可相对于同一图片或片段中的相邻块中的参考样本使用空间预测,或相对于其它参考图片中的参考样本使用时间预测。空间或时间预测产生用于待译码块的预测性块。残差数据表示待译码原始块与预测性块之间的像素差。
[0004]经帧间译码块是根据指向形成预测性块的参考样本块的运动向量和指示经译码块与预测性块之间的差的残差数据来编码。经帧内译码块是根据帧内译码模式和残差数据而编码。为了进一步压缩,可将残差数据从像素域变换到变换域,从而产生残差变换系数,接着可以对残差变换系数进行量化。

【发明内容】

[0005]本发明的技术大体上涉及视频译码过程中的视频数据的变换。视频译码器可在两个级中将二维(2D)变换应用于视频数据。缓冲器通常定位于第一级与第二级之间,这允许视频译码器在第二级的执行之前对来自第一级的经处理数据进行重新排序。根据本发明的方面,视频译码器可应用2D变换,而不对第一级与第二级之间的数据进行重新排序。以此方式,本发明的技术可减少或消除与视频数据的变换相关联的延迟。
[0006]在一实例中,一种在视频译码中变换视频数据的方法包含:将二维变换的第一级应用于时频数据值块,以产生第一级结果块;以及将二维变换的第二级应用于第一级结果块,而不对第一级结果进行重新排序,以产生第二级结果块。
[0007]在另一个实例中,一种用于在视频译码中变换视频数据的设备包含一或多个处理器,其经配置以:将二维变换的第一级应用于时频数据值块,以产生第一级结果块;且将二维变换的第二级应用于第一级结果块,而不对第一级结果进行重新排序,以产生第二级结果块。
[0008]在另一个实例中,一种用于在视频译码中变换视频数据的设备包含:用于将二维变换的第一级应用于时频数据值块以产生第一级结果块的装置;以及用于将二维变换的第二级应用于第一级结果块而不对第一级结果进行重新排序以产生第二级结果块的装置。
[0009]在另一实例中,一种上面存储有指令的非暂时性计算机可读媒体,所属指令在被执行时,致使一或多个处理器:将二维变换的第一级应用于视频数据值块,以产生第一级结果块;且将二维变换的第二级应用于第一级结果块,而不对第一级结果进行重新排序,以产生第二级结果块。
[0010]在附图和以下描述中阐述本发明的一或多个方面的细节。本发明中所描述的技术的其他特征、目标和优点将从描述及图式且从权利要求书而显而易见
【附图说明】
[0011]图1是说明可实施本发明的技术的实例视频编码和解码系统的框图。
[0012]图2是说明可实施本发明的技术的实例视频编码器的框图。
[0013]图3是说明可实施本发明的技术的实例视频解码器的框图。
[0014]图4是说明可实施本发明的技术的实例视频译码器的一部分的框图。
[0015]图5说明根据本发明的技术的一系列矩阵运算。
[0016]图6是说明可实施本发明的技术的实例视频译码器的一部分的框图。
[0017]图7说明根据本发明的技术的一系列矩阵运算。
[0018]图8是说明根据本发明的技术的用于在视频译码中变换残差数据的实例过程的流程图。
[0019]图9是说明根据本发明的技术的用于在视频译码中变换残差数据的另一实例过程的流程图。
【具体实施方式】
[0020]视频译码装置(例如视频编码装置或视频解码装置)可通过应用空间(帧内)预测和/或时间(帧间)预测技术减少或去除视频序列中固有的冗余来实现视频压缩。举例来说,视频译码器可通过帧内(I)预测(即空间预测)或帧间(P或B)预测(即时间预测)来导出预测值。在识别预测值后,视频译码器可确定原始视频数据块与其预测值之间的差。此差可被称为预测残差,且指示待译码块与参考块(即,预测值)之间的像素差。
[0021]为实现较好压缩,通常应用变换(离散余弦变换(DCT)、整数变换、卡亨南-洛维(Karhunen-Loeve,K-L)变换或其它变换)来变换所述预测残差。变换将空间域中的像素差值转换为变换域(例如,频域)中的变换系数。
[0022]预测残差通常包含具有三个样本阵列的视频数据的亮度样本(Y)连同对应的色度样本(Cb,Cr)。如下文更详细地描述,变换单元可指一亮度变换块和两个对应的色度变换块。对于变换单元中的每一变换块,变换系数通常布置成二维(2D)阵列。因此,视频译码器通常将2D变换应用于预测残差。
[0023]视频译码器通常在两个级中应用2D变换。举例来说,视频译码器可将水平定向的第一级应用于残差值。视频译码器可接着将垂直定向的第二级应用于第一级的结果(或反之亦然)。缓冲器通常定位于第一级与第二级之间,这允许视频译码器在第二级的执行之前对来自第一级的经处理数据进行重排序。举例来说,当在垂直定向的第二级之前执行水平定向的第一级时,视频译码器可转置级之间的数据(从行序到列序),使得数据经合适布置以用于第二级运算。也就是说,视频译码器可在第二级运算之前,转置所述数据,使得数据行布置成列。
[0024]上述缓冲可在变换过程中引入延迟。举例来说,为了以上文所描述的方式转置来自第一级的值,视频译码器在开始第二级运算之前必须等待整个第一级完成。转置过程本身也可引入延迟。这些延迟可随着块大小而增加。举例来说,变换相对较大的块(例如高效视频译码(HEVC)标准中的32X32)可导致较大的相关联延迟。
[0025]本发明的方面通常涉及2D变换的高效应用。举例来说,根据本发明的方面视频译码器(例如视频编码器或视频解码器)可应用2D变换,而不对第一级与第二级之间的数据进行重新排序,如上文所描述。重新排序数据可通常指代改变数据的布置,其可包含转置数据,使得数据行重新布置以形成数据列。因此,视频译码器可与和第二级相关联的运算并行地执行与第一级相关联的运算。以此方式,视频译码器可减少或消除与变换相关联的延迟。
[0026]在一个实例中,视频译码器可以第二级所确定的次序来将值从2D变换的第一级直接馈送到2D变换的第二级(下文称为“先转置”过程)。在另一实例中,视频译码器可以第一级的次序执行第二级运算,从而产生局部第二级值。视频译码器可集合所述局部第二级值,直到整个第二级完成为止(下文称为“后转置”过程)。
[0027]图1是说明可利用用于在视频译码中执行变换的技术的实例视频编码和解码系统10的框图。如图1中所示,系统10包含源装置12,所述源装置提供将在稍后时间由目的地装置14解码的经编码视频数据。明确地说,源装置12经由计算机可读媒体16将视频数据提供到目的地装置14。源装置12和目的地装置14可包括多种多样的装置中的任一者,包含桌上型计算机、笔记型(即,膝上型)计算机、平板计算机、机顶盒、电话手持机(例如所谓的“智能”电话)、所谓的“智能”平板电脑、电视机、相机、显示装置、数字媒体播放器、视频游戏控制台、视频流式传输装置或类似者。在一些情况下,源装置12和目的地装置14可能经装备以用于无线通信。
[0028]目的地装置14可经由计算机可读媒体16接收待解码的经编码视频数据。计算机可读媒体16可包括能够将经编码的视频数据从源装置12移动到目的地装置14的任何类型的媒体或装置。在一个实例中,计算机可读媒体16可包括使得源装置12能够实时地将经编码视频数据直接发射到目的地装置14的通信媒体。经编码视频数据可根据通信标准(例如,无线通信协议)来调制,并且发射到目的地装置14。通信媒体可包括任何无线或有线通信媒体,例如射频(RF)频谱或一或多个物理传输线。通信媒体可形成基于包的网络(例如,局域网、广域网或例如因特网等全球网络)的部分。通信媒体可包含路由器、交换器、基站或可用于促进从源装置12到目的地装置14的通信的任何其它设备。
[0029]在一些实例中,经编码数据可从输出接口22输出到存储装置。类似地,经编码数据可由输入接口从存储装置存取。存储装置可包含多种分布式或本地存取的数据存储媒体中的任一者,例如硬盘驱动器、蓝光光盘、DVD、⑶-R0M、快闪存储器、易失性或非易失性存储器或用于存储经编码视频数据的任何其它合适的数字存储媒体。在另一实例中,存储装置可对应于文件服务器或另一可存储源装置12产生的经编码视频的中间存储装置。
[0030]目的地装置14可经由流式传输或下载从存储装置存取经存储的视频数据。文件服务器可为任何类型的能够存储经编码的视频数据且将经编码的视频数据发射到目的地装置14的服务器。实例文件服务器包含网络服务器(例如,用于网站)、FTP服务器、网络连接存储(NAS)装置或本地磁盘驱动器。目的地装置14可经由任何标准数据连接(包含因特网连接)来存取经编码视频数据。这可包含无线通道(例如,W1-Fi连接)、有线连接(例如,DSL、电缆调制解调器等)。,或适合于存取存储在文件服务器上的经编码视频数据的两者的组合。经编码视频数据从存储装置的传输可为流式传输、下载传输或其组合。
[0031]本发明的技术未必限于无线应用或设定。所述技术可应用于视频译码以支持多种多媒体应用中的任一者,例如,空中协议电视广播、有线电视传输、卫星电视传输、因特网流式视频传输(例如,动态自适应HTTP流式传输(DASH))、编码到数据存储媒体上的数字视频、存储在数据存储媒体上的数字视频的解码或其它应用。在一些实例中,系统10可经配置以支持单向或双向视频传输,以支持例如视频流式传输、视频重放、视频广播和/或视频电话等应用。
[0032]在图1的实例中,源装置12包含视频源18、视频编码器20和输出接口 22。目的地装置14包括输入接口 28、视频解码器30和显示装置32。根据本发明,源装置12的视频编码器20可经配置以应用用于在视频译码中执行变换的技术。在其它实例中,源装置和目的地装置可包含其它组件或布置。举例来说,源装置12可从外部视频源18(例如外部相机)接收视频数据。同样,目的地装置14可与外部显示装置介接,而非包含集成显示装置。
[0033]图1的所说明系统10仅为一个实例。用于执行变换的技术可由任何数字视频编码和/或解码装置来执行。尽管本发明的技术通常由视频编码装置执行,但所述技术还可通过视频编码器/解码器(通常被称作“编解码器”)执行。此外,本发明的技术还可由视频预处理器来执行。源装置12和目的地装置14仅为此类译码装置的实例,其中源装置12产生用于发射到目的地装置14的经译码视频数据。在一些实例中,装置12、14可以实质上对称的方式操作,使得装置12、14中的每一者包含视频编码和解码组件。因此,系统10可支持视频装置12、14之间的单向或双向视频传输,以例如用于视频流式传输、视频重放、视频广播或视频电话。
[0034]源器件12的视频源18可包含视频捕获装置,例如摄像机、含有先前所捕获视频的视频存档和/或用于接收来自视频内容提供者的视频的视频馈送接口。作为另一替代方案,视频源18可产生基于计算机图形的数据作为源视频,或直播视频、存档视频与计算机产生的视频的组合。在一些情况下,如果视频源18为摄像机,那么源装置12和目的地装置14可形成所谓的相机电话或视频电话。然而,如上所提到,本发明中所描述的技术一般可适用于视频译码,且可应用于无线和/或有线应用。在每一种情况下,可由视频编码器20编码所捕获、经预先捕获或计算机产生的视频。经编码视频信息可接着由输出接口 22输出到计算机可读媒体16上。
[0035]计算机可读媒体16可包含瞬时媒体,例如无线广播或有线网络发射,或存储媒体(也就是说,非暂时性存储媒体),例如硬盘、快闪驱动器、压缩光盘、数字视频光盘、蓝光光盘或其它计算机可读媒体。在一些实例中,网络服务器(未图示)可从源装置12接收经编码视频数据,且例如经由网络发射将经编码视频数据提供到目的地装置14。类似地,媒体生产设施(例如光盘冲压设施)的计算装置可从源装置12接收经编码的视频数据,并且生产含有经编码的视频数据的光盘。因此,在各种实例中,计算机可读媒体16可理解为包含各种形式的一或多个计算机可读媒体。
[0036]目的地装置14的输入接口28从计算机可读媒
当前第1页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1