组合的并行流水线视频编码器的制造方法
【技术领域】
[0001]描述的实施方式总体涉及一种用于提供组合的并行流水线视频编码的设备和方法。更具体地，这些实施方式涉及以组合的并行流水线方式部分使用软件和部分使用专用硬件来实现视频编码的设备和方法。
[0002]这些实施方式尤其在手持数码相机、摄像机和移动终端系统(例如具有内置摄像机的手机、智能电话、平板电脑)中获得应用。这些实施方式还在诸如针对数字电视的机顶盒的多媒体装置中获得应用。这些实施方式可应用于例如VPx(例如VP8)和H264标准的各种视频编码标准。
【背景技术】
[0003]在本章节中所描述的方法可被实行，但未必是先前已构想或实行的方法。因此，除非本文中另有指示，否则在本章节中所描述的方法不是对于本申请中的权利要求的现有技术，并且不因包含在本章节中而被承认作为现有技术。
[0004]随着相机和显示器的分辨率的提高，对这些装置的实时视频解码的要求在所需要的处理资源方面变得越来越苛刻。此外，随着在质量、压缩率、输入分辨率和实时约束方面的要求提高，视频标准不断演变。因此，这些苛刻的要求经历频繁改变。对于移动装置，进一步的要求是这样的视频编码还必须是功率高效的。
[0005]一般来讲，针对特定任务的专用硬件(HW)解决方案将通常在处理性能和功率效率方面提供最佳解决方案。然而，由于针对视频参数的每个改变(诸如分辨率的提高)或者针对编码所采用的标准的改变必须开发新的装置，因此专用HW解决方案通常不是特别灵活。另外，考虑到开发这样的解决方案比开发软件解决方案所花费的时间增多，这样的解决方案在快速变化的市场下通常是不可行的。
[0006]相反地，尽管中央处理单元(CPU)的性能提高以及可用在移动平台上的嵌入式(PU的数量普遍增加，但纯基于软件的解决方案通常不能提供足够快速的高分辨率实时视频编码的性能。另外，通过增大CPU频率来改善该性能，装置的功耗也增加。这种功耗的增加会导致电池寿命差、在移动装置中难以耗散功率，甚至损坏该装置。
[0007]为了改善处理性能，可以采用HW或软件(SW)的形式实现并行处理的系统。然而，视频编码算法所固有的数据相关性使得难以实现多个处理单元的并行化。因此，如果以SW算法的形式实现并行化，则不容易体现在移动平台上的多个CPU的优点。另外，针对有效的并行处理，处理单元应极少地交换信息，一般每张图片不超过几次。
[0008]因此，需要向具有处理能力的移动装置提供视频编码器，以实现实时视频编码、同时足够灵活地应对编码标准的改变、并同时以低功率运行。
[0009]US 2009 0274213公开了一种基于视频序列中的图像内的像素块的帧内编码的视频编码系统。
[0010]本文中描述的实施方式的目的在于克服或缓解上述限制中的至少一些限制。
【发明内容】
[0011]在根据实施方式的第一方面，提供一种在流水线处理系统中编码视频数据的方法，该视频数据包括数字图像帧的序列，所述方法包括:将所述序列中的每帧划分为多个区段，每个区段包括跨帧的水平带；将每个区段细分为多个宏块；以及对每个区段中的每个宏块的表示进行编码以形成输出流，其中，在流水线处理系统的流水线中的相邻步骤期间处理每帧的区段。
[0012]因此，有利地，可以采用流水线方式有效地划分并处理序列内的帧的处理。
[0013]在替选的或补充的实施方式中，帧被划分为的区段的数量等于在流水线中的处理步骤的数量。因此，有利地，该方法可确保该流水线得到有效利用。
[0014]在替选的或补充的实施方式中，每个区段包括基本相同数量的像素。因此，有利地，可对每个区段实施相同的处理资源和配置。
[0015]在替选的或补充的实施方式中，使用帧内估计或运动预测及补偿的过程来生成每个宏块的表;^。
[0016]在替选的或补充的实施方式中，每帧区段的数量是4。因此，有利地，编码任务可被划分为4个并行进程。增加给定任务被划分为的并行进程的数量趋向于减少每个进程所花费的时间。然而，相反地，将任务划分为更多进程具有提高在帧内的区段之间的流水线同步要求的影响。进而由于这必然需要中断主机上的处理，因此这趋向于导致开销延迟。因此，通过将区段的数量选择为4，可进行以并行方式处理帧和由划分帧而生成同步延迟之间的平衡。
[0017]在替选的或补充的实施方式中，针对每个宏块，选择帧内估计表示或者帧间估计表示，用以编码在输出流中。因此，有利地，可选择针对特定宏块的最佳表示用以编码。
[0018]在替选的或补充的实施方式中，使用来自序列中的原始帧的相应的像素来生成针对每个宏块的帧内估计表示。因此，有利地，由于帧内估计表示通常不彼此依赖，因此可避免对于帧中的不同宏块的帧内估计表示的数据相关性。
[0019]在替选的或补充的实施方式中，从序列中的先前编码的帧生成针对每个宏块的运动估计及预测表示。
[0020]在替选的或补充的实施方式中，运动补偿及预测包括针对每个宏块或子宏块生成运动估计。
[0021]在替选的或补充的实施方式中，在图形处理器上执行帧内估计和运动补偿，用软件执行编码，以及用专用硬件执行运动估计。因此，有利地，不同的处理任务可被分配给最适合于实现该特定任务的处理资源。
[0022]在第二方面，提供一种用于编码视频数据的流水线处理设备，该视频数据包括数字图像帧的序列，所述设备包括:用于将所述序列中的每帧划分为多个区段的部件，每个区段包括跨帧的水平带；用于将每个区段细分为多个宏块的部件；以及用于对每个区段中的每个宏块的表示进行编码以形成输出流的部件，其中，每帧的区段在流水线处理系统的流水线中的相邻步骤期间被处理。
[0023]有利地，第二方面的设备可包含在便携式装置中，该便携式装置包括手机、平板电脑、数码相机或数码摄像机中的一者或多者。
[0024]另一方面涉及一种包括计算机可读指令的计算机程序产品，当所述计算机可读指令在计算机系统上运行时，所述计算机可读指令使该计算机系统执行第一方面的方法。另一方面涉及包括先前方面的计算机程序产品的计算机可读介质。
【附图说明】
[0025]在附图的各图中以示例的方式而非以限制的方式示出本发明，在附图中，相同的附图标记表示相同的元件，其中:
[0026]-图1示出当以不同的方式配置视频编码方法时应用的权衡；
[0027]-图2示出根据所描述的实施方式的划分图像序列中的帧以备处理的方法；
[0028]-图3示出根据所描述的实施方式的视频编码方法；
[0029]-图4示出在图3的方法中执行的步骤的次序的细节；以及
[0030]-图5示出在图3的方法中使用的数据之间的相关性。
【具体实施方式】
[0031]图1示出了在可实现视频编码方法的不同方式之间的权衡。如图1所示，通过使用纯基于软件的解决方案，可达到高的灵活度。然而，这种解决方案将使用按序算法，因此往往是缓慢的。可替选地，如果实施纯基于GPU(图形处理单元)的解决方案，则这将允许大规模并行计算。然而这种解决方案不能够容易地处理数据相关性。最后，如果实施专用HW解决方案，则这将允许借助流水线算法的高速处理速度。然而，如上所讨论的，这种解决方案缺乏灵活性。
[0032]通过组合每种解决方案(即SW、HW和GPU)的要素，如下所述的实施方式能够实现保有基于GPU的解决方案和基于HW的解