用于视频编码的方法及系统的制作方法

专利名称：用于视频编码的方法及系统的制作方法
技术领域：
本发明涉及视频处理，更具体地说，涉及一种分布式视频编码的方法和系统。
背景技术：
视频通讯系统在不断地增强以满足例如缩减成本、减小尺寸、提高服务质量和增大数据速率的要求。ITU-T(国际通讯联合会)视频编码专家组(VCEG)和ISO/IEC(国际标准化组织/国际电工委员会)运动图像专家组(MPEG)草拟了一个视频编码标准，题为《ITU-T推荐标准H.264和ISO/IECMPEG-4高级视频编码》(H.264)。H.264包括空间预测、时间预测、变换、交错编码和无损熵编码(lossless entropy coding)。
虽然有多种高级处理技术可利用，但该标准并没有规定遵循H.264的视频编码器的设计以及分布式编码器处理的方法。而该通讯系统的优化，取决于视频编码器的设计。
本申请的后续部分将结合附图对本发明进行阐述。通过把本发明的一些方面与上述的系统进行比较，对本领域的技术人员来说，常规或传统方法的局限性和缺点是显而易见的。

发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种编码视频数据的方法和系统，后文将结合附图以及权利要求对本发明进行充分的阐述。
根据本发明的一方面，提供一种用于编码图像的方法，所述方法包括在第一时间区间内编码图像的第一部分；和在第二时间区间内编码图像的第二部分，其中第一时间区间与第二时间区间交迭。
优选地，第一部分包括与第二部分相邻的边缘区，其中编码第一部分包括以更高的准确度编码该边缘区。
优选地，第一部分包括与第二部分相邻的边缘区，其中编码第一部分包括以更细地量化编码该边缘区。
优选地，所述方法还包括将编码后的第一部分与编码后的第二部分合并，从而生成编码后的图像输出。
优选地，第一部分与第二部分都包括整数个的宏块。
优选地，开始编码第一部分的时间与开始编码第二部分的时间不同。
根据本发明的一方面，提供一种用于视频编码的系统，所述系统包括第一分割处理器，用来在第一时间区间内编码图像的第一部分；和第二分割处理器，用来在第二时间区间内编码图像的第二部分，其中第一时间区间与第二时间区间交迭。
优选地，第一部分包括边缘区，该边缘区包括一组与第二部分相邻的宏块，其中，编码第一部分包括以更高的准确度编码该边缘区。
优选地，第一部分包括边缘区，该边缘区包括一组与第二部分相邻的宏块，其中，编码第一部分包括以更细地量化编码该边缘区。
优选地，该系统还包括图像分割器，用于将图像分成两个或多个部分。
优选地，该系统还包括图像合并器，用于将编码后的第一部分与编码后的第二部分合并以生成编码后的图像输出。
优选地，所述第一分割处理器开始编码所述第一部分的时间与所述第二分割处理器开始编码所述第二部分的起始时间不同。
优选地，所述系统还包括主机，用于把一组共用参数发送到所述第一分割处理器和所述第二分割处理器。
根据本发明的一方面，提供一种用于视频编码的集成电路，所述集成电路包括存储器，用于存储图像的第一部分和第二部分；第一电路，可操作地用来编码图像的第一部分并生成第一编码输出；和第二电路，可操作地用来编码图像的第二部分以生成第二编码输出，其中，所述第一编码输出独立于所述第二编码输出。
优选地，对与图像第二部分相邻的图像第一部分的一组宏块应用量化时，该量化至少更细1级。
优选地，以更少的信息丢失来编码与图像第二部分相邻的图像第一部分的一组宏块。
优选地，所述集成电路还包括外设部件互连，用于传送第一电路与第二电路中使用的一组共用参数。
优选地，所述一组共用参数包括补足增强信息。
优选地，所述一组共用参数包括序列参数设定。
优选地，所述一组共用参数包括图像参数设定。
通过后文的阐述，将能更全面了解本发明的这些和其他优点和新颖性特征。


下面将结合附图及实施例对本发明作进一步说明，附图中图1A是根据本发明实施例被分成2部分的图像。
图1B是根据本发明实施例被分成3部分的图像。
图2是根据本发明实施例的典型视频编码系统的框图；图3是根据本发明实施例的视频编码时间表的示意图；图4是根据本发明实施例的典型视频编码方法的流程图；图5是根据本发明实施例的H.264编码标准的典型图像的示意图；图6是根据本发明实施例的典型H.264层接口的示意图；
图7是根据本发明实施例的时间编码宏块的示意图；图8是根据本发明实施例的空间编码宏块的示意图；图9是根据本发明实施例的典型分割处理器的框图。
具体实施例方式
根据本发明的某些方面，提供了一种视频编码器中分布处理的方法和系统。与单个电路独立处理相比，在两个或更多的独立电路之间分布处理能处理更多的数据。多个独立编码器能并行处理图像的多个部分。在每个独立编码器中，能以更高的准确度、更少的信息丢失对接近另一部分的一部分内的视频数据进行编码，以减少部分边界的区别。更高的准确度由量化器来实现，该量化器被偏置以提供更细的量化来接近各部分的边界。
对于一些视频编码应用程序，在两个或多个独立电路之间分布图像编码是有利的。图1A和图1B示出了尺寸为1280×720像素的图像分割。图1A中，图像100被分成第一部分101和第二部分103。例如在本发明的一些实施例中，图像100被分割，将宏块的第一22行(352行像素)指定为第一部分101，将宏块的第二23行宏块(368行像素)指定为第二部分103。为提高分割区边缘如线105的平滑性和连贯性，视频编码器对部分边缘处的宏块107进行特别的处理。部分101和部分103边缘处的宏块107使用能导致更细的梯级(finer steps)的量化级。H.264中有52种量化级。边缘宏块被偏置，以使在特定的情形下量化器采用与通常的量化级相差至少1级的量化级。
图1B中，图像100被分成第一部分111、第二部分113和第三部分115。在该实施例中，每个部分111、113和115都包括15行宏块(240行像素)。如参照1A中所述，通过在区段121和123处增加比特分辨率以使线117和119不易被觉察到。
图2是根据本发明实施例的典型视频编码系统200的示意框图。视频编码系统200包括2个或更多个分割处理器201和203。来自图像分割器205的第一部分213馈入第一分割处理器201；来自图像分割器205的第二部分215馈入第二分割处理器203。每个分割处理器201和203都执行编码。图像合并器207将第一编码部分217与第二编码部分219组合，从而形成编码后的图像输出221。
图像分割器205可以是用来存储当前图像211的缓冲器。每个部分213和215都包括当前图像的地址。主机209用于共享控制信息223。SPS(序列参数设置)和PPS(图像参数设置)233保留在第一分割处理器201和/或第二分割处理器203中。可选择地，主机209能接收SPS和PPS 233。边信息(sideinformation)能通过主机209共享。主机209通过外设部件互连(PCI)231对每个分割处理器201和203进行轮询(poll)225与227，主机209通过控制229控制比特流合并器207。
在另一实施例中，分割处理器201和203接收整个图像211并处理相应的部分。在又一实施例中，主机209执行比特流合并。
图3是部分处理的时间表。对于单芯片处理器的视频编码，示出了编码图像n和图像n+1的时间线301。对于双芯片处理器的视频编码，示出了编码图像n的部分1和图像n+1的部分1的时间线303，也示出了编码图像n+1的部分2和图像n+1的部分2的时间线305。该处理被分布，且处理的起始点309和311可以是交错的。
图4是根据本发明实施例、对视频编码图像所需要的处理进行分布的典型方法的流程图。步骤401中，在第一时间区间内编码图像的第一部分。所述第一部分包括邻近第二部分的边缘区。第一部分的编码包括包括以较高的准确度对边缘区进行编码。例如，所述编码包括量化，量化时，所述边缘区具有更细的量化。更细的量化能减少信息丢失并生成更高的准确度。
步骤403中，当第一时间区间与第二时间区间交迭时，在第二时间区间内编码图像的第二部分。开始编码第一部分的时间与开始编码第二部分的时间不同。第一部分和第二部分可采用相同的编码方法。第二部分中与第一部分邻近的边缘区有更细的量化。
步骤405中，将编码后的第一部分与编码后的第二部分合并，从而生成编码图像输出。为了分布视频编码器中的处理，并使所述分布对视频解码器是透明的，编码后的部分以一致的速率合并到编码后的图像输出。在合并后可进行附加的编码。
本发明能应用到以多种标准编码的视频数据中，其中一个标准是H.264。这里对H.264进行概述。而后文将对H.264的典型的分割处理器进行描述。
H.264视频编码标准ITU-T视频编码专家组(VCGE)和ISO/IEC运动图像专家组(MPEG)草拟了题为《ITU-T推荐标准H.264和ISO/IEC MPEG-4高级视频编码》的视频编码标准，这里通过各种目的的引用合并在此。H.264标准中，在逐个宏块的基础上编码视频。本文中所用到的通用术语“图像”也称为帧、域、切片、区块、宏块或部分。
通过使用H.264压缩标准，在保护图像质量的同时，能通过时间、空间和光谱压缩技术的组合来压缩视频。为在小的数据带宽中达到指定的服务质量(QoS)，视频压缩系统使用了视频源的冗余，以解除与时间、空间和光谱采样依赖性的关联。熵编码器通过更高的顺序相关性(order correlations)区分依然内嵌在视频流中的统计冗余。高级熵编码器利用关联模型(contextmodeling)来适应源的变化并达到更好的压缩效果。
H.264编码器能生成3种类型的编码图像内编码(I)、预测(P)和双向(B)图像。I图像独立于其他图像被编码。在其他图像类型编码过程中，参照I图像，且I图像以最小量的压缩进行编码。P图像编码包括与之前的I或P图像有关的运动补偿。B图像是需要过去的和将来的参考图像(I或P)的以内插值替换的图像。图像类型I采用空间冗余，而类型P、类型B都采用空间和时间冗余。通常，I图像比P图像要求更多比特，P图像比B图像要求更多比特。编码后，帧按照确定性周期序列排列，例如“IBBPBB”或“IBBPBBPBBPBB”，所述确定性周期序列称为图像组(GOP)。
现在参考图5，图5所示为典型图像501的框图。图像501与连续的图像503、505、507一起形成视频序列。图像501包括二维像素网格。对于彩色视频，每一色彩成分与唯一的二维像素网格关联。例如，图像包括亮度、色度红(chroma red)、和色度蓝(chroma blue)成分。因此，这些成分与亮度网格509、色度红网格511和色度蓝网格513关联。当网格509、511、513在显示设备上重叠时，在图像被捕捉的期间内，产生的结果是视野中的图像。
通常，与色度红或色度蓝特征相比，人类的眼睛对视频的亮度特征有更强的感知性。因此，相对于色度红网格511和色度蓝网格513，亮度网格509中包含更多的像素。H.264标准中，色度红网格511和色度蓝网格513在每个方向上具有的像素数等于亮度网格509的一半。因此，色度红网格511和色度蓝网格513的总像素为亮度网格509的四分之一。
亮度网格509能被分成16×16个像素块。对于亮度块515，相应的有在色度红网格511内的8×8色度红块517和相应的在色度蓝网格513内的8×8色度蓝块519。块515、517和519都被看作宏块，所述宏块是切片组(slicegroup)的一部分。目前，4∶2∶0二次取样是H.264规范中使用的唯一色彩空间。
用于视频编码和压缩的特定算法形成视频编码层(VCL)，用于传送VCL的协议称为网络访问层(NAL)。H.264标准允许在VCL的信号处理技术与NAL的运输导向机制之间有整洁接口(clean interface)，因此，在采用多种标准的网络中，基于源的编码(source-based)不是必需的。图6是典型的H.264接口600的示意图。VCL 603通过H.264中指定的编码处理有效地表示视频内容。NAL 601格式化视频的VCL表示并以合适的方式为多种传输层或存储媒介提供报头信息。NAL 601描述访问单元的组件。NAL 601内的数据组是NAL单元，可分为VCL NAL单元617或非VCL NAL单元611。
VCL NAL单元617包括图像的编码切片数据。该访问单元中包括一个或多个切片数据NAL单元607和609。
非VCL NAL单元611包括附加控制数据605，如补足增强信息(SEI)和参数设置信息。SEI单元619包括增强编码视频信号的时间信息和其他数据。SEI单元619是访问单元的一部分，在VCL NAL单元617之前。参数设置信息是重要的报头数据，所述报头数据能应用到许多VCL NAL单元617中。参数设置信息被认为是几乎不变的，且与许多非VCL NAL单元611对应。
参数设置单元是序列参数设置(SPS)单元625或图像参数设置(PPS)单元621。SPS单元625应用到一系列被称为编码视频序列的连贯编码视频图像，PSS单元621应用到编码视频序列中一个或多个独立图像。PPS单元621和SPS单元625也是访问单元的一部分，但PPS单元621和SPS单元625能在VCL NAL单元611前面发送，也能被重复以避免数据丢失。VCL NAL单元617识别关联的PPS单元621，PPS单元621识别关联的SPS单元625。因此，不必在所有的VCL NAL单元617中重复参数设置。
现在参考图7，示出了空间编码宏块的框图。在双向编码中，从之前的图像701中的基准块707和之后到达的图像705的基准块711中预测当前图像703的当前块709。因此，把基准块707、711与当前块709之间的加权平均值算作预测误差。预测误差与预测块的标识都被编码。运动矢量713和715识别该预测块。
权重也可被明确地编码或者隐藏在包含基准块的图像的标识中。权重被隐藏在包含基准块的图像与包含当前块的图像之间的位距中。
现在参考图8，图8所示为空间编码宏块的框图。空间预测也称为内预测，包括从邻近的像素预测图像像素。能以16X 16模式、8X8模式或4×4模式预测宏块的像素。宏块被编码成预测误差的组合，所述预测误差表示其区块。
4×4模式下，宏块801中是4×4的块。从左边缘基准块803、角基准块805、顶部边缘基准块807和顶部右侧基准块809的组合中预测宏块801中的4×4块。基准块803、805、807和809的预测像素与宏块801之间的差异就是预测误差。该预测误差与预测像素、预测模式的标识一起被编码。
现在参考图9，图9所示为典型的分割处理器900的框图。分割处理器900包括空间预测器901、时间预测器903、模式判定引擎905、变换器907、量化器908、反变换器909、反量化器910和帧缓冲器913。根据本发明的一些实施例，分割处理器900可独立于其它部分处理一个部分，因此一个部分内的运动矢量指的是该部分内的数据。
空间预测器901仅需要当前图像919的内容。空间预测器901接收当前图像919和产生与图8所示的基准块相应的空间预测951。
空间预测图像是内编码的。亮度宏块被分成4×4的块或16×16的块。4×4的宏块有9种可用的预测模式；16×16的宏块有4种可用的预测模式。色度宏块是8×8的块，有4种可能的预测模式。
时间预测器903中(即运动估测器)，采用一组运动矢量从基准块949中估测当前图像919。时间预测器903接收当前图像919和存储在帧缓冲器913内的一组基准块949。时间编码的宏块能被分成16×8、8×16、8×8、4×8、8×4或4×4的块。宏块中每个块好比另一图像的一个或多个预测块，所述另一图像在时间上位于所述当前图像的前面或后面。运动矢量描述块之间的空间位移并标识预测块。
模式判定引擎905接收空间预测951和临时预测947，并根据率失真优化选择预测模式。所选择的预测921被输出。
一旦选择了模式，对应的预测误差925就是当前图像919与选择的预测921之间的差异923。变换器907将表示块的预测误差925变换成变换值927。在这种临时预测的情况下，预测误差925与运动矢量一起被变换。
所述变换采用自适应块尺寸变换(ABT)。用来变换编码预测误差925的块尺寸与用来预测的块尺寸相对应。通过低复杂度的4×4矩阵、独立于块模式来变换预测误差，该变换过程伴随着量化级的适当比例缩放，约为4×4离散余弦变换(DCT)。该变换应用到水平和垂直方向。当宏块被编码成内16×16时，使用4×4 Hardamard变换对所有16个4×4的块的DC系数进行变换。
量化器908量化变换值927。量化器908被偏置，从而为两个或多个部分的邻近边界提供更细的量化。边缘处的宏块被不同地处理，以生成更光滑和更连续的图像，并减少部分的边界的差异。H.264中，有52个量化级。边缘宏块被偏置，因此在特定情形下量化器使用与通用级别至少不同1级的量化级别。
量化后的变换系数929也被馈入反量化器910以生成输出931。输出931被传递到反变换器909以生成再生误差935。原来的预测921与再生误差935被加和937，以再生存储在帧缓冲器913中的基准图像939。
MEPG-4规定了两种类型的熵编码前后自适应二进制算术编码(CABAC)和前后自适应可变长度编码(CAVLC)。分割处理器900包括熵编码器911以接收量化后的变换系数929。可选地，合并来自两个或多个分割处理器900的量化后的变换系数929后，再执行熵编码。
本文中阐述的实施例可以作为组件级(board level)产品、专用集成电路(ASIC)、或者是与系统中其他部分如协处理器集成的各种级别的视频编码电路来实现。集成电路把视频数据存储在存储器中，并采用算术逻辑来编码视频输出。
视频处理器电路的集成度主要由速度和成本考虑决定。由于现代处理器混杂的特性，所以采用商业可用的处理器是可能的，所述商业可用的处理器可在ASIC设备外部实现。
如果该处理器能作为ASIC核心或逻辑块，那么该商业可用的处理器可作为ASIC设备的一部分来实现，其中，因为指令存储在存储器中，所以一些特定的功能能在固件中实现。可选地，所述一些特定的功能也能以由处理器控制的硬件加速器单元来实现。
虽然本发明是参照一些实施例来阐述的，但本领域的技术人员可知晓，可不脱离本发明的范围做出各种变化以及用等同条件替代。
另外，为适应本发明技术中的特定条件或材料，可做出许多修改，而不脱离其范围。例如，虽然阐述本发明时以MPEG-4编码的视频数据为重点，但本发明能应用到以各种标准编码的视频数据中。
因此，本发明不局限于所公开的特定实施例，本发明包括落入权利要求范围内的所有的实施例。
权利要求
1.一种用于视频编码的方法，其特征在于，所述方法包括在第一时间区间内编码图像的第一部分；和在第二时间区间内编码图像的第二部分，其中第一时间区间与第二时间区间交迭。
2.根据权利要求1所述的方法，其特征在于，第一部分包括与第二部分相邻的边缘区，其中编码第一部分包括以更高的准确度编码该边缘区。
3.根据权利要求1所述的方法，其特征在于，第一部分包括与第二部分相邻的边缘区，其中编码第一部分包括以更细地量化编码该边缘区。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括将编码后的第一部分与编码后的第二部分合并，从而生成编码后的图像输出。
5.一种用于视频编码的系统，其特征在于，所述系统包括第一分割处理器，用来在第一时间区间内编码图像的第一部分；和第二分割处理器，用来在第二时间区间内编码图像的第二部分，其中第一时间区间与第二时间区间交迭。
6.根据权利要求5所述的系统，其特征在于，第一部分包括边缘区，该边缘区包括一组与第二部分相邻的宏块，其中，编码第一部分包括以更高的准确度编码该边缘区。
7.根据权利要求5所述的系统，其特征在于，第一部分包括边缘区，该边缘区包括一组与第二部分相邻的宏块，其中，编码第一部分包括以更细地量化编码该边缘区。
8.一种用于视频编码的集成电路，其特征在于，所述集成电路包括存储器，用于存储图像的第一部分和第二部分；第一电路，可操作地用来编码图像的第一部分并生成第一编码输出；和第二电路，可操作地用来编码图像的第二部分以生成第二编码输出，其中，所述第一编码输出独立于所述第二编码输出。
9.根据权利要求8所述的集成电路，其特征在于，对与图像第二部分相邻的图像第一部分的一组宏块应用量化时，该量化至少更细1级。
10.根据权利要求8所述的集成电路，其特征在于，以更少的信息丢失来编码与图像第二部分相邻的图像第一部分的一组宏块。
全文摘要
本发明涉及用于编码视频数据的方法及系统。本设计包括两个或更多个独立编码器，所述编码器能并行处理图像中的部分。在每个独立编码器里，邻近其他部分的边缘被给予更高的准确度。所有独立编码器编码后的输出有更光滑更连续的部分边界。
文档编号H04N7/26GK1835590SQ200610059289
公开日2006年9月20日 申请日期2006年3月8日 优先权日2005年3月16日
发明者朱沁幡 申请人:博通高级压缩集团有限公司