运动图像处理系统、编码设备和解码设备的制作方法

专利名称：运动图像处理系统、编码设备和解码设备的制作方法
技术领域：
本文讨论的实施例涉及一种运动图像处理系统，该运动图像处理系统
包括编码设备，其执行输入隔行(interlace)运动图像的要处理帧的帧 间预测，生成通过编码获得的经编码的运动图像数据，并将生成的经编码 的运动图像数据发送到解码设备；以及解码设备，其对接收自编码设备的 经编码的运动图像数据进行解码，并获得原始的隔行运动图像。
背景技术：
在传统上，已广泛使用运动图像处理系统，该运动图像处理系统包括 对输入运动图像进行编码的编码设备，以及接收由编码设备编码的数据并 对接收到的数据进行解码的解码设备。在该运动图像处理系统中发送和接 收的运动图像的信息量非常大，而且，将该信息存储到介质中和通过直接 使用运动图像数据而在网络中发送该信息是非常昂贵的。因此，在传统上 已广泛进行使用可逆或不可逆系统执行运动图像的压缩编码的技术开发 和标准化。它们的代表性示例为由运动图像专家组(MPEG)标准化的 MPEG國1、 MPEG-2、 MPEG國4和MPEG-4 AVC/H.264。
这些标准采用帧间运动预测编码。在该帧间运动预测编码中，检测具 有帧之间高相关性的部分，并且对帧之间的位置差(运动矢量)以及帧之 间的像素值差(预测误差)进行编码。通常，运动图像在帧之间具有高相 关性，并因此具有比原始像素值的像素差值更小的像素差值。因此，可以 实现高压缩效率。
这些标准(除MPEG-1外)采用帧间预测编码，在帧间预测编码中， 运动图像对应于隔行格式。具体地i兌，这些标准采用帧预测和场预测的动 态选择。在帧预测的情况下，作为处理单元的宏块和参考帧二者都具有帧 结构(其中，偶数场和奇数场在每一行交替出现)。另一方面，在场预测 的情况下，作为处理单元的宏块和参考帧二者都仅具有场结构(奇数场和 偶数场之一 )。
接下来说明隔行格式、帧预测和场预测。隔行格式的运动图像是用于交替绘制一组奇数行的场(顶部场)和一组偶数行的场(底部场)的格式
的运动图像，如图8A所示。如图8B所示的顶部场和底部场的交替绘制 被称为帧。
帧预测表示通过参考与要处理的帧不同的一个时间(例如，两个帧之 前)的帧上的、与要处理的帧的要处理的宏块对应的预测像素，对要处理 的宏块与预测像素之间的差分(误差)图像进行的编码，如图9A所示。 具体地i兌，如图9B所示，利用通过参考参考帧计算出的差分和用于估计 图像的运动量的运动矢量，对要处理的帧的要处理的每一宏块进行编码。
场预测表示通过参考与要处理的场不同的一个时间(例如，两个场之 前)的场上的、与要处理的场的要处理的宏块对应的预测像素，对要处理 的宏块与预测像素之间的差分(误差)图像进行的编码，如图IOA所示。 具体地说，如图10B所示，利用通过参考参考场计算出的差分和用于估 计图像的运动量的运动矢量，对要处理的场的要处理的每一宏块进行编 码。
如上所述以宏块为单元进行帧预测和场预测的自适应切换的各种技 术被公开(见日本公开专利公布第05-91500号)。近来，经常使用MPEG-4 AVC/H.264中采用的被称为宏块自适应帧场(MBAFF)的编码方法。根 据该方法，如图11A所示，在同一帧内，在垂直方向上连续的两个宏块 (称为宏块对)被设置为编码单元。针对每一宏块对，选择两个帧预测宏 块，或选择两个场预测宏块( 一个顶部场宏块和一个底部场宏块)。
这种MBAFF使得可以以宏块为单元将帧图像内的宏块的运动预测 系统改变为帧预测或者场预测。帧预测适合于接近静态图像的图像，而场 预测适合于具有较大运动的图像的编码。通常，图像既包括静态部分又包 括动态部分。因此，通过以宏块为单元切换预测系统能够改进编码效率， 如图11B所示。
然而，根据上述传统技术，由于不能预测同一帧中所限定的场，所以 运动预测效率差。具体地说，才艮据运动预测编码系统，作为帧间/场间预 测编码的原则，参考画面需要毫无例外地在要处理的画面之前被进行编码 和本地解码。此外，通过将高相关性的画面设置为预测画面，能够改进预 测效率。该相关性与要处理的画面和参考画面之间的时间间隔成反比。因 此，优选是尽可能参考时间接近的帧或场。
在由MBAFF系统进行处理的情况下，基于以上原则，帧预测宏块对参考时间接近的帧(例如在前或在后的帧；或者在编码顺序上领先的帧)。 基于以上原则，在场预测宏块对中，属于时间上领先的场的宏块类似地参 考在前或在后的场(在编码顺序上领先的场)。当场预测宏块对中属于时 间上较后的场的其余宏块能够参考同一帧内在时间上领先的场时，能够改
进预测效率。然而，根据传统MBAFF系统，宏块对的处理顺序是从屏幕 的左上到右下，如图11C所示。屏幕内在处理顺序上领先的位置处的宏 块不能参考在处理顺序上处于后面位置的像素。因此，属于时间上较后的 场的宏块不能参考同一帧内在时间上领先的场。结果，运动预测的效率差。

发明内容
本发明的目的在于至少部分地解决传统技术中的问题。
根据实施例的一个方面，运动图像处理系统包括编码设备和解码设 备。编码设备包括预测编码确定单元，其通过搜索要处理的运动图像帧 的运动来估计运动矢量，并且基于估计的运动矢量，确定对要处理帧的每 一宏块是执行帧预测编码还是执行场预测编码；第一编码单元，其通过由 预测编码确定单元确定的编码方法对宏块进行编码；第二编码单元，当由 预测编码确定单元确定的编码方法是场预测编码时，笫二编码单元通过使 用由第一编码单元编码的同一帧内的第一场的宏块作为参考图傳-之一，对 同一帧内的第二场执行场预测编码；以及编码数据发送单元，其通过把要 处理的运动图<象帧的、由第一编码单元和第二编码单元编码的每一宏块的 编码方法添加为编码信息来进行发送。解码设备包括编码确定单元，其 接收由编码设备编码的运动图像帧和编码信息，并确定要处理的帧的每一 宏块是通过帧预测被进行了编码还是通过场预测被进行了编码；第一解码 单元，其通过与由编码确定单元确定的编码方法对应的解码方法对经编码 的宏块进行解码；第二解码单元，当由编码确定单元确定的编码方法是场 预测编码时，第二解码单元通过使用由第一解码单元解码的同一帧内的第 一场的宏块作为参考图像之一，对同一帧内的第二场的宏块执行场预测解 码。
本发明(实施例)的其它目的和优点将在接下来的描述中被部分地阐 述，并且根据描述将部分地变得容易理解，或者可以通过本发明的实践知 悉。本发明的目的和优点将通过权利要求中具体指出的元素和组合来实现 和获得。应理解，前面的概述和以下的详细描述两者都是示例性和解释性的， 而并非限制要求保护的本发明。


图1A是用于说明根据实施例的运动图像处理系统的特性的示意图； 图1B是用于说明根据该实施例的运动图像处理系统的特性的示意
图2是根据该实施例的运动图像处理系统中的编码设备的配置的框
图3是由编码设备生成的经编码的运动图像数据的示例；
图4是根据实施例的运动图像处理系统中的解码设备的配置的框图5是根据实施例的运动图像处理系统中的帧处理的流程图6是根据实施例的运动图像处理系统中的宏块处理顺序确定处理 的流艰图7A是执行编码程序的计算机系统的示例；
图7B是执行解码程序的计算机系统的示例；
图8A是用于说明根据传统技术的帧结构和场结构的示意图8B是用于说明根据传统技术的帧结构和场结构的另一示意图9A是用于说明根据传统技术的帧预测的示意图9B是用于说明根据传统技术的帧预测的另一示意图IOA是用于说明根据传统技术的场预测的示意图IOB是用于说明根据传统技术的场预测的另一示意图11A是用于说明MBAFF的示意图11B是用于i兌明MBAFF的另 一示意图11C是用于说明MBAFF的又一示意图。
具体实施例方式
以下将参照附图详细说明根据本发明的运动图像处理系统、编码设备、编码方法、编码程序、解码设备、解码方法和解码程序的示例性实施 例。以下依次说明根据本发明第 一实施例的运动图像处理系统的概述和特
征以及运动图像处理系统的配置和处理i5^呈。最后说明对第一实施例的各 种修改。
在第一实施例中，说明是基于以下假设进行的，即，在帧内顶部场在 时间上领先而底部场在时间上较后。当底部场在时间上领先时，可以通过 将顶部场和底部场相互替换来读取顶部场和底部场。在MPEG-2中，也 可以以宏块为单元在帧预测与场预测之间切换运动预测系统。然而，与 MPEG-2不同的是，MPEG-4 AVC/H.264的MBAFF通it把场预测时的 预测单元设置为宏块大小(16x16 )，通过使用帧内垂直相邻的被称为宏块 对的两个宏块单元执行处理，来改进编码效率。另一方面，MPEG-2使用 的大小为16x8。
首先参照图1A和图1B说明根据第一实施例的运动图像处理系统的 概述和特性。图1A和图1B是用于说明运动图像处理系统的示意图。
在第一实施例中，对运动图像处理系统进行说明，在该运动图像处理 系统中，发送具有输入经编码运动图像的比特流的编码设备与对接收自编 码设备的比特流进行解码的解码设4^彼此连接，使得这些设备可以通过网 络彼此通信。
如上所述，该运动图像处理系统具有以下概要操作发送具有输入经 编码运动图像的比特流，并且通过从编码设备接收比特流，对该比特流进 行解码。具体地说，该运动图像处理系统具有以下主要特性在对场间运 动图像进行编码时改进图像质量。
具体地说，如图1A所示，在从左上到右下方向对宏块对(如帧内垂 直相邻的两个宏块单元)进行编码时，代表要通过帧预测来进行编码的宏 块对的帧预测宏块对被以正常方式进行编码，而代表要通过场预测来进行 编码的宏块对的场预测宏块对被进行编码，使得首先只有顶部场宏块被进 行编码。当在一个帧内从屏幕的左上到右下方向执行编码之后，对于场预 测宏块的剩余底部场宏块，每一底部场宏块所对应的顶部场宏块被作为参 考图像之一进行编码，如图1B所示。
此后，解码i更^^接收经如上所述编码的比特流，并且以与编码处理方 法类似的方式，在一个帧中从屏幕的左上到右下方向对帧预测宏块和场预 测宏块的顶部场宏块中的每一个首先进行解码。此后，对于场预测宏块的剩余底部场宏块，解码设备将每一底部场宏块所对应的顶部场宏块作为参
考图像之一进行解码。
通过执行以上处理，屏幕内在处理顺序上领先的位置处的宏块可以参 考在处理顺序上处于后面位置的像素。也就是说，可以通过将同一帧内在 时间上领先的场作为参考场来执行场预测，从而改进运动预测的效率。结 果，根据第 一 实施例的运动图像处理系统可以在对场间运动图像进行编码 时改进图像质量。
接下来参照图2至图4说明图1A和图1B描述的运动图像处理系统 的配置。该运动图像处理系统包括编码设备和解码设备，并且对每一设备 的配置予以详细说明。
首先，参照图2说明运动图像处理系统中的编码设备的配置。图2 是根据第 一 实施例的运动图像处理系统中的编码设备的配置的框图。
该编码设备包括帧存储器10、减法器11、 DCT/Q 12、速率控制 13、 VLC 14、 IQ/IDCT 15、加法器16、帧存储器17、去块滤波器18、 MC内部预测19、 ME 20和顺序控制21。
帧存储器10临时存储输入运动图像。例如，帧存储器10临时存储从 外部网络和外部设备(例如，存储设备，如光盘(CD)或硬盘驱动器 (HDD))输入的运动图像的每一帧。
减法器11计算预测图像与输入运动图像中要编码的宏块之间的差， 并且生成预测误差图像。具体地说，减法器11分别连接到帧存储器10、 MC内部预测19和DCT/Q 12。减法器11通过计算由MC内部预测19 (稍后描述)生成的预测图像与输入运动图像(作为帧存储器10中存储 的一个帧)中要编码的宏块之间的差来生成预测误差图像。减法器ll将 生成的预测误差图^^出到DCT/Q 12。
DCT/Q 12对预测误差图像执行离散余弦变换(DCT)计算和量化。 具体地说，DCT/Q 12分别连接到速率控制13、 VLC 14和IQ/IDCT 15。 DCT/Q 12利用从速率控制13 (稍后描述)输入的量化值，针对从减法器 11输入的预测误差图4象执行DCT计算和量化，并且将计算结果分别输出 到VLC 14和IQ/IDCT 15。
速率控制13是速率控制单元，并且，具体地说，速率控制13根据输 入运动图像(作为帧存储器10中存储的一个帧)确定编码之后的比特数 量，以及用于控制图像质量、将被用于由DCT/Q 12执行的量化的量化值。速率控制13将确定的量化值输出到DCT/Q 12。
VLC 14是可变长度编码单元。具体地说，VLC 14对经过DCT计算 和量化的预测误差图像执行可逆编码，如游程/幅值转换(run/level conversion),并生成经编码的运动图像。例如，VLC 14对经过由DCT/Q 12执行的DCT计算和量化的预测误差图像执行可逆编码，如游程/幅值 转换，并生成经编码的运动图傳教据。VLC14将生成的经编码的运动图 ^!t据作为比特流发送到解码设备，如图3所示。图3是由编码设备生成 的经编码的运动图像数据的示例。
以下说明图3所示的经编码的运动图傳教据。在图3中，附图标记 200表示序列参数集(SPS)，序列参数集描述多个画面(序列)共同的参 数，例如屏幕大小和画面类型(例如帧、场和MBAFF)。附图标记201 表示画面^集(PPS)，画面^lt集描述用于每一画面的编码模式，例 如熵编码模式。附图标记202表示分段(slice)。 一个画面(帧或场)包括 一个或多个场。附图标记203表示MBAFF标记，MBAFF标记描述是否 以MBAFF模式对该序列内的帧进行编码。在MPEG-4 AVC/H.264中， 该MBAFF标记对应于mb_adaptive_frame_field_flag (宏块自适应帧场 标记)。附图标记204表示分立MB顺序标记(separate MB order flag, SMOF )，其描述是否以MBAFF模式在同 一帧内执行场间参考。当分立 MB顺序标记说明不执行场间参考时，it^示执行与MPEG-4 AVC/H.264 的MBAFF编码相同的MBAFF编码。
附图标记205表示分段头，其中，分段头描述参考帧列表等等。附图 标记206表示标识是通过帧模式对宏块对进行了编码还是通过场模式对 宏块对进行了编码的标记。在MPEG-4 AVC/H.264中，该标记对应于 mb_field_decoding_flag (宏块场解码标记)。附图标记207表示帧宏块对 的宏块的数据或场宏块对的顶部场宏块的数据。该数据描述编码模式(内 部/相互间)、参考帧标识符、运动矢量、量化系数、量化DCT系数等等。 附图标记208表示指示"前一半"处理部分与"后一半"处理部分之间的 边界的标记，将通过以下描述的流程对其进行说明。附图标记209表示场 宏块对的底部场宏块的数据，并且该lt据描述编码模式(内部/相互间)、 参考帧标识符、运动矢量、量化系数、量化DCT系数等等。
参照图2, IQ/IDCT 15是连接到DCT/Q 12和加法器16的逆量化单 元/逆离lt余弦变换(IDCT )单元。IQ/IDCT 15对经过DCT计算和量化 的预测误差图像执行逆量化和IDCT计算。加法器16连接到IQ/IDCT 15和帧存储器17，将稍后描述的MC内部预测19所输入的内部预测图4象或 相互间预测图像加到经过逆量化和IDCT计算的预测误差图像上，生成本 地经解码的图像，并且将生成的本地经解码的图像存储到帧存储器17中。
帧存储器17是存储本地经解码的图像的帧存储器。具体地说，帧存 储器17连接到加法器16、去块滤波器18、 MC内部预测19和ME 20。 帧存储器17接收由加法器16生成和输入的本地经解码的图像，并且存储 所述接收到的本地经解码的图像。
去块滤波器18是通过将低通滤波器(去块滤波器)应用于本地经解 码的图像的宏块边界而去除帧存储器17中存储的本地经解码的图像中的 块失真的去块滤波器。
MC内部预测19根据帧存储器17中存储的本地经解码的图像生成预 测图像。具体地说，MC内部预测19连接到减法器11、帧存储器17和 ME 20。在对宏块进行内部编码时，MC内部预测19根据帧存储器17中 积累的同一帧内已编码且本地解码的像素生成内部预测图像。在对宏块进 行相互间编码时，MC内部预测19根据帧存储器17中积累的参考帧/场 并且根据由ME 20估计和输入的运动矢量生成相互间预测图像。
ME20估计运动矢量。具体地说，ME20连接到帧存储器10、帧存 储器17、 MC内部预测19和顺序控制21。 ME 20在要处理且积累在帧存 储器10中的帧或场与经编码和本地解码并积累在帧存储器17中的帧或场 之间执行运动矢量估计，并且计算运动矢量。ME 20于是将计算出的运动 矢量输出到MC内部预测19和顺序控制21。
顺序控制21确定宏块处理顺序，并且具体地说，顺序控制21连接到 帧存储器17和ME 20。顺序控制21基于由ME 20执行的运动矢量估计 的结果，确定是要使用帧还是场对每一宏块对进行预测编码。顺序控制 21还确定图像中的处理顺序和宏块地址。顺序控制21将每一处理顺序的 宏块的宏块地址通知给帧存储器10和帧存储器17。顺序控制21的详细 处理基于处理流程予以i兌明。
接下来参照图4说明运动图像处理系统中的解码设备的配置。图4 是根据第 一 实施例的运动图像处理系统中的解码设备的配置的框图。
该解码设备包括VLD 50、 IQ/IDCT 51、加法器52、帧存储器53、 去块滤波器54、MC内部预测55和顺序控制56。 VLD 50连接到IQ/IDCT 51、 MC内部预测55和顺序控制56。解码设备是可变长度解码单元，该可变长度解码单元对接收自编码设备的经编码的运动图像(见图3)执行 可逆解码(例如游程/幅值转换)，并且生成经过DCT计算和量化的预测 误差图像。VLD 50由经编码的运动图像获得每一宏块对的类型(帧或场)。
IQ/IDCT 51是连接到VLD 50和加法器52的逆量化单元/IDCT (逆 离散余弦变换)单元。具体地说，IQ/IDCT 51对由VLD 50生成并输入 的经过DCT计算和量化的预测误差图像执行逆量化和IDCT计算。加法 器52连接到帧存储器53和MC内部预测55。加法器52通过将由稍后描
50生成并输入的经过逆量化和IDCT计算的预测误差图像上，生成经解 码的图像。加法器52将生成的经解码的图像存储到帧存储器53中。
帧存储器53是存储生成的经解码的图像的帧存储器。具体地说，帧 存储器53连接到加法器52、去块滤波器54、 MC内部预测55和顺序控 制56。帧存储器53接收和存储由加法器52生成并输入的经解码的图像。 去块滤波器54是通过将低通滤波器(去块滤波器)应用于经解码的图《象 的宏块边界而去除帧存储器53中存储的经解码的图像中的块失真的去块 滤波器。
MC内部预测55根据帧存储器53中存储的经解码的图像生成预测图 像。具体地说，MC内部预测55连接到VLD 50、加法器52和帧存储器 53。在对宏块进行内部解码时，MC内部预测55根据帧存储器53中积累 的同一帧内已解码的像素生成内部预测图像。在对宏块进行相互间解码 时，MC内部预测55根据帧存储器53中积累的参考帧/场以及根据由VLD 50解码的运动矢量生成相互间预测图像。MC内部预测55将生成的内部 预测图#^相互间预测图#^出到加法器52。
顺序控制56确定宏块处理顺序，并且具体地说，顺序控制56连接到 VLD 50和帧存储器53。顺序控制56根据由VLD 50解码的宏块对的类 型确定图# 中的处理顺序和宏块地址。顺序控制56将每一处理顺序的宏 块的宏块地址通知给帧存储器53。
接下来参照图5和图6说明由运动图像处理系统执行的处理。以下说 明根据第一实施例的运动图像处理系统的帧处理和宏块处理顺序确定处 理。编码设备和解码设备的基本不同之处仅在于是执行编码还是执行解 码，而它们的一般处理流程是相同的。因此，在此说明编码设备。
参照图5说明运动图像处理系统中的帧处理的流程。图5是根据第一
13实施例的运动图〗象处理系统中的帧处理的流程图。
如图5所示，当输入图像(步骤S100中为"是")时，编码设^L行 初始化以生成参考帧/场的列表(步骤S101 )。
,编码设，估计处理帧与参考帧/，之间，4运动矢量( 骤81(|2)。具体
编码i殳备执行对所有帧宏块对和所有顶部场宏块进行编码的"前一 半，，处理(步骤S103 )。具体地说，编码设备将通过对所有帧宏块对和所 有顶部场宏块进行编码而生成的可变长度编码的图像和本地经解码的图 像写到帧存储器17中。
针对所有剩余底部场宏块，编码设备通过使用每一底部场宏块所对应 的顶部场宏块作为参考图像之一执行编码处理("后一半"处理)，生成经 编码的运动图像(步骤S104)。此后，编码设^^吏用去块滤波器作为应用 于宏块的边界的低通滤波器，对生成的经编码的运动图像执行去块滤波器 处理(步骤S105)，并且将处理后的经编码的运动图《象发送到解码设备。 在H.264中，用于帧与场之间的预测的图像是在去块滤波器被应用于该图 像之后的图像。然而，在第一实施例中，仅在从同一帧内的底部场到顶部 场进行参考时，用于帧与场之间的预测的图像是在去块滤波器被应用于该 图像之前的图像。
以下简要说明解码设备中的解码处理。解码设备不执行图5中步骤 S102的处理。具体地说，在步骤SIOI，在接收到经编码的运动图像数据 时，解码设备从经编码的运动图像中提取帧预测和场预测的信息。在步骤 S103,解码i殳^l行对所有帧宏块对和所有顶部场宏块的解码处理。在步 骤S104，解码设备将经解码的图像写入帧存储器53中。此后，解码设备 使用去块滤波器执行去块滤波器处理。在结束"前一半"和"后一半"的 编码和解码之后，在完成对整个帧的编码和解码之后，解码i殳a行去块
滤波器处理。
参照图6说明运动图像处理系统中的宏块处理顺序确定处理的流程。 图6 ^^艮据第一实施例的运动图#>处理系统中的宏块处理顺序确定处理 的流程图。步骤S201至步骤S206的处理在帧编码或解码处理的"前一半" 中执行。步骤S206至步骤S210的处理在帧编码或解码处理的"后一半" 中执行。确定每一宏块是通过帧预测还是通过场预测被进行编码的方法在 稍后描述，并且因此这里将省略其详细;兌明。如图6所示，编码设备(在解码处理的情况下是"解码i殳备"，并且 这在下文中相似地采用)初始化pair_count、 mb—count、 mb2—count (步 骤S200)。具体地说，pair—count、 mb_count、 mb2_count分别表示处理 宏块的积累数量、经编码(一或解码)的宏块的积累l^量、以及要在"后一 半"中通过挂起该处理而被进行编码的宏块的积累数量。
编码设^l行确定第pair—count宏块对是帧预测还是场预测的分支 处理(步骤S201 )。 MBjair(num)表示第num宏块对的预测类型。
当第pair—count宏块对是帧预测时(步骤S201为"是")，编码设备 生成用于处理i宏块的信息(步骤S202 ),并且生成用于处理下宏块的信 息(步骤S203 )。 SEND_Frame(num， x， y)表示向帧存储器10和帧存储器 17 (帧存储器53用于解码处理)通知第num帧预测宏块的、在屏幕内 的地址是(x, y)。 MB一WIDTH表示帧内横向方向上的宏块的数量。
此后，当第pair—count宏块对是场预测时(步骤S201为"否")，编 码设备生成处理顶部场宏块所需的信息(步骤S204)。 SEND_Field(num, x, y)表示向帧存储器10和帧存储器17(帧存储器53用于解码^h理)通知 第num场预测宏块的、在屏幕内的地址是(x,y)。
编码设备生成处理底部场宏块所需的信息(步骤S205 )。在步骤S205， 当第pair一count宏块对是场预测时，该信息在处理顶部场宏块对时生成。 SAVE(num x， y)表示将第 num场预领'J底部宏块的、在屏幕内的地址(x， y) 存储到顺序控制21 (顺序控制56用于解码处理)内的存储器区域中。
此后，编码设备确定在帧编码(或解码)的"前一半"中是否仍然存 在要处理的宏块(步骤S206)。 MB一HEIGHT表示帧内垂直方向上块的 数量。
当在"前一半"中没有要处理的宏块时(步骤S206为"是")，编码 设备执行帧编码(或解码)的"后一半"之前的初始化(步骤S207)。 NUM一MB2表示在"前一半"中被暂停处理且在"后一半，，中被执行编 码(或解码)的底部场宏块的总数。
编码设备获得在"后一半"的第mb2_count处被执行编码(或解码) 的底部场宏块的地址信息(步骤S208 )。该处理中的RESTORE(num, &x， &7)表示在顺序控制21 (顺序控制56用于解码处理)内的存储器区域查 询第num场预测底部场宏块的、在屏幕内的地址，并且存储(&X，&y)的 查询的结果。此后，编码设备通知在第mb2_count时间被编码(或解码)的底部 场宏块的地址信息(步骤S209 )，并且确定是否仍存在在帧编码(或解码) 的"后一半，，中^L行处理的底部场宏块(步骤S210 )。当在"后一半" 中不存在要处理的底部场宏块时，处理结束。
根据MPEG-4 AVC/H.264，可以从多个帧场当中以宏块为单元选择 用于运动预测的帧和场。可以按分段为单元选择的帧和场的列表被称为参 考帧列表。以宏块为单元的选择信息被称为参考帧标识符。
当SMOF关闭时，使用MPEG-4 AVC/H.264自身的参考帧列表 (RefPicListO[，RefPicListl[)。另一方面，当SMOF打开时，在"前
一半"处理时间，RefPicListO[和RefPicListl[自身是列出参考帧的。在 "后一半"处理时间，作为前向参考帧列表的RefPicListO[被更新。具
体地说,参考帧的参考值被输入第一条目。原始列表被逐一移到后续条目。
在底部场宏块中，通过将前向参考索引设置为"0"，在同一帧内参考 场可以被"没置为顶部场。当前向参考索引祐i更置成非"0"时，可以参考 其它帧内的场。
下面说明场和帧确定处理，即确定是要通过场预测被还是要通过帧预 测对宏块对进行编码。在本示例中，处理帧是B画面(参考两个方向)。 在P画面的情况下(参考前向方向)，排除后向运动矢量。
在这种情形下，在步骤S101和步骤S102的处理中估计处理帧的运 动矢量。此时，在每一宏块对中计算以下值。对于从多个可参考帧和场当 中选捧要参考的帧和场的方法，以及对于从参考帧和场以及处理帧当中估
计优化运动矢量的方法，采用通常^f吏用的已知方法。
计算下列值在帧预测时间处上宏块和下宏块的前向参考帧索引 (refldxLO_Frame_Upper, refldxLO_Frame_Lower);在帧预测时间处上 宏块和下宏块的后向参考k索"(refldxLl_Frame—Upper, refldxLl—Frame—Lower);在帧预测时间处上宏块和下宏块的前向运动矢 量(mvLO_Frame_Upper， mvLO_Frame_Lower);在帧预测时间处上宏块 和下宏块的后向运动矢量(mvLl Frame Upper, mvLl—Frame一Lower); 在帧预测时间处上宏块和下宏块^I运动^测误差(差分绝对i的总和) (cost_Frame—Upper, cost_Frame—Lower);在场预测时间处顶部场宏块 和底部场宏块的前向参考帧索引 (refldxLO一Fidd一Top, refldxLO Field Bottom);在场预测时间处顶部场宏块和底部场宏^的后向参考帧索引(refldxLl_Field_Top， refldxLl_Field_Bottom);在场预测 时间处顶部场宏块和底、场宏块的前向运动矢f ( mvLO一Field一Top， mvLO_Field_Bottom);在场预测时间处顶部场宏块和底部场宏块"后向 运动矢量(mvLl_Field—Top, mvLl—Field—Bottom);在场预测时间处顶部 场宏块和底部场宏k的运动^测误差(差分绝对值的总和) (costFieldTop, cost_Field_Bottom )。
当满足条件"(cost Frame Upper + cost—Frame一Lower) <= (cost_Field_Top + cost—Field—Bottom)，，时，在帧结构^设置处理宏块对。 否则，在场结构中设f处理宏块对。
如上所述，根据笫一实施例，通过搜索运动，编码设备估计要处理的 运动图像帧的运动矢量。基于估计的运动矢量，编码设备确定对要处理的 帧的每一宏块是执行帧预测编码还是执行场预测编码。编码设备通过确定 的编码方法对每一宏块进行编码。当确定的编码方法是场预测编码时，编 码设^^吏用同一经编码的帧内的第一场的宏块作为参考图像之一，对同一 帧内的第二场执行场间预测编码。编码设备将要处理的经编码的运动图像 帧中的每一宏块的编码方法添加为编码信息，并JL义送所添加的信息。解 码设备接收编码信息以及由编码设备编码的经编码的运动图像帧，并且确 定要处理帧的每一宏块是通过帧预测被进行了编码还是通过场预测被进 行了编码。解码i殳备通过与确定的编码方法对应的解码方法对经编码的宏 块进行解码。当确定的编码方法是场预测编码时，解码设备使用同一经解 码的帧内的第一场的宏块作为参考图《象之一，对同一帧内的第二场的宏块 执行场预测解码。因此，屏幕内在处理顺序上领先的位置处的宏块可以参 考在处理顺序上在最后位置处的像素。也就是说，可以使用同一帧内在时 间上领先的场作为参考场执行场预测，从而改进运动预测的效率。结果， 可以改进执行场间运动图l象编码时的图像质量。
尽管在上文说明了本发明的第一实施例，但是本发明还可以通过除了 第一实施例之外的各种不同实施例来执行。下面基于以下三种分类来说明 本发明的另一实施例编码方法；系统配置等等；以及程序。
首先，将说明编码方法。在以上实施例中，说明了在帧内顶部场在时 间上领先而底部场在时间上落后。然而，本发明不限于此。当底部场在时 间上领先时，可交换地读取顶部场和底部场。
接下来，将说明系统配置等等。在附图中描述的各个设备的各个构成 元件在功能上是概念性的，并且在物理上，相同配置并非总是必须的。也就是说，根据各种负载和使用状态，各设备的a和集成的具員式并不 限于所描述的模式，并且其全部或部分在功能上或物理上能够^t或者被
集成在任何单元中。此外，可以通过中央处理单元(CPU)或者由CPU
分析和执行的程序来实现由各个设备执行的各个处理功能中的全部处理 功能或任何部分处理功能，或者可以通过连线逻辑被实现为硬件。
在实施例中所说明的各个处理当中，被说明为自动执行的处理(例如 图像输入处理)中的全部或部分处理可以被手动执行。除非另有说明，可 以任意改变包括说明书和附图所描述的处理过程、控制过程、具体名称以 及各种数据和M的信息。
此夕卜，将说明程序。通过使用个人计算机和计算机系统(例如工作站)
执行预先准备的程序，可以执行第一实施例中说明的各种类型的处理。执 行具有与第一实施例的功能类似的功能的程序的计算机系统在下面被说
明为另一实施例。
首先说明执行编码程序的计算机系统的示例。图7A是执行编码程序 的计算机系统的示例。如图7A所示，计算机系统100包括随MM储 器(RAM) 101、硬盘驱动器(HDD) 102、只读存储器(ROM) 103以 及CPU 104。 ROM 103预先存储呈现出与第一实施例的功能类似的功能 的程序。也就是说，如图7A所示，ROM 103预先存储预测编码确定程 序103a、第一编码程序103b、第二编码程序103c、以及经编码数据发送 程序103d。
CPU 104读取这些程序103a至103c,并且执行这些程序，使得这些 程序变为预测编码确定处理104a、第一编码处理104b、第二编码处理 104c、以及经编码数据发送处理104d,如图7A所示。预测编码确定处理 104a与图2中描述的顺序控制21对应。类似地，第一编码处理104b、第 二编码处理104c、经编码数据发送程序103d与VLC 14对应。HDD 102 存储输入运动图像和本地经解码的图像。
上述程序103a至103d并非一定要求被存储在ROM 103中。这些程 序可以被预先存储在插入到计算机系统100中的"便携式物理介质"(例 如软盘(FD)、光盘ROM ( CD-ROM)、磁光(MO)盘、数字多功能盘 (DVD)、规盘、或集成电路(IC)卡)、被提供在计算机系统100内 部或外部的"固定物理介质"(例如HDD)、以及经由公共线路、因特网、 局域网(LAN)以及广域网(WAN)连接到计算机系统100的"其它计 算机系统"中。计算机系统100可以从这些介质或系统读取这些程序，并且执行这些程序。
接下来说明执行解码程序的计算机系统的示例。图7B是执行解码程 序的计算机系统的示例。如图7B所示，计算机系统200包括RAM201、 HDD 202、 ROM 203和CPU 204。 ROM 203预先存储呈现出与第一实施 例的功能类似的功能的程序。也就是说，如图7B所示，ROM203预先存 储编码确定程序203a、第一解码程序203b、第二解码程序203c。
CPU204读:^序203a至203d，并且执行这些程序，4吏得这些程序 变为编码确定处理204a、第一解码处理204b、以及第二解码处理204c， 如图7B所示。编码确定处理204a与图4中描述的顺序控制56对应。类 似地，第一解码处理204b和第二解码处理204c与图4中描述的IQ/IDCT 51和加法器52对应。HDD 202存储生成的经解码的图像等等。
上述程序203a至203d并非一定要求^L存储在ROM 203中。这些程 序可以预先被存储在插入到计算机系统200中的"便携式物理介质"(例 如FD、 CD-ROM、 MO盘、DVD、光磁盘、或IC卡)、被提供在计算机 系统200内部或外部的"固定物理介质"(例如HDD )以及经由公共线路、 因特网、LAN和WAN连接到计算机系统200的"其它计算机系统"中。 计算机系统200可以从这些介质或系统读取这些程序，并且执行这些程 序。
根据本发明，可以改进运动预测的效率。
本文记载的所有示例和条件语言旨在用于教导性目的以帮助读者理 解由发明人贡献出以促ii^领域的发明和构思，并且应当被理解为不受限 于这样的具体记载的示例和条件，说明书中这样的示例的组织也不与本发 明的优势和劣势的示出有关。虽然已经详细描述了本发明的实施例，但是 应当理解，在不脱离本发明精神和范围的情况下，可以对其进行各种改变、 替代和改动。
19
权利要求
1.一种运动图像处理系统，包括编码设备和解码设备，所述编码设备包括预测编码确定单元，其通过搜索要处理的运动图像帧的运动来估计运动矢量，并且基于所估计的运动矢量确定对所述要处理的帧的每一宏块是执行帧预测编码还是执行场预测编码，第一编码单元，其通过由所述预测编码确定单元确定的编码方法对宏块进行编码，第二编码单元，当由所述预测编码确定单元确定的编码方法是场预测编码时，所述第二编码单元通过使用由所述第一编码单元编码的同一帧内的第一场的宏块作为参考图像之一，对同一帧内的第二场执行场预测编码，编码数据发送单元，其通过把要处理的运动图像帧的、由所述第一编码单元和所述第二编码单元编码的每一宏块的编码方法添加为编码信息来进行发送；并且所述解码设备包括编码确定单元，其接收编码信息和由所述编码设备编码的运动图像帧，并且确定所述要处理的帧的每一宏块是通过帧预测被进行了编码还是通过场预测被进行了编码，第一解码单元，其通过与由所述编码确定单元确定的编码方法对应的解码方法对经编码的宏块进行解码，第二解码单元，当由所述编码确定单元确定的编码方法是场预测编码时，所述第二解码单元通过使用由所述第一解码单元解码的同一帧内的第一场的宏块作为参考图像之一，对同一帧内的第二场的宏块执行场预测解码。
2. —种编码设备，包括预测编码确定单元，其通过搜索要处理的运动图像帧的运动来估计运 动矢量，并且基于所估计的运动矢量确定对所述要处理的帧的每一宏块是 执行帧预测编码还是执行场预测编码；第 一编码单元，其通过由所述预测编码确定单元确定的编码方法对宏块进行编码；第二编码单元，当由所述预测编码确定单元确定的编码方法是场预测 编码时，所述第二编码单元通过使用由所述第一编码单元编码的同一帧内 的第一场的宏块作为参考图像之一，对同一帧内的第二场执行场预测编 码；编码数据发送单元，其通过把要处理的运动图像帧的、由所述第一编 码单元和所述第二编码单元编码的每一宏块的编码方法添加为编码信息 来进行发送。
3. —种解码i殳备，包括编码确定单元，其接收经编码的运动图像帧和表示编码方法的编码信 息，并且确定要处理的帧的每一宏块是通过帧预测被进行了编码还是通过 场预测被进行了编码；第一解码单元，其通过与由所述编码确定单元确定的编码方法对应的 解码方法对经编码的宏块进行解码；第二解码单元，当由所述编码确定单元确定的编码方法是场预测编码 时，所述第二解码单元通过使用由所述第 一解码单元解码的同 一帧内的第 一场的宏块作为参考图《象之一，对同一帧内的第二场的宏块执行场预测解 码。
4. 一种编码方法，包括通过搜索要处理的运动图像帧的运动来估计运动矢量；基于所估计的运动矢量确定对要处理的帧的每一宏块是执行帧预测 编码还是执行场预测编码；通过由所述确定所确定的编码方法对宏块进行编码；当由所述确定所确定的编码方法是场预测编码时，通过使用同一经编 码的帧内的第一场的宏块作为参考图像之一，对同一帧内的第二场执行场 预测编码；和通过把要处理的经编码的运动图像帧的每一宏块的编码方法添加为 编码信息来进行发送。
5. —种解码方法，包括接收经编码的运动图像帧和表示编码方法的编码信息；确定要处理的帧的每一宏块是通过帧预测被进行了编码还是通过场预测被进行了编码；通过与由所述确定所确定的编码方法对应的解码方法对经编码的宏 块进行解码；和当由所述确定所确定的编码方法是场预测编码时，通过4吏用同一经解 码的帧内的第一场的宏块作为参考图4象之一，对同一帧内的第二场的宏块 执行场预测解码。
全文摘要
运动图像处理系统、编码设备和解码设备。编码设备基于所确定的编码方法对宏块进行编码。当确定为场预测编码时，编码设备通过使用同一经编码的帧内的第一场的宏块作为参考图像之一，对同一帧内的第二场执行场间预测编码。解码设备接收经编码的运动图像帧和编码信息，并且确定要处理的帧的每一宏块是通过帧预测被进行了编码还是通过场预测被进行了编码。解码设备基于所确定的编码方法对宏块进行解码。当确定为场预测编码时，解码设备通过使用同一经解码的帧内的第一场的宏块作为参考图像之一，对同一帧内的第二场的宏块执行场预测解码。
文档编号H04N7/26GK101557521SQ20091013124
公开日2009年10月14日 申请日期2009年4月10日 优先权日2008年4月11日
发明者数井君彦 申请人:富士通株式会社