图像处理设备和图像处理方法

专利名称：图像处理设备和图像处理方法
技术领域：
本发明涉及一种图像处理设备和图像处理方法，更加具体地，涉及一种例如能够 对在数字地面广播中递送的图像数据进行编码的编码设备。
背景技术：
在过去，开发了一种向位于远处的显示设备如壁挂电视机无线传输HD(高清晰 度)视频数据的无线传输技术。作为使用这种无线传输技术的传输方法，以使用60GHz频 带的毫米波、使用5GHz频带的IEEE802. Iln (无线LAN(局域网))、UWB (超宽带)等作为例子。在无线传输技术中，通过在传输之前进行编码来压缩HD视频数据。在无线传输技 术中，优选的是，尽可能多地减少HD视频数据到它在显示设备上进行显示的传输延迟，以 实现在数字地面广播中的广播节目的实时显示。例如，在一种改变各画面中的I、P和B画面的编码方法中，I画面的编码数量大于 其它画面的编码数量。出于这种原因，当这种编码方法应用于无线传输技术时，有必要接具 有均勻编码数量的G0P(画面组)单位来缓存数据，因此也增加了延迟。为了解决这个问题，已经提出了一种通过如图1中所示的使用MPEG(动画专家 组)_2的片内(intra slice)方法对HD视频数据进行编码和传输的图像处理设备(例如 参见日本待审专利申请公开第11-205803号)。在使用MPEG-2的片内方法中，画面包括经历帧内编码的I画面区I_MB和经历前 向预测编码的P画面区P_MB。在片内方法中，出现了由用于一个画面的预定MB行数形成的 I画面区(下文称为刷新行)RL。刷新行RL以偏离方式依次示出示出，并且以周期T示出 在所有画面中。因此，由于可以使各画面的编码数量均勻，所以片内方法可以减少从HD视频数据 的传输到HD视频数据在显示设备上的显示的延迟，使延迟尽可能小。

发明内容
近年来，随着使用IEEE 802. Iln的传输方法已被广泛使用，使用IEEE 802. Iln来 无线传输HD视频数据的方法已经变得流行。然而，当使用IEEE 802. Iln时，主要使用IOOMbps或者更少的传输频带。在使用 MPEG-2的上述片内方法中，压缩效率低，并且难以按IOOMbps或者更低的比特率传输数据。因此，优选使用H.264/AVC(高级视频编码)，因为它的压缩效率高于片内方法。然 而，H. 264/AVC不同于MPEG-2，因为在运动预测中生成四分之一像素并且假设使用去块滤波器。因此，当不经修改就使用片内方法时，可能出现下述问题由于H.264/AVC与MPEG-2 之间的差异以及从错误中恢复所必需的时间，可能无法防止错误的传播。希望提供一种能够缩短在解码时从错误中恢复所必需的时间的图像处理设备和 图像处理方法。在具有这样的配置的图像处理设备中，可以防止解码时在运动预测过程和去块滤 波过程中引起的错误的传播。在图像处理方法中，可以防止解码时在运动预测过程和去块滤波过程中引起的错 误的传播。根据示例实施例，可以防止在解码时由运动预测过程和去块滤波过程引起的错误 的传播。因此，根据示例实施例，可以实现能够缩短从错误中恢复所必需的时间的图像处理 设备和图像处理方法。根据一个示例实施例，一种由计算机实施的方法对图像进行处理。该方法包括接 收与图像的多个像素相关联的信息。像素设置于多个像素块内。该方法选择像素块之一作 为目标块，并且计算与目标块的一部分中的像素从先前编码的图像中的参考位置的平移相 关联的运动矢量。选择先前编码的图像的部分像素作为搜索范围。搜索范围排除先前编码 的图像中的构成错误的像素。以比整数精确度更高的精确度在搜索范围内计算运动矢量。 该方法至少基于接收的信息和运动矢量针对目标块的像素计算预测的图像数据，并且根据 预定过程来过滤预测的图像数据。该过滤包括识别与目标块一部分的边界相关联的边界像 素和与边界像素相邻设置的相邻像素。该方法将该过程应用于与相邻像素相关联的预测图 像数据。根据一个附加示例实施例，一种设备对图像进行处理。该设备包括存储装置以及 耦合到存储装置的处理器。存储装置存储用于控制处理器的程序。按照程序进行操作的处 理器配置成使设备接收与图像的多个像素相关联的信息。像素设置于多个像素块内。该 设备选择像素块之一作为目标块，并且计算与目标块的一部分的像素从先前编码的图像中 的参考位置的平移相关联的运动矢量。该设备选择先前编码的图像的部分像素作为搜索范 围，并且搜索范围排除先前编码的图像中的构成错误的像素。该设备以比整数精确度更高 的精确度在搜索范围内计算运动矢量，并且至少基于接收的信息和运动矢量针对目标块的 像素计算预测的图像数据。该设备根据预定过程来过滤预测的图像数据。该设备识别与目 标块一部分的边界相关联的边界像素和与边界像素相邻设置的相邻像素。该设备将该过程 应用于与相邻像素相关联的预测的图像数据。 根据又一示例实施例，一种计算机可读介质存储指令，所述指令在由处理器执行 时执行用于处理图像的方法。该方法包括接收与图像的多个像素相关联的信息。像素设置 于多个像素块内。该方法选择像素块之一作为目标块，并且计算与目标块的一部分的像素 从先前编码的图像中的参考位置的平移相关联的运动矢量。该方法选择先前编码的图像的 部分像素作为搜索范围。搜索范围排除先前编码的图像中的构成错误的像素。该方法以比 整数精确度更高的精确度在搜索范围内计算运动矢量，并且至少基于接收的信息和运动矢 量针对目标块的像素计算预测的图像数据。该方法根据预定过程来过滤预测的图像数据。 该方法识别与目标块一部分的边界相关联的边界像素和与边界像素相邻设置的相邻像素， 并且将过程应用于与相邻像素相关联的预测的图像数据。


图1是图示了片内方法的说明图。图2是图示了图像处理设备和显示设备的配置的示图。图3是图示了编码设备的配置的示图。图4A和4B是用于说明由运动预测造成的错误传播的示图。图5是用于说明从错误中恢复的示图。图6是用于说明在AVC中的运动预测中的错误传播的示图。图7A至71是用于说明AVC的帧内预测的错误传播的示图。图8是用于说明AVC的去块滤波器中的错误传播的示图。图9是用于说明在MVy = 0时的参考目标块的示图。图10是用于说明在MVy≠ 0时的参考目标块的示图。图11是图示了编码过程的序列的流程图。图12是图示了宏块确定过程的序列的流程图。图13是图示了根据第一示例实施例的分片确定过程的序列的流程图。图14是图示了根据第一示例实施例的搜索范围确定过程的序列的流程图。图15Α至15C是用于说明根据第二示例实施例的片内方法的示图。图16Α至16C是用于说明片边界移位和错误传播的示图。图17Α至17C是用于说明通过固定片边界来防止错误传播的示图。图18是用于说明去块滤波器的影响的示图。图19Α和19Β是图示了根据第二示例实施例的搜索范围的示图。图20是图示了根据第二示例实施例的分片确定过程的序列的流程图。图21是图示了根据第二示例实施例的搜索范围确定过程的序列的流程图。图22是用于说明随机刷新方法的原理的示图。图23是图示了在一个宏块中显现刷新块的示图。图24是图示了根据第三示例实施例的分片确定过程的序列的流程图。图25是图示了根据第四示例实施例的在多个宏块中显现刷新块的示图。图26Α和26Β是用于说明根据第五示例实施例的避免第三错误传播起因的示图。
具体实施例方式下文将参照附图详细描述示例实施例。按以下序列进行描述。1.第一示例实施例(未使用去块滤波器的AVC片内方法)2.第二示例实施例(使用去块滤波器的AVC片内方法)3.第三示例实施例(刷新块在各宏块中显现的随机刷新方法)4.第四示例实施例(刷新块在多个宏块中显现的随机刷新方法)5.第五示例实施例(在随机刷新方法中使用去块滤波器)6.其它示例实施例1.第一示例实施例1-1.图像处理设备的配置
在图2中，标号100表示无线图像数据传输系统。无线图像数据传输系统100是 能够例如接收广播信号如数字地面广播的壁挂电视机。无线图像数据传输系统100包括图 像处理设备1和显示设备30。
图像处理设备1接收广播信号Si，按照H. 264/AVC对从广播信号Sl获得的图像数 据进行编码，并且生成比特流S6。图像处理设备1向显示设备30无线传输比特流S6和通 过对语音数据进行编码而获得的编码语音数据S7。显示设备30对比特流S6和编码语音数 据S7进行解码和输出。因而，显示设备30使收看者能够观看基于数字地面数字广播等的 广播节目内容。由于数字广播接收单元2连接到天线或者网络如因特网，所以数字广播接收单元 2配置为接收广播信号Sl如数字地面广播的外部接口。按照MPEG (动画专家组)-2标准对 广播信号Sl进行编码。当数字广播接收单元2接收指示广播节目内容的广播信号Sl时，数字广播接收单 元2向数字调谐器单元3供应广播信号Sl作为广播信号S2。数字调谐器单元3对广播信 号S2进行解码以生成图像数据S4和语音数据S5。数字调谐器单元3分别向图像编码单元4和语音编码单元5供应图像数据S4和 语音数据S5。图像编码单元4通过下文描述的图像编码过程按照H. 264/AVC(高级视频编 码)标准对图像数据S4(也就是接收的信息)进行编码以生成比特流S6。图像编码单元4 向传输单元6供应比特流S6。语音编码单元5按照预定编码方法对语音数据S5进行编码以生成语音码数据S7。 语音编码单元5向传输单元6供应语音码数据S7。传输单元6按照无线传输方法如IEEE 802. Iln传输比特流S6和语音码数据S7。因而，向显示设备30供应比特流S6和语音码数据S7。当显示设备30的无线接收 单元31接收到比特流S6和语音码数据S7时，无线接收单元31向解码单元32供应比特流 S6和语音码数据S7。解码单元32对比特流S6和语音码数据S7进行解码以生成与图像数据S4对应的 图像数据S14和与语音数据S5对应的语音数据S15。解码单元32分别向显示单元33和扬 声器34供应图像数据S14和语音数据S15。因而，基于图像数据S14的图像显示于显示单 元33上。从扬声器34输出基于语音数据S15的语音。以这种方式，图像处理设备1和显示设备30配置成无线传输和接收编码的广播信号。1-2.图像编码单元的配置如图3中所示，当从数字调谐器单元3接收图像数据S4时，图像编码单元4向缓 存器8供应图像数据S4。缓存器8向画面标头生成部9供应图像数据S4。画面标头生成部9生成画面标头 以向图像数据S4添加该画面标头。画面标头生成部9向帧内宏块确定部10和运动预测补 偿部14或者帧内预测部15供应图像数据S4。这时，画面标头生成部9添加标志(也就是 指标)如contrained_intra_pred_flag(下文详细地加以描述)。帧内宏块确定部10确定是将各宏块(也就是各目标块)帧内编码成I宏块还是 将各宏块帧间编码成P宏块。帧内宏块确定部10向分片确定部11、片标头生成部12和开关28同时供应确定结果。帧内宏块确定部10向计算部13供应图像数据S4。分片确定部11基于帧内宏块确定部10的确定结果来确定是否分片。分片确定部 11向片标头生成部12供应确定结果。片标头生成部I2生成片标头以向图像数据S4添加该片标头。片标头生成部12 向计算部13供应图像数据S4。当计算部13对图像数据S4进行帧间编码时，计算部13将图像数据S4与从运动 预测补偿部14供应的预测值L5相减并且向正交变换部17供应相减结果作为差分数据Dl。 当计算部13对图像数据S4进行帧内编码时，计算部13将图像数据S4与从帧内预测部15 供应的预测值L5相减并且向正交变换部17供应相减结果作为差分数据D1。正交变换部17对差分数据Dl执行正交变换如DCT(离散余弦变换)变换或者 Karhunen-Loeve变换，并且向量化部18供应正交变换系数D2。量化部18通过使用由速率控制部19的控制而确定的量化参数QP来对正交变换 系数D2进行量化，并且向逆量化部23和可逆编码部20供应量化系数D3。可逆编码部20 根据熵编码方法如CAVLC (基于上下文的自适应长度可变码)或者CABAC (上下文自适应二 进制算术编码)对量化系数D3执行可逆编码，并且向存储缓存器21供应可逆编码数据D5。可逆编码部20将关于帧内编码和帧间编码的信息以及从运动预测补偿部14和帧 内预测部15获取的信息设置成可逆编码数据D5的标头信息。存储缓存器21存储可逆编码数据D5并且按预定传输速率同时输出可逆编码数据 D5作为比特流S6。速率控制部19监视存储缓存器21并且确定量化参数QP，使得生成的可 逆编码数据D5的码数量接近于针对各预定控制单位(例如帧或者G0P)的某一码数量。逆量化部23执行对量化系数D3的逆量化以生成再现正交变换系数Li，并且向逆 正交变换部24供应该再现正交变换系数Li。逆正交变换部24执行再现正交变换系数Ll 的逆正交变换以生成再现差分数据L2。逆正交变换部24将同时供应的参考目标块的图像 数据与再现差分数据L2相加，生成局部解码图像L3 (也就是预测的图像数据)，并且向去块 滤波器26供应局部解码图像L3。去块滤波器26对处理的目标块执行去块滤波过程，并且向帧存储器27供应结果。 因而在帧存储器27中存储经历去块滤波过程的局部解码图像L4。帧存储器27向运动预测补偿部14或者帧内预测部15供应经历去块滤波过程的 局部解码图像L4之中的与参考目标块对应的局部解码图像L4。这时根据帧内宏块确定部 10的确定结果来切换开关28。运动预测补偿部14通过参考局部解码图像L4进行关于图像数据S4的运动预测 来生成处理目标块的预测值L5，并且向计算部13供应预测值L5。帧内预测部15通过参考 局部解码图像L4进行关于图像数据S4的帧内预测来生成处理目标块的预测值L5，并且向 计算部13供应预测值L5。以这种方式，图像编码单元4对图像数据S4进行编码以生成比特流S6。1-3. AVC特有的错误传播起因下文将依次描述作为AVC特有的错误传播起因的第一至第三传播起因。第一传播 起因是在检测运动矢量时的搜索范围。 如图4中所示，使用MPEG-2的片内方法对各画面进行编码，使得刷新行RL移位一行。刷新行RL可以是用于各一个宏块(也就是用于各目标块)的行或者用于多个宏块(也 就是用于多个目标块)的行。下文将刷新行RL的行单位称为编码行单位。宏块布置于χ 方向(水平方向)上的行称为宏块行。一个宏块行是一个宏块布置于其中的行。如图4A中所示，当错误在解码时出现于一个画面中时，仅恢复用于下一画面的刷 新行RL，并且其余帧间编码区是未恢复的行UR0在片内方法中，通过移动紧接在作为搜索范围的画面之前的刷新行RL并且检测 矢量来执行编码。在解码时，如图4B中所示，可以仅参考刷新行RL对下一画面进行解码。 因此，由于未参考未恢复的行UR，所以可以恢复与紧接在参考之前的画面的刷新行RL相对 应的部分作为恢复的行AR。根据按照MPEG-2的片内方法对图像数据进行编码的有关例子的编码设备可能无 法识别是否出现错误。因而，根据按照MPEG-2的片内方法对图像数据进行编码的有关例子 的编码设备设置运动矢量的搜索范围以便通常落入编码行单位的范围内。因而，根据有关 例子的编码设备可以设置运动矢量的搜索范围以便通常落入编码行单位内。如图5中所示，恢复的行AR随着刷新行RL的显现而增加。当结束仅对具有周期T 的画面的解码时，刷新行RL的显现在所有位置消失。因此，可以在画面中的所有位置恢复 图像。然而在MPEG-2中，按半像素的精确度检测运动矢量。因此，为了生成半像素，根据 有关例子的编码设备使用2个抽头的FIR(有限冲激响应)滤波器。由于2个抽头的FIR 滤波器参考相邻像素，所以在刷新行RL与未恢复行UR之间未传播错误。在H. 264/AVC中，按四分之一像素的精确度检测运动矢量。因此，按照H. 264-AVC 执行编码过程的编码设备使用6个抽头的FIR滤波器以生成半像素和四分之一像素。6个 抽头的FIR滤波器参考六个相邻像素。如图6中所示，位置在从刷新行RL与未恢复行UR之间的边界(下文称为刷新边 界BD)起的三个像素以外的半像素和四分之一像素(由垂直线指示)参考未恢复行UR。刷 新边界BD指示作为刷新行RL与未恢复行UR之间边界的边界(也就是编码行单位之间的 边界)。 在图6中，在像素之间仅在y方向上生成半像素和四分之一像素。然而实际上，也 在χ方向上生成半像素和四分之一像素。因而即使在刷新行RL以内，仍然可能向位置在从刷新边界BD起的三个像素以外 的半像素和四分之一像素传播错误。下文将错误在刷新行RL中传播的这样的像素称为错 误传播像素(也就是构成错误的像素)。因此，当在编码时按编码行单位设置运动矢量的搜 索范围时，有可能在解码时参考错误传播像素的可能性。因此，在恢复的行AR中传播错误。 这是第一错误传播起因。在H.264/AVC中，在帧内编码中使用画面内预测编码。第二错误传播起因出现于 画面内预测编码中。如图7A至71中所示，参考与编码目标I宏块相邻以及在I宏块的上侧、左侧或者 上侧和下侧的像素进行画面内预测编码。当I宏块的上侧或者左侧位于刷新边界BD中时， 参考未恢复行UR，并且因此可能传播错误。这是第二错误传播起因。在H. 264/AVC中，去块滤波器用来抑制块噪声。第三错误传播起因出现于去块滤 波器中。
去块滤波器参考每两个相邻像素(四个像素)执行去块滤波过程。因此如图8中 所示，可能在刷新行RL的从刷新边界BD起的每两个像素中传播错误。这是第三错误传播 起因。根据示例实施例，通过避免第一至第三错误传播起因，可以防止错误传播。1-4.避免错误传播
1-4-1.避免第一错误传播起因如参照图6所述，当图像编码单元4按编码行单位设置运动矢量的搜索范围时，出 现错误传播。因此，图像编码单元4设置搜索范围使得不发生错误传播。当编码行单位是一个宏块行时，16X16像素的搜索块以四分之一像素在y方向上 移位，由于搜索范围从刷新行RL溢出的事实而参考未恢复行UR。在这种情况下，搜索范围 设置部16仅在χ方向上设置运动矢量的搜索范围。具体而言，搜索范围设置部16确认编码单位行中的从画面首部起的宏块行数目。 当编码行单位是一个宏块行时，搜索范围设置部16在y方向上将运动矢量MVy设置成0，而 在χ方向上将搜索范围设置成无约束的值(在χ方向上的大小可允许最大值)。搜索范围 设置部16向运动预测补偿部14供应与搜索范围对应的参考目标块(也就是包括先前编码 的图像的多个像素的参考块)。运动预测补偿部14在搜索范围内按整数精确度(也就是按 整个像素的粒度)检测运动矢量，并且向搜索范围设置部16供应检测到的运动矢量。随后如图9中所示，搜索范围设置部16通过使用6个抽头的FIR滤波器针对按整 数精确度检测到的运动矢量的外围像素仅在χ方向上生成半像素和四分之一像素。搜索范 围设置部16向运动预测补偿部14供应生成的半像素和四分之一像素。运动预测补偿部14 按大于整数精确度的精确度、例如按四分之一像素的精确度(也就是按四分之一像素的粒 度)在χ方向上检测运动矢量。因此，由于图像编码单元4在搜索范围中在y方向上未包括半像素和四分之一像 素，所以在与刷新边界BD(也就是参考块的边界)相邻的两个像素中未包括半像素和四分 之一像素。因而，由于图像编码单元4在解码时未参考错误传播像素，所以可以防止在恢复 的行AR中的错误传播。因此可以避免第一铡误传播起因。当编码行单位是两个或者更多宏块行时，搜索范围设置部16设置运动矢量的搜 索范围以免在解码时参考错误传播像素。这里，图像编码单元4在画面之间向下移动刷新行RL以恢复错误。因此，出现错 误传播像素的部分是与未恢复行uR相邻的刷新行RL的向下部分。图像编码单元4在刷新 行RL的向下部分中设置搜索范围以免参考错误传播像素。具体而言，搜索范围设置部16将搜索范围设置成编码单位行的范围，并且向运动 预测补偿部14供应与搜索范围对应的图像。运动预测补偿部14在搜索范围内按整数精确 度检测运动矢量，并且向搜索范围设置部16供应运动矢量。如图10中所示，搜索范围设置部16通过例如使用6个抽头的FIR滤波器针对按 整数精确度检测到的运动矢量的外围像素生成半像素和四分之一像素。这时，搜索范围设 置部16在位置在从刷新边界BD起的三个像素以外的区域(也就是参考块的从刷新边界BD 移位三个像素的部分)中生成参考目标块，以免在y方向上生成半像素和四分之一像素。搜 索范围设置部16向运动预测补偿部14供应生成的参考目标块。
在原理上，运动预测补偿部14按四分之一像素的精确度在χ和y方向上检测运动 矢量。运动预测补偿部14按整数精确度检测运动矢量，因为半像素和四分之一像素在y方 向上未存在于位置在从刷新边界BD起的三个像素以外(也就是移位三个像素)的区域中。以这种方式，由于图像编码单元4不允许在解码时参考位置在从刷新边界BD起的 三个像素以外的区域中的半像素和四分之一像素，所以可以防止因参考错误传播像素而引 起的错误传播。以这种方式，在检测运动矢量时，图像编码单元4未参考与错误传播像素对应的 像素(在参考块的从刷新边界BD移位三个像素的部分中的半像素和四分之一像素)。因此， 解码单元32可以在对通过帧间编码来编码的恢复行AR进行解码时对恢复行AR进行解码 而不参考错误传播像素。因而，由于可以防止错误传播，所以可以避免第一错误传播起因。
1-4-2.避免第二错误传播起因当图像编码单元4不允许在刷新行RL的画面内预测编码中参考除了刷新行RL之 外的像素时，可以防止由未恢复行UR引起的错误传播。在H. 264/AVC中，在画面内预测编码时未参考在片上延伸的像素。换而言之，配置 刷新行RL(也就是与先前编码的图像相关联的刷新块)作为片的首部，执行画面内编码过 程而不参考未恢复行UR。以这种方式，当解码单元32对刷新行RL进行解码时，解码单元 32未参考未恢复行UR。因而，可以防止错误传播。具体而言，画面标头生成部9 (参见图3)将如下指标如标志设置为“真”，该指标指 示是否配置刷新行RL的首部作为用于画面标头的片首部。帧内宏块确定部10确定处理目 标宏块是将要帧内编码的I宏块还是将要帧间编码的P宏块。帧内宏块确定部10将与移位一行的刷新行RL对应的宏块设置为将要强制帧内编 码的强制帧内宏并且确定帧内编码。下文将属于刷新行RL的宏块称为刷新宏块。除了刷 新行RL之外的组织宏块的行称为帧间宏块行。属于帧间宏块行的宏块称为另一宏块。另一方面，帧内宏块确定部10确定除了刷新行RL之外的宏块(也就是属于帧内 宏块行的宏块)是帧内编码为I宏块还是前向编码为P宏块。帧内宏块确定部10预测I宏块和P宏块的生成码数量并且确定具有良好效率的 编码方法。向分片确定部11供应确定结果。当指示刷新行RL的首部作为片的首部的标志为“真”并且当前宏块为强制帧内宏 块和刷新行RL的首部时，分片确定部11确定必须首先执行分片。当确定将画面分成多片时，分片确定部11根据处理目标宏块的位置来确定是否 必须执行分片。向片标头生成部12供应确定结果。片标头生成部I2通过生成片标头并且向当前宏块的首部添加片标头来生成新片 (亦即目标块的子块)。帧内预测部15针对片首部的宏块例如通过参考中间像素值(当像 素值的范围从“0至125”时为“128”)来执行帧内编码而不参考帧间宏块行。以这种方式，图像编码单元4将刷新行RL的首部设置为片(也就是子块)的首部。 以这种方式，由于解码单元32在对刷新行RL进行解码时未参考未恢复行UR，所以可以防止 错误传播。以这种方式，图像编码单元4将刷新行RL设置为片的首部，因此未针对刷新行RL 参考帧间宏块行。因此，由于解码单元32在对刷新行RL进行解码时未参考未恢复行UR，所以可以防止错误传播。因而，可以避免第二错误传播起因。在H264/AVC中，准备称为constrained_intra_pred_f lag的标志。通过将这个标 志设置成“1”，可以规定不参考针对帧内码进行帧间编码的像素的条件。然而当标志设置 成“1”时，也不参考针对除了强制帧内宏块之外的I宏块进行帧间编码的像素。因而存在 编码效率下降的问题。具体而言，图像编码单元4的画面标头生成部9在画面标头的PPS (画面参数集) 中设置COnstrained_intra_pred_flag = 1。标志设置成“ 1 ”这个事实意味着不参考针对 帧内码进行帧间编码的像素。当帧内预测部15确认constrained_intra_pred_flag = 1时，帧内预测部15仅 参考帧内编码像素执行画面内预测过程。因而，由于解码单元32可以仅参考帧内编码像素 对图像数据S4进行解码，所以可以防止来自未恢复行UR的错误传播。以这种方式，通过图像编码单元4设置constrained_intra_pred_flag = 1，可以 防止来自未恢复行UR的错误传播。因而可以避免第二错误传播起因。1-4-3.避免第三错误传播起因如上所述，当使用去块滤波器时，未恢复行UR的像素在对刷新行RL进行解码时具 有刷新边界BD对两个像素的影响(下文称为边界像素)，因此边界像素受损。因而，图像编 码单元4未使用去块滤波器。具体而言，图像编码单元4的片标头生成部12设置称为diSable_debl0Cking_ filter_idc的指标等于1。去块滤波器26确认disable_deblocking_flter_idc。当标志 设置成“1”时，片(也就是子块)未经历去块滤波过程。因此，由于解码单元32在对刷新行RL进行解码时对未恢复行UR未执行去块滤波 过程，所以可以防止错误传播。以这种方式，由于图像编码单元4在未使用去块滤波器的情况下可以防止刷新行 RL的边界像素由于非边界行UR的像素影响而受损，所以可以避免第三错误传播起因。1-5.处理序列当编码过程开始时，图像编码单元4在步骤SPl中确定处理目标宏块(也就是目 标块)是否为画面的首部。 当获得肯定结果时，该过程继续步骤SP2。代替地，当获得否定 结果时，该过程继续步骤SP3。当图像编码单元4在步骤SP2中向处理目标宏块的首部添加画面标头时，该过程 继续下一步骤SP3。这时，图像编码单元4添加constrained_intra_pred_flag。在步骤SP3中，该过程继续子例程SRTl 1，并且图像编码单元4执行宏块确定过程。 当图像编码单元4确定是对处理目标宏块进行帧间编码还是帧内编码作为宏块确定过程 时，该过程继续下一步骤SP4。在步骤SP4中，该过程继续子例程STR12或者STR22，并且图像编码单元4执行分 片确定过程。当图像编码单元4确定是否执行分片作为分片确定过程时，该过程继续下一 步骤SP5。在步骤SP5中，图像编码单元4确定处理目标宏块是否为将要帧内编码的I宏块 (强制帧内宏块和帧内宏块)。当获得肯定结果时，该过程继续步骤SP6，并且图像编码单元4执行画面内预测过程。在步骤SP6中，图像编码单元4对刷新宏块执行画面内预测过程，以免参考帧间编码的 P宏块。当生成差分数据Dl时，该过程继续下一步骤SP9。
代替地，当在步骤SP5中获得否定结果时，该过程继续下一步骤SP7,以便图像编 码单元4执行运动预测过程。在步骤SP7中，该过程继续子例程SRT13或者SRT23，并且图像编码单元4执行搜 索范围确定过程。图像编码单元4在刷新行RL的下侧设置搜索范围作为搜索范围确定过 程，以免参考错误传播像素(刷新行RL中的位置在从刷新边界BD起的三个像素以外的半 像素和四分之一像素)。然后，该过程继续下一步骤SP8。在步骤SP8中，图像编码单元4在步骤SP7中设置的搜索范围中检测运动矢量，执 行运动预测过程，并且生成差分数据D1。然后，该过程继续步骤SP9。在步骤SP9中，图像编码单元4对差分数据Dl执行正交变换过程和量化过程。当 生成量化系数D3时，该过程继续接下来的步骤SPlO和SPll以同时执行步骤SPlO和SPll 的过程。在步骤SPlO中，图像编码单元4对量化系数D3执行可逆编码过程。当生成可逆编 码数据D5时，向传输单元6供应可逆编码数据D5作为比特流S6以结束编码过程序列RTl。在步骤SPll中，图像编码单元4执行逆量化过程和逆正交变换过程。当生成局部 解码图像L3(也就是用于处理目标宏块的预测图像数据)时，该过程继续下一步骤SP12。在步骤SP12中，图像编码单元4确认disable_deblocking_filter_idc的值，并 且确定是否执行去块滤波过程。当获得肯定结果时，该过程继续步骤SP13，并且图像编码单元4执行去块滤波过 程。然后，该过程继续结束步骤以结束编码过程序列RT1。代替地，当在步骤SP12中获得否定结果时，该过程继续结束步骤，并且图像编码 单元4结束编码过程序列RTl。图像编码单元4允许从编码过程序列RTl的步骤SP3至子例程SRTll的步骤SP21 的过程(参见图12)。在步骤SP21中，当供应处理目标宏块时，图像编码单元4将对各画面中的宏块数 目进行计数的MB计数器和对各片中的宏块数目进行计数的SMB计数器加“+1”。然后，该过 程继续下一步骤SP22。在步骤SP22中，图像编码单元4确定当前处理目标宏块是否为刷新 宏块。当获得肯定结果时，处理目标宏块属于刷新行RL。这时，该过程继续步骤SP23，并 且图像编码单元4选择处理目标宏块的帧内编码作为强制帧内宏块。然后，该过程继续下 一步骤SP25。代替地，当在步骤S22中获得否定结果时，处理目标宏块属于帧间宏块行。这时， 图像处理单元4允许该过程继续下一步骤SP24。在步骤SP24中，图像编码单元4预测通过帧间编码和帧内编码来生成的处理目标 宏块的生成码数量。当图像编码单元4选择编码效率良好的编码方法作为对处理目标宏块 有效进行编码的编码方法时，该过程继续下一步骤SP25。在步骤SP25中，图像编码单元4确定处理目标宏块是否为画面中的最终宏块。当 获得否定结果时，该过程返回到步骤SP21，并且图像编码单元4继续从步骤SP21至步骤 SP25的过程，直至对所有宏块的过程结束。
代替地，当在步骤SP25中获得肯定结果时，图像编码单元4允许该过程继续下一 步骤SP26。图像编码单元4在步骤SP26中将MB计数器重置成“0”，并且该过程继续下一步骤SP27。在步骤SP27中，图像编码单元4将对画面数目进行计数的画面计数器加“+1”。然 后，该过程继续下一步骤SP28。在步骤SP28中，图像编码单元4确定对所有画面的过程是否结束。当获得否定结 果时，该过程返回到步骤SP21，并且从步骤SP21至SP28的过程继续直至对所有画面的过程结束。代替地，当在步骤SP28中获得肯定结果时，图像编码单元4允许该过程继续编码 过程序列RTl的步骤SP4(参见图11)。在编码过程序列RTl的步骤SP4中，图像编码单元4允许该过程继续分片确定过 程的子例程SRT12的步骤SP41 (参见图13)。在步骤SP41中，图像编码单元4确定处理目标宏块是否满足所有以下三个条件1)刷新行RL的首部是片的首部的标志为“真”；2)处理目标宏块是强制帧内宏块；以及3)处理目标宏块是刷新行RL的首部。当在步骤SP41中获得肯定结果时，刷新行RL的首部是片的首部，并且当前宏块是 刷新行RL的首部。然后，图像编码单元4允许该过程继续下一步骤SP42。代替地，当在步骤SP41中获得否定结果时，刷新行RL的首部不是片的首部，并且 处理目标宏块不是刷新行RL的首部。然后，图像编码单元4允许该过程继续下一步骤SP43。在步骤SP43中，图像编码单元4确定处理目标宏块是否满足所有以下两个条件1)确定是否分片的标志为“真”；以及2)对各片中的宏块数目进行计数的SMB计数器是分片阈值。当获得肯定结果时，这个结果意味着根据当前MB计数器的值(也就是处理目标宏 块的位置)将画面分成片，因为预先确定将画面分成多片。然后，图像编码单元4允许该过 程继续下一步骤SP42。在步骤SP42中，图像编码单元4执行分片，使得从处理目标宏块形成新片(也就 是子块)并且也重置SMB计数器。这时，图像编码单元4设置disable_debl0Cking_filter_ idc.然后，图像编码单元4允许该过程继续编码过程序列RTl的步骤SP5(参见图11)。代替地，当在步骤SP43中获得否定结果时，这个结果意味着不必将画面分成多片 或者无需根据当前SMB计数器的值(也就是处理目标宏块的位置)将画面分成片。然后， 图像编码单元4允许该过程继续下一步骤SP44。在步骤SP44中，图像编码单元4不执行分片，并且该过程继续编码过程序列RTl的步骤SP5(参见图11)。在编码过程序列RTl的步骤SP7中(参见图11)，该过程继续子例程SRT13的步骤SP51 (参见图14)，并且图像编码单元4确定刷新行RL的宏块数目是否为二或者更多。
当获得肯定结果时，图像编码单元4允许该过程继续下一步骤SP52。在步骤SP52 中，图像编码单元4将除了用于刷新行RL左侧的位置在从刷新边界BD起的三个像素移位 的半像素和四分之一像素之外的编码行单位设置为运动矢量MVy在y方向上的搜索范围，以免在解码时参考错误传播像素。然后，该过程返回到编码过程序列RTl的步骤SP8 (参见图 11)。代替地，当在步骤SP51中获得否定结果时，该过程继续下一步骤SP53。在步骤 SP53中，图像编码单元4将运动矢量MVy在y方向上的搜索范围设置为零(也就是说，运动 矢量Mvy =“0”)以免在解码时参考错误传播像素。然后，该过程返回到编码过程序列RTl 的步骤SP8(参见图11)。1-6.操作和优点图像处理设备1的图像编码单元4对强制帧内宏块执行帧内编码。图像编码单元4在作为参考目标的参考画面中按参考编码单位(也就是参考目标块)通过使用相邻像素 的滤波过程按小于整数精确度的精确度生成半像素和四分之一像素。图像编码单元4设置参考块在按小于整数精确度的精确度以参考目标块的半像 素和四分之一像素为参考执行的运动预测过程时的搜索范围。图像编码单元4设置如下作 为搜索范围，该范围没有与从作为强制帧内宏块与另一宏块之间边界的刷新边界BD起的 相邻像素数目对应的半像素和四分之一像素这些像素(也就是存在于从刷新边界BD起的 三个像素以外的半像素和四分之一像素)。图像编码单元4在设置的搜索范围中检测运动 矢量并且执行运动预测过程。以这种方式，图像编码单元4可以对处理目标宏块进行编码而不参考可以在解码 时传播错误的错误传播像素。因此，即使当错误出现于解码单元32中时，仍然可以执行解 码而不参考错误传播像素。因而，可以在检测运动矢量时防止出现错误传播。图像编码单元4通过帧内编码和前向帧间编码对由多个画面组织的图像数据S4 进行编码。这时，图像编码单元4向强制帧内宏块或者另一宏块(该宏块是除了强制帧内 宏块之外的宏块)分配宏块，从而按某一周期作为画面中的编码单位的宏块变成将要帧内 编码的强制帧内块。以这种方式，图像编码单元4可以允许强制宏块按某一周期显现。图像编码单元4通过将diSable_debl0Cking_filter_idC设置为滤波设置信息对 去块滤波过程施加约束。图像编码单元4根据设置的disable_debl0Cking_filter_idC对 作为运动部的运动预测补偿部14编码的宏块的局部解码图像L3执行去块滤波过程。以这种方式，由于图像编码单元4可以对作为错误传播起因的去块滤波过程施加 约束，所以可以防止在解码时错误传播。图像编码单元4执行编码以防止在解码时错误传播。因此，即使当解码时出现错 误时，解码单元32仍然可以防止错误传播。因而，可以缩短从错误中恢复所必需的时间。图像编码单元4对用于强制帧内宏块的参考目标施加约束，以免参考由将要帧间 编码的帧间块形成的宏块，并且根据约束来执行画面内预测过程。即使当未恢复刷新边界BD的上部时，图像编码单元4仍然不参考帧间块。因此， 未向刷新行RL传播错误。因而，当错误出现于无线传输中时，图像编码单元4可以缩短从 错误中恢复所必需的时间。当刷新行RL由水平布置的单宏块(也就是一个宏块行)组织时，图像编码单元4 将垂直搜索范围设置成“0”。因此，图像编码单元4未参考位置在从刷新边界RL起的三个像素以外(也就是移 位三个像素)的半像素和四分之一像素。因而，由于解码单元32未参考错误传播像素，所以可以防止向帧间宏块传播。图像编码单元4分配强制帧内宏块，从而由强制帧内宏块组织的刷新行RL在y方 向的作为移位方向的向下方向上移位与刷新行RL的垂直(y方向)宏块数目相同的数目。 然后，图像编码单元4将disable_deblocking_filter_idc设置成“1”。以这种方式，由于图像编码单元4可以在画面之间依次移动刷新行RL，所以通常 可以使恢复行AR的下部与刷新行RL或者未恢复行AR相邻。因而，解码单元32在由帧间 块形成的恢复行AR的下部中未生成错误传播像素。因而，由于图像编码单元4可以在y方向的向下方向上设置运动矢量的搜索范围 直至刷新边界BD，所以可以扩展搜索范围。图像编码单元4将指示强制帧内宏块的首部是片的首部的标志设置成“真”，并且 划分紧接在强制帧内宏块的首部(也就是刷新行的首部)之前的片。图像编码单元4未参考刷新行RL的一个宏块上方的帧间编码行。因此，当解码单 元32对刷新行RL进行解码时未参考未恢复行UR。因而可以可靠地恢复刷新行RL。图像编码单元4将constrained_intra_pred_f lag设置成“ 1 ”。图像编码单4根 据c0nstrained_intra_pred_flag对强制帧内宏块执行画面内预测过程而不参考帧间宏 块。以这种方式，图像编码单元4可以执行画面内预测过程而不参考帧间宏块。因此， 由于解码单元32在画面内预测过程中未参考未恢复行UR，所以可以可靠地恢复刷新行RL。图像编码单元4向将要帧间编码的帧间刷新块和将要帧内编码的帧内刷新块分 配将要向另一宏块分配的宏块。 通过将指示强制帧内宏块的首部是片的首部的标志设置成 “真”来约束参考块。以这种方式，图像编码单元4可以在对除了强制宏块之外的块进行帧内编码时参 考帧间块。另一方面，当c0nstrained_intra_pred_flag设置成“1”时，针对所有I宏块 (强制帧内宏块和帧内宏块)不参考P宏块。因此与使用c0nstrained_intra_pred_flag 的情况相比，图像编码单元4可以提高编码效率。图像编码单元4按照H. 264/AVC执行该过程。通过将示例实施例应用于按四分之一像素的精确度检测运动矢量并且使用去块 滤波器的H. 264/AVC，可以适当防止错误传播。因而可以缩短从错误中恢复所必需的时间。利用这样的配置，图像编码单元4设置参考块的搜索范围，以免包括按大于整数 精确度的精确度(也就是按少于整个像素的粒度)在解码时参考未从错误中恢复的宏块生 成的像素。图像编码单元4对去块滤波过程施加约束，以免在解码时参考未从错误中恢复 的未恢复宏块。以这种方式，由于图像编码单元4可以适当防止在解码时错误传播，所以可以缩 短从错误中恢复所必需的时间。2.第二示例实施例在参照图15A至图22描述的第二示例实施例中，向与参照图2至图14描述的第 一示例实施例的部分相同的部分给予相同标号，并且省略相同描述。第二示例实施例与第 一示例实施例不同在于，与图像编码单元4对应的图像编码单元104的去块滤波器26执行 去块滤波过程。
2-1.避免第三错误传播起因2-1-1.刷新行的反复显现 如参照图8所述，当执行去块滤波过程时，由从刷新边界BD起的两个像素形 成的边界像素由于未恢复行UR的影响而受损。在这个示例实施例中，设置disable deblocking_filter_idc = 2。将标志设置成2的事实意味着未对片边界执行去块滤波过 程。也就是说，由于图像编码单元104可以通过将标志设置成“2”在除了片边界以外的部 分中执行去块滤波过程，所以可以减少去块噪声。图像编码单元4可以通过将所有编码行单位分成片而在编码行单位之间无影响。 然而鉴于编码效率，将所有编码行单位分成片是不恰当的。如图15A中所示，根据第二示例实施例的图像编码单元104将刷新行RL组织成多 个宏块行，并且也将刷新行RL的首部分成片(也就是子块)。在这种情况下，刷新边界BD 的位于刷新行RL的最下部中的宏块行(下文称为边界MB行RLb)由于去块滤波过程而受 到未恢复行UR的影响。然而，除了边界MB行RLb之外的宏块行不受未恢复行UR影响，但是可以被正常恢 复。在图15A至15C中，由于未恢复行UR的影响而受损的像素由行指示。如图15B和15C中所示，图像编码单元104移动刷新行RL而又将刷新行RL的位 置与至少一个宏块行重叠，从而在先前画面中的边界MB行RLb再次变成下一画面中的刷新 行RL。因此，图像编码单元104在对先前画面的去块滤波过程中损坏边界MB线RLb，但是 可以恢复用于下一画面的边界MB行RLb。具体而言，当编码行单位是两个宏块行时，图像编码单元104的帧内宏块确定部 10确定与刷新行RL对应的宏块作为强制帧内宏块。当处理目标宏块不是强制帧内宏块时， 帧内宏块确定部10鉴于编码效率将处理目标宏块确定为I宏块或者P宏块。帧内宏块确定部10确定用于先前画面的强制帧内宏块，从而在先前画面中的边 界MB行RLb再次变成下一画面中的刷新行RL。也就是说，帧内宏块确定部10允许刷新行 RL显现以便被延迟一个宏块行。因而，解码单元32由于去块滤波过程而损坏刷新行RL之中的边界MB行RLb下面 的像素，但是可以恢复用于下一画面的边界MB行RLb。以这种方式，图像编码单元104允许刷新行RL之中的作为未恢复行UR下面的边 界的边界MB行RLb再次显现作为用于下一画面的刷新行RL。因此，解码单元32可以在下 一画面中适当恢复由于去块滤波过程而受损的像素。2-1-2.分片在第一示例实施例中，图像编码单元4将刷新行RL的首部设置为片的首部。也就 是说，在第一示例实施例中，片边界BL随着刷新行RL的位置移位而移位。下文将以这种方 式移位的片边界称为片边界BLmove。将主要描述对除了片边界BLmove之外的边界执行去块滤波过程的情况。如图16A 至16C中所示，在未考虑去块滤波器的影响时从错误中恢复解码是否成功在左侧由0或者 X指示，而在考虑去块滤波器的影响时恢复错误是否成功在右侧由0或者X指示。如图16A中所示，刷新行RL在画面内预测过程中无问题，因此被解码。然而在边 界MB行RLb中，在去块滤波过程中损坏相邻像素。
如图16B中所示，未恢复行ARl无问题并因此被解码，因为参考未传播错误的边界 MB行RLb和刷新行RL这种范围。然而在恢复行ARl中损坏相邻像素，因为恢复行ARl的上 部经历使用未恢复行UR的去块滤波过程。如图16C中所示，未恢复行AR2无问题并因此被解码，因为参考未传播错误的边界 MB行RLb和刷新行RL这种范围。然而在恢复的行AR3中传播错误，因为参考相邻像素受损 的恢复行ARl。在恢复行AR2中传播错误，因为通过使用传播错误的恢复行AR3来执行去块 滤波过程。当片边界BLmove移位时，在将要帧间编码的恢复行AR中由于去块滤波过程的影 响而传播错误。因此难以恢复错误。根据第二示例实施例的图像编码单元104将片边界固定为片边界BLfix。
如图17A中所示，刷新行RL无画面内预测过程所致的问题并因此被恢复。然而在 边界MB行RLb中，边界像素在去块滤波过程中受损。如图17B中所示，片的首部变成恢复的行AR1，因为片边界BLfix未移位。恢复行 ARl无问题并因此被恢复，因为参考未传播错误的边界MB行RLb和刷新行RL这种范围。由 于恢复行ARl位于片边界BLfix上，所以在恢复行ARl与未恢复行UR之间的边界中未执行 去块滤波过程。出于这种原因，恢复行ARl可以被恢复而无损于边界像素。如图17C中所示，恢复行AR2和AR3在运动预测过程中无问题并因此被解码。这 时，由于恢复行AR3是片的首部，所以未执行去块滤波过程，因此未传播错误。在恢复行AR2 中未传播错误，因为使用未传播错误的恢复行AR3来执行去块滤波过程。以这种方式，通过固定片边界BLfix，可以防止在去块滤波过程中引起的错误传 播。在第二示例实施例中，由于刷新行RL变成片的首部、然后开始从错误中恢复，所以时段 2T-1在从错误中恢复时是必要的。因此，根据第二示例实施例的恢复比第一示例实施例的 恢复需要略微更多的时间。具体而言，图像编码单元104的画面标头生成部9将指示是否执行分片的标志设 置成“真”，并且也设置分片阈值。分片阈值指示来自画面首部的受到分片的宏块数目，并且 指示片边界BLfix的位置。如在第一示例实施例中那样，分片确定部11通过MB计数器对来自画面首部的宏 块数目进行计数。当分片确定部11确认画面首部以确认指示分片的标志是否为“真”时， 分片确定部11确定处理目标宏块是否等于或者大于分片阈值。在当前MB计数器的值等于或者大于分片阈值时，分片确定部11确定执行分片。向 片标头生成部12供应确定结果。片标头生成部12通过生成片标头并且向图像数据S4添 加片标头来执行分片。以这种方式，通过在预定位置执行分片，可以防止去块滤波过程中的错误传播。2-2.避免第二错误传播起因如上所述，根据第二示例实施例的图像编码单元104未将刷新行RL的首部设置为 片的首部。然而如图17A至17C中所示，通过固定片边界BLfix来恢复在片边界BLfix与 刷新行RL之间的帧间编码行。由于恢复了可能会被刷新行RL参考的帧间编码行，所以即使当帧间编码行是参 考目标块时仍无特别问题。
2-3.避免第一错误传播起因边界MB行RLb在图像编码单元104中的去块滤波过程中受损的像素仅为边界的 与未恢复行UR相邻设置的两个像素。这里除了先前画面的编码行单位之外，图像编码单元 104还设置边界MB行RLb的未受未恢复行UR影响的像素。如图18中所示，边界像素由于未恢复行UR的影响而在边界MB行RLb中受损。出 于这个原因，参考边界像素生成的半像素和四分之一像素可能由于未恢复行UR的影响而 变成传播错误的错误传播像素。因此，图像编码单位104将边界像素和除了错误传播像素 之外的范围设置为运动矢量的搜索范围。如图19A中所示，图像编码单元104的搜索范围设置部16将下一画面的处理目 标的编码行单位(参见图19B)之中的与先前画面对应的编码行单位(排除上错误传播像 素“Δυ”)设置成在y方向上的搜索范围。另外，搜索范围设置部16将编码行单位的紧接 与先前画面对应的编码行单位下面的部分设置为运动矢量在y方向上的搜索范围。编码 行单位的该部分是排除上错误传播像素(“ ΔU”)、下边界像素(“X”)和下错误传播像素 ("AL")的范围。具体而言，当按整数精确度检测运动矢量时，搜索范围设置部16除了与先前画面 对应的编码行单位之外还将紧接与先前画面对应的编码行单位下面的编码行单位中的排 除上边界像素(由Δυ指示)的十四个像素设置为在y方向上的搜索范围。在χ方向上的 搜索范围不受约束。当按四分之一像素的精确度检测运动矢量时，搜索范围设置部16除了与先前画 面对应的编码行单位(排除错误传播像素)之外还将紧接与先前画面对应的编码行单位下 面的编码行单位中的排除边界像素(由X指示)和错误传播像素(由Δυ和AL指示)的 像素设置为在y方向上的搜索范围。以这种方式，由于图像编码单元104设置运动矢量在y方向上的大搜索范围，所以 可以提高编码效率。以这种方式，图像编码单元104将未传播错误的范围设置为运动矢量的搜索范 围。因而可以在防止错误传播之时提高编码效率。如上所述，在第二示例实施例中，可以在提高图像质量之时防止在解码时由于执 行去块滤波过程所致的错误传播。2-4.处理序列接着将参照图20和图21的流程图描述根据第二示例实施例的处理序列。在第二 示例实施例中，如在第一示例实施例中那样执行编码处理序列RT1(参见图11)，但是在步 骤SP4中执行子例程SRT22，而在步骤SP7中执行子例程SRT23。下文将描述子例程SRT22 和 SRT23。该过程从编码过程序列RTl的步骤SP4(参见图11)继续到子例程SRT22的步骤 SP71 (参见图20)，并且图像编码单元104执行分片确定过程。在步骤SP71中，图像编码单元104确定处理目标宏块是否满足所有以下两个条 件1)确定是否分片的标志为“真”；以及2)当前SMB计数器等于或者大于分片阈值。
当获得肯定结果时，这个结果意味着根据当前SMB计数器的值(也就是宏块的位 置)将画面分成片，因为预先确定将画面分成多片。然后，图像编码单元104允许该过程继 续下一步骤SP72。在步骤SP72中，图像编码单元104执行分片，使得从处理目标宏块形成新片(也 就是子块)，并且也重置SMB计数器。这时，图像编码单元104设置disable_debl0Cking_ filter_idc0然后，图像编码单元104允许该过程继续编码过程序列RTl的步骤SP5 (参见 图 11)。代替地，当在步骤SP71中获得否定结果时，这个结果意味着不必将画面分成多片 或者无需根据当前SMB计数器的值(也就是宏块的位置)将画面分成片。然后，图像编码 单元104允许该过程继续下一步骤SP73。
在步骤SP73中，图像编码单元104未执行分片，并且该过程继续编码过程序列RTl 的步骤SP5(参见图11)。在编码过程序列RTl的步骤SP7中，图像编码单元104允许该过程继续子例程 SRT23的步骤SP81，其指示了搜索范围设置过程的序列。当图像编码单元104在步骤SP81中设置未传播错误的范围时，该过程继续编码过 程序列RTl的步骤SP8(参见图11)。在第二示例实施例中，未传播错误的搜索范围是在χ 方向上的大小可允许的最大值、在y方向上与先前画面对应的编码行单位(排除上错误传 播像素)以及编码行的紧接与先前画面对应的编码行单位下面的部分。编码行单位的该部 分是排除上错误传播像素、下边界像素和下错误传播像素的范围。2-5.操作和优点利用这样的配置，图像编码单元104分配强制帧内宏块，以便在画面之间在y方向 的作为刷新行RL的移位方向的向下方向上移位比刷新行在y方向的宏块数目小至少一个 的移位数目。图像编码单元104在画面的固定位置执行分片并且将disable_debl0Cking_ filterjdc设置成“1”。图像编码单元104在画面之间恒定的固定位置(片边界BLfix) 分片。解码单元32参考未恢复行UR对刷新行RL在画面之间在y方向上的下刷新边界 BD执行去块滤波过程。然而，由于解码单元32允许刷新边界的刷新行RL反复显现于下一 画面中，所以可以从错误中恢复在去块滤波过程中损坏的宏块行。解码单元32通过固定片边界BLfix来仅恢复片边界BLfix到刷新行RL之间的恢 复行AR。因此，即使当执行去块滤波过程时仍然未传播错误。因而，图像编码单元104可以 防止去块滤波过程中的错误传播。在画面内预测过程中，仅在片边界BLfix到刷新行RL之间对恢复行AR进行恢复。 因此，即使当刷新行RL参考上帧间宏块时，仍然未传播错误。因而，图像编码单元104可以 防止画面内预测过程中的错误传播。图像编码单元104将以下范围设置成运动矢量在y方向上的搜索范围1)作为参考画面的与作为处理目标宏块的刷新行RL对应的水平行的宏块行(排 除精确度比与从y方向的反方向在滤波过程中参考的相邻像素数目对应的整数精确度更 小的像素(也就是错误传播像素))；以及2)通过从参考画面的与参考画面的刷新行RL对应的宏块行起的移位数目来形成的宏块行(排除精确度比与从y方向的向下方向在去块滤波过程中参考的相邻像素数目对 应的整数精确度更小的像素(两个边界像素)以及精确度比与通过将在运动预测过程的滤 波过程中参考的相邻像素数目(两个像素)与在去块滤波过程中参考的像素数目(两个像 素)相加来获得的相加像素数目对应的整数精确度更小的像素(位置在从刷新边界BD起 的五个像素以外的像素))。以这种方式，图像编码单元104可以将运动矢量从最大范围起的搜索范围设置为 在解码时未传播错误的范围。也就是说，由于图像编码单元104可以在比刷新块RL更大的 范围中扩展运动矢量的搜索范围，所以可以提高编码效率。利用这样的配置，图像编码单元104执行除了片边界BLfix之外的去块滤波过程， 并且也移动刷新行RL以便被延迟至少一个宏块行。图像编码单元104固定片边界BLfix， 并且也通过使用disable_deblocking_filter_idc来执行除了片边界BLfix之外的去块滤 波过程。以这种方式，图像编码单元104可以通过执行除了片边界BLfix之外的去块滤波 过程在提高图像质量之时防止误差传播，因此缩短从错误中恢复所必需的时间。
3.第三示例实施例在参照图22至图25描述的第三示例实施例中，向与参照图2至图14描述的第一 示例实施例的部分相同的部分给予相同标号，并且省略相同描述。第三示例实施例与第一 示例实施例不同在于，不是在刷新行RL中而是在各刷新块RL-B中恢复错误。3-1.第三示例实施例的原理在这个示例实施例中，如图22中所示，将画面分成多个编码块单位(也就是目标 块)，并且在各编码块单位中确定强制帧内宏块。在第三示例实施例中，不是在刷新行RL中 而是在各刷新块RL-B中恢复错误。刷新块RL-B由任意组织数目的宏块形成。刷新块RL-B可以由多个宏块如4X4 宏块或者8 X 8宏块或者由一个宏块形成。在这个示例实施例中，片(也就是子块)形成于编码块单位布置于其中的各行中。 针对片显现预定数目的刷新块RL-B。因而在这个示例实施例中，可以针对各片使编码数量 恒定。下文将这种片称为固定码片LT。在这个示例实施例中，在无线传输时在缓存中出现的延迟可以减少至固定码片 LT0在这个示例实施例中，刷新块RL-B显现于各编码块单位中。用于各固定码片的刷 新块RL-B按各周期T周期性地显现，但是关于刷新块RL-B的位置关系无规律性的规则。也 就是说，刷新块RL-B看起来随机显现。—般而言，帧内编码的I宏块具有比帧间编码的P宏块的图像质量更好的图像质 量。在第一和第二示例实施例中，由于强制帧内宏块显现于各刷新行RL中，所以在强制帧 内宏块与P宏块的图像质量之间的差异可能明显。 在这个示例实施例中，通过允许强制宏块显现于相对小的编码块单位中，所以可 以几乎注意不到在I宏块与P宏块的图像质量之间的差异。因此，可以提高画面的图像质 量。下文将根据第三至第五示例实施例的编码方法称为随机刷新方法。这种随机刷新方 法有别于根据第一和第二示例实施例的其中强制帧内宏块显现于各刷新行RL中的编码方法。3-2.在各宏块中的刷新在这个示例实施例中将描述刷新块RL-B由一个宏块形成的情况。如图23中所示，图像编码单元204形成用于每一个宏块行(也就是用于各目标 块)的固定码片，并且允许刷新块RL-B显现于每一个宏块中。3-2-1.避免第一错误传播起因图像编码单元204的搜索范围设置部16将在χ和y方向上的搜索范围设置成“0”。 也就是说，运动预测补偿部14未检测运动矢量。运动矢量通常为“0”。因而，运动预测补偿部14向计算部13不变地供应与先前画面对应的宏块的像素 值。计算部13输出在处理目标宏块和与先前画面对应的宏块的像素值之间的差值作为差 分数据Li。以这种方式，图像编码单元204可以防止来自未恢复宏块(下文称为未恢复宏块 UM)的错误传播。3-2-2.避免第二错误传播起因如在第一示例实施例中那样，通过图像编码单元204将刷新宏块RL-B设置成片的 首部，可以防止画面内的预测过程中的来自未恢复宏块UM的错误传播。具体而言，图像编码单元204的画面首部生成部9将指示刷新块RL-B的首部是画 面首部中的片的首部的标志设置成“真”。当分片确定部11确认标志指示刷新块RL-B的首部是片的首部时，分片确定部11 划分在刷新宏块RL-B之前的片。分片确定部11划分其中处理目标宏块位于画面的左端的 片。也就是说，在图23中，固定码片LT由两片(也就是子块)、也就是包括刷新块RL-B的 片和不包括刷新块RL-B的片形成。当刷新块RL-B位于画面的左端时，分片确定部11在同一宏块行的中部(该中部 例如紧接刷新块RL-B之后存在)执行分片。以这种方式，分片确定部11可以形成包括两 片的固定码片LT。帧内预测部15执行画面内的预测编码而不参考在刷新块RL-B的上侧和左侧的像 素， 因为帧内预测部15未参考存在于片以外的像素。以这种方式，解码单元32可以通过对处理目标宏块进行解码而不参考未恢复宏 块UM将刷新块RL-B从错误中恢复。3-2-3.避免第三错误传播起因当片首部生成部12生成片首部时，片首部生成部12设置diSable_debl0Cking_ filter_idc = 1。当去块滤波器26确认标志(也就是指标)时，去块滤波器26未执行去 块滤波过程。以这种方式，图像编码单元204可以防止错误从未恢复宏块UM向刷新行RL传播， 因此可以从错误中恢复刷新块RL-B。3-2-4.处理序列接着将参照图24的流程图描述根据第三示例实施例的处理序列。在第三示例实 施例中，如在第一示例实施例中那样执行编码过程序列RTl (参见图11)，但是在步骤SP4中 执行子例程SRT31，而在步骤SP7中执行子例程SRT23。下文将描述子例程SRT31和SRT23。
该过程从编码处理序列RTl的步骤SP4 (参见图11)继续到子例程SRT24的步骤 SPlOl (参见图24)，并且图像编码单元204执行分片确定过程。在步骤SPlOl中，图像编码单元204确定处理目标宏块是否满足所有以下两个条 件1)确定刷新块RL-B的首部是否为片的首部的标志为“真”；以及 2)处理目标宏块是强制帧内宏块。当获得肯定结果时，这个结果意味着处理目标宏块指示刷新块RL-B，因此必须紧 接处理目标宏块之前分片。然后，图像编码单元204允许该过程继续下一步骤SP102。在步骤SP102中，图像编码单元204确定处理目标宏块是否位于画面的左端。当 获得肯定结果时，该过程继续步骤SP103。代替地，当获得否定结果时，该过程继续步骤 SP104。在步骤SP103中，图像编码单元204执行分片，使得从处理目标宏块形成新片(也 就是子块)。这时，图像编码单元204设置disable_deblocking_filter_idc。然后，图像 编码单元204允许该过程继续编码过程序列RTl的步骤SP5 (参见图11)。在步骤SP104中，图像编码单元204未执行分片，并且该过程继续编码过程序列 RTl的步骤SP5(参见图11)。在步骤SP7中，图像编码单元204允许该过程继续子例程SRT23的步骤SP81，其指 示了搜索范围设置过程的序列。在步骤SP81中，图像编码单元204设置未传播错误的范围，然后该过程继续编码 过程序列RTl的步骤SP8(参见图11)。在第三示例实施例中，未传播错误的范围意味着在 χ和y方向上的搜索范围=“0”。在步骤SP8中，图像编码单元204执行运动预测(也就是计算与先前画面的差值) 作为运动矢量“0”。3-2-5.操作和优点利用这样的配置，图像编码单元204在由整数的宏块行形成的各固定码片LT中执 行分片。图像编码单元204分配强制宏块，从而强制帧内宏块显现于由组织数目的宏块形 成的各刷新块RL-B中，并且按照针对固定码片LT的显现数目来显现。以这种方式，由于图像编码单元204可以统一固定码片LT的各码数量，所以图像 编码单元204可以将缓存所必需的延迟减少至固定码片LT的大小。图像编码单位204通过在χ方向上布置单宏块来形成固定码片LT，因此通过单宏 块形成刷新块RL。以这种方式，由于图像编码单元204可以将固定码片LT形成为一个宏块行，所以 图像编码单元204可以允许延迟为一个宏块行。图像编码单元204随机分配画面中的强制帧内宏块。以这种方式，由于图像编码单元204允许将要帧内编码的I宏块和将要帧间编码 的P宏块随机显现，所以可以几乎注意不到帧内编码所致的图像质量差异。图像编码单元204允许强制帧内宏块的首部为片的首部，并且将运动矢量在χ和 y方向上的搜索范围设置成“0”。以这种方式，图像编码单元204可以防止在解码时由运动预测过程引起的错误传播。 利用这样的配置，图像编码单元204允许刷新块RL-B显现于各固定码片LT中。以这种方式，图像编码单元204可以在缩短从错误中恢复所必需的时间之时防止错误传播并 且减少延迟。4.第四示例实施例在参照图25描述的第四示例实施例中，向与参照图22至图24描述的第三示例实 施例的部分相同的部分给予相同标号，并且省略相同描述。第四示例实施例与第三示例实 施例不同在于，刷新块RL-B不是由一个宏块而是由多个宏块组织。4-1.避免第一错误传播起因在第一示例实施例中，由于刷新行RL显现于各宏块行中，所以不必对运动矢量在 X方向上的搜索范围施加约束。在这个示例实施例中，由于未参考未恢复的宏块UM，所以有 必要对在χ方向和y方向上的搜索范围施加相同约束。图像编码单元304的搜索范围设置部16将运动矢量MVx和MVy在χ和y方向上的 搜索范围分别设置成如下范围，该范围在编码块单位内并且排除刷新边界BD的一侧的位 置在从编码块单位起的三个像素以外(也就是移位三个像素)的半像素和四分之一像素。宏块确定部11允许刷新宏块RL-B以便在画面之间向右侧偏离。因此，解码单元 32可以在刷新宏块RL-B显现之后参考帧间编码的编码块单位的右侧的恢复块。因而，搜索范围设置部16可以将直至编码块单位的右侧的刷新边界BD为止的范 围设置成搜索范围。以这种方式，图像编码单元304可以防止来自未恢复宏块UM的错误传播。由于图 像编码单元304可以检测运动矢量，所以与刷新块RL-B显现于各宏块中的第三示例实施例 相比，可以进一步提高编码效率。4-2.避免第二错误传播起因刷新块RL-B与多个宏块行重叠。因此，如在第三示例实施例中那样，为了允许刷 新块RL-B成为片的首部，有必要在各宏块行中执行分片。在这个示例实施例中，通过使用 constrained_intra_pred_flag以减少分片数目来避免第二错误传播起因。图像编码单元304的画面标头生成部9设置画面标头的PPS (画面参数集)中的 constrained_intra_pred_flag = 1。将标志设置成“ 1 ”的事实意味着未参考针对帧内码 进行帧间编码的像素。当帧内预测部15确认constrained_intra_pred_flag = 1时，帧内预测部15仅 参考帧内编码的像素执行画面内的预测过程。因而，由于解码单元32可以仅参考帧内编码 的像素对图像数据S4进行解码，所以可以防止来自未恢复行UR的错误传播。以这种方式，通过图像编码单元304设置constrained_intra_pred_flag = 1，可 以防止来自未恢复行UR的错误传播。另外，图像编码单元304可以参考与刷新块RL-B的 第二宏块相邻的宏块和在第二宏块之后的宏块。因而与刷新块RL-B显现于每一个宏块中 的情况相比，图像编码单元304可以进一步提高编码效率。以这种方式，由于解码单元32对处理目标宏块进行解码而不参考未恢复宏块UM, 所以可以从错误中恢复刷新块RL-B。4-3.避免第三错误传播起因
当片首部生成部12生成片首部时，片首部生成部12设置diSable_debl0Cking_ filter_idc = 1。当去块滤波器26确认这个标志时，去块滤波器26没有对所有片执行去 块滤波过程。
以这种方式，由于图像编码单元304可以防止去块滤波过程中的错误向未恢复块 UM传播，所以可以从错误中恢复刷新块RL-B。固定码片LT中的刷新块RL-B的显现数目可以是一个或者多个。通过增加刷新块 RL-B的数目并且缩短周期T，可以推进从错误中恢复。相反地，通过减少刷新块RL-B的显 现数目并且增加帧间宏块比，可以提高编码效率。以这种方式，通过扩大编码块单位的大小并且增加运动矢量的搜索范围，可以提 高编码效率。相反地，通过减少编码块单位的大小并且减少固定码片LT，可以减少延迟并且 很少注意在帧内块与帧间块的图像质量之间的差异。在示例实施例中，可以考虑上述描述适当选择编码块单位的大小和刷新块RL-B 的显现数目。以这种方式，图像编码单元304允许刷新块RL-B显现于多个宏块单位中，并且在 运动预测过程和画面内的预测编码过程中扩展参考目标。因此，可以提高编码效率。4-4.操作和优点以这种方式，图像编码单元304形成在y方向上由多个宏块组织的固定码片LT， 并且形成由多个宏块组织的刷新块RL-B。图像编码单元304将Contrained_intra_pred_ flag设置成“1”。以这种方式，图像编码单元304可以防止在解码时错误传播，减少分片数目，并且 通过在画面内的预测编码过程和运动预测过程中扩展参考目标块的范围来提高编码效率。图像编码单元304分配强制帧内块，从而刷新块RL-B在画面之间向水平右侧移位 (在X方向上的右侧)。以这种方式，图像编码单元304使得刷新块RL-B在画面之间彼此相邻，因此可以 将搜索范围设置成刷新块RL-B在χ方向上的右侧的刷新块BD。因而，图像编码单元304可 以通过扩展搜索范围来提高编码效率。图像编码单元304将参考画面的刷新块(排除精确度比与除了在χ方向上的右侧 之外从刷新块之间的边界在滤波过程中参考的相邻像素数目对应的整数精确度更小的像 素)设置成搜索范围。以这种方式，图像编码单元304可以防止在解码时运动预测过程中的错误传播。利用这样的配置，图像编码单元304形成由多个宏块组织的刷新块RL-B。因而，可 以在抑制延迟之时通过扩展参考目标块并且减少片数目来提高编码效率。5.第五示例实施例在参照图26A和26B描述的第五示例实施例中，向与第四示例实施例中的图25中 所示部分相同的部分给予相同标号，并且省略相同描述。第五示例实施例与第四示例实施 例不同在于，将一个宏块行设置成固定码片LT并且执行去块滤波过程。5-1.第五示例实施例的优点在这种示例实施例中，图像编码单元404对每一个宏块行执行分片，并且也在刷 新块RL-B的首部中执行分片。也就是说，如在第三示例实施例中那样，图像编码单元404可以减少延迟，因为图像编码单元404可以将一个宏块行设置成固定码片LT。在这个示例实施例中，如图26A和26B中所示，刷新块RL-B例如显现于各4X3宏 块中。以这种方式，图像编码单元404可以如在第四示例实施例中那样通过在运动预测 过程和画面内的预测过程中扩展参考范围来提高编码效率。5-2.避免第三错误传播起因 当图像编码单元404的片标头生成部12生成片标头时，片标头生成部12设置 disable_deblocking_filter_idc = 2。当去块滤波器26确认这个标志时，去块滤波器26 不对片边界BL类执行去块滤波过程。图像编码单元404的分片确定部11通常在各宏块行以内(在固定码片LT以内) 的固定位置执行分片。相同刷新块RL-B显现于其中的固定码片LT在χ方向上的相同位置 经历分片。因而，沿着给定画面的刷新块RL-B的左端生成片边界BLfix。由于去块滤波过程的影响，在刷新块RL-B的右侧的位于片边界中的两个像素受 损(由包围线条指示)。因此，如图26B中所示，帧内宏块确定部10允许刷新块RL-B的仅 两个宏块显现于在右侧延迟的位置，从而具有受损像素的宏块相互重叠。因而，解码单元32可以在出现错误时适当恢复在使用未恢复块UR-B的去块滤波 过程中受损的宏块。以这种方式，图像编码单元404在每一个宏块行中形成固定码片之时允许多个块 单位中的刷新块RL-B显现。以这种方式，图像编码单元404可以通过运动预测和画面内的 预测编码增加参考目标块来提高编码效率，并且也可以减少延迟。5-3.操作和优点具有上述配置的图像编码单元404通过水平布置单编码单位来形成固定码片LT。 图像编码单元404通过在多个固定码片LT中在χ方向上的相同位置布置强制帧内宏块来 形成刷新块RL-B。以这种方式，图像编码单元404可以在形成于每一个宏块行中的固定码片LT以外 形成刷新块RL-B。也就是说，图像编码单元404可以通过减少固定码片LT来抑制延迟，并 且也可以通过增加刷新块RL-B并且扩展参考目标块来提高编码效率。图像编码单元404分配强制帧内宏块，从而一个或者多个宏块在画面之间相互重 叠于刷新块RL-B中。图像编码单元404将disable_deblocking_filter_idc设置成“2”。如在第二示例实施例中那样，图像编码单元404可以在下一帧中恢复去块滤波过 程中损坏的宏块之时在除了片边界BL之外的部分执行去块滤波过程。因此，可以提高图像 质量。图像编码单元404允许各固定码片LT中的刷新块RL-B的首部变成刷新块RL-B 的首部。以这种方式，如在第二示例实施例中那样，图像编码单元404防止在解码时画面 内的预测过程和去块滤波过程中的错误传播。 利用这样的配置，图像编码单元404在固定码片LT以外在y方向上形成由多于固 定码片LT的宏块组织的刷新块RL-B。以这种方式，图像编码单元404可以通过减少缓存中的延迟并且扩展参考目标块来提高编码效率。6.其它示例实施例 在上述第一示例实施例中，已经描述了仅在X方向上生成半像素和四分之一像素 的情况。然而，公开的示例实施例不限于此。也可以在y方向上生成半像素和四分之一像 素，但是可以在χ方向上执行搜索。代替地，也可以在y方向上生成半像素和四分之一像素， 而且可以稍后删除在y方向上的半像素和四分之一像素。在上述示例实施例中，已经描述了在编码行单位=1的情况下满足运动矢量MVy =0的情况。然而，公开的示例实施例不限于此。当用于搜索的运动搜索块的大小是16X8、 8 X 8、8 X 4、4 X 8和4 X 4时，可以在编码行单位=2的情况下在相同过程中搜索在y方向上 的运动矢量。在上述第一和第二示例实施例中，已经描述了一个刷新行RL显现于一个画面中 的情况。然而，公开的示例实施例不限于此。多个刷新行RL可以显现于一个画面中。在示 例实施例中，可以通过调节刷新行RL的显现频率来调节编码效率。在上述第三至第五示例实施例中，已经描述了一个刷新块RL-B显现于一个固定 码数量的行中的情况。然而，公开的示例实施例不限于此。多个刷新块RL-B可以显现于一 个固定码数量的行中。在示例实施例中，可以通过调节刷新行RL-B的显现频率来调节编码 效率。在上述示例实施例中，已经描述了在作为编码单位由16X16像素形成的各宏块 中确定编码方法的情况。然而，本发明不限于此。编码单位的大小不受限制。在上述示例实施例中，已经描述了向帧间块和帧内块分配其它块的情况。然而，公 开的示例实施例不限于此。例如，可以向帧间块分配所有其它块。在上述示例实施例中，已经描述了对强制帧内块执行画面内的预测过程的情况。 然而，公开的示例实施例不限于此。例如，可以对像素值不变地进行编码。不一定要执行画 面内的预测过程。在上述示例实施例中，已经描述了通过使用disable_deblocking_filter_idc来 约束去块滤波过程的情况。然而，公开的示例实施例不限于此。约束方法不受限制。在上述示例实施例中，已经描述了刷新行RL在χ方向的作为移位方向的向下方向 上移位的情况。然而，公开的示例实施例不限于此。刷新行RL可以在χ方向的向上方向上 移位。在这种情况下，在示例实施例中，可以在χ方向的作为与移位方向相反的方向的向下 方向上设置用于运动矢量在y方向上的搜索范围以免包含与刷新边界BD的相邻像素对应 的半像素和四分之一像素。在示例实施例中，获得了与上述示例实施例的优点相同的优点。在上述示例实施例中，已经描述了按照H. 264/AVC执行编码过程的情况。然而，公 开的示例实施例不限于此。可以按照其中至少参考相邻像素以比整数精确度更小的精确度 执行运动预测过程和去块滤波过程的任何编码方法执行编码过程。在上述第一示例实施例中，已经描述了刷新行RL在画面之间依次移位的情况。然 而，公开的示例实施例不限于此。刷新行RL可以随机移位。在上述第三至第五示例实施例中，已经描述了刷新块RL随机显现于画面中的情 况。然而，公开的示例实施例不限于此。刷新块RL可以按照某一规则来显现。在上述示例实施例中，已经描述了刷新块RL-B在χ方向的作为画面之间水平右方向的右方向上移位的情况。然而，公开的示例实施例不限于此。刷新块RL-B可以在χ方向的左方向上移位。刷新块RL-B不一定要有规律地移位，而是可以随机移位。在上述第一示例实施例中，已经描述了一个宏块行是固定码数量的行LT的情况。 然而，公开的示例实施例不限于此。例如，半行可以是固定码数量的行LT。因此，可以进一 步减少延迟。在上述第二示例实施例中，已经描述了刷新行RL移位使得一个编码行单位在画 面之间重叠的情况。然而，公开的示例实施例不限于此。至少一个宏块行可以重叠。例如， 两个或者更多编码行单位可以重叠。代替地，不必使各编码行单位重叠，而是刷新行RL除 了一个宏块之外还可以显现于编码行单位中。在上述第五示例实施例中，已经描述了刷新块RL-B移位使得仅一个宏块在画面 之间重叠的情况。然而，公开的示例实施例不限于此。刷新块RL-B可以移位至少一个宏块 或者两个或者更多宏块。在上述示例实施例中，已经描述了在帧间编码时仅参考先前画面的情况。然而，公 开的示例实施例不限于此。可以参考向前画面。例如，可以参考在两个画面以前的画面。在上述示例实施例中，已经描述了在帧间编码时6个抽头的FIR滤波器参考两个 像素作为相邻像素的情况。然而，公开的示例实施例不限于此。滤波器抽头数目不受限制。 例如，可以参考一个相邻像素或者三个或者更多像素。在上述示例实施例中，已经描述了在去块滤波过程中参考两个相邻像素的情况。 然而，公开的示例实施例不限于此。参考的像素数目不受限制。在上述示例实施例中，已经描述了将无线图像数据传输系统应用于壁挂电视机的 情况。然而，公开的示例实施例不限于此。本发明可应用于能够无线传输图像数据并且实 时显示图像数据的任何系统。在上述示例实施例中，已经描述了使用IEEE 802. Iln作为无线传输方法的情况。 然而，公开的示例实施例不限于此。无线传输方法不受限制。在上述第三至第五示例实施例中，已经描述了应用H. 264/AVC的情况。然而，公开 的示例实施例不限于此。例如，可以应用各种编码方法，比如MEPG-2。也就是说，可以提供 接收器，其接收由多个画面组织的图像数据；强制帧内块分配器，其向强制帧内块或者除了 强制帧内块之外的其它块分配编码单位，从而当通过帧内编码和前向帧间编码对接收器接 收的图像数据进行编码时，所有编码单位变成将要按某一周期在画面中进行帧内编码的强 制帧内块；分片器，其按各某一码数量分片以形成固定码片；帧内编码器，其对强制帧内块 分配器分配的强制帧内块进行帧内编码；以及帧间编码器，其对将要进行帧间编码的帧间 块进行帧间编码。以这种方式，根据示例实施例，通过按照MPEG-2应用随机刷新方法，可以 减少延迟。在上述示例实施例中，已经描述了编码程序存储于ROM或者硬盘驱动上并且由耦 合到存储装置的处理器执行的情况。然而，公开的示例实施例不限于此。编码程序可以从 外部存储介质如记忆棒(索尼公司的注册商标)安装到闪存。代替地，可以经由USB(通 用串行总线)或者无线LAN(局域网)如以太网(注册商标)IEEE(电气和电子工程师协 会)802. 1 la/b/g从外界获取并且可以通过数字地面电视广播或者BS数字电视广播来递送 编码程序等。
在上述示例实施例中，已经描述了图像处理设备1包括充当接收器的缓存器8、充 当强制帧内块分配器的帧内宏块确定部10、充当搜索范围设置单元的搜索范围设置部16、 充当运动预测器的运动预测补偿部14、充当去块滤波抑制器的片标头生成部12和充当去 块滤波器的去块滤波器26的情况。根据示例实施例的图像处理设备可以例如仅包括图像 编码单元4，只要图像处理设备包括接收器、强制帧内块分配器、搜索范围设置单元、运动预 测器和去块滤波抑制器以及去块滤波器。根据示例实施例，图像处理设备可以具有各种配 置。例如，图像处理设备可以包括接收器、强制帧内块分配器、搜索范围设置单元、运动预测 器、去块滤波抑制器和去块滤波器。 本申请包含了与在2009年7月29日向日本专利局申请的日本优先权专利申请第 JP 2009-176701号中公开的主题有关的主题，该专利申请的整体内容通过引用结合于此。本领域技术人员应当理解，可以根据设计要求和其它因素进行各种修改、组合、再 组合和变更，它们都处在所附权利要求或者其等效含义的范围内。
权利要求
一种用于处理图像的由计算机实施的方法，所述方法包括由处理器执行的以下步骤接收与所述图像的多个像素相关联的信息，所述像素设置于多个像素块内；选择所述像素块之一作为目标块；计算与所述目标块的一部分的像素从先前编码的图像中的参考位置的平移相关联的运动矢量，所述计算包括选择所述先前编码的图像的部分像素作为搜索范围，所述搜索范围排除所述先前编码的图像中的构成错误的像素；以及以比整数精确度更高的精确度在所述搜索范围内计算所述运动矢量；至少基于接收的所述信息和所述运动矢量针对所述目标块的像素计算预测的图像数据；以及根据预定过程来过滤预测的图像数据，其中所述过滤包括识别与所述目标块的一部分的边界相关联的边界像素和与所述边界像素相邻设置的相邻像素；以及将所述过程应用于与所述相邻像素相关联的预测的图像数据。
2.根据权利要求1所述的方法，其中选择所述搜索范围包括 选择包括先前编码的图像的多个像素的参考块；识别所述参考块的边界；以及选择所述参考块的从所述边界移位指定像素数目的部分像素作为所述搜索范围。
3.根据权利要求2所述的方法，其中所述边界包括第一边界，并且选择所述搜索范围 还包括识别所述参考块的第二边界；以及选择所述搜索范围的像素的子集作为部分搜索范围，所述部分搜索范围至少排除所述 搜索范围的设置于所述第二边界的指定像素数目内的像素。
4.根据权利要求1所述的方法，还包括确定所述图像中的与所述目标块的像素相关联的位置；从先前编码的图像中选择位置与所述确定的位置相对应的像素；以及至少基于与所述选择的像素相关联的信息，针对所述目标块的像素计算预测的图像数据。
5.根据权利要求1所述的方法，其中计算所述运动矢量包括 以四分之一像素的精确度计算所述运动矢量。
6.根据权利要求1所述的方法，其中计算所述运动矢量包括以比整数精确度更高的精确度计算所述运动矢量的第一分量；以及 以整数精确度计算所述运动矢量的第二分量。
7.根据权利要求1所述的方法，还包括在所述目标块内识别刷新块的与先前编码的图像相关联的像素。
8.根据权利要求7所述的方法，还包括选择所述目标块的像素的子集作为子块，所述子块包括标头部分，所述标头部分包括 所述刷新块的像素；以及至少基于与所述刷新块的像素相关联的接收的信息，针对所述子块的像素计算预测的 图像数据。
9.根据权利要求8所述的方法，其中计算预测的图像数据包括至少基于与所述刷新块的像素相关联的接收的信息，针对所述标头部分的像素计算预 测的图像数据。
10.根据权利要求9所述的方法，其中针对所述标头部分计算预测的图像数据包括 检测与所述目标块相关联的指标；以及确定所述指标的值对应于预定值。
11.根据权利要求7所述的方法，其中所述刷新块的像素从所述目标块的边界像素移 位从先前编码的图像恢复的像素。
12.根据权利要求9所述的方法，还包括至少部分基于与所述刷新块的像素相关联的接收的信息和与从先前编码的图像恢复 的像素相关联的信息，针对所述目标块的像素计算预测的图像数据。
13.根据权利要求7所述的方法，其中所述刷新块的像素在所述目标块内设置于预定位置。
14.根据权利要求7所述的方法，其中所述刷新块的像素在所述目标块内设置于随机 确定的位置。
15.根据权利要求1所述的方法，其中所述边界包括第一边界，并且过滤预测的图像数 据还包括识别与所述目标块的一部分的第二边界相关联的第二边界像素；以及将所述过程应用于与所述相邻像素和所述第二边界像素相关联的预测的图像数据。
16.根据权利要求15所述的方法，还包括选择所述像素块中的第二像素块作为第二目标块；以及选择第二参考块，所述第二参考块包括来自先前编码的图像的多个像素。
17.根据权利要求15所述的方法，其中所述第二参考块中的像素位置对应于(i)所述 第二目标块内的像素位置；以及(ii)所述第二边界像素的位置。
18.根据权利要求1所述的方法，其中所述过滤步骤还包括 检测与所述目标块相关联的指标；确定所述指标的值对应于预定值；以及响应于所述确定，将所述过程应用于与所述相邻像素相关联的预测的图像数据。
19.一种用于处理图像的设备，所述设备包括 存储装置；以及耦合到所述存储装置的处理器，其中所述存储装置存储用于控制所述处理器的程序， 所述处理器按照所述程序进行操作以使所述设备接收与所述图像的多个像素相关联的信息，所述像素设置于多个像素块内； 选择所述像素块之一作为目标块；计算与所述目标块的一部分的像素从先前编码的图像中的参考位置的平移相关联的 运动矢量，所述处理器还进行操作以使所述设备选择先前编码的图像的部分像素作为搜索范围，所述搜索范围排除先前编码的图像中的构成错误的像素；以及以比整数精确度更高的精确度在所述搜索范围内计算所述运动矢量； 至少基于接收的所述信息和所述运动矢量，针对所述目标块的像素计算预测的图像数 据；以及根据预定过程来过滤预测的图像数据，所述处理器还进行操作以使所述设备 识别与所述目标块的一部分的边界相关联的边界像素和与所述边界像素相邻设置的 相邻像素；以及将所述过程应用于与所述相邻像素相关联的预测的图像数据。
20. 一种存储指令的计算机可读介质，所述指令在由处理器执行时执行用于处理图像 的方法，所述方法包括以下步骤接收与所述图像的多个像素相关联的信息，所述像素设置于多个像素块内； 选择所述像素块之一作为目标块；计算与所述目标块的一部分的像素从先前编码的图像中的参考位置的平移相关联的 运动矢量，所述计算包括选择先前编码的图像的部分像素作为搜索范围，所述搜索范围排除先前编码的图像中 的构成错误的像素；以及以比整数精确度更高的精确度在所述搜索范围内计算所述运动矢量； 至少基于接收的所述信息和所述运动矢量，针对所述目标块的像素计算预测的图像数 据；以及根据预定过程来过滤预测的图像数据，其中所述过滤包括识别与所述目标块的一部分的边界相关联的边界像素和与所述边界像素相邻设置的 相邻像素；以及将所述过程应用于与所述相邻像素相关联的预测的图像数据。
全文摘要
本发明提供了一种图像处理设备和图像处理方法。该设备和方法提供用于处理图像的逻辑。在一种实施方式中，提供了一种用于处理图像的由计算机实施的方法。该方法接收与图像的设置于像素块中的像素相关联的信息，并且选择像素块之一作为目标块。以低于整数精确度计算与目标块的一部分的像素从先前编码的图像中的参考位置的平移相关联的运动矢量。该方法至少基于接收的信息和运动矢量针对目标块的像素计算预测的图像数据，并且根据预定过程来过滤预测的图像数据。预定过程应用于与目标块边界像素的相邻像素相关联的预测图像数据。
文档编号H04N7/26GK101990097SQ20101023557
公开日2011年3月23日 申请日期2010年7月22日 优先权日2009年7月29日
发明者北村卓也, 田中润一, 矢崎阳一 申请人:索尼公司