运动矢量检测设备和方法、图像编码设备和程序的制作方法

专利名称：运动矢量检测设备和方法、图像编码设备和程序的制作方法
技术领域：
本发明涉及能够减少伴随运动矢量的检测的运算量的运动矢量检测设 备、运动矢量检测方法、图像编码设备和程序。
背景技术：
在过去，开发了在发送和存储与广播站相关联的运动图像时，有效地使 用图像数据的冗余，有效地发送和存储图像数据的技术。在这种技术中，基
于如MPEG (运动图像专家组)的标准，通过如离散余弦变换的正交变换和 运动补偿压缩图像数据。
作为其示例的MPEG2 (ISO/IEC 13818-2 )是定义为通用图^象编码标准的 标准。其定义为处理隔行(interlaced)扫描和逐行(progressive)扫描，并且 处理标准分辨率图像和高精度图像。MPEG2被用于专业人士和消费者的大范 围的应用广泛采用。才艮据MPEG2，可以确保具有高质量的高压缩率。
然而，MPEG2是适于广播的高质量编码标准，但是不处理具有小于 MPEG1的编码量的编码量的高压缩率编码。因此，考虑到对具有小于MPEG1 的编码量的编码量的高压缩率编码的需要，基于MPEG4 (ISO/正C 14496-2) 标准化了一种编码方案。
设计来编码TV会议的图像的H26L (ITU-T Q6/16 VCEG)已经标准化， 并且采用基于H26L的各种功能以确保较高编码效率的编码方案，已经通过 MPEG4的作用标准化为增强压缩视频编码的联合模型，其被建立为H.264和 MPEG 4部分10 ( AVC:高级^L频编码)。
在基于H,264/AVC的图像编码方案中，已经采用了将图像帧划分为块并 且从编码的帧中预测运动的运动补偿。
作为这种类型的4支术，例如，在JP-A-2004-241957中，在4全测运动矢量 时，从当前帧的运动补偿块中的像素数据和参照帧的运动补偿块中的像素数 据之间的差计算简单SATD (绝对变换的差值的和)，并且运动预测和补偿电 路指定具有使用简单SATD定义的最小估计值的运动矢量。

发明内容
然而，如上所述，在运动预测中具有比SAD (绝对差值的和)高的精度 的SATD更常用于运动补偿和检测电路中的具有1/2像素精度和1/4像素精度 的运动;f全测。在SATD中，使用了 Hadamard变换，因此与SAD相比，运算 量增加。因此，存在这样的问题，即具有1/2像素精度和1/4像素精度的运动 检测要求大量的运算。
因此，需要减少伴随运动矢量检测的运算量。
根据本发明的实施例，提供了一种运动矢量检测设备，包括运动预测 和补偿装置，用于在每个预测模式计算具有第一像素精度的多个运动矢量的 成本值，该多个运动矢量是最优运动矢量的候选，并且基于所述成本值的梯 度，计算具有第二像素精度的最优运动矢量和具有第二像素精度的最优运动 矢量的成本值。
因此，基于多个成本值的梯度，通过运动预测和补偿装置计算具有第二 像素精度的最优运动矢量的成本值。
根据本发明的另一实施例，提供了一种运动矢量检测设备，包括运动 预测和补偿装置，用于在每个预测模式计算具有第一像素精度的多个运动矢 量的成本值，该多个运动矢量是最优运动矢量的候选，并且使用具有第一像 素精度的最高N个(其中N-l, 2, 3,...)成本值，计算具有第二像素精度 的最优运动矢量和具有第二像素精度的最优运动矢量的成本值。
因此，基于最高N个成本值，通过运动预测和补偿装置计算具有第二像 素精度的最优运动矢量的成本值。
根据本发明的另一实施例，提供了一种运动矢量检测方法，包括在每 个预测模式计算具有第一像素精度的多个运动矢量的成本值，该多个运动矢 量是最优运动矢量的候选；以及基于所述成本值的梯度，计算具有第二像素 精度的最优运动矢量和具有第二像素精度的最优运动矢量的成本值。
因此，计算具有第二像素精度的最优运动矢量的成本值。
根据本发明的另一实施例，提供了一种图像编码设备，包括编码装置， 用于在每个预定块，通过指示编码效率的成本函数的成本值的比较，从多个 第一预测模式和多个第二预测模式中检测要提供给编码处理的最优模式，并 且以所述最优模式编码图像数据；以及运动预测和补偿装置，用于在每个第一预测模式计算具有第一像素精度的多个运动矢量的成本值，该多个运动矢 量是最优运动矢量的候选，并且基于所述成本值的梯度，计算具有第二像素 精度的最优运动矢量和具有第二像素精度的最优运动矢量的成本值。
因此，基于多个成本值的梯度，通过运动预测和补偿装置计算具有第二 像素精度的最优运动矢量的成本值。
根据本发明的另 一实施例，提供了 一种指示计算机执行以下步骤的程序 在每个预定块，通过指示编码效率的成本函数的成本值的比较，从多个第一 预测模式和多个第二预测模式中检测要提供给编码处理的最优模式；在每个 第一预测模式，计算具有第一像素精度的多个运动矢量的成本值，该多个运 动矢量是最优运动矢量的候选，以便以所述最优模式编码图像数据；以及基 于所述成本值的梯度，计算具有第二像素精度的最优运动矢量和具有第二像 素精度的最优运动矢量的成本值。
因此，基于多个成本值的梯度，通过运动预测和补偿装置计算具有第二 像素精度的最优运动矢量的成本值。
根据本发明的上述配置，可以提供能够減少伴随运动矢量的检测的运算 量的运动矢量检测设备、运动矢量检测方法、图像编码设备和程序。


图1是图示采用根据本发明实施例的运动矢量检测设备的图像编码设备 的配置的图2是图示与釆用根据本发明实施例的运动矢量检测设备的图像编码设 备中的最优模式的选择相关联的处理序列的流程图3是具体图示在根据本发明实施例的图像编码设备中、在1/4像素精 度的情况下由运动预测和补偿电路执行的处理序列的流程图4是图示1/2像素的排列的图5A到5D是图示通过1/2像素的SATD值的比较、将指示具有像
素精度的点的运动矢量指定为要用于运动补偿的运动矢量的概念图6A和6B是图示通过1/2像素的SATD值的比较、将指示具有1M像
素精度的点的运动矢量指定为要用于运动补偿的运动矢量的另一概念图7是具体图示在根据本发明实施例的图像编码设备中、由1/4像素精 度运动预测和补偿电路执行的高级处理序列的流程8是具体图示在根据本发明实施例的图像编码设备中、由1/4像素精 度的运动预测和补偿电路执行的另 一高级处理序列的流程图9是具体图示在根据本发明实施例的图像编码设备中、由1/4像素精 度的运动预测和补偿电路执行的另 一高级处理序列的流程图；以及
图IO是具体图示在根据本发明实施例的图像编码设备中、由l/4像素精 度的运动预测和补偿电路执行的另 一高级处理序列的流程图。
具体实施例方式
以下，将参照附图详细描述本发明的优选实施例(以下，简称为"实施 例")。
根据本发明实施例的图像编码设备用于在每个预定单元，通过指示编码 效率的成本函数的成本值的比较，从多个第一预测模式和多个第二预测模式 检测要提供给编码处理的最优模式，并且以所述最优模式编码图像数据。
该图像编码设备包括运动预测和补偿电路，配置为在每个第一预测模式 计算具有第 一像素精度的多个运动矢量的成本值，该多个运动矢量是最优运
动矢量的候选，并且基于所述成本值的梯度，计算具有第二像素精度的最优
运动矢量和具有第二像素精度的最优运动矢量的成本值。
可替代地，该图像编码设备包括运动预测和补偿电路，配置为在每个第 一预测模式计算具有第一像素精度的多个运动矢量的成本值，该多个运动矢 量是最优运动矢量的候选，并且基于最高N个成本值的优先级，计算具有第 二像素精度的最优运动矢量和具有第二像素精度的最优运动矢量的成本值， 其中区分了具有第一像素精度的各成本值的优先级。
可替代地，该图像编码设备包括运动预测和补偿电路，配置为在每个第 一预测模式计算具有第一像素精度的多个运动矢量的成本值，该多个运动矢 量是最优运动矢量的候选，并且基于来自具有第一像素精度的成本值中的最 低成本值的至少三个成本值的优先级，计算具有第二像素精度的最优运动矢 量和具有第二像素精度的最优运动矢量的成本值。
这里，第一像素精度可以是粗像素精度，而第二像素精度可以是比第一 像素精度更精确的像素精度。
现在将描述应用到AVC (高级^L频编码)的实施例。
图1示出采用根据本发明实施例的运动矢量检测设备的图像编码设备的配置。这里，以基于AVC的图像编码设备作为示例。
图像编码设备1从多个帧内(intra)预测模式和多个帧间(inter)预测模 式中选择最优预测模式，并且从图像数据减去选择的预测模式中的预测值以 生成差值(differential)数据。因此，通过对差值数据执行正交变换处理、量 化处理、可变长度(variable-length)编码处理，图像编码设备通过帧内编码 和帧间处理的使用编码了图像数据。以下，将详细描述其配置和操作。
如图1所示，图像编码设备1包括模拟-数字(A/D)转换电路2、图像 排列切换緩冲器3、减法电路4、帧内预测电路5、作为对应于运动矢量检测 设备的运动预测和补偿装置的运动预测和补偿电路6、正交变换电路7、量化 电路8、比率控制电路9、可逆编码电路10、存储緩冲器11、逆(inverse) 量化电路12、逆正交变换电路13、去块(deblocking)滤波器14、帧存储器 15、以及帧内和帧间模式确定电路16。运动预测和补偿电路6包括全像素精 度运动补偿和检测电路61、 1/2像素精度运动补偿和检测电路62、以及1/4 像素精度运动补偿和检测电路63。 A/D转换电路2、图像排列切换緩冲器3、 减法电路4、帧内预测电路5、正交变换电路7、量化电路8、速率控制电路 9和可逆编;马电^各10构成编码装置。
在该配置中，A/D转换电路2将视频信号SV转换为数字信号，并且输 出图像数据Dl。图像排列切换緩冲器3接收图像数据Dl,根据与编码处理 相关联的GOP (图像组)结构切换图像数据Dl的帧的排列，并且输出切换 后的图像数据。减法电路4接收从图像排列切换緩冲器3输出的图像数据Dl, 并且从由帧内预测电路5在帧内编码中生成的预测值生成和输出差值数据 D2。通常，帧内预测电路5使用相同图像中的图像样本预测在不同位置的图 像。
另一方面，减法电路从由运动预测和补偿电路6在帧间编码中生成的预 测值生成和输出差值数据D2。
正交变换电路7接收从减法电路4输出的差值数据D2,对该数据执行正 交变换处理(如离散余弦变换(CDT)和Karhunen-Loeve变换)，并且输出 变换系数数据D3作为处理结果。量化电路8基于比率控制电路9的比率控 制，利用量化比例(scale)量化并输出变换系数数据D3。
可逆编码电路IO通过可变长度编码、算术编码等对量化电路8的输出数 据执行可逆编码处理，并且输出得到的数据。可逆编码电路IO从帧内预测电路5和运动预测和补偿电路6获取关于与帧内编码相关联的帧内预测模式的 信息以及关于与帧间编码相关联的运动矢量的信息，将这种信息设置为输出 数据D4的报头信息，并且输出该输出数据。帧内预测模式也称为图像间预 测编石马。
存储緩冲器11存储可逆编码电路10的输出数据D4,并且根据传输路径 的传输速率输出存储的数据。比率控制电路9通过监视存储緩沖器11的空容 量，监视通过编码处理生成的编码量。作为监视结果，通过改变量化电路8 中的量化比例来控制生成的编码量。
逆量化电路12对量化电路8的输出数据执行逆量化处理，因此再生量化 电路8的输入数据。逆正交变换电路13对逆量化电路12的输出数据执行逆 正交变换，因此再生正交变换电路17的输入数据。
去块滤波器14从移除逆正交变换电路13的输出数据移除块失真，并且 输出得到的数据。例如，在H，264/AVC中，在解码的图像存储在帧存储器15 中之前，通过去块滤波器14适应地移除块失真。
帧存储器15适当地将预测值增加到去块滤波器14的输出数据，并记录 得到的数据作为参照图像信息，该预测值由帧内预测电路5或运动预测和补 偿电路6生成。
运动预测和补偿电路6基于预测帧(参照帧)检测从图像安排切换緩冲 器3输出的图像数据的运动矢量，该预测帧基于存储在帧存储器15中的参照 图像信息。运动预测和补偿电路通过使用检测的运动矢量，补偿存储在帧存 储器15中的参照图像信息的运动，并且检测最优帧间预测模式。当在帧间预 测模式中执行编码处理时，运动预测和补偿电路生成最优模式的预测图像信 息，并且输出基于预测图像信息的预测值到减法电路4。
在帧内编码中，帧内预测电路5基于帧存储器15中存储的参照图像信息 检测最优帧内预测模式。当在帧内预测模式中执行编码处理时，帧内预测电 路从最优模式中的参照图像信息生成预测图像信息的预测值，并且输出生成 的预测值到减法电路4。
以此方式，图像编码设备1通过帧间编码处理和帧内编码处理，生成基 于与帧间预测相关联的运动补偿的差值数据D2和基于帧内预测的差值数据 D2,对该差值数据D2执行正交变换处理、量化处理和可变长度编码处理， 并且发送得到的数据。这里，在AVC中，通过使用与AVC相关联的联合模型(AVC参照编码 方案)，定义了基于多通道(multi-pass)编码的高质量模式(高复杂度模式) 和基于单通道(one-pass)编码的高速率模式(低复杂度模式)，并且基于清 晰度选择最优模式来执行编码处理。
在低复杂度模式中，通过以下表达式定义指示编码效率的成本函数，并 且通过比较由成本函数获得的成本值Cost (mode),检测最优模式。
Cost(mode)=SA(T)D+SA(T)DO (1)
这里，SA(T)D是原始图像和预测图像之间的差值，并且采用原始图像和 预测图像之间的像素值的绝对差的和。
SA(T)D0是给予差值SA(T)D的偏移值，基于作为用于确定模式的权重 的成本和报头位，并且表示要提供用于附属信息的传输的数据量。
更具体地，对于宏块，绝对差的和SAD由以下表达式表示，并且釆用原
始图像和预测模式Mode中的预测图像之间的差值表示。 15 15
SAD = S S I Org(i，j)—Pred (Mode，i，j) ! (2)
替代从表达式(2)得到的绝对差的和SAD，通过以下表达式获得的
S ATD(mode)可以用作差的和。
15 15
SATD(mode)= S S | Hada薩d (Org(i，j)—Pred (Mode，ij) I (3) i=0 j=0
这里，Hadamard()表示对目标矩阵应用Hadamard变换矩阵的Hadamard
变换运算，如以下表达式所示。
Hadamard(A)=HTAH (4)
Hadamard变换矩阵由表达式(5 )表示，其中hT是Hadamard变换矩阵 的转置矩阵。
/- 飞
(5)
、i 丄 1 丄」
在前向预测模式中，偏置值SA(T)D0由以下表达式表示,
13SA(T)D0=QP0(QP).(2xcode—number—of—ref—idxfwd+Bit—to—code—MVDF W) (6)
这里，QPO(QP)是将量化参数QP转换为量化比例的函数，MVDFW是与 前向预测相关联的运动矢量，并且Bit—to一code是与运动矢量相关耳关的比特流 的编码量。
在反向预测模式中，偏置值SA(T)D0由以下表达式表示。
SA(T)D0=QP0(QP)xBit—to—code—MVDBW (7)
这里，MVDBW是与反向预测相关联的运动矢量
在双向预测模式中，偏置值SA(T)D0由以下表达式表示。
SA(T)D0=QP0(QP).(2xcode—number—of—ref—idxfwd+Bit—to—code—forward —B lk—size+B it—to—code—backwardB lk—size+B it—to—code—M VDF W+B it to—code 一MVDBW) (8)
这里,Bit—to—code—forward—Blk_size和Bit—to—code—backward—Blk一size 分别是传输关于与前向预测和反相预测相关联的运动补偿块的信息所需的比 特流的编码量。
在直接模式中，偏置值SA(T)D0由以下表达式表示。
S A(T)D0=-16xQP0(QP) (9)
在4x4之间预测模式中，偏置值SA(T)D0由以下表达式表示。 SA(T)D0=24xQP0(QP) (10)
从成本函数中检测具有最小成本值Cost的运动矢量，该成本值Cost应用 到运动矢量的4企测并且由以下表达式表示。 Cost=SA(T)D+SA(T)D0
SA(T)D0=QP0(QP).(Bits—to—code—vector+2xcode—number—of—ref index—f wd) (11)
因此，当在低复杂度模式中检测最优模式时，编码设备l的帧内预测电 路5和运动预测和补偿电路6使用亮度信号计算帧内编码和帧间编码的所有 预测模式的成本值Cost。编码设备选择具有最低成本值的预测模式，并且检 测亮度信号的最优模式。因此，当选择帧内编码时，计算帧内预测模式中的 色差信号的成本值，并且通过计算结果的比较将基于最低成本值的帧内预测 模式设置为色差信号的最优模式。
例如，在JP-A-2003-230149中公开了使用成本函数选择预测模式的各种装置。
因此，编码设备具有以下操作，该编码设备在每个宏块，通过基于表示 编码效率的成本函数的成本值的比较，从多个帧内预测模式和多个帧间预测 模式中检测要提供给编码处理的最优模式，并且以所述最优模式编码图像数据。
1/4像素精度运动预测和补偿电路63在每个帧间预测模式，计算具有1/2 像素精度的多个运动矢量的成本值，该多个运动矢量是最优运动矢量的候选， 并且基于所述成本值的梯度，计算具有1/4像素精度的最优运动矢量和具有 1/4像素精度的最优运动矢量的成本值。
1/4像素精度运动预测和补偿电路63在每个帧间预测模式，计算具有1/2 像素精度的多个运动矢量的成本值，该多个运动矢量是最优运动矢量的候选， 并且基于最高N个成本值的优先级，其中区分了具有1/2像素精度的各成本 值的优先级，计算具有1/4像素精度的最优运动矢量和具有1/4像素精度的最 优运动矢量的成本值。
1/4像素精度运动预测和补偿电路63在每个帧间预测模式，计算具有1/2 像素精度的多个运动矢量的成本值，该多个运动矢量是最优运动矢量的候选， 并且基于来自具有1/2像素精度的成本值中的最低成本值的至少三个成本值 的优先级，计算具有1/4像素精度的最优运动矢量和具有1/4像素精度的最优 运动矢量的成本值。
以下，将参照图2所示的流程图，描述采用根据本发明实施例的运动矢 量检测设备的图像编码设备中的选择最优模式的处理序列。
当顺序开始时(SA1)，在作为候选的所有帧间预测模式中(SA2)，运动 预测和补偿电路6使用全像素精度运动补偿和检测电路61计算全像素的成本 值Cost (SA3)。此时，通过表达式(2)和(3)的使用，计算作为候选的具 有全像素精度的运动矢量的SA(T)D。例如，当搜索具有全像素精度的、垂直 方向上100和水平方向上100的范围时，SA(T)D的运算执行100 x 100次。 使用SA(T)D从表达式(11 )计算成本值Cost,并且计算具有最低成本值Cost 的运动矢量(SA3)。
1/2像素精度运动补偿和检测电路62补偿具有全像素精度的最低成本值 Cost的运动矢量周围的、具有1/2像素精度的点的作为候选的运动矢量的运 动(SA4)。也就是说，例如如图4所示，具有1/2像素精度的9个点是作为候选的运动矢量。在该情况下，使用6级(6-tap) FIR滤波器准备具有1/2 像素精度的点的像素。
随后，计算各个1/2像素点的SA(T)D和成本值Cost。
然后，1/4像素精度运动补偿和检测电路63从具有1/2像素精度的SA(T)D 和成本值Cost预测具有1/4像素精度的最优运动矢量，并且通过预测计算其 SA(T)D和成本值Cost ( SA6 )。稍后将描述其细节。
随后，运动预测和补偿电路6计算直接模式中的成本值Cost (SA7)。帧 内预测电路5计算所有帧内模式中的成本值Cost ( SA8 )。通过从帧间预测模 式、直接模式和帧内预测模式中选择具有最小成本值Cost的模式，确定了最 优模式(SA9)。然后，结束该序列(SAIO)。直接模式概念上包括时间直接 模式和空间直接模式。
将参照图3所示的流程图，详细描述由根据本发明实施例的图像编码设 备的1/4像素精度运动预测和补偿电路63执行的处理序列。
以下，具有1/2像素精度的成本值Cost将称为Cost—half,而具有l/4像 素精度的成本值Cost将称为Cost-quarter。在图3所示的序列中，从Cost—half 得出具有1/4像素精度的运动矢量的SA(TD)和Cost-quarter。
也就是说，当序列开始时(SB1), 1/4像素精度运动预测和补偿电路63 首先确定具有Cost-half的最小值的点的绝对值是否显著小(SB2)。当SB2 的确定结果为是时，将具有Cost-half的最小值的点指定为具有1/4像素精度 的运动矢量，将1/2像素的最小SATD值设置运动矢量的SATD值，并且使 用具有最小值的点的SATD值计算成本值Cost-quarter ( SB7 )。
当SB2的确定结果为否时，确定具有Cost-half的最小值的点的SATD值 是否显著小于具有Cost—half的第二最小值的点的SATD值(SB3)。这里，当 确定结果为是时，类似于作为之前确定结果的处理，将具有Cost—half的最小 值的点指定为具有1/4像素精度的运动矢量，将1/2像素的最小SATD值设置 运动矢量的SATD值，并且使用具有最小值的点的SATD值计算成本值Cost -quarter ( SB7 )。
也就是说，例如，如图5A所示，作为两个点Bestl和Best2的比较结果， 当Bestl的SATD比率(或差的绝对值)非常小时，将Bestl的位置(即，具 有1/2像素精度的最佳位置)输出作为具有1/4像素精度的运动矢量，并且使 用具有最小值的点的SATD值计算Cost—quarter。这里，"非常小，，意味着Bestl的绝对值是770等的情况。
当SB3的确定结果为否时，确定具有Cost-half的最小值的点的SATD值 和具有Cost-half的第二最小值的点的SATD值之间的差是否小，以及具有 Cost-half的第二最小值的点的SATD值和具有Cost—half的第三最小值的点的 SATD值是否相互接近(它们之间的差小)(SB4)。这里，当确定结果为是时， 类似于作为之前确定结果的处理，将具有Cost-half的最小值的点的SATD值 指定为具有1/4像素精度的运动矢量的SATD值，并且使用具有最小值的点 的SATD值计算成本值Cost-quarter ( SB7 )。
也就是说，例如，如图5B所示，作为三个点Bestl到Best3的比较结果， 当Bestl和Best2的SATD比率小，并且Best2和Best3的SATD值相互接近 (它们之间的差小)时，将Bestl的位置输出作为具有1/4像素精度的运动矢 量，并且使用具有最小值的点的SATD值计算Cost-quarter。这里，"Bestl和 Best2的SATD比率小，，意味着差等于或小于1000等的情况。
当SB4的确定结果为否时，确定具有Cost-half的最小值的点的SATD值 是否接近具有第二最小值的点的值，以及具有第二最小值的点的值和具有第 三最小值的点的值之间的差是否小(SB5)。这里，当确定结果为是时，将具 有Cost-half的最小值的点和具有Cost—half的第二最小值的点之间的中点指 定为具有1/4像素精度的运动矢量，并且基于具有第二最小和第三最小值点 的SATD值的梯度，通过预测1/4像素的SATD值计算Cost-quarter的值(SB8 )。
也就是说，如图5C所示，作为例如三个点Bestl到Best3的比较结果， 当Bestl和Best2的SATD值相互接近(它们的比率或差小等)，并且Best2 的SATD值显著小于Best3的SATD值(它们的比率或差小等)时，将Bestl 和Best2之间的中点输出作为具有1/4像素精度的运动矢量，并且使用具有最 小值的点的SATD值计算Cost-quarter。从Best2和Best3的梯度计算SATD 值。
这里，"Bestl和Best2的比率小，，意味着比率为0.9等的情况，而"Best2 和Best3的比率小，，意味着比率为0.99等的情况。"Bestl和Best2之间的差 小"意味着差为500等的情况,而"Best2和Best3之间的差小"意味着差为 250等的情况。
当SB5的确定结果为否时，对应于具有Cost-half的最小值的点的SATD 值、具有第二最小值的点的SATD值、和具有第三最小值的点的SATD值相互接近(它们的比率或差小等)。此时，确定具有最小值的点、具有第二最小
值的点、和具有第三最小值的点是否以该顺序排列在直线上(SB6)。当SB6 的确定结果为是时，例如，将位于从具有第二最小值的点到具有最小值的点 的延长线上的1/4像素点指定为具有1/4像素精度的运动矢量，从具有最小值 的点和具有第二最小值的点的SATD值的梯度预测1/4像素的SATD值，并 且计算Cost-quarter的值(SB9 )。
也就是说，如图5D所示，例如作为三个点Bestl到Best3的比较结果， 当Bestl和Best2的SATD值相互接近(它们的比率或差小等)、并且Best2 和Best3的SATD值相互接近(它们的比率或差小等)时，确定各点是否排 列在直线上。
如图6A所示，例如，当确定各点排列在直线上时，将不同于点Bestl到 Best3的点(例如，外部插入的点)输出作为具有1/4像素精度的运动矢量， 并且使用具有Cost-half的最小值的点的SATD值计算Cost-quarter的值。
这里，"Bestl和Best2的比率小，，意味着比率为0.99等的情况，而"Best2 和Best3的比率小，，意味着比率为0.9等的情况。"Bestl和Best2之间的差小" 意味着差为250等的情况，而"Best2和Best3之间的差小"意味着差为500 等的情况。
当SB6的确定结果为否时，将指示位于具有Cost—half的最小值的点、具 有第二最小值的点、以及具有第三最小值的点的中间的、具有I/4像素精度 的点的运动矢量指定为具有1/4像素精度的运动矢量，从具有最小值的点和 具有第二最小值的点的SATD值的梯度预测1M像素的SATD值，并且计算 Cost—quarter的值(SB 10)。
也就是说，如图5D所示，例如作为三个点Bestl到Best3的比较结果， 当Bestl和Best2的SATD值相互接近(它们的比率或差小等)、并且Best2 和Best3的SATD值相互接近(它们的比率或差小等)时，确定各点是否排 列在直线上。
这里，"Bestl和Best2的比率小，，意味着比率为0.99等的情况，而"Best2 和Best3的比率小，，意味着比率为0.99等的情况。"Bestl和Best2之间的差 小，，意味着差为250等的情况，而"Best2和Best3之间的差小"意味着差为 250等的情况。
如图6B所示，当各点没有排列在直线上但是相互重叠时，将点Bestl到Best3的中点输出作为具有1/4像素精度的运动矢量，并且^f吏用具有最小值的 点的SATD值计算Cost-quarter的值。
以此方式，结束一系列处理(SB11 )。
通过任意组合SB7到SB10的处理，可以从具有1/2像素精度的成本值 计算具有1/4像素精度的运动矢量和具有1/4像素精度的运动矢量的SATD值 和成本值。
也就是说，通过组合下述(A)到(E),可以从具有1/2像素精度的成本 值计算具有1/4像素精度的运动矢量和具有1/4像素精度的运动矢量的SATD 值和成本值。
(A)在1/2像素的最小SAD或SATD值的绝对值小时，或者在1/2像 素的最小SAD或SATD值显著小于第二最小SAD或SATD值时，将指示具 有最小SAD或SATD值的点的运动矢量指定为用于运动补偿的运动矢量。然 后，使用1/2像素的最小SAD或SATD值作为运动矢量的最小SAD或SATD 值，计算运动矢量的成本值。
(B )在1/2像素的最小SAD或SATD值小于第二最小SAD或SATD值、 并且第二最小SAD或SATD值和第三最小SAD或SATD值之间的差值小时， 将指示具有最小SAD或SATD值的点的运动矢量指定为用于运动补偿的运动 矢量。然后，使用1/2像素的最小SAD或SATD值作为运动矢量的最小SAD 或SATD值，计算运动矢量的成本值。
(C )在1/2像素的最小SAD或SATD值和第二最小SAD或SATD值之 间的差值小、并且第二最小SAD或SATD值和第三最小SAD或SATD值之 间的差值大时，将指示具有最小SAD或SATD值的点和具有第二最小SAD 或SATD值的点之间的中点的运动矢量指定为用于运动补偿的运动矢量。然 后，从三个点的SAD或SATD值的关系计算该运动矢量的SAD或SATD值， 并且计算该运动矢量的成本值。
(D )在1/2像素的最小SAD或SATD值和第二最小SAD或SATD值之 间的差值小、第二最小SAD或SATD值和第三最小SAD或SATD值之间的 差值小、并且具有最小SAD或SATD值的点、具有第二最小SAD或SATD 值的点和具有第三最小SAD或SATD值的点以此顺序排列在直线上时，将指 示位于从具有第二最小SAD或SATD值的点到具有最小SAD或SATD值的 点的延长线上的、具有1/4像素精度的点的运动矢量作为用于运动补偿的运动矢量。然后，从三个点的SAD或SATD值的关系计算要用于运动补偿的运 动矢量的SAD或SATD值，并且计算该运动矢量的成本值。(E )在1/2像素的最小SAD或SATD值和第二最小SAD或SATD值之 间的差值小、第二最小SAD或SATD值和第三最小SAD或SATD值之间的 差值小、并且具有最小SAD或SATD值的点、具有第二最小SAD或SATD 值的点和具有第三最小SAD或SATD值的点没有排列在直线上时，将指示位 于具有最小SAD或SATD值的点、具有第二最小SAD或SATD值的点、以 及具有第三最小SAD或SATD值的点的中间的、具有1/4像素精度的点的运 动矢量作为用于运动补偿的运动矢量。然后，从三个点的SAD或SATD值的 关系计算要用于运动补偿的运动矢量的SAD或SATD值，并且计算该运动矢 量的成本值。全部(A)到(E )的组合最有效。(A)+(B)+(C)+(D)、 (A)+(B)+(C)、 (A)+(B) 和(A)的组合以此顺序变得效率较低。然而，本发明不限于这些组合。当条件 不满足时，具有1/2像素精度的最佳点可以用作具有1/4像素精度的点。图7示出了图示当采用(A)+(B)+(C)+(D)的组合时的处理序列的流程图。 相同的参照标号指示图3中相同的处理，并且省略了重复描述。当SB6的确 定结果为否时，该顺序结束(SBll)。图8示出了图示当采用(A)+(B)+(C)的组合时的处理序列的流程图。相同 的参照标号指示图3中相同的处理，并且省略了重复描述。当SB6的确定结 果为否时，该顺序结束(SBll)。图9示出了图示当采用(A)+(B)的组合时的处理序列的流程图。相同的参 照标号指示图3中相同的处理，并且省略了重复描述。当SB6的确定结果为 否时，该顺序结束(SB11 )。图10示出了图示当采用(A)的组合时的处理序列的流程图。相同的参照 标号指示图3中相同的处理，并且省略了重复描述。当SB6的确定结果为否 时，该顺序结束(SB11 )。如上面详细描述的，根据本发明的实施例，通过使用1/4像素精度预测 和补偿单元，可以大大地减少SATD运算的数量，从而减少了循环的数量和 硬件规模的数量。因为从具有1/2像素精度的运动补偿和检测的结果计算具有1/4像素精度 的运动矢量、SA(T)D值和成本值，所以不必为1/4像素的运动检测准备具有1/4像素精度的像素，并且可以减少必需的存储器容量设备。尽管已经参照各实施例描述了本发明，但是本发明不限于各实施例，并 且可以以各种形式修改而不偏离本发明的要点。例如，1/4像素精度运动矢量预测电路可以包括预测电路，其使用指示噪 声水平的指示符、像素的变化值和平均值、以及相邻块的运动矢量计算具有 1/4像素精度的运动矢量。尽管在上述实施例中已经将成本值Cost、 SAD和SATD作为示例，但是本发明不限于实施例中的这些，并且可以采用MAE (平均绝对误差) 1n, 1 n<formula>formula see original document page 21</formula>
这里，MAE是绝对误差ei=fi-yi的加权平均值。在上述表达式中，fi表 示预测值，而yi表示真实值。根据本发明实施例的算法可以应用于使用运动矢量的NR (噪声减少)设 备，如时间滤波器。在该情况下，检测运动矢量，并且计算成本值Cost和运 动矢量。然后，依赖于成本值Cost,适应地改变时间滤波器的强度，并且使 用多个帧作为输入执行滤波操作，从而获得从其中移除了噪声的帧。本申请包含涉及于2008年7月15日向日本专利局提交的日本优先权专 利申请JP 2008-184040的主题内容，在此通过引用并入其全部内容。本领域技术人员要理解的是，依赖于设计要求和其他因素，可以出现各 种修改、组合、子组合和替代，只要它们在权利要求或其等效的范围内。
权利要求
1.一种运动矢量检测设备，包括运动预测和补偿装置，用于在每个预测模式计算具有第一像素精度的多个运动矢量的成本值，所述多个运动矢量是最优运动矢量的候选，并且基于所述成本值的梯度，计算具有第二像素精度的最优运动矢量和具有第二像素精度的最优运动矢量的成本值。
2. —种运动矢量检测设备，包括运动预测和补偿装置，用于在每个预测模式计算具有第一像素精度的多 个运动矢量的成本值，该多个运动矢量是最优运动矢量的候选，并且使用具 有第一像素精度的最高N个(其中N-1， 2, 3,...)成本值，计算具有第二 像素精度的最优运动矢量和具有第二像素精度的最优运动矢量的成本值。
3. —种运动矢量检测方法，包括在每个预测模式，计算具有第一像素精度的多个运动矢量的成本值，该 多个运动矢量是最优运动矢量的候选；以及基于所述成本值的梯度，计算具有第二像素精度的最优运动矢量和具有 第二像素精度的最优运动矢量的成本值。
4. 一种图像编码设备，包括编码装置，用于在每个预定块，通过指示编码效率的成本函数的成本值 的比较，从多个第一预测模式和多个第二预测模式中检测要提供给编码处理 的最优模式，并且以所述最优模式编码图像数据；以及运动预测和补偿装置，用于在每个第一预测模式计算具有第一像素精度 的多个运动矢量的成本值，该多个运动矢量是最优运动矢量的候选，并且基 于所述成本值的梯度，计算具有第二像素精度的最优运动矢量和具有第二像 素精度的最优运动矢量的成本值。
5. 如权利要求4所述的图像编码设备，其中所述第一预测模式是帧间预 测模式，所述第二预定模式是帧内预测模式，所述第一像素精度是1/2像素 精度，而所述第二像素精度是l/4像素精度。
6. 如权利要求4所述的图像编码设备，其中所述第二像素精度比所述第 一像素精度更高。
7. 如权利要求4所述的图像编码设备，其中所述运动预测和补偿装置在每个第一预测模式计算具有第一像素精度的多个运动矢量的成本值，该多个运动矢量是最优运动矢量的候选，并且基于最高N个(其中N=l, 2， 3，...) 成本值的优先级，计算具有第二像素精度的最优运动矢量和具有第二像素精 度的最优运动矢量的成本值，其中区分了具有第一像素精度的各成本值的优 先级。
8. 如权利要求4所述的图像编码设备，其中所述运动预测和补偿装置在 每个第一预测模式计算具有第一像素精度的多个运动矢量的成本值，该多个 运动矢量是最优运动矢量的候选，并且基于来自具有第一像素精度的成本值 中的最低成本值的至少三个成本值的优先级，计算具有第二像素精度的最优 运动矢量和具有第二像素精度的最优运动矢量的成本值。
9. 如权利要求5所述的图像编码设备，其中在最小SAD或SATD值的 绝对值小时，所述运动预测和补偿装置将指示具有最小SAD值或最小SATD 值的点的运动矢量指定为用于运动补偿的运动矢量，该最小SAD值是1/2像 素中的绝对预测差值的和，该最小SATD值是绝对值的和，该绝对值是通过 对预测差值执行Hadamard变换获得的，并且使用具有1/2像素精度的最小 SAD或SATD值作为具有1/4像素精度的运动矢量的SAD或SATD值，计算 运动矢量的成本值。
10. 如权利要求5所述的图像编码设备，其中在最小SAD或SATD值显 著小于第二最小SAD或SATD值时，所述运动预测和补偿装置将指示具有最 小SAD值或最小SATD值的点的运动矢量指定为用于运动补偿的运动矢量， 该最小SAD值是1/2像素中的绝对预测差值的和，该最小SATD值是绝对值 的和，该绝对值是通过对预测差值执行Hadamard变换荻得的，并且使用具有 1/2像素精度的最小SAD或SATD值作为具有1/4像素精度的运动矢量的SAD 或SATD值，计算运动矢量的成本值。
11. 如权利要求5所述的图像编码设备，其中在最小SAD或SATD值小 于第二最小SAD或SATD值、并且第二最小SAD或SATD值和第三最小SAD 或SATD值之间的差值小时，所述运动预测和补偿装置将指示具有最小SAD 值或最小SATD值的点的运动矢量指定为用于运动补偿的运动矢量，该最小 SAD值是1/2像素中的绝对预测差值的和，该最小SATD值是绝对值的和， 该绝对值是通过对预测差值执行Hadamard变换获得的，并且使用具有1/2像 素精度的最小SAD或SATD值作为具有1/4像素精度的运动矢量的SAD或SATD值，计算运动矢量的成本值。
12. 如权利要求5所述的图像编码设备，其中在最小SAD或SATD值和 第二最小SAD或SATD值之间的差值小、并且第二最小SAD或SATD值和 第三最小SAD或SATD值之间的差值大时，所述运动预测和补偿装置将指示 具有最小SAD值或最小SATD值的点和具有第二最小SAD或SATD值的点 之间的中点的运动矢量指定为用于运动补偿的运动矢量，该最小SAD值是 1/2像素中的绝对预测差值的和，该最小SATD值是绝对值的和，该绝对值是 通过对预测差值执行Hadamard变换获得的，并且从三个点的SAD或SATD 值的关系计算要用于运动补偿的运动矢量的SAD或SATD值，并且计算具有 1/4像素精度的运动矢量的成本值。
13. 如权利要求5所述的图像编码设备，其中在最小SAD或SATD值和 第二最小SAD或SATD值之间的差值小、第二最小SAD或SATD值和第三 最小SAD或SATD值之间的差值小、并且具有最小SAD或SATD值的点、 具有第二最小SAD或SATD值的点和具有第三最小SAD或SATD值的点以 此顺序排列在直线上时，所述运动预测和补偿装置将指示位于从具有第二最 小SAD或SATD值的点到具有最小SAD值或最小SATD值的点的延长线上 的、具有1/4像素精度的点的运动矢量作为用于运动补偿的运动矢量，该最 小SAD值是1/2像素中的绝对预测差值的和，该最小SATD值是绝对值的和， 该绝对值是通过对预测差值执行Hadamard变换获得的，并且从三个点的SAD 或SATD值的关系计算要用于运动补偿的运动矢量的SAD或SATD值，并且 计算具有1/4像素精度的运动矢量的成本值。
14. 如权利要求5所述的图像编码设备，其中在最小SAD或SATD值和 第二最小SAD或SATD值之间的差值小、第二最小SAD或SATD值和第三 最小SAD或SATD值之间的差值小、并且具有最小SAD或SATD值的点、 具有第二最小SAD或SATD值的点和具有第三最小SAD或SATD值的点没 有排列在直线上时，所述运动预测和补偿装置将指示位于具有最小SAD值或 最小SATD值的点、具有第二最小SAD或SATD值的点、以及具有第三最小 SAD或SATD值的点的中间的、具有1/4像素精度的点的运动矢量作为用于 运动补偿的运动矢量，该最小SAD值是1/2像素中的绝对预测差值的和，该 最小SATD值是绝对值的和，该绝对值是通过对预测差值执行Hadamard变换 获得的，并且从三个点的SAD或SATD值的关系计算要用于运动补偿的运动矢量的SAD或SATD值，并且计算具有1/4像素精度的运动矢量的成本值。
15.如权利要求5所述的图像编码设备，其中通过使用以下的至少一个 的组合，所述运动预测和补偿装置从具有1/2像素精度的成本值中计算具有 1/4像素精度的运动矢量和具有1/4像素精度的运动矢量的SAD值或SATD 值，该SAD值是绝对预测差值的和，该SATD值是绝对值的和，该绝对值是 通过对预测差值执行Hadamard变换获得的第一预测，在l/2像素的最小SAD或SATD值的绝对值小时，将指示具 有最小SAD或SATD值的点的运动矢量指定为用于运动补偿的运动矢量，并 且使用具有1/2像素精度的最小SAD或SATD值作为运动矢量的SAD或 SATD值，计算具有1/4像素精度的运动矢量的成本值；第二预测，在最小SAD或SATD值显著小于第二最小SAD或SATD值 时，将指示具有最小SAD或SATD值的点的运动矢量指定为用于运动补偿的 运动矢量，并且使用具有1/2像素精度的最小SAD或SATD值作为运动矢量 的SAD或SATD值，计算具有1/4像素精度的运动矢量的成本值；第三预测，在最小SAD或SATD值小于第二最小SAD或SATD值、并 且第二最小SAD或SATD值和第三最小SAD或SATD值之间的差值小时， 将指示具有最小SAD或SATD值的点的运动矢量指定为用于运动补偿的运动 矢量，并且使用具有1/2像素精度的最小SAD或SATD值作为运动矢量的SAD 或SATD值，计算具有1/4像素精度的运动矢量的成本值；第四预测，在最小SAD或SATD值和第二最小SAD或SATD值之间的 差值小、并且第二最小SAD或SATD值和第三最小SAD或SATD值之间的 差值大时，将指示具有最小SAD或SATD值的点和具有第二最小SAD或 SATD值的点之间的中点的运动矢量指定为用于运动补偿的运动矢量，从三 个点的SAD或SATD值的关系计算要用于运动补偿的运动矢量的SAD或 SATD值，并且计算具有1/4像素精度的运动矢量的成本值；第五预测，在最小SAD或SATD值和第二最小SAD或SATD值之间的 差值小、第二最小SAD或SATD值和第三最小SAD或SATD值之间的差值 小、并且具有最小SAD或SATD值的点、具有第二最小SAD或SATD值的 点和具有第三最小SAD或SATD值的点以此顺序排列在直线上时，将指示位 于从具有第二最小SAD或SATD值的点到具有最小SAD或SATD值的点的 延长线上的、具有1/4像素精度的点的运动矢量作为用于运动补偿的运动矢量，从三个点的SAD或SATD值的关系计算要用于运动补偿的运动矢量的 SAD或SATD值，并且计算具有1/4像素精度的运动矢量的成本值；以及第六预测，在最小SAD或SATD值和第二最小SAD或SATD值之间的 差值小、第二最小SAD或SATD值和第三最小SAD或SATD值之间的差值 小、并且具有最小SAD或SATD值的点、具有第二最小SAD或SATD值的 点和具有第三最小SAD或SATD值的点没有排列在直线上时，将指示位于具 有最小SAD或SATD值的点、具有第二最小SAD或SATD值的点、以及具 有第三最小SAD或SATD值的点的中间的、具有1/4像素精度的点的运动矢 量作为用于运动补偿的运动矢量，从三个点的SAD或SATD值的关系计算要 用于运动补偿的运动矢量的SAD或SATD值，并且计算具有1/4像素精度的 运动矢量的成本4直。
16. 如权利要求5所述的图像编码设备，其中所述运动预测和补偿装置 包括预测电路，其使用指示噪声水平的指示符、各像素的变化值和平均值、 以及相邻块的运动矢量计算具有1/4像素精度的运动矢量。
17. —种指示计算机执行以下步骤的程序在每个预定块，通过指示编码效率的成本函数的成本值的比较，从多个 第一预测模式和多个第二预测模式中检测要提供给编码处理的最优模式；在每个第 一预测模式，计算具有第 一像素精度的多个运动矢量的成本值， 该多个运动矢量是最优运动矢量的候选，以便以所述最优模式编码图像数据； 以及基于所述成本值的梯度，计算具有第二像素精度的最优运动矢量和具有 第二像素精度的最优运动矢量的成本值。
18. —种运动矢量检测设备，包括运动预测和补偿单元，配置为在每个预测模式计算具有第一像素精度的 多个运动矢量的成本值，该多个运动矢量是最优运动矢量的候选，并且基于 所述成本值的梯度，计算具有第二像素精度的最优运动矢量和具有第二像素 精度的最优运动矢量的成本值。
全文摘要
一种运动矢量检测设备，包括运动预测和补偿装置，用于在每个预测模式计算具有第一像素精度的多个运动矢量的成本值，该多个运动矢量是最优运动矢量的候选，并且基于所述成本值的梯度，计算具有第二像素精度的最优运动矢量和具有第二像素精度的最优运动矢量的成本值。
文档编号H04N7/26GK101631244SQ200910139938
公开日2010年1月20日 申请日期2009年7月15日 优先权日2008年7月15日
发明者中里宗弘, 小鹰直彦 申请人:索尼株式会社;索尼电子公司