专利名称：信息处理设备、信息处理方法和程序的制作方法
技术领域：
本发明涉及一种信息处理设备、信息处理方法和程序，尤其涉及一种能够利用简单结构以高精度检测运动向量的信息处理设备、信息处理方法和程序。
背景技术：
在相关技术中，对随着时间变化的图像中的物体的运动向量进行检测，并且基于所检测的运动向量，利用例如针对图像的高效率编码的运动补偿帧间编码或者帧间时域滤波器来进行噪声降低等。检测运动向量的方法包括例如已经被使用的块匹配法。块匹配法将一个图像平面划分为包括若干像素的块。接着，在利用被划分为块的随着时间变化的图像平面的图像数据获得的搜索区域和分块的图像数据之间，通过使用预定的评估函数以像素为单位计算评估值，以便搜索图像数据运动的区域。另外，所计算的评估值是最小的最优值，因此根据获得最优值时的块的位置检测运动向量。在这种块匹配法中，需要获得要检测的块和搜索范围内的每个块之间的差，并且运动向量的检测中的计算量增加。为此原因，在日本未审查专利申请07-222158号公报中公开的发明中，在具有低分辨率的较高级别的层级中检测像素单位的运动向量，并且基于所检测的像素单位的运动向量，在较高级别的层级中检测具有等于或者低于像素单位的精度的运动向量。另外，基于等于或者低于像素单位的精度的运动向量，在具有比较高级别的层级的分辨率更高的分辨率的较低级别的层级中检测运动向量，从而提高了运动向量的检测精度并且降低了计算量。
发明内容
同时，即使如日本未审查专利申请07-222158号公报中，使用具有较低分辨率的图像从具有例如最小绝对差的和SAD的块的位置检测运动序列，由于分配给像素的位数较大，仍使用具有大容量的存储器作为用于存储图像的存储器，并且检测运动向量。此外，计算估计值的逻辑电路的电路规模较大。因此，期望提供一种能够通过简单结构以高精度检测运动向量的信息处理设备、 信息处理方法以及程序。根据本发明的实施例，提供一种信息处理设备，包括位转换单元，对基准图像和参考图像进行分配给像素的位数的缩减，并且生成根据分配给像素的位数分层级的基准图像和参考图像；以及运动向量检测单元，使用基准图像和参考图像进行块匹配处理，并且从块之间的差最小的块位置检测运动向量，其中，所述运动向量检测单元通过使用位数被缩减的所述基准图像和所述参考图像的块匹配进行运动向量的粗检测，基于通过所述粗检测检测出的运动向量决定运动向量的细检测的搜索范围，并且使用所述搜索范围中的图像进行运动向量的细检测，该图像属于在分配给像素的位数方面与所述粗检测中使用的图像的层级相同或比其更高的层级。
在本发明的实施例中，位转换单元对基准图像和一个或多个参考图像进行分配给像素的位数的缩减，并且生成根据分配给像素的位数分层级的基准图像和参考图像。例如， 从8-位基准图像和参考图像生成1-位等的基准图像和参考图像。位转换单元使用均值滤波器或者带通滤波器对基准图像和参考图像进行滤波，对每个像素在滤波之前和之后的像素水平之间进行比较，并且基于比较结果生成位数缩减的基准图像和参考图像。运动向量检测单元使用基准图像和参考图像进行块匹配处理，并且从块之间的差最小的块位置检测运动向量。另外，在运动向量检测中，通过使用位数被缩减的基准图像和参考图像的块匹配进行运动向量的粗检测。例如，使用分配给像素的位数最小的1-位基准图像和参考图像进行运动向量的粗检测。基于通过粗检测检测出的运动向量决定运动向量的细检测的搜索范围，并且使用搜索范围中的属于等于或者高于粗检测中使用的图像的层级的图像，即使用分配给像素的位数是1位或者更多的图像，进行运动向量的细检测。此外，还提供分辨率转换单元，其对基准图像和参考图像进行降采样以降低基准图像和参考图像的分辨率，并且使用分辨率降低的基准图像和参考图像进行运动向量的粗检测，并且使用细搜索范围中的分辨率等于或者高于粗检测中使用的图像的图像进行运动向量的细检测。根据本发明的实施例，提供一种信息处理方法，包括步骤使位转换单元对基准图像和参考图像进行分配给像素的位数的缩减，并且生成根据分配给像素的位数分层级的基准图像和参考图像；以及使运动向量检测单元通过使用位数被缩减的基准图像和参考图像的块匹配来进行运动向量的粗检测，基于通过粗检测检测出的运动向量决定运动向量的细检测的搜索范围，并且使用搜索范围中的图像进行运动向量的细检测，该图像属于在分配给像素的位数方面与粗检测中使用的图像的层级相同或比其更高的层级。根据本发明的实施例，提供一种程序，其使计算机能够执行以下步骤对基准图像和参考图像进行分配给像素的位数的缩减，并且生成根据分配给像素的位数分层级的基准图像和参考图像；以及通过使用位数被缩减的基准图像和参考图像的块匹配进行运动向量的粗检测，基于通过粗检测检测出的运动向量决定运动向量的细检测的搜索范围，并且使用搜索范围中的图像进行运动向量的细检测，该图像属于在分配给像素的位数方面与粗检测中使用的图像的层级相同或比其更高的层级。根据本发明实施例的程序是能够以计算机可读格式经由例如诸如光盘、磁盘或者半导体存储器的存储介质或者经由诸如网络的通信介质提供给能够执行例如各种程序和代码的通用计算机和系统的程序。这种程序以计算机可读格式提供，并且因此根据程序的处理在计算机和系统上实现。根据本发明的实施例，位转换单元对基准图像和参考图像进行分配给像素的位数的缩减，并且生成根据分配给像素的位数分层级的基准图像和参考图像。另外，运动向量检测单元通过使用分配给像素的位数被缩减的基准图像和参考图像的块匹配进行运动向量的粗检测，基于通过粗检测检测出的运动向量决定运动向量的细检测的搜索范围，并且使用搜索范围中的图像进行运动向量的细检测，该图像属于在分配给像素的位数方面与运动向量的粗检测中使用的图像的层级相同或比其更高的层级。以此方式，因为使用具有小位数的图像进行运动向量的粗检测，所以能够在不使用大容量的存储器或者具有大电路规模的逻辑电路的情况下进行运动向量的粗检测。此外，因为基于通过粗检测检测出的运动向量决定运动向量的细检测的搜索范围，并且使用搜索范围中的图像进行运动向量的细检测，该图像属于在分配给像素的位数方面与粗检测中使用的图像的层级相同或比其更高的层级，所以即使没有搜索宽的范围仍能够以高精度检测运动向量。换句话说，能够在不使用大容量的存储器或者具有大电路规模的逻辑电路的情况下，通过简单的结构以高精度检测运动向量。
图1是示出根据第一实施例的信息处理设备的结构的图。
图2是示出根据第一实施例的信息处理设备中的处理的流程图。
图3是示出生成1-位图像的低位基准图像生成单元的结构的图。
图4是示出生成1-位图像的低位基准图像生成单元中的处理的流程图。
图5是示出生成2-位图像的低位基准图像生成单元的结构的图。
图6是示出生成2-位图像的低位基准图像生成单元中的处理的流程图。
图7是示出生成η-位图像的低位基准图像生成单元的结构的图。
图8是示出生成η-位图像的低位基准图像生成单元中的处理的流程图。
图9是示出比较结果和像素值之间的关系的图。
图10是示出生成ι-位图像的低位缩减基准图像生成单元的结构的图。
图IlA到图IlC是示例地示出缩减图像的生成操作的图。
图12是示出生成1-位图像的低位缩减基准图像生成单元中的处理的流程图。
图13是示出块匹配单元的结构的图。
图14是示出块匹配单元中的处理的流程图。
图15是示出XOR值计算处理的流程图。
图16是示例地示出运动向量的检测操作的图。
图17是示出通过粗检测检测的运动向量和通过细检测检测的运动向量的图。
图18是示出根据第二实施例的信息处理设备的结构的图。
图19是示出根据第二实施例的信息处理设备中的处理的流程图。
图20是示出最优运动向量选择单元的结构的图。
图21是示出最优运动向量选择单元中的处理的流程图。
图22是示例地示出使用基准图像和两个参考图像的运动向量的检测操作的图。
图23A和图2 是示出图像的层级的图。
图M是示出计算机硬件的结构示例的图。
具体实施例方式下文中，将描述本发明的实施例。描述将遵循以下顺序。1.第一实施例1-1.信息处理设备的结构1-2.信息处理设备的处理操作1-3.低位图像生成单元的结构和操作1-4.低位缩减图像生成单元的结构和操作1-5.块匹配单元的结构和操作
1-6.使用两个图像的运动向量的检测操作的示例2.第二实施例2-1.信息处理设备的结构2-2.信息处理设备的处理操作2-3.最优运动向量选择单元的结构和操作2-4.使用三个图像的运动向量的检测操作的示例3.对于使用程序进行处理的情况1.第一实施例根据本发明实施例的信息处理设备进行位数缩减处理，其中针对基准图像和参考图像缩减分配给像素的位数，并且生成根据分配给像素的位数分层级的基准图像和参考图像。接着，信息处理设备通过使用位数被缩减的基准图像和参考图像的块匹配进行运动向量的粗检测。另外，信息处理设备基于通过运动向量的粗检测检测到的运动向量决定运动向量的细检测的搜索范围，并且使用搜索范围中的图像进行运动向量的细检测，该图像属于在分配给像素的位数方面与粗检测中使用的图像的层级相同或比其更高的层级。除了位数缩减处理，信息处理设备还可以针对基准图像和参考图像进行像素数缩减处理，以便降低基准图像和参考图像的分辨率。在这种情况下，信息处理设备通过使用例如缩减分辨率的基准图像和参考图像块的匹配进行运动向量的粗检测，并且基于所检测的运动向量决定运动向量的细检测的搜索范围。另外，信息处理设备使用细搜索范围中的分辨率等于或者高于粗检测中使用的图像的图像进行运动向量的细检测。此外，在以下的描述中，示出使用分配给像素的位数不同的两个层级的基准图像和参考图像检测运动向量的情况。此外，在以下的描述中，示出仅仅针对运动向量的粗检测中使用的基准图像和参考图像进行像素数缩减处理的情况。1-1.信息处理设备的结构图1示出根据第一实施例的信息处理设备的结构。信息处理设备10包括存储输入图像数据的图像存储单元21。此外，信息处理设备10包括缩减分配给像素的位数的位转换单元31，位转换单元31具有低位基准图像生成单元31-c、低位参考图像生成单元31-r、 低位缩减基准图像生成单元32-c以及低位缩减参考图像生成单元32-r。低位缩减基准图像生成单元32-c和低位缩减参考图像生成单元32-r组成分辨率转换单元32，分辨率转换单元32生成由于像素数缩减处理分辨率降低的缩减图像。此外，信息处理设备10具有运动向量检测单元40，运动向量检测单元40检测运动向量并且具有块匹配单元41和43。此外，信息处理设备10具有运动补偿单元51，运动补偿单元51使用所检测的运动向量进行运动补偿。图像存储单元21存储基准图像和参考图像的图像数据。图像存储单元21将所存储的基准图像的图像数据输出到低位基准图像生成单元31-c和低位缩减基准图像生成单元32-c。图像存储单元21将所存储的参考图像的图像数据输出到低位参考图像生成单元 31-r和低位缩减参考图像生成单元32-r。低位基准图像生成单元31-c对基准图像的图像数据进行位数缩减处理，以生成低位基准图像的图像数据。此外，低位基准图像生成单元31-c将所生成的低位基准图像的图像数据输出到块匹配单元43。例如，低位基准图像生成单元31-c对基准图像的8-位图像数据进行位数缩减处理，并且将位数是1位的低位基准图像的图像数据输出到块匹配单元43。低位缩减基准图像生成单元32-c对基准图像的图像数据进行位数缩减处理。此外，低位缩减基准图像生成单元32-c对位数缩减的基准图像进行像素数缩减处理，并生成低位缩减基准图像。低位缩减基准图像生成单元32-c将所生成的低位缩减基准图像的图像数据输出到块匹配单元41。例如，低位缩减基准图像生成单元32-c对基准图像的8-位图像数据进行位数缩减处理和像素数缩减处理，并且将位数是1位并且在水平和竖直方向上缩减像素数的低位缩减基准图像的图像数据输出到块匹配单元41。低位参考图像生成单元31-1 对参考图像的图像数据进行位数缩减处理，以生成具有与低位基准图像相同的位数的低位参考图像。另外，低位参考图像生成单元31-r将所生成的低位参考图像的图像数据输出到块匹配单元43。低位缩减参考图像生成单元32-r对参考图像的图像数据进行位数缩减处理和像素数缩减处理，以生成具有与低位缩减参考图像相同的位数和像素数的低位缩减参考图像。另外，低位缩减参考图像生成单元32-r将所生成的低位缩减参考图像的图像数据输出到块匹配单元41。块匹配单元41使用从低位缩减基准图像生成单元32-c输出的低位缩减基准图像的图像数据和从低位缩减参考图像生成单元32-r输出的低位缩减参考图像的图像数据进行运动向量的粗检测。块匹配单元41检测通过块匹配处理计算出的评估值最小的块，并且根据两个块的位置检测运动向量。另外，块匹配单元41将所检测的运动向量输出到块匹配单元43。块匹配单元43使用从低位基准图像生成单元31-c输出的低位基准图像的图像数据和从低位参考图像生成单元31-1 输出的低位参考图像的图像数据进行运动向量的细检测。块匹配单元43已经被提供在块匹配单元41中的运动向量的粗检测中检测到的运动向量。因此，块匹配单元43基于从块匹配单元41提供的运动向量决定块匹配处理的搜索范围。块匹配单元43在所决定的搜索范围中进行块匹配处理，检测具有最小评估值的块，并且根据两个块的位置检测运动向量。信息处理设备10包括运动补偿单元51，并且该运动补偿单元51使用由块匹配单元43检测的运动向量对参考图像进行运动补偿并且输出运动补偿的图像。1-2.信息处理设备的处理操作图2是示出信息处理设备10中的处理的流程图。在步骤ST1，低位基准图像生成单元31-c和低位参考图像生成单元31-r生成低位图像。低位基准图像生成单元31-c对基准图像的图像数据进行位数缩减处理以生成低位基准图像的图像数据。低位参考图像生成单元31-r对参考图像的图像数据进行位数缩减处理以生成低位参考图像的图像数据。以此方式，低位基准图像生成单元31-c和低位参考图像生成单元31-r生成低位图像，并且处理进行到步骤ST2。在步骤ST2，低位缩减基准图像生成单元32-c和低位缩减参考图像生成单元32_r 生成低位缩减图像。低位缩减基准图像生成单元32-c对基准图像的图像数据进行位数缩减处理和像素数缩减处理，以生成低位缩减基准图像的图像数据。低位缩减参考图像生成单元32-r对参考图像的图像数据进行位数缩减处理和像素数缩减处理，以生成低位缩减参考图像的图像数据。以此方式，低位缩减基准图像生成单元32-c和低位缩减参考图像生成单元32-r生成低位缩减图像，并且处理进行到步骤ST3。在步骤ST3，块匹配单元41使用低位缩减图像进行块匹配处理。块匹配单元41对低位缩减基准图像的图像数据和低位缩减参考图像的图像数据进行块匹配处理并且检测运动向量。以此方式，块匹配单元41通过使用低位缩减图像的块匹配处理进行运动向量的粗检测，并且处理进行到步骤ST4。在步骤ST4，块匹配单元43使用低位图像进行块匹配处理。块匹配单元43基于在步骤ST3的运动向量的粗检测检测的运动向量决定搜索范围。另外，块匹配单元43使用搜索范围中的低位基准图像和低位参考图像进行块匹配处理，并检测运动向量。以此方式，块匹配单元43通过使用低位图像的块匹配处理进行运动向量的细检测，并且处理进行到步马聚ST5 ο在步骤ST5，运动补偿单元51生成运动补偿图像。运动补偿图像51根据步骤ST4 检测的运动向量对参考图像进行运动补偿以生成运动补偿图像，并且处理完成。1-3.低位图像生成单元的结构和操作接着，将描述低位图像的生成。低位图像生成单元对基准图像进行滤波，对每个像素将滤波之前的图像数据与滤波之后的图像数据相比较，并基于比较结果生成位数缩减的基准图像。类似地，低位图像生成单元对参考图像进行滤波，对每个像素将滤波之前的图像数据与滤波之后的图像数据相比较，并基于比较的结果生成位数缩减的参考图像。图3示出生成1-位图像的低位基准图像生成单元31-c的结构。此外，低位参考图像生成单元31-r以与低位基准图像生成单元31-c相同的方式构造，并且低位参考图像生成单元31-r对参考图像进行与低位基准图像生成单元31-c相同的处理。低位基准图像生成单元31-c具有滤波单元311和图像比较单元312。滤波单元 311对基准图像的图像数据进行滤波。滤波单元311使用例如均值滤波器、带通滤波器以及伪均值滤波器之一对基准图像的图像数据进行滤波。滤波单元311在使用均值滤波器的情况下进行等式1中的计算，并且计算对像素位置(x，y)进行滤波之后的像素数据Γ (x，y)。在此，I(i，j)指示基准图像的像素数据， 并且N指示像素数。
权利要求
1.一种信息处理设备，包括位转换单元，对基准图像和参考图像进行分配给像素的位数的缩减，并且生成根据分配给像素的位数分层级的基准图像和参考图像；以及运动向量检测单元，使用基准图像和参考图像进行块匹配处理，并且从块之间的差最小的块位置检测运动向量，其中，所述运动向量检测单元通过使用位数被缩减的所述基准图像和所述参考图像的块匹配进行运动向量的粗检测，基于通过所述粗检测检测出的运动向量决定运动向量的细检测的搜索范围，并且使用所述搜索范围中的图像进行运动向量的细检测，所述图像属于在分配给像素的位数方面与所述粗检测中使用的图像的层级相同或比其更高的层级。
2.根据权利要求1所述的信息处理设备，还包括分辨率转换单元，其对所述基准图像和所述参考图像进行降采样，以降低所述基准图像和所述参考图像的分辨率，其中，所述运动向量检测单元通过使用分辨率被降低的所述基准图像和所述参考图像的块匹配进行运动向量的粗检测，基于通过所述粗检测检测出的运动向量决定运动向量的细检测的搜索范围，并且使用细搜索范围中的在分辨率上等于或者高于所述粗检测中使用的图像的图像进行运动向量的细检测。
3.根据权利要求2所述的信息处理设备，其中，所述运动向量检测单元使用分配给像素的位数最小的层级中的基准图像和参考图像进行块匹配处理，并且进行运动向量的粗检测。
4.根据权利要求2所述的信息处理设备，其中，当使用所述搜索范围中具有与所述粗检测中使用的图像相同的分配给像素的位数的图像时，所述运动向量检测单元使用具有比所述粗检测中使用的图像更高分辨率的图像作为所述搜索范围中的图像。
5.根据权利要求1所述的信息处理设备，其中，所述参考图像是在时间上不同于所述基准图像的多个图像。
6.根据权利要求1所述的信息处理设备，其中，所述位转换单元对所述基准图像和所述参考图像进行滤波，针对每个像素在滤波之前和之后的像素水平之间进行比较，并且基于所述比较的结果生成位数被缩减的基准图像和参考图像。
7.根据权利要求6所述的信息处理设备，其中，所述位转换单元进行水平偏移处理，其中滤波之后的像素水平被偏移预定量，对每个像素将滤波之后的像素水平与水平偏移处理之后的像素水平相比较，并且基于比较的结果生成位数缩减的基准图像和参考图像。
8.根据权利要求6所述的信息处理设备，其中，所述位转换单元使用均值滤波器或者带通滤波器进行所述滤波。
9.根据权利要求1所述的信息处理设备，其中，所述基准图像和所述参考图像在分配给像素的位数上是8-位图像，以及其中所述位转换单元对所述基准图像和所述参考图像进行位数的缩减，以生成分配给像素的位数是1位的基准图像和参考图像。
10.一种信息处理方法，包括步骤使位转换单元对基准图像和参考图像进行分配给像素的位数的缩减，并且生成根据分配给像素的位数分层级的基准图像和参考图像；以及使运动向量检测单元通过使用所述位数被缩减的基准图像和参考图像的块匹配来进行运动向量的粗检测，基于通过所述粗检测检测出的运动向量决定运动向量的细检测的搜索范围，并且使用所述搜索范围中的图像进行运动向量的细检测，所述图像属于在分配给像素的位数方面与所述粗检测中使用的图像的层级相同或比其更高层级。
11. 一种程序，其使计算机能够执行以下步骤对基准图像和参考图像进行分配给像素的位数的缩减，并且生成根据分配给像素的位数分层级的基准图像和参考图像；以及通过使用所述位数被缩减的基准图像和参考图像的块匹配进行运动向量的粗检测，基于通过所述粗检测检测出的运动向量决定运动向量的细检测的搜索范围，并且使用搜索范围中的图像进行运动向量的细检测，所述图像属于在分配给像素的位数方面与所述粗检测中使用的图像的层级相同或比其更高的层级。
全文摘要
公开了一种信息处理设备、信息处理方法和程序。该信息处理设备包括位转换单元，对基准图像和参考图像进行分配给像素的位数的缩减，并且生成根据分配给像素的位数分层级的基准图像和参考图像；以及运动向量检测单元，其通过使用位数被缩减的基准图像和参考图像的块匹配进行运动向量的粗检测，基于通过粗检测检测出的运动向量决定运动向量的细检测的搜索范围，并且使用搜索范围中的图像进行运动向量的细检测，该图像属于在分配给像素的位数方面与粗检测中使用的图像的层级相同或比其更高的层级。
文档编号H04N7/26GK102164277SQ20111003740
公开日2011年8月24日 申请日期2011年1月28日 优先权日2010年2月5日
发明者名云武文, 罗俊, 近藤雄飞 申请人:索尼公司