图像处理装置、图像处理方法、记录介质和程序的制作方法

专利名称：图像处理装置、图像处理方法、记录介质和程序的制作方法
技术领域：
本技术涉及图像处理装置、图像处理方法、记录介质和程序，具体地讲，涉及ー种即使当图像中包括进行不同运动的多个对象时仍能够正确检测运动矢量的图像处理装置、图像处理方法、记录介质和程序。
背景技术：
通过检测各帧的每个宏块的运动矢量并且使用检测的运动矢量減少要进行压缩的帧的数目，实现压缩运动图像。因此，在压缩运动图像的处理中，从运动图像检测运动矢量的技术是必需的。例如，提出了对宏块的运动矢量进行分组并且检测在没有包括运动对象的组中包括的区域的运动矢量作为整个屏幕的运动矢量的技术，作为从运动图像检测运动矢量的技 术(參见日本特开No. 2007-235769 )。此外，提出了当集中运动不存在时使用运动矢量的直方图而不使用整个屏幕的运动矢量来检测整个屏幕的运动矢量的技术(參见日本特开No. 2008-236098和2010-213287)。此外，提出了使用主对象的特征点区域检测整个屏幕的运动矢量并使用整个屏幕的运动矢量作为运动矢量的技术(參见日本特开No. 10-210473)。此外，提出了检测特征点，利用密集搜索方法或k-means (k平均值)方法获得特征点的运动并且使用特征点的运动作为运动矢量的技术(參见日本特开No. 2010-118862)。

发明内容
然而，上述的技术不能够处理平移之外的运动。此外，当场景改变或者运动矢量的可靠性低时，可能错误地检测运动矢量，使得由于编码处理或解码处理而在图像上出现错误，这是因为这些技术没有被构造为排除具有低可靠性的运动矢量。此外，在上述的技术中，当由于诸如噪声等的影响导致集中运动不是仅仅存在于一帧中时，不能够使用前一帧中的矢量，并且可能错误地检测运动矢量，从而使得由于编码处理或解码处理在图像上出现错误。此外，由于当没有从图像获得特征点时没有获得整个屏幕的运动，所以没有获得运动矢量自身，并且由此无法执行编码处理自身。鉴于以上，本技术使得能够从图像正确检测运动矢量。根据本技术的ー个实施例，提供了ー种图像处理装置，包括聚类单元，被构造为将输入图像的每个块的局部运动矢量聚类成预定数目的类；以及全局运动矢量选择单元，被构造为针对由聚类单元形成的预定数目的类的每ー个设置ー个代表局部运动矢量并且从各个类的代表局部运动矢量中选择输入图像的全局运动矢量。根据本技术的另一个实施例，提供了ー种图像处理装置，包括局部运动矢量检测単元，被构造为使用输入图像与基准图像之间的块匹配检测每个块的局部运动矢量；聚类単元，被构造为基于每个块的局部运动矢量与为预定数目的类的每一个设置的矢量之间的距离，将每个块的局部运动矢量聚类成预定数目的类；代表计算单元，被构造为计算代表由聚类单元形成的每个类的代表局部运动矢量；以及全局运动矢量选择单元，被构造为基于每个类中的局部运动矢量的数目从各个类的代表局部运动矢量中选择输入图像的全局运
动矢量。聚类单元可以包括距离计算单元，该距离计算单元被构造为计算每个块的局部运动矢量与为预定数目的类的每一个设置的矢量之间的距离并且将每个块的局部运动矢量聚类到由距离计算单元计算的距离最短的类。在代表计算单元中，通过与输入图像对应的仿射变换或投影变换获得并且由聚类単元分类到类中的局部运动矢量的平均值可以被计算为代表运动矢量。在代表计算单元中，由由聚类单元形成的类内的局部运动矢量的仿射变换參数或 投影变换參数指定的矢量可以被计算为代表运动矢量，所述仿射变换參数或投影变换參数是通过对应于输入图像的仿射变换或投影变换而获得的。还可以包括缓冲单元，被构造为对由聚类单元形成的每个类的局部运动矢量的平均值或者由仿射变换參数或投影变换參数指定的矢量进行缓冲，所述平均值和矢量是由代表计算单元计算的，并且聚类单元可通过使用在缓冲单元中缓冲的由聚类单元形成的每个类的局部运动矢量的平均值或者由仿射变换參数或投影变换參数指定的矢量，作为要为每个类设置的矢量，对局部运动矢量进行聚类。还可以包括合井-分割单元，被构造为将由聚类单元形成的类中的类之间的矢量空间内的位置彼此靠近的类进行合井，并且将在类之间的矢量空间内的方差大的类分割成多个类。还可以包括第一下变换单元，被构造为将输入图像下变换成具有低分辨率的图像；第二下变换单元，被构造为将參照图像下变换成具有低分辨率的图像；第一上变换单元，被构造为当具有低分辨率的图像被设置为具有输入图像的分辨率时将从具有低分辨率的图像获得的每个块的局部运动矢量应用到当分辨率返回到输入图像的分辨率时的块；第ニ上变换单元，被构造为当具有低分辨率的图像被设置为具有输入图像的分辨率时将从具有低分辨率的图像获得的全局运动矢量应用到当分辨率返回到输入图像的分辨率时的块；以及选择单元，被构造为通过将由第一上变换单元应用了局部运动矢量的输入图像的每个块的像素与对应于该块的參照图像的每个块的像素之间的差分绝对值和、与由第二上变换单元应用了全局运动矢量的输入图像的每个块的像素与对应于该块的參照图像的每个块的像素之间的差分绝对值和进行比较，针对输入图像的块选择局部运动矢量和全局运动矢量之一 O根据本技术的另一个实施例，提供了ー种图像处理方法，包括在被构造为使用输入图像与參照图像之间的块匹配检测每个块的局部运动矢量的局部运动矢量检测单元中，使用输入图像与參照图像之间的块匹配检测每个块的局部运动矢量；在被构造为将每个块的局部运动矢量聚类成预定数目的类的聚类单元中，基于每个块的局部运动矢量与为预定数目的类的每一个设置的矢量之间的距离，将每个块的局部运动矢量聚类成预定数目的类；在被构造为计算代表由聚类单元形成的每个类的代表局部运动矢量的代表计算单元中，计算代表在聚类步骤中形成的每个类的代表局部运动矢量；以及在被构造为基于每个类中的局部运动矢量的数目从各个类的代表局部运动矢量中选择输入图像的全局运动矢量的全局运动矢量选择单元中，基于每个类中的局部运动矢量的数目从各个类的代表局部运动矢量中选择输入图像的全局运动矢量。根据本技术的另一个实施例，提供了一种使得包括图像处理装置的计算机执行处理的程序，该图像处理装置包括局部运动矢量检测单元，被构造为使用输入图像与參照图像之间的块匹配检测每个块的局部运动矢量；聚类单元，被构造为基于每个块的局部运动矢量与为预定数目的类的每一个设置的矢量之间的距离，将每个块的局部运动矢量聚类成预定数目的类；代表计算单元，被构造为计算代表由聚类单元形成的每个类的代表局部运动矢量；以及全局运动矢量选择单元，被构造为基于每个类中的局部运动矢量的数目从各个类的代表局部运动矢量中选择输入图像的全局运动矢量，以及所述处理包括在局部运动矢量检测单元中，使用输入图像与參照图像之间的块匹配检测每个块的局部运动矢量；在聚类单元中，基于每个块的局部运动矢量与为预定数目的类的每一个设置的矢量之间的距离，将每个块的局部运动矢量聚类成预定数目的类；在代表计算单元中，计算代表在聚类步骤中形成的每个类的代表局部运动矢量；以及在全局运动矢量选择单元中，基于每个类 中的局部运动矢量的数目从各个类的代表局部运动矢量中选择输入图像的全局运动矢量。存储在本技术的记录介质中的程序是计算机可读记录介质。根据本技术的另一个实施例，提供了ー种图像处理装置，包括局部运动矢量检测単元，被构造为使用输入图像与參照图像之间的块匹配检测每个块的局部运动矢量；聚类単元，被构造为基于每个块的局部运动矢量与为预定数目的对象的每ー个设置的矢量之间的距离，针对预定数目的对象的每ー个对每个块的局部运动矢量进行聚类；以及对象运动矢量计算单元，被构造为基于由聚类单元分类的每个对象的局部运动矢量计算对象运动矢量。图像处理装置还可以包括全局运动矢量选择单元，被构造为基于为每个对象聚类的局部运动矢量从计算的对象运动矢量中选择输入图像的全局运动矢量。根据本技术的另一个实施例，提供了ー种图像处理方法，包括在被构造为使用输入图像与參照图像之间的块匹配检测每个块的局部运动矢量的局部运动矢量检测单元中，使用输入图像与參照图像之间的块匹配检测每个块的局部运动矢量；在被构造为基于每个块的局部运动矢量与为预定数目的对象的每ー个设置的矢量之间的距离针对预定数目的对象的每ー个对每个块的局部运动矢量进行聚类的聚类单元中，基于每个块的局部运动矢量与为预定数目的对象的每ー个设置的矢量之间的距离，针对预定数目的对象的每ー个对每个块的局部运动矢量进行聚类；以及在被构造为基于由聚类单元分类的每个对象的局部运动矢量计算对象运动矢量的对象运动矢量计算单元中，基于由聚类单元分类的每个对象的局部运动矢量计算对象运动矢量。根据本技术的另一个实施例，提供了一种使得包括图像处理装置的计算机执行处理的程序，该图像处理装置包括局部运动矢量检测单元，被构造为使用输入图像与參照图像之间的块匹配检测每个块的局部运动矢量；聚类单元，被构造为基于每个块的局部运动矢量与为预定数目的对象的每ー个设置的矢量之间的距离，针对预定数目的对象的每ー个对每个块的局部运动矢量进行聚类；以及对象运动矢量计算单元，被构造为基于由聚类单元分类的每个对象的局部运动矢量计算对象运动矢量，所述处理包括在被构造为使用输入图像与參照图像之间的块匹配检测每个块的局部运动矢量的局部运动矢量检测单元中，使用输入图像与參照图像的块匹配检测每个块的局部运动矢量；在被构造为基于每个块的局部运动矢量与为预定数目的对象的每ー个设置的矢量之间的距离针对预定数目的对象的每ー个对每个块的局部运动矢量进行聚类的聚类单元中，基于每个块的局部运动矢量与为预定数目的对象的每ー个设置的矢量之间的距离，针对预定数目的对象的每ー个对每个块的局部运动矢量进行聚类；以及在被构造为基于由聚类单元分类的每个对象的局部运动矢量计算对象运动矢量的对象运动矢量计算单元中，基于由聚类单元分类的每个对象的局部运动矢量计算对象运动矢量。存储在本技术的记录介质内的程序是计算机可读记录介质。根据本技术的实施例，输入图像的每个块的局部运动矢量被组织成预定数目的类，为每个类设置代表局部运动矢量，并且从预定数目的类的每ー个的代表局部运动矢量中选择输入图像的全局运动矢量。根据本技术的实施例，使用输入图像与參照图像之间的块匹配检测每个块的局部运动矢量，基于每个块的局部运动矢量与为预定数目的类的每一个设置的矢量之间的距离 将每个块的局部运动矢量组织成预定数目的类，计算代表每个分类的类的代表局部运动矢量，并且基于每个类中的局部运动矢量的数目从各个类的代表局部运动矢量中选择输入图像的全局运动矢量。根据本技术的实施例，使用输入图像与參照图像之间的块匹配检测每个块的局部运动矢量，基于每个块的局部运动矢量与为预定数目的对象的每ー个设置的矢量之间的距离针对预定数目的对象的每ー个对每个块的局部运动矢量进行聚类，并且基于每个分类的对象的局部运动矢量计算对象运动矢量。本技术的图像处理装置可以是独立装置，并且还可以是执行图像处理的块。根据本技术的实施例，可以更加准确地从图像检测运动矢量。


图I是示出应用了本技术的图像处理装置的图像编码装置的第一实施例的示例结构的框图；图2是示出了图I的运动矢量检测单元的示例结构的图；图3是示出了图I的全局运动矢量(GMV)检测单元的示例结构的图；图4是示出了图I的聚类单元的示例结构的图；图5是示出了图I的平均值计算単元的示例结构的图；图6是示出图I的图像编码装置中的编码处理的流程图；图7是示出图I的GMV检测单元中的GMV检测处理的流程图；图8是示出了聚类单元的处理的图；图9是示出了平均值计算単元的处理的图；图10是示出了 GMV确定单元的处理的图；图11是示出了合井-分割単元的处理的图；图12是示出根据图像编码装置的第二实施例的GMV检测单元的示例结构的框图13是示出图12的GMV检测单元中的GMV检测处理的流程图；图14是示出了后退模式的图；图15是示出了后退模式的图；图16是示出了当拍摄的图像被旋转时获得GMV矢量的方法的图；图17是示出根据图像编码装置的第三实施例的GMV检测单元的示例结构的框图；图18是示出图17的GMV检测单元中的GMV检测处理的流程图；图19是示出了图17的GMV检测单元的使用仿射变换的GMV检测处理的图； 图20是示出了图17的GMV检测单元的使用仿射变换的GMV检测处理的图；图21是示出了图17的GMV检测单元中的使用仿射变换的GMV检测处理中当基于运动矢量大小应用加权时的例子的图；图22是示出了图17的GMV检测单元的使用投影变换的GMV检测处理的图；图23是示出图像编码装置的第四实施例的示例结构的框图；图24是示出图23的图像编码装置中的编码处理的流程图；图25是示出了各个对象的运动矢量彼此不同的例子的图；图26是示出图像编码装置的第五实施例的示例结构的框图；图27是示出了图26的对象MV检测单元的示例结构的图；图28是示出图26的图像编码装置中的编码处理的流程图；图29是示出图27的对象MV检测单元中的对象MV检测处理的流程图；图30是示出图像编码装置的第六实施例的示例结构的框图；图31是示出图30的图像编码装置中的编码处理的流程图；以及图32是示出了通用计算机的示例结构的图。
具体实施例方式在下文中，将參照附图详细描述本技术的优选实施例。要注意，在本说明书和附图中，功能和结构基本相同的组成部件用相同标号进行指示，并且省去这些组成部件的重复解释。在下文中，将按照下面的顺序描述本技术的实施方式(将称作实施例):I.第一实施例2.第二实施例(后退(fallback)模式的图像编码装置)3.第三实施例(与仿射或投影变换对应的图像编码装置)4.第四实施例(具有以零矢量作为选择的选择单元的图像编码装置)5.第五实施例(具有以零矢量作为选择的选择单元并且获得对象运动矢量的图像编码装置)6.第六实施例(以对象运动矢量中的零矢量作为选择的图像编码装置)〈I.第一实施例>[图像编码装置]图I示出了应用本技术的图像处理装置的图像编码装置的硬件的第一实施例的示例结构。图像编码装置I顺序地接收运动图像中要进行处理的图像(current (Cur)图像)和与Cur图像对应的參照图像(reference (Ref)图像)。图像编码装置I然后使用Cur图像和Ref图像获得每宏块的运动矢量，并且使用获得的每宏块的运动矢量对运动图像进行编码。更具体地讲，图像编码装置I包括运动矢量检测单元11和编码单元12。运动矢量检测单元11使用Cur图像和Ref图像从Cur图像检测每宏块的运动矢量，并且将检测到的运动矢量提供给编码単元12。编码单元12基于从运动矢量检测单元11提供的每宏块的运动矢量、Cur图像和Ref图像对Cur图像进行编码，并且提供编码的Cur图像作为比特流。[运动矢量检测单元]接下来，将參照图2描述运动矢量检测单元11的示例结构。运动矢量检测单元11包括下变换单元21-1和21-2、块匹配単元22、GMV (全局运 动矢量)检测单元23、上变换单元24-1和24-2以及选择单元25。下变换单元21_1和21_2分别使得Cur图像和Ref图像具有相同的低分辨率，并且将Cur图像和Ref图像提供给块匹配単元22。此外，当不需要区分下变换单元21-1和21-2吋，下变换单元21-1和21_2被简称为下变换单元21，这同样也适用于其它结构。此外，使下变换单元21具有低分辨率的技术不仅可适用于每行和列単位的像素的数目的抽减(thin out),还适用于水平和垂直方向上的每多个像素単位的抽减。此外，在应用低通滤波器(LPF)以后可以执行抽减。块匹配单元22将Cur图像和Ref图像的每ー个划分成多个宏块(每个宏块具有m像素Xm像素)，并且通过将Cur图像的每个宏块与Ref图像的每个宏块进行比较来搜索匹配块。块匹配単元22然后获得从Cur图像的块位置与Ref图像的块位置之间的关系导出的矢量作为Cur图像的宏块的运动矢量。块匹配単元22以相同方式获得Cur图像的所有宏块的运动矢量，并且将获得的运动矢量提供给GMV检测单元23和上变换单元24-1作为每宏块的局部运动矢量(LMV)。此外，块匹配単元22包括差分绝对值和(SAD)计算单元22a、场景改变检测単元22b和动态范围(DR)检测单元22c。SAD计算单元22a计算Cur图像和Ref图像中的对应宏块中的像素之间的SAD。场景改变检测单元22b基于对应Cur图像和Ref图像中的像素之间的SAD检测场景是否改变，并且输出检测结果作为场景改变标记(SCF)。DR检测单元22c检测每个块中的像素的像素值的DR，S卩，最小值与最大值之间的差分绝对值。块匹配单元22输出诸如LMV、DR、SAD和SCF的信息以及每个块的坐标和Cur图像的帧号。此外，在下文中，全局运动矢量、局部运动矢量、差分绝对值和、场景改变标记和动态范围分别被简称作GMV、LMV, SAD、SCF和DR。此外，宏块被简称作块，因此例如，块单位是指宏块单位。GMV检测单元23基于每个块获得的并且从块匹配単元22提供的LMV检测GMV(SP，整个Cur图像的每个块的运动矢量)，并且将GMV提供给上变换单元24-2。此外，将在下面參照图3更加详细描述GMV检测单元23。上变换单元24-1和24-2分别将每个块获得的LMV和GMV上变换成具有与下变换单元21-1和21-2对应的分辨率的分辨率信息，并且将该信息提供给选择单元25。选择单元25基于所获得的从运动矢量获得的差分变换绝对值和(SATD)和在编码时开销部分中的信息，将作为LMV提供的每个块的运动矢量与作为GMV提供的每个块的运动矢量进行比较，并且输出选择的运动矢量作为每个块的运动矢量。这里，SATD是通过对基于运动矢量对Cur图像进行变换的每个块的像素与对应Ref图像的每个块的像素之间的像素值的预测误差进行Hadamard变换并且计算预测误差的绝对值之和而获得的值。[GMV检测单元]接下来，将參照图3描述GMV检测单元23的示例结构。GMV检测单元23包括块排除判定单元41、聚类单元42、平均值计算单元43_1到43-5、延迟缓冲器44、GMV确定单元45和合并-分割单元46。块排除判定単元41基于从块匹配単元22提供的诸如DR、SAD和块的块坐标的信息以及LMV判定是否需要获得块作为LMV。更具体地讲，当DR小于预定水平并且由此该块被视为是平坦块时，该块不能够被正确地获得作为LMV，并且由此块排除判定単元41将该块视为不需要获得作为LMV的排除块。此外，当基于具有大SAD的运动矢量对应块与Ref图像的块的像素之间的SAD大于预定阈值并且运动矢量被视为不正确时，块排除判定単元41将该块视为排除块。此外，当块的坐标在帧图像的端部附近吋，由于不正确获得该块的可能 性很高，所以块排除判定単元41将该块视为排除块。当DR小于预定水平，SAD大于预定阈值或者块的坐标在帧图像的端部附近吋，块排除判定単元41于是将该块视为没有获得运动矢量的块(S卩，排除块)，并且输出对应标记。此外，其它块不是排除块，并且由此块排除判定単元41输出指示其它块是需要获得运动矢量的块的标记。此外，当块排除判定単元41判定块是否平坦吋，DR的值可以如上所述使用，然而，还可以使用DR以外的參数，只要能够确定块是否平坦即可。例如，可以使用方差或者方差和DR 二者来进行确定。聚类单元42计算在块排除判定单元41中确定不是排除块的块的LMV与在延迟缓冲器44中缓冲的预定数目的类的每ー个的代表矢量之间的距离。聚类单元42然后基于获得的距离信息将运动矢量聚类(分类)到最近矢量所属于的类中，并且将确定的类信息与LMV—起提供给平均值计算単元43-1到43-5和合井-分割単元46。此外，将在以后參照图4描述聚类単元42的示例结构。平均值计算単元43-1到43-5获取指示类的信息和LMV，并且还存储仅仅与属于各个平均值计算単元的类对应的LMV。此外，平均值计算単元43-1到43-5计算属于各个平均值计算単元的类的各个LMV的平均值作为各个代表矢量，并且将平均值与例如LMV的元素的数目的信息一起提供给GMV确定单元45和延迟缓冲器44。此外，将在下文中參照图5详细描述平均值计算単元43的结构。延迟缓冲器44首先对由从平均值计算単元43提供的每个类的平均值组成的代表矢量进行缓冲，然后随后将代表矢量提供给聚类単元42作为每个类的代表矢量。GMV确定单元45基于从各个平均值计算単元43_1到43_5提供的各个类的平均值(即，代表矢量信息)和用于计算平均值的每个类的LMV的元素的数目，确定GMV。GMV确定単元45然后输出确定的类的代表矢量作为GMV。合并-分割单元46基于每个类的LMV的方差或协方差，从作为类的元素的分布LMV合并(组合)多个类或者将ー个类分割成多个类。合并-分割単元46基于合并或分割的类的信息，改变在延迟缓冲器44中缓冲的每个类的代表矢量。也就是说，合并-分割单元46基于属于通过合并或分割产生的新类的LMV获得平均值，获得每个类的代表矢量并且使得延迟缓冲器44缓冲代表矢量。此外，由于分割或合并类不是必要处理，所以当需要降低处理负载以实现快速处理时，可以省去合井-分割単元46中的类的分割或合井。此外，可以仅仅执行合并或分割。[聚类单元]接下来，将參照图4描述聚类単元42的示例结构。聚类单元42包括距离计算单元51-1到51-5和类确定単元52。距离计算单元51-1到51_5的每ー个获得由第一类到第五类的代表值组成的矢量的每ー个与提供的LMV之间的距离，并且将该距离提供给类确定单元52。类确定単元52基于从距离计算単元51-1到51_5的每ー个提供的LMV与从延迟缓冲器44提供的第一到第五类的每ー个的代表矢量之间的距离，确定具有相对于LMV的最短距离的类。类确定単元52然后将确定的类信息提供给平均值计算単元43-1到43-5。[平均值计算単元]
接下来，将參照图5描述平均值计算単元43的示例结构。平均值计算単元43包括加法单元61和除法单元62。加法单元61以累积方式将提供的LMV之中的分类到加法单元的类的LMV相加，并且将相加结果LMV_sum提供给除法単元62。这里，加法単元还将包括LMV的累积数目(属于该类的LMV的元素的数目)的信息提供给除法単元62。除法单元62将相加结果LMV_sum除以LMV的元素的数目以获得具有该类的平均值的运动矢量，作为该类的代表矢量，即，作为要在以后进行描述的GMV的候选的运动矢量。除法単元62然后将计算的代表矢量和该类的元素的数目的信息提供给GMV确定单元45和延迟缓冲器44。[编码处理]接下来，将參照图6的流程图描述图I的图像编码装置I的编码处理。在步骤Sll中，当提供具有要处理的帧号的图像和Ref图像时，运动矢量检测单元11的下变换单元21-1和21-2将各个图像下变换成具有低分辨率的图像。此外，预测画面(P画面)用作与Cur图像对应的Ref图像。在步骤S12中，块匹配単元22执行块匹配处理以检测Cur图像中的每个宏块的LMV,并且将检测到的LMV提供给GMV检测单元23和上变换单元24_1。更具体地讲，块匹配単元22通过将Cur图像划分为例如X像素Xx像素等的宏块单位顺序地提取Cur图像，通过匹配执行与Ref图像内的宏块的比较，并且获得被视为匹配宏块的最相似宏块以及该宏块的位置。块匹配単元22然后从Ref图像内的宏块的位置和获得的被视为Ref图像内的匹配宏块的最相似宏块的位置，获得Cur图像中的每个宏块的运动矢量。在这个阶段获得的宏块中的运动矢量是LMV。块匹配単元22对所有宏块执行这个处理以检测每个宏块的LMV,并且将LMV提供给GMV检测单元23和上变换单元24_1。这里，块匹配単元22控制SAD计算单元22a以使得SAD计算单元22a计算Cur图像的每个宏块和匹配的Ref图像的每个宏块的像素之间的SAD。此外，块匹配単元22控制场景改变检测単元22b以使得场景改变检测単元检测在Cur图像与Ref图像之间场景是否改变并且产生场景改变标记。也就是说，当场景改变时，整个图像中的像素之间的SAD大幅变化，场景改变检测単元22b然后将整个图像中的像素之间的SAD与预定阈值进行比较，并且当该SAD大于预定阈值时产生由指示场景改变的标记组成的SCF。否则，场景改变检测单元22b产生指示场景没有改变的SCF。SCF可以从成像装置提供。此外，块匹配单元22控制DR检测单元22c以使得DR检测单元产生Cur图像的每个宏块中的像素的像素值的DR。块匹配单元22然后以与LMV对应的方式将SAD、SCF和DR输出到GMV检测单元23和上变换单元24-1。在步骤S13中，GMV检测单元23执行GMV检测处理，基于从块匹配単元22提供的LMV获得GMV，并且将GMV提供给上变换单元24-2。此外，将參照图7的流程图详细描述GMV检测处理。在步骤S14中，上变换单元24-1和24_2将诸如LMV和GMV的信息上变换成变为比输入Cur图像和Ref图像的分辨率更高的分辨率的信息，并且将该信息提供给选择単元25。在步骤S15中，选择单元25在使用与输入Cur图像的分辨率对应的每个宏块的LMV和GMV时获得SATD和开销部分的信息，选择具有最小值的LMV和GMV中的任何ー个作为每个宏块的运动矢量，并且将选择的一个输出到编码单元12。 更具体地讲，选择单元25使用每个宏块的LMV和GMV的每ー个产生Cur图像的每个宏块被移动的图像，并且获得Cur和Ref图像中的像素之间的SATD，由此获得SATD。此夕卜，选择单元25使用LMV和GMV构成开销部分的信息。选择单元25然后输出LMV和GMV的每ー个的SATD和开销部分的信息最小的运动矢量作为Cur图像中的每个宏块的运动矢量。在步骤S16中，编码单元12使用每个块的运动矢量以及Cur图像和Ref图像对Cur图像进行编码。根据上述的处理对Cur图像进行编码。此外，已经在上文中描述了在通过下变换单元21-1和21-2以及上变换单元24-1和24_2获得LMV和GMV时使用分辨率变低的图像的例子。然而，这个处理意图降低处理负载并且提高整体处理速度，然而，只要硬件呑吐量有余量就不是必要的处理。因此，下变换单元21-1和21-2以及上变换单元24-1和24_2在执行上述的处理时不是必需的。[GMV检测处理]接下来，将參照图7的流程图描述GMV检测处理。在步骤S31中，块排除判定単元41判定是否处理了 Cur图像中的所有块。在步骤S31中，例如，当仍有要处理的块时，处理进行到步骤S32。在步骤S32中，块排除判定単元41将要处理的块设置为目标块。在步骤S33中，块排除判定単元41判定目标块是否是要排除的宏块。更具体地讲，当目标块的每个宏块的SAD大于预定阈值，DR小于预定阈值或者图像内的目标块的位置靠近Cur图像的端部吋，块排除判定単元41将目标块视为要排除的块。也就是说，当SAD大于预定阈值时，运动矢量的开始块和结束块的变化被认为大，从而目标块被认为作为运动矢量具有低可靠性并且因此被视为要排除的块。此外，当DR小于预定阈值吋，由于目标块的图像平坦，所以Cur图像的目标块不适于通过块匹配进行搜索，从而目标块被视为要排除的块。此外，当图像内的目标块的位置靠近Cur图像的端部时，运动矢量的开始块或结束块可能在帧之外，从而目标块被视为要排除的块。在步骤S33中，例如，当目标块是要排除的块时，处理进行到步骤S34。在步骤S34中，块排除判定単元41将指示目标块不是要排除的块的标记提供给聚类单元42。聚类单元42将目标块的LMV分类到类，并且将类的信息提供给平均值计算単元43-1到43-5和合并-分割単元46。更具体地讲，聚类单元42的距离计算单元51_1到51_5的每ー个例如使用欧几里德距离或SAD计算从延迟缓冲器44提供且指示为黑圆形的每个类的五个代表矢量中的每ー个与如图8所示指示为白圆形的目标块的LMV之间的距离，并且将计算的距离的信息提供给类确定单元52。类确定単元52然后将目标块的LMV分类到具有在各个距离计算单元51-1到51-5中计算的距离之中的最短距离的代表矢量的类。也就是说，在图8中，表示为白圆形的目标块的LMV被分类到表示为黑圆形的代表矢量具有最短距离的类，该类由椭圆包围。此外，在初始处理中，每个类的代表矢量不存在于延迟缓冲器44中，并且因此聚类単元42使用设置为缺省的每个类的代表矢量将目标块的运动矢量分类到类。另ー方面，在步骤S33中，当目标块被视为要排除的块时，块排除判定単元41将指示目标块是要排除的块的标记提供给聚类单元42。这里,聚类单元42不针对目标块的LMV进行聚类，例如对类设置诸如-I的值(指示目标块是要排除的块)，并且将该值提供给平均值计算单元43-1到43-5和合并-分割单元46。 步骤S31到S35的处理被重复执行直到对所有宏块执行处理。也就是说，当判定所有宏块的每ー个是否是排除块并且将不是排除块的所有宏块分类到预定类的任何ー个的处理被重复执行吋，该处理被认为在步骤S31中完成，并且处理进行到步骤S36。在步骤S36中，平均值计算単元43-1到43_5分别计算分类到类的LMV的平均值，并且将平均值提供给GMV确定单元45。更具体地讲，加法単元61以累积方式将提供的LMV之中的分类到加法单元的类的LMV相加，并且将相加结果LMV_sum与累积的LMV的元素的数目的信息提供给除法単元62。此外，除法単元62通过将相加结果LMV_sum除以元素的数目获得具有该类的平均值的运动矢量，作为该类中的代表矢量。除法単元62然后将作为每个类的LMV的平均值获得的代表矢量和元素的数目的信息(即，分类到该类的LMV的数目)提供给GMV确定单元45和延迟缓冲器44。也就是说，例如，获得表示为白圆形的平均值作为表示为由图9中的椭圆包围的的每个类的黑圆形的LMV之中的代表矢量。在步骤S37中，GMV确定单元45获取具有按类提供的每个类的平均值的代表矢量和类的元素的数目的信息，并且输出具有拥有类的最大数目元素的类的平均值的代表矢量作为GMV。例如，如图10所示，考虑包括对象BI (B卩，踢球的人)、对象B2 (B卩，球)、对象B3(即，戴帽子的人)和对象B4 (即，背景)的Cur图像。在图10的Cur图像的情况下，上述的处理将LMV分类到与各个对象BI到B4对应的类，获得各个类的代表矢量作为与对象BI到B4对应的运动矢量Vl到V4’并且将这些运动矢量提供给GMV确定单元45。GMV确定单元45然后确定作为各个类的代表矢量获得的对象的运动矢量Vl到V4之中具有最大数目的元素的运动矢量，作为GMV。也就是说，GMV确定单元45确定并输出代表矢量，即，按照与图像内具有大量元素的对象(即，在大的表面区域中包括许多宏块的对象)对应的方式获得的LMV的平均值，作为GMV。在步骤S38中，延迟缓冲器44通过延迟从平均值计算単元43-1到43_5提供的类的LMV的平均值对所述平均值进行缓冲，作为各个类的代表矢量。也就是说，各个类的代表矢量是在紧邻的前一帧图像中进行聚类的各个类的LMV的平均值。在步骤S39中，合并-分割单元46基于从来自聚类单元42的各个类的LMV的分布获得的方差或协方差，确定是否需要对类进行合井。也就是说，例如，如图11所示，当分类的类Cl到C5被表示为实线吋，当类C4和C5由于方差小而需要被视为ー个类时判定需要进行合井。在步骤S39中，当判定这些类需要被合并时，处理进行到步骤S40。在步骤S40中，合井-分割単元46将被识别为需要进行合并的多个类合并成ー个类。也就是说，在图11中，表示为实线的类C4和C5被合并成被表示为虚线的ー个类C6。这里，例如，合并-分割単元46将属于类C4和C5 (S卩，迄今的LMV的分类结果)的LMV进行合并，获得表示为图11的白圆形的平均值，用类C6的代表矢量替代在延迟缓冲器44内缓冲的代表矢量之中的与类C4和C5对应的代表矢量，并且使得延迟缓冲器对替代的代表矢量进行缓沖。结果，在图11中，从那时起类被分类到诸如类Cl到C3和类C6的四种类。此外，在步骤S39中，当确定不需要进行合并时，步骤S40的处理被跳过。在步骤S41中，合井-分割单元46基于来自聚类单元42的各个类的LMV的分布的方差或协方差判定是否需要对类进行分割。也就是说，例如，如图11所示，当总共有四种类(诸如，类Cl到C3和类C6)吋，当类C6由于方差大而被视为两个类时需要对类C6进行 分割。在步骤S41中，当判定这个类需要被分割成多个类时，处理进行到步骤S42。在步骤S42中，合井-分割単元46将被识别为需要进行分割的类分割成多个类。也就是说，在图11中，合并分割単元46基于如图11所示属于类C6的LMV的分布，将属于类C6的LMV分割到两个类C4和C5。此外，合并-分割单元46使用与平均值计算单元43相同的计算技术获得属于分割的类C4和C5的LMV的平均值。合并-分割単元46然后使得延迟缓冲器44对获得的类C4和C5的代表矢量而不是类C6的代表矢量进行缓沖。根据上述的处理，可以顺序地以帧图像为单位获得GMV。按这种方式，通过将每个宏块(实质上是对象)的LMV分类到类并且获得每个类(B卩，每个对象)的代表矢量，可以获得作为GMV的候选的运动矢量即。然后，选择并输出作为GMV的候选的各个对象的代表矢量之中具有大量元素(即，在图像内具有大的占据面积)的代表矢量，作为GMV。结果，可以获得在图像内具有大量支配元素(B卩，在图像内具有大的占据面积)的对象的运动矢量作为该图像的GMV。此外，以上描述令类的数目为5，然而，类的数目不限于5并且可以是任何其它数目的类。〈2.第二实施例〉[具有后退模式的GMV检测单元]在以上描述中，作为类中的LMV的平均值的代表矢量被计算作为GMV的候选，并且具有最大数目的元素的类的代表矢量被选择为GMV。然而，当在Cur图像与Ref图像之间出现场景改变或者任何类的元素均不少时，预计要获得的代表矢量或者被分类到每个类的代表矢量的可靠性将会低。在这种情况下，紧邻的前一图像的GMV可以被用作在Cur图像中获得的GMV，并且可以采用零矢量。图12示出了 GMV检测单元23的示例结构，其中当作为获得的GMV的候选的代表矢量的可靠性低吋，GMV检测单元23采用紧邻的前一图像的GMV或者用于该GMV的零矢量。此外，在下文中，每个类的获得的代表矢量的可靠性低的模式被称作后退模式。此外，后退模式具有与场景改变关联的第一模式和与每个类的元素的数目減少关联的第二模式。此外，在图12的GMV检测单元23中，功能与图3的GMV检测单元23相同的结构的多个部分用相同名称和标号指示，并且冗余描述被适当省去。
也就是说，图12的GMV检测单元23与图3的GMV检测单元23的不同点在于在GMV确定单元45的下一级额外布置有后退判定单元71和GMV使用判定单元72。后退判定単元71基于SCF是否指示场景改变判定模式是否是第一模式的后退模式。此外，后退判定単元71判定具有最大数目的元素的类的元素的数目与从中排除了图像端部处的宏块的数目的宏块数目的比率是否大于预定阈值，并且判定该模式是否是第二模式的后退模式。此外，后退判定単元71关于紧邻的前一帧存储从各个平均值计算単元43-1到43-5提供的每个类的代表矢量和从GMV确定单元45提供的GMV。当判定该模式是第一模式的后退模式时，后退判定単元71将零矢量以及指示第一模式的后退模式的判定结果提供给GMV使用判定単元72。这里，后退判定単元71将存储在延迟缓冲器44中的每个类的代表矢量设置成初始值。此外，当确定该模式是第二模式的后退模式时，后退判定単元71将紧邻的前ー帧的GMV以及指示第二模式的后退模式的判定结果提供给GMV使用判定単元72。这里，后退判定単元71将存储在延迟缓冲器44中的每个类的代表矢量设置成存储在后退判定単元中的每个直接在前类的代表矢量。此外，当该 模式不是后退模式时，后退判定単元71将指示该模式不是后退模式的判定结果提供给GMV使用判定单元72。GMV使用判定单元72基于从后退判定单元71提供的判定结果输出从GMV确定单元45提供的GMV、紧邻的前一帧图像的GMV或者零矢量中的任何ー个。更具体地讲，在指示第一模式的后退模式的判定结果的情况下，GMV使用判定単元72还输出从后退判定単元71提供的零矢量作为Cur图像的GMV。此外，在指示第二模式的后退模式的判定结果的情况下，GMV使用判定単元72还输出从后退判定単元71提供的一帧之前的直接在前图像的GMV作为Cur图像的GMV。此外，在该模式不是后退模式的判定结果的情况下，GMV使用判定单元72原样输出从GMV确定单元45提供的GMV作为Cur图像的GMV。[GMV计算处理]接下来，将參照图13的流程图描述图12的GMV检测单元23中的GMV计算处理。此外，图13的流程图中的从步骤S61到S67和S70到S74的处理与參照图7的流程图描述的步骤S31到S42的处理相同，并且将不重复对它们的描述。也就是说，在步骤S61到步骤S67中，判定所有块的每ー个是否是排除块，关于不是排除块的宏块对LMV进行聚类，获得每个类的代表矢量，并且每个类的具有最大数目的元素的代表矢量被选择作为GMV。这里，每个类的代表矢量被提供给后退判定単元71。在步骤S68中，后退判定单元71基于有无场景改变以及被确定为GMV的矢量的类的元素的数目，判定模式是否是后退模式。在步骤S68中，例如，当判定模式是后退模式吋，处理进行到步骤S75。在步骤S75中，后退判定単元71判定模式是否是第一模式的后退模式。在步骤S75中，例如，当SCF是指示场景改变的标记时，判定模式是第一模式的后退模式，并且处理进行到步骤S76。在步骤S76中，后退判定单元71向GMV使用判定单元72提供零矢量作为GMV。GMV使用判定单元72然后输出零矢量作为Cur图像的GMV。也就是说，由于发生场景改变，所以Cur图像被认为是持续提供的先头图像并且很可能与以累积方式获得的图像的LMV不同，从而在不存在运动的前提下执行处理。
在步骤S77中，后退判定単元71将存储在延迟缓冲器44中的代表矢量设置成具有初始值的矢量。也就是说，由于发生场景改变，所以首先取消以累积方式获得并且在延迟缓冲器44中缓冲的每个类的代表矢量，并且设置具有初始值的代表矢量。另ー方面，在步骤S75中，当基于SCF认为在Cur图像中没有发生场景改变时，由于被确定为GMV的矢量的类的元素的数目与从中减去了图像的端部处的宏块的数目的宏块总数的比率小于预定阈值，所以模式被认为是后退模式，并且处理进行到步骤S78。也就是说，例如，图14所示的Cur图像内的设置为矩形块形状的宏块之中表示为白色的宏块的代表矢量被选择作为GMV。在这种情况下，具有最大数目的元素的图14的表示为白色的宏块的元素的数目与从中减去了 Cur图像的端部处的宏块的块的总数的比率小于预定阈值。也就是说，在这种情况下，图14的表示为白色的具有最大数目的元素的块的元素的数目与从中减去了靠近目标块的端部的块的块的总数的比率不高于预定阈值，从而认为GMV的可靠性低，从而模式被判定为后退模式。此外，矩形块被设置成被安置为整个图像被分割成图14中的宏块，每个矩形块用对应宏块被分类到的类的颜色进行指示。在这些矩形块中，与灰色矩形块对应的宏块是排除块，并且与白色矩形块对应的宏块的LMV是 被分类到具有最大数目的元素的类的LMV。在步骤S78中，后退判定単元71将存储的紧邻的前一图像的GMV提供给GMV使用判定单元72。作为响应，GMV使用判定单元72输出紧邻的前一图像的GMV作为Cur图像的GMV0也就是说，由于被分类到类的代表矢量的元素数少，所以可靠性被认为低，具有保证的可靠性的紧邻的前一图像的GMV因此被原样使用来确定Cur图像的GMV。在步骤S79中，后退判定単元71将存储在延迟缓冲器44中的代表矢量设置成后退判定単元存储的前一图像中的每个类的获得的代表矢量。也就是说，为了确定GMV，由于LMV的数目(即，用于确定被分类到该类的代表矢量的元素的数目)少，所以可靠性被认为低，并且在前一图像中获得的每个类的代表矢量因此被设置为延迟缓冲器44的代表矢量。另ー方面，在步骤S68中，当判定模式不是后退模式时，在步骤S69中后退判定单元71将指示模式不是后退模式的确定结果提供给GMV使用判定単元72。GMV使用判定单元72然后基于该确定结果原样输出从GMV确定单元45提供的GMV。在这种情况下，在步骤S70中，延迟缓冲器44原样存储从平均值计算単元43-1到43-5提供的代表矢量。根据上述的处理，例如，如在图15的上部所示，当在时间t0提供由“ X”表示的运动图像并且然后在时间tl提供图像时，通过场景改变判定运动图像处于第一模式的后退模式。在这种情况下，作为零矢量输出GMV，并且在延迟缓冲器44中具有初始值的代表矢量被设置为每个类的代表矢量。此外，当在图15的上部在时间t2到t8持续检测到第二模式的后退模式(由“F”进行表示)时，在这些时间期间持续输出零矢量(B卩，前一 GMV)，并且在延迟缓冲器44中具有初始值的代表矢量被设置为每个类的代表矢量。当在图15的上部在时间t9后退模式没有被检测到(如“T”所示)时，在输出在每个Cur图像中获得的GMV后顺序获得的每个类的代表矢量被存储在延迟缓冲器44中作为每个类的代表矢量。此外，例如，如在图15的下部所示，当在时间t0提供由“X”表示的运动图像并且然后在时间tl提供图像时，通过场景改变判定运动图像处于第一模式的后退模式。在这种情况下，作为零矢量输出GMV，在延迟缓冲器44中具有初始值的代表矢量被设置为每个类的代表矢量。当在图15的下部在时间t2到t4如“T”所示没有检测到后退模式时，在每个Cur图像中获得的GMV被输出后顺序获得的每个类的代表矢量被存储在延迟缓冲器44中作为每个类的代表矢量。此外，当在图15的下部在时间t5到时间til持续检测到第二模式的后退模式(由“F”进行指示)时，在该时间期间持续输出在检测到GMV的时间t4获得的GMV,并且在延迟缓冲器44中在时间t4获得的每个类的代表矢量被设置为各个类的代表矢量。在时间tl2，如图15的下部的“T”所示，当后退模式没有被检测到时，在延迟缓冲器44中具有在每个Cur图像中获得的GMV被输出后顺序获得的每个类的平均值的代表矢量从那时起被再次存储作为各个类的代表矢量。结果，零矢量用于场景改变并且紧邻的前一图像的GMV随后用于具有低可靠性的GMV,因此可以选择具有高可靠性的GMV。此外，对于场景改变，每个类的代表矢量被设置成初始值，并且紧邻的前一图像的每个类的代表矢量随后被原样设置在具有低可靠性的GMV中，因此可以更加正确地以累积方式执行每个块的聚类并且正确地获得作为GMV的候选的运动矢量，即，当具有高可靠性的图像持续时每个类的LMV的平均值。 〈3.第三实施例〉[与仿射变换(投影变换)对应的GMV检测单元]在通过固定的成像装置拍摄输入图像的前提下给出了以上描述，然而，当成像装置在改变成像方向或角度的同时执行成像(包括旋转、放大、缩小、倾斜等)时，例如，当持续提供运动图像从而如图16所示拍摄作为第一图像的图像帧#0并且然后拍摄作为第二图像的图像帧#1时，可以从图像帧#1内用作基准的(x’，y’)与图像帧#0内的(x，y)之间的对应关系表达运动矢量，或者可以在持续处理成像方向或角度不同的图像的同时检测GMV。图17示出了 GMV检测单元23的示例结构，该GMV检测单元23在持续处理成像方向或角度不同的图像的同时检测GMV。此外，功能与图3的GMV检测单元23的结构中相同的图17的GMV检测单元23的结构的多个部分由相同标号指示，并且适当省去冗余描述。图17的GMV检测单元23与图3的GMV检测单元23的不同之处在于包括最佳系数计算单元101-1到101-5以替代平均值计算单元43-1到43_5。最佳系数计算单元101-1到101-5对应于图3的GMV检测单元23中的平均值计算单元43-1到43-5。也就是说，最佳系数计算单元101-1到101-5从每个块的各个类的最佳系数(初始值)计算块坐标的平移矢量，例如使用SAD或欧几里德距离获得LMV与块坐标之间的距离，并且将平移矢量分类到具有最短距离的类。最佳系数计算单元101-1到101-5然后输出最佳系数作为指定代表矢量的信息。[图17的GMV检测单元的GMV检测处理]接下来，将参照图18的流程图描述GMV检测处理。此外，图18的流程图中的步骤SlOl到步骤S112 (不包括步骤S106)的处理与图7的步骤S31到S42 (不包括步骤S36)的处理相同，并且由此它们的描述将不会被重复。也就是说，图18的流程图与图7的流程图的不同之处在于，使用在步骤S106中计算最佳系数的处理，以替代在步骤S36中计算平均值的处理。[使用仿射变换计算最佳系数的方法]这里，将描述计算最佳系数的方法。例如，如在图19的左部所示，当图像内的一个点被视为是基准点(xn，yn)并且这个点处的运动矢量是运动矢量(mvxn, mvyn)时，当基准点根据运动矢量移动时基准点(xn, yn)被表达为移动点(xn+mvxn, yn+mvyn)0此外，η表示标识每个类的标识符。然而，认为当从图19的右部观看时，通过仿射变换，根据表示为虚线的运动矢量，这个移动点(xn+mvxn, yn+mvyn)被移至变换点(X' n, y' n)o这里，变换点的x和y坐标由下面的式(I)表示。
权利要求
1.一种图像处理装置，包括聚类单元，被构造为将输入图像的每个块的局部运动矢量聚类成预定数目的类；以及全局运动矢量选择单元，被构造为为由聚类单元形成的预定数目的类的每一个设置一个代表局部运动矢量并且从各个类的代表局部运动矢量中选择输入图像的全局运动矢量。
2.一种图像处理装置，包括 局部运动矢量检测单元，被构造为使用输入图像与参照图像之间的块匹配检测每个块的局部运动矢量； 聚类单元，被构造为基于每个块的局部运动矢量与为预定数目的类的每一个设置的矢量之间的距离，将每个块的局部运动矢量聚类成预定数目的类； 代表计算单元，被构造为计算代表由聚类单元形成的每个类的代表局部运动矢量；以及 全局运动矢量选择单元，被构造为基于每个类中的局部运动矢量的数目从各个类的代表局部运动矢量中选择输入图像的全局运动矢量。
3.根据权利要求2的图像处理装置，其中 聚类单元包括距离计算单元，该距离计算单元被构造为计算每个块的局部运动矢量与为预定数目的类的每一个设置的矢量之间的距离并且将每个块的局部运动矢量聚类到由距离计算单元计算的距离最短的类。
4.根据权利要求3的图像处理装置，其中 代表计算单元计算由聚类单元形成的每个类中的局部运动矢量的平均值作为该类的代表局部运动矢量。
5.根据权利要求4的图像处理装置，其中 代表计算单元计算由聚类单元形成的每个类中的局部运动矢量的仿射变换参数或投影变换参数指定的矢量作为代表局部运动矢量，并且所述仿射变换参数或投影变换参数是通过对应于输入图像的仿射变换或投影变换而获得的。
6.根据权利要求5的图像处理装置，还包括 缓冲单元，被构造为对由聚类单元形成的每个类的局部运动矢量的平均值或者由仿射变换参数或投影变换参数指定的矢量进行缓冲，所述平均值和矢量是由代表计算单元计算的， 其中，聚类单元通过使用在缓冲单元中缓冲的由聚类单元形成的每个类的局部运动矢量的平均值或者由仿射变换参数或投影变换参数指定的矢量，作为要为每个类设置的矢量，对局部运动矢量进行聚类。
7.根据权利要求6的图像处理装置，还包括 合并-分割单元，被构造为将由聚类单元形成的类中的各个类之间的矢量空间内的位置彼此靠近的类进行合并，并且将在各个类之间的矢量空间内的方差大的类分割成多个类。
8.根据权利要求I的图像处理装置，还包括 第一下变换单元，被构造为将输入图像下变换成具有低分辨率的图像； 第二下变换单元，被构造为将参照图像下变换成具有低分辨率的图像； 第一上变换单元，被构造为当具有低分辨率的图像被设置为具有输入图像的分辨率时将从具有低分辨率的图像获得的每个块的局部运动矢量应用到当分辨率返回到输入图像的分辨率时的块； 第二上变换单元，被构造为当具有低分辨率的图像被设置为具有输入图像的分辨率时将从具有低分辨率的图像获得的全局运动矢量应用到当分辨率返回到输入图像的分辨率时的块；以及 选择单元，被构造为通过将由第一上变换单元应用了局部运动矢量的输入图像的每个块的像素与对应于该块的参照图像的每个块的像素之间的差分绝对值和、与由第二上变换单元应用了全局运动矢量的输入图像的每个块的像素与对应于该块的参照图像的每个块的像素之间的差分绝对值和进行比较，针对输入图像的块选择局部运动矢量和全局运动矢量之一。
9.一种图像处理方法，包括 在被构造为使用输入图像与参照图像之间的块匹配检测每个块的局部运动矢量的局部运动矢量检测单元中，使用输入图像与参照图像之间的块匹配检测每个块的局部运动矢量; 在被构造为将每个块的局部运动矢量聚类成预定数目的类的聚类单元中，基于每个块的局部运动矢量与为预定数目的类的每一个设置的矢量之间的距离，将每个块的局部运动矢量聚类成预定数目的类； 在被构造为计算代表由聚类单元形成的每个类的代表局部运动矢量的代表计算单元中，计算代表在聚类步骤中形成的每个类的代表局部运动矢量；以及 在被构造为基于每个类中的局部运动矢量的数目从各个类的代表局部运动矢量中选择输入图像的全局运动矢量的全局运动矢量选择单元中，基于每个类中的局部运动矢量的数目从各个类的代表局部运动矢量中选择输入图像的全局运动矢量。
10.一种使得包括图像处理装置的计算机执行处理的程序，所述图像处理装置包括 局部运动矢量检测单元，被构造为使用输入图像与参照图像之间的块匹配检测每个块的局部运动矢量； 聚类单元，被构造为基于每个块的局部运动矢量与为预定数目的类的每一个设置的矢量之间的距离，将每个块的局部运动矢量聚类成预定数目的类； 代表计算单元，被构造为计算代表由聚类单元形成的每个类的代表局部运动矢量；以及 全局运动矢量选择单元，被构造为基于每个类中的局部运动矢量的数目从各个类的代表局部运动矢量中选择输入图像的全局运动矢量，以及所述处理包括 在局部运动矢量检测单元中，使用输入图像与参照图像之间的块匹配检测每个块的局部运动矢量； 在聚类单元中，基于每个块的局部运动矢量与为预定数目的类的每一个设置的矢量之间的距离，将每个块的局部运动矢量聚类成预定数目的类； 在代表计算单元中，计算代表在聚类步骤中形成的每个类的代表局部运动矢量；以及在全局运动矢量选择单元中，基于每个类中的局部运动矢量的数目从各个类的代表局部运动矢量中选择输入图像的全局运动矢量。
11.一种存储有根据权利要求10的程序的计算机可读记录介质。
12.—种图像处理装置，包括 局部运动矢量检测单元，被构造为使用输入图像与参照图像之间的块匹配检测每个块的局部运动矢量； 聚类单元，被构造为基于每个块的局部运动矢量与为预定数目的对象的每一个设置的矢量之间的距离，针对预定数目的对象的每一个对每个块的局部运动矢量进行聚类；以及对象运动矢量计算单元，被构造为基于由聚类单元分类的每个对象的局部运动矢量计算对象运动矢量。
13.根据权利要求12的图像处理装置，还包括 全局运动矢量选择单元，被构造为基于为每个对象聚类的局部运动矢量从计算的对象运动矢量中选择输入图像的全局运动矢量。
14.一种图像处理方法，包括 在被构造为使用输入图像与参照图像之间的块匹配检测每个块的局部运动矢量的局部运动矢量检测单元中，使用输入图像与参照图像之间的块匹配检测每个块的局部运动矢量; 在被构造为基于每个块的局部运动矢量与为预定数目的对象的每一个设置的矢量之间的距离针对预定数目的对象的每一个对每个块的局部运动矢量进行聚类的聚类单元中，基于每个块的局部运动矢量与为预定数目的对象的每一个设置的矢量之间的距离，针对预定数目的对象的每一个对每个块的局部运动矢量进行聚类；以及 在被构造为基于由聚类单元分类的每个对象的局部运动矢量计算对象运动矢量的对象运动矢量计算单元中，基于由聚类单元分类的每个对象的局部运动矢量计算对象运动矢量。
15.一种使得包括图像处理装置的计算机执行处理的程序，所述图像处理装置包括 局部运动矢量检测单元，被构造为使用输入图像与参照图像之间的块匹配检测每个块的局部运动矢量； 聚类单元，被构造为基于每个块的局部运动矢量与为预定数目的对象的每一个设置的矢量之间的距离，针对预定数目的对象的每一个对每个块的局部运动矢量进行聚类；以及对象运动矢量计算单元，被构造为基于由聚类单元分类的每个对象的局部运动矢量计算对象运动矢量， 所述处理包括 在被构造为使用输入图像与参照图像之间的块匹配检测每个块的局部运动矢量的局部运动矢量检测单元中，使用输入图像与参照图像的块匹配检测每个块的局部运动矢量；在被构造为基于每个块的局部运动矢量与为预定数目的对象的每一个设置的矢量之间的距离针对预定数目的对象的每一个对每个块的局部运动矢量进行聚类的聚类单元中，基于每个块的局部运动矢量与为预定数目的对象的每一个设置的矢量之间的距离，针对预定数目的对象的每一个对每个块的局部运动矢量进行聚类；以及 在被构造为基于由聚类单元分类的每个对象的局部运动矢量计算对象运动矢量的对象运动矢量计算单元中，基于由聚类单元分类的每个对象的局部运动矢量计算对象运动矢量。
16. 一种存储有根据权利要求15的程序的计算机可读记录介质。
全文摘要
本发明涉及图像处理装置、图像处理方法、记录介质和程序。聚类单元获得预定大小的每个块获得的局部运动矢量与存储在延迟缓冲器中的每个类的代表运动矢量之间的距离，将局部运动矢量分类到具有最短距离的运动矢量所属于的类，并且输出分类的类的信息和局部运动矢量。平均值计算单元通过累积各个类的局部运动矢量来累积平均运动矢量，并且输出平均运动矢量作为代表该类的运动矢量。全局运动矢量确定单元输出代表类的运动矢量之中在类中具有最大数目的元素的运动矢量作为全局运动矢量。本技术可以应用到图像处理装置。
文档编号G06T7/20GK102810207SQ201210165969
公开日2012年12月5日 申请日期2012年5月25日 优先权日2011年6月1日
发明者徳永阳, 名云武文 申请人:索尼公司