运动向量生成装置以及运动向量生成方法

专利名称：运动向量生成装置以及运动向量生成方法
技术领域：
本发明涉及在时间序列图像之间通过搜索对应点来生成运动向量(motion vector)的运动向量生成装置以及运动向量生成方法。
背景技术：
近年来，在汽车工业领域中，以提高安全性为目的的各种系统的研究正在进行，特别是使用了照相机的图像传感器已经被加以利用。图像传感器通过对取入的图像进行图像处理，来进行障碍物的确定、该障碍物的运动的分析等。分析运动的方法例如有相关法。相关法是指求出2个相互对应的图像中的与一个图像上的关注点相对应的另一个图像上的点(对应点)的方法。更具体而言，在该相关法中，例如在2个时间序列图像中，针对作为在前图像的基准图像上的关注点设定如包含该关注点那样的模板，并且在作为在后图像的参照图像上也设定多个与基准图像大小相同的窗口。然后，在基准图像上的模板和参照图像上的各窗口之间计算出相关值(相似度)，搜索相关值最高的参照图像上的窗口，并求出该窗口的重心位置作为对应点。在多个时间序列图像中，进而在求出了对应点之后，将该对应点作为新的关注点，然后求出被摄像的图像上的对应点，通过依次反复进行上述动作，能够按每一帧追踪对应点将要进行怎样的运动， 从而能够连续地求出运动向量。其中，运动向量是连结各帧的相互对应的点之间的向量。作为相关法，例如已知有被称为SAD(Sum of Absolute Difference)法的方法。已经提出有多种求出该运动向量的方法，例如在专利文献1中记载有一种通过块匹配来求出对应点，并求出运动向量的方法。其中，在该方法中，以像素级(Pixel level 像素单位)来选择关注点，对应点也以像素级被搜索，但在块匹配的相似度较低的情况下， 例如以1/2像素或者1/4像素等小于1像素的单位的亚像素级来进行搜索，并求出运动向量。由此，由于进行亚像素级的精确的对应点搜索，并且以此为基础求出运动向量，所以能够进行精确的运动分析。另外，例如在专利文献2中记载有一种如下所述的方法在进行用于搜索对应点的模板匹配时，将关注点侧的图像的一部分亚像素化，将对应点侧的图像的整体亚像素化， 来搜索对应点并求出运动向量。由此，由于进行亚像素级的搜索，所以能够进行精确的运动向量的计算。另外，例如在专利文献3中记载有对应点的搜索方法。记载了一种进行如下所述的方法以在不同的时间点取得的立体图像为基础来搜索对应点，由此生成每个时间点的距离信息和2维运动向量，进而以此为基础来生成3维运动向量。在该方法中，以像素级来提供关注点和对应点。另外，例如在非专利文献1中，公开了一种利用相位限定相关法(P0C法)的精确的对应点搜索方法。在该方法中，计算出与基准图像上的像素级的关注点相对应的参照图像上的像素级的对应点。然后，求出相对于对应点的亚像素级的偏移量，并对上述计算出的对应点考虑该偏移量来计算出亚像素级的对应点。
但是，专利文献1所公开的方法虽然以亚像素级计算出对应点，但在将该对应点作为关注点来从下一个时间序列图像中搜索对应点时，关注点并不是亚像素级，而被重新设定成像素级。即，专利文献1所公开的方法将以亚像素级求出的对应点变换成像素级，然后求出与下一个图像的对应点。因此，该专利文献1所公开的方法在多个时间序列图像中并不能连续求出运动向量。另外，由于专利文献2所公开的方法在图像的亚像素化中受限于规定的分辨率， 所以在该专利文献2所公开的方法中，存在着推算精度会产生误差的问题。而且，也会产生为了将图像亚像素化而导致运算时间增大的问题。另外，专利文献3所公开的方法没有考虑对应点的位置是亚像素级的情况。因此， 该专利文献3所公开的方法即使在成为亚像素级的位置的情况下，也针对相对该亚像素级的位置位于附近的像素级的位置进行对应点搜索。因此，导致和正确的对应点的位置产生偏移。因此，即使根据如此求出的对应点求取距离信息、2维运动向量和3维运动向量，也无法得到正确的值。假定即使对得到的对应点的信息进行插值等而使其接近更正确的值，但始终是通过插值而得到的值，并不能称为精确。另外，对于非专利文献1所公开的方法，虽然在运算的中间阶段，当求取对应点相对于关注点的亚像素级的偏移量时，将基准图像上的关注点变换成亚像素级来进行运算， 但并不是对以亚像素级设定的关注点进行搜索。因此，与专利文献1所公开的方法同样，并不是求出正确的对应点的位置的情况，没有建立精确的对应。专利文献1 日本特开平5-236452号公报专利文献2 日本特开2007-257026号公报专利文献3 日本特开2001-84383号公报非专利文献1 :Kenji TAKITA, Mohammad Abdul MUQUIT, Takafumi AOKI， Tatsuo HIGUCHI,"A Sub-Pixel Correspondence Search Technique for Computer Vision Applications，，，IEICE Transactions. Fundamentals, Aug. 2004, E87-A, no. 8, pp.1913-192
发明内容
本发明是鉴于上述情况而完成的发明，其目的在于，提供一种在多个图像中求出连续的运动向量的运动向量生成装置和运动向量生成方法。在本发明涉及的运动向量生成装置和运动向量生成方法中，当对多个图像依次生成运动向量时，在上述多个图像中的任意一个图像上以亚像素级决定关注点，在与该图像不同的其他图像上以亚像素级搜索与该关注点相对应的对应点，并根据这些关注点和其对应点计算出运动向量。然后，将该对应点决定为新的关注点，并反复进行上述处理来依次生成运动向量。因此，本发明涉及的运动向量生成装置和运动向量生成方法通过在多个图像中以亚像素级进行对应点搜索，能够求出连续的运动向量。通过下面的详细说明和附图，上述以及其他的本发明的目的、特征和优点会更加明确。


图1是表示实施方式涉及的运动向量生成装置的构成的框图。图2是用于说明模板的图，图2㈧是表示关注点是像素级的位置时的基准图像和参照图像的图，图2(B)是表示关注点是亚像素级时的基准图像和参照图像的图。图3是用于说明图像插值的方法的图。图4是表示包含偏移量的窗函数的图。图5是用于说明将关注点置换为最近的像素来搜索对应点、然后进行插值的方法的图。图6是用于说明对应点搜索的图。图7是用于说明基于立体图像的3维运动向量的计算方法的图。图8是表示在立体时间序列图像中3维运动向量连续相连的状况的图。图9是用于说明基于立体图像的3维运动向量的其他计算方法的图。图10是表示在立体时间序列图像中3维运动向量连续相连的状况的其他的图。图11是用于说明运动向量的可靠性评价的方法的图。图12是用于说明其他的运动向量的可靠性评价的方法的图。
具体实施例方式下面，根据附图对本发明涉及的一个实施方式进行说明。其中，在各图中标记相同符号的构成表示是相同的构成，其说明被适当省略。首先，对本发明的实施方式涉及的运动向量生成装置的构成进行说明。图1是表示本实施方式涉及的运动向量生成装置的构成的框图。如图1所示那样，运动向量生成装置1具备图像取得部2、关注点决定部3、对应点搜索部4、运动向量计算部5、和运动向量分析部6。运动向量生成装置1例如由各种电子部件或集成电路部件、CPU (Central Processing Unit)、存储部等构成。而且，运动向量生成装置1与照相机7和显示部8连接。 照相机7用于取得时间序列图像，优选是立体照相机。更具体而言，由隔开规定的适当距离而左右设置的2个照相机构成。另外，显示部8用于显示由运动向量生成装置1求出的结
果ο下面，对运动向量生成装置1的这些各构成部件进行说明。图像取得部2取得来自照相机7的时间序列图像并对其进行保持。这里，照相机 7中的立体照相机分别随时拍摄在相同的时刻对被摄体进行摄像而得到的左右一对图像， 并向运动向量生成装置1输出时间序列立体图像。其中，照相机7中的左右照相机的像差被良好地校正，并且该左右照相机被设置成其光轴平行。这样，在立体照相机中，通过平行设置各照相机，可得到平行化的图像。另外，照相机7也可以不是立体照相机而是单眼照相机，可以通过利用单眼照相机在不同的时间点进行摄像来取得时间序列图像。关注点决定部3在图像取得部2所保持的图像中的任意一个图像(基准图像)上决定关注点。其中，在该基准图像成为运动向量的起点的情况下，将该基准图像上的任意点决定为关注点。另外，在不是起点的情况下，将针对在时间上靠前摄像的图像的对应点重新设定为关注点。对应点搜索部4搜索与基准图像相对应的参照图像上的点(对应点搜索)。其中， 参照图像是指与基准图像相对应的图像。更具体而言，在立体图像中，同时刻摄像而得到的一对图像中的一个是基准图像，而另一个是参照图像。另外，在时间序列图像中，由同一照相机摄像而得到的图像中的在时间上靠前的图像是基准图像，而在时间上靠后的图像是参照图像。接着对具体的对应点搜索进行说明。针对由关注点决定部3设定的关注点设定模板，搜索与该模板对应的参照图像上的模板，并根据该搜索出的模板求出对应点。更具体而言，对应点搜索部4取入由关注点决定部3设定了关注点的基准图像，并在基准图像上设定包含关注点的模板。这里，模板是在基准图像中以一定的区域划分的范围，具有该范围内的各像素的亮度值等信息(图像图案(image pattern))0然后，对应点搜索部4计算出该模板和在与该基准图像对应的参照图像中设定的多个窗口的相关值，并根据相关值判断是否对应。其中，窗口是在参照图像中生成的多个与模板大小相同的范围的区域，具有该范围内的各像素的亮度值等信息(图像图案)。相关值能够根据模板和窗口的图像图案求出。例如，求出模板和任意一个窗口的相关值，如果假设这些相关值较低，判定为它们不对应，则求出例如在任意一个方向偏离了 1像素的位置上生成的窗口和模板的相关值。由此，求出相关值取值为峰值的窗口，即与模板相对应的窗口。如果是时间序列图像，则例如将在前的图像设为基准图像，将在后的图像设为参照图像。另外，也可以相反地将在后的图像设为基准图像，将在前的图像设为参照图像。即，在一边对时间序列图像进行摄像、一边进行对应点搜索的情况下，将在前的图像设为基准图像，将在后的图像设为参照图像。但是，在对时间序列图像进行摄像，将这些图像例如预先保持在图像取得部2中，并在保持了一定程度的量的状态下进行对应点搜索的情况下，也可以不将在前的图像设为基准图像，而将在后的图像设为基准图像，将在前的图像设为参照图像。对于这样的对应点搜索的方法，提出有各种已知的方案。下面，例如简单说明使求出与模板对应的窗口的时间缩短的方法。例如，如上述那样，在基准图像是立体图像的一个图像，参照图像是另一个图像，并且对各图像进行摄像的照相机被平行配置的情况下，基准图像和参照图像基本上被平行配置。于是，由于可以假定参照图像上的窗口位于与基准图像上的关注点高度相同的位置，所以只要针对该高度位置的窗口求出相关值即可。另外，在基准图像与参照图像基本平行配置、且基准图像和参照图像的视差被一定程度掌握的情况下，能够进一步限定窗口的设定范围。这样，通过对窗口的设定范围进行限定，能够抑制求取和模板之间的相关值的窗口的数量，因此能够在短时间搜索对应的窗口。另外，作为其他的方法，有一种被称为基于多分辨率策略的搜索方法。该方法暂时使基准图像及参照图像的分辨率降低、即减少像素数，然后进行相关值运算，针对关注点求出相关值成为峰值的坐标，并将分辨率恢复到之前的状态，然后将窗口的设定范围缩小至以低分辨率求出的坐标周边来求出相关值。由于在降低了基准图像和参照图像的分辨率的状态下，能够使图像图案的信息减少，所以可以在短时间求出该状态下的相关值。另外，在这样求出的低分辨率下的相关值是峰值的坐标附近，应该存在本来的分辨率下的相关值成为峰值的坐标。这样，由于能够在短时间确定对应的窗口存在的范围，所以可在短时间搜索到对应的窗口。另外，在该方法中，可以生成分为几个等级的多个低分辨率图像，从而逐渐地缩小搜索位置。接着，对具体的相关值计算方法进行说明。作为用于求出相关值的函数，例如已知有 SAD(Sum of Absolute Difference)法、SSD(Sum of Squared Difference)法(差方禾口法)、NCC(Normalize cross Correlation)法(正规化相互相关法)等。例如SAD法是对模板及窗口的亮度值的绝对值求总和的函数，利用通过该函数得到的值，能够求出每个窗口的相关值。另外，还有与上述SAD法等相比具有鲁棒性的相关值运算的方法。具体而言，是仅利用从图像图案的频率分解信号抑制了振幅分量而得到的相位分量的信号来进行相似度运算的方法，不易受立体图像中的左右照相机的摄像条件之差、噪声干扰等的影响，能够实现具有鲁棒性的相关值运算。作为计算图像图案的频率分解信号的方法，例如已知有高速傅里叶变换(FFT)、离散傅里叶变换(DFT)、离散余弦变换(DCT)、离散正弦变换(DST)、小波变换、阿达玛变换等。这里，对这样的具有鲁棒性的相关值运算中的相位限定相关法(后面称为POC法)进行简单说明。在POC法中，也在基准图像上设定模板，并在参照图像上设定具有相同大小的窗口。然后，在错开参照图像上的窗口的同时，计算模板和各窗口之间的相关值(P0C值)，并根据该相关值求出与模板对应的窗口。首先，基准图像的模板及参照图像的窗口被分别进行2维离散傅里叶变换，在归一化后合成，被进行2维离散傅里叶逆变换。由此求出作为相关值的POC值。另外，由于POC值按每个像素离散地求出，所以能够按窗口内的每个像素求出相似度。因此，容易缩小窗口的范围，起到求取对应点的处理也能够快速执行的效果。即， 在上述的SAD法等中，求出了每个窗口的相关值，而POC法能够求出窗口内的每个像素的相关值。因此，在上述POC法等具有鲁棒性的相关值运算方法中，无需如SAD法等那样将窗口逐个错开1像素来计算相关值，能够将窗口错开多个像素来计算相关值。可以错开多少依赖于对应点的搜索可能范围，但在一般情况下，可以说是窗口大小的一半左右。即，例如错开后的窗口和错开前的窗口只要以窗口大小的一半左右重叠的方式设定即可。例如，若将基准图像和参照图像的最大视差设为128像素，将窗口大小设为31X31，将通过POC法能够搜索的范围相对于重心位置假定为士8像素，则为了搜索该视差，由于只要将窗口逐个错开16像素即可，所以设定8个窗口。另外，在POC法中也能够使用上述的基于多分辨率策略的搜索方法。在上述的例子中，虽然只要设定8个窗口即可，但如果进一步利用基于多分辨率策略的搜索方法来将图像例如缩小至1/16，则设定的窗口只需要1个。由此，能够更加容易地执行对应点的搜索。另外，除了 POC法以外，还已知有仅利用从图像图案的频率分解信号抑制了振幅分量而得到的相位分量的信号来进行相关值运算的方法。例如有DCT符号限定相关法等， 也可以利用这些方法来进行相关值运算。该DCT符号限定相关法是已知的方法，例如公开于“画像信号処理i画像‘、夕一 > 認識O融合-DCT符号限定相関i O応用”，貴家仁志，首都大学東京* m r-ψ 4 >学部動的画像処理実利用化7—夕V 3 ” 2007， 2007. 3. 8-9。其中，在本实施方式中，由于进行亚像素级下的搜索，所以参照图像上设定的窗口以亚像素级被设定，而非像素级。因此，由于对于1个像素来说，并不限定为其整体包含在窗口中，有时也仅是像素的一部分被包含在该窗口中，所以不限于窗口成为像素单位的区域。对亚像素级下的窗口进行更具体的说明。图2是用于说明模板的图，图2(A)是表示关注点是像素级的位置时的基准图像和参照图像的图，图2(B)是表示关注点是亚像素级时的基准图像和参照图像的图。如图2(A)所示那样，在具有多个像素22的基准图像21a上的关注点是像素级的位置的情况下，在基准图像21a上设定了以关注点24a作为重心位置的例如3X3的模板25a。另外，在具有多个像素22的参照图像21b上设定了 3X3的窗口，求出基准图像21a的模板25a的图像图案与参照图像21b的窗口的图像图案之间的相似度，由此求出对应点24b。其中，在对应点24b的搜索中，通过利用插值等，能够如图2(A) 所示那样求出亚像素级下的位置。但是，在如图2(B)所示那样，关注点24c的位置从像素的重心偏离的情况下，无法设定以像素为构成单位的窗口，为了进行设定，必须进行校正等，以使例如关注点24c的位置成为像素的重心位置。但是，如果这样，则会求出与本来的值有偏差的值。于是，将关注点24c作为重心位置，不以像素为构成单位来设定大小为3X3的模板25b。然后，求出与参照图像21b上的窗口 25c之间的相关值，根据该相关值求出与模板25b对应的窗口 25c，并求出该窗口 25c的重心位置作为对应点24d。另外，关注点24a、对应点24b、关注点24c和对应点24d实际是点，但是考虑到可看性，在图2(A)和图2(B)中表示成与像素大小相同。这里，对以亚像素级的位置为重心的模板的设定方法进行说明。由于模板被设定在亚像素级的位置，所以需要根据各像素的配置求出图像图案。作为用于设定以亚像素级的位置为重心的模板的第1方法，有对图像进行插值的方法。图3是用于说明图像插值方法的图。在图3中，(1，」)、(1+1，」)、(1，」+1)和(i+1， j+1)表示像素的位置，(x，y)是亚像素级位置的关注点的坐标。该情况下，为了求出以这样的关注点为重心位置的模板的图像图案，具体需要求出(x，y)处的亮度值。鉴于此，通过利用位于(x，y)的周围的像素的亮度值来进行插值，求出(x，y)的亮度值。具体而言，通过利用位于(χ，y)的周围的(i，j)、(i+1, j)、(i，j+1)和(i+1, j+1)处的像素的亮度值来进行插值，来求出(x，y)的亮度值。通过这样求出从像素级的位置偏离的、亚像素级的位置上的亮度值，能够求出模板的图像图案，可以设定模板。下面表示了利用双一次插值(双线性插值)的(χ，y)处的亮度值 I (χ，y)。I (i，j)、I (i+1, j)、工(i，j+1)和 I (i+1, j+1)表示各像素的亮度值。其中，式1表示(x，y)的坐标位置，式2表示其亮度值。这里，i和j为整数， Sx和δ y是大于0且小于1的数。(X，y) = (i+ δ χ, j+ δ y)…⑴I (χ, y) = {(1-δχ) (1-δγ) XI(i, j)}+{(1-δχ) X 5yXI(i + l, j) }+{ δ χΧ (1-δ y) XI(i，j + 1)}+{ δ χΧ δ yXI(i + l, j + 1)}... (2)对双一次插值除了上述说明，也可以通过除此以外的插值来求出亚像素级的位置上的亮度值，并设定模板。例如，只要利用双三次插值(两次立方插值)等来进行插值即可。 由此，能够设定模板。用于设定以亚像素级的位置为重心的模板的第2方法是应用窗函数的方法。在上述对应搜索的方法中，例如在如POC法那样进行频率分解的方法中，当进行频率分解时，通常为了去除不连续性的影响等而使用了窗函数，然后再进行频率分解。作为窗函数，例如可以列举出汉宁窗(Hanning Window)、汉明窗(Hamming Window)、凯塞窗(Kaiser window) 等。该第2方法使该窗函数预先包含亚像素级位置上的关注点的、相对于像素位置的偏移量。由此，该第2方法通过使用窗函数，能够设定具有亚像素级的图像图案的模板。鉴于此，对使窗函数包含偏移量的方法进行说明。这里用汉宁窗作为一个例子进行说明。汉宁窗的
公式由式3表示。
权利要求
1.一种运动向量生成装置，其特征在于，具备 图像取得部，其取得多个图像并对其进行保持；关注点决定部，其在上述图像取得部所保持的多个图像中的任意一个图像上决定亚像素级的关注点；对应点搜索部，其以亚像素级从上述图像取得部所保持的多个图像中搜索与被决定了上述关注点的上述图像不同的图像上的、与上述关注点相对应的对应点；和运动向量计算部，其根据上述关注点及上述对应点，计算出运动向量； 在上述对应点搜索部搜索到上述对应点以后，上述关注点决定部将上述被搜索到的对应点在上述被搜索的图像上决定为关注点，上述运动向量计算部根据被依次决定的关注点、以及对应该关注点而被搜索到的对应点，依次计算出运动向量。
2.根据权利要求1所述的运动向量生成装置，其特征在于，上述对应点搜索部在被决定了上述关注点的图像上设定以上述关注点为重心位置的模板，并利用上述模板，以亚像素级搜索与上述关注点相对应的对应点。
3.根据权利要求1所述的运动向量生成装置，其特征在于，上述对应点搜索部在被决定了上述关注点的图像上设定以上述关注点的最近的像素为重心位置的模板，利用上述模板来搜索与上述像素的重心位置相对应的点，通过将上述搜索到的点的位置错开上述关注点与上述关注点的最近的像素的重心位置之间的偏移量，以亚像素级搜索上述对应点。
4.根据权利要求1所述的运动向量生成装置，其特征在于，上述对应点搜索部在被决定了上述关注点的图像上设定以上述关注点的最近的像素为重心位置的模板，利用上述模板来搜索与被决定了上述关注点的上述图像不同的图像中的、与上述像素的重心位置相对应的点，通过将上述搜索到的点的位置错开上述关注点与上述关注点的最近的像素的重心位置之间的偏移量，以亚像素级搜索上述对应点。
5.根据权利要求1所述的运动向量生成装置，其特征在于， 上述多个图像构成为具备多个一对立体图像，上述关注点决定部在上述一对立体图像中的一个图像上决定亚像素级的关注点， 上述对应点搜索部进而以亚像素级搜索与被决定了上述关注点的图像成对的另一个图像上的、与上述关注点相对应的对应点。
6.根据权利要求5所述的运动向量生成装置，其特征在于，上述运动向量计算部还根据在上述一对立体图像之间相互对应的点计算出拍摄该一对立体图像时的距离信息，上述运动向量计算部在上述运动向量的计算中也使用上述距离信息。
7.根据权利要求1所述的运动向量生成装置，其特征在于， 上述多个图像构成为在时间序列上具备多个一对立体图像，上述关注点决定部在上述一对立体图像中的一个图像上决定亚像素级的关注点，上述对应点搜索部以上述亚像素级从与被决定了上述关注点的图像不同的时间点的立体图像中搜索与被决定了上述关注点的图像相对应的图像上的、与上述关注点相对应的对应点，上述关注点决定部将与上述关注点相对应的对应点决定为关注点，以上述亚像素级从与被决定了上述关注点的图像不同的时间点的立体图像中依次搜索与被决定了该关注点的图像相对应的图像上的、与该关注点相对应的对应点，并且，以上述亚像素级搜索与被决定了该关注点的图像成对的另一个图像上的、与上述关注点相对应的对应点。
8.根据权利要求1所述的运动向量生成装置，其特征在于， 上述多个图像构成为在时间序列上具备多个一对立体图像，上述关注点决定部在上述一对立体图像中的一个图像上决定亚像素级的关注点， 上述对应点搜索部还以上述亚像素级搜索与被决定了上述关注点的图像成对的另一个图像上的、与上述关注点相对应的对应点，除了上述一个图像上的上述关注点之外，上述关注点决定部还将上述另一个图像中的、与上述关注点相对应的对应点决定为关注点，在与上述各个关注点的图像不同的时间点的一对立体图像中、与各个关注点的图像相对应的图像上，以上述亚像素级依次搜索与上述各个关注点相对应的对应点。
9.根据权利要求2所述的运动向量生成装置，其特征在于， 上述对应点搜索部通过对图像进行插值来生成上述模板。
10.根据权利要求2所述的运动向量生成装置，其特征在于， 上述对应点搜索部通过利用窗函数来生成上述模板。
11.根据权利要求7或8所述的运动向量生成装置，其特征在于，在搜索与一个上述关注点相对应的多个对应点时，上述对应点搜索部在所有的对应点的搜索中使用相同的对应点搜索方法。
12.根据权利要求5所述的运动向量生成装置，其特征在于，上述对应点搜索部根据多个上述关注点来搜索一个上述对应点。
13.根据权利要求5所述的运动向量生成装置，其特征在于，在根据同一时间点拍摄到的一对立体图像中的一个图像的点，搜索另一个图像上的对应点的情况下，上述对应点搜索部在规定的条件下，根据在与上述另一个图像不同的时间点拍摄到的、与上述另一个图像时间序列上对应的图像的点，搜索上述对应点。
14.根据权利要求5所述的运动向量生成装置，其特征在于，在根据不同的时间点拍摄到的时间序列上对应的图像的点来搜索对应点的情况下，上述对应点搜索部在规定的条件下，根据在与上述对应点被搜索到的图像相同的时间点拍摄到的、一对立体图像中的一个图像的点，搜索上述对应点。
15.根据权利要求13或14所述的运动向量生成装置，其特征在于， 上述规定的条件是规定的帧数。
16.根据权利要求13或14所述的运动向量生成装置，其特征在于， 上述规定的条件由对应点搜索中的相似度决定。
17.根据权利要求13或14所述的运动向量生成装置，其特征在于， 上述规定的条件由上述运动向量决定。
18.根据权利要求13或14所述的运动向量生成装置，其特征在于， 上述规定的条件由上述模板内的对比度决定。
19.根据权利要求2所述的运动向量生成装置，其特征在于，上述对应点搜索部利用被频率分解、振幅分量被抑制的上述模板的图像图案来搜索对应的点。
20.根据权利要求19所述的运动向量生成装置，其特征在于，上述对应点搜索部在搜索与一个上述关注点相对应的多个对应点时，在所有的对应点的搜索中都使用相同的图像图案作为被频率分解、振幅分量被抑制的上述模板的图像图案。
21.根据权利要求19所述的运动向量生成装置，其特征在于，上述对应点搜索部通过在频率空间中使上述图像图案的相位分量旋转来生成上述模板。
22.根据权利要求19所述的运动向量生成装置，其特征在于，上述频率分解是FFT、DFT、DCT、DST、小波变换和阿达玛变换中的任意一种。
23.根据权利要求2所述的运动向量生成装置，其特征在于， 上述对应点搜索部利用相位限定相关法来搜索对应点。
24.一种运动向量生成方法，其特征在于，包括在多个图像中的任意一个图像上决定亚像素级的关注点的关注点决定步骤； 从上述多个图像中，以亚像素级搜索与被决定了上述关注点的上述图像不同的图像上的、与上述关注点相对应的对应点的对应点搜索步骤；将由上述对应点搜索步骤搜索到的对应点决定为上述对应点被搜索到的图像的关注点，并反复进行上述对应点搜索步骤的步骤；和根据上述关注点及上述对应点计算出运动向量的运动向量计算步骤。
全文摘要
在本发明的运动向量生成装置(1)中，当对多个图像依次生成运动向量时，在上述多个图像中的任意一个图像上以亚像素级决定关注点，在与该图像不同的其他图像上以亚像素级搜索与该关注点相对应的对应点，并根据这些关注点和其对应点计算出运动向量。然后，将该对应点决定为新的关注点，并反复进行上述处理来依次生成运动向量。因此，本发明的运动向量生成装置(1)通过在多个图像中以亚像素级进行对应点搜索，能够求出连续的运动向量。
文档编号G06T7/20GK102272796SQ20098015423
公开日2011年12月7日 申请日期2009年12月21日 优先权日2009年1月9日
发明者墨友博则 申请人:柯尼卡美能达控股株式会社