图像处理方法和装置制造方法
【专利摘要】即使当重复图案是要拍摄的场景时，仍可以防止错误对应关系的出现，以及确定对应点的运动是由被摄体的运动导致还是由错误的对应关系导致。从基准帧（4）中提取多个特征点（22）。从跟踪帧（6）中提取与各个特征点（22）对应的对应点（24），跟踪帧（6）与基准帧（4）在时间序列上连续。获得将对应点（24）作为起始点、代表整个画面的运动的逆变换矢量，以及计算逆变换矢量的终点的位置作为移动点（30）。若移动点（30）的位置在相对于特征点的预定范围内，则对应点（24）被分类为静止点。否则确定移动点（30）和特征点（22）之间的相关性是否高。若相关性高，对应点（24）被分类为错误的对应。若相关性低，则对应点（24）被分类为移动点。
【专利说明】图像处理方法和装置
【技术领域】
[0001]本发明涉及图像处理方法和图像处理装置，用于根据图像帧之间的特征点的位置的改变来检测被摄体的运动。
【背景技术】
[0002]通过从基准图像帧(在下文中其被称为基准帧)中提取特征点，以及从图像帧(在下文中其被称为跟踪帧)中提取与各个特征点对应的匹配点，来检测被摄体的运动。基准帧和跟踪帧在时间序列上连续。使用运动矢量来检测与具有特征点的图像对应的被摄体的运动。每个运动矢量从特征点延伸至与该特征点对应的匹配点。
[0003]例如，当运动矢量在相同的方向上并且具有基本上相同的幅值时，认为与具有特征点的图像对应的被摄体是静止的被摄体。认为与对应于静止被摄体的运动矢量在方向或幅值上不同的运动矢量所对应的被摄体是运动的被摄体。
[0004]通过使用亮度值等的图案匹配来提取匹配点。若与作为特征点的区域接近的区域具有与该特征点的特征类似的特征，则会错误地将该区域提取为匹配点(所谓的异常点)。当出现异常点时，静止被摄体被检测为运动被摄体。这会降低被摄体的运动检测精度。
[0005]在专利文献I中公开的运动估计装置使用图案信息(例如，特征点周围的边缘分布)作为特征值。该运动估计装置得到特征点和该特征点周围的其他特征点中的每一个的特征值，基于得到的特征值来判定该特征点是否容易导致异常点。排除容易导致异常点的特征点，以防止异常点的出现以及异常点导致的运动检测精度的降低。
[0006]现有技术文献
[0007]专利文献
[0008]专利文献1:日本专利特许公开N0.2010-157093
【发明内容】
[0009]发明要解决的问题
[0010]通常，其中具有相似特征的区域重复出现的场景(在下文中其被称为具有重复图案的场景)的图像容易引起异常点。例如，在每隔一定的间距设有相同形状的窗户的建筑的图像中，特征点常常与其周围的图案类似。这产生了这样一个问题:如专利文献I所公开的，即使使用周围图案的信息，也不能避免异常点。
[0011]当异常点实际出现时，将作为异常点的匹配点作为被提供给移动的被摄体的匹配点来对待。以往，还没有设计出一种方法来确定匹配点的运动是由被摄体的运动造成的还是由异常点造成的。
[0012]本发明的目的是提供一种图像处理装置和一种图像处理方法，用于防止在具有重复图案的场景中出现异常点，以及正确地确定匹配点的运动是由被摄体的运动造成的还是由异常点造成的。
[0013]解决问题的手段[0014]为了实现以上目的，本发明的图像处理装置包括:特征点提取器、匹配点提取器、运动计算器、移动点计算器、以及分类确定器。特征点提取器从基准帧中提取特征点。匹配点提取器从跟踪帧中提取匹配点。基准帧与跟踪帧在时间序列上连续。匹配点与特征点对应。运动计算器基于从特征点至匹配点的运动矢量，来计算跟踪帧相对于基准帧的整个画面的运动；移动点计算器得到整个画面的运动的逆矢量。逆矢量以匹配点作为起始点。移动点计算器计算逆矢量的终点的位置作为移动点。分类确定器确定移动点的位置是否在相对于特征点的位置的预定范围内。当移动点的位置在预定范围内时将匹配点分类为静止点。当移动点的位置不在预定范围内时，确定特征点与移动点之间的相关性或匹配点与移动点之间的相关性。当相关性高时将匹配点分类为异常点。当相关性低时将匹配点分类为移动点。
[0015]优选所述图像处理装置设有起始点改变器，其用于当匹配点被分类为异常点时，将匹配点的运动矢量的起始点从特征点改变至移动点。
[0016]优选所述图像处理装置设有匹配点添加器，其用于当匹配点被分类为异常点时，添加基于从与作为异常点的匹配点对应的特征点延伸、并沿着整个画面的运动的运动矢量的匹配点。
[0017]优选所述图像处理装置设有匹配点集生成器、归一化器、和异常点确定器。匹配点集生成器从每个跟踪帧中提取匹配点。当每个匹配点被分类为所述移动点时，将匹配点分类为匹配点集。归一化器将匹配点集中包括的每个匹配点的运动矢量归一化为每单位时间的幅值。异常点确定器检查距归一化后的每个匹配点的距离是否小于或等于预定值。当距离小于或等于预定值时，异常点确定器确定匹配点集中包括的每个匹配点之间的对应关系正确。当距离大于或等于预定值时，异常点确定器确定匹配点集中包括的各个匹配点中包括异常点。
[0018]优选所述图像处理装置设有再评价器，其用于当匹配点集包括仅一个匹配点时，再评价匹配点是否有效。
[0019]优选所述图像处理装置设有速度计算器，其用于基于运动矢量的长度和逆矢量的长度来计算与所述帧中的图像对应的被摄体的速度。
[0020]优选所述图像处理装置设有曝光控制器，其用于基于被摄体的速度来设置曝光条件以用于防止被摄体模糊。
[0021]优选所述图像处理装置设有被摄体模糊校正器，其用于基于运动矢量的方向来确定被摄体的运动方向，并且校正被摄体模糊。
[0022]优选所述图像处理装置设有被摄体跟踪器，其用于基于运动矢量的方向来确定被摄体的方向，并且跟踪该被摄体。
[0023]优选所述图像处理装置设有区域划分器，其用于基于运动矢量的幅值将所述帧划分为运动区域和静止区域，并且根据区域的类型来执行图像处理。
[0024]根据本发明的图像处理方法包括:特征点提取步骤、匹配点提取步骤、运动计算步骤、移动点计算步骤、以及分类步骤。在特征点提取步骤中，从基准帧中提取特征点。在匹配点提取步骤中，从跟踪帧中提取与特征点对应的匹配点。基准帧和跟踪帧在时间序列上连续。运动计算步骤基于从特征点至匹配点的运动矢量来计算跟踪帧相对于基准帧的整个画面的运动。在移动点计算步骤中，获得整个画面的运动的以匹配点作为起始点的逆矢量，以及计算逆矢量的终点的位置作为移动点。在分类步骤中，确定移动点的位置是否在相对于特征点的位置的预定范围内。当移动点的位置在预定范围内时，将匹配点分类为静止点。当移动点的位置不在预定范围内时，确定特征点与移动点之间的相关性或匹配点与移动点之间的相关性。当相关性高时，将匹配点分类为异常点。当相关性低时，将匹配点分类为移动点。
[0025]发明的效果
[0026]根据本发明，确定移动点的位置是否在相对于特征点位置的预定范围内。当移动点的位置在预定范围内时，匹配点被分类为静止点。当移动点的位置不在预定范围内时，确定特征点与移动点之间的相关性或匹配点与移动点之间的相关性。当相关性高时，匹配点被分类为异常点。但相关性低时，匹配点被分类为移动点。从而即使在具有重复图案的场景中也能防止异常点的出现。准确地确定了匹配点的运动是由被摄体的运动造成的还是由异常点造成的。
【专利附图】
【附图说明】
[0027]图1是示出图像处理装置的构造的框图。
[0028]图2是示出基准帧的示例的说明性视图。
[0029]图3是示出跟踪帧的示例的说明性视图。
[0030]图4是示出移动点的计算的示例的说明性视图。
[0031]图5是示意性地示出图像处理装置的步骤的流程图。
[0032]图6是示出改变确定匹配点的分类的顺序的示例的流程图。
[0033]图7是示出基于移动点和匹配点之间的相关性来确定是异常点还是移动点的示例的流程图。
[0034]图8是示出改变运动矢量的起始点的示例的框图。
[0035]图9是示出改变了起始点的运动矢量的说明性视图。
[0036]图10是示出改变运动矢量的起始点的步骤的流程图。
[0037]图11是示出添加匹配点的示例的框图。
[0038]图12是示出添加的匹配点的说明性视图。
[0039]图13是示出添加匹配点的步骤的流程图。
[0040]图14是示出确定移动点的异常点的示例的框图。
[0041]图15是示出生成匹配点集的示例的说明性视图。
[0042]图16是示出运动矢量的归一化的示例的说明性视图。
[0043]图17是示出确定移动点的异常点的步骤的流程图。
[0044]图18是示出当匹配点集中包括的匹配点的数量是I时执行再评价的示例的框图。
[0045]图19是示出当匹配点集中的匹配点的数量是I时执行的再评价的步骤的流程图。
[0046]图20是示出包含如图1所示的图像处理装置的数码相机的框图。
【具体实施方式】
[0047](第一实施例)
[0048]如图1所示，图像处理装置2包括控制器10、存储器11、图像输入部分12、特征点提取器13、匹配点提取器14、运动计算器15、移动点计算器16、分类确定器17、以及输出部分18。这些部分通过总线20相互连接。
[0049]存储器11存储控制图像处理装置2所需的各种程序和数据，以及临时存储在控制期间生成的数据。控制器10从存储器11读取各种程序，并依次运行这些程序，以执行对图像处理装置2的每个部分的集中控制。
[0050]图像输入部分12是通过网络或记录介质从外部输入作为基准的帧(基准帧)4以及帧(跟踪帧)6的接口。基准帧4和跟踪帧6在时间序列上连续。这些连续的帧通过图像输入部分12存储在存储器11中。
[0051]例如，基准帧4和跟踪帧6是连续捕获的两个静止图像，或是移动的图像中的两个连续的视场图像。图像处理装置2执行图像处理，以检测在时间序列上连续的帧4和帧6中捕获的被摄体的运动。要注意，两个帧可以不具有连续的帧号，只要两个帧中均捕获了主被摄体即可。尤其是，当使用多个跟踪帧时，可以每隔N个帧的间隔取出这些跟踪帧。
[0052]如图2所示，特征点提取器13从基准帧4中提取特征点。特征点是指基准帧4内的图像上的小区域，并且容易与其他小区域区分开，例如，具有灰度梯度的角。一旦提取出每个特征点22，特征点提取器13将作为提取结果的坐标信息等存储在存储器11中。坐标信息等表示特征点22的位置。
[0053]图2示出提取出五个特征点22a至22e的示例。在本说明书中，要注意，为了方便描述，例如，具有不带英文字母的数字的“特征点22”用于表示特征点中的每一个(例如，22a至22e)。添加英文字母来表示个别的特征点。例如，将一个个别的特征点表示为“特征点22a”。在图2中，以示例的方式提取出五个特征点。实际上，提取了五个以上的特征点。
[0054]如图3所示，匹配点提取器14利用诸如模式匹配处理之类的已知技术，从跟踪帧6中提取与各个特征点22对应的各匹配点24。一旦提取出每个特征点24，匹配点提取器14就将作为提取结果的坐标信息等存储到存储器11中。坐标信息等表示匹配点24的位置。这时，匹配点提取器14对特征点22的信息和匹配点24的信息中的每一个分配共同的标识号，用来识别匹配点24与哪个特征点22对应。要注意，当利用模式匹配处理来提取特征点时，从基准帧4中得到用于特征点22的处理的像素数据(亮度值等)。对于匹配点24，从跟踪帧6中得到像素数据。
[0055]图3示出了提取出分别与五个特征点22a至22e对应的五个匹配点24a至24e的示例。与特征点类似，从匹配点中删去英文字母用来表示每个匹配点。添加英文字母用来表示个别的匹配点。英文字母也示出与特征点22的对应关系。例如，匹配点24a与特征点22a对应。
[0056]如图4所示，运动计算器15针对特征点22和匹配点24中的每一个，得到从特征点22指向匹配点24的运动矢量26 (附图中的实线箭头，也被称为光流)。运动计算器15对每个运动矢量26执行常规的方法，以计算由跟踪帧6相对于基准帧4的视点的移动导致的整个画面的运动(其也被称为全局运动)。在图4中，要注意，为了方便起见，基准帧4和跟踪帧6彼此稍微偏移。实际上，运动矢量26是在帧4和帧6彼此完全重叠的状态下得到的。
[0057]移动点计算器16得到整个画面(整个场景)的运动的逆矢量28 (在图中用双点划线描绘的箭头)。逆矢量28将匹配点24作为起始点。移动点计算器16计算逆矢量28的终点位置作为移动点30。一旦计算出每个移动点30，移动点计算器16将表示移动点30的位置的坐标信息等作为计算结果存储在存储器11中。
[0058]在图2至图4中，要注意圆形标记表示特征点22。矩形标记表示匹配点24。三角形标记表示移动点30。这些标记用于使点22、24和30的位置容易识别以方便描述。这些标记实际上没有设在图像4和图像6中的每一个上，也不表示点22、24和30的形状。
[0059]分类确定器17基于移动点计算器16所计算出的移动点30的结果，针对匹配点24是诸如背景之类的静止图像上的静止点、是诸如人物或车辆之类的移动被摄体的图像上的移动点、还是由具有重复图案的场景导致的异常点进行分类。
[0060]为了对匹配点24进行分类，首先，分类确定器17确定由移动点计算器16计算出的移动点30的位置是否在相对于对应特征点22位置的预定范围内。由运动计算器15计算出的整个画面的运动代表静止点的运动。对于设在静止图像上的与特征点22正确对应的匹配点24,如图4中的匹配点24a、24b、和24c所示,移动点30的位置基本上与原特征点22的位置一致。因此，一旦确定移动点30的位置在相对于对应特征点22位置的预定范围内，分类确定器17将匹配点24分类为静止点。
[0061]另一方面，一旦确定移动点30的位置不在相对于对应特征点22位置的预定范围内，分类确定器17则基于亮度值等来执行已知的模式匹配处理，以确定移动点30和对应的特征点22之间的相关性是否高。要注意，当利用模式匹配处理确定相关性时，从基准帧4中得到移动点30的像素数据。
[0062]如图4中的匹配点24d所示，当匹配点24被提供给移动物体的图像并且与特征点22正确对应时，与特征点22高度相关的物体的图像存在于具有匹配点24d作为起始点的逆矢量28的终点的位置处的概率极低。另一方面,如图4中的匹配点24e所示，当匹配点24设在静止物体的图像上并且为异常点时，与特征点22高度相关的图像使得异常点总是存在于具有匹配点24作为起始点的逆矢量28的终点的位置处。
[0063]因此，一旦确定移动点30和特征点22之间的相关性高时，分类确定器17则将匹配点24分类为异常点。一旦确定相关性低，分类确定器17则将匹配点24分类为移动点。一旦对匹配点24进行分类，分类确定器17将分类的结果存储在存储器11中。
[0064]输出部分18是将图像处理装置2执行的图像处理的结果通过网络或记录介质输出至外部的接口。例如，输出部分18读取由特征点提取器13提取的每个特征点22的坐标信息、由匹配点提取器14提取的每个匹配点24的坐标信息、由分类确定器17对每个匹配点24进行分类的分类结果等，并将其作为处理结果输出至外部。
[0065]接着，参照图5的流程图，描述上述构造的图像处理装置2的操作。为了使图像处理装置2执行图像处理，首先将作为图像处理的对象的基准帧4和跟踪帧6输入至图像输入部分12。当巾贞4和巾贞6中的每一个被输入至图像输入部分12时，图像输入部分12将它们存储在存储器11中。
[0066]控制器10命令特征点提取器13提取特征点22。当控制器10命令特征点提取器13提取特征点22时，特征点提取器13从存储器11中读取基准帧4，并从基准帧4中提取特征点22。特征点提取器13将提取的结果存储在存储器11中。
[0067]接着，控制器10命令匹配点提取器14提取匹配点24。当控制器10命令匹配点提取器14提取匹配点24时，匹配点提取器14从存储器11中读取跟踪帧6以及特征点22的提取结果。匹配点提取器14从跟踪帧6中提取与各个特征点22对应的匹配点24。匹配点提取器14将提取的结果存储在存储器11中。
[0068]在使匹配点提取器14提取匹配点24后，控制器10使运动计算器15计算整个画面(场景)的运动。控制器10选择作为确定对象的匹配点24。控制器10使移动点计算器16计算与匹配点24对应的移动点30。其后，控制器10命令分类确定器17对作为确定对象的匹配点24进行分类。
[0069]当命令分类确定器17对匹配点24进行分类时，分类确定器17读取特征点22的坐标信息和移动点30的坐标信息。特征点22和移动点30与匹配点24对应。分类确定器17确定移动点30的位置是否在相对于特征点22的位置的预定范围内。
[0070]一旦确定移动点30的位置在相对于对应特征点22的位置的预定范围内，则分类确定器17将匹配点24分类为静止点。另一方面，一旦确定移动点30的位置不在相对于对应特征点22的位置的预定范围内，则分类确定器17确定移动点30和特征点22之间的相关性是否高。一旦确定相关性高，则分类确定器17将匹配点24分类为异常点。一旦确定相关性低，则分类确定器17将匹配点24分类为移动点。
[0071]在使分类确定器17对匹配点24进行分类后，控制器10选择下一匹配点24，然后以类似的方式重复该处理。由此，控制器10完成对由匹配点提取器14提取的每个匹配点24的分类。
[0072]当完成对每个匹配点24的分类时，控制器10将处理结果从输出部分18输出至外部。处理结果包括每个特征点22的坐标信息、每个匹配点24的坐标信息、每个匹配点24的分类结果等。
[0073]根据该实施例，基于移动点30的位置是否在相对于特征点22的位置的预定范围内来准确地确定匹配点24是否是静止点。基于确定移动点30和特征点22之间的相关性是否高来准确地确定匹配点24是移动点还是异常点。也就是说，准确地确定被检测为不是静止点的匹配点24的运动是由被摄体的运动造成的还是由异常点造成的。
[0074]如上所述，在本实施例中，当移动物体的图像上的匹配点24与特征点22正确对应时，具有这样的特性:与特征点22高度相关的物体的图像存在于以匹配点24作为起始点的逆矢量28的终点的位置处的可能性极低。利用该特性来确定匹配点24是移动点还是异常点。即使是在具有重复图案的场景中该特性也不改变。根据本实施例，即使在具有重复图案的场景中也能准确地确定匹配点24是静止点、是移动点、还是异常点。
[0075]在以上实施例中，为了对匹配点24进行分类，分类确定器17确定移动点30的位置是否在相对于特征点22的位置的预定范围内。然后，一旦确定移动点30的位置不在预定范围内，则分类确定器17确定移动点30和特征点22之间的相关性是否高。如图6中的流程图所示，可以颠倒确定的顺序。
[0076]在图6的流程图中，响应于来自控制器10的对作为确定对象的匹配点24进行分类的命令，确定移动点30和特征点22之间的相关性是否高。当确定相关性低时，将匹配点24分类为移动点。当确定相关性高时，则确定移动点30的位置是否在相对于特征点22的位置的预定范围内。当移动点30的位置被确定为在预定范围内时，将匹配点24分类为静止点。当移动点30的位置被确定为不在预定范围内时，将匹配点24分类为异常点。
[0077]如上所述，即使在先前的步骤中确定了移动点30和特征点22之间的相关性是否高，也能以与以上实施例类似的方式准确地确定匹配点24是静止点、移动点、还是异常点。
[0078]在以上实施例中，确定移动点30和特征点22之间的相关性是否高。如图7中的流程图所示，可以确定移动点30和匹配点24之间的相关性是否高。
[0079]当匹配点24设在移动的被摄体的图像上并且与特征点22正确对应时，匹配点24和特征点22相同。因此，匹配点24和移动点30之间的相关性低，这与特征点22的情况类似。当匹配点24设在具有由重复的图案导致的异常点的静止被摄体的图像上时，特征点22和匹配点24之间的相关性应该高。因此，匹配点24和移动点30之间的相关性变高，这与特征点22的情况类似。
[0080]即使确定了移动点30和匹配点24之间的相关性是否高，但当相关性高时，将匹配点24分类为异常点，而当相关性低时，将匹配点24分类为移动点，这与特征点22的情况类似。由此，即使确定了移动点30和匹配点24之间的相关性是否高，也可以得到与以上实施例类似的结果。
[0081](第二实施例)
[0082]接下来，描述本发明的第二实施例。要注意，功能上和结构上与上述第一实施例等价的部分具有相同的标号，并且省去对其的具体描述。如图8所示，本实施例的图像处理装置40除了包括第一实施例的图像处理装置2的每个部分以外，还包括起始点改变器42。
[0083]当分类确定器17将匹配点24分类为异常点时，起始点改变器42将匹配点24的运动矢量26的起始点从特征点22改变至移动点30。因此，起始点改变器42执行校正异常点的运动矢量26的方向和幅值的处理。
[0084]被分类为异常点的匹配点24在静止图像上。因此，与匹配点24对应的图像在基准帧4上存在于作为整个画面的运动的逆矢量28的终点的移动点30的位置上。移动点30的位置用作如上所述的新的特征点22。因此，由异常点导致的错误方向上的运动矢量26被校正为具有与匹配点24对应的正确幅值、在正确方向上的运动矢量26。
[0085]例如，图4中的运动矢量26e所在的方向与其他静止点的正常的运动矢量26a至26c的方向不同。这是由于匹配点24e是异常点。如图9所示,将运动矢量26e的起始点从特征点22e改变至移动点30e。改变的运动矢量26e具有与其他静止点的正常的运动矢量26a至26c相同的方向和幅值。
[0086]接下来，参照图10的流程图，描述上述构造的图像处理装置40的操作。要注意，在命令分类确定器17对作为确定对象的匹配点24进行分类之前的处理与第一实施例的处理相同，因而省去该描述。
[0087]当命令对匹配点24分类时，分类确定器17从存储器11中读取特征点22的坐标信息和移动点30的坐标信息。特征点22和移动点30与匹配点24对应。分类确定器17确定移动点30的位置是否在相对于特征点22的位置的预定范围内。
[0088]一旦确定移动点30的位置在相对于特征点22的预定范围内，则分类确定器17将匹配点24分类为静止点。另一方面，一旦确定移动点30的位置不在相对于特征点22的位置的预定范围内，则分类确定器17确定移动点30和特征点22之间的相关性是否高。一旦确定相关性高，则分类确定器17将匹配点24分类为异常点。一旦确定相关性低，则分类确定器17将匹配点24分类为移动点。
[0089]当分类确定器17将匹配点24分类为异常点时，控制器10命令起始点改变器42改变匹配点24的运动矢量的起始点。当控制器10命令起始点改变器42改变起始点时，起始点改变器42从存储器11中读取各个匹配点24的坐标信息、与匹配点24对应的特征点22的坐标信息、以及与匹配点24对应的移动点30的坐标信息。起始点改变器42将运动矢量26的起始点从特征点22改变至移动点30。因此，异常点的运动矢量26被校正为具有正确的方向和正确的幅值。通过校正运动矢量26，增加了正确的运动矢量26的数量。
[0090]要注意，通过按如上所述校正运动矢量26，被分类为异常点的匹配点24变为以移动点30的位置作为起始点并且与该起始点具有正确的对应关系的匹配点24。当运动矢量26被校正时，可以将匹配点24从异常点重新分类为静止点。替代地，可以在将匹配点24的分类保持为异常点的同时，存储对运动矢量26进行校正的信息。
[0091](第三实施例)
[0092]接下来，描述本发明的第三实施例。如图11所述，本实施例的图像处理装置50除了包括以上第一实施例的图像处理装置2的每个部分之外，还包括匹配点添加器52。当分类确定器17确定异常点时，匹配点添加器52执行添加基于从与匹配点24对应的特征点22延伸并且沿着整个画面的运动的运动矢量26的匹配点24的处理。
[0093]被分类为异常点的匹配点24在静止被摄体的图像上。在跟踪帧6上，与匹配点24对应的特征点22被认为在与整个画面的运动对应的方向上移动并且具有与整个画面的运动对应的幅值。因此，如上所述，通过添加基于沿着整个画面的运动延伸的运动矢量26的匹配点24，再现了与被分类为异常点的匹配点24对应的特征点22的原始运动。
[0094]例如，图4中的匹配点24e是异常点。如图12所示，添加了基于运动矢量26f的匹配点24f。运动矢量26f从与匹配点24e对应的特征点22e延伸，并且沿着整个画面的运动延伸。与特征点22e对应的被摄体存在于跟踪巾贞6上的新的匹配点24f的位置处。由此确认通过匹配点24f再现了特征点22e的原始运动。
[0095]接着，参照图13中的流程图，描述以上构造的图像处理装置50的操作。要注意，在命令分类确定器17对作为确定对象的匹配点24进行分类之前的处理与以上第一实施例的处理类似，因此省去对其的描述。
[0096]当命令分类确定器17对匹配点24进行分类时，分类确定器17从存储器11中读取与匹配点24对应的特征点22的坐标信息、以及与匹配点24对应的移动点30的坐标信息。分类确定器17确定移动点30的位置是否在相对于特征点22的位置的预定范围内。
[0097]一旦确定了移动点30的位置在相对于特征点22的位置的预定范围内，则分类确定器17确定匹配点24为静止点。一旦确定了移动点30的位置不在相对于对应的特征点22的位置的预定范围内，则分类确定器17确定移动点30和特征点22之间的相关性是否高。一旦确定相关性高，则分类确定器17将匹配点24分类为异常点。一旦确定相关性低，则分类确定器17将匹配点24分类为移动点。
[0098]当分类确定器17将匹配点24分类为异常点时，控制器10命令匹配点添加器52将匹配点24添加至与作为异常点的匹配点24对应的特征点22。当控制器10命令匹配点添加器52添加匹配点24时，匹配点添加器52从存储器11中读取特征点22的坐标信息，并且获得由运动计算器15计算出的整个画面的运动的计算结果。
[0099]匹配点添加器52添加基于从匹配点22延伸并且沿着整个画面的运动的运动矢量的匹配点24。由此再现特征点22的原始运动。通过添加匹配点24，正确的匹配点24的数量和正确的运动矢量26的数量增加。
[0100]要注意，在匹配点添加器52添加新的匹配点24后，可以计算出跟踪帧6上的匹配点24和基准帧4上的特征点22之间的相关度来评价添加的匹配点24的正确性。从而检查添加的匹配点24实际上是否再现了特征点22的原始运动.[0101]计算出从特征点22延伸并且沿着整个画面的运动的运动矢量26的终点的位置。从跟踪帧6上的终点位置附近提取出与特征点22具有最高相关性的点。提取的点可以被添加为新的匹配点24。由此更加准确地再现了与被分类为异常点的匹配点24对应的特征点22的原始运动。
[0102]本实施例的构造可以与以上第二实施例的构造结合，以增加特征点22的一侧和匹配点24的一侧的两个正确的运动矢量26。
[0103](第四实施例)
[0104]接下来，描述本发明的第四实施例。如图14所述，本实施例的图像处理装置60除了包括以上第一实施例中的图像处理装置2的每个部分外，还包括匹配点集生成器61、归一化器62、以及异常点确定器63。跟踪帧6a至6η被输入至图像处理装置60。基准帧4和跟踪巾贞6a至6n在时间序列上连续。
[0105]图像处理装置60通过与以上第一实施例类似的步骤从跟踪帧6a至6n中的每一个中提取匹配点24。图像处理装置60基于从跟踪帧6a至6n中的每一个中提取的匹配点24来确定移动点的异常点。
[0106]如图15所示，当从跟踪帧6a至6n中的每一个中提取了匹配点24并且匹配点24中的每一个被分类为移动点时，匹配点集生成器61基于预先提供给每个匹配点24的标识信息，来将与相同特征点22对应的匹配点24分组为匹配点集65。
[0107]例如，在图15中，从基准帧4中提取三个特征点22a、22b和22c。从第一跟踪帧6a中提取与各个特征点22对应的三个匹配点24a-l、24b-l、和24c_l作为移动点。基准帧4和第一跟踪帧6a在时间序列上连续。以示例的方式从第二跟踪帧6b中提取与各个特征点22对应的三个匹配点24a-2、24b-2、和24c_2作为移动点。第一跟踪帧6a和第二跟踪帧6b在时间序列上连续。要注意，可以每隔N帧的间隔取出跟踪帧6a至6n。
[0108]在该情况下，匹配点集生成器61将与特征点22a对应的匹配点24a_l和24a_2分组为匹配点集65a。匹配点集生成器61将与特征点22b对应的匹配点24b_l和24b_2分组为匹配点集65b。匹配点集生成器61将与特征点22c对应的匹配点24c-l和24c_2分组为匹配点集65c。
[0109]归一化器62使用跟踪帧6a至6n的成像时间间隔作为单位时间。匹配点集65中包括的每个匹配点24的运动矢量26被归一化为每单位时间的幅值。从而，如图16所示，归一化器62生成归一化的运动矢量66(在下文中其被称为归一化矢量66)。如图中的中等大小的倒三角形标记所示，得到已被归一化的匹配点(在下文中其被称为归一化的匹配点)67。要注意，例如，在跟踪帧6a至6n中的每一个的头信息中预先提供跟踪帧6a至6n的成像时间间隔。
[0110]例如，在图15的示例中，当在离基准帧4固定的成像时间间隔处捕获跟踪帧6a至6b时，如图16所示，归一化器62将第二跟踪帧6b的运动矢量26a-2、26b-2、和26c_2中的每一个的移动量归一化至1/2。从而生成与各个运动矢量26a-2、26b-2、和26c_2分别对应的归一化矢量66a、66b、和66c。要注意,在第三跟踪巾贞6c中，运动矢量的移动量被归一化至 1/3。
[0111]异常点确定器63基于归一化的匹配点24和67来确定匹配点集65中包括的匹配点24和67之间的对应是否正确。例如，异常点确定器63使用构成匹配点集65的匹配点24和67中的每一个的重心位置作为基准。当离基准位置的距离小于或等于预定值时，异常点确定器63确定匹配点24和67之间的对应关系正确。当离基准位置的距离大于或等于预定值时，异常点确定器63确定匹配点24和67作为异常点。
[0112]可替代地，将匹配点集65中的匹配点24和67中的一个选作基准。当离基准匹配点24或67的距离小于或等于预定值时，确定匹配点24和67之间的对应关系正确。当离基准匹配点24或67的距离大于或等于预定值时，匹配点24和67被确定为异常点。如图16所示，当仅有两个匹配点24和67时，可以得到他们之间的距离。当匹配点24和67之间的距离小于或等于预定值时，确定它们之间的对应关系正确。当匹配点24和67之间的距离大于或等于预定值时，匹配点24和67均被确定为异常点。当存在三个或更多的匹配点24和67时，当它们之间的距离长时将它们全部确定为异常点。
[0113]例如，在图16中，匹配点24a_l和归一化的匹配点67a彼此接近。匹配点24c_l和归一化的匹配点67c彼此接近。因此，异常点确定器63确定匹配点24和67中的每一个均正确。至于匹配点24b-l和归一化的匹配点67b，例如当归一化的匹配点67b是基准点时，从归一化的匹配点67b至匹配点24b-l的距离长。因此，异常点确定器63确定匹配点24b_I是异常点。
[0114]接着，参照图17中的流程图，描述以上构造的图像处理装置60的操作。为了使图像处理装置60执行图像处理，首先将作为处理对象的基准帧4和跟踪帧6a至6n输入至图像输入部分12。提取每个特征点22，提取每个匹配点24，以及按与类似于以上第一实施例的步骤将每个匹配点24分类。要注意，这些处理可以按照以上第二或第三实施例的步骤。
[0115]控制器10使分类确定器17对每个匹配点24进行分类。然后控制器10命令匹配点集生成器61生成匹配点集65。当控制器10命令匹配点集生成器61生成匹配点集65时，匹配点集生成器61基于分类确定器17作出的分类结果，来从存储器11读取被分类为移动点的每个匹配点24的信息。匹配点集生成器61将与相同特征点22对应的匹配点24分组为匹配点集65。
[0116]在生成匹配点集65之后，控制器10命令归一化器62执行归一化。匹配点集65中包括的每个匹配点24的运动矢量26被归一化为每单位时间的幅值。由此得到归一化的匹配点67。
[0117]在匹配点24的归一化之后，控制器10选择匹配点集65作为确定的对象。控制器10从匹配点集65中包括的匹配点中选择匹配点24和67作为确定的对象。控制器10命令异常点确定器63确定匹配点24和67之间的对应关系是否正确。
[0118]当控制器10命令异常点确定器63执行确定时，异常点确定器63将构成匹配点集65的匹配点24和67中的每一个的重心位置或者匹配点集65中的匹配点24和67中的一个确定作为基准。异常点确定器63确定该基准与作为确定对象的匹配点24或67之间的距离是否大于或等于预定值。当距离小于或等于预定值时，异常点确定器63确定匹配点24和67之间的对应关系正确。当距离大于或等于预定值时，异常点确定器63将匹配点24或67确定为异常点。
[0119]在使异常点确定器63执行确定之后，控制器10使异常点确定器63执行针对作为确定对象的匹配点集65中包括的每个匹配点24和67执行确定。控制器10使异常点确定器63对由匹配点集生成器61生成的每个匹配点集65执行类似的处理。从而完成处理。根据本实施例，适当地消除了被分类为移动点的匹配点24的异常点。
[0120](第五实施例)
[0121]接下来，描述本发明的第五实施例。如图18所示，本实施例的图像处理装置70除了包括以上第四实施例的图像处理装置60的每个部分外，还包括再评价器72。
[0122]当由于提取匹配点24的匹配点提取器14的故障，或者由于如以上第四实施例所述的所确定的异常点，导致匹配点集65中正确的匹配点24或归一化的匹配点67的数量为I时，再评价器72再评价匹配点24或归一化匹配点67是否有效。一旦评价匹配点24或归一化的匹配点67有效，则再评价器72确定匹配点24或归一化的匹配点67的对应关系正确。一旦评价匹配点24或归一化的匹配点67无效，则再评价器72将匹配点24或归一化的匹配点67确定为异常点。
[0123]为了进行再评价，例如，再评价器72使用比在由匹配点提取器14执行的提取中所使用的阈值更高的阈值而基于严格的条件来评价特征点22与匹配点24或归一化的匹配点67之间的相关性。这时，评价中可以包括特征点22是否是适当的特征点的评价。例如，评价特征点22不是平坦部分或边缘,而是被摄体的顶点。
[0124]接着，参照图19的流程图，描述以上构造的图像处理装置70的操作。要注意，对作为确定对象的匹配点集65中包括的匹配点24和67的每一个执行异常点的确定之前的处理与以上第四实施例的处理类似，因此，省略了对其的描述。
[0125]在对作为确定对象的匹配点集65中包括的匹配点24和67中的每一个执行异常点确定之后，控制器10检测匹配点集65中包括的匹配点24或67的数量是否为I。一旦确定仅包括一个匹配点24或归一化的匹配点67，则控制器10命令再评价器72执行再评价。
[0126]当命令执行再评价时，再评价器72基于比匹配点提取器14更加严格的条件来评价匹配点24或归一化的匹配点67与特征点22之间的相关性。从而，再评价器72再评价匹配点24或归一化的匹配点67是否有效。一旦评价匹配点24或归一化的匹配点67有效，则再评价器72确定匹配点24或归一化的匹配点67的对应关系正确。一旦评价匹配点24或归一化的匹配点67无效，则再评价器72将匹配点24或归一化的匹配点67确定为异常点。
[0127]在使再评价器72进行再评价之后，控制器10使再评价器72对由匹配点集生成器61生成的每个匹配点集65执行类似的处理。由此完成处理。根据本实施例，以高精度消除了被分类为移动点的匹配点24的异常点。再评价器72在分类确定器17等执行各种类型的确定之后，仅再评价极大可能为异常点的匹配点24或67。从而有效地确定并消除了异常点。
[0128]存储器11存储每个特征点22的位置坐标、每个匹配点24的位置坐标、匹配点是静止点还是移动点的分类结果、由运动计算器15计算出的每个特征点的运动矢量26、移动点计算器16基于由运动计算器15得到的整个画面的运动而获得的逆矢量28等。这些运动信息通过输出部分18发送至外部装置。[0129]例如，运动信息用于基于运动矢量的大小将帧划分为多个区域，基于运动矢量的长度得到帧上的被摄体的移动量，或者基于运动矢量的方向得到被摄体的运动方向。基于得到的这些结果来执行图像处理。
[0130]在以上每个实施例中，图像处理装置是独立的装置。本发明的图像处理装置可以并入数码相机、广播电视摄像机等。图20示出了将图1的图像处理装置并入数码相机中的实施例。数码相机80包括图像处理装置2和相机部分81。相机部分81包括成像部分82、内存83、监控器84、控制器85等。
[0131]成像部分82具有已知的成像光学系统和图像传感器。成像部分82捕获场景的静止图像或移动图像，并将其存储在内存83中。内存83具有第一存储器和第二存储器。第一存储器存储所捕获的静止图像或移动图像。第二存储器临时存储在捕获静止图像之前的取景期间的移动图像(在下文中其被称为即时预览图像)。监控器84在静止图像的取景期间显示即时预览图像。当再现捕获图像时，监控器84显示所捕获的静止图像或所捕获的移动图像。在取景期间，临时存储在第二存储器中的移动图像从内存83传送至图像处理装置
2。当再现图像时，存储的移动图像或存储的静止图像从内存83传送至图像处理装置2的图像输入部分12。控制器85控制相机部分81中的每个电路。控制器85命令图像处理装置2的控制器10执行被摄体的运动检测。
[0132]相机部分81设有曝光控制器87、速度计算器88、被摄体模糊校正器89、被摄体跟踪器90、以及区域划分器91。曝光控制器87基于速度计算器88计算出的移动被摄体的移动速度，来设置曝光条件(光圈值、快门速度(电荷存储时间))。被摄体模糊校正器89根据移动被摄体的移动方向来移动成像光学系统中的校正透镜。从而，被摄体模糊校正器89校正被摄体模糊。被摄体跟踪器90跟踪所选被摄体的运动。带标记的被摄体显示在显示器上。区域划分器91根据移动量来划分帧。要注意，标号92是总线。
[0133]在静止图像的取景期间，临时存储在内存83的第二存储器中的移动图像被传送至图像处理装置2的图像输入部分12。如上所述，图像处理装置2比较各个帧之间的图像，以得到即时预览图像的运动信息。运动信息通过输出部分18传送至相机部分81。
[0134]速度计算器88使用即时预览图像的运动信息中的运动矢量26和逆矢量28。速度计算器88从运动矢量的长度中减去逆矢量的长度。从而，速度计算器88计算出帧上的被摄体(移动被摄体)的移动量。根据移动量、被摄体距离、成像透镜系统的焦距等得到移动被摄体的速度。曝光控制器87基于移动被摄体的速度计算出不会导致被摄体模糊的快门速度。根据被摄体亮度和快门速度计算光圈值。当捕获静止图像时，基于曝光控制器87得到的快门速度和光圈值来控制曝光。移动物体的速度可以显示在监控器84上。
[0135]基于帧上的运动矢量的方向和幅值，被摄体模糊校正器89得到用于校正被摄体模糊的校正透镜的移动方向和移动量。被摄体模糊校正器89在静止图像的捕获期间移动校正透镜并且校正被摄体模糊。从而记录清晰的静止图像。
[0136]被摄体跟踪器90跟踪所选被摄体的运动，并且在监控器84上显示带标记的所选被摄体。示出帧中感兴趣的移动被摄体的运动。
[0137]区域划分器91基于运动矢量的幅值将帧划分为运动区域和静止区域。区域划分器91对静止区域和运动区域中的每一个执行降噪处理和颜色色度调整。运动区域是移动的被摄体。可以剪切运动区域并将其粘贴在另一帧上，以合成图像。可以剪切静止区域并将其粘贴在另一帧上。要注意，对所记录的静止图像或所记录的移动图像执行区域划分以及基于区域划分执行图像处理。
[0138]曝光控制器87、速度计算器88、被摄体模糊校正器89、被摄体跟踪器90、以及区域划分器91可以设在图像处理装置2中。
[0139]要注意，在以上实施例中，描述了平移的被摄体。整个画面的移动可以代表被摄体的旋转、缩放、或旋转和缩放的组合移动中的静止点的运动。根据本发明，即使被摄体以平移、旋转、放大、缩小、或这些的组合的方式移动，仍能如以上实施例所述地适当地确定匹配点24。
[0140]参考标记的描述
[0141]2、40、50、60、70 图像处理装置
[0142]4基准帧
[0143]6跟踪帧
[0144]13特征点提取器
[0145]14匹配点提取器
[0146]15运动计算器
[0147]16移动点计算器
[0148]17分类确定器
[0149]22特征点
[0150]24匹配点
[0151]26运动矢量
[0152]28逆矢量
[0153]30移动点
[0154]42起始点改变器
[0155]52匹配点添加器
[0156]61匹配点集生成器
[0157]62归一化器
[0158]63异常点确定器
[0159]72再评价器
[0160]80数码相机
[0161]81相机部分
【权利要求】
1.一种图像处理装置，包括: 特征点提取器，其用于从基准帧中提取特征点； 匹配点提取器，其用于从跟踪帧中提取匹配点，所述基准帧与所述跟踪帧在时间序列上连续，所述匹配点与所述特征点对应； 运动计算器，其用于基于从所述特征点至所述匹配点的运动矢量，来计算所述跟踪帧相对于所述基准帧的整个画面的运动； 移动点计算器，用于得到整个画面的运动的逆矢量，所述逆矢量以所述匹配点作为起始点，所述移动点计算器计算所述逆矢量的终点的位置作为移动点；以及 分类确定器，其用于确定所述移动点的位置是否在相对于所述特征点的位置的预定范围内，以及当所述移动点的位置在所述预定范围内时将所述匹配点分类为静止点，而当所述移动点的位置不在所述预定范围内时确定所述特征点与所述移动点之间的相关性或所述匹配点与所述移动点之间的相关性，并且当相关性高时将所述匹配点分类为异常点，当相关性低时将所述匹配点分类为移动点。
2.如权利要求1所述的图像处理装置，包括起始点改变器，其用于当所述匹配点被分类为异常点时,将所述匹配点的运动矢量的起始点从所述特征点改变至所述移动点。
3.如权利要求1所述的图像处理装置，包括匹配点添加器，其用于当所述匹配点被分类为异常点时，添加基于从与作为异常点的所述匹配点对应的特征点延伸、并沿着整个画面的运动的运动矢量的匹配点。
4.如权利要求1所述的图像处理装置，包括: 匹配点集生成器，其用于当从每个`跟踪帧中提取出所述匹配点并且每个匹配点被分类为所述移动点时，将所述匹配点分类为匹配点集，所述基准帧和所述跟踪帧在时间序列上连续； 归一化器，其用于将所述匹配点集中包括的每个匹配点的运动矢量归一化为每单位时间的幅值；以及 异常点确定器，其用于检查距归一化后的每个匹配点的距离是否小于或等于预定值，当所述距离小于或等于预定值时，确定所述匹配点集中包括的每个匹配点之间的对应关系正确，以及当所述距离大于或等于所述预定值时，确定所述匹配点集中包括的每个匹配点中包括异常点。
5.如权利要求4所述的图像处理装置，包括再评价器，其用于当所述匹配点集仅包括一个匹配点时，再评价所述匹配点是否有效。
6.如权利要求1所述的图像处理装置，包括速度计算器，其用于基于所述运动矢量的长度和所述逆矢量的长度来计算与所述帧中的图像对应的被摄体的速度。
7.如权利要求6所述的图像处理装置，包括曝光控制器，其用于基于被摄体的速度来设置曝光条件以用于防止被摄体模糊。
8.如权利要求1所述的图像处理装置，包括被摄体模糊校正器，其用于基于所述运动矢量的方向来确定被摄体的运动方向，并且校正被摄体模糊。
9.如权利要求1所述的图像处理装置，包括被摄体跟踪器，其用于基于所述运动矢量的方向来确定被摄体的运动方向，并且跟踪所述被摄体。
10.如权利要求1所述的图像处理装置，包括区域划分器，其用于基于所述运动矢量的幅值将所述帧划分为运动区域和静止区域，并且根据区域的类型来执行图像处理。
11.一种图像处理方法,包括: 特征点提取步骤，用于从基准帧中提取特征点； 匹配点提取步骤，用于从跟踪帧中提取匹配点，所述基准帧和所述跟踪帧在时间序列上连续，所述匹配点与所述特征点对应； 运动计算步骤，用于基于从所述特征点至所述匹配点的运动矢量来计算所述跟踪帧相对于所述基准帧的整个画面的运动； 移动点计算步骤，用于获得整个画面的运动的、以所述匹配点作为起始点的逆矢量，并且计算所述逆矢量的终点的位置作为移动点；以及 分类步骤，用于确定所述移动点的位置是否在相对于所述特征点的位置的预定范围内，当所述移动点的位置在所述预定范围内时将所述匹配点分类为静止点，而当所述移动点的位置不在所述预定范围内时确定所述特征点与所述移动点之间的相关性或所述匹配点与所述移动点之间的相关性，并且当相关性高时将所述匹配点分类为异常点而当相关性低时将所述匹配点分类为移动 点。
【文档编号】G06T7/20GK103460248SQ201280017498
【公开日】2013年12月18日 申请日期:2012年3月27日 优先权日:2011年4月7日
【发明者】远藤恒史 申请人:富士胶片株式会社