图像处理装置、摄像装置以及图像处理方法
【专利摘要】图像处理装置（10）具备：分段部（11），根据像素值的类似性，将第一图像以及第三图像分别分割成多个段；指示部（12），指示第一图像中的对象物体的位置；基准区域设定部（13），将包含指示段的段集合设定为基准区域，指示段是存在于被指示的位置的段；提取部（14），从基准区域提取表示第一特征的特征量，以此作为对象物体特征量；对象区域设定部（15），根据从特征区域提取的特征点的位置以及与该特征点对应的第三图像内的特征点的位置的关系，在第三图像内设定对象区域，特征区域是第二图像内的与对象物体对应的区域；追踪部（16），利用对象物体特征量，判断对象区域所包含的各段是否就是与对象物体对应的段。
【专利说明】图像处理装置、摄像装置以及图像处理方法
【技术领域】
[0001]本发明涉及一种在第一图像之后拍摄的第三图像中，对第一图像所包含的对象物体进行追踪的图像处理装置、摄像装置以及图像处理方法。
【背景技术】
[0002]现在已有关于对显示部显示的图像所包含的对象物体进行自动追踪的技术提案(例如，参照专利文献I)。
[0003]专利文献1:国际公开第2009/125596号
[0004]专利文献2:日本特开2010-157927号公报
[0005]非专利文献 I !Distinctive Image Features From Scale-1nvariantKeypoints, David G.Lowe,International Journal of Computer Vision,2004, Springer
[0006]非专利文献2:Speeded Up Robust Features, Herbert Bay, Tinne Tuytelaars,ECCV 2006，Springer
[0007]但是，所述现有技术被要求以更高的精度追踪对象物体。
【发明内容】
[0008]对此，本发明的目的在于提供一种能够高精度地追踪对象物体的图像处理装置、摄像装置以及图像处理方法。
[0009]本发明的一形态的图像处理装置是一种在第三图像中追踪第一图像所包含的对象物体的图像处理装置，所述第三图像是在所述第一图像之后被拍摄的图像，所述图像处理装置具备:分段部，根据像素值的类似性，将所述第一图像以及所述第三图像分别分割成多个段；指示部，指示所述第一图像中的所述对象物体的位置；基准区域设定部，将包含指示段的段集合设定为基准区域，所述指示段是存在于被指示的所述位置的段；提取部，从所述基准区域提取表示第一特征的特征量，以此作为对象物体特征量；对象区域设定部，根据从特征区域提取的特征点的位置以及与提取的所述特征点对应的所述第三图像内的特征点的位置之间的关系，在所述第三图像内设定对象区域，所述特征区域是在与所述第三图像不同的时刻被拍摄的第二图像内的、与所述对象物体对应的区域；追踪部，利用所述对象物体特征量，判断所述对象区域所包含的各段是否就是与所述对象物体对应的段，从而在所述第三图像中追踪所述对象物体。
[0010]另外，这些总括性或者具体性的形态可由系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等的记录介质实现，亦可由系统、方法、集成电路、计算机程序以及记录介质的任意的组合实现。
[0011 ] 根据本发明的一形态，能够高精度地追踪对象物体。
【专利附图】
【附图说明】
[0012]图1是表示实施方式I的图像处理装置的功能结构的方框图。[0013]图2是表示实施方式I的图像处理装置中为了提取特征量的处理的流程图。
[0014]图3是表示实施方式I的分段部的详细处理动作的流程图。
[0015]图4是用于说明实施方式I的分段部的处理动作的一个例子的图。
[0016]图5是用于说明实施方式I的分段部的处理动作的一个例子的图。
[0017]图6是表示实施方式I的分段结果的一个例子的图。
[0018]图7是用于说明实施方式I的指示部的处理动作的一个例子的图。
[0019]图8是表示实施方式I的基准区域设定部的详细处理动作的流程图。
[0020]图9是用于说明实施方式I的基准区域设定部的处理动作的一个例子的图。
[0021]图10是表示实施方式I的图像处理装置中为了追踪对象物体的处理的流程图。
[0022]图11是表示实施方式I的对象区域设定部的详细处理动作的流程图。
[0023]图12是用于说明实施方式I的对象区域设定部的详细处理动作的图。
[0024]图13是表示实施方式I的对应点检测结果的一个例子的图。
[0025]图14A是表示实施方式I的对应点检测结果的一个例子的图。
[0026]图14B是表示实施方式I的对应点检测结果的一个例子的图。
[0027]图15是用于说明实施方式I中算出特征点间的距离变化度的处理的一个例子的图。
[0028]图16是表示实施方式I的追踪部的详细处理动作的流程图。
[0029]图17是表示实施方式2的摄像装置的结构的方框图。
【具体实施方式】
[0030](本发明的基础知识)
[0031]具备能够实时显示图像的触屏的照相机(数码静态相机或者数码摄像机等)在广泛普及。用户能够一边确认触屏上显示的图像，一边拍摄照片和影像。另外，用户能够通过触摸触屏，对触屏显示的图像内被用户所关注的物体(对象物体)的位置进行指示。
[0032]在指示了所关注的物体的位置的情况下，照相机就利用从该位置的周边区域提取的特征量，执行自动聚焦(AF:Autofocus)或者自动曝光(AE:Automatic Exposure)等。其结果，照相机能够拍摄到适合用户所关注的物体的照片或者影像。
[0033]在此，例如在执行AF之后对象物体或者照相机移动了的情况下，本已对准对象物体的焦点就会错位。对此，已有关于对触屏等显示的图像中包含的对象物体进行自动追踪的方法的提案(例如，参照专利文献I)。
[0034]通过利用从这样追踪的对象物体的区域中提取到的特征量，再次执行AF，照相机即使在对象物体或者照相机有移动的情况下，也能够自动聚焦于对象物体。
[0035]但是，根据专利文献I的方法，提取特征量的区域具有预先规定的形状(矩形或者椭圆形等)，因此，如果对象物体的形状与预先规定的形状不同，照相机就无法恰当地提取对象物体的特征量。其结果，照相机无法正确追踪对象物体。
[0036]另外，专利文献2公开了一种在对象物体的追踪位置错位时校正对追踪位置的方法。然而，根据专利文献2的方法，在对象物体的形状变化大的情况下，难以校正追踪位置。
[0037]对此，本发明的一形态的图像处理装置，在第三图像中追踪第一图像所包含的对象物体，所述第三图像是在所述第一图像之后被拍摄的图像，该图像处理装置具备:分段部，根据像素值的类似性，将所述第一图像以及所述第三图像分别分割成多个段；指示部，指示所述第一图像中的所述对象物体的位置；基准区域设定部，将包含指示段的段集合设定为基准区域，所述指示段是存在于被指示的所述位置的段；提取部，从所述基准区域提取表示第一特征的特征量，以此作为对象物体特征量；对象区域设定部，根据从特征区域提取的特征点的位置以及与提取的所述特征点对应的所述第三图像内的特征点的位置之间的关系，在所述第三图像内设定对象区域，所述特征区域是在与所述第三图像不同的时刻被拍摄的第二图像内的、与所述对象物体对应的区域；追踪部，利用所述对象物体特征量，判断所述对象区域所包含的各段是否就是与所述对象物体对应的段，从而在所述第三图像中追踪所述对象物体。
[0038]根据该结构，能够利用根据像素值的类似性来分割第一图像而获得的多个段，设定基准区域。因此，即使是具有复杂的几何形状的对象物体，也能够设定出形状适合该复杂的几何形状的基准区域。其结果，与从预先规定形状的区域提取特征量的情况相比，能够适当地提取对象物体的特征量。并且，通过利用这样提取的对象物体的特征量，能够高精度地追踪对象物体。
[0039]并且，根据该结构，能够利用对象物体特征量，来判断对象区域中包含的各段是否就是与对象物体对应的段。从而，与对基准区域内的段和对象区域内的段进行一对一匹配的情况相比，能够针对图像内对象物体的形状变化持稳定性地进行对象物体追踪。即，即使对象物体的形状在图像间有所变化下，也能够高精度地追踪对象物体。另外，能够将判断处理的对象限定于对象区域内的段，因此能够减轻处理负荷以及提高处理速度。
[0040]另外，根据该结构，能够根据从第二图像内的特征区域提取的特征点的位置以及与该特征点对应的第三图像内的特征点的位置的关系，设定第三图像内的对象区域。因此，即使对象物体在第二图像以及第三图像间有所移动，也能够利用第二图像以及第三图像间的特征点的对应关系，来恰当且简单地设定对象区域。其结果，能够避免将位置远离对象物体的段误判断为与对象物体对应的段。即，即使对象物体在图像间有所移动的情况下，也能够高精度地追踪对象物体。
[0041]另外还可以是，所述对象区域设定部根据表示与所述第一特征不同的第二特征的特征量，检测与从所述第二图像内的特征区域提取到的特征点对应的、所述第三图像内的特征点，并以所述对象区域的位置依赖于运动矢量的方式设定所述对象区域，所述运动矢量是根据检测出的所述第三图像内的特征点和从所述特征区域提取到的特征点而获得的
运动矢量。
[0042]根据该结构，能够在依赖于移动矢量的位置设定对象区域，该移动矢量是指利用根据表示与第一特征不同的第二特征的特征量被检测出的对应点而获得的移动矢量。即，例如用于判断与对象物体对应的段的特征量、用于设定对象区域特征量，能够利用不同的特征量。因此，能够提高对于对象物体的特征的变化(尤其是对象物体的位置的变化)的稳定性。
[0043]例如还可以是，所述对象区域设定部，根据表示与所述第一特征不同的第二特征的特征量，检测与从所述特征区域提取到的多个所述特征点对应的、所述第三图像内的多个特征点，并以所述对象区域的尺寸依赖于变化度的方式设定所述对象区域，所述变化度是被检测出的所述第三图像内的多个特征点间的距离相对于从所述第二图像内的特征区域提取的多个特征点间的距离的变化度。
[0044]根据该结构，能够设定具有依赖于变化度的尺寸的对象区域，该变化度是指根据表示与第一特征不同的第二特征的特征量被检测出的特征点间的图像内的距离的变化度。即，例如用于判断与对象物体对应的段的特征量、用于设定对象区域的特征量，能够利用不同的特征量。因此，能够提高对于对象物体的特征的变化(尤其是对象物体的尺寸的变化)的稳定性。
[0045]例如还可以是，所述特征区域是包含与所述对象物体对应的段的区域，并且是比由与所述对象物体对应的段构成的区域大的区域。
[0046]根据该结构，能够使提取特征点的特征区域成为比对象物体的区域大的区域。一般而言，在物体的边界等像素值变化大的位置，容易提取具有特征性的特征量的特征点。因此，通过使特征区域成为包含对象物体的边界且比对象物体的区域大的区域，能够提高对应点的检测精度。
[0047]例如还可以是，所述分段部只将所述第三图像中的所述对象区域分割成多个段。
[0048]根据该结构，能够只对第三图像中的对象区域进行分段。因此，能够削减分段所需的计算量，从而能够提高处理速度。
[0049]例如还可以是，所述提取部，在所述基准区域包含多个段的情况下，将从所述多个段提取的多个特征量的代表值，作为所述对象物体特征量而提取。
[0050]根据该结构，能够将从多个段提取到的多个特征量的代表值，作为对象物体特征量来提取。从而，在利用对象物体特征量来判断对象区域中包含的各段是否就是与对象物体对应的段时，能够减轻处理负荷或者提高处理速度。
[0051]例如可以是，所述提取部还从所述基准区域外的区域提取表示所述第一特征的特征量，以此作为非对象物体特征量，所述追踪部通过判别从所述对象区域中包含的各段提取的、表示所述第一特征的特征量与所述对象物体特征量以及所述非对象物体特征量的哪一方类似，来判断所述各段是否就是与所述对象物体对应的段。
[0052]根据该结构，通过对表示从各段提取到的第一特征的特征量是与对象物体特征量类似，还是与非对象物体特征量类似进行判别，能够判断各段是否就是与对象物体对应的段。因此，与只利用对象物体特征量来进行判断的情况相比，能够提高判断精度，从而能够高精度地追踪对象物体。
[0053]例如还可以是，所述提取部，在所述基准区域外的区域包含多个段的情况下，将从所述多个段提取的多个特征量的代表值，作为所述非对象物体特征量而提取。
[0054]根据该结构，能够将从多个段提取到的多个特征量的代表值，作为非对象物体特征量来提取。因此，在利用非对象物体特征量来判断对象区域中包含的各段是否就是与对象物体对应的段时，能够减轻处理负荷或者提高处理速度。
[0055]例如还可以是，所述第一图像、所述第二图像以及所述第三图像被包含在动态图像中。
[0056]根据该结构，能够在动态图像中追踪对象物体。
[0057]另外，本发明的一形态的摄像装置具备所述图像处理装置和用于拍摄所述第一图像、所述第儿图像以及所述第三图像摄影的摄像部。
[0058]根据该结构，能够获得与所述图像处理装置相同的效果。[0059]另外，这些总括性或者具体性的形态可通过系统、方法、集成电路、计算机程序或者计算机可读取的CD-ROM等的记录介质来实现，也可以以系统、方法、集成电路、计算机程序或记录介质的任意组合来实现。
[0060]以下，关于本发明的一形态的图像处理装置以及摄像装置，参照附图进行说明。
[0061]在此，以下说明的实施方式均表示总括性或者具体性的例子。以下的实施方式中表示的数值、形状、材料、结构要素、结构要素的配置以及连接形态、步骤、步骤的顺序等是一个例子，并不表不权利要求的范围限定于此。另外，关于以下的实施方式的结构要素中的未被记载于表示最上位概念的独立请求要求项中的结构要素，作为任意的结构要素进行说明。
[0062](实施方式I)
[0063]图1是表示实施方式I的图像处理装置10的功能结构的方框图。图像处理装置10在第三图像中追踪第一图像中包含的对象物体，该第三图像是在第一图像之后被拍摄的图像。
[0064]如图1所示，本实施方式的图像处理装置10具备分段部11、指示部12、基准区域设定部13、提取部14、对象区域设定部15和追踪部16。
[0065]分段部11根据像素值的类似性，将第一图像以及第三图像分别分割成多个段。即，分段部11以使像素值相类似的像素被包含在I个段中的方式，将第一图像以及第三图像分别分割成多个段。
[0066]在此，段相当于图像内的一部分区域。另外，分割成多个段的这种处理，以下也称之为分段。
[0067]另外，像素值是构成图像的像素所具有的值。像素值例如是表示像素的亮度、颜色、明度、色调或者彩度，或者是这些的组合的值。
[0068]在本实施方式中，分段部11根据颜色的类似性，将图像分割成多个段。例如，分段部11根据利用颜色以及像素位置被定义的类似性进行聚类，从而将图像分割成多个段。
[0069]指示部12指示在第一图像中的对象物体的位置。例如，指示部12通过输入装置(触屏等)从用户接受用于指示在第一图像中的对象物体的位置的输入。然后，指示部12根据所接受的输入，指示对象物体的位置。再例如，指示部12也可以将第一图像内的预先规定的位置(例如，中心位置等)指示为对象物体的位置。再例如，指示部12还可以将在第一图像中自动检测出的物体(例如，人的面孔等)的位置指示为对象物体的位置。以下，由指示部12指示出的位置称之为指示位置。
[0070]基准区域设定部13，将包含指示段的段集合设定为基准区域。指示段是指存在于指示位置的段。另外，段集合是至少包括I个段的集合。在本实施方式中，基准区域设定部13将包含指示段和类似段且形成I个连续的区域的段集合设定为基准区域，类似段是指表示相对于所述指示段的图像的类似性的值大于阈值的段。
[0071]另外，基准区域设定部13并非定要将包含指示段和类似段的段集合设定为基准区域。例如，基准区域设定部13可以只将包含指示段的段集合设定为基准区域。
[0072]提取部14从基准区域中提取表示第一特征的特征量，以此作为对象物体特征量。具体是，提取部14按照基准区域中包含的每个段，提取该段的特征量，并以此作为对象物体特征量。[0073]在此，第一特征意味着图像的特征。另外，特征量是定量性地表示图像的特征的值。
[0074]在本实施方式中，作为第一特征，利用与颜色相关的特征。例如，提取部14将基准区域中包含的各段的颜色直方图，作为对象物体特征量而提取。颜色直方图表示与预先规定的多个颜色的种类分别对应的频数。多个颜色的种类例如是利用HSV色彩空间中的H(色调)成分值的范围而被预先规定的。
[0075]另外，多个颜色的种类，并非定要利用在HSV色彩空间的H成分值的范围来决定。例如，多个颜色的种类可以利用根据H成分值、V (明度)成分值以及S (彩度)成分值中的至少一方而获得的值的范围来决定。另外，多个颜色的种类，也可以不利用HSV色彩空间的成分值，而是利用其他色彩空间(例如，RGB色彩空间、YUV色彩空间、Lab色彩空间等)的成分值来决定。
[0076]另外，第一特征并非一定是与颜色相关的特征。例如，第一特征也可是与亮度、强度或者这些与颜色的组合相关的特征。
[0077]提取部14还从基准区域外的区域提取表示第一特征的特征量，以此作为非对象物体特征量。具体是，提取部14按照基准区域外的区域中包含的每个段，提取该段的特征量，以此作为非对象物体特征量。在本实施方式中，提取部14按照每个段提取颜色直方图，以此作为非对象物体特征量。
[0078]作为基准区域外的区域，例如利用与基准区域相离规定距离以上的区域。关于规定距离的设定，设定成可利用具有与基准区域的图像特征有一定差异的特征的区域即可。如上所述，通过从与基准区域相离规定距离的区域提取非对象物体特征量，能够抑制对象物体的特征量被包含在非对象物体特征量中对。
[0079]对象区域设定部15根据从第二图像内的特征区域提取的特征点的位置以及与该特征点对应的第三图像内的特征点的位置之间的关系，在第三图像内设定对象区域。
[0080]具体是，对象区域设定部15根据表示第二特征的特征量，检测与从第二图像内的特征区域提取的多个特征点对应的第三图像内的多个特征点。并且，对象区域设定部15以对象区域的位置依赖于运动矢量，且对象区域的尺寸依赖于变化度的方式，在第三图像内设定对象区域，所述移动矢量是指利用从第二图像内的特征区域提取的多个特征点和被检测出的第三图像内的多个特征点而获得的运动矢量，所述变化度是指被检测出的第三图像内的多个特征点间的距离相对于从第二图像内的特征区域提取的多个特征点间的距离的变化度。
[0081]在此，第二图像是在与第三图像不同的时刻被摄影的图像。另外，第二图像有时候也会与第一图像一致。例如，第二图像以及第三图像分别是被连续拍摄的多个图像中的互不相同的任意I个图像。再例如，第二图像以及第三图像也可以被包含在动态图像中。在这种情况下的典型例为，第二图像是在时间上位于第三图像的帧之前的帧的图像。另外，第二图像也可以是时间上位于第三图像之后的帧的图像。
[0082]特征区域是与对象物体对应的区域。即，特征区域是包含对象物体的区域。具体是，特征区域例如是对象物体的区域，或者是包含对象物体的区域的区域，并且且是比对象物体的区域大的区域。
[0083]第二特征是与第一特征不同的特征。在本实施方式中，作为第二特征利用与形状有关的特征。在此，第二特征并非定要是与形状有关的特征。另外，第二特征也可以是与第一特征相同的特征。
[0084]距离的变化度是表示距离变化的大小的值。具体是，距离的变化度例如表示距离的变化比例或者距离的变化量。
[0085]追踪部16利用被提取的对象物体特征量以及非对象物体特征量，来判断对象区域中包含的各段是否就是与对象物体对应的段，从而在第三图像中追踪对象物体。
[0086]在此，与对象物体对应的段是构成对象物体的图像的段。以下，将与对象物体对应的段简称为对象物体段。
[0087]例如，追踪部16按对象区域中包含的每个段，判断表示从该段被提取的第一特征的特征量与对象物体特征量以及非对象物体特征量的哪一方类似，从而判定该段是否就是对象物体段。
[0088]另外，在本实施方式中，如上所述，作为表示第一特征的特征量利用的是颜色直方图。追踪部16按照对象区域中包含的每个段，从作为对象物体特征量被提取的颜色直方图(对象物体颜色直方图)以及作为非对象物体特征量被提取的颜色直方图(非对象物体颜色直方图)中，确定与从该段中提取的颜色直方图的类似度最高的颜色直方图。追踪部16，如果以上确定出的颜色直方图是对象物体颜色直方图之一，就判断为该段是对象物体段。相对而言，追踪部16，如果以上确定出的颜色直方图是非对象物体颜色直方图之一，则判断为该段并非是对象物体段。
[0089]在此，以2个颜色直方图的重叠程度来表现2个颜色直方图的类似度。2个颜色直方图的重叠程度表示2个颜色直方图在各颜色种类中重叠的频数的量。
[0090]在此，最好是2个颜色直方图是以频数之和成为相等的方式被分别进行规则化的颜色直方图。由此，追踪部16通过按所有颜色种类，第各颜色种类中的2个频数的小的一方的频数进行加算，能够容易地算出表示2个颜色直方图的类似度的值。
[0091]以下，关于具以上所述的结构的图像处理装置10的处理动作进行说明。图像处理装置10的处理动作大体上可分为，用于从第一图像提取特征量的处理和用于在第三图像中追踪对象物体的处理。在此，首先关于从第一图像提取特征量的处理，参照附图进行说明。
[0092]图2是表示实施方式I的图像处理装置10为了从第一图像提取特征量的处理的流程图。
[0093]首先，分段部11根据像素值的类似性，将第一图像分割成多个段(S101)。指示部12指示第一图像中的对象物体的位置(S102)。
[0094]基准区域设定部13将至少包含存在于指示位置的段的段集合，设定为基准区域(S103)。提取部14从基准区域提取对象物体特征量，并从基准区域外的区域提取非对象物体特征量(S104)。
[0095]通过以上，图像处理装置10从第一图像提取对象物体特征量和非对象物体特征量。
[0096]在此，图像处理装置10并非定要按照图2所示的步骤进行处理。例如，图像处理装置10也可以在步骤S102之后执行步骤S101。再例如，图像处理装置10也可以并列执行步骤SlOl和步骤S102。[0097]以下，关于这种从第一图像提取特征量的处理，参照附图进行详细说明。首先，关于分段处理(SlOl)的详细内容，利用3~图6进行说明。在此，作为分段的一个例子，对基于k平均法(k-means聚类)的分段进行说明。
[0098]图3是表示实施方式I的分段部11的详细处理动作的流程图。图4以及图5是用于说明实施方式I的分段部11的处理动作的一个例子的图。图6是表示实施方式I的分段结果的一个例子的图。
[0099]如图3所示，分段部11首先对第一图像的色空间进行变换(S201)。具体是，分段部11将第一图像从RGB色空间变换成Lab色空间。
[0100]这个Lab色空间是知觉性均等的色空间。即，在ab色空间中，颜色的值有同等变化时，人看此所感觉到的变化也相等。因此，分段部11通过在Lab色空间进行第一图像的分段，可根据人察觉到的对象物体的边界来分割第一图像。
[0101]其次，分段部11设定k个(k:2以上的整数)初期簇的重心(S202)。这些k个初期簇的重心，例如以在第一图像上均等配置的方式被设定。在此，以邻接的重心间的间隔成为S (像素)的方式，设定k个初期簇的重心。
[0102]接下来，对第一图像内的各像素进行步骤S203、S204的处理。具体是，分段部11算出相对于各簇的重心的距离Ds (S203)。该距离Ds相当于表示利用像素值以及像素位置被定义的类似性的值。在此，距离Ds越小，表示相对于簇的重心的像素的类似性越高。
[0103]另外，如图4所示，分段部11只针对位于距离算出对象范围内的重心Ck，算出对象像素i的距离Ds。在此，在 水平方向以及垂直方向上，将与对象像素i的位置的距离为初期簇的重心间隔S以下的位置设定为距离算出对象范围。即，分段部11，就对象像素i，算出分别针对重心C2，C3，C6，C7的距离。如上所述，由于是设定出距离算出对象范围，因此，比起针对所有的重心都算出距离的情况而言，可减轻计算负荷。
[0104]通过以下的式I算出相对于重心Ck (像素位置(xk，yk)，像素值(lk，ak，bk))的对象像素i (像素位置(Xi, yj，像素值(Ii, Bi, bj)的距离Ds。
Λ = dUth +~rfrii
s luff $ xy
= (4 + C% -a,)2 + (? - bty飞
~=(xk ~xi)2 + (λ - y,)1
[0106]在此，m是为了使基于像素值的距离dlab和基于像素位置的距离dxy对距离Ds的影响保持平衡的系数。该系数m可以根据实验或者经验而预先设定。
[0107]其次，分段部11像上述那样利用相对于对象像素i的各重心的距离Ds，决定对象像素i所属的簇(S204)。具体是，分段部11将具有距离Ds最小的重心的簇，决定为对象像素i的所属簇。
[0108]按第一图像中包含的每个像素，反复进行所述步骤S203、S204的处理，从而决定各像素的所属簇。
[0109]然后，分段部11更新各簇的重心(S205)。例如，在步骤S204决定各像素的所属簇，其结果，如图5所示，从矩形的簇变化成了六角形的簇的情况下，更新重心C6像素值以及像素位置。
[0110] 具体是，分段部11按照以下的式2，算出新的重心的像素值(lk—n6W，ak_new? bk_new)以
及像素彳AA 直(xk_new，Yk—new ) ?
【权利要求】
1.一种图像处理装置，在第三图像中追踪第一图像所包含的对象物体，所述第三图像是在所述第一图像之后被拍摄的图像，该图像处理装置具备: 分段部，根据像素值的类似性，将所述第一图像以及所述第三图像分别分割成多个段； 指示部，指示所述第一图像中的所述对象物体的位置； 基准区域设定部，将包含指示段的段集合设定为基准区域，所述指示段是存在于被指示的所述位置的段； 提取部，从所述基准区域提取表示第一特征的特征量，以此作为对象物体特征量； 对象区域设定部，根据从特征区域提取的特征点的位置以及与提取的所述特征点对应的所述第三图像内的特征点的位置之间的关系，在所述第三图像内设定对象区域，所述特征区域是在与所述第三图像不同的时刻被拍摄的第二图像内的、与所述对象物体对应的区域；以及 追踪部，利用所述对象物体特征量，判断所述对象区域所包含的各段是否就是与所述对象物体对应的段，从而在所述第三图像中追踪所述对象物体。
2.如权利要求1所述的图像处理装置， 所述对象区域设定部，根据表示与所述第一特征不同的第二特征的特征量，检测与从所述第二图像内的特征区域提取到的特征点对应的、所述第三图像内的特征点，并以所述对象区域的位置依赖于运动矢量的方式设定所述对象区域，所述运动矢量是根据检测出的所述第三图像内的特征点和 从所述特征区域提取到的特征点而获得的运动矢量。
3.如权利要求1或者2所述的图像处理装置， 所述对象区域设定部，根据表示与所述第一特征不同的第二特征的特征量，检测与从所述特征区域提取到的多个所述特征点对应的、所述第三图像内的多个特征点，并以所述对象区域的尺寸依赖于变化度的方式设定所述对象区域，所述变化度是被检测出的所述第三图像内的多个特征点间的距离相对于从所述第二图像内的特征区域提取的多个特征点间的距离的变化度。
4.如权利要求1至3的任一项所述的图像处理装置， 所述特征区域是包含与所述对象物体对应的段的区域，并且是比由与所述对象物体对应的段构成的区域大的区域。
5.如权利要求1至4的任一项所述的图像处理装置， 所述分段部，只将所述第三图像中的所述对象区域分割成多个段。
6.如权利要求1至5的任一项所述的图像处理装置， 所述提取部，在所述基准区域包含多个段的情况下，将从所述多个段提取的多个特征量的代表值，作为所述对象物体特征量而提取。
7.如权利要求1至6的任一项所述的图像处理装置， 所述提取部，还从所述基准区域外的区域提取表示所述第一特征的特征量，以此作为非对象物体特征量， 所述追踪部，通过判别从所述对象区域中包含的各段提取的、表示所述第一特征的特征量与所述对象物体特征量以及所述非对象物体特征量的哪一方类似，来判断所述各段是否就是与所述对象物体对应的段。
8.如权利要求7所述的图像处理装置， 所述提取部，在所述基准区域外的区域包含多个段的情况下，将从所述多个段提取的多个特征量的代表值，作为所述非对象物体特征量而提取。
9.如权利要求1至8的任一项所述的图像处理装置， 所述第一图像、所述第二图像以及所述第三图像被包含在动态图像中。
10.如权利要求1至9的任一项所述的图像处理装置， 所述图像处理装置被构成为集成电路。
11.一种摄像装置，具备: 如权利要求1至10的任一项所述的图像处理装置；以及 摄像部，拍摄所述第一图像、所述第二图像以及所述第三图像。
12.—种图像处理方法，在第三图像中追踪第一图像所包含的对象物体，所述第三图像是在所述第一图像之后被拍摄的图像，该图像处理方法包括: 第一分段步骤，根据像素值的类似性，将所述第一图像分割成多个段； 指示步骤，指示所述第一图像中的所述对象物体的位置； 基准区域设定步骤，将包含指示段的段集合设定为基准区域，所述指示段是存在于被指示的所述位置的段； 提取步骤，从所述基准区域提取表示第一特征的特征量，以此作为对象物体特征量； 对象区域设定步骤，根据从特征区域提取的特征点的位置以及与提取的所述特征点对应的所述第三图像内的特征点的位置之间的关系，在所述第三图像内设定对象区域，所述特征区域是在与所述第三图像不同的时刻被拍摄的第二图像内的、与所述对象物体对应的区域； 第二分段步骤，根据像素值的类似性，将所述第三图像分割成多个段；以及 追踪步骤，利用所述对象物体特征量，判断所述对象区域所包含的各段是否就是与所述对象物体对应的段，从而在所述第三图像中追踪所述对象物体。
13.一种程序，用于使计算机执行权利要求12所述的图像处理方法。
【文档编号】G06T7/20GK103548056SQ201380001433
【公开日】2014年1月29日 申请日期:2013年3月8日 优先权日:2012年3月26日
【发明者】石井育规 申请人:松下电器产业株式会社