专利名称：对象物追踪装置、对象物追踪方法、以及对象物追踪程序的制作方法
技术领域：
本发明涉及使用粒子过滤器追踪视频中放映的对象物的位置的对象物追踪装置、 对象物追踪方法、以及对象物追踪程序。
背景技术：
以往，使用粒子过滤器(particle filter)追踪视频中放映的人等对象物的位置 (例如参照专利文献1和非专利文献1)。在专利文献1中记载的技术和非专利文献1中记载的技术(以下，统称为“现有技术”)中，首先，求视频中的对象物的图像的特征量。在现有技术中，从对象物在时刻t-ι的位置，生成多个表示对象在下一时刻t的位置的候补的粒子，在时刻t的各个粒子与对象物在时刻t-ι的位置之间，进行特征量的匹配。并且，在现有技术中，根据其相似度，对于各个粒子计算该粒子是对象物在时刻t的位置的似然。并且，在现有技术中，对每个对象物，将似然最高的粒子的位置估计为对象物在时刻t的位置。由此，在现有技术中，能够持续追踪同一对象物的位置。另外，特别地，在专利文献1记载的技术中，在特征量是表示对象物的轮廓曲线的形状特征量时，使用颜色特征量校正上述似然。具体而言，在专利文献1记载的技术中，首先，例如对每个粒子计算作为轮廓曲线内的区域的颜色直方图的颜色特征量。并且，在专利文献1记载的技术中，通过直方图相交(histogram intersection)，计算对象物的颜色特征量的颜色直方图和各个粒子的颜色直方图之间的相似度。之后，在专利文献1记载的技术中，基于计算结果校正上述似然。由此，在专利文献1记载的技术中，即使在轮廓曲线相似的其他对象物位于作为目标的对象物的附近的情况下，也能够降低错误地追踪该其他对象物的可能性。在先技术文献专利文献专利文献1 特开2009-87090号公报非专利文献1 :M. Isard and A. Blake, ‘‘ Condensation-Conditional Density Propagation for Visual Tracking" , International Journal of Computer Vision, vol. 29，no. 1，pp. 5-28,1998
发明内容
发明要解决的问题然而，在现有技术中，例如，在诸如工厂等穿着相同颜色的工作服的多名员工为对象物时等、在对象物之间图像的特征量相似的情况下，难以进行对象物的区分。因此，在现有技术中，无法充分降低错误地追踪其他对象物(以下记载为“错误追踪”)的可能性。本发明的目的在于提供能够进一步降低错误追踪的可能性的对象物追踪装置、对象物追踪方法、以及对象物追踪程序。解决问题的方案本发明的对象物追踪装置使用粒子过滤器追踪视频中放映的对象物的位置，包括特征量计算单元，生成多个表示所述对象物的位置的候补的粒子，计算所述对象物的图像的特征量和所述粒子的各自的图像的特征量；似然计算单元，对每个所述粒子，从该粒子的图像的特征量和所述对象物的图像的特征量的相似度，计算该粒子是所述对象物的位置的似然；位置估计单元，基于计算出的所述粒子的似然，估计所述对象物的位置；以及似然校正单元，在存在多个所述对象物，对应于这些对象物所估计的多个位置重叠时，校正所述似然。。本发明的对象物追踪方法使用粒子过滤器追踪视频中放映的对象物的位置，该方法包括以下步骤生成多个表示所述对象物的位置的候补的粒子，计算所述对象物的图像的特征量和所述粒子的各自的图像的特征量；对每个所述粒子，从该粒子的图像的特征量和所述对象物的图像的特征量的相似度，计算该粒子是所述对象物的位置的似然；基于计算出的所述粒子的似然，估计所述对象物的位置；以及在存在多个所述对象物，对应于这些对象物所估计的多个位置重叠时，校正所述似然。本发明的对象物追踪程序使用粒子过滤器追踪视频中放映的对象物的位置，该对象物追踪程序使计算机执行以下的处理生成多个表示所述对象物的位置的候补的粒子， 计算所述对象物的图像的特征量和所述粒子的各自的图像的特征量；对每个所述粒子，从该粒子的图像的特征量和所述对象物的图像的特征量的相似度，计算该粒子是所述对象物的位置的似然；基于计算出的所述粒子的似然，估计所述对象物的位置；以及在存在多个所述对象物，对应于这些对象物所估计的多个位置重叠时，校正所述似然。发明的效果根据本发明，能够在对象物之间估计位置重叠时校正粒子的似然，能够进一步降低错误追踪的可能性。
图1是表示包含本发明的一个实施方式的对象物追踪装置的对象物追踪系统的结构的系统结构图。图2是表示本实施方式的对象物的位置的定义的图。图3是用于说明使用了本实施方式的粒子过滤器的追踪的图。图4是表示本实施方式的对象物追踪装置的结构的方框图。图5是表示本实施方式的对象物追踪装置的整体动作的流程图。图6是表示本实施方式的位置估计处理的流程图。标号说明100对象物追踪系统200摄像装置300对象物追踪装置310图像取得单元320图像存储单元
330追踪指示单元340特征量计算单元350似然计算单元360位置估计单元370位置存储单元380重叠比例计算单元390似然校正单元400显示装置
具体实施例方式以下，参照附图详细地说明本发明的一个实施方式。图1是表示包含本发明的一个实施方式的对象物追踪装置的对象物追踪系统的结构的系统结构图。本实施方式说明将本发明适用于在摄影视频中追踪在工厂内穿着相同的工作服的多名员工的移动的系统的例子。在图1中，对象物追踪系统100包括摄像装置200、对象物追踪装置300、以及显示装置400。摄像装置200和显示装置400分别与对象物追踪装置300可通信地连接。摄像装置200是具有图像取得功能的设备，例如是数码相机。摄像装置200例如拍摄工厂内的情况，将摄影图像的时间序列数据(摄影视频)输出到对象物追踪装置300。对象物追踪装置300是具有对象物追踪功能的设备，例如是个人计算机。对象物追踪装置300从由摄像装置200输入的摄影视频，使用粒子过滤器，追踪对象物在图像上的位置(以下，简称为“位置”)(例如，参照专利文献1和非专利文献1)。其中，对象物追踪装置300在估计对象物的位置所使用的粒子中，降低与其他对象物的位置重叠的粒子的似然。然后，对象物追踪装置300生成将追踪结果在视觉上重叠在摄像视频上的图像(以下记载为“结果显示图像”)，并输出到显示装置400。显示装置400是具有显示图像的功能的设备，例如是液晶显示器。显示装置400 将从对象物追踪装置300输入的图像(结果显示图像)显示在画面上。这样构成的对象物追踪装置300即使在存在图像特征相似的对象物的情况下，也能够减少错误追踪。这里，连同粒子过滤器的概要一起，简单地说明对象物追踪装置300能够减少错误追踪的理由。粒子过滤器是贝叶斯过滤器的近似算法。对象物在时刻t的位置的概率分布能够对于在时刻t-Ι检测到的位置适用位置的预测、似然观测、以及重采样而取得。这里，所谓位置的预测，是指基于状态迁移模型而预测在时刻t的位置。所谓似然观测，是指基于该对象物的图像的特征量对于基准图像的特征量的相似度，求各个位置的似然。所谓重采样，是指提取将各个位置的概率密度分布离散化的值。所谓基准图像，是指作为追踪对象注册的图像，例如是过去取得的、追踪中的对象物的图像。对象物追踪装置300通过图像处理，周期性地进行来自摄影视频的对象物的检测。图2是表示本实施方式的对象物的位置的定义的图。如图2所示，对象物追踪装置300使用在图像面设定的XY轴，取得将检测到的对象物510的位置定义的信息。定义对象物510的位置的信息例如是包含与对象物510外接的矩形框520的左上坐标(X，y)、宽度《、以及高度h的参数集。再者，对象物510既可以是员工的全身，也可以是员工的上半身部分等其他部分。图3是用于说明使用了粒子过滤器的追踪的概要的图。在图3中，横轴示意性地表示各个位置。如图3所示，对象物追踪装置300在检测对象物的位置的各个周期，以作为在前一周期的时刻t-Ι的检测结果的对象物的位置，生成将各个位置的概率分布密度实体化的粒子(S》。这里以生成的粒子近似的概率分布密度的平均位置是对象物在时刻t的实际位置的可能性高的位置。然后，对象物追踪装置300使用状态迁移模型移动各个粒子(S； )。这里所移动的粒子的密度离散地表示在下一周期的时刻t的真的概率密度分布(用线510表示)。也就是说，移动后的粒子的密度的平均位置是对象物在时刻t的实际位置的可能性高的位置。 对象物追踪装置300对每个移动后的粒子，计算对作为追踪对象而注册的图像的相似度作为似然(S4)。然后，对象物追踪装置300将基于每个粒子的似然计算的概率分布的带权重的平均位置估计为对象物在时刻t的位置。其中，如已经说明的，在现有技术中，在对象物在视频上接近时，发生错误追踪的可能性高。于是，本实施方式的对象物追踪装置300在存在多个对象物，对应于这些对象物而估计的多个位置重叠时，校正粒子的似然。具体而言，对象物追踪装置300在第二对象物的粒子与第一对象物的位置的重叠区域的大小为第一规定值以上时，降低对应的粒子的似然。由此，对象物追踪装置300能够降低受其他对象物的图像的拖延而发生错误追踪的可能性。另外，对象物追踪装置300考虑在实际上重叠放映了对象物的位置的情况，利用在这种情况下似然不会过高的情况，仅在似然为第二规定值以上时才限制似然的校正。由此，对象物追踪装置300能够防止出现以下的情况，即尽管实际上重叠放映了对象物的位置而似然降低，导致无法进行位置检测。接着，说明对象物追踪装置300的结构。图4是表示对象物追踪装置300的结构的方框图。在图4中，对象物追踪装置300包括图像取得单元310、图像存储单元320、追踪指示单元330、特征量计算单元340、似然计算单元350、位置估计单元360、位置存储单元 370、重叠比例计算单元380、以及似然校正单元390。图像取得单元310从摄像装置200取得图像，并将其输出到图像存储单元320。图像存储单元320存储从图像取得单元310输入的图像。追踪指示单元330从图像存储单元320取得图像，例如通过适用背景差分法，从图像检测移动物体。这里，假设图像中放映的移动物体仅为员工。因此，追踪指示单元330从图像检测对象物。另外，追踪指示单元330对每个对象物判定其属于新检测到的对象物、或追踪中的对象物中的哪个对象物。所谓新检测到的对象物，是指开始移动的对象物、或进入到画面的对象物。另外，追踪中的对象物是指检测到前一时刻的位置的对象物。后面叙述有关该判定的细节。以下，将新检测到的对象物记载为“新对象物”，将追踪中的对象物记载为“追踪中对象物”。追踪指示单元330将图像和检测到的各个对象物的位置信息输出到特征量计算单元340。位置信息包括对象物的位置和状态标记，该状态标记表示对象物是新对象物和追踪中对象物中的哪个对象物(以下记载为“追踪状态”)。这里，假设对象物的位置包括与对象物外接的矩形框520的左上坐标(X，y)、宽度W、以及高度h。另外，追踪指示单元330 对于追踪中对象物，将后述的特征量计算单元340注册的参照直方图与该追踪中对象物对应关联后输出到特征量计算单元340。在后面叙述参照直方图。特征量计算单元340从所输入的位置信息取得各个对象物的位置和追踪状态。然后，特征量计算单元340对于新对象物，将其图像注册为追踪对象。具体而言， 特征量计算单元340计算新对象物的位置的图像区域的彩色直方图(以下记载为“参照直方图”)，并且将状态标记变更为追踪中对象物。然后，特征量计算单元340将图像、以及作为追踪对象而新注册的对象物的位置信息和参照直方图输出到似然计算单元350。作为追踪对象而新注册的对象物的位置信息和参照直方图也就是追踪中对象物的初始注册信息。另外，特征量计算单元340对于追踪中对象物，基于粒子过滤器方式，在其位置周围执行粒子的重采样、位置的预测、以及似然观测。具体而言，首先，特征量计算单元340在追踪中对象物的位置的周围，使似然高的粒子优先，对规定个数(例如200个)的粒子进行重采样(图3的S1、S2)。然后，特征量计算单元340基于状态迁移模型使重采样的粒子迁移(图3的S3)。 例如，特征量计算单元340采用在假设对象物进行等速直线运动的情况下，使其移动至考虑了每单位时刻的移动量和高斯噪声的位置这样的状态迁移模型。然后，特征量计算单元 340将图像、各个追踪中对象物的位置信息、参照直方图、以及粒子信息输出到似然计算单元350。粒子信息是定义所生成的各个粒子的信息，是各个粒子的位置，也就是定义粒子的矩形框的左上坐标、宽度、以及高度的参数集(参照图2)。似然计算单元350将输入的图像和各个对象物的参照直方图输出到位置估计单元360。另外，在输入了粒子信息时，似然计算单元350从粒子信息中对于每个粒子计算粒子过滤器的似然。具体而言，似然计算单元350对每个粒子计算彩色直方图。然后，似然计算单元350通过直方图相交计算计算结果与参照直方图之间的相似度，将计算结果作为该粒子是追踪中对象物的位置的似然。然后，似然计算单元350将各个对象物的位置信息、各个粒子的粒子信息以及似然输出到重叠比例计算单元380。重叠比例计算单元380对每个追踪中对象物的粒子计算其与其他对象物的重叠比例。重叠比例例如是重叠的区域的面积对于粒子的面积的比例。然后，重叠比例计算单元380将各个对象物的位置信息、各个粒子的粒子信息、似然、以及重叠比例输出到似然校正单元390。在存在多个追踪中对象物，对应这些追踪中对象物而由后述的位置估计单元360 估计的多个位置重叠时，似然校正单元390校正粒子的似然。具体而言，似然校正单元390 降低重叠比例为第一规定值以上、并且似然为第二规定值以上的粒子的似然。然后，似然校正单元390将各个对象物的位置信息、各个粒子的粒子信息以及似然输出到位置估计单元 360。位置估计单元360对每个追踪中对象物，计算根据移动后的各个粒子的似然进行了加权的概率分布的平均位置。接着，位置估计单元360计算各个粒子的似然的合计值(以下记载为“似然合计值”)。然后，位置估计单元360将该计算出的位置估计为该追踪中对象物在时刻t的位置，将估计的位置和它的似然合计值以及后述的N个粒子信息输出到位置存储单元370。位置存储单元370存储所输入的各个追踪中对象物在时刻t的位置以及它的似然合计值和N个粒子信息。由上述追踪指示单元330和重叠比例计算单元380参照位置存储单元370存储的各个追踪中对象物的位置。另外，位置存储单元370将存储的一系列的位置的时间序列数据与摄影图像以时刻对应关联后存储，生成使追踪中对象物的位置作为追踪结果与摄像视频在视觉上重叠的结果显示图像，并将其输出到显示装置400。具有这种结构的对象物追踪装置300能够在估计对象物的位置所使用的粒子中， 降低与其他对象物的位置大幅重叠的粒子的似然，进行位置估计。以下，说明对象物追踪装置300的动作。图5是表示对象物追踪装置300的整体动作的流程图。假设在对象物追踪装置300的图像存储单元320中存储有从摄像装置200发送来的摄影视频。首先，在步骤S1000中，追踪指示单元330判定是否通过用户操作(由系统的使用者按压程序的结束按钮等)等指示了追踪处理的结束。在被指示了结束追踪处理时(S1000:“是”)，追踪指示单元330直接结束处理。另外，在未被指示结束追踪处理时 (S1000 “否”)，追踪指示单元330进至步骤S2000。在步骤S2000中，追踪指示单元330从图像存储单元320中存储的时刻t_l的图像检测对象物，对每个对象物生成位置信息。具体而言，追踪指示单元330例如将对象物追踪系统100启动时取得的图像作为背景图像，通过背景差分法生成差分图像。然后，追踪指示单元330在差分图像中将具有被估计为对象物的大小、或形状等图像特征的区域检测为对象物的图像区域，并定义该位置。然后，追踪指示单元330对于检测到的各个对象物进行追踪状态的判定，与状态标记对应关联。然后，在步骤S3000中，追踪指示单元330从由时刻t_l的图像检测到的对象物中选择一个。然后，在步骤S4000中，追踪指示单元330判定所选择的对象物是开始追踪的对象物(以下记载为“追踪开始对象物”)还是追踪中对象物。例如基于在后述的位置存储单元370中存储的时刻t-Ι的追踪开始对象物或追踪中对象物的位置中，是否存在一致的程度为一定值以上的位置来进行该判定。此时，追踪指示单元330也可以从过去的多个位置信息计算追踪中对象物的移动方向。并且，在这种情况下，追踪指示单元330也可以对于以假设追踪中对象物在进行等速直线运动时的移动量和移动方向从时刻t-Ι的位置移动的位置，计算重叠比例。追踪指示单元330在所选择的对象物不是追踪开始对象物或追踪中对象物时，也就是说是新对象物时(S4000 “否”)，进至步骤S5000。另外，追踪指示单元330在所选择的对象物是追踪开始对象物或追踪中对象物时(S4000 “是”)，进至步骤S8000。在步骤S5000中，特征量计算单元340将所选择的对象物注册为追踪对象物。也就是说，特征量计算单元340生成新对象物的参照直方图并将其包含在位置信息中，并且将对应的状态标记，修改为表示是追踪开始对象物的内容。然后，在步骤S7000中，特征量计算单元340判断是否对从时刻t-Ι的图像中检测到的所有对象物进行了步骤S4000的处理。在处理了所有的对象物时(S7000:“是”)，特征量计算单元340返回步骤S1000。另外，在遗留有未处理的对象物时(S7000 “否”)，特征量计算单元340返回步骤S3000，选择未处理的对象物。另外，在步骤S6000中，追踪指示单元330判定所选择的对象物的位置信息的似然的合计值是否高。在所选择的对象物是追踪中对象物，并且上述似然合计值为第三规定值以上时，追踪指示单元330判定似然合计值足够高于继续进行追踪。另外，在所选择的对象物是追踪中对象物，并且后述的似然平均值小于第三规定值时，追踪指示单元330判定似然合计值低于继续进行追踪。在似然合计值高时(S6000:“是”)，追踪指示单元330进至步骤S8000。另外，在似然合计值较低时(S6000 “否”)，追踪指示单元330进至步骤S9000。在步骤S8000中，对象物追踪装置300进行位置估计处理，进至步骤S7000。在后面叙述位置估计处理。另外，在步骤S9000中，追踪指示单元330判定难以继续进行追踪，废弃作为所选择的对象物的追踪对象的注册，进至步骤S7000。也就是说，追踪指示单元330废弃所选择的对象物的位置信息。接着，使用图6所示的流程图，说明位置估计处理。首先，在步骤S8010中，特征量计算单元340在追踪中对象物的位置的周围，生成并配置作为实际的追踪中对象物在时刻t的位置的候补的粒子。此时，在所选择的对象物是追踪开始对象物时，特征量计算单元340随机配置N个粒子。另外，在所选择的对象物是追踪中对象物时，特征量计算单元340允许粒子的重复，并选择从时刻t-Ι的粒子开始的N 个粒子(重采样)。然后，特征量计算单元340废弃不选择的粒子。另外，优选特征量计算单元340更多地选择似然高的粒子。例如，特征量计算单元340也可以按似然从大到小的顺序，反复选择将第i的粒子的似然乘以N的值的数的粒子，直到N个为止。然后，在步骤S8020中，特征量计算单元340使N个粒子的每个粒子基于状态迁移模型移动，生成下一时刻t的粒子。例如，状态迁移模型是在假设为等速直线运动的情况下，将一定时间的移动量d与高斯噪声η相加，使位于坐标(xl、yl)的第i粒子移动到 (X1H+Iiijx^ Y1H+n^y)的内容。然后，在步骤S8030中，似然计算单元350计算对于对应的参照直方图的直方图相交，作为移动后的各个粒子的似然L。直方图相交是将参照直方图中的彩色值c的度数\、 与粒子的直方图中的彩色值c的度数b。中较小一方的值，对所有彩色值合计时的值。然后，在步骤S8040中，重叠比例计算单元380从所选择的跟踪中对象物的粒子中选择一个。然后，在步骤S8050中，重叠比例计算单元380对每个其他对象物，例如使用以下的式(1)，计算所选择的粒子与其他对象物得重叠比例Cr。这里，1 是所选择的粒子的面积，B是所选择的粒子与其他对象物的区域(与对象物外接的矩形框的区域，参照图2)的重叠部分的面积。Cr = B/Pa ......(1)在存在多个其他对象物时，重叠比例计算单元380将最大的重叠比例采用为最终的运算结果。再者，重叠比例计算单元380既可以从位置存储单元370取得其他对象物的位置，也可以从由似然计算单元350输入的位置信息取得其他对象物的位置。然后，在步骤S8060中，似然校正单元390判定所选择的粒子是否为似然的校正对象。似然校正单元390将重叠比例为第一规定值以上，并且似然为第二规定值以上的粒子， 判定为似然的校正对象，将其他粒子判定为不是似然的校正对象。第二规定值例如是所选择的追踪中对象物的N个粒子的、似然的直方图的众数、 或似然的平均值。在对第二规定值取众数时，容易降低仅受其他对象物的影响而升高的似然，所以难以受偏值的影响。因此，例如具有以下的优点，即在追踪中对象物的周围未均等地配置粒子的情况下有效。另外，在对第二规定值取平均值时，具有以下的优点，即不需要事先准备第二规定值，容易计算。在所选择的粒子是似然的校正对象时(S8060 “是”)，似然校正单元390进至步骤 S8070。另外，在所选择的粒子不是似然的校正对象时(S8060:“否”)，似然校正单元390进至下一步骤S8080。在步骤S8070中，似然校正单元390降低所选择的粒子的似然。具体而言，似然校正单元390用预先确定的方法求校正后的似然的值。粒子的似然的校正的方法可以采用各种方法。例如，似然校正单元390采用以下的校正值，该校正值是求似然与上述第二规定值的差分，与重叠比例和差分的组合对应关联地预先求得的校正值。或者，似然校正单元390采用以下的校正值，该校正值是求似然与所选择的追踪中对象物的粒子的似然的平均值的差分，与重叠比例和差分的组合对应关联地预先求得的校正值。或者，似然校正单元390采用以下的校正值，该校正值是求似然与所选择的粒子的似然的直方图的众数的差分，与重叠比例和差分的组合对应关联地预先求得的校正值。或者，似然校正单元390例如从最初的似然La和重叠比例Cr，使用以下的式(2) 计算校正后的似然La'。La' = LaX (I-Cr) ......(2)然后，在步骤S8080中，似然校正单元390判断是否对于所选择的追踪开始对象物或追踪中对象物的所有粒子进行了步骤S8060的处理。在处理了所有的粒子时(S8080: “是”)，似然校正单元390进至步骤S8090。另外，在遗留有未处理的粒子时(S8080 “否”)， 似然校正单元390返回步骤S8040，选择未处理的粒子。通过反复步骤S8040 S8080的处理，似然校正单元390能够降低受其他对象物的影响而似然升高的粒子的似然。然后，在步骤S8090中，位置估计单元360对于N个粒子，以每个粒子的似然为权重，对于粒子的位置求加权平均，将求得的值估计为下一时刻t的位置。也就是说，位置估计单元360用所求得的值更新位置存储单元370中存储的时刻t-Ι的位置信息。其结果是， 位置存储单元370使用显示装置400显示将追踪中对象物的追踪结果与摄像视频重叠的结果显示图像。另外，若是追踪开始对象物，则位置估计单元360将状态标记修改为表示追踪中对象物的内容。然后，位置估计单元360将所选择的追踪中对象物的参照直方图存储到位置存储单元370。另外，位置估计单元360将所选择的追踪中对象物的N个粒子的似然合计值存储到位置存储单元370。在该似然合计值低时，追踪结果发生错误的可能性高，所以，该结果不应被提示。因此，如上所述，在似然合计值小于第三预定值时，对象物追踪装置300 结束对于对应的追踪中对象物的追踪(参照图5的步骤S6000、S9000)。通过这样的处理，对象物追踪装置300能够使用粒子过滤器追踪对象物的位置， 在多个对象物的追踪位置重叠时，校正粒子的似然。再者，从步骤S1000到步骤S5000的流程处理可以称作是对某对象物的追踪初始化时的动作。另外，从步骤S1000到步骤S8000 的流程处理可以称作是对某对象物的追踪处理开始时和追踪处理继续时的动作。另外，从步骤S1000到步骤S9000的流程处理可以称作是对某对象物的追踪处理结束时的动作。再者，说明了对每个对象物和对每个粒子依序由各个单元进行处理的例子，但对象物追踪装置300也可以对于多个对象物、或对于多个粒子一次性地进行上述各种处理。如以上说明的这样，本实施方式的对象物追踪装置300使用粒子过滤器追踪对象物的位置，在多个对象物的追踪位置重叠时，校正粒子的似然。由此，在多个对象物的图像特征相似的情况下，在现有技术中存在受其他对象物的图像的拖延而发生错误追踪的可能性，对于此，对象物追踪装置300能够降低这种可能性。再者，在以上说明的实施方式中，对象物追踪装置300也可以在似然校正单元390 的前方设置邻近状态判定单元，该邻近状态判定单元对于每个粒子基于其重叠比例而判定邻近状态。在这种情况下，例如，邻近状态判定单元在重叠比例为第四规定值以上时判定该粒子为邻近状态，在重叠比例小于第四规定值时判定该粒子不是邻近状态。第四规定值例如是其他对象物与对象物的所有粒子的重叠比例的平均值。或者，第四规定值例如是其他对象物与对象物的所有粒子的重叠比例的直方图的众数。然后，对象物追踪装置300仅对于判定为是邻近状态的粒子，进行是否为似然的校正对象的判定。通过进行这种邻近状态判定，即使是发生重叠的粒子，邻近状态判定单元也能够判定其是似然的校正对象外的粒子。因此，对象物追踪装置300能够减少由于过度降低似然导致的错误追踪。另外，对象物追踪装置300也可以考虑由对象物的移动带来的在图像上的大小的变化，而根据对象物的移动缩放粒子的宽度和高度。例如，考虑摄像装置200以俯视地板的形式进行拍摄的环境。基于状态迁移模型的移动的结果，在粒子的Y坐标的值增大时(参照图幻，也就是粒子在图像上朝垂直下方移动时，被认为对象物正在接近摄像装置200。因此，例如，特征量计算单元340预先存储将对象物在图像上的Y轴方向的移动量和移动方向与对象物的大小变更的比例进行了对应关联的表。然后，特征量计算单元340 使用该表，以以下的方式校正粒子的宽度和高度，即在对象物朝近前移动时尺寸增大，对象物朝纵深移动时尺寸缩小。另外，对象物追踪装置300也可以不是基于每个粒子与其他对象物的重叠比例， 而是基于从粒子估计的多个对象物的位置是否重叠来校正粒子的似然。在这种情况下，对象物追踪装置300例如不进行似然的校正而直接估计对象物的位置，在尽管估计的位置与其他对象物的位置重叠，但相似度高时，降低该位置附近的概率密度。另外，对象物追踪装置300也可以提高重叠区域的大小小于第一规定值的粒子的似然，而不是降低重叠区域的大小为第一规定阈值以上的粒子的似然。另外，在本实施方式中，说明了摄像装置200与对象物追踪装置300分离的结构， 但也可以是摄像装置200与对象物追踪装置300 —体化的结构。另外，在本实施方式中，说明了将本发明适用于在摄影视频中追踪在工厂内穿着相同的工作服的多名员工的移动的系统的例子，但本发明的适用不限于此。本发明能够适用于从视频追踪对象物的其他各种装置和系统。在2010年2月19日提交的特愿第2010-34849号日本专利申请所包含的说明书、 附图和说明书摘要的公开内容，全部引用于本申请。工业实用性本发明的对象物追踪装置、对象物追踪方法、以及对象物追踪程序作为能够进一步降低错误追踪的可能性的对象物追踪装置、对象物追踪方法、以及对象物追踪程序是有用的。
权利要求
1.对象物追踪装置，使用粒子过滤器追踪视频中放映的对象物的位置，包括特征量计算单元，生成多个表示所述对象物的位置的候补的粒子，计算所述对象物的图像的特征量和所述粒子的各自的图像的特征量；似然计算单元，对每个所述粒子，从该粒子的图像的特征量和所述对象物的图像的特征量的相似度，计算该粒子是所述对象物的位置的似然；位置估计单元，基于计算出的所述粒子的似然，估计所述对象物的位置；以及似然校正单元，在存在多个所述对象物，对应于这些对象物所估计的多个位置重叠时， 校正所述似然。
2.如权利要求1所述的对象物追踪装置，所述对象物的位置根据与所述视频中的所述对象物的图像区域对应的区域而被定义， 所述对象物追踪装置还包括重叠比例计算单元，计算第二对象物的粒子对第一对象物的位置的重叠区域的大小，所述似然校正单元在所述重叠区域的大小为第一规定值以上时，降低所述第二对象物的对应的粒子的似然。
3.如权利要求2所述的对象物追踪装置，所述第一对象物的位置根据与所述视频中的所述第一对象物的图像区域外接的矩形区域而被定义，所述重叠区域的大小是重叠区域的面积对所述第二对象物的粒子的面积的比例。
4.如权利要求1所述的对象物追踪装置，所述相似度是所述对象物的图像的颜色直方图和所述粒子的图像的颜色直方图之间的相似度。
5.如权利要求2所述的对象物追踪装置，所述似然校正单元在所述重叠区域的大小为所述第一规定值以上，并且存在所述似然为第二规定值以上的粒子时，校正对应的粒子的似然。
6.如权利要求5所述的对象物追踪装置，所述第二规定值是所述第二对象物的粒子的似然的平均值。
7.如权利要求5所述的对象物追踪装置，所述第二规定值是所述第二对象物的粒子的似然的直方图的众数。
8.如权利要求5所述的对象物追踪装置，所述似然校正单元以对应于所述重叠区域的大小和所述似然的规定值的差分的大小， 校正所述似然。
9.对象物追踪方法，使用粒子过滤器追踪视频中放映的对象物的位置，该方法包括以下步骤生成多个表示所述对象物的位置的候补的粒子，计算所述对象物的图像的特征量和所述粒子的各自的图像的特征量；对每个所述粒子，从该粒子的图像的特征量和所述对象物的图像的特征量的相似度， 计算该粒子是所述对象物的位置的似然；基于计算出的所述粒子的似然，估计所述对象物的位置；以及在存在多个所述对象物，对应于这些对象物所估计的多个位置重叠时，校正所述似然。
10.对象物追踪程序，使用粒子过滤器追踪视频中放映的对象物的位置， 该对象物追踪程序使计算机执行以下的处理生成多个表示所述对象物的位置的候补的粒子，计算所述对象物的图像的特征量和所述粒子的各自的图像的特征量；对每个所述粒子，从该粒子的图像的特征量和所述对象物的图像的特征量的相似度， 计算该粒子是所述对象物的位置的似然；基于计算出的所述粒子的似然，估计所述对象物的位置；以及在存在多个所述对象物，对应于这些对象物所估计的多个位置重叠时，校正所述似然。
全文摘要
公开了能够进一步降低错误追踪的可能性的对象物追踪装置。对象物追踪装置(300)是使用粒子过滤器追踪视频中放映的对象物的位置的装置，包括生成多个表示对象物的位置的候补的粒子，计算对象物的图像的特征量和粒子的各自的图像的特征量的特征量计算单元(340)；对每个粒子，从该粒子的图像的特征量和对象物的图像的特征量的相似度，计算该粒子是对象物的位置的似然的似然计算单元(350)；基于计算出的粒子的似然，估计对象物的位置的位置估计单元(360)；以及在存在多个对象物，对应于这些对象物所估计的多个位置重叠时，校正似然的似然校正单元(390)。
文档编号G06T7/20GK102405483SQ20118000177
公开日2012年4月4日 申请日期2011年1月13日 优先权日2010年2月19日
发明者里雄二 申请人:松下电器产业株式会社