专利名称：对象位置估计设备、对象位置估计方法和程序的制作方法
技术领域：
本发明涉及使用多个摄像机图像来估计对象位置的对象位置估计设备、对象位置估计方法和程序。
背景技术：
传统上，利用对象位置估计设备、对象位置估计方法和程序，来估计目标对象在图像监视系统中的位置(即，对于地面的位置)。日本专利申请待审公开No. 2008-15573(以下称为“现有技术”)公开了与这类对象位置估计设备相关的技术。在现有技术中，公开了一种设备发明，使用多个摄像机图像来确定目标对象在真实空间中的存在，并估计目标对象的位置。遵循根据现有技术的估计目标对象位置的设备的方法，配置多个摄像机，使得每个摄像机的视场在执行位置估计的真实空间(即，三维空间)中彼此重叠。然后，使用包括背景减去法和帧差异法在内的图像处理，从由每个摄像机获取的图像中提取目标对象的运动对象区域。每个摄像机处于以下状态事先执行摄像机校准，使得二维的摄像机图像的坐标和三维真实空间可以相互转换。每个摄像机在该状态下捕捉目标对象。接着，根据现有技术的设备逆向地将包括从每个摄像机提取的运动对象区域在内的图像投影至在真实空间中指定了该图像的平面。接着，根据现有技术的设备在每个平面上检测逆向投影的来自所有摄像机的运动对象区域的重叠。采用该方式，根据现有技术的设备确定运动对象区域(目标对象)在真实空间中的存在，并估计对象的位置。
发明内容
技术问题在用户执行现有技术中描述的方法的情况下，可能出现以下问题。除了从逆向投影的运动对象区域的重叠获取的真实空间中对象的实际目标对象，根据现有技术的设备还可能检测到重象对象(作为示例，如图1所示)。由于根据现有技术的设备可能根据这些重象对象来估计对象位置，在该情况下，用户可能接收到不正确的信息。以下描述了该问题可能发生的原因。根据现有技术的图1所示的设备对重象对象的检测是由对大范围区域执行运动对象区域的逆向投影(即，视锥)的过程引起的，所述大范围区域包括真实空间中的实际目标对象(作为示例，如图1中的区域S所示)。因此，根据摄像机A、摄像机B和实际目标对象在位置和方向上的相对位置关系，将形成不同于目标对象的重象对象。鉴于上述技术问题，提出了本发明，并且目的在于提供一种对象位置估计设备、对象位置估计方法和程序，能够在使用视锥相交法获取对象位置的技术中，降低基于重象对象的不正确的位置估计的频率。技术方案为了解决上述问题，提供了根据本发明的对象位置估计设备，其中，所述设备包括候选对象获取单元，通过视锥相交法来估计对象位置并获取候选对象；候选对象信息存储单元，针对基于捕捉到的图像获取的对象的视锥，存储与候选对象间的重叠有关的信息；联动度获取单元，针对候选对象获取作为联动度的指标，并指示候选对象间的相互关系，所述指标是基于包括与候选对象的运动联动的其他候选对象在内的视锥的数目计算的；以及对象候选确定单元，通过基于所获取的指标的后验概率，来将候选对象识别为对象或非对象，并输出被确定为对象的候选对象的位置。此外，根据本发明的对象位置估计方法包括通过视锥相交法来估计对象位置并获取候选对象；针对基于捕捉到的图像获取的对象的视锥，存储与候选对象间的重叠有关的信息；针对候选对象获取作为联动度的指标，并指示候选对象间的相互关系，所述指标是基于包括与候选对象的运动联动的其他候选对象在内的视锥的数目计算的；以及通过基于所获取的指标的后验概率，来将候选对象识别为对象或非对象，并输出被确定为对象的候选对象的位置。此外，根据本发明的程序使计算机执行以下过程候选对象获取过程，其中，通过视锥相交法来估计对象位置并获取候选对象；候选对象信息存储过程，其中，针对基于捕捉到的图像获取的对象的视锥，存储与候选对象间的重叠有关的信息；联动度获取过程，其中，获取作为联动度的指标，并指示候选对象间的相互关系，所述指标是基于包括与候选对象的运动联动的其他候选对象在内的视锥的数目计算的；以及候选对象确定过程，其中，通过基于所获取的指标的后验概率，来将候选对象识别为对象或非对象，并输出被确定为对象的候选对象的位置。技术效果根据本发明，对于使用视锥相交法获取对象位置的技术，(本发明)能够降低因重象对象导致估计出不正确的对象位置的可能性。
图1是示出了重象对象的定义及其创建情形的图，所述重象对象属于现有技术问题。图2是示出了根据本发明第一实施例的配置的框图。图3是示出了根据第一实施例的、在对象候选信息存储装置中存储的信息的示例的图。图4是示出了根据第一实施例的、使用视锥相交法来获取候选对象的示例的图。图5是示出了根据第一实施例的、使用对象模型标记的对象体元的示例的图。图6是示出了根据第一实施例的、获取与每个对象体元的重叠有关的信息的图。图7是示出了根据第一实施例的、计算获取联动度Gi所需Ki的过程图像的图。图8是示出了根据本发明第一实施例的操作的流程图。图9是示出了根据本发明第一实施例的操作的流程图。图10是示出了根据本发明第一实施例的操作的流程图。图11是示出了根据本发明第一实施例的操作的流程图。图12是示出了根据本发明第一实施例的操作的流程图。图13是示出了根据本发明第一实施例的操作的流程图。
图14是示出了根据本发明第一实施例的操作的流程图。图15是示出了根据本发明第二实施例的配置的框图。图16是示出了根据本发明第二实施例的操作的流程图。图17是示出了根据本发明第二实施例的操作的流程图。图18是示出了根据本发明第三实施例的配置的框图。图19是示出了根据本发明第一实施例的另一配置的框图。图20是示出了根据本发明第一实施例的另一配置的框图。
具体实施例方式第一示例实施例下面，将参照附图详细地描述根据本发明的第一实施例。图2是示出了根据第一实施例的配置的框图。参照图2描述第一实施例。根据该实施例的对象位置估计设备包括n个图像获取单元，包括从运动图像获取图像的第一图像获取单元至第η图像获取单元，所述运动图像是由数字摄像机或视频摄像机等获取的；数据处理设备3，通过程序控制进行操作；以及存储设备4，存储信息。所述存储设备4包括候选对象信息存储单元41。候选对象信息存储单元41将从候选对象获取单元31获取的对象位置识别为存在对象候选(候选对象)的位置，并将与候选对象有关的信息与其位置一起存储。此外，候选对象信息存储单元41存储诸如候选对象的位置信息(即，平面上的坐标)以及与候选对象同其他候选对象相互重叠有关的信息。与重叠有关的信息指针对第 c图像获取单元(c :1至η，η是自然数)所创建的视锥，候选对象间的重叠。与重叠有关的信息包括诸如针对第c图像获取单元所创建的视锥，候选对象间的重叠的存在性；在第c 图像获取单元的视场中观察到候选对象的存在性(以下，将观察到候选对象的情形称为清晰的视场，将未观察到候选对象的情形称为无视场)；以及重叠状态下的候选对象的编号。图3示出了信息内容的示例。其中，表格中0的下标i指示1:1至111，且111=3。此外，图像获取装置的编号c指示(；:1至11，且11 =
此外，每行中重叠的存在性以及视场的存在性的数字和符号分别由以下标记来表示1:重叠(清晰的视场).0:不重叠(清晰的视场)-无视场此外，候选对象信息存储41存储包括过去获取的信息在内的上述信息。数据处理设备3包括候选对象获取单元31、重叠状态确定单元32、置信度获取单元33、联动度获取单元34和对象候选确定单元35。候选对象获取单元31使用视锥相交法来估计对象位置，并获取候选对象。具体地，候选对象获取单元31将第一图像获取单元1和第η图像获取单元2的图像捕捉定时进行同步，并从这些图像获取单元获取图像。候选对象获取单元31对这些图像中的每一个图像执行包括背景减去等在内的图像处理，并获取指示对象区域的图像。候选对象获取单元 31使用事先获取的摄像机参数以及指示对象区域的图像，通过视锥相交法获取对象体元 (即，指示对象的体元)。接着，候选对象获取单元31对于平面上的位置统计对象体元的数目，执行阈值处理、标记和质心计算等，并估计对象位置。候选对象获取单元31在候选对象信息存储单元 41中，将所述位置处的相应的对象体元存储为构成候选对象的对象体元。虽然以上描述指出了对象位置估计(即，获取候选对象)的示例，但是可以应用任何方法，只要该方法包括使用视锥相交法来估计对象位置即可。图5示出了候选对象获取单元31通过图4所示的视锥相交来估计对象位置并获取候选对象01和02的示例。即使候选对象获取单元31创建了对象体元，也可以通过候选对象获取单元31在以下阈值处理中排除对象体元，并且所创建的对象体元可能不是候选对象。以上描述中指出的摄像机参数指将屏幕上的二维坐标与真实空间上的三维坐标相关联的参数。即，摄像机参数指示二维坐标和三维坐标间的转换参数、图像获取单元的以三维坐标表示的位置、以及图像获取单元的三维空间或二维平面中的方向。使用与每个图像获取单元相对应的摄像机参数，通过候选对象获取单元31的转换过程，图像获取单元获取的二维坐标的图像以及真实空间的三维坐标可以相互转换。重叠状态确定单元32获取与候选对象间的重叠有关的信息。首先，重叠状态确定单元32执行将对象体元标记为候选对象。如图5所示，重叠状态确定单元32配置三维模型(即，对象模型)，并执行将包括在模型中的对象体元标记为候选对象Oi的对象体元，所述三维模型示出了候选对象Oi的位置处的目标对象的形状。重叠状态确定单元32不使用(或移除)那些不属于任何候选对象的对象体元。作为对象模型的示例，在目标对象是行人的情况下，重叠状态确定单元32使用圆柱形模型。在以上描述中，虽然描述了重叠状态确定单元32使用对象模型来执行对对象体元的标记的示例，但是可以使用任何方法，只要在目标对象存在于候选对象的位置的假设情况下，重叠状态确定单元32能够执行对对象体元的标记即可。接着，重叠状态确定单元32在第c图像获取单元创建的视锥处，针对每个候选对象Oi,获取与候选对象间的重叠有关的信息。首先，重叠状态确定单元32在始于第c图像获取单元的投影方向上，针对对象体元，检查摄像机的视场的存在性(即，能或不能保持清晰的视场)，所述对象体元被执行标记为候选对象0”在该情况下，当摄像机的视场中存在障碍时，重叠状态确定单元32检查是否存在未被障碍阻挡的区域。接着，在清晰的摄像机视场可用的情况下，重叠状态确定单元32对于整个投影方向，检查候选对象Oi以外的候选对象的对象体元与每个候选对象Oi间是否存在重叠。在存在重叠的情况下，接着，重叠状态确定单元32提取处于重叠状态的对象体元的所有候选对象。图6示出了上述操作的示例。其中，目标对象的对象体元处于以下条件下视场的存在性清晰重叠的存在性重叠处于重叠状态的对象体元的候选对象02
重叠状态确定单元32对将被标记为候选对象Oi的整个对象体元执行所述操作， 并且重叠状态确定单元32使用式(1)确定重叠状态
int
t^ i c ,^
f^ (1)其中，Fi,。是候选对象Oi中，从第c图像获取单元观察具有清晰的视场的对象体元的数目；Ei,。是候选对象Oi中，针对始于第c图像获取单元的投影方向，处于重叠状态的对象体元的数目；以及11^是阈值。当满足式(1)的条件时，重叠状态确定单元32判定针对候选对象Oi在第c图像获取单元处创建的视锥上存在候选对象间的重叠。换言之，在候选对象的全部对象体元大都与其他候选对象的对象体元重叠的情况下，重叠状态确定单元32确定候选对象与其他候选对象完全重叠。采用该方式，当重叠的对象体元的数目不满足式(1)时，重叠状态确定单元32确定不存在重叠(即，无重叠)。此外，在Fi,。= 0 ( S卩，对于第c图像获取单元，不存在视场)的情况下，重叠状态确定单元32确定对于第c图像获取单元，不存在视场。此外，在重叠状态确定单元32确定存在重叠(即，候选对象重叠)的情况下，重叠状态确定单元32提取具有处于重叠状态下的对象体元的所有候选对象，作为处于重叠状态的候选对象。重叠状态确定单元32在候选对象信息存储单元41中存储与这些重叠状态的确定有关的所有信息。重叠状态确定单元32针对所有候选对象Oi以及针对所有图像获取单元(即，第c 图像获取单元)执行这些操作。此外，重叠状态确定单元32对对象体元数目FiicJnEuW 计数规则可以包括将同一投影方向上的对象体元的数目计为1的计数方法。置信度获取单元33针对关于对象体元的信息获取置信度，所述置信度是通过视锥相交法获取的，并且是判决候选对象Oi为现存对象所需的。候选对象Oi由候选对象获取单元31基于视锥相交法予以确定。在图像获取单元的所有视锥与其他候选对象重叠的情况下，候选对象可能是重象对象。因此，降低信息的置信度。此外，在与其他候选对象的重叠数目可能增加的情况下，更大程度地降低置信度。相应地，实施例将置信度定义为值。通过使用该值，置信度获取单元33识别候选对象Oi是对象还是非对象(即，重象对象)。置信度获取单元33使用式( 获取置信度 Ri:
(^or - iS ^ L··
L “ ’‘
l·. ■ (2)此处，Si是每个图像获取单元的针对候选对象Oi被确定为清晰的视场视锥的数目，并且是不大于每个图像获取单元的总视锥数的值。Li是每个图像获取单元的针对候选对象Oi被确定为重叠的视锥的数目。α是系数，并取1至2间的值。置信度氏将指示0和 1间的值。式( 指示在重叠发生在每个图像获取单元的针对候选对象Oi具有清晰的视场的所有视锥(即，Si = Li)上的情况下，置信度随重叠数目变大而降低。此外，由于存在至少一个不重叠的图像获取单元的情形指示不可能存在重象对象，置信度获取单元33判定关于与该视锥相交有关的信息的置信度是高( = 1)。置信度获取单元33从候选对象信息存储单元41中提取在式O)的计算中使用的Si和L”考虑到候选对象间的重叠情形，置信度氏可以被表示为如式C3)所示。置信度获取单元33对于被确定为具有清晰的视场的图像获取单元(即，第c图像获取单元)，执行式 (3)中Σ的计算以及“min”的选择。
权利要求
1.一种对象位置估计设备，包括对象候选获取装置，用于通过视锥相交法来估计对象位置并获取候选对象； 对象候选信息存储装置，针对基于捕捉到的图像所获取的对象的视锥，存储与所述候选对象间的重叠有关的信息；联动度获取装置，用于获取所述候选对象的联动度，所述联动度是基于包括与所述候选对象的运动联动的其他候选对象在内的视锥的数目计算的；或者置信度获取装置，用于获取所述候选对象的置信度，所述置信度是基于重叠条件确定装置确定存在所述候选对象与其他候选对象的重叠的视锥的数目计算的；以及候选对象确定装置，用于通过后验概率将所述候选对象识别为对象或非对象，并输出被确定为对象的所述候选对象的位置，所述后验概率是基于所获取的所述联动度或所述置信度计算的。
2.根据权利要求1所述的对象位置估计设备，包括连续度获取装置，用于针对所述候选对象获取连续度，所述连续度包括差和置信度，所述差是所述候选对象的当前位置和与所述候选对象相对应的候选对象的前一位置间的差， 所述置信度是与所述候选对象相对应的在先候选对象的置信度，其中所述候选对象确定装置通过后验概率将所述候选识别为对象或非对象，所述后验概率是基于所述联动度或基于所述置信度或基于所述连续度计算的。
3.根据权利要求1或2所述的对象位置估计设备，其中所述联动度是通过从1中减去一个值的倒数与预先固定的系数的乘积来计算的，所述值是通过将包括与所述候选对象的运动联动的其他候选对象在内的视锥的数目加1获得的。
4.根据权利要求1至3中任一项所述的对象位置估计设备，其中所述置信度获取装置如果在基于所捕捉的候选对象的图像而获取的视锥中被确定为具有清晰的视场的视锥的数目不同于在基于所捕捉的候选对象的图像而获取的视锥中被确定为与其他候选对象重叠的视锥的数目，将所述置信度设置为1 ；以及如果在基于所捕捉的候选对象的图像而获取的视锥中被确定为具有清晰的视场的视锥的数目与在基于所捕捉的候选对象的图像而获取的视锥中被确定为与其他候选对象重叠的视锥的数目相同，将所述置信度设置为被确定为重叠的视锥的数目的倒数值与预先固定的系数的乘积。
5.根据权利要求2所述的对象位置估计设备，其中，在存在与所述候选对象相对应的多个在先候选对象的情况下，连续度获取装置选择位于与所述当前候选对象最近的位置并且与所述候选对象相对应的在先候选对象。
6.一种对象位置估计方法，包括通过视锥相交法来估计对象位置并获取候选对象；针对基于捕捉到的图像所获取的对象的视锥，存储与所述候选对象间的重叠有关的信息；获取所述候选对象的联动度，所述联动度是基于包括与所述候选对象的运动联动的其他候选对象在内的视锥的数目计算的；或者基于所存储的与重叠有关的所述信息获取针对所述候选对象被确定为与其他候选对象重叠的视锥的数目，并基于所述视锥的数目计算置信度；通过后验概率将所述候选对象识别为对象或非对象，所述后验概率是基于所获取的所获取的所述联动度或所述置信度计算的；以及输出被确定为对象的所述候选对象的位置。
7.根据权利要求6所述的对象位置估计方法，包括获取连续度，所述连续度包括差和置信度，所述差是所述候选对象的当前位置和与所述候选对象相对应的候选对象的前一位置间的差，所述置信度是与所述候选对象相对应的在先候选对象的置信度，以及通过后验概率将所述候选识别为对象或非对象，所述后验概率是基于所述联动度或基于所述置信度或基于所述连续度计算的。
8.根据权利要求6或7所述的对象位置估计方法，其特征在于所述联动度是通过从1中减去一个值的倒数与预先固定的系数的乘积来计算的，所述值是通过将包括与所述候选对象的运动联动的其他候选对象在内的视锥的数目加1获得的。
9.根据权利要求6至8中任一项所述的对象位置估计方法，包括如果在基于所捕捉的候选对象的图像而获取的视锥中被确定为具有清晰的视场的视锥的数目不同于在基于所捕捉的候选对象的图像而获取的视锥中被确定为与其他候选对象重叠的视锥的数目，将所述置信度设置为1 ；以及如果在基于所捕捉的候选对象的图像而获取的视锥中被确定为具有清晰的视场的视锥的数目与在基于所捕捉的候选对象的图像而获取的视锥中被确定为与其他候选对象重叠的视锥的数目相同，将所述置信度设置为被确定为重叠的视锥的数目的倒数值与预先固定的系数的乘积。
10.根据权利要求7所述的对象位置估计方法，其中，在存在与所述候选对象相对应的多个在先候选对象的情况下，选择位于与所述当前候选对象最近的位置并且与所述候选对象相对应的在先候选对象。
11.一种使对象位置估计设备执行以下步骤的过程候选对象获取过程，其中，对象候选获取装置通过视锥相交法来估计对象位置并获取候选对象；候选对象信息存储过程，其中，所述对象位置估计设备针对基于捕捉到的图像所获取的对象的视锥，存储与所述候选对象间的重叠有关的信息；联动度获取过程，其中，对象位置估计设备获取所述候选对象的联动度，所述联动度是基于包括与所述候选对象的运动联动的其他候选对象在内的视锥的数目计算的；或者置信度获取过程，其中，对象位置估计设备获取所述候选对象的置信度，所述置信度是基于重叠条件确定装置基于在所述候选对象信息存储过程存储的信息确定存在所述候选对象与其他候选对象的重叠的视锥的数目计算的；以及候选对象确定过程，其中，对象位置估计设备通过后验概率将所述候选对象识别为对象或非对象，并输出被确定为对象的所述候选对象的位置，所述后验概率是基于所获取的所述联动度或所述置信度计算的。
12.根据权利要求11所述的程序，使对象位置估计设备执行以下过程连续度获取过程，其中，对象位置估计设备获取连续度，所述连续度包括差和置信度， 所述差是所述候选对象的当前位置和与所述候选对象相对应的候选对象的前一位置间的差，所述置信度是与所述候选对象相对应的在先候选对象的置信度，以及候选对象确定过程，其中，对象位置估计设备通过后验概率将所述候选识别为对象或非对象，并输出被确定为对象的所述候选对象的位置，所述后验概率是基于所述联动度或基于所述置信度或基于所述连续度计算的。
13.根据权利要求11或12所述的程序，其中在所述联动度获取过程中，对象位置估计设备通过从1中减去一个值的倒数与预先固定的系数的乘积来进行计算，所述值是通过将包括与所述候选对象的运动联动的其他候选对象在内的视锥的数目加1获得的。
14.根据权利要求11或12所述的程序，其中，在所述置信度获取过程中，如果在基于所捕捉的候选对象的图像而获取的视锥中被确定为具有清晰的视场的视锥的数目不同于在基于所捕捉的候选对象的图像而获取的视锥中被确定为与其他候选对象重叠的视锥的数目，对象位置估计设备将所述置信度设置为1 ；以及如果在基于所捕捉的候选对象的图像而获取的视锥中被确定为具有清晰的视场的视锥的数目与在基于所捕捉的候选对象的图像而获取的视锥中被确定为与其他候选对象重叠的视锥的数目相同，对象位置估计设备将所述置信度设置为被确定为重叠的视锥的数目的倒数值与预先固定的系数的乘积。
15.根据权利要求12所述的程序，其中，在对于所述对象存在多个过去位置的情况下， 在所述连续度获取过程中，对象位置估计设备获取位于与所述当前候选对象最近的位置的过去位置的差。
全文摘要
在通过视锥相交法获取对象位置的技术中，提供了一种对象位置估计设备，该对象位置估计设备减少了因重象对象导致的对不正确的位置的估计，在所述对象位置估计设备中，对象候选获取装置通过视锥相交法来估计对象位置并获取候选对象；对象候选信息存储装置针对基于捕捉到的图像所获取的对象的视锥，存储与所述候选对象间的重叠有关的信息；联动度获取装置获取作为联动度的指标，并针对候选对象指示候选对象间的相互关系，所述指标是基于包括与所述候选对象的运动联动的其他候选对象在内的视锥的数目计算的；以及候选对象确定装置通过后验概率将所述候选对象识别为对象或非对象，并输出被确定为对象的所述候选对象的位置，所述后验概率是基于所获取的指标计算的。
文档编号G06T7/20GK102414718SQ20108001881
公开日2012年4月11日 申请日期2010年4月21日 优先权日2009年4月28日
发明者池田浩雄 申请人:日本电气株式会社