对象跟踪方法和设备的制作方法
【专利摘要】提供了一种对象跟踪方法和设备。所述对象跟踪方法包括：在当前帧视差图中检测对象的位置，其中对象的位置包括对象的尺寸和对象的中心；根据前预定帧视差图中检测出的对象的位置，预测当前帧视差图中对象的位置；在当前帧视差图中检测出的对象的位置与预测的对象的位置相匹配的情况下，利用前一帧视差图中检测出的对象的尺寸的置信度，对当前帧视差图中检测出的对象的位置进行校正，以获得校正的位置。
【专利说明】对象跟踪方法和设备
【技术领域】
[0001]本发明总体涉及图像识别，具体涉及对象跟踪方法和设备
【背景技术】
[0002]对象跟踪技术在辅助驾驶、车辆识别和跟踪、驾驶预警等众多领域中有着广泛的应用。
[0003]模板匹配跟踪是一种常见的对象跟踪方法。专利文献US7660438B2公开了一种即将发生的碰撞检测之前的对象跟踪方法和装置。在该专利中，在对象跟踪器的第一操作区域内检测对象，对象跟踪器确定对象的种类并跟踪对象，然后在碰撞检测器的第二操作区域内检测对象，最后利用碰撞检测器基于所述对象的种类启动安全措施。该专利的主要思想是预先存储对象位于各个位置和深度的模板，并将检测到的对象与各个模板相匹配。然而，在预先不知道被跟踪对象的尺寸以及在各个位置和深度的模板的情况下，该方法并不适用。
[0004]目前，越来越多的研究者开始利用视差图来检测和跟踪道路上的对象(例如，车辆)，并获得比利用2维图像进行跟踪要好的结果。基于中心的预测-检测-校正方法是其中一种常见用的跟踪方法。然而，在现实中，所获取的对象的视差图往往是不完整的，对象的一些部分(例如水平边)在视差图中可能没有对应的视差值，因此在这种情况下，只能检测到对象的一部分。例如，在如图1所示的视差图中，两个圆圈中的车的一部分没有视差值；由此，如图2的对应灰度图中所示，左侧圆圈中的车只有左半部分被检测出来，而右侧圆圈中的车被错误地检测为3个物体。在这样的情况下，利用上述基于中心的预测-检测-校正方法根据检测结果进行跟踪，可能会得到错误的跟踪结果。
[0005]具体的，如图3 (a)所示，假设在第N-1帧图像中被跟踪对象(例如，车辆)的外框如图中的矩形框所示，并且由此确定的对象中心的横坐标为;在第N帧中，由于视差图不完整，只检测到对象的一部分，即检测到的被跟踪对象的外框如图3 (b)中的实线矩形框所示，并且由此确定的对象中心的横坐标为ΧΛμΝ，而实际上该对象在第N帧中真正的外框如图3 (b)中的虚线框所示，并且该对象真正的横坐标应为Χ’_<Ν。按照基于中心的预测-检测-校正方法,根据第N-1帧的对象中心的横坐标和第N帧中检测到的对象中心的横坐标,预测出第Ν+1帧中对象的外框(如图3 (c)中的虚线框所示)和对象中心的横坐标
^■object, N+1 ,P Xobject，N+ ^ -^object, N ^object, N-1
)。由于第N+1帧中对象的检测结果如图3 (c)中的实线框所示，因此第N+1帧中对象的预测结果和检测结果可能匹配不上。由此，可能错误地认为被跟踪对象丢失，从而得到不正确的跟踪结果。
[0006]因此，需要一种对象跟踪技术，该技术在预先不知道被跟踪对象的尺寸并且被跟踪对象的视差图不完整的情况下，也能够提供较好的跟踪结果。
【发明内容】
[0007]根据本发明的实施例，提供了一种对象跟踪方法，包括:在当前帧视差图中检测对象的位置，其中对象的位置包括对象的尺寸和对象的中心；根据前预定帧视差图中检测出的对象的位置，预测当前帧视差图中对象的位置；在当前帧视差图中检测出的对象的位置与预测的对象的位置相匹配的情况下，利用前一帧视差图中检测出的对象的尺寸的置信度，对当前帧视差图中检测出的对象的位置进行校正，以获得校正的位置。
[0008]根据本发明的另一实施例，提供了一种对象跟踪设备，包括:检测部件，在当前帧视差图中检测对象的位置，其中对象的位置包括对象的尺寸和对象的中心；预测部件，根据前预定帧视差图中检测出的对象的位置，预测当前帧视差图中对象的位置；校正部件，在当前帧视差图中检测出的对象的位置与预测的对象的位置相匹配的情况下，利用前一帧视差图中检测出的对象的尺寸的置信度，对当前帧视差图中检测出的对象的位置进行校正，以获得当前帧视差图中对象的校正的位置。
[0009]根据本发明实施例的对象跟踪技术在预先不知道被跟踪对象的尺寸并且被跟踪对象的视差图不完整的情况下，能够提供较好的跟踪结果。
【专利附图】
【附图说明】
[0010]图1示出了视差图不完整的示例情形。
[0011]图2示出了灰度图中显示的示例性错误检测结果。
[0012]图3 (a)-3 (c)示意性地示出了根据现有技术的对象跟踪检测结果。
[0013]图4示意性地示出了应用根据本发明实施例的对象跟踪技术的示例场景。
[0014]图5示出了根据本发明第一实施例的利用视差图的对象跟踪方法的流程图。
[0015]图6 (a) -6 (d)分别示意性地示出了第N_2帧被跟踪对象的检测结果，第N_1帧被跟踪对象的检测结果，第N帧被跟踪对象的预测结果以及第N帧被跟踪对象的检测结果。
[0016]图7示出了根据本发明第一实施例的示例性置信度计算方法的流程图。
[0017]图8示出了对当前帧检测出的对象的中心进行处理的示意情形。
[0018]图9示出了根据本发明实施例的对象跟踪设备的功能配置框图。
[0019]图10示出了根据本发明实施例的对象跟踪系统的总体硬件框图。
【具体实施方式】
[0020]为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发明作进一步详细说明。
[0021]图4示意性地示出了应用根据本发明实施例的对象跟踪技术的示例场景。如图4所示，用户位于配备有双目像机402的车401内，该双目像机对道路上行驶的车辆进行跟踪拍摄，以获得连续多帧的左视图和右视图。诸如计算芯片的处理设备403根据由双目相机拍摄得到的连续多帧的左视图和右视图，计算得到对应的连续多帧的视差图，并利用该视差图来检测和跟踪所拍摄的车辆。为了便于理解，可以认为下文中所述的被跟踪对象是道路上的车辆。
[0022]<第一实施例>
[0023]图5示出了根据本发明第一实施例的利用视差图的对象跟踪方法的流程图。
[0024]如图5所示，在步骤S510，在当前帧视差图中检测对象的位置，其中对象的位置包括对象的尺寸和对象的中心。
[0025]如本领域技术人员公知的，视差图是以一对图像中任一图像为基准图像，尺寸为该基准图像的尺寸，并且每个点(像素点)的灰度值为基准图像中对应点的视差的图像。可以以本领域公知的很多方式获得视差图，此处不再进行详细描述。
[0026]另外，如前文所述，利用视差图来检测对象在本领域中已经有很多研究，其并非本发明的关键所在，本领域技术人员可以利用例如基于连通域分析(connected componentanalysis)的方法、基于U视差图或V视差图的方法等任何现有的适当方式在视差图中检测对象，此处不再进行详细描述。
[0027]在本发明中，通过对象的尺寸和对象的中心来表示对象的位置。参见图6 (d)，假设当前帧(第N帧)视差图中检测到的对象的位置如图6 (d)中的矩形框所示，其中该矩形框表示对象的外框，该外框的尺寸可以用长和宽来表，矩形框中的圆点表示通过该外框确定出的对象的中心，该中心的X坐标用ΧΛ_,Ν表示。另外，优选的，对象的尺寸还可以包括从上一帧到当前帧、对象在深度移动方向上的移动距离，该移动距离可以从视差图本身的
息获得。
[0028]在步骤S520，根据前预定帧视差图中检测出的对象的位置，预测当前帧视差图中对象的位置。
[0029]根据历史帧来预测当前帧中对象的位置在本领域中已经有很多研究，作为一种基本的实现方式，可以根据前两帧确定对象的移动速度，由此预测当前帧中对象的位置。
[0030]例如，如图6 (a)和6 (b)所示，在第N_2帧中检测的被跟踪对象的中心坐标为Object (xobJect；N_2, yobJect；N_2, zobJect；N_2)，其中Z坐标表示对象在深度方向上的位置，该对象的宽为wN_2，高为hN_2，从第N-3帧到第N-2帧在深度方向上的移动距离为dN_2 ;在第N-1帧中检测的被跟踪对象的中心坐标为Object (X
object, N-1，yobject, N~lJ ^object, N~1 )，该对象的宽为WN_1;高为
hN_i，在深度方向上的移动距离为(V115由于各帧视差图是匀速获取的，并且相邻两帧之间的时间间隔为单位时间，因此可以计算出对象的移动速度为Object ( Λ X。，Ayca, Azca)，其中 A Xc，N_Xc，N _ Xc，N-l, yc，N_yc，N _ yc，N-l, ^ Zc,N_Zc,N _ Zc, N-1 °
[0031]由于相邻两帧之间的时间间隔很短，因此可以认为对象在相邻帧之间的运动为匀速运动。由此，如图6 (c)所示，可以预测出当前帧(第N帧)中对象的中心为Objec
t (Xobject，N，P, yobject, N, pJ ^object, N,中 ^-object, N, p Xobject，N-1+八 Xe，N，^object, N, p Yobject, N-l+ 八 Yc，N，
ZobjectiNiP=ZobjectiN-1+ Δ Z。，,。另外，由于对象的宽、高在现实世界中是不变的，因此可以认为第N帧视差图中对象的宽和高即为第N-1帧视差图中对象的宽和高。
[0032]在上面的说明中，根据前两帧视差图中检测出的对象的位置，预测当前帧视差图中对象的位置，这仅仅是一种示例。实际上，如果需要，可以根据更多历史帧(例如前三帧)中检测出的对象的位置来预测当前帧视差图中对象的位置。
[0033]在步骤S530，在当前帧视差图中检测出的对象的位置与预测的对象的位置相匹配的情况下，利用前一帧视差图中检测出的对象的尺寸的置信度，对当前帧视差图中检测出的对象的位置进行校正，以获得校正的位置。
[0034]如果当前帧视差图中检测出的对象的位置与预测的对象的位置匹配，则认为在当前帧中跟踪到了被跟踪对象，因此本步骤中将对检测到的对象的位置进行校正；如果当前帧视差图中检测出的对象的位置与预测的对象的位置不匹配，则认为被跟踪对象丢失，因此不再进行任何处理。
[0035]如何判断当前帧视差图中检测出的对象的位置与预测的对象的位置是否匹配并非本发明的关键所在，本领域技术人员可以根据情况设定任意规则来进行判断。作为一种基本的实现方式，可以在以预测的对象的中心为中心的、预定大小的区域中进行搜索，如果在该区域中没有搜索到检测出的对象，则认为不匹配；反之，则认为当前帧视差图中检测出的对象的位置与预测的对象的位置匹配。
[0036]如果当前帧视差图中检测出的对象的位置与预测的对象的位置相匹配，则利用视差图置信度对检测出的对象的位置进行校正。置信度表示各帧中的检测结果的可信程度，本领域技术人员可以根据情况设定任意适当的规则来确定置信度。为了使置信度较为准确，优选的，置信度可以是逐帧累计确定的。由于如前所述视差图往往是不完整的，因此当前帧视差图中检测出的对象的位置可能并不准确，从而利用前一帧视差图中检测出的对象位置和置信度对当前帧视差图中检测出的对象的位置进行校正可以获得更加精确的检测结果。
[0037]图7示出了根据本实施例的示例性置信度计算方法的流程图。在该置信度计算方法中，对于每一帧计算在该帧中检测出的对象的宽度、高度、移动距离的置信度。
[0038]如图7所示，首先在步骤S701中确定要计算置信度的是否是第一帧视差图。如果是，则在步骤S702中，设定该第一帧中检测出的对象的宽度的置信度、高度置信度以及移动距离的置信度为任意常数，例如I。如果在步骤S701中确定要计算置信度的不是第一帧视差图，则在步骤 S703 中计算 Change_w= | Wk^1 - wk | /Wk^1, Change_h= | V1 - hk | Ak^1, Change_d= I dn - dk| /Cllrf,其中,k是巾贞编号，且k>l, W^1, Iv1和Cllrf分别是对象在第k_l巾贞视差图中的校正后的宽度、高度以及在深度方向上的移动距离，wk，hk和dk分别是在第k帧视差图中检测出的该对象的宽度、高度以及在深度方向上的移动距离。
[0039]接着，在步骤S704中判断计算出的Change_w是否大于预定的宽度阈值MAXJLCHANGE。之后，根据步骤S704的判断结果来确定第k帧视差图中检测出的对象的宽度的置信度。可以按照任意适当的方式来确定宽度的置信度，只要满足以下条件即可:如果Change_w小于宽度阈值MAX_W_CHANGE，表明检测出的宽度变化不大，则增大第k_I帧视差图中检测出的对象的宽度的置信度C^1，得到第k帧视差图中检测出的对象的宽度的置信度Cw，k (步骤S705);否则，减小第k-Ι帧视差图中检测出的对象的宽度的置信度，得到第k帧视差图中检测出的对象的宽度的置信度(步骤S706)。作为一种示例方式，如果Change_w < MAX_ff_CHANGE,则计算 Cwik=CwiH+(MAX_CONFIDENCE_Change)/MAX_W_CHANGE，如果 Change_w 彡 MAX_ff_CHANGE,则计算 Cw，,=CwiH+(MAX_W_CHANGE_Change) / (1_MAX_W_CHANGE))，其中MAX_CONFIDENCE是预先设定的最大置信度。应当明白，上述计算方式仅仅是为了使得本发明容易理解而给出的一种示例方式，而不应该理解成对本发明的限制。
[0040]类似的，对于高度置信度，判断计算出的Change_h是否大于预定的高度阈值MAX_H_CHANGE(步骤S707)。如果Change_h小于高度阈值MAX_W_HIGHT，表明检测出的高度变化不大，则增大第k-Ι帧视差图中检测出的对象的高度的置信度Ch^，得到第k帧视差图中检测出的对象的高度的置信度Ch，k(步骤S708);否则，减小第k-Ι帧视差图中检测出的对象的高度的置信度，得到第k帧视差图中检测出的对象的高度的置信度(步骤S709)。同样，对于移动距离置信度，判断计算出的Change_d是否大于预定的移动距离阈值MAX_D_CHANGE(步骤S710)。如果Change_d小于移动距离阈值MAX_W_D I STANCE，则增大第k_l帧视差图中检测出的对象的移动距离的置信度Cd^，得到第k帧视差图中检测出的对象的移动距离的置信度cd，k (步骤S711);否则，减小第k-ι帧视差图中检测出的对象的移动距离的置信度，得到第k帧视差图中检测出的对象的移动距离的置信度(步骤S712)。
[0041]通过上述示例方式，可以对于每一帧视差图计算在该帧中检测出的对象的宽度、高度、移动距离的置信度。
[0042]回到图5，如前所述，在步骤S530中，将利用前一帧视差图中检测出的对象的尺寸的置信度，对当前帧视差图中检测出的对象的尺寸和中心进行校正。
[0043]首先描述利用前一帧视差图的置信度对当前帧视差图中检测出的对象的尺寸进行校正。
[0044]如上文中提到的，当前帧视差图中检测出的对象的尺寸可能并不准确，由于现实世界中对象的尺寸是不变的，因此可以利用历史帧中确定的对象的尺寸对当前帧中的检测结果进行校正。具体的，可以利用前一帧视差图中对象的校正的尺寸以及如上所述计算出的对象的检测的尺寸的置信度，对当前帧视差图中检测出的对象的尺寸进行校正，以获得更准确的结果。
[0045]例如，如表达式(I)所示，可以将前一帧视差图中对象的校正的尺寸和当前帧视差图中检测出的对象的尺寸进行加权，将加权得到的值作为当前帧视差图中对象的校正的尺寸:
[0046]^N, correct ^N-1, correct ^ ^w,detect1n ^ ^ ^ (CW，N-1 + 丄)
[0047]correct ^N-1, correct ^ ^h,detect1n ^ ^ ^1 + 1)
[0048]^N, correct ^N-1, correct ^ ^d,detect1n ^ ^ ^ (Cd，N-1 + 1)(I)
[0049]其中，w—t,Clfrat分别表示当前帧(第N帧)视差图中对象的校正的宽、高和移动距离；wN
-1, correct? ^N-1, correct? ^N-1, correct
分别表不前一巾贞(第N-1巾贞)视差图中对象的校正的宽、高和移动距离；wN
，detect1n, ^N, detect1n? ^N, detect1n
分别表示当前帧视差图中对象的检测的宽、高和移动距离Ch^, 分别表示前一帧视差图中检测出的对象的宽度、高度和移动距离的置信度。
[0050]由于校正的尺寸是否准确很大程度上依赖于检测出的尺寸的准确程度，因此前一帧中对象的检测的尺寸的置信度实际上也反映了前一帧中校正的尺寸的置信度。因此，在表达式(I)中，前一帧视差图中对象的校正的宽度、高度和移动距离的权重分别设置为前一帧视差图中检测出的对象的宽度、高度和移动距离的置信度；而当前帧视差图中检测出的对象宽度、高度和移动距离的权重则设置为I。当然，上述设定的示例性权重以及通过加权方式对当前帧视差图中检测出的对象的尺寸进行校正的方法仅仅是一种示例，而并非是对本发明的限制，本领域技术人员可以根据具体情况设置不同的权重或者利用其他方式对当前帧中检测出的对象的尺寸进行校正。
[0051]下面描述利用前一帧视差图的置信度对当前帧视差图中检测出的对象的中心进行校正。
[0052]由于当前帧视差图中检测出的对象的中心可能并不准确，因此可以利用步骤S520中预测出的当前帧视差图中对象的中心进行校正。具体的，可以利用预测出的当前帧视差图中对象的中心以及前一帧中对象的检测的尺寸的置信度，对当前帧视差图中检测出的对象的尺寸进行校正，以获得更准确的结果。
[0053]例如，如表达式⑵所示，可以将预测的当前帧视差图中对象的中心坐标和当前帧视差图中检测出的对象的中心坐标进行加权，将加权得到的值作为当前帧视差图中对象的校正的中心坐标:
[0054]^object, N, correct ^wjN-1 ^-^object, N, p~^~-^object, N, detect1n ^ ^ ^ (Cw，N-1+1)
[0055]Yobject, N, correct (0ι，N-1 X Yobject，N，p+Yobject，N，detect1n X I) / (0ι，Ν-1+1)
[0056]^object, N, correct ^d, N-1 ^ ^object, N, p~^^object, N, detect1n ^ ^ ^ (Cd，N-1+1)......(2)
[0057]其中，
^■object, N, correct? ^object, N, correct? ^object, N, correct
表示当前帧(第N帧)视差图中对象的校正的中心坐标；X
object, N，p，^object, N, pJ ^object, N, p
表示预测的当前帧视差图中对象的中心坐
'^object, N, detect1n? ^objectjN, detect1n? ^object, N, detect1n 表示当前帧视差图中检测出的对象的中心坐标分别表示前一帧(第N-1帧)视差图中检测出的对象的宽度、高度和移动距离的置信度。
[0058]由于在步骤S520中当前帧中对象的中心是利用前一帧中对象的中心预测的，而前一帧中对象的中心的X，y和z轴坐标又利用了该前一帧中检测出的对象的宽、高和移动距离来确定，因此前一帧中对象的检测的尺寸的置信度实际上也反映了预测出的当前帧中对象的中心的置信度。因此,在表达式(2)中，预测出的当前帧中对象中心的x，y和z轴坐标的权重分别设置为前一帧视差图中检测出的对象的宽度、高度和移动距离的置信度；而当前帧视差图中检测出的对象宽度、高度和移动距离的权重则设置为I。当然，上述设定的示例性权重以及通过加权方式对当前帧视差图中检测出的对象的中心进行校正的方法仅仅是一种示例，而并非是对本发明的限制，本领域技术人员可以根据具体情况设置不同的权重或者利用其他方式对当前帧中检测出的对象的中心进行校正。另外，虽然如表达式(2)所示，在上述示例中对y轴坐标也进行了校正，但是这并非是必须的。由于相邻两帧之间路面起伏不大，可以认为路面是平的，检测出的对象的中心的y轴坐标通常是比较准确的，所以当前帧中检测出的对象的中心的y轴坐标可以不必校正。
[0059]以上已经以第N-1帧和第N帧为例描述了在第N帧中检测并跟踪在第N-1中出现的对象的方法。能够理解，可以对任意长度的视差帧序列中的每一帧执行该检测跟踪，从而在整个视差帧序列上实现对象的跟踪。
[0060]<第二实施例>
[0061]如前面提到的，检测的对象中心实际是根据检测到的对象的外框计算确定的。因此，如之前结合图3 (b)描述的，如果在第N帧中由于视差图不完整而只检测到对象的一部分，即检测到的被跟踪对象的外框如图3 (b)中的实线矩形框所示，则由此计算确定的对象中心的横坐标为XtjweetI而事实上，第N帧中被跟踪对象真正的外框如图3 (b)中的虚线框所示，并且因此其真正的中心的横坐标应为X’ obJect,NO由此可见，由于只检测到对象的一部分，因此导致检测到的对象的中心有较大的误差，从而对该中心进行校正的效果也可能不是很好。针对这一情况，本实施例提供了一种改进的对象跟踪方法。
[0062]根据本实施例的对象跟踪方法与第一实施例中描述的对象跟踪方法基本相同，其区别仅在于在步骤S530中对当前帧视差图中检测出的对象的中心进行校正之前，先对该检测出的对象的中心进行进一步的处理。以下将结合图8进行详细的描述。
[0063]根据视差图的生成原理和实验验证已知，如果视差图不完整因而只检测到对象的一部分，那么这一部分应当是包含对象的右侧侧边的最右部分或包含对象的左侧侧边的最左部分。另外，在现实世界中，对象的宽和高显然是不变。基于以上结论，在只检测到对象的一部分的情况下，可以推出比检测到对象的中心要准确的中心(以下简称推导中心)。具体的，如果检测到的对象的部分是最右部分，则可以推出左推导中心(如图8中最左侧的圆点所示)，其与检测到的对象中心(如图8中实线框中的圆点所示)在X轴的距离是WN,correct/2-WN, deteetim/2,其中WN, correct是按照表达式(I )计算出的当前帧(第N巾贞)中对象的校正的宽，WN，d—是当前帧(第N巾贞)中检测出的对象的宽；如果检测到的对象的部分是最左部分，则可以推出右推导中心(如图8中最右侧的圆点所示)，其与检测到的对象中心在X 轴的距离也是 wN；correct/2-wNjdetect1n/20
[0064]在本实施例中，由于不能直接判断出当前帧中检测到的对象的部分到底是对象的最左部分还是图像的最右部分，因此推出左推导中心和右推导中心作为两个候选中心。随后，可以根据这两个候选中心与预测的当前帧中对象的中心的距离来进行选择，即选择这两个候选中心中在X轴方向上与预测的当前帧中对象的中心距离近的中心，作为当前帧视差图中检测出的对象的中心。例如,如图8所例示的，左推导中心距离预测的对象的中心更近,因此选择左推导中心作为检测出的对象的中心。由此,对当前帧中检测的对象的中心进行了进一步的处理从而获得了更为准确的结果。相应的，随后在步骤S530中利用前一帧视差图的置信度对当前帧视差图中这一进一步处理过的检测的对象的中心进行校正可以获得更好的效果。
[0065]在以上的描述中，仅仅对于检测到的对象的中心的X坐标进行了进一步的处理，如果需要，也可以根据实际的检测结果对Y坐标和Z坐标进行相似的处理，此处不再赘述。
[0066]以上已经详细描述了根据本发明实施例的对象跟踪方法，该方法不需要预先知道被跟踪对象的尺寸，并且在被跟踪对象的视差图不完整的情况下，也能够提供较好的跟踪结果。
[0067]<对象跟踪设备的总体配置>
[0068]图9示出了根据本发明实施例的对象跟踪设备900的功能配置框图。
[0069]如图9所示，对象跟踪设备900可以包括:检测部件910，在当前帧视差图中检测对象的位置，其中对象的位置包括对象的尺寸和对象的中心；预测部件920，根据前预定帧视差图中检测出的对象的位置，预测当前帧视差图中对象的位置；校正部件930，在当前帧视差图中检测出的对象的位置与预测的对象的位置相匹配的情况下，利用前一帧视差图中检测出的对象的尺寸的置信度，对当前帧视差图中检测出的对象的位置进行校正，以获得当前帧视差图中对象的校正的位置。
[0070]上述检测部件910、预测部件920和校正部件930的具体功能和操作可以参考上述图5到图8的相关描述，此处不再重复描述。
[0071]〈系统硬件配置〉
[0072]图10示出了根据本发明实施例的对象跟踪系统1000的总体硬件框图。如图10所示，对象跟踪系统1000可以包括:输入设备1010，用于从外部输入有关图像或信息，例如根据双目相机拍摄的左图像和右图生成的视差图序列，该输入设备例如可以是键盘、鼠标、摄像机等等；处理设备1020，用于实施上述的按照本发明实施例的对象跟踪方法，或者实施为上述的对象跟踪装置，该处理设备例如可以是计算机的中央处理器或其它的具有处理能力的芯片等等；输出设备1030，用于向外部输出实施上述对象跟踪过程所得到的结果，例如校正的中心坐标、校正的对象尺寸等等，该输出设备例如可以是显示器、打印机等等；以及存储设备1040，用于以易失或非易失的方式存储上述对象跟踪过程所涉及的诸如历史帧中校正的对象尺寸、中心，检测的对象尺寸、中心，以及检测的对象尺寸的置信度等数据，该存储设备例如可以是随机存取存储器(RAM)、只读存储器(ROM)、硬盘、或半导体存储器等等的各种易失或非易失性存储器。
[0073]以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置(包括处理器、存储介质等)或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。
[0074]因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。
[0075]还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
[0076]上述【具体实施方式】，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
【权利要求】
1.一种对象跟踪方法,包括: 在当前帧视差图中检测对象的位置，其中对象的位置包括对象的尺寸和对象的中心； 根据前预定帧视差图中检测出的对象的位置，预测当前帧视差图中对象的位置； 在当前帧视差图中检测出的对象的位置与预测的对象的位置相匹配的情况下，利用前一帧视差图中检测出的对象的尺寸的置信度，对当前帧视差图中检测出的对象的位置进行校正，以获得校正的位置。
2.如权利要求1所述的对象跟踪方法，其中对当前帧视差图中检测出的对象的位置进行校正以获得校正的位置包括: 利用前一帧视差图中检测出的对象的尺寸的置信度，根据前一帧视差图中对象的校正的尺寸，对当前帧视差图中检测出的对象的尺寸进行校正，以获得校正的尺寸；和 利用前一帧视差图中检测出的对象的尺寸的置信度，根据预测出的对象在当前帧视差图中的中心，对当前帧视差图中检测出的对象的中心进行校正，以获得校正的中心。
3.如权利要求2所述的对象跟踪方法，其中所述对象的尺寸包括对象的高度和宽度以及在相邻帧之间在深度方向的移动距离。
4.如权利要求3所述的对象跟踪方法，其中对当前帧视差图中检测出的对象的尺寸进行校正以获得校正的尺寸包括: 将前一帧视差图中对象的校正的高度和当前帧视差图中检测出的对象的高度进行加权，将加权得到的值作为当前帧视差图中对象的校正的高度，其中前一帧视差图中对象的校正的高度的权重为前一帧视差图中检测出的对象的高度的置信度； 将前一帧视差图中对象的校正的宽度和当前帧视差图中检测出的对象的宽度进行加权，将加权得到的值作为当前帧视差图中对象的校正的宽度，其中前一帧视差图中对象的校正的宽度的权重为前一帧视差图中检测出的对象的宽度的置信度； 将前一帧视差图中对象的校正的移动距离和当前帧视差图中检测出的对象的移动距离进行加权，将加权得到的值作为当前帧视差图中对象的校正的移动距离，其中前一帧视差图中对象的校正的移动距离的权重为前一帧视差图中检测出的对象的移动距离的置信度。
5.如权利要求3所述的对象跟踪方法，其中对当前帧视差图中检测出的对象的中心进行校正以获得校正的中心包括: 将预测的当前帧视差图中对象的中心的X轴坐标值和当前帧视差图中检测出的对象的中心的X轴坐标值进行加权，并将加权得到的X轴坐标值作为当前帧视差图中对象的校正的中心的X轴坐标值，其中预测的当前帧视差图中对象的中心的X轴坐标值的权重为前一帧视差图中检测出的对象的宽度的置信度； 将预测的当前帧视差图中对象的中心在深度方向的移动距离和当前帧视差图中检测出的对象的中心在深度方向的移动距离进行加权，并将加权得到的移动距离作为当前帧视差图中对象的校正的移动距离，其中预测的当前帧视差图中对象的中心的移动距离的权重为前一帧视差图中检测出的对象的移动距离的置信度。
6.如权利要求5所述的对象跟踪方法，其中对当前帧视差图中检测出的对象的中心进行校正以获得校正的中心还包括: 将预测的当前帧视差图中对象的中心的y轴坐标值和当前帧视差图中检测出的对象的中心的I轴坐标值进行加权，并将加权得到的I轴坐标值作为当前帧视差图中对象的校正的中心的I轴坐标值，其中预测的当前帧视差图中对象的中心的I轴坐标值的权重为前一帧视差图中检测出的对象的高度的置信度。
7.如权利要求4-6中任一项所述的对象跟踪方法，其中对当前帧视差图中检测出的对象的中心进行校正以获得校正的中心还包括: 基于当前帧视差图中对象的校正的宽度以及当前帧视差图中检测出的对象的位置，确定当前帧视差图中对象的两个候选的中心； 选择两个候选的中心中在X轴方向上与预测的当前帧视差图中对象的中心距离近的中心； 将所选择的中心作为当前帧视差图中检测出的对象的中心。
8.如权利要求3-6中任一项所述的对象跟踪方法，其中如下确定各帧中检测出的对象的尺寸的置信度: 设定第一帧视差图中检测出的对象的宽度的置信度、高度置信度以及在深度方向上的移动距离的置信度；
对于第 k 中贞视差图，计算 Change_w= | Wk^1 - wk | /Wk^1, Change_h= | V1 - hk | Ak^1, Change—d= I Cl^1 - djJ/dkH,其中，k>l, Wlrf, Iv1和Cllrf分别是对象在第k_l巾贞视差图中的校正后的宽度、高度以及在深度方向上的移动距离，wk，hk和dk分别是在第k帧视差图中检测出的该对象的宽度、高度以及在深度方向上的移动距离； 确定第k帧视差图中检测出的对象的宽度的置信度，其中如果Change_w小于预定的宽度阈值，则按预定方式增大第k-Ι帧视差图中检测出的对象的宽度的置信度；否则，按预定方式减小第k-Ι帧视差图中检测出的对象的宽度的置信度； 确定第k帧视差图中检测出的对象的高度的置信度，其中如果ChangeJ1小于预定的高度阈值，则按预定方式增大第k-Ι帧视差图中检测出的对象的高度的置信度；否则，按预定方式减小第k-Ι帧视差图中检测出的对象的高度的置信度； 确定第k巾贞视差图中检测出的对象的移动距离的置信度,其中如果Change_d小于预定的距离阈值，则按预定方式增大第k-Ι帧视差图中检测出的对象的移动距离的置信度；否贝U，按预定方式减小第k-Ι帧视差图中检测出的对象的移动距离的置信度。
9.一种对象跟踪设备，包括: 检测部件，在当前帧视差图中检测对象的位置，其中对象的位置包括对象的尺寸和对象的中心； 预测部件，根据前预定帧视差图中检测出的对象的位置，预测当前帧视差图中对象的位置； 校正部件，在当前帧视差图中检测出的对象的位置与预测的对象的位置相匹配的情况下，利用前一帧视差图中检测出的对象的尺寸的置信度，对当前帧视差图中检测出的对象的位置进行校正，以获得当前帧视差图中对象的校正的位置。
【文档编号】G06T7/20GK104424648SQ201310364526
【公开日】2015年3月18日 申请日期:2013年8月20日 优先权日:2013年8月20日
【发明者】游赣梅, 鲁耀杰, 师忠超, 王刚, 刘童 申请人:株式会社理光