对象跟踪方法和设备的制造方法
【技术领域】
[0001] 本发明总体涉及图像识别，具体涉及对象跟踪方法和设备
【背景技术】
[0002] 对象跟踪技术在监控、人机交互、车载导航、视讯索引等众多领域中有着广泛的应 用。
[0003] 逐帧匹配跟踪对象是一个经典的研究课题。目前已经提出了很多基于灰度/彩色 图像来逐帧匹配跟踪对象的方法，比如基于几何形状、目标轮廓、彩色直方图、梯度直方图 等进行跟踪。例如，专利文献US8102390B2公开了基于灰度图的逐帧匹配跟踪方法。在该 方法中，把灰度图中的图像块分成若干个区域，并使用各个区域的快速傅里叶变换（FFT)的 值作为匹配特征来进行对象的匹配，最终实现对象的跟踪。
[0004] 然而，使用灰度/彩色图像进行对象跟踪有一个很难解决的技术问题，就是光照 的变化会很大程度的影响跟踪效果。由于视差图基本不受光照变化的影响，因此人们已经 开始研究基于视差值的对象匹配跟踪。但是，目前基于视差值的匹配跟踪算法普遍存在下 述问题：即当对象进行旋转从而导致该对象的形状或轮廓发生变化时，例如如图1所示当 作为被跟踪对象的车辆发生转弯时，可能会导致跟踪失败。
【发明内容】
[0005] 根据本发明的一个实施例，提供了一种对象跟踪方法，包括：基于对象在前一帧视 差图中的尺寸，确定该对象在当前帧视差图中的尺寸；以对应于所述尺寸的矩形框在当前 帧视差图中的预定区域内滑动；将前一帧视差图中采用的预定类型的匹配特征作为在当前 帧视差图中采用的匹配特征，对于当前帧视差图中所述矩形框滑动到的每个位置区域，计 算所述匹配特征在该位置区域的向量表示；计算所述匹配特征在每个所述位置区域的向量 表示与所述匹配特征在前一帧视差图中对象的位置矩形框中的区域的向量表示之间的匹 配度；确定各个所述位置区域中具有最大匹配度的位置区域，作为所述对象在当前帧视差 图中的位置。
[0006] 根据本发明的另一实施例，提供了一种对象跟踪设备，包括：尺寸确定单元，基于 对象在前一帧视差图中的尺寸，确定该对象在当前帧视差图中的尺寸；滑动驱动单元，使对 应于所述尺寸的矩形框在当前帧视差图中的预定区域内滑动；向量计算单元，将前一帧视 差图中采用的预定类型的匹配特征作为在当前帧视差图中采用的匹配特征，对于当前帧视 差图中所述矩形框滑动到的每个位置区域，计算所述匹配特征在该位置区域的向量表示； 匹配度计算单元，计算所述匹配特征在每个所述位置区域的向量表示与所述匹配特征在前 一帧视差图中对象的位置矩形框中的区域的向量表示之间的匹配度；位置确定单元，确定 各个所述位置区域中具有最大匹配度的位置区域，作为所述对象在当前帧视差图中的位 置。
[0007] 根据本发明实施例的对象跟踪技术在被跟踪对象发生旋转时，也不会产生跟踪丢 失问题，具有较好的跟踪效果。
【附图说明】
[0008] 图1示出了被跟踪对象发生转弯时的示例情形。
[0009] 图2示意性地示出了应用根据本发明实施例的对象跟踪技术的一种示例场景。 [0010] 图3示出了根据本发明第一实施例的利用视差图的对象跟踪方法的流程图。
[0011] 图4例示了根据本发明实施例的当前帧视差图中的预测区域、在该预测区域中滑 动的矩形框以及对象在前一帧视差图中的位置矩形框。
[0012] 图5例示了根据本发明实施例的对象在前一帧视差图中的尺寸以及在当前帧视 差图中滑动的矩形框的尺寸之间的关系。
[0013] 图6示出了根据本发明实施例的在第一帧视差图中构建匹配特征的处理过程的 流程图。
[0014] 图7示意性地示出了构建的匹配特征的示例。
[0015] 图8示出了在根据本发明实施例的对象跟踪方法中计算匹配特征在视差图中的 一个位置区域中的向量表示的处理的流程图。
[0016] 图9示出了根据本发明实施例所建立的匹配特征的相关性矩阵的示意图。
[0017] 图10示出了根据本发明第二实施例的对象跟踪方法中对匹配特征进行优化的处 理的流程图。
[0018] 图11示出了根据本发明实施例的对象跟踪设备的功能配置框图。
[0019] 图12示出了根据本发明实施例的对象跟踪系统的总体硬件框图。
【具体实施方式】
[0020] 为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发 明作进一步详细说明。
[0021] 图2示意性地示出了应用根据本发明实施例的对象跟踪技术的一种示例场景。如 图2所示，用户位于配备有立体像机202的车201内，该立体像机对道路上行驶的车辆进行 跟踪拍摄，以获得连续多帧的左视图和右视图。诸如计算芯片的处理设备203根据由立体 相机拍摄得到的连续多帧的左视图和右视图，计算得到对应的连续多帧的视差图，并利用 该视差图来检测和跟踪所拍摄的车辆。当然，图2所示的仅仅是一种示例性的应用场景，根 据本发明实施例的对象跟踪技术也可以应用于其他场景，例如人员监控中的可疑人员的跟 踪、人机交互中的人手跟踪等等。为了便于说明和理解，可以认为下文中所述的被跟踪对象 是道路上的车辆。
[0022] 〈第一实施例〉
[0023] 图3示出了根据本发明第一实施例的利用视差图的对象跟踪方法的流程图。
[0024] 如图3所示，在步骤S301，基于对象在前一帧视差图中的尺寸，确定该对象在当前 帧视差图中的尺寸。
[0025] 如本领域技术人员公知的，视差图是以一对图像中任一图像为基准图像，尺寸为 该基准图像的尺寸，并且每个点（像素点）的灰度值为基准图像中对应点的视差的图像。可 以以本领域公知的很多方式获得视差图，此处不进行详细描述。
[0026] 如何根据对象在前一帧视差图中的尺寸来估测对象在当前帧中的尺寸，在本领域 中存在多种实现方法，此处不进行详细描述。其基本思想是：根据对象在前一帧视差图中的 尺寸和相机参数可以计算出对象的实际尺寸，因为对象的实际尺寸是不变的，所以根据对 象的实际尺寸、当前帧视差图中对象的视差值以及相机的参数就可以估测出目标在当前帧 中的尺寸，其中当前帧中对象的视差值可以采用预测的对象在当前帧中的位置区域内视差 值的平均数或众数等。另外，为了便于比较和说明，在本实施例中，用视差图中对象的位置 矩形框(最小外接矩形框）的尺寸作为该对象在视差图中的尺寸。
[0027] 在步骤S302,以对应于所述尺寸的矩形框在当前帧视差图中的预定区域内滑动。
[0028] 在本实施例中，预定区域是基于对象的运动信息估测的当前帧视差图中包含对象 的预测区域。
[0029] 例如，假设对象在世界坐标系中的X和Z轴方向上的最大最小速度分别是 V^vlLyin,V1L，其中在所述世界坐标系中，X-Z平面与地面重合，Y轴为相对于地面的 高度。能够理解，在拍摄当前帧图像时，对象在世界坐标系中的位置范围可以用四个相对 速度的组洽
来表示。通过公知的从世界坐标系 到立体相机的坐标系的坐标转换，可以获得图4中例示的当前帧视差图中包含对象的预 测区域。如图4所示，该预测区域的四个顶点
和 , vix)分别与前述四个相对速度的组合对应。
[0030] 上述基于对象的运动信息确定的预测区域仅仅是预定区域的一个示例，预定区域 也可以是其他感兴趣的区域。例如，可以是对象在前一帧中的位置区域在当前帧中的对应 位置区域，或者是比该对应位置区域大预定尺寸的区域，甚至是当前帧的整个区域。
[0031] 在该步骤中采用的矩形框是用于表示被跟踪对象的矩形框。由于在步骤S301中 已经估测出对象在当前帧视差图中的尺寸，因此可以采用与该尺寸相一致的矩形框进行滑 动。例如，如图5所示，矩形框Rl代表对象在前一帧中的尺寸，矩形框R