一种基于视频的车辆跟踪方法及装置与流程

本发明涉及数据处理领域，具体涉及一种基于视频的车辆跟踪方法及装置。

背景技术：

随着计算机技术和图像处理技术的不断发展，基于视频的车辆检测与跟踪技术已经成为智能交通系统领域的关键技术。由于基于视频的车辆检测与跟踪方法便于维护且成本较低，同时对车辆的检测与跟踪范围广，可获取较多种类的交通参数，所以，该技术被智能交通系统广泛应用。

对于道路上固定视角的摄像头拍摄的视频，在目前的基于视频的车辆跟踪方法中，跟踪车辆的过程车辆可能出现由远及近或由近及远的位移，在视频中车辆的大小会随之发生变化。但是，一旦视频中的车辆变小，则可能将背景过多的纳入跟踪车辆的搜索范围内；或者，一旦视频中的车辆过大，则可能导致无法跟踪车辆的整体。同时随着车辆行驶远近变化、转弯形变、光变等，车辆的外观逐渐变化等因素，容易影响跟踪效果。现有的基于视频的车辆跟踪方法存在跟踪不准确的问题，那么如何兼顾快速跟踪和跟踪效果是一个极具挑战性的课题。

技术实现要素：

本发明提供了一种基于视频的车辆跟踪方法及装置，能够在基于视频的车辆跟踪中实现快速跟踪的同时提高跟踪准确性。

本发明实施例提供了一种基于视频的车辆跟踪方法，所述方法包括：

预先确定视频中用于车辆追踪的第一帧图像，并利用所述第一帧图像初始化模型；

将所述视频中的下一帧图像作为当前处理图像，执行对当前处理图像中的车辆进行跟踪流程：

所述对当前处理图像中的车辆进行跟踪流程包括：获取所述当前处理图像的上一帧图像上确定的搜索范围；提取所述当前处理图像上所述搜索范围内的图像特征，并根据所述图像特征，得到特征循环矩阵；利用所述特征循环矩阵与当前的模型进行匹配，得到匹配度矩阵；并利用所述匹配度矩阵中匹配度值最高且匹配度值超过预设阈值的位置更新所述目标位置；判断所述目标位置是否超出所述视频的监视范围，如果是，则结束流程，否则，继续执行模型生成与更新流程；

所述模型生成与更新流程包括：根据拍摄所述视频的设备的标定参数，重新确定所述目标大小；根据预先确定的目标大小与搜索范围的比例关系，重新确定所述当前处理图像上的搜索范围；提取所述当前处理图像上的搜索范围内的图像特征，并根据所述图像特征，得到特征循环矩阵；利用所述特征循环矩阵生成模型，并利用所述模型更新现有的模型；继续执行所述将所述视频中的下一帧图像作为当前处理图像的步骤。

优选地，所述利用所述第一帧图像初始化模型，包括：

获取所述第一帧图像上的目标位置、目标大小，并根据预先确定的目标大小与搜索范围的比例关系，确定所述第一帧图像上的搜索范围；

提取所述第一帧图像上的搜索范围内的图像特征，根据所述图像特征，得到特征循环矩阵，并利用所述特征循环矩阵初始化模型。

优选地，所述提取所述第一帧图像上的搜索范围内的图像特征，根据所述图像特征，得到特征循环矩阵，并利用所述特征循环矩阵初始化模型，包括：

提取所述第一帧图像上的搜索范围内的图像特征；

根据所述图像特征生成特征矩阵，将所述特征矩阵转换成循环矩阵后，使用FFT快速傅里叶变换将所述循环矩阵映射到傅里叶空间，得到特征循环矩阵；

利用所述特征循环矩阵初始化模型。

优选地，所述对当前处理图像中的车辆进行跟踪流程，和\或，所述模型生成与更新流程中的所述根据所述图像特征，得到特征循环矩阵步骤，包括：

根据所述图像特征生成特征矩阵，将所述特征矩阵转换成循环矩阵后，使用FFT快速傅里叶变换将所述循环矩阵映射到傅里叶空间，得到特征循环矩阵。

优选地，所述方法还包括：

获取所述视频中的目标速度，并根据所述目标速度确定目标大小与搜索范围的比例关系。

本发明实施例还提供了一种基于视频的车辆跟踪装置，所述装置包括：初始化模块，目标位置更新模块和模型更新模块；

所述初始化模块，用于预先确定视频中用于车辆追踪的第一帧图像，并利用所述第一帧图像初始化模型；

所述目标位置更新模块包括第一获取子模块、提取特征子模块、目标位置更新子模块、判断子模块和第一触发子模块；

所述第一获取子模块，用于将所述视频中的下一帧图像作为当前处理图像，获取所述当前处理图像的上一帧图像上确定的搜索范围；

所述提取特征子模块，用于提取所述当前处理图像上所述搜索范围内的图像特征，并根据所述图像特征，得到特征循环矩阵；

所述目标位置更新子模块，用于利用所述特征循环矩阵与当前的模型进行匹配，得到匹配度矩阵；并利用所述匹配度矩阵中匹配度值最高且匹配度值超过预设阈值的位置更新所述目标位置；

所述判断子模块，用于判断所述目标位置是否超出所述视频的监视范围；

所述第一触发子模块，用于在所述判断子模块的结果为否时，触发所述模型更新模块；

所述模型更新模块包括第一确定子模块，提取特征子模块、模型更新子模块和第二触发子模块；

所述第一确定子模块，用于根据拍摄所述视频的设备的标定参数，重新确定所述目标大小；根据预先确定的目标大小与搜索范围的比例关系，重新确定所述当前处理图像上的搜索范围；

所述提取特征子模块，用于提取所述当前处理图像上的搜索范围内的图像特征，并根据所述图像特征，得到特征循环矩阵；

所述模型更新子模块，用于利用所述特征循环矩阵生成模型，并利用所述模型更新现有的模型；

所述第二触发子模块，用于在所述模型更新子模块更新现有的模型后，触发所述目标位置更新模块。

优选地，所述初始化模块，包括：

第二确定子模块，用于获取所述第一帧图像上的目标位置、目标大小，并根据预先确定的目标大小与搜索范围的比例关系，确定所述第一帧图像上的搜索范围；

第一初始化子模块，用于提取所述第一帧图像上的搜索范围内的图像特征，根据所述图像特征，得到特征循环矩阵，并利用所述特征循环矩阵初始化模型。

优选地，所述第一初始化子模块，包括：

提取子模块，用于提取所述第一帧图像上的搜索范围内的图像特征；

第一转换子模块，用于根据所述图像特征生成特征矩阵，将所述特征矩阵转换成循环矩阵后，使用FFT快速傅里叶变换将所述循环矩阵映射到傅里叶空间，得到特征循环矩阵；

第二初始化子模块，用于利用所述特征循环矩阵初始化模型。

优选地，所述提取特征子模块，包括：

第二转换走模块，用于根据所述图像特征生成特征矩阵，将所述特征矩阵转换成循环矩阵后，使用FFT快速傅里叶变换将所述循环矩阵映射到傅里叶空间，得到特征循环矩阵。

优选地，所述装置还包括：

确定模块，用于获取所述视频中的目标速度，并根据所述目标速度确定目标大小与搜索范围的比例关系。

本发明提供了一种基于视频的车辆跟踪方法，预先确定视频中用于车辆追踪的第一帧图像，并利用所述第一帧图像初始化模型。顺序执行所述视频中的各帧图像，在处理当前帧图像时，利用上一帧图像上确定的搜索范围，提取当前帧图像上所述搜索范围内的图像特征，生成特征循环矩阵后，与当前的模型进行匹配，得到匹配度矩阵。根据匹配度矩阵上各个位置的匹配度值更新目标位置，实现车辆追踪。

另外，在生成各帧图像对应的模型之前，首先根据标定重新确定目标大小，并根据目标大小与搜索范围的比例关系，缩放上一帧图像确定的搜索范围。在完成缩放后的搜索范围的基础上，提取当前帧图像上所述搜索范围内的图像特征，根据图像特征最终生成模型，并更新现有的模型。由于每帧图像上的目标大小根据标定被更新，系统能够自适应尺度跟踪，使得车辆跟踪更准确。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种基于视频的车辆跟踪方法流程图；

图2为本发明实施例提供的一种利用用于车辆追踪的第一帧图像初始化模型的方法流程图；

图3为本发明实施例提供的一种基于视频的车辆跟踪装置结构示意图；

图4为本发明实施例提供的一种初始化模块310的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下进行实施例具体内容的介绍。

本发明实施例提供了一种基于视频的车辆跟踪方法，参考图1，为本发明实施例提供的一种基于视频的车辆跟踪方法流程图，所述方法具体包括：

S101：预先确定视频中用于车辆追踪的第一帧图像，并利用所述第一帧图像初始化模型。

一种应用场景中，安装于各个路口的摄像头用于获取车辆行驶的视频，本发明实施例是基于摄像头获取到的视频进行车辆跟踪，从而确定车辆的行驶轨迹，最终获取到各种交通参数。

本发明实施例中，系统在获取到需要处理的视频后，首先对该视频进行车辆检测，其中，系统中的车辆检测模块能够输出用于车辆追踪的第一帧图像，以及所述第一帧图像上的目标大小、目标位置、目标速度等信息。本发明实施例中的“目标”指的是视频中被追踪的车辆。

参考图2，为本发明实施例提供的一种利用用于车辆追踪的第一帧图像初始化模型的方法流程图，具体利用所述第一帧图像初始化模型的方法包括：

S201：获取所述第一帧图像上的目标位置、目标大小和目标速度。

S202：根据所述目标速度，确定目标大小与搜索范围的比例关系。

本发明实施例中，在车辆由近及远行驶的视频中，由于车速越快，视频中前后两帧图像上车辆的位置差别就越大，就需要更大的搜索范围才能以前一帧图像上目标位置为中心覆盖到下一帧图像上车辆可能出现的所有位置。所以，为了减少运算量降低算法耗时，系统根据目标速度确定目标大小与搜索范围的比例关系，即目标速度决定目标大小与搜索范围的正比例倍数，具体的，目标速度越快，则目标大小与搜索范围的正比例倍数越大；反之，目标速度越慢，则目标大小与搜索范围的正比例倍数越小。

在车辆由远及近的视频中，由于透视原理，显示在画面里的车辆一开始速度很慢，离我们越近速度越快，这种情况下只能固定选一个较大的搜索范围，不能根据目标速度生成，否则会导致车辆开近后搜索范围不能包含下一帧图像上的车辆位置。

S203：根据所述目标大小与搜索范围的比例关系，以及目标位置、目标大小，确定所述第一帧图像上的搜索范围。

由于系统已经确定目标大小与搜索范围的比例关系，则根据目标大小能够确定搜索范围的大小，另外，根据目标位置能够确定搜索范围在图像上的具体位置。本发明实施例确定的搜索范围为以目标位置为中心的区域。

S204：提取所述第一帧图像上的搜索范围内的图像特征，根据所述图像特征生成特征矩阵。

S205：将所述特征矩阵转换成循环矩阵后，使用FFT快速傅里叶变换将所述循环矩阵映射到傅里叶空间，得到特征循环矩阵。

S206：利用所述特征循环矩阵初始化模型。

本发明实施例中，在提取第一帧图像上的搜索范围内的图像特征后，首先根据所述图像特征生成特征矩阵，其次，将所述特征矩阵转换成循环矩阵，然后，利用FFT快速傅里叶变换将所述循环矩阵映射到傅里叶空间，得到特征循环矩阵。本发明实施例利用了循环矩阵和FFT快速傅里叶变换对图像特征进行处理，最终生成特征循环矩阵，可见，系统在同样样本条件下，该方法能够提高图像特征处理效率，减少计算时间。

另外，本发明实施例根据预先设置的算法，利用得到的特征循环矩阵初始化模型，得到第一帧图像对应的模型。实际应用中，利用特征循环矩阵生成模型的方法较多，在此不再具体介绍。

S102：将所述视频中的下一帧图像作为当前处理图像，执行对当前处理图像中的车辆进行跟踪流程，所述对当前处理图像中的车辆进行跟踪流程包括S103、S104和S105。

S103：获取所述当前处理图像的上一帧图像上确定的搜索范围；提取所述当前处理图像上所述搜索范围内的图像特征，并根据所述图像特征，得到特征循环矩阵。

本发明实施例中，在处理所述当前处理图像时，首先获取上一帧图像上确定的目标位置、目标大小以及搜索范围，以上一帧图像上确定的目标位置作为当前处理图像上的目标位置，以上一帧图像上确定的目标大小作为当前处理图像上的目标大小，且以上一帧图像上确定的搜索范围作为当前处理图像上的搜索范围，提取当前处理图像上所述搜索范围内的图像特征。

系统在提取所述图像特征后，首先根据所述图像特征生成特征矩阵，其次，将所述特征矩阵转换成循环矩阵，然后，利用FFT快速傅里叶变换将所述循环矩阵映射到傅里叶空间，得到特征循环矩阵。本发明实施例利用了循环矩阵和FFT快速傅里叶变换对图像特征进行处理，最终生成特征循环矩阵。

本发明实施例是基于上一帧图像上的目标位置扩大一定范围后得到的搜索范围，查找当前处理图像上车辆的位置。

S104：利用所述特征循环矩阵与当前的模型进行匹配，得到匹配度矩阵；并利用所述匹配度矩阵中匹配度值最高且匹配度值超过预设阈值的位置更新所述目标位置。

本发明实施例在生成当前处理图像的特征循环矩阵后，利用该特征循环矩阵与现有的模型进行匹配，生成匹配度矩阵。由于该特征循环矩阵与该模型对应的搜索范围相同，该匹配度矩阵中的各项表示该搜索范围内各个位置的匹配度值，即上一帧图像与当前处理图像在该搜索范围内的各个位置的匹配度值。

本发明实施例中，获取得到的匹配度矩阵中最高的匹配度值，并将该匹配度值与预设阈值进行比较，如果该匹配度值大于该预设阈值，则直接利用该匹配度值对应的位置更新当前处理图像上的目标位置，实现车辆的跟踪。

如果在将该匹配度值与预设阈值比较后，该匹配度值不大于该预设阈值，则直接结束流程即可，完成对车辆的追踪。

S105：判断所述目标位置是否超出所述视频的监视范围，如果是，则结束流程，否则，继续执行模型生成与更新流程，所述模型生成与更新流程包括S106、S107。

本发明实施例在对目标位置进行更新后，判断更新后的目标位置是否超出视频的监视范围，如果已经超出监视范围，则可以直接结束流程，完成对车辆的追踪。如果更新后的目标位置未超出监视范围，则开始执行如下的模型生成与更新流程。

S106：根据拍摄所述视频的设备的标定参数，重新确定所述目标大小；根据预先确定的目标大小与搜索范围的比例关系，重新确定所述当前处理图像上的搜索范围。

由于视频中的目标会随着实际车辆由远及近或由近及远的行驶，可能出现背景过多的纳入跟踪车辆的搜索范围内，或者无法跟踪车辆的整体等问题。本发明实施例针对以上问题，对于路口固定视角的视频拍摄设备，首先获取该视频拍摄设备的标定参数，其中，所述标定参数是指把一个三维空间中的点映射到图像空间的参数。利用这些参数可以计算同一辆车在不同位置时的大小关系，即不同目标位置时的目标大小的关系。其次，根据所述标定参数重新确定当前处理图像上的目标大小。通过根据标定参数重新确定每帧图像上的目标大小，能够自适应尺度跟踪，使得对车辆的跟踪更快速更准确。

在机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是标定参数。在大多数条件下这些标定参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定(或摄像机标定)，最终得到的参数即是本发明实施例中使用的标定参数。

另外，在重新确定当前处理图像上的目标大小后，根据预先确定的目标大小与搜索范围的比例关系，调整当前处理图像上的搜索范围，即对所述搜索范围进行缩放操作，以使调整后的搜索范围适应重新确定后的目标大小。

S107：提取所述当前处理图像上的搜索范围内的图像特征，并根据所述图像特征，得到特征循环矩阵；利用所述特征循环矩阵生成模型，并利用所述模型更新现有的模型；继续执行S102。

本发明实施例中，在对当前处理图像上的目标大小和搜索范围进行调整后，提取所述当前处理图像上的搜索范围内的图像特征。根据所述图像特征生成特征矩阵，并将所述特征矩阵转换成循环矩阵，然后，利用FFT快速傅里叶变换将所述循环矩阵映射到傅里叶空间，得到特征循环矩阵。本发明实施例利用该特征循环矩阵生成所述当前处理图像对应的模型，并利用生成的模型更新现有的模型，在处理下一帧图像的流程中使用。

本发明实施例提供的一种基于视频的车辆跟踪方法中，预先确定视频中用于车辆追踪的第一帧图像，并利用所述第一帧图像初始化模型。顺序执行所述视频中的各帧图像，在处理当前帧图像时，利用上一帧图像上确定的搜索范围，提取当前帧图像上所述搜索范围内的图像特征，生成特征循环矩阵后，与当前的模型进行匹配，得到匹配度矩阵。根据匹配度矩阵上各个位置的匹配度值更新目标位置，实现车辆追踪。

另外，在生成各帧图像对应的模型之前，首先根据标定重新确定目标大小，并根据目标大小与搜索范围的比例关系，缩放上一帧图像确定的搜索范围。在完成缩放后的搜索范围的基础上，提取当前帧图像上所述搜索范围内的图像特征，根据图像特征最终生成模型，并更新现有的模型。由于每帧图像上的目标大小根据标定被更新，系统能够自适应尺度跟踪，使得车辆跟踪更准确。

本发明实施例还提供了一种基于视频的车辆跟踪装置，参考图3，为本发明实施例提供的一种基于视频的车辆跟踪装置结构示意图。其中，所述装置可以包括：初始化模块310，目标位置更新模块320和模型更新模块330；

所述初始化模块310，用于预先确定视频中用于车辆追踪的第一帧图像，并利用所述第一帧图像初始化模型。

所述目标位置更新模块320包括第一获取子模块321、提取特征子模块322、目标位置更新子模块323、判断子模块324和第一触发子模块325；

所述第一获取子模块321，用于将所述视频中的下一帧图像作为当前处理图像，获取所述当前处理图像的上一帧图像上确定的搜索范围；

所述提取特征子模块322，用于提取所述当前处理图像上所述搜索范围内的图像特征，并根据所述图像特征，得到特征循环矩阵；

所述目标位置更新子模块323，用于利用所述特征循环矩阵与当前的模型进行匹配，得到匹配度矩阵；并利用所述匹配度矩阵中匹配度值最高且匹配度值超过预设阈值的位置更新所述目标位置；

所述判断子模块324，用于判断所述目标位置是否超出所述视频的监视范围；

所述第一触发子模块325，用于在所述判断子模块的结果为否时，触发所述模型更新模块。

所述模型更新模块330包括第一确定子模块331，提取特征子模块322、模型更新子模块332和第二触发子模块333；

所述第一确定子模块331，用于根据拍摄所述视频的设备的标定参数，重新确定所述目标大小；根据预先确定的目标大小与搜索范围的比例关系，重新确定所述当前处理图像上的搜索范围；

所述提取特征子模块322，用于提取所述当前处理图像上的搜索范围内的图像特征，并根据所述图像特征，得到特征循环矩阵；

所述模型更新子模块332，用于利用所述特征循环矩阵生成模型，并利用所述模型更新现有的模型；

所述第二触发子模块333，用于在所述模型更新子模块更新现有的模型后，触发所述目标位置更新模块。

参考图4，为本发明实施例提供的一种初始化模块310的结构示意图，所述初始化模块310包括：

第二确定子模块410，用于获取所述第一帧图像上的目标位置、目标大小，并根据预先确定的目标大小与搜索范围的比例关系，确定所述第一帧图像上的搜索范围；

第一初始化子模块420，用于提取所述第一帧图像上的搜索范围内的图像特征，根据所述图像特征，得到特征循环矩阵，并利用所述特征循环矩阵初始化模型。

其中，所述第一初始化子模块420，包括：

提取子模块421，用于提取所述第一帧图像上的搜索范围内的图像特征；

第一转换子模块422，用于根据所述图像特征生成特征矩阵，将所述特征矩阵转换成循环矩阵后，使用FFT快速傅里叶变换将所述循环矩阵映射到傅里叶空间，得到特征循环矩阵；

第二初始化子模块423，用于利用所述特征循环矩阵初始化模型。

一种优选的实施方式中，所述提取特征子模块322，包括：

第二转换走模块，用于根据所述图像特征生成特征矩阵，将所述特征矩阵转换成循环矩阵后，使用FFT快速傅里叶变换将所述循环矩阵映射到傅里叶空间，得到特征循环矩阵。

另外，所述装置还可以包括：

确定模块，用于获取所述视频中的目标速度，并根据所述目标速度确定目标大小与搜索范围的比例关系。

本发明实施例提供的一种基于视频的车辆跟踪装置中，预先确定视频中用于车辆追踪的第一帧图像，并利用所述第一帧图像初始化模型。顺序执行所述视频中的各帧图像，在处理当前帧图像时，利用上一帧图像上确定的搜索范围，提取当前帧图像上所述搜索范围内的图像特征，生成特征循环矩阵后，与当前的模型进行匹配，得到匹配度矩阵。根据匹配度矩阵上各个位置的匹配度值更新目标位置，实现车辆追踪。

另外，在生成各帧图像对应的模型之前，首先根据标定重新确定目标大小，并根据目标大小与搜索范围的比例关系，缩放上一帧图像确定的搜索范围。在完成缩放后的搜索范围的基础上，提取当前帧图像上所述搜索范围内的图像特征，根据图像特征最终生成模型，并更新现有的模型。由于每帧图像上的目标大小根据标定被更新，系统能够自适应尺度跟踪，使得车辆跟踪更准确。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上对本发明实施例所提供的一种基于视频的车辆跟踪方法及装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。