车辆追踪方法及系统与流程
本发明涉及前车碰撞预警中的车辆追踪处理的技术领域，尤其涉及车辆追踪方法及系统。
背景技术：
因为车辆检测算法速度相对较慢，车辆追踪技术不可或缺。传统的物体追踪算法比如mean-shift和cam-shift算法等速度相对较快，但是在复杂场景下常见追踪目标漂移等情况。过多的追踪漂移在计算机视觉领域的高级驾驶辅助系统(adas)上可能会造成频繁虚报警，使用户体验下降。现有的性能较好物体追踪算法是基于检测的追踪方法，是通过一种改进的在线学习机制不断更新跟踪模块的“显著特征点”和检测模块的目标模型及相关参数，从而使得跟踪效果更加稳定、鲁棒、可靠。比如最有代表性的tracking-learning-detection(tld)的追踪方法，其特点是其系统中有三个模块，检测模块，追踪模块和在线学习模块。检测和追踪并行进行处理，综合两者的结果得到最终追踪结果，再者对追踪目标实时学习更新目标模型。其处理流程如图1所示.这种方法的缺点是实时性难以保证，特别是需要追踪多个车辆的情况下，很难在智能设备应用。
目前的adas系统一般运行于智能硬件平台，cpu，内存等资源相对有限。
技术实现要素：
本发明提供了一种车辆追踪方法，包括如下步骤：
检测步骤：检测出新出现在视野的车辆，并且检测一直在视野之内的车辆供追踪步骤校正追踪结果使用；
追踪步骤：对检测到的各个车辆进行追踪；
融合步骤：对检测步骤的检测结果和追踪步骤的追踪结果进行融合，融合步骤在检测步骤运行的当前帧运行；
校验步骤：检查相邻两帧追踪的相似性，且校验步骤在追踪步骤运行后运行；
回归校正步骤：接收校验步骤输出的校正信号，且对该车辆的追踪结果进行回归校正；
检测步骤间隔指定时间运行一次，追踪步骤和校验步骤间隔指定帧运行一次。
作为本发明的进一步改进，在所述检测步骤中，采用像素差值特征的检测方法，在像素差值特征的检测方法中包括npd特征、深度二次树的特征筛选、softcascade分类器，npd特征的定义如下：
作为本发明的进一步改进，在所述追踪步骤中，采用基于金字塔稀疏光流的追踪方法，在上一帧的目标框中选择若干个像素点作为特征点，在当前帧中寻找对应的位置，然后将特征点在两帧之间的位移进行排序，得到位移变化的中值，然后获得小于中值的50％的特征点，依据上述特征点计算得出追踪框位置和大小。
作为本发明的进一步改进，在所述校验步骤中，采用基于sift的相似性比对，归一化车辆区域后，在中心点周围提取sift特征，比对算法采用两个特征向量的欧式距离，同时维护两个比对模板，一个是融合模块负责更新的模板，用来定义追踪目标是车辆主体，一个是即时追踪的模板，用来定义追踪目标的变化，同时使用这两个的比对值作为追踪可靠性的参考。
作为本发明的进一步改进，在所述回归校正步骤中，从追踪的车框位置和大小开始，基于若干个兴趣点周围的特征一步一步回归到车框正确的位置和大小，得到回归结果后返回校验步骤进行校验，如果通过校验，则用回归后的结果替换原追踪结果，反之则删除此追踪车的目标。
本发明还提供了一种车辆追踪系统，包括：
检测模块：用于检测出新出现在视野的车辆，并且检测一直在视野之内的车辆供追踪步骤校正追踪结果使用；
追踪模块：用于对检测到的各个车辆进行追踪；
融合模块：用于对检测模块的检测结果和追踪模块的追踪结果进行融合，融合模块在检测模块运行的当前帧运行；
校验模块：用于检查相邻两帧追踪的相似性，且校验模块在追踪模块运行后运行；
回归校正模块：用于接收校验模块输出的校正信号，且对该车辆的追踪结果进行回归校正；
检测模块间隔指定时间运行一次，追踪模块和校验模块间隔指定帧运行一次。
作为本发明的进一步改进，在所述检测模块中，采用像素差值特征的检测方法，在像素差值特征的检测方法中包括npd特征、深度二次树的特征筛选、softcascade分类器，npd特征的定义如下：
作为本发明的进一步改进，在所述追踪模块中，采用基于金字塔稀疏光流的追踪方法，在上一帧的目标框中选择若干个像素点作为特征点，在当前帧中寻找对应的位置，然后将特征点在两帧之间的位移进行排序，得到位移变化的中值，然后获得小于中值的50％的特征点，依据上述特征点计算得出追踪框位置和大小。
作为本发明的进一步改进，在所述校验模块中，采用基于sift的相似性比对，归一化车辆区域后，在中心点周围提取sift特征，比对算法采用两个特征向量的欧式距离，同时维护两个比对模板，一个是融合模块负责更新的模板，用来定义追踪目标是车辆主体，一个是即时追踪的模板，用来定义追踪目标的变化，同时使用这两个的比对值作为追踪可靠性的参考。
作为本发明的进一步改进，在所述回归校正模块中，从追踪的车框位置和大小开始，基于若干个兴趣点周围的特征一步一步回归到车框正确的位置和大小，得到回归结果后返回校验步骤进行校验，如果通过校验，则用回归后的结果替换原追踪结果，反之则删除此追踪车的目标。
本发明的有益效果是：本发明的车辆追踪方法和系统，能够解决adas在智能设备上运行必须解决的实时性和准确性问题，有效减少了虚警率，提高了准确率。
附图说明
图1是目前技术的追踪系统原理框图。
图2是本发明的追踪系统原理框图。
具体实施方式
本方明主要解决的问题就是在满足实时性要求的基础上，保证车辆的追踪效果在智能设备上稳定准确，大大减少追踪目标漂移的情况。
本发明涉及的领域是计算机视觉领域的高级驾驶辅助系统(adas)，其具体包括前车碰撞预警，车道偏离预警等。
本发明公开了一种车辆追踪方法，包括如下步骤：
检测步骤：检测出新出现在视野的车辆，并且检测一直在视野之内的车辆供追踪步骤校正追踪结果使用；
追踪步骤：对检测到的各个车辆进行追踪；
融合步骤：对检测步骤的检测结果和追踪步骤的追踪结果进行融合，融合步骤在检测步骤运行的当前帧运行；
校验步骤：检查相邻两帧追踪的相似性，且校验步骤在追踪步骤运行后运行；
回归校正步骤：接收校验步骤输出的校正信号，且对该车辆的追踪结果进行回归校正；
检测步骤间隔指定时间运行一次，追踪步骤和校验步骤间隔指定帧运行一次。
在所述检测步骤中，采用像素差值特征的检测方法，在像素差值特征的检测方法中包括npd特征、深度二次树的特征筛选、softcascade分类器，npd特征的定义如下：
在所述追踪步骤中，采用基于金字塔稀疏光流的追踪方法，在上一帧的目标框中选择若干个像素点作为特征点，在当前帧中寻找对应的位置，然后将特征点在两帧之间的位移进行排序，得到位移变化的中值，然后获得小于中值的50％的特征点，依据上述特征点计算得出追踪框位置和大小。
在所述校验步骤中，采用基于sift的相似性比对，归一化车辆区域后，在中心点周围提取sift特征，比对算法采用两个特征向量的欧式距离，同时维护两个比对模板，一个是融合模块负责更新的模板，用来定义追踪目标是车辆主体，一个是即时追踪的模板，用来定义追踪目标的变化，同时使用这两个的比对值作为追踪可靠性的参考。
在所述回归校正步骤中，从追踪的车框位置和大小开始，基于若干个兴趣点周围的特征一步一步回归到车框正确的位置和大小，得到回归结果后返回校验步骤进行校验，如果通过校验，则用回归后的结果替换原追踪结果，反之则删除此追踪车的目标。
如图2所示，本发明还公开了一种车辆追踪系统，包括：
检测模块：用于检测出新出现在视野的车辆，并且检测一直在视野之内的车辆供追踪步骤校正追踪结果使用；
追踪模块：用于对检测到的各个车辆进行追踪；
融合模块：用于对检测模块的检测结果和追踪模块的追踪结果进行融合，融合模块在检测模块运行的当前帧运行；
校验模块：用于检查相邻两帧追踪的相似性，且校验模块在追踪模块运行后运行；
回归校正模块：用于接收校验模块输出的校正信号，且对该车辆的追踪结果进行回归校正；
检测模块间隔指定时间运行一次，追踪模块和校验模块间隔指定帧运行一次。
由于检测模块运行较慢，间隔一定时间运行一次；由于视频流实时性，相邻帧相差不大，追踪模块和校验模块间隔若干帧运行一次；融合模块在检测模块运行的当前帧运行；回归校正模块在校验模块给出信号后运行。本发明的特点是，检测模块和追踪模块不是并行运行，而是间隔单独运行，这样实时性得到保证，融合模块在融合帧的时候参考了检测模块的结果，可以校正追踪结果；再加上校验模块和回归校正模块配合，校验模块用于校验追踪结果，如果发现追踪结果有漂移的苗头，可以用回归校正模块校正追踪结果，这样综合使用大大减少了追踪漂移(车框逐渐变大)情况的发生，增加了预警准确率。
检测模块的主要作用体现在两个方面：1)检测出新出现在视野的车辆2)检测一直在视野之内的车辆供车辆追踪模块校正追踪结果使用。本实施例中综合考虑速度和精度的要求，采用像素差值特征(npd)的检测方法，该检测方法特点主要包括npd特征、深度二次树(dqt)的特征筛选、softcascade分类器。具体的，npd特征的定义如下：
实际应用中，使用穷举法决定阈值[θ1,θ2]，加权均方误差作为分割标准。学习基于npd特征的dqt，softcascade结构用来训练和拒绝负样本，每次迭代，学习到一个dqt作为弱分类器，以及一个目前adaboost分类器的阈值用于拒绝负样本。
考虑到检测模块耗时相对其他模块较高，本实施例中间隔1s左右对当前帧进行车辆检测。
检测到车辆以后，追踪模块对各个车辆进行追踪。考虑到需要追踪多辆车，是一个多目标追踪问题，实时性非常重要，本实施例中采用基于金字塔稀疏光流的追踪方法。稀疏光流是对图像上稀疏的点进行图像配准的方法，在前帧图上给定若干个兴趣点(一般为角点)，找到其在当前图像中的对应点。给定参考图t和当前图i，计算前帧图t中的一个兴趣点p(xp,yp)在当前帧对应的点q(xp+u,yp+v)，其中(u,v)就是兴趣点的偏移量。考虑到车辆区域的角点个数不是很多，实施例中采用均匀撒点的方法。其具体的工作原理如下：在上一帧的目标框中选择若干个像素点作为特征点，在当前帧中寻找对应的位置，然后将特征点在两帧之间的位移进行排序，得到位移变化的中值，然后获得小于中值的50％的特征点，依据此些特征点计算得出追踪框位置和大小。考虑到视频流中前后帧相差很小，所以实施例中间隔3帧左右调用追踪模块一次。
融合模块在检测模块运行帧，对检测结果和追踪结果进行融合。实施例采用基于两者车框重合度分类的策略，对不同的重合度大小进行不同的处理，其中综合考虑了追踪可靠性(从追踪模块传入)和检测可靠性(从检测模块传入)。其作用有两个，一是为追踪加入新检测到的车辆，一个是对追踪结果进行校正，并为校验模块更新其中的一个模板。
追踪目标由于会被遮挡或者消失在视野，亦或因为场景或追踪算法原因造成追踪偏移，都需要校验模块检查相邻两帧追踪的相似性。校验模块在追踪后运行。其作用在于：一是判断两帧之间追踪的可靠性，如果很不可靠，则删除追踪目标(比如被遮挡或者出视野等情况)；二是在判断追踪框异常变大且可靠性一般的情况，给后面的回归校正模块信号以校正该追踪结果，防止追踪框越来越漂，造成adas虚报警。实施例中，采用基于sift(尺度不变特征)的相似性比对，归一化车辆区域后，在中心点周围提取sift特征，因为特征相对较强，比对算法采用两个特征向量的欧式距离。同时维护两个比对模板，一个是融合模块负责更新的模板，用来定义追踪目标是车辆主体，一个是即时追踪的模板，用来定义追踪目标的变化。校验模块同时使用这两个的比对值作为追踪可靠性的参考。
如果校验模块给出校正信号，则回归校验模块对该车辆的追踪结果进行回归校正。为了增加回归的准确率，实施例中只回归校正追踪框变大的情况。追踪框异常变大情况，有两个处理方法，一个是删除，一个是校正到正常车辆范围，显然第二种方法不仅降低了虚报警率，而且增加了报警的准确率。回归校正模块的流程和原理是：从追踪的车框位置和大小开始，基于若干个兴趣点周围的特征一步一步回归到车框正确的位置和大小，得到回归结果后返回校验模块进行校验，如果通过校验，则用回归后的结果替换原追踪结果，反之则删除此追踪车里目标。本实施例中采用监督下降方法的级联回归(sdm)。sdm的思想是从训练数据中学习梯度下降的方向并建立相应的回归模型，然后利用得到的模型来进行梯度方向估计。其原理如下：
其中，δxk表示在回归第k次后的所有兴趣点的偏差，rk和bk(k＝0，1，…n)表示监督下降方法离线学习到的第k步回归器，xk表示k次回归后兴趣的点结果，φk表示k次回归时提取的特征，比如sift特征(尺度不变特征)。
本发明提出全新的车辆追踪方法和系统，旨在解决adas在智能设备上运行必须解决的实时性和准确性问题。为了解决实时性问题，本发明采用更快的车辆检测方案和车辆追踪方案，而且检测模块间隔一定时间运行一次，车辆追踪模块间隔一定帧数运行一次，在检测帧进行两者的融合，这样保证了实时性；为了提高准确性，融合模块中采用检测结果对追踪结果进行校正，并且有校验模块及时进行追踪的可靠性判断，如果判断出追踪车框变大，且追踪可靠性降低，有追踪漂移的迹象，则用回归校正模块对追踪结果进行校正，这样有效减少了虚警率，提高了准确率。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
- 还没有人留言评论。精彩留言会获得点赞！