一种车辆目标轨迹跟踪方法和装置与流程

本发明属于智能交通技术领域，特别涉及一种目标轨迹跟踪方法和装置。

背景技术：

近几年人工智能技术呈现爆炸式发展，随着图形处理器(gpu)的计算能力越来越强，使得图像并行处理更快、更便宜、更强大。深度学习的出现使得计算机能够像人类一样去观察、学习、思考，然后较精准的识别车辆、行人等物体，完全排除了光线、抖动等干扰。深度学习识别技术是人工智能(ai)中发展迅速的一个重要领域，使得计算机能够自我理解大量图像、声音和文本形式的数据。利用多层次的神经网络，自适应观察和学习复杂场景。

基于传统视频图像处理算法的跟踪算法算法本身受检测背景、天气变化、光线影响等较严重。使用深度学习算法对目标进行检测，环境适用性好，且计算机能像人类一样观察、学习复杂的情况，并做出相应的反应。有时甚至比人类做得还好。这样便提供了一种截然不同的方式，用于思考数据、技术以及人类所提供的产品和服务。为监控领域带来更准确、智能、高效的视频分析系统，直击传统视频监控模式的痛点，打造交通状态监测平台。

技术实现要素：

本发明的目的是利用人工智能技术中的深度学习技术，提供一种准确的目标识别算法，和基于金字塔分层的lk光流法互为印证，选取最优跟踪轨迹，实现车辆运动轨迹的判断的一种方法。

本发明实施例之一，一种车辆目标轨迹跟踪方法，包括以下步骤

从道路监控视频图像中，借助经过训练的车辆目标识别模型识别锁定感兴趣的车辆目标；

从得到的车辆目标上计算确定多个角点；

对所述车辆目标上的每一个角点计算光流轨迹；

从得到的多条角点光流轨迹中计算确定一条最优轨迹，作为所述车辆目标的运动轨迹。

为了实现发明目的，本发明提供了一种基于人工智能的目标轨迹跟踪算法，主要包括深度学习目标检测算法，目标角点检测，基于金字塔分层的lk光流法，最优轨迹选取算法。

与传统视频图像处理算法相比，采用本发明具有以下的技术优势：

1)算法不受检测背景、天气变化、光线等干扰，环境适用性好，在检测准确率、检测效率方面都有所提高。

2)训练方法准确性高。计算机能像人类一样观察、学习复杂的情况，通过对不同场景、大量目标数据的不断学习、训练，检测准确率会越来越高。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1为根据本发明实施例之一的目标轨迹跟踪算法流程图。

图2为根据本发明实施例之一的目标打标示例图。

图3为根据本发明实施例之一的深度学习iou曲线示例图。

图4为根据本发明实施例之一的深度学习los曲线示例图。

图5为根据本发明实施例之一的深度学习目标识别示例图。

图6为根据本发明实施例之一的目标选点及跟踪轨迹示例图。

图7为根据本发明实施例之一的每个车辆目标选取的最优跟踪轨迹线示例图。

具体实施方式

为了实现上述目的，本发明提供了一种基于人工智能的目标轨迹跟踪算法，主要包括深度学习目标检测算法、目标角点检测算法、基于金字塔分层的lk光流法跟踪、最优轨迹线选取算法。算法具体实现如下：

1.以深度学习算法对目标进行检测。

目前基于深度学习理论的目标检测算法，主要分为以faster-rcnn为代表的two-stage系列算法，特点是准确率高但检测速度慢；和以yolo为代表的one-stage系列算法，特点是准确率相对低一点但检测速度很快。

结合车辆目标检测需求，这里选用yolov3算法，做到了准确率和检测速度的双重要求。具体步骤如下：

1)使用darknet深度学习框架来实现yolov3算法，拉取并编译darknet，使用gpu和cudnn来加速运算。

2)深度学习需要大量的打标数据，选取coco数据集中的person、car、bus、truck四类数据，再使用labelimg标注工具来标注项目中需要的车辆目标图片，整理成约有十几万张图片的数据集。通过脚本将其转换成我们所需的数据格式类型。

3)根据检测要求和设备硬件配置，修改cfg配置文件，主要有目标种类classess＝4，filters＝27，batch＝64，subdivisions＝16，输入目标图片大小width＝416，height＝416，以及训练次数max_batches＝50200。

4)调整训练参数，使之可以顺利训练出模型，主要有学习率learning_rate＝0.001，学习率策略policy＝steps，动量momentum＝0.9和权重衰减decay＝0.0005。

5)使用服务器训练模型，训练loss曲线和iou曲线如图。在训练次数达到45000次左右时，loss值趋于平缓，模型已收敛。

6)得到训练结果yolov3.weights文件。

7)在测试集上测试模型性能，设定iou＝0.7，得到检测准确率为99％，漏检率为2％，达到项目要求。

8)如果上一步的测试效果不理想，则需要查找原因，看是否需要修改打标文件，重新训练。

2.对目标角点检测。

计算目标框内所有像素点p(x，y)处平移(a，b)后的自相似性，用灰度变化函数表示：

e(a,b)＝∑[p(x+a,y+b)-p(x,y)]²(1)

对公式(1)进行泰勒展开：

带入得到：

e(a,b)≈[a,b]m[a,b](3)

其中：

矩阵m中的λ1和λ2是此二次项函数中的两个决定性特征值。当λ1和λ2都较大且数值相当时，说明图像在所有方向移动都将产生明显灰度变化，即此点是角点。

角点响应函数r＝min(λ1，λ2)。

通过以上计算，选择出每个目标框内的10个最强特征点，且保证任意两个特征点的间距大于10个像素，以防太近的像素点由重复的类似角点。

3.基于金字塔分层的lk光流法的目标跟踪。

光流指的是是图像亮度的运动信息，光流有如下两点特征：

(1)运动物体在很短的时间内灰度保持不变

(2)给定邻域内速度向量场变化是缓慢的

在之前的角点计算中，每个目标计算出了10个角点。假设其中一个角点坐标p(x,y)，在时刻t的亮度为i(x,y,t)，那么p点的光流在水平和垂直方向上的速度分量分别为：

这里使用的视频帧率为25f/s，那么1帧视频的时间间隔为40ms，用δt表示，该点40ms后所在点的亮度变为i(x+δx,y+δy,t+δt)，同样利用泰勒展开：

在这个光流约束方程里，有x，y方向的速度u和v两个变量未知。因此采用lk光流算法：

1)角点像素在帧间运动时，由于时间间隔较小(40ms)，可以看作亮度恒定不变。

2)车辆目标是时间连续的，并且帧间运动距离较小，即角点前后帧变化缓慢。

3)车辆目标是刚性物体，车身上的点运动方向相似，速度相似，即角点邻近区域光流一致。

当两帧物体运动位移较大时，算法的误差较大，因此需要减少两帧之间的位移，也就是对原图像进行缩放。即像金字塔一样，将原图像逐层分解，上层金字塔中的一个像素可以代表下层的几个像素。这样，利用金字塔的结构自上而下的修正运动量。

(7)对每一帧建立一个高斯金字塔，最低分辨率图像在最顶层，原始图片在底层。

(8)从顶层(lm)开始，通过最小化每个点的邻域范围内的匹配误差和，得到顶层图像中每个点的光流。

(9)顶层的计算结果(位移情况)反馈到lm-1层，作为该层的初始时的光流值g。

g^l-1＝2(g^l+d^l)g^l-1＝2(g^l+d^l)

(10)这样沿着金字塔向下反馈，重复估计动作，直到金字塔的底层(即原图像)。

d＝g⁰+d⁰

对于每一层l，每个点的光流的计算都是基于邻域内所有点的匹配误差和最小化。

通过上文一系列的计算，可以得出p点在时间序列上的运行轨迹。

4.选取最优轨迹线。

由于选择了10个角点，那么1个目标就会有10条跟踪轨迹。考虑到因为自然光线、周边车辆、车灯反光等干扰因素所导致的基于金字塔分层的lk光流法产生的部分错误跟踪，为减少错误跟踪轨迹，需要选出1条最优轨迹线。方法如下：

5)筛除坐标变化位移较大的轨迹。根据车辆在很短的时间内(40ms)灰度保持不变的特征，判断出单帧位移较大的轨迹线为错误跟踪轨迹。

6)筛除跟踪轨迹不在目标框内的轨迹。利用深度学习得出的目标框对跟踪点进行限制以及错误点去除。

7)计算各个轨迹的直线度，选取直线度较好好的轨迹线。

8)轨迹线尽量位于车身下方，这样选择出来的轨迹线更贴合车辆本身的位移轨迹。坐标越接近于车底的轨迹越能反应车辆的实际位移。

最后，选出的跟踪轨迹正确率非常高，可以用于车流量的计算、车辆参数的统计、道路事件检测等用途。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。