基于单目摄像头的车辆行驶轨迹预测方法

1.本权利提出一种基于单目摄像头的车辆行驶轨迹预测方法，只通过车载单目摄像头对车辆行驶轨迹进行预测，大幅降低对车辆行驶轨迹进行预测的成本，属于图像数据处理
(g06t)
领域。


背景技术：

2.汽车是每一名现代人都会接触到的交通工具，它极大地方便了我们的日常生活。但同时，来来往往的车流也给我们的安全带来了隐患。由《世界卫生组织》所发布的数据，在全世界范围内每年约有120万人因交通事故死亡，也就是说每天约有3500人死于交通事故。而因车祸导致伤残的人数更多，造成了大量的经济损失。尽管各国都在继续完善交通规则，厂商也为车辆增加诸如自动巡航、防抱死、紧急停车等附加功能，交管部门也对司机的考核提出了更高的要求，但交通事故的发生总是在所难免。司机的驾驶能力、驾驶过程中的精神状况以及司机的情绪波动都会对行车安全造成影响，如何将人为因素造成交通事故的概率降低是一个亟待解决的问题。
3.计算机是当代发展最为快速的行业之一，尤其是计算机的硬件计算能力的提升更是令人瞠目结舌，这使得人工智能技术在诸多领域中有了越来越广阔的应用。现如今，人工智能算法在各个行业都有着极为广泛的应用。智能驾驶技术是人工智能技术得以广泛应用的一个行业之一，也是现如今学术界与企业界的研究热点。搭载了智能驾驶系统的车辆一般由大量的传感器单元以及相应的决策控制系统与执行决策的执行模块组成。传感器对于车辆而言相当于人类的感官，帮助车辆获取周围的信息，决策系统相当于人脑，结合传感器获取到的信息，分析周围环境，做出合理的驾驶决策，通过执行模块来控制车辆的行动。目前无论是辅助驾驶系统还是自动驾驶系统都在逐步投入使用。若该类技术能对传统驾驶方式中的缺陷进行补足，将能大大减少因为人的因素而造成的交通事故，提升驾驶安全性，提升驾驶体验。
4.无人驾驶车辆以及辅助驾驶系统常用的传感器为摄像头与激光雷达。摄像头可以感知周围环境的视觉信息，技术成熟，分辨率高而且价格低廉。其缺陷在于感知的信息需要进行较多的后续处理，且处理过程复杂，容易对结果的精度产生影响；激光雷达可以快速精确地对周围环境进行全方位的感知，获知障碍物的位置，但其成本较高，对智能驾驶的普及造成了一定的困难。因此，出于场景、成本、性能等多方面的原因，摄像头可以作为自动驾驶系统的传感器，以获取车辆周围的环境信息。
5.轨迹预测是提升自动驾驶系统以及辅助驾驶系统对复杂路况处理能力的重要技术，通过对车辆四周运动的车辆进行检测，并收集这些车辆在过去一段时间的行驶轨迹，对其未来一段时间的行驶状态以及行驶轨迹做预测。若能使自动驾驶系统在一定程序上拥有人类驾驶员对路面上其他车辆的预测能力，则可让自动驾驶系统在复杂多变的交通环境下拥有更强大的应变能力，提升智能驾驶系统的安全系数与驾驶表现。
6.单目摄像头是车辆上常见的传感器之一，其成本低廉且易于加装到几乎任何一种
车辆上，具有较强的可扩展性。在现代芯片与光学元件制造工艺的帮助下，在车辆的设计过程中，添加单目摄像头单元对成本与设计难度的影响较小，可低成本对车辆获取周围环境的能力产生明显的提升。对单目摄像头而言，其优势在于成本低廉且可通过图像的方式获取到丰富的环境信息，但获取到的图像信息并不直接包含场景中目标精确的位置信息，对于需要获取目标在世界坐标系下位置信息的应用而言，这是一个很大的弊端。
7.由于通过摄像头所获取到的图像并不直接包含周围环境的位置信息，因此需要通过算法，对图像序列中的信息进行提取，提取的信息内容包括物体的位置、速度等。真实的场景中，有大量的动态目标，若无人驾驶系统或辅助驾驶系统可以对周围运动目标的状态信息准确捕捉并做出预测，可以使得路径规划算法的准确度大幅提升，获得更加稳定可靠的路径规划结果。
8.对车辆搭载的单目摄像头所拍摄出的视频中的目标进行识别，并依据识别与检测结果对视频中车辆的轨迹进行预测与分析，是智能交通领域的一个重要的研究方向。通过对单目摄像头拍摄的视频中车辆的行驶轨迹进行预测，可以在控制成本的同时，大幅提升车辆的路径规划系统的决策能力，使辅助驾驶系统与自动驾驶系统具有更优的安全性能，在智能驾驶发展如火如荼的今天有着巨大的研究意义，并将在实际的生产环境中发挥出巨大的价值。


技术实现要素：

9.针对上述提到的问题，本权利旨在从交通场景以及实际应用的需求出发，以提升自动驾驶车辆的安全性为目标，结合现有的数据以及深度学习相关技术，提出了一种基于单目摄像头的车辆行驶轨迹预测方法。
10.基于车载摄像头的车辆行驶轨迹预测方法主要通过车载摄像头拍摄的视频对视频中车辆的行驶轨迹进行预测。从预测过程的角度该方法共分为两大步骤。第一个步骤是对视频序列中车辆距离拍摄车辆的距离进行检测，并结合搭载摄像头的车辆所在的位置将距离变换为世界坐标系下的位置信息，对视频中的多帧图像进行检测之后，将图像序列中连续的位置信息构成车辆的历史行驶轨迹。第二个步骤是通过车辆的历史行驶轨迹，结合车辆的行驶轨迹预测算法，对车辆的行驶轨迹进行预测。针对这两个步骤基于单目摄像头的车辆行驶轨迹预测方法首先基于现有的大规模数据集argoverse(在https://arxiv.org/abs/1911.02620可获得)设计了一套完善的数据集构造算法，构造了符合本方法任务所需要的数据集，然后构建了车辆模型距离检测模型获取车辆轨迹信息、并采用基于图与交互信息的车辆行驶轨迹预测模型进行训练以预测车辆行驶轨迹。
11.所述步骤具体包括两大步，第一步骤包括子步骤a1与子步骤a2；所述第二步骤包括子步骤a3；
12.子步骤a1用于，数据集生成
13.利用argoverse数据集中的3d跟踪部分，构造符合需要的数据集，并对数据集中的数据量、数据分布等进行了统计，具体的数据集生成算法如下：
14.首先需要的图像标注数据需要从argoverse数据集中3d标记信息获得,采用argoverse数据集正前方环绕摄像头拍摄的图像作为原始图像，在argoverse数据集中，摄像头拍摄的图像与激光雷达获取到的点云数据的时间戳并不完全同步，因此在对图像中的
车辆信息进行标注时，用图像在拍摄时间上间隔最小的点云数据为依据进行标注。对与一张给定的图像i，与图像对应的点云数据的获取过程可由下式表示：
[0015][0016]
式中timestamp_i表示图像i的时间戳，timestamp_s表示激光雷达信息的时间戳，满足条件的timestamp_s即为给定图像i所对应的点云数据，获取到与图像所对应的点云数据后，通过相机标定算法，利用点云数据中的标记信息对图像中的车辆进行标定，对于argoverse数据集中图像序列内的每一张图像，对其进行处理，生成完整的图像序列标注label的算法如下：
[0017]
s1_1：输入点云标注时间戳集合t，点云标注集合s，图像i和图像时间戳timestamp_i；
[0018]
s1_2：对于点云标注时间戳集合t中的每一个timestamp_i，计算timestamp_i和timestamp_s的时间间隔，并将timestamp_s与时间间隔储存于interval_timestamp_map中；
[0019]
s1_3：在步骤s2中找到最小时间间隔interval_timestamp_map所对应的timestamp_s，保存为min_timestamp_s，再通过相机标定算法将点云标记中所有标记转换为图像标记集合label_all；
[0020]
s1_4：在步骤s1_3中得到的图像标记集合label_all中的每一个标注label，根据标注数据label数值在指定的阈值范围情况，如果label在图像范围内，则保留label,否则从label_all移除该标注label。
[0021]
子步骤a2用于，训练车辆距离检测模型获取车辆的位置信息序列
[0022]
s2_1：问题定义
[0023]
在图像序列中识别车辆的位置信息有如下定义。图像序列的定义表示为is＝{ii|i∈(1,2,.....,t)}，其中，i
s
表示图像序列的集合，i
i
表示图像序列中的每一张图像，图像序列中共有t张图像，对于每一张图像中的每一个待检测距离的车辆，均有与之对应的边界框标记，标记信息可由下式表示：
[0024][0025]
式中b
i
表示第i个图像中所有车辆边界框的集合，r，i，b，t分别表示边界框的右边界、左边界、下边界、上边界的坐标，k表示图像中车辆的编号,n表示图像中共有n辆待识别的车辆。图像序列中包含连续的拍摄到的车辆，车辆的位置信息经过检测后，会得到车辆的位置信息序列。
[0026]
车辆的位置信息序列定义为：d
s
＝{d
i
|i∈(1,2,.....,t)}，其中，d
s
表示图像序列集合所对应的车辆位置信息集合，d
i
表示图像序列中每一帧图像所对应图像上所有的车辆的位置信息。d
i
中的信息可由下式表示：
[0027][0028]
上式中在几何上是拍摄车辆与被拍摄车辆的相对位置所构成直角三角形的两直角边。
[0029]
在图像信息之外，相机自身的参数信息对于距离检测算法也十分重要。相机的参数可由下式表示：
[0030]
m＝{f
x
,f
y
,c
x
,c
y
}
[0031]
其中f
x
,f
y
,c
x
,c
y
分别表示相机以车道方向为参照的标准直角坐标系x，y方向的焦距以及主点的坐标，m是相机参数的集合。模型通过对单张图像中的车辆进行距离检测，主要通过完成过程来实现的转换过程。
[0032]
s2_2：车辆模型距离检测模型构建
[0033]
车辆模型距离检测模型根据网络结构由三个子模块组成。
[0034]
(1)第一个模块为相机参数与边界框模块。用来粗略地获取被拍摄车辆距离拍摄车辆的距离范围，对于图像中的第k个车辆，使用t
k
,b
k
,l
k
,r
k
分别表示车辆边界框的上、下、左、右边界的坐标，f
x
,f
y
,c
x
,c
y
表示相机的横、综焦距参数以及主点坐标，则该模块的特征f
p
生成过程可用下式表示；
[0035][0036]
(2)第二部分是光流图生成模块。用来更好地区分运动中的车辆与周围场景的细粒度边界，以及在一定程度上反映车辆自身的尺寸以及其运动状态，为距离预测提供额外的信息支撑；
[0037]
(3)第三部分是全局特征生成模块。用于提取整张图像的特征，结合车辆自身的图像特征辅助模型对车辆的距离进行预测。
[0038]
以上三部分生成的特征图经过拼接后，生成一个完整的包含网络中各个模块信息的特征向量，该向量经过一个全连接网络，即可生成预测的x、y方向的车辆距离。
[0039]
s2_3：模型设置
[0040]
(1)在光流图生成模块中，pwc
‑
net的网络层数l设定为6，即共进行6次图像特征提取与光流图生成操作；
[0041]
(2)在全局特征生成部分，将预训练的resnet
‑
50模型的最后一层替换为输出特征长度为2048维的全连接网络。
[0042]
s2_4：数据集划分
[0043]
将步骤一中生成的数据集划分为训练集与验证集，其中训练集57个场景，共33346张图像；测试集包含有6个场景，共4482张图像。
[0044]
s2_5：训练与测试车辆距离检测模型
[0045]
实验结果显示，在本专利所构造的模型在测试集上的整体性能高于mono velocity模型，并在不同预测距离范围进行测试，除短距离(即小于20m)下mono velocity模型的性能略优于本专利所提出的模型，在中距离、中长距离、长距离下本专利所提出的模型的性能均远优于mono velocity。
[0046]
子步骤a3用于，训练基于图与交互信息的车辆行驶轨迹预测模型预测车辆未来行驶轨迹
[0047]
s3_1：问题定义
[0048]
图像序列i
s
经过车辆距离检测模块后生成车辆的行驶轨迹距离集合d
s
，d
s
内所包含的元素是被拍摄的车辆与拍摄车辆的距离信息，而车辆的行驶轨迹预测需要将车辆的历史行驶轨迹traj
s
作为模型的输入。拍摄图像的车辆上搭载的定位系统与imu模块记录了车辆在对应时刻所处的位置以及偏转角度，将该序列记为p
s
，p
s
可由下式表示：
[0049]
p
s
＝{p
i
|i∈(1,2,...,n)}
[0050]
其中，p
i
表示第i帧时车辆的位置与偏转角度，p
i
可由下式表示：
[0051][0052]
式中，分别表示拍摄车辆以车道方向为参照的在世界坐标系下横、纵以及竖直方向上的空间坐标，r
i
表示车辆相对于道路的偏转角度。通过如下式所示的过程，即可得到车辆过去的行驶轨迹x
s
，其含义为在连续的一段时刻里，车辆在坐标系中的序列：
[0053][0054]
得到了车辆的历史行驶轨迹制后，即可对车辆未来的行驶轨迹ys进行预测：
[0055][0056]
s3_2：坐标变换与序列化
[0057]
被拍摄车辆在世界坐标系下的位置通过坐标变换获得，对于t时刻，编号为n的车辆，该过程可由下式表示，然后对变换后的结果进行序列化排列。
[0058][0059]
式中，(p
xt
,p
yt
)表示t时刻，编号为n的车辆的具体位置，则表示拍摄车辆与被拍摄车辆的相对位置，其在几何上是拍摄车辆与被拍摄车辆的相对位置所构成直角三角形的两直角边。
[0060]
s3_3：数据集划分
[0061]
采用百度发布的自动驾驶数据集apolloscape中的轨迹数据，该数据集包含了53分钟的训练数据，以2fps的采样率表示车辆的位置、类型、偏转方向等信息，对数据集采用8:1:1的比例划分为训练集、测试集、验证集。
[0062]
s3_4：采用基于图与交互信息的车辆行驶轨迹预测模型(grip，graph
‑
based interactionaware trajectory prediction)进行车辆未来行驶轨迹预测。
[0063]
grip模型分别在百度发布的自动驾驶数据集apolloscape和本专利所提出的数据集进行测试，并与轨迹预测模型trafficpredict和starnet在百度apolloscape的轨迹数据集上的性能进行对比。
[0064]
本发明权利的有益效果在于：轨迹预测是提升自动驾驶系统以及辅助驾驶系统对复杂路况处理能力的重要技术，也是自动驾驶与辅助驾驶领域的重要研究方向。通过对系统操控的车辆四周运动的车辆进行检测，并收集这些车辆在过去一段时间的行驶轨迹，对车辆未来一段时间的行驶状态以及行驶轨迹做预测，以提升自动驾驶车辆的安全性。
附图说明
[0065]
图1为本技术的车辆行驶轨迹预测过程的示意图；
[0066]
图2为任务流程中的数据关系链；
[0067]
图3为车辆模型距离检测模型结构图；
[0068]
图4为坐标变换示意图；
[0069]
图5为模型预测结果对比；
[0070]
图6为不同距离范围的预测误差；
[0071]
图7为模型性能对比。
具体实施方式
[0072]
为使本发明的目的、技术方案描述更加清晰，下面将结合实施方式和附图，对本发明作进一步地详细阐述，具体如下。
[0073]
输入模型的数据是连续的图像序列，输出的预测结果是车辆在真实世界坐标系下的行驶轨迹，两者为属于不同模态的数据且存在较为复杂的对应关系，其一一对应的关系链参考图1表示。输入的图像经过距离检测生成距离序列信息，再经由变换模块生成位置序列信息，之后再生成预测的行驶轨迹，这一系列的过程中包含检测、序列化、变换、预测等过程，难以通过端到端网络直接完成该任务，因此需要由不同结构的网络来来分段完成，即基于车载摄像头的车辆行驶轨迹预测模型由两个模型组成。第一个是基于单目摄像头的车辆距离检测模块，所完成的功能是将图像数据转换为车辆的位置信息，在对图像序列中的每一张图像中的车辆进行距离检测过程后，即可得到车辆的位置信息序列，为下一步坐标变换提供了信息来源；第二个是基于图与交互信息的车辆行驶轨迹预测模块。将车辆距离检测模型获得了车辆在每一时刻的位置信息经过坐标变换过程与序列化后，即可得到车辆在过去一段时间的行驶轨迹，再经过模型的预测，即可得到未来的行驶轨迹预测结果。基于车载摄像头的车辆行驶轨迹预测模型所述步骤具体包括两大步，第一步骤包括子步骤a1与子步骤a2；所述第二步骤包括子步骤a3；
[0074]
子步骤a1用于，数据集生成
[0075]
现有的大规模数据集argoverse，其包括两大主要部分，分别是3d跟踪部分与车辆轨迹部分，其中车辆轨迹部分的数据是只包含结构化的车辆行驶轨迹的数据，不包含3d点云信息以及对应的车辆周围的图像信息，因此仅利用argoverse数据集中的3d跟踪部分，构造符合需要的数据集，并对数据集中的数据量、数据分布等进行了统计，具体的数据集生成算法如下：
[0076]
首先需要的图像标注数据需要从argoverse数据集中3d标记信息获得,采用argoverse数据集正前方环绕摄像头拍摄的图像作为原始图像，在argoverse数据集中，摄像头拍摄的图像与激光雷达获取到的点云数据的时间戳并不完全同步，因此在对图像中的车辆信息进行标注时，需要以与图像在拍摄时间上间隔最小的点云数据为依据进行标注。对与一张给定的图像i，与图像对应的点云数据的获取过程可由下式表示：
[0077][0078]
式中timestamp_i表示图像i的时间戳，timestamp_s表示激光雷达信息的时间戳，满足条件的timestamp_s即为给定图像i所对应的点云数据，获取到与图像所对应的点云数据后，通过相机标定算法，利用点云数据中的标记信息对图像中的车辆进行标定，对于argoverse数据集中图像序列内的每一张图像，对其进行处理，生成完整的图像序列标注label的算法如下：
[0079]
s1_1：输入点云标注时间戳集合t，点云标注集合s，图像i和图像时间戳timestamp_i；
[0080]
s1_2：对于点云标注时间戳集合t中的每一个timestamp_i，计算timestamp_i和
timestamp_s的时间间隔，并将timestamp_s与时间间隔储存于interval_timestamp_map中；
[0081]
s1_3：在步骤s2中找到最小时间间隔interval_timestamp_map所对应的timestamp_s，保存为min_timestamp_s，再通过相机标定算法将点云标记中所有标记转换为图像标记集合label_all；
[0082]
s1_4：在步骤s3中得到的图像标记集合label_all中的每一个标注label，如果label在图像范围内，则保留label,否则从label_all移除该标注label。
[0083]
子步骤a2用于，训练车辆距离检测模型获取车辆的距离信息序列
[0084]
s2_1：问题定义
[0085]
在图像序列中识别车辆的位置信息有如下定义。图像序列的定义表示为i
s
＝{i
i
|i∈(1,2,.....,t)}，其中，i
s
表示图像序列的集合，i
i
表示图像序列中的每一张图像，图像序列中共有t张图像，对于每一张图像中的每一个待检测距离的车辆，均有与之对应的边界框标记，标记信息可由下式表示：
[0086][0087]
式中b
i
表示第i个图像中所有车辆边界框的集合，r，l，b，t分别表示边界框的右边界、左边界、下边界、上边界的坐标，k表示图像中车辆的编号,n表示图像中共有n辆待识别的车辆。图像序列中包含连续的拍摄到的车辆，车辆的位置信息经过检测后，会得到车辆的位置信息序列。
[0088]
车辆的位置信息序列定义为：d
s
＝{d
i
|i∈(1,2,.....,t)}，其中，d
s
表示图像序列集合所对应的车辆位置信息集合，d
i
表示图像序列中每一帧图像所对应图像上所有的车辆的位置信息。d
i
中的信息可由下式表示：
[0089][0090]
在图像信息之外，相机自身的参数信息对于距离检测算法也十分重要。相机的参数可由下式表示：
[0091]
m＝{f
x
，f
y
，c
x
，c
y
}
[0092]
其中f
x
,f
y
,c
x
,c
y
分别表示相机x，y方向的焦距以及主点的坐标，m是相机参数的集合。模型通过对单张图像中的车辆进行距离检测，主要通过完成过程来实现的转换过程。
[0093]
s2_2：车辆模型距离检测模型构建
[0094]
模型的结构参考图3所示，拍摄的图像经过相机参数与边界框模块，粗略地获得被拍摄车辆距离拍摄车辆的距离范围，然后经过具有编解码结构的pwc
‑
net光流图生成模快，得到图像序列的光流信息特征，充分利用pwc
‑
net在光流计算中所产生的多种不同尺度、不同精度的光流图，然后将多尺度的光流图引入到模型中并通过roialign将特征图统一为同一尺寸，同时模型还将计算过程中生成的特征图并通过roialign与卷积操作得到单张图像的特征图，最后跟全局特征生成模块生成的特征进行拼接，生成一个完整的包含网络中各个模块信息的特征向量，再送入全连接层进行前向传播，即可生成预测的x、y方向的车辆距离。车辆模型距离检测模型可根据网络结构分为三个子模块。
[0095]
(1)第一个模块为相机参数与边界框模块。该模块输入是一张拍摄包含车辆的图
像，输出包括两部分，一部分经过计算将相机的焦距、主点坐标以及车辆标记的边界框信息等参数作为特征向量的一部分，作为预测距离提供的特征，另一部分提取图片中车辆的边界框输入到光流生成模块中。该模块的部分参数为模型提供相机的参数与车辆的边界框占图像的比例，使用该部分信息可以粗略地获得被拍摄车辆距离拍摄车辆的距离范围，因此该部分信息对于模型预测来说是至关重要的一环。将车辆标记的边界框与相机的参数结合进行比例运算，该比例信息与距离检测任务的相关性要高于独立的边界框参数与相机参数。对于图像中的第k个车辆，使用t
k
,b
k
,l
k
,r
k
分别表示车辆边界框的上、下、左、右边界的坐标，f
x
,f
y
,c
x
,c
y
表示相机的横、综焦距参数以及主点坐标，则该模块的特征生成过程可用下式表示；
[0096][0097]
(2)第二部分是光流图生成模块。该模块根据输入图像提取的车辆边界框采用flyingchair(https://lmb.informatik.uni
‑
freiburg.de/resources/datasets/flyingchairs.en.html可获得)数据集上预训练的pwc
‑
net(https://research.nvidia.com/publication/2018
‑
02_pwc
‑
net:
‑
cnns
‑
for可获得)网络获取图像序列的光流信息，以在一定程度上能捕获反映车辆自身的尺寸以及其运动状态，为距离预测提供额外的信息支撑。
[0098]
(3)第三部分是全局特征生成模块。该部分输入是整张图像，由一个在imagenet(在https://image
‑
net.org/可获得)预训练的resnet
‑
50，将其最后一层由全连接层替换后，输出整张图像的特征。该模块的特征与第一，第二部分的特征进行拼接，以得到完整的包含网络中各个模块信息的特征向量。其中resnet
‑
50在https://www.kaggle.com/keras/resnet50可获得。
[0099]
s2_3：模型设置
[0100]
车辆距离检测模型共包含三个子模块，其中相机参数模块与边界框模块的特征直接作为完整的特征向量的一部分送入到模型最后的全连接网络中，因此该部分并无需要设定的参数。光流图生成模块与全局特征生成模块的设置介绍如下：
[0101]
(1)在光流图生成模块中，pwc
‑
net的网络层数l设定为6，即共进行6次图像特征提取与光流图生成操作；
[0102]
(2)在全局特征生成部分，将预训练的resnet
‑
50模型的最后一层替换为输出特征长度为2048维的全连接网络。
[0103]
s2_4：数据集划分
[0104]
对于步骤一中数据集生成算法依据argoverse数据集所生成的车辆距离检测数据集。该数据集包含37746张场景图像，总标记量达137543个车辆，且每一张图像均处于图像序列中，可以结合图像序列中的其他图像生成光流信息。将数据集划分为训练集与验证集，其中训练集57个场景，共33346张图像；测试集包含有6个场景，共4482张图像。
[0105]
s2_5：训练与测试车辆距离检测模型
[0106]
对本权利提出的车辆距离检测模型进行训练与测试，其中参数设置方面，对在flyingchairs上预训练的光流图预测网络pwcnet和在imagenet上预训练的resnet
‑
50进行采用固定参数的方式进行训练。然后与同样基于深度神经网络的mono velocity模型在距
离检测上的性能进行对比，其实验对比结果可参考图5所示，使用预测距离与距离真实值mse(均方误差)作为评价指标，可见在本专利所构造的模型在测试集上的整体性能高于mono velocity模型。对于模型来说，同样应根据其对不同距离车辆的检测能力进行分类，对模型的性能进行评价。依照图6中对距离的分类，对模型的性能进行测试，性能结果参照图6所示。
[0107]
对本专利所解决的问题而言，车辆距离检测模型的意义在于从图像序列中检测出车辆的距离，为轨迹预测模型提供信息来源，而道路上的车辆并非按照距离均匀分布，且处于不同位置的车辆，其轨迹预测结果的重要性也有所不同，可以看到除短距离(即小于20m)下mono velocity模型的性能略优于本专利所提出的模型，在中距离、中长距离、长距离下本专利所提出的模型的性能均远优于mono velocity。
[0108]
以上，子步骤a2对车辆距离检测的问题进行了定义，并提出了车辆距离检测模型，并使用本专利所提出的数据集构造算法所生成的数据集对模型进行训练，然后与现有模型的性能进行了对比，其表现要优于现有的距离检测模型。
[0109]
子步骤a3用于，根据子步骤a2对车辆距离的检测结果，训练基于图与交互信息的车辆行驶轨迹预测模型预测车辆未来行驶轨迹
[0110]
s3_1：问题定义
[0111]
图像序列i
s
经过车辆距离检测模块后生成车辆的行驶轨迹距离集合d
s
，d
s
内所包含的元素是被拍摄的车辆与拍摄车辆的距离信息，而车辆的行驶轨迹预测需要将车辆的历史行驶轨迹traj
s
作为模型的输入。拍摄图像的车辆上搭载的定位系统与imu模块记录了车辆在对应时刻所处的位置以及偏转角度，将该序列记为p
s
，p
s
可由下式表示：
[0112]
p
s
＝{p
i
|i∈(1,2,...,n)}
[0113]
其中，p
i
表示第i帧时车辆的位置与偏转角度，p
i
可由下式表示：
[0114][0115]
式中，分别表示拍摄车辆的横、纵以及竖直方向上的空间坐标，r
i
表示车辆的偏转角度。通过如下式所示的过程，即可得到车辆过去的行驶轨迹x
s
：
[0116][0117]
得到了车辆的历史行驶轨迹制后，即可对车辆未来的行驶轨迹y
s
进行预测：
[0118][0119]
s3_2：坐标变换与序列化
[0120]
坐标变换的过程可参考图3所示，编号0
‑1‑
2分别表示三个车辆，用(p
xt
,p
yt
)表示t时刻，编号为n的车辆的具体位置，则表示拍摄车辆与被拍摄车辆的相对位置，其在几何上是拍摄车辆与被拍摄车辆的相对位置所构成直角三角形的两直角边，则通过坐标变换可获得被拍摄车辆在世界坐标系下的位置，对于t时刻，编号为n的车辆，该过程可由下式表示：
[0121][0122]
s3_3：数据集划分
[0123]
采用百度发布的自动驾驶数据集apolloscape中的轨迹数据，该数据集包含了53
分钟的训练数据，以2fps的采样率表示车辆的位置、类型、偏转方向等信息，对数据集采用8:1:1的比例划分为训练集、测试集、验证集。
[0124]
s3_4：采用基于图与交互信息的车辆行驶轨迹预测模型(grip，graph
‑
based interactionaware trajectory prediction)(在https://github.com/chaosles/grip可获得)进行车辆未来行驶轨迹预测。
[0125]
grip模型分别在百度发布的自动驾驶数据集apolloscape和本专利所提出的数据集进行测试，并与轨迹预测模型trafficpredict和starnet在百度apolloscape的轨迹数据集上的性能进行对比，对比结果可参考图7所示。在apolloscape数据集上，grip模型表现出了优秀的预测效果，在本专利提出的数据集上通过视频进行轨迹预测时，模型的表现性能有所下降。引起模型性能下降的原因主要因为车辆的历史行驶轨迹通过摄像头拍摄的图像进行距离检测与坐标转换所得，该过程本身会存在一定的误差，尤其是对于距离较远的车辆，其误差会更明显，这一部分误差较大的数据会对整体的预测结果产生较大的影响。
[0126]
轨迹预测效果的衡量指标为:ade(average displacement error)和(final displacement error)，其中ade为所有预测轨迹点与真实值(gt：groundtruth)对应轨迹点的空间距离之和跟预测轨迹点个数的比值,而fda为最后一个预测轨迹点与gt对应轨迹点的空间距离。
[0127]
以上，子步骤a3,对车辆行驶轨迹预测问题进行了定义，阐明了坐标变换与序列化的过程，训练了轨迹预测模型grip，并测试了该模型在apolloscape数据集与本文提出的数据集下的表现。
[0128]
综上，本专利提出了一种基于车载摄像头的车辆行驶轨迹预测方法，主要通过车载摄像头拍摄的视频对视频中车辆的行驶轨迹进行预测。从预测过程的角度模型共分为两大步骤。第一个步骤是对视频序列中车辆距离拍摄车辆的距离进行检测，并结合搭载摄像头的车辆所在的位置将距离变换为世界坐标系下的位置信息，对视频中的多帧图像进行检测之后，将图像序列中连续的位置信息构成车辆的历史行驶轨迹。第二个步骤是通过车辆的历史行驶轨迹，结合车辆的行驶轨迹预测算法，对车辆的行驶轨迹进行预测。