车载摄像头外参标定方法、装置、车载终端和存储介质与流程

1.本申请涉及自动驾驶技术领域，特别是涉及一种车载摄像头外参标定方法、装置、车载终端和存储介质。


背景技术：

2.随着自动驾驶技术的发展，越来越多的车辆配置了自动驾驶相关功能；车载摄像头是自动驾驶中感知环境的重要工具，算法需要获取摄像头在世界坐标系中的具体位置从而建立坐标系的转换关系，输出相应的感知结果对车辆进行控制操作。
3.一般在车辆出厂前，车厂会对车载摄像头的内外参通过专业的标定标靶和工具进行测量校准，但在后续的使用过程中，用户没有条件对摄像头进行标定。因此，还需要一种在驾驶过程中能够自动进行摄像头外参标定的方法，以降低用户对摄像头进行标定的门槛以及效率。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种车载摄像头外参标定方法、装置、车载终端和存储介质。
5.一种车载摄像头外参标定方法，所述方法包括：
6.对车载摄像头拍摄得到的多个图像帧中的目标车辆进行识别，得到与各个所述图像帧对应的目标车辆识别框；
7.根据各个所述图像帧中的目标车辆识别框与地面的交点坐标，确定出所述目标车辆的接地点信息和车辆宽度信息；
8.根据所述接地点信息、所述车辆宽度信息以及所述接地点信息和所述车辆宽度信息之间的预设线性关系，得到与所述车载摄像头对应的安装高度以及俯仰角；
9.根据所述俯仰角从确定出的灭点中筛选出目标灭点；所述灭点为根据所述目标车辆的行驶轨迹所得到的交点，所述行驶轨迹根据所述目标车辆的接地点信息确定；
10.根据所述目标灭点的横坐标确定出与所述车载摄像头对应的偏航角；所述偏航角、所述安装高度以及所述俯仰角用于对所述车载摄像头进行标定。
11.在其中一个实施例中，所述目标车辆识别框标记有所述目标车辆的车辆类型标识；
12.所述根据各个所述图像帧中的目标车辆识别框与地面的交点坐标，确定出所述目标车辆的接地点信息和车辆宽度信息，包括：
13.获取所述目标车辆识别框在所属图像帧内与地面的两个交点坐标，作为所述目标车辆的接地点信息；
14.根据两个所述交点坐标之间的距离确定出目标车辆的图像宽度；
15.基于与所述车辆类型标识对应的预设车辆宽度，对所述目标车辆的图像宽度进行修正，得到所述目标车辆的车辆宽度信息。
16.在其中一个实施例中，所述预设线性关系通过以下方式获取：
17.根据内参参数、安装高度参数、俯仰角参数以及车辆宽度参数，得到表征所述目标车辆的两个所述交点坐标的第一关系式以及第二关系式；
18.根据所述第一关系式以及所述第二关系式，得到表征所述图像宽度的第三关系式；所述第三关系式为一次函数形式，所述安装高度参数、所述俯仰角参数以及所述车辆宽度参数组成所述第三关系式的斜率，所述内参参数以及所述俯仰角参数组成所述第三关系式的截距，所述第三关系式的斜率与截距构成所述预设线性关系。
19.在其中一个实施例中，所述根据所述接地点信息、所述车辆宽度信息以及所述接地点信息和所述车辆宽度信息之间的预设线性关系，得到与所述车载摄像头对应的安装高度以及俯仰角，包括：
20.将多个所述接地点信息与多个所述车辆宽度信息进行线性拟合处理，得到线性关系参数；所述线性关系参数中包含有所述安装高度参数以及所述俯仰角参数；
21.基于所述预设线性关系，对所述安装高度参数以及所述俯仰角参数进行反解处理，得到所述车载摄像头的安装高度以及俯仰角。
22.在其中一个实施例中，在基于所述预设线性关系，对所述安装高度参数以及所述俯仰角参数进行反解处理之后，还包括：
23.获取经过所述反解处理后得到的多组初始安装高度和初始俯仰角；
24.对多组所述初始安装高度和所述初始俯仰角进行滤波处理，得到与所述初始安装高度以及所述初始俯仰角对应的误差参数；所述误差参数用于对所述初始安装高度以及所述初始俯仰角进行收敛判断；
25.当所述误差参数小于预设误差阈值的连续次数达到预设次数阈值时，确定所述初始安装高度以及所述初始俯仰角收敛。
26.在其中一个实施例中，所述根据所述俯仰角从确定出的灭点中筛选出目标灭点，包括：
27.根据所述俯仰角，确定出与所述灭点的纵坐标对应的参考范围阈值；
28.从多个所述灭点中，选取所述纵坐标符合所述参考范围阈值的灭点，作为所述目标灭点。
29.在其中一个实施例中，所述根据所述目标灭点的横坐标确定出与所述车载摄像头对应的偏航角，包括：
30.将多个所述目标灭点按照横坐标的大小进行排序，得到排序结果；
31.在所述排序结果中，将属于中位数的横坐标作为目标横坐标；
32.根据所述目标横坐标以及所述车载摄像头的内参确定出与所述车载摄像头对应的偏航角。
33.一种车载摄像头外参标定装置，所述装置包括：
34.车辆识别模块，用于对车载摄像头拍摄得到的多个图像帧中的目标车辆进行识别，得到与各个所述图像帧对应的目标车辆识别框；
35.信息确定模块，用于根据各个所述图像帧中的目标车辆识别框与地面的交点坐标，确定出所述目标车辆的接地点信息和车辆宽度信息；
36.第一标定模块，用于根据所述接地点信息、所述车辆宽度信息以及所述接地点信
息和所述车辆宽度信息之间的预设线性关系，得到与所述车载摄像头对应的安装高度以及俯仰角；
37.灭点筛选模块，用于根据所述俯仰角从确定出的灭点中筛选出目标灭点；所述灭点为根据所述目标车辆的行驶轨迹所得到的交点，所述行驶轨迹根据所述目标车辆的接地点信息确定；
38.第二标定模块，用于根据所述目标灭点的横坐标确定出与所述车载摄像头对应的偏航角；所述偏航角、所述安装高度以及所述俯仰角用于对所述车载摄像头进行标定。
39.一种车载终端，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
40.对车载摄像头拍摄得到的多个图像帧中的目标车辆进行识别，得到与各个所述图像帧对应的目标车辆识别框；
41.根据各个所述图像帧中的目标车辆识别框与地面的交点坐标，确定出所述目标车辆的接地点信息和车辆宽度信息；
42.根据所述接地点信息、所述车辆宽度信息以及所述接地点信息和所述车辆宽度信息之间的预设线性关系，得到与所述车载摄像头对应的安装高度以及俯仰角；
43.根据所述俯仰角从确定出的灭点中筛选出目标灭点；所述灭点为根据所述目标车辆的行驶轨迹所得到的交点，所述行驶轨迹根据所述目标车辆的接地点信息确定；
44.根据所述目标灭点的横坐标确定出与所述车载摄像头对应的偏航角；所述偏航角、所述安装高度以及所述俯仰角用于对所述车载摄像头进行标定。
45.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
46.对车载摄像头拍摄得到的多个图像帧中的目标车辆进行识别，得到与各个所述图像帧对应的目标车辆识别框；
47.根据各个所述图像帧中的目标车辆识别框与地面的交点坐标，确定出所述目标车辆的接地点信息和车辆宽度信息；
48.根据所述接地点信息、所述车辆宽度信息以及所述接地点信息和所述车辆宽度信息之间的预设线性关系，得到与所述车载摄像头对应的安装高度以及俯仰角；
49.根据所述俯仰角从确定出的灭点中筛选出目标灭点；所述灭点为根据所述目标车辆的行驶轨迹所得到的交点，所述行驶轨迹根据所述目标车辆的接地点信息确定；
50.根据所述目标灭点的横坐标确定出与所述车载摄像头对应的偏航角；所述偏航角、所述安装高度以及所述俯仰角用于对所述车载摄像头进行标定。
51.上述车载摄像头外参标定方法、装置、车载终端和存储介质，方法包括：对车载摄像头拍摄得到的多个图像帧中的目标车辆进行识别，得到与各个图像帧对应的目标车辆识别框；根据各个图像帧中的目标车辆识别框与地面的交点坐标，确定出目标车辆的接地点信息和车辆宽度信息；根据接地点信息、车辆宽度信息以及接地点信息和车辆宽度信息之间的预设线性关系，得到与车载摄像头对应的安装高度以及俯仰角；根据俯仰角从确定出的灭点中筛选出目标灭点；灭点为根据目标车辆的行驶轨迹所得到的交点，行驶轨迹根据目标车辆的接地点信息确定；根据目标灭点的横坐标确定出与车载摄像头对应的偏航角；偏航角、安装高度以及俯仰角用于对车载摄像头进行标定。本申请通过摄像头采集到的图
像，将图像中识别得到的车辆信息与摄像头的外参进行关联，以此确定出偏航角、高度以及俯仰角，实现对摄像头的外参标定；降低了用户对摄像头进行标定的门槛以及效率。
附图说明
52.图1为一个实施例中车载摄像头外参标定方法的应用环境图；
53.图2为一个实施例中车载摄像头外参标定方法的流程示意图；
54.图3为一个实施例中目标车辆识别框及与地面的交点坐标的示意图；
55.图4为一个实施例中预设线性关系获取方法的流程示意图；
56.图5为一个实施例中确定出与车载摄像头对应的偏航角步骤的流程示意图；
57.图6为一个实施例中确定初始安装高度以及初始俯仰角收敛步骤的流程示意图；
58.图7为一个实施例中确定出目标车辆的接地点信息和车辆宽度信息步骤的流程示意图；
59.图8为一个实施例中车载摄像头外参标定装置的结构框图；
60.图9为一个实施例中车载终端的内部结构图。
具体实施方式
61.为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
62.本申请提供的车载摄像头外参标定方法，可以应用于如图1所示的应用环境中。其中，车载摄像头11通过网络与车载终端12进行通信。车载终端12对车载摄像头11拍摄得到的多个图像帧中的目标车辆进行识别，得到与各个图像帧对应的目标车辆识别框；车载终端12根据各个图像帧中的目标车辆识别框与地面的交点坐标，确定出目标车辆的接地点信息和车辆宽度信息；车载终端12根据接地点信息、车辆宽度信息以及接地点信息和车辆宽度信息之间的预设线性关系，得到与车载摄像头11对应的安装高度以及俯仰角；车载终端12根据俯仰角从确定出的灭点中筛选出目标灭点；灭点为根据目标车辆的行驶轨迹所得到的交点，行驶轨迹根据目标车辆的接地点信息确定；车载终端12根据目标灭点的横坐标确定出与车载摄像头11对应的偏航角；偏航角、安装高度以及俯仰角用于对车载摄像头11进行标定。
63.其中，车载摄像头11可以但不限于是各种照相机、摄像机、监视器、摄像头、行车记录仪、能产生图像的行车雷达等，或者带有摄像功能的笔记本电脑、智能手机、平板电脑和便携式可穿戴设备，车载终端12可以在离线环境下独立工作，处理车载摄像头11获取的图像并对车载摄像头11进行标定处理；车载终端12还可以与外部服务器建立通信连接，由外部服务器单独，或者外部服务器与车载终端共同执行图像采集设备标定的过程；外部服务器可以用独立服务器或者是多个服务器组成的服务器集群来实现；车载终端12其本身也可以用服务器的形式来实现。
64.在一个实施例中，如图2所示，提供了一种车载摄像头外参标定方法，以该方法应用于图1中的车载终端12为例进行说明，包括以下步骤：
65.步骤21，对车载摄像头拍摄得到的多个图像帧中的目标车辆进行识别，得到与各
个图像帧对应的目标车辆识别框。
66.其中，如图3所示，车载摄像头拍摄得到的图像帧应为能够反映出道路情况或者驾驶员驾驶视野的图像；多个图像帧之间存在连续关系；目标车辆为图像帧中的被识别为车辆的图形对象；目标车辆识别框(如图3中的3a所示)是在识别出图像帧中的车辆后对目标车辆进行的框型标记，通常为长方形；目标车辆识别框的上顶边可以是目标车辆的车顶的近似所在直线，目标车辆识别框的下顶边可以是目标车辆的轮胎轴的近似所在直线，左边框和右边框为目标车辆车顶到两侧轮胎与车轴靠外侧的交点(即接地点，如图3中的3b
‑
1、3b
‑
2所示)的垂直连线。
67.具体地，车载终端通过有线或无线方式接收到车载摄像头拍摄得到的多个图像帧，车载终端分别将图像帧输入预先训练好的神经网络识别模型；若车载摄像头拍摄得到的为视频文件，则可由车载终端对视频文件按帧进行采样，得到能够反映视频整体的图像帧；判断图像帧的尺寸大小、清晰程度等，若尺寸大小或清晰程度达到预设标准，则保留图像帧；车载终端还可以对图像帧进行尺寸归一化处理，统一图像帧的尺寸大小，例如均转换为128
×
128大小的图像帧；进一步地，对图像帧处理的步骤还可包括亮度调整、清晰度调整、对比度调整、灰度调整、镜像、锐化等多种图像处理步骤。
68.由该神经网络识别模型对图像帧中的车辆对象进行识别，作为目标车辆；并且为目标车辆添加目标车辆识别框。
69.预先训练好的神经网络识别模型可以内置于车载终端进行离线/在线工作；也可以内置于外部服务器内，由车载终端将图像帧通过无线网络发送至外部服务器，并获得外部服务器返回的目标车辆识别结果。
70.预先训练好的神经网络识别模型在识别过程中，会识别出图像帧内的所有可能的车辆对象，再根据车辆对象的在所属图像帧内的位置进行筛选，过滤掉位于图像边缘的车辆或者其他不符合设定条件的车辆对象。
71.本步骤车载终端获取车载摄像头采集的多个图像帧，能够对图像帧内的车辆对象进行识别，并生成相应的目标车辆识别框，以便于车载终端通过目标车辆识别框对图像帧中的目标车辆信息进行识别和处理，实现了由图像到数据的转换，拓展了车载摄像头外参标定的应用场景，提高了车载摄像头外参标定的处理效率。
72.步骤22，根据各个图像帧中的目标车辆识别框与地面的交点坐标，确定出目标车辆的接地点信息和车辆宽度信息。
73.其中，如图3所示，3b
‑
1和3b
‑
2分别为目标车辆识别框与地面的右交点坐标与左交点坐标；那么根据3b
‑
1和3b
‑
2之间的距离(即目标车辆识别框的下顶边)即可算出车辆宽度信息。
74.具体地，车载终端根据获取到的标记由目标车辆识别框的图像帧确定出目标车辆识别框与地面的右交点坐标与左交点坐标，将右交点坐标与左交点坐标作为目标车辆的接地点信息；根据右交点坐标与左交点坐标之间的距离，并根据车型进行修正后得到相应的车辆宽度信息。
75.本步骤车载终端能够通过目标车辆识别框确定出车辆在所属图像帧的位置，根据位置信息确定出车辆的接地点信息与车辆宽度信息。
76.步骤23，根据接地点信息、车辆宽度信息以及接地点信息和车辆宽度信息之间的
预设线性关系，得到与车载摄像头对应的安装高度以及俯仰角。
77.其中，接地点信息和车辆宽度信息之间存在预设线性关系，接地点信息以及车辆宽度信息可以利用车载摄像头对应的安装高度以及俯仰角进行表达；即在获取到多个接地点信息以及多个车辆宽度信息后能够通过预设线性关系得到与接地点信息、车辆宽度信息对应的解，而这个解即为车载摄像头对应的安装高度以及俯仰角。
78.具体地，在其中一个实施例中，如图4所示，预设线性关系通过以下方式获取：
79.步骤41，根据内参参数、安装高度参数、俯仰角参数以及车辆宽度参数，得到表征目标车辆的两个交点坐标的第一关系式以及第二关系式；
80.步骤42，根据第一关系式以及第二关系式，得到表征图像宽度的第三关系式；第三关系式为一次函数形式，安装高度参数、俯仰角参数以及车辆宽度参数组成第三关系式的斜率，内参参数以及俯仰角参数组成第三关系式的截距，第三关系式的斜率与截距构成预设线性关系。
81.其中，不同的摄像头在进行相机标定时具有不同的特征参数，在计算机视觉中，将这组参数称为相机的内参矩阵(intrinsicmatrix)参数，该矩阵中车载摄像头参数分别是c
u
，c
v
，f
u
，f
v
；其中，c
u
，c
v
表示是车载摄像头的光圈中心在图像中投影点的横纵坐标，f
u
，f
v
描述车载摄像头在u轴和v轴上的焦距；
82.安装高度参数为h；俯仰角参数为θ；车辆宽度参数为l；目标车辆的两个交点坐标的第一关系式以及第二关系式分别为(x cosθ
‑
h sinθ，y，h cosθ+xsinθ)、(x cosθ
‑
h sinθ，y+l，h cosθ+xsinθ)。
83.具体地，目标车辆识别框与地面的左交点坐标可以表示为(x，y，h)，目标车辆识别框与地面的左交点坐标为(x，y+l，h)；进一步地，得出在车载摄像头坐标系下左交点坐标可以表示为(x cosθ
‑
h siθ，y，h cosθ+xsinθ)，即第一关系式，右交点坐标可以表示为(x cosθ
‑
h sinθ，y+l，h cosθ+xsinθ)，即第二关系式；y
b
为目标车辆识别框接地点的纵坐标；w为目标车辆在所属图像帧中的宽度；
84.已知车载摄像头内参参数分别为c
u
，c
v
，f
u
，f
v
，则左交点坐标x
left
为可以进一步表示为：
[0085][0086]
右交点坐标x
right
可以进一步表示为：
[0087][0088]
目标车辆在所属图像帧中的宽度w可以表示为：
[0089][0090]
进一步地目标车辆识别框接地点的纵坐标可以表示为：
[0091][0092][0093]
当f＝f
u
＝f
v
(f为车载摄像头的焦距，f＝f
u
＝f
v
表示车载摄像头在u轴和v轴上的焦距相同)，那么得到表征图像宽度的第三关系式：
[0094][0095]
由此可知目标车辆识别框接地点的纵坐标y
b
与目标车辆在所属图像帧中的宽度w为线性关系，斜率为截距为c
v
+f tanθ；在积累一定数量的目标车辆识别框接地点的纵坐标y
b
与目标车辆在所属图像帧中的宽度w后，通过线性拟合可以得到一次函数的斜率k和截距b，根据斜率k与以及截距b与c
v
+f tanθ的对应关系可以反解出其中的车载摄像头对应的安装高度h与车载摄像头对应的俯仰角θ。需要说明的是，反解得到的安装高度h与俯仰角θ还需要经过收敛判断后，判断为收敛才可作为最终可用的车载摄像头的安装高度h与俯仰角θ；收敛判断可以通过卡尔曼滤波进行。
[0096]
在其中一个实施例中，根据接地点信息、车辆宽度信息以及接地点信息和车辆宽度信息之间的预设线性关系，得到与车载摄像头对应的安装高度以及俯仰角，包括：
[0097]
将多个接地点信息与多个车辆宽度信息进行线性拟合处理，得到线性关系参数；线性关系参数中包含有安装高度参数以及俯仰角参数；基于预设线性关系，对安装高度参数以及俯仰角参数进行反解处理，得到车载摄像头的安装高度以及俯仰角。
[0098]
具体地，从多个图像帧中能够获得多个目标车辆识别框信息，根据多个目标车辆识别框的接地点和车辆宽度信息能够进行线性拟合，得到线性关系参数即斜率k，截距b；已知预设线性关系中斜率k为截距b为c
v
+f tanθ，进行反解处理后即得到车载摄像头的安装高度h以及俯仰角θ。
[0099]
本步骤通过接地点信息、车辆宽度信息，以及预先获知的车辆宽度信息以及接地点信息和车辆宽度信息之间的预设线性关系，能够得到接地点信息以及车辆宽度信息中的
未知数，即安装高度h与俯仰角θ；通过预先获知的线性关系，仅需积累一定量的接地点信息和车辆宽度信息即可完成对安装高度h与俯仰角θ的计算，极大地提高了车载摄像头外参标定的处理效率。
[0100]
步骤24，根据俯仰角从确定出的灭点中筛选出目标灭点；灭点为根据目标车辆的行驶轨迹所得到的交点，行驶轨迹根据目标车辆的接地点信息确定。
[0101]
具体地，车载终端通过获取对多个帧图像中的接地点信息，能够确定出每个帧图像中的点坐标和右交点坐标的变化趋势；理论上将多个帧图像的左交点坐标以及右交点坐标分别相连接即可得到两条曲线或者直线，即车辆的行驶轨迹，且相交于灭点。因此由于多个帧图像之间是连续的，将前后连续的两个帧图像的左交点坐标和右交点坐标分别连线即可得到一个灭点；多个帧图像即可得到多个灭点，但部分灭点的坐标是错误的，可以利用之前获取的俯仰角θ对灭点进行筛选得到目标灭点。
[0102]
其中，前后两个图像帧左右交点坐标可以分别表示为(x1,y1)、(x2,y1)与(x3,y2)、(x4,y2)，则灭点的横纵坐标可以分别表达为：
[0103][0104][0105]
进一步地，目标灭点的获取分为两个阶段，第一阶段为在计算出的安装高度h与俯仰角θ暂未被判断为收敛的情况下进行灭点的获取；第二阶段为在计算出的安装高度h与俯仰角θ收敛的情况下对第一阶段获取到的灭点进行筛选，得到目标灭点。
[0106]
在第一阶段中，由于安装高度h与俯仰角θ暂未收敛，因此先将计算出的灭点进行存储，被存储的灭点遵循以下规则：1)前后两个图像帧都是估计安装高度h和俯仰角θ时有效的回归框；2)前后两个图像帧的时间差在预设范围内；3)前后两个图像帧中车辆宽度比在预设范围内；4)灭点并未偏离车载摄像头中心超过预设阈值；另外，在存储灭点坐标的同时，还会存储对应的前后两个图像帧中目标车辆识别框的信息，作为安装高度h与俯仰角θ收敛后筛选得到目标灭点的数据储备。
[0107]
在第二阶段中，安装高度h与俯仰角θ已经收敛，则利用俯仰角θ对第一阶段存储的灭点进行筛选，筛选同时需遵循以下规则：1)灭点纵坐标与俯仰角θ之间的纵坐标误差在一定像素范围内；2)灭点对应的图像帧中车辆宽度和接地点与上述线性方程距离在一定阈值内；3)灭点对应的两个图像帧中的车辆宽度和接地点得到的斜率不会偏离上述线性方程斜率超过预设阈值。
[0108]
在其中一个实施例中，根据俯仰角从确定出的灭点中筛选出目标灭点，包括：根据俯仰角，确定出与灭点的纵坐标对应的参考范围阈值；从多个灭点中，选取纵坐标符合参考范围阈值的灭点，作为目标灭点。
[0109]
具体地，假设俯仰角θ确定出灭点的纵坐标参考值为y
v
，则y
v
＝c
v
+f tanθ，其中，f为车载摄像头的焦距，c
v
表示是车载摄像头的光圈中心在图像中投影点的纵坐标；对多个灭点进行筛选，得到在纵坐标参考值误差范围内的有效灭点，作为目标车辆的目标灭点。具体的误差范围可以根据实际情况进行确定，例如取误差范围为15。
[0110]
本步骤通过目标车辆的行驶轨迹确定出多个灭点，利用之前求出的俯仰角对多个灭点进行筛选，得到符合误差范围要求的目标灭点；利用了之前求出的俯仰角，能够准确地筛选得到目标灭点，提高了车载摄像头外参标定的准确性，同时体改了对车载摄像头进行外参标定的数据处理效率。
[0111]
步骤25，根据目标灭点的横坐标确定出与车载摄像头对应的偏航角；偏航角、安装高度以及俯仰角用于对车载摄像头进行标定。
[0112]
具体地，如图5所示，在其中一个实施例中，根据目标灭点的横坐标确定出与车载摄像头对应的偏航角，包括：
[0113]
步骤51，将多个目标灭点按照横坐标的大小进行排序，得到排序结果；
[0114]
步骤52，在排序结果中，将属于中位数的横坐标作为目标横坐标；根据目标横坐标以及车载摄像头的内参确定出与车载摄像头对应的偏航角；
[0115]
步骤53，根据目标横坐标以及车载摄像头的内参确定出与车载摄像头对应的偏航角。
[0116]
具体地，对多个目标灭点按照横坐标进行排序，从排序结果中取其中的中位数，得到灭点的横坐标x
u
，则偏航角可以表达为其中，f为车载摄像头的焦距，c
u
表示车载摄像头的光圈中心在图像中投影点的横坐标；在不断的筛选得到目标灭点的同时，对计算得到偏航角进行收敛判断，当偏航角收敛时得到与车载摄像头对应的偏航角；例如连续五次的偏航角计算结果均满足最大误差小于一定的阈值，就可以认为偏航角收敛。
[0117]
本步骤通过筛选得到的目标灭点的横坐标确定出与车载摄像头对应的偏航角，目标灭点经过筛选相对准确，据此计算出的偏航角也保持较高的准确性；至此，外参标定所需的偏航角、安装高度以及俯仰角已经全部得到，可以对车载摄像头进行外参标定。
[0118]
上述车载摄像头外参标定方法，包括：对车载摄像头拍摄得到的多个图像帧中的目标车辆进行识别，得到与各个图像帧对应的目标车辆识别框；根据各个图像帧中的目标车辆识别框与地面的交点坐标，确定出目标车辆的接地点信息和车辆宽度信息；根据接地点信息、车辆宽度信息以及接地点信息和车辆宽度信息之间的预设线性关系，得到与车载摄像头对应的安装高度以及俯仰角；根据俯仰角从确定出的灭点中筛选出目标灭点；灭点为根据目标车辆的行驶轨迹所得到的交点，行驶轨迹根据目标车辆的接地点信息确定；根据目标灭点的横坐标确定出与车载摄像头对应的偏航角；偏航角、安装高度以及俯仰角用于对车载摄像头进行标定。本申请通过摄像头采集到的图像，将图像中识别得到的车辆信息与摄像头的外参进行关联，以此确定出偏航角、高度以及俯仰角，实现对摄像头的外参标定；降低了用户对摄像头进行标定的门槛以及效率。
[0119]
在一个实施例中，如图6所示，在基于预设线性关系，对安装高度参数以及俯仰角参数进行反解处理之后，还包括：
[0120]
步骤61，获取经过反解处理后得到的多组初始安装高度和初始俯仰角；
[0121]
步骤62，对多组初始安装高度和初始俯仰角进行滤波处理，得到与初始安装高度以及初始俯仰角对应的误差参数；误差参数用于对初始安装高度以及初始俯仰角进行收敛
判断；
[0122]
步骤63，当误差参数小于预设误差阈值的连续次数达到预设次数阈值时，确定初始安装高度以及初始俯仰角收敛。
[0123]
其中，反解处理后会得到多组初始安装高度和初始俯仰角，可以结合卡尔曼滤波对多组初始安装高度和初始俯仰角进行滤波：
[0124]
卡尔曼滤波是一种递归的估计，即只要获知上一时刻状态的估计值以及当前状态的观测值就可以计算出当前状态的估计值，因此不需要记录观测或者估计的历史信息。卡尔曼滤波器与大多数滤波器不同之处，在于它是一种纯粹的时域滤波器，它不需要像低通滤波器等频域滤波器那样，需要在频域设计再转换到时域实现。
[0125]
具体地，当获取的目标车辆识别框大于一定数量时，通过线性拟合可以得到初始斜率k0，截距b0；已知b＝c
v
+f tanθ；反解得到安装高度h0以及俯仰角θ0；线性拟合的误差可用于计算表滤波误差。
[0126]
在滤波中状态量为x
l
＝(h
l
，θ
l
)，状态方程为：
[0127]
x
l＝x
l
‑1；
[0128][0129]
线性拟合后更新观察量(k
l
，b
l
)
′
，使用线性拟合的误差用来计算观察误差，观察方程为：
[0130][0131]
对应的矩阵近似为：
[0132][0133]
进一步地，
[0134][0135]
p
l
‑
＝p
l
‑1+q
[0136]
kg＝p
l
‑
m
′
(mp
l
‑
m
′
+r)
‑1[0137][0138]
p
l
＝(i2‑
kgm
l
)p
l
‑
；
[0139]
其中，i2为2
×
2单位矩阵，kg为最优卡尔曼增益，p
l
为卡尔曼滤波中的更新的预估
值协方差估计。
[0140]
当一定次数后安装高度以及俯仰角的最大误差值均小于一设定值时，则可判断安装高度以及俯仰角为收敛。
[0141]
在一个实施例中，目标车辆识别框标记有目标车辆的车辆类型标识；如图7所示，根据各个图像帧中的目标车辆识别框与地面的交点坐标，确定出目标车辆的接地点信息和车辆宽度信息，包括：
[0142]
步骤71，获取目标车辆识别框在所属图像帧内与地面的两个交点坐标，作为目标车辆的接地点信息；
[0143]
步骤72，根据两个交点坐标之间的距离确定出目标车辆的图像宽度；
[0144]
步骤73，基于与车辆类型标识对应的预设车辆宽度，对目标车辆的图像宽度进行修正，得到目标车辆的车辆宽度信息。
[0145]
其中，车辆类型标识是预先训练好的神经网络识别模型在识别图像帧中的目标车辆同时，输出的对于目标车辆所对应车辆类型的判断结果；根据车辆类型，能够判断出该车辆的真实宽度信息；车辆类型包括小轿车、卡车、面包车等，预设车辆宽度信息即是与车辆类型对应的初始宽度数值信息。
[0146]
车载终端可以根据与车辆类型标识对应的预设车辆宽度，对从图像帧中获取的目标车辆的图像宽度进行一定程度的修正，得到与车辆真实宽度接近的宽度信息；修正的过程可以利用车载摄像头当前的外参进行：
[0147]
假设根据车辆类型标识得到初始的预设车辆宽度l
r
，利用车载摄像头当前的外参计算出的车辆宽度为l
p
，则目标车辆的车辆宽度信息l为：
[0148]
l＝(1
‑
a)l
r
+alp；
[0149]
其中，p
l
为卡尔曼滤波中的更新的预估值协方差估计,e为自然对数，以此实现对预设车辆宽度的修正，得到目标车辆的车辆宽度信息。
[0150]
进一步地，还可以使用预先训练好的神经网络识别模型直接通过图像帧识别出目标车辆的具体品牌和型号，直接确定出相对应车型的参数属性作为目标车辆的车辆宽度信息。
[0151]
应该理解的是，虽然图2、4
‑
7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、4
‑
7中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0152]
在一个实施例中，如图8所示，提供了一种车载摄像头外参标定装置，包括：车辆识别模块81、信息确定模块82、第一标定模块83、灭点筛选模块84和第二标定模块85，其中：
[0153]
车辆识别模块81，用于对车载摄像头拍摄得到的多个图像帧中的目标车辆进行识别，得到与各个图像帧对应的目标车辆识别框；
[0154]
信息确定模块82，用于根据各个图像帧中的目标车辆识别框与地面的交点坐标，
确定出目标车辆的接地点信息和车辆宽度信息；
[0155]
第一标定模块83，用于根据接地点信息、车辆宽度信息以及接地点信息和车辆宽度信息之间的预设线性关系，得到与车载摄像头对应的安装高度以及俯仰角；
[0156]
灭点筛选模块84，用于根据俯仰角从确定出的灭点中筛选出目标灭点；灭点为根据目标车辆的行驶轨迹所得到的交点，行驶轨迹根据目标车辆的接地点信息确定；
[0157]
第二标定模块85，用于根据目标灭点的横坐标确定出与车载摄像头对应的偏航角；偏航角、安装高度以及俯仰角用于对车载摄像头进行标定。
[0158]
在一个实施例中，信息确定模块82还用于获取目标车辆识别框在所属图像帧内与地面的两个交点坐标，作为目标车辆的接地点信息；根据两个交点坐标之间的距离确定出目标车辆的图像宽度；基于与车辆类型标识对应的预设车辆宽度，对目标车辆的图像宽度进行修正，得到目标车辆的车辆宽度信息。
[0159]
在一个实施例中，第一标定模块83还用于根据内参参数、安装高度参数、俯仰角参数以及车辆宽度参数，得到表征目标车辆的两个交点坐标的第一关系式以及第二关系式；根据第一关系式以及第二关系式，得到表征图像宽度的第三关系式；第三关系式为一次函数形式，安装高度参数、俯仰角参数以及车辆宽度参数组成第三关系式的斜率，内参参数以及俯仰角参数组成第三关系式的截距，第三关系式的斜率与截距构成预设线性关系。
[0160]
在一个实施例中，第一标定模块83还用于将多个接地点信息与多个车辆宽度信息进行线性拟合处理，得到线性关系参数；线性关系参数中包含有安装高度参数以及俯仰角参数；基于预设线性关系，对安装高度参数以及俯仰角参数进行反解处理，得到车载摄像头的安装高度以及俯仰角。
[0161]
在一个实施例中，第一标定模块83还用于获取经过反解处理后得到的多组初始安装高度和初始俯仰角；对多组初始安装高度和初始俯仰角进行滤波处理，得到与初始安装高度以及初始俯仰角对应的误差参数；误差参数用于对初始安装高度以及初始俯仰角进行收敛判断；当误差参数小于预设误差阈值的连续次数达到预设次数阈值时，确定初始安装高度以及初始俯仰角收敛。
[0162]
在一个实施例中，灭点筛选模块84还用于根据俯仰角，确定出与灭点的纵坐标对应的参考范围阈值；从多个灭点中，选取纵坐标符合参考范围阈值的灭点，作为目标灭点。
[0163]
在一个实施例中，第二标定模块85还用于将多个目标灭点按照横坐标的大小进行排序，得到排序结果；在排序结果中，将属于中位数的横坐标作为目标横坐标；根据目标横坐标以及车载摄像头的内参确定出与车载摄像头对应的偏航角。
[0164]
关于车载摄像头外参标定装置的具体限定可以参见上文中对于车载摄像头外参标定方法的限定，在此不再赘述。上述车载摄像头外参标定装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0165]
在一个实施例中，提供了一种车载终端，其内部结构图可以如图9所示。该车载终端包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该车载终端的处理器用于提供计算和控制能力。该车载终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介
质中的操作系统和计算机程序的运行提供环境。该车载终端的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种车载摄像头外参标定方法。该车载终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该车载终端的输入装置可以是显示屏上覆盖的触摸层，也可以是车载终端外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0166]
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的车载终端的限定，具体的车载终端可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0167]
在一个实施例中，提供了一种车载终端，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
[0168]
对车载摄像头拍摄得到的多个图像帧中的目标车辆进行识别，得到与各个图像帧对应的目标车辆识别框；
[0169]
根据各个图像帧中的目标车辆识别框与地面的交点坐标，确定出目标车辆的接地点信息和车辆宽度信息；
[0170]
根据接地点信息、车辆宽度信息以及接地点信息和车辆宽度信息之间的预设线性关系，得到与车载摄像头对应的安装高度以及俯仰角；
[0171]
根据俯仰角从确定出的灭点中筛选出目标灭点；灭点为根据目标车辆的行驶轨迹所得到的交点，行驶轨迹根据目标车辆的接地点信息确定；
[0172]
根据目标灭点的横坐标确定出与车载摄像头对应的偏航角；偏航角、安装高度以及俯仰角用于对车载摄像头进行标定。
[0173]
在一个实施例中，处理器执行计算机程序时还实现上述各方法实施例中的步骤。
[0174]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0175]
对车载摄像头拍摄得到的多个图像帧中的目标车辆进行识别，得到与各个图像帧对应的目标车辆识别框；
[0176]
根据各个图像帧中的目标车辆识别框与地面的交点坐标，确定出目标车辆的接地点信息和车辆宽度信息；
[0177]
根据接地点信息、车辆宽度信息以及接地点信息和车辆宽度信息之间的预设线性关系，得到与车载摄像头对应的安装高度以及俯仰角；
[0178]
根据俯仰角从确定出的灭点中筛选出目标灭点；灭点为根据目标车辆的行驶轨迹所得到的交点，行驶轨迹根据目标车辆的接地点信息确定；
[0179]
根据目标灭点的横坐标确定出与车载摄像头对应的偏航角；偏航角、安装高度以及俯仰角用于对车载摄像头进行标定。
[0180]
在一个实施例中，计算机程序被处理器执行时还实现上述各方法实施例中的步骤。
[0181]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，
本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read
‑
only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
[0182]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0183]
以上各个实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。