用于自动驾驶车辆的标定方法、装置及电子设备、存储介质与流程

1.本技术涉及计算机技术领域，尤其涉及一种用于自动驾驶车辆的标定方法、装置及电子设备、存储介质。


背景技术：

2.自动驾驶车辆通过传感器进行定位感知，比如，rtk定位设备能够提供毫米级别的精准定位信息，图像采集设备能够提供视觉信息。
3.自动驾驶车辆需要通过rtk定位设备和图像采集设备联合工作，得到观测到的物体的具体位置。
4.相关技术中采用直接测量的方式获得位置关系。但由于rtk定位设备摆放的角度，图像采集设备安装角度等无法完全一致，误差较大。


技术实现要素：

5.本技术实施例提供了用于自动驾驶车辆的标定方法、装置及电子设备、存储介质，以降低标定误差。
6.本技术实施例采用下述技术方案：
7.第一方面，本技术实施例提供一种用于自动驾驶车辆的标定方法，其中，所述自动驾驶车辆至少包括：rtk定位设备、图像采集设备，用以实现所述rtk定位设备与所述图像采集设备的两者相对位置的标定，所述方法包括：通过所述自动驾驶车辆沿目标道路路段的中心车道线至少往返一次之后，基于预先标定得到的所述图像采集设备外参，得到所述rtk定位设备、所述图像采集设备分别采集得到的所述自动驾驶车辆往返一次行驶的连续rtk位置轨迹点数据以及所述自动驾驶车辆往返一次行驶的连续图像数据，其中所述rtk位置轨迹点数据与所述连续图像数据之间具有对应时间和位置关系；识别所述连续图像数据中每一帧图像中的车道线的像素坐标位置；根据多帧所述图像中的车道线的像素坐标位置，确定预设空间点在所述车身坐标系下的空间坐标位置，其中所述预设空间点包括若干车道线点；根据预设空间点在所述车身坐标系下的空间坐标位置及该帧图片对应的rtk轨迹位置及车辆朝向，得到该空间点在世界坐标系下的空间坐标位置；通过所述预设空间点在所述世界坐标系下的空间坐标位置，解算得到所述第二位置参数值，，其中所述第二位置参数值为通过所述空间坐标位置的像素点参数值在垂直于所述车身的水平方向距离上的像素位置匹配结果；；根据所述第二位置参数值，得到所述rtk定位设备与所述图像采集设备的两者相对位置的标定结果。
8.第二方面，本技术实施例还提供一种用于自动驾驶车辆的标定装置，所述自动驾驶车辆至少包括：rtk定位设备、图像采集设备，用以实现所述rtk定位设备与所述图像采集设备的两者相对位置的标定，所述装置包括：获取模块，用于通过所述自动驾驶车辆沿目标道路路段的中心车道线至少往返一次之后，基于预先标定得到的所述图像采集设备外参，得到所述rtk定位设备、所述图像采集设备分别采集得到的所述自动驾驶车辆往返一次行
驶的连续rtk位置轨迹点数据以及所述自动驾驶车辆往返一次行驶的连续图像数据，其中所述rtk位置轨迹点数据与所述连续图像数据之间具有对应时间和位置关系；识别模块，用于识别所述连续图像数据中每一帧图像中的车道线的像素坐标位置；根据多帧所述图像中的车道线的像素坐标位置，确定预设空间点在所述车身坐标系下的空间坐标位置，其中所述预设空间点包括若干车道线点；第二确定模块，用于根据预设空间点在所述车身坐标系下的空间坐标位置及该帧图片对应的rtk轨迹位置及车辆朝向，得到该空间点在世界坐标系下的空间坐标位置；转换模块，用于通过所述预设空间点在所述世界坐标系下的空间坐标位置，解算得到所述第二位置参数值，其中所述第二位置参数值为通过所述空间坐标位置的像素点参数值在所述车身的水平方向上的像素位置匹配之后得到的；解算模块，用于根据所述第二位置参数值，得到所述rtk定位设备与所述图像采集设备的两者相对位置的标定结果。
9.第三方面，本技术实施例还提供一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行前述任一所述方法。
10.第四方面，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行前述任一所述方法。
11.本技术实施例采用的上述至少一个技术方案能够达到以下有益效果：
12.通过仅使用自动驾驶测量上的rtk定位设备、图像采集设备，在使车道线的计算结果准确的同时得到二者的相对位置标定结果，用以实现所述rtk定位设备与所述图像采集设备的两者相对位置的标定。
附图说明
13.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
14.图1为本技术实施例中用于自动驾驶车辆的标定方法的硬件结构示意图；
15.图2为本技术实施例中用于自动驾驶车辆的标定方法流程示意图；
16.图3为本技术实施例中用于自动驾驶车辆的标定装置结构示意图；
17.图4为本技术实施例中用于自动驾驶车辆的标定方法中目标路段拍摄示意图；
18.图5为本技术实施例中用于自动驾驶车辆的标定方法中rtk定位设备轨迹点初始示意图；
19.图6为本技术实施例中用于自动驾驶车辆的标定方法中rtk定位设备轨迹点示优化意图；
20.图7为本技术实施例中用于自动驾驶车辆的标定方法中rtk定位设备轨迹点放大示意图；
21.图8为本技术实施例中一种电子设备的结构示意图。
具体实施方式
22.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及
相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
23.以下结合附图，详细说明本技术各实施例提供的技术方案。
24.如图1所示，提供了本技术实施例中用于自动驾驶车辆的标定方法的硬件结构示意图，其中包括：车道线400、自动驾驶车辆300、图像采集设备200、rtk定位设备100。自动驾驶车辆300右侧向上表示第一次采集，自动驾驶车辆300左侧向下表示第二次采集，即两个表示一个往返采集的过程。
25.对于所述自动驾驶车辆300需要通过rtk定位设备100和图像采集设备200联合工作，得到观测到的物体(行人或车辆)的具体位置，从而计算与本车的相对位置，进而做出加速、停车、转向等多种判断。此外，高精地图的数据采集和生成也需要观测外界物体的位置。如果rtk坐标系和图像采集设备坐标系位置关系标定结果不准确，那么得到的位置就不准。
26.实施例一
27.本技术实施例一提供了一种用于自动驾驶车辆的标定方法，其中，所述自动驾驶车辆至少包括：rtk定位设备、图像采集设备，用以实现所述rtk定位设备与所述图像采集设备的两者相对位置的标定，如图2所示，所述方法包括：
28.步骤s210，通过所述自动驾驶车辆沿目标道路路段的中心车道线至少往返一次之后，基于预先标定得到的所述图像采集设备外参，得到所述rtk定位设备、所述图像采集设备分别采集得到的所述自动驾驶车辆往返一次行驶的连续rtk位置轨迹点数据以及所述自动驾驶车辆往返一次行驶的连续图像数据，其中所述rtk位置轨迹点数据与所述连续图像数据之间具有对应时间和位置关系；
29.步骤s220，识别所述连续图像数据中每一帧图像中的车道线的像素坐标位置；
30.步骤s230，根据多帧所述图像中的车道线的像素坐标位置，确定预设空间点在所述车身坐标系下的空间坐标位置，其中所述预设空间点包括若干车道线点；
31.步骤s240，根据预设空间点在所述车身坐标系下的空间坐标位置及该帧图片对应的rtk轨迹位置及车辆朝向，得到该空间点在世界坐标系下的空间坐标位置；
32.步骤s250，通过所述预设空间点在所述世界坐标系下的空间坐标位置，解算得到所述第二位置参数值，其中所述第二位置参数值为通过所述空间坐标位置的像素点参数值在所述车身的水平方向的像素位置匹配之后得到的；
33.步骤s260，根据所述第二位置参数值，得到所述rtk定位设备与所述图像采集设备的两者相对位置的标定结果。
34.通过上述步骤，仅使用自动驾驶测量上的rtk定位设备、图像采集设备，在使车道线的计算结果准确的同时得到二者的相对位置标定结果，用以实现所述rtk定位设备与所述图像采集设备的两者相对位置的标定。
35.在上述步骤s220中执行之前，首先假设rtk定位设备与图像采集设备之间无位置偏差进行rtk定位设备的位置与图像采集设备当前帧中的像素坐标位置计算，并且以此作为参考标准。
36.在一种具体实施方式中，还需要进行图像采集设备外参参数的标定，根据图像采集设备标定外参的结果，得到图像采集设备坐标系与车辆坐标系的旋转变换关系以及图像
采集设备相对地面的安装高度。
37.在上述步骤s220中基于所述自动驾驶车辆的车身坐标系确定第一位置参数值。所述第一位置参数值可以作为当前rtk定位设备与图像采集设备的相对初始位置距离差。
38.在一种具体实施方式中，所述第一位置参数值为垂直于所述车身的水平方向距离初始值。所述第一位置参数值由于垂直于车身的水平方向，并配置一个初始值。
39.在上述步骤s230中通过所述自动驾驶车辆沿目标道路路段的中心车道线至少往返一次是指，自动驾驶车辆沿着目标道路路段的中心车道线行驶，并在行驶一趟之后返回，即分别获取两次的数据。
40.而后，根据基于预先标定得到的所述图像采集设备外参，得到所述rtk定位设备采集得到的所述自动驾驶车辆往返一次行驶的连续rtk位置轨迹点数据以及，所述图像采集设备所述自动驾驶车辆往返一次行驶的连续图像数据。也就是说，在自动驾驶车辆行驶的过程中连续图像数据和对应的轨迹点数据是可以分别通过所述rtk定位设备和所述图像采集设备获得的。
41.在一种具体实施方式中，所述rtk位置轨迹点数据与所述连续图像数据之间具有对应时间和位置关系。需要注意的是，对应时间和位置关系是指相对位置关系。
42.在一种具体实施方式中，由于所述图像采集设备是采集连续图像数据，所以所述rtk定位设备的定位信息不必考虑其频率。
43.在上述步骤s220中识别所述连续图像数据中每一帧图像中的车道线的像素坐标位置，比如可以采用深度学习模型训练得到的车道线识别模型。
44.在一种具体实施方式中，车道线识别模型可以采用lanenet，在本技术的实施例中并不进行具体限定，可以根据实际检测识别需要进行选择。
45.在一种具体实施方式中，车道线的像素坐标指的是通过每个点位置坐标集合得到的若干点的像素坐标。
46.在上述步骤s230中根据多帧所述图像中的车道线的像素坐标位置，确定预设空间点在所述车身坐标系下的空间坐标位置。所述预设空间点是任意选择的，并通过坐标转换得到的车身坐标系下的空间坐标位置。
47.在一种具体实施方式中，所述预设空间点包括若干车道线点，若干车道线组成了车道线。
48.在上述步骤s240中根据预设空间点在所述车身坐标系下的空间坐标位置及该帧图片对应的rtk轨迹位置及车辆朝向，得到该空间点在世界坐标系下的空间坐标位置，具体包括空间坐标位置、rtk轨迹位置以及车辆朝向，可以确定出该空间点在世界坐标系下的空间坐标位置。
49.在一种具体实施方式中，rtk定位设备获得的倾斜度包括roll、pitch、yaw三个数据。pitch即俯仰角，yaw即偏航角，roll即翻滚角。
50.在一种具体实施方式中，确定出该空间点在世界坐标系下的空间坐标位置也就是说，该空间点在真实世界中的位置坐标。
51.在上述步骤s250中通过所述预设空间点在所述世界坐标系下的空间坐标位置，解算得到所述第二位置参数值，也就是说，通过所述预设空间点在所述世界坐标系下的空间坐标位置反算得到第二位置参数值，这里得到的第二位置参数值是所述rtk定位设备与所
述图像采集设备两者之间的新的相对距离差。
52.在一种具体实施方式中，所述第二位置参数值为通过所述世界坐标系下的空间坐标位置的像素点参数值在所述车身的水平方向上的像素位置匹配之后得到的。
53.在一种具体实施方式中，与所述车身的水平方向上即车身左、右位置，通过所述空间坐标位置的像素点参数值在所述车身的水平方向上的像素位置匹配是在车身左、右位置进行位置调整。
54.由于第一位置参数为垂直所述车身的水平方向初始值，故第二位置参数值可以表征车身左右方向上的变化值。
55.在上述步骤s260中根据所述第二位置参数值，得到所述rtk定位设备与所述图像采集设备的两者相对位置的标定结果，也就是说通过计算得到的相对位置误差值，可以调整所述rtk定位设备与所述图像采集设备的两者相对位置，即作为两者的标定结果。
56.在一种具体实施方式中，每辆自动驾驶车辆中的rtk定位设备与图像采集设备都需要进行标定。
57.在一种具体实施方式中，标定之后的结果可以作为之后该辆自动驾驶车辆的标定参数。
58.在本技术的一个实施例中，所述实现所述rtk定位设备与所述图像采集设备的两者相对位置的标定，还包括：基于所述自动驾驶车辆的车身坐标系确定第一位置参数值，其中所述第一位置参数值为垂直于所述车身的水平方向距离初始值；判断所述rtk定位设备与所述图像采集设备的两者相对位置之间的距离信息在所述垂直于所述车身的水平方向距离上是否发生偏差；如果判断所述rtk定位设备与所述图像采集设备的两者相对位置之间的第一距离信息在所述垂直于所述车身的水平方向距离上已发生偏差，则使用第二距离信息调整所述rtk定位设备与所述图像采集设备的相对位置；如果判断所述rtk定位设备与所述图像采集设备的两者相对位置之间的距离信息在所述垂直于所述车身的水平方向距离上未发生偏差，则继续使用第一距离信息作为所述rtk定位设备与所述图像采集设备的相对位置的距离，其中所述第一距离信息是通过测量得到的或根据标定结果确定的，所述第二距离信息是更新后的标定结果确定的。
59.所述第一位置参数值可以作为当前rtk定位设备与相机的相对初始位置距离差。
60.在一种具体实施方式中，所述第一位置参数值为垂直于所述车身的水平方向距离的初始值。所述第一位置参数值由于垂直于车身的水平方向，并配置一个初始值。
61.本技术的实施例中需要判断所述rtk定位设备与所述图像采集设备的两者相对位置之间的距离信息在所述垂直于所述车身的水平方向距离上是否发生偏差。需要注意的是，这里的偏差是指相对位置关系上的偏差，也可以直接从图像中分辨出，具体可以通过计算得到。在存在偏差的情况下，则说明之前假设的rtk定位设备与所述图像采集设备的位置关系或者说标定结果有误差，故使用第二距离信息调整所述rtk定位设备与所述图像采集设备的相对位置。第一距离信息即是初始相对距离信息。在未存在偏差的情况下，则说明标定结果没有误差，所以会则继续使用第一距离信息作为所述rtk定位设备与所述图像采集设备的相对位置的距离。
62.进一步，所述第一距离信息是通过测量得到的或根据标定结果确定的。
63.所述第二距离信息是更新后的标定结果确定的，也就是，通过标定得到的新的相
对距离差值。
64.在本技术的一个实施例中，所述基于所述自动驾驶车辆的车身坐标系确定第一位置参数值，其中所述第一位置参数值为垂直于所述车身的水平方向距离初始值，包括：假设所述自动驾驶车辆的车身坐标系确定所述rtk定位设备与所述图像采集设备在同一位置的情况下，确定出第一位置参数值；所述根据所述第二位置参数值，得到所述rtk定位设备与所述图像采集设备的两者相对位置的标定结果，包括：通过所述自动驾驶车辆沿目标道路路段的中心车道线至少往返一次之后，得到两次采集结果包括在所述垂直于所述车身的水平方向距离偏差值作为所述第二位置参数值；根据所述自动驾驶车辆行驶方向的右侧为正方向，左侧为负方向，得到所述rtk定位设备与所述图像采集设备在所述垂直于所述车身的水平方向距离上的左或右相对位置并作为标定结果。
65.本技术的实施例中，假设所述自动驾驶车辆的车身坐标系确定所述rtk定位设备与所述图像采集设备在同一位置的情况下，确定出第一位置参数值。可以不进行实际测量，先假定所述rtk定位设备与所述图像采集设备在同一位置的情况下，得到第一位置参数值为零，即没有误差。
66.进一步地，通过所述自动驾驶车辆沿目标道路路段的中心车道线至少往返一次之后，得到两次采集结果包括在所述垂直于所述车身的水平方向距离偏差值作为所述第二位置参数值，对于用户而言，当自动驾驶车辆在目标道路路段的中心车道线至少往返一次之后，通过后台计算得到在所述垂直于所述车身的水平方向距离偏差值作为所述第二位置参数值。
67.需要注意的时候，目标道路路段需是封闭路段或者测试路段，或者其他满足条件的路段。中心车道线是指至少包括不同行驶方向上的车道上的中心车道线，中心车道线可以是实线或者虚线，并不影响结果。
68.最后，根据所述自动驾驶车辆行驶方向的右侧为正方向，左侧为负方向，得到所述rtk定位设备与所述图像采集设备在所述垂直于所述车身的水平方向距离上的左或右相对位置并作为标定结果。在右侧为正方向，左侧为负方向的前提下，得到的正值或负值即可指示左右方向。得到所述rtk定位设备与所述图像采集设备在所述垂直于所述车身的水平方向距离上的左或右相对位置并作为标定结果，即标定x方向(水平左右方向上)的相对位置关系。
69.在本技术的一个实施例中，所述根据所述第二位置参数值，得到所述rtk定位设备与所述图像采集设备的两者相对位置的标定结果，包括：根据所述第二位置参数值以及所述rtk定位设备与所述图像采集设备之间的相对位置，确定所述垂直于所述车身的水平方向距离的无偏差，并作为所述标定结果。
70.本技术的实施例中，优选地，根据所述第二位置参数值以及所述rtk定位设备与所述图像采集设备之间的相对位置可以继续确定所述垂直于所述车身的水平方向距离的无偏差。这是校正(调整)两者相对位置距离的过程。
71.在本技术的一个实施例中，所述识别所述连续图像数据中每一帧图像中的车道线的像素坐标位置，包括：预先训练车道线检测模型，其中所述车道线检测模型是通过深度机器学习的方式训练多组训练集得到的，每组所述训练集包括车道线以及对应的标签；通过深度学习模型识别所述连续图像数据，得到每一帧图像中的车道线的像素坐标位置。
72.本技术的实施例中，对于识别车道线的过程，使用深度机器学习的方法。
73.预先训练车道线检测模型，其中所述车道线检测模型是通过深度机器学习的方式训练多组训练集得到的，每组所述训练集包括车道线以及对应的标签(标签类别包括但不限于实虚车道线、单双车道线、非车道线、停止线)。通过深度学习模型识别所述连续图像数据，得到每一帧图像中的车道线的像素坐标位置。
74.在本技术的一个实施例中，所述根据多帧所述图像中的车道线的像素坐标位置，确定预设空间点在所述车身坐标系下的空间坐标位置，其中所述预设空间点包括若干车道线点，包括：根据多帧所述图像中的车道线的像素坐标位置p
uv
＝k
×
camrcar
×
p/d，确定在所述若干车道线点在所述车身坐标系下的空间坐标位置，其中，p为该空间点在车辆坐标系下的空间坐标(x，y，z)，camrcar为图像采集设备坐标系与车辆坐标系的旋转变换关系，d为该空间点在图像采集设备坐标系下的深度值，k为图像采集设备的内参矩阵。
75.本技术的实施例中根据多帧所述图像中的车道线的像素坐标位置p
uv
＝k
×
camrcar
×
p/d，确定在所述若干车道线点在所述车身坐标系下的空间坐标位置。
76.p
uv
为任一空间点在相片上的像素坐标
77.p
uv
＝k
×
camrcar
×
p/d
78.其中，p为某个空间点在车辆坐标系下的空间坐标(用x，y，z表示)；camrcar为图像采集设备坐标系与车辆坐标系的旋转变换关系，由于图像采集设备坐标系与车辆坐标系的原点重合，二者之间没有平移变换关系；通过外参标定，可以提前得到该矩阵以及图像采集设备的安装高度h；d为该空间点在图像采集设备坐标系下的深度值；k为图像采集设备的内参矩阵为一个3x3矩阵，包括图像采集设备的焦距等固有参数。
79.假设路面为平面，就相当于假定路面上所有点具有相同的高度值，h为已知，即p(x，h,z)，所以上面式子中，欲求某个车道线点的空间坐标，就只有x，z，d三个未知量。同时puv＝k
×
camrcar
×
p/d可以分解成3个方程，即可解出这三个量。
80.在本技术的一个实施例中，所述基于所述自动驾驶车辆的车身坐标系确定第一位置参数值之前，还包括：定义所述自动驾驶车辆的坐标系各坐标轴的正方向为右(+x)-下(+y)-前(+z)、负方向为左(-x)-上(-y)-后(-z)，其中(
±
x)为垂直于所述车身的水平方向距离；根据垂直于所述车身的水平方向距离的计算结果，标定所述rtk定位设备与所述图像采集设备的两者x方向的相对位置关系。
81.本技术的实施例中，通过定义车辆坐标系各坐标轴的正方向为右(+x)-下(+y)-前(+z)，负方向为左(-x)-上(-y)-后(-z)，即可以标定x方向的相对位置关系。然后，根据垂直于所述车身的水平方向距离的计算结果，标定得到所述rtk定位设备与所述图像采集设备的两者x方向的相对位置关系。
82.比如，以行驶方向的右侧为正方向(与x轴正方向保持一致)，计算结果为-0.13m，即表示偏差了0.13m。这说明图像采集设备坐标系和rtk坐标系的原点在x方向约偏离-0.13m/2＝-0.065m，也就是说图像采集设备在rtk定位设备右侧0.065m位置。
83.实施例二
84.本技术实施例中提供了用于自动驾驶车辆的标定装置，所述自动驾驶车辆至少包括：rtk定位设备、图像采集设备，用以实现所述rtk定位设备与所述图像采集设备的两者相对位置的标定，如图3所示，所述装置包括：
85.获取模块310，用于通过所述自动驾驶车辆沿目标道路路段的中心车道线至少往返一次之后，基于预先标定得到的所述图像采集设备外参，得到所述rtk定位设备、所述图像采集设备分别采集得到的所述自动驾驶车辆往返一次行驶的连续rtk位置轨迹点数据以及所述自动驾驶车辆往返一次行驶的连续图像数据，其中所述rtk位置轨迹点数据与所述连续图像数据之间具有对应时间和位置关系；
86.识别模块320，用于识别所述连续图像数据中每一帧图像中的车道线的像素坐标位置；
87.第二确定模块330，用于根据多帧所述图像中的车道线的像素坐标位置，确定预设空间点在所述车身坐标系下的空间坐标位置，其中所述预设空间点包括若干车道线点；
88.转换模块340，用于根据预设空间点在所述车身坐标系下的空间坐标位置及该帧图片对应的rtk轨迹位置及车辆朝向，得到该空间点在世界坐标系下的空间坐标位置；
89.解算模块350，用于通过所述预设空间点在所述世界坐标系下的空间坐标位置，解算得到所述第二位置参数值，其中所述第二位置参数值为通过所述空间坐标位置的像素点参数值在垂直于所述车身的水平方向距离上的像素位置匹配结果；；
90.标定结果模块360，用于根据所述第二位置参数值，得到所述rtk定位设备与所述图像采集设备的两者相对位置的标定结果。
91.还包括：第一确定模块，用于基于所述自动驾驶车辆的车身坐标系确定第一位置参数值，其中所述第一位置参数值为垂直于所述车身的水平方向距离初始值。
92.本技术实施例中的所述获取模块310中通过所述自动驾驶车辆沿目标道路路段的中心车道线至少往返一次是指，自动驾驶车辆沿着目标道路路段的中心车道线行驶，并在进行一趟之后进行往返，即分别获取两次的数据。
93.而后，根据基于预先标定得到的所述图像采集设备外参，得到所述rtk定位设备采集得到的所述自动驾驶车辆往返一次行驶的连续rtk位置轨迹点数据以及，所述图像采集设备所述自动驾驶车辆往返一次行驶的连续图像数据。也就是说，在自动驾驶车辆行驶的过程中连续图像数据和对应的轨迹点数据是可以分别通过所述rtk定位设备和所述图像采集设备获得的。
94.在一种具体实施方式中，所述rtk位置轨迹点数据与所述连续图像数据之间具有对应时间和位置关系。需要注意的是，对应时间和位置关系是指相对位置关系。
95.在一种具体实施方式中，由于所述图像采集设备是采集连续图像数据，所以所述rtk定位设备的定位信息不必考虑其频率。
96.本技术实施例中的所述识别模块320中识别所述连续图像数据中每一帧图像中的车道线的像素坐标位置，比如可以采用深度学习模型训练得到的车道线识别模型。
97.在一种具体实施方式中，车道线识别模型可以是lanenet，在本技术的实施例中并不进行具体限定，可以根据实际检测识别需要进行选择。
98.在一种具体实施方式中，车道线的像素坐标位指的是通过每个点位置坐标集合得到的若干点的像素坐标。
99.本技术实施例中的所述第二确定模块330中根据多帧所述图像中的车道线的像素坐标位置，确定预设空间点在所述车身坐标系下的空间坐标位置。所述预设空间点时任意选择的，并通过坐标转换得到的车身坐标系下的空间坐标位置。
100.在一种具体实施方式中，所述预设空间点包括若干车道线点，若干车道线先组成了车道线。
101.本技术实施例中的所述转换模块340中根据预设空间点在所述车身坐标系下的空间坐标位置及该帧图片对应的rtk轨迹位置及车辆朝向，得到该空间点在世界坐标系下的空间坐标位置，具体包括空间坐标位置、rtk轨迹位置以及车辆朝向，可以确定出该空间点在世界坐标系下的空间坐标位置。
102.在一种具体实施方式中，rtk定位设备获得的倾斜度包括roll、pitch、yaw三个数据。pitch即俯仰角，yaw即偏航角，roll即翻滚角。
103.在一种具体实施方式中，确定出该空间点在世界坐标系下的空间坐标位置也就是说，该空间点在真实世界中的位置坐标。
104.本技术实施例中的所述解算模块350中通过所述预设空间点在所述世界坐标系下的空间坐标位置，解算得到所述第二位置参数值，也就是说，通过所述预设空间点在所述世界坐标系下的空间坐标位置反算得到第二位置参数值，这里得到的第二位置参数值是所述rtk定位设备与所述图像采集设备两者之间的新的相对距离差。
105.在一种具体实施方式中，所述第二位置参数值为通过所述空间坐标位置的像素点参数值在所述车身的水平方向上的像素位置匹配之后得到的。
106.在一种具体实施方式中，与所述车身的水平方向上即车身左、右位置，通过所述空间坐标位置的像素点参数值在所述车身的水平方向上的像素位置匹配是在车身左、右位置进行位置调整。
107.由于第一位置参数为垂直所述车身的水平方向初始值，故第二位置参数值可以表征车身左右方向上的变化值。
108.本技术实施例中的所述标定结果模块360中根据所述第二位置参数值，得到所述rtk定位设备与所述图像采集设备的两者相对位置的标定结果，也就是说通过计算得到的相对位置误差值，可以调整所述rtk定位设备与所述图像采集设备的两者相对位置，即作为两者的标定结果。
109.在一种具体实施方式中，每辆自动驾驶车辆中的rtk定位设备与图像采集设备都需要进行标定。
110.在一种具体实施方式中，标定之后的结果可以作为之后该辆自动驾驶车辆的标定参数。
111.能够理解，上述用于自动驾驶车辆的标定装置，能够实现前述实施例中提供用于自动驾驶车辆的标定方法的各个步骤，关于标定方法的相关阐释均适用于用于自动驾驶车辆的标定装置，此处不再赘述。
112.为了更好的理解上述用于自动驾驶车辆的标定方法流程，以下结合优选实施例对上述技术方案进行解释说明，但不用于限定本发明实施例的技术方案。
113.本技术优选实施例能够，通过仅使用自动驾驶测量上的rtk定位设备、图像采集设备，在使车道线的计算结果准确的同时得到二者的相对位置标定结果，用以实现所述rtk定位设备与所述图像采集设备的两者相对位置的标定。
114.此外，本技术中的方法无需特定的标定场地以及特别的测量装置，只需要获取图像采集设备和rtk定位设备采集的数据即可完成标定，亦或也可以在行驶的数据中挑选符
合要求的路段即可完成标定，且结果比一般直接测量的方法更加准确。
115.相关技术中的常规方法是直接测量rtk天线与rtk芯片位置关系以及rtk芯片与摄像头的位置关系。但由于rtk芯片摆放的角度，摄像头安装角度等无法完全一致，会有比较大的测量误差，在左右方向甚至会有20cm以上。
116.基于上述，如图4所示，是本技术实施例中用于自动驾驶车辆的标定方法中目标路段拍摄示意图，车道中心线可以实线或者虚线，也可以是双实线或者双虚线，在本技术的实施例中并不进行具体限定。
117.本技术中的方法可以降低车身垂直即x方向的误差，具体包括如下步骤：
118.s1，标定图像采集设备外参参数，得到图像采集设备和车辆坐标系的旋转变换关系以及图像采集设备相对地面的安装高度。
119.s2，选择一个路段，如图4所示，中心车道线为单、双线(可以是实线，也可以是虚线，但不可以是隔离带或防护栏)，且该线两侧分别为不同行驶方向(按照交通规则)。
120.s3，在该路段往返采集，得到自动驾驶车辆分别在两侧不同行驶方向的路面行驶的rtk轨迹以及拍摄的连续图像数据。
121.s4，使用深度学习方式识别采集到该路段的图片，得到每张图片上对应的车道线的像素坐标。优选地，使用lanenet网络模型。
122.s5，利用图像采集设备的成像公式，以及车道线的坐标，图像采集设备外参，求解车道线像素坐标的实际坐标。
123.图像采集设备的成像公式
124.p
uv
＝k
×
camrcar
×
p/d
125.其中，p为某个空间点在车辆坐标系下的空间坐标(用x，y，z表示)；
126.camrcar为图像采集设备坐标系与车辆坐标系的旋转变换关系，由于图像采集设备坐标系与车辆坐标系的原点重合，二者之间没有平移变换关系；通过外参标定，可以提前得到该矩阵以及图像采集设备的安装高度h。d为该空间点在图像采集设备坐标系下的深度值。k为图像采集设备的内参矩阵，是一个3x3矩阵，包括图像采集设备的焦距等固有参数。p
uv
为该空间点在相片上的像素坐标。
127.假设路面为平面，就相当于假定路面上所有点具有相同的高度值，即p(x.h,z)，所以上面式子中，欲求某个车道线点的空间坐标，就只有x,z,d三个未知量。同时由于式1可以分解成3个方程，恰好可解出这三个量。
128.基于上述，对于目标图片中，通过在拍摄该图片时刻(当前目标帧)的位置以及航向角(这些都可以从rtk定位设备的数据中得到)推测出该车道线点的经纬度位置。
129.s6，计算多张连续图片上包含的车道线点，最终得到该路段上所有车道线点的实际坐标位置，如图5所示。
130.图5中即采用图4中所示路段使用rtk和图像采集设备无位置偏差(相当于假定二者在同一位置)的计算结果。
131.图中星形大点是车辆行驶的rtk轨迹点，黑色(深色)车道线为右侧从下向上行驶轨迹计算结果，白色(浅色)车道线为左侧从上向下行驶过程计算的结果。可见两次采集对同一车道线的计算结果在左右(x)方向上存在明显偏差，使用地图测量偏差约0.13m。
132.s7，初次计算先假定rtk和图像采集设备在同一位置，计算结果如图5。可以看出两
次采集的计算结果在x方向上存在约0.13m的偏差，且黑色计算结果偏行驶方向左侧，白色计算结果偏行驶方向左侧(二者肯定是一致的)。
133.如果以行驶方向的右侧为正方向(与x轴正方向保持一致)，则那么说明本次偏差为-0.13m。也就是说，图像采集设备坐标系和rtk定位设备坐标系的原点在x方向约偏离-0.13m/2＝-0.065m，即图像采集设备在rtk右侧0.065m位置。
134.s8，把上述偏差带入到rtk和图像采集设备的相对位置中，计算得到在x方向无偏差的结果，标定完成，如图6所示。图7为图6中带入标定的-0.65m，计算新的车道线结果，二者在x方向上(与车身的方向(车辆行驶的方向)垂直的方向)基本重叠(图7为局部放大)。
135.图8是本技术的一个实施例电子设备的结构示意图。请参考图8，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(random-access memory，ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。
136.处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是isa(industry standard architecture，工业标准体系结构)总线、pci(peripheral component interconnect，外设部件互连标准)总线或eisa(extended industry standard architecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
137.存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
138.处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成用于自动驾驶车辆的标定装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
139.所述自动驾驶车辆至少包括：rtk定位设备、图像采集设备，用以实现所述rtk定位设备与所述图像采集设备的两者相对位置的标定，所述方法包括：通过所述自动驾驶车辆沿目标道路路段的中心车道线至少往返一次之后，基于预先标定得到的所述图像采集设备外参，得到所述rtk定位设备、所述图像采集设备分别采集得到的所述自动驾驶车辆往返一次行驶的连续rtk位置轨迹点数据以及所述自动驾驶车辆往返一次行驶的连续图像数据，其中所述rtk位置轨迹点数据与所述连续图像数据之间具有对应时间和位置关系；识别所述连续图像数据中每一帧图像中的车道线的像素坐标位置；
140.根据多帧所述图像中的车道线的像素坐标位置，确定预设空间点在所述车身坐标系下的空间坐标位置，其中所述预设空间点包括若干车道线点；
141.根据预设空间点在所述车身坐标系下的空间坐标位置及该帧图片对应的rtk轨迹位置及车辆朝向，得到该空间点在世界坐标系下的空间坐标位置；
142.通过所述预设空间点在所述世界坐标系下的空间坐标位置，解算得到所述第二位置参数值，其中所述第二位置参数值为通过所述空间坐标位置的像素点参数值在所述车身的水平方向上的像素位置匹配之后得到的；
143.根据所述第二位置参数值，得到所述rtk定位设备与所述图像采集设备的两者相
对位置的标定结果。
144.上述如本技术图2所示实施例揭示的用于自动驾驶车辆的标定装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field－programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
145.该电子设备还可执行图2中用于自动驾驶车辆的标定装置执行的方法，并实现用于自动驾驶车辆的标定装置在图2所示实施例的功能，本技术实施例在此不再赘述。
146.本技术实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的电子设备执行时，能够使该电子设备执行图2所示实施例中用于自动驾驶车辆的标定装置执行的方法，并具体用于执行：所述自动驾驶车辆至少包括：rtk定位设备、图像采集设备，用以实现所述rtk定位设备与所述图像采集设备的两者相对位置的标定，所述方法包括：通过所述自动驾驶车辆沿目标道路路段的中心车道线至少往返一次之后，基于预先标定得到的所述图像采集设备外参，得到所述rtk定位设备、所述图像采集设备分别采集得到的所述自动驾驶车辆往返一次行驶的连续rtk位置轨迹点数据以及所述自动驾驶车辆往返一次行驶的连续图像数据，其中所述rtk位置轨迹点数据与所述连续图像数据之间具有对应时间和位置关系；
147.识别所述连续图像数据中每一帧图像中的车道线的像素坐标位置；
148.根据多帧所述图像中的车道线的像素坐标位置，确定预设空间点在所述车身坐标系下的空间坐标位置，其中所述预设空间点包括若干车道线点；
149.根据预设空间点在所述车身坐标系下的空间坐标位置及该帧图片对应的rtk轨迹位置及车辆朝向，得到该空间点在世界坐标系下的空间坐标位置；
150.通过所述预设空间点在所述世界坐标系下的空间坐标位置，解算得到所述第二位置参数值，其中所述第二位置参数值为通过所述空间坐标位置的像素点参数值在所述车身的水平方向上的像素位置匹配之后得到的；根据所述第二位置参数值，得到所述rtk定位设备与所述图像采集设备的两者相对位置的标定结果。
151.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产
品的形式。
152.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
153.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
154.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
155.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
156.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
157.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
158.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
159.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
160.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员
来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。