一种相机标定方法、装置、智能车辆和存储介质与流程

[0001]
本发明涉及无人驾驶技术领域，具体涉及一种相机标定方法、装置、智能车辆和存储介质。


背景技术：

[0002]
无人驾驶技术通常包括环境感知、行为决策、运动控制、车辆定位等技术，这些技术需要融合无人驾驶车辆的车载相机和雷达采集到的数据信息来实现，为了对相机采集的数据进行准确的分析，一般需要对相机进行标定，确定其相机参数如相机外参。
[0003]
目前，在联合雷达获取的数据进行相机标定时，一般需要借助标定板，通过雷达在标定板上扫描到的激光点和与相机拍摄的图像对应的像素点进行匹配，构建重投影误差方程，估计相机的外参信息。这种方式需要手动选取标定板所对应的激光点区域，所以标定相机得到的相机外参会受到人为因素的影响。


技术实现要素：

[0004]
本发明实施例提供一种相机标定方法、装置、智能车辆和存储介质，可以在无需标定板的情况下确定相机的外参信息，减少了人为因素对标定结果的影响，有利于提升相机外参的准确度。
[0005]
本发明实施例提供一种相机标定方法，包括：获取目标相机的初始相机位姿变换序列，获取目标雷达的初始雷达位姿变换序列，其中，所述目标相机和目标雷达相对位置不变，所述初始相机位姿变换序列包括所述目标相机在相机坐标系中的旋转变换信息和平移变换信息，所述初始雷达位姿变换序列包括所述目标雷达在雷达坐标系中的旋转变换信息和平移变换信息；对所述初始相机位姿变换序列和所述初始雷达位姿变换序列进行时间同步处理，得到相机位姿变换序列和雷达位姿变换序列；根据所述相机位姿变换序列和雷达位姿变换序列中的旋转变换信息，与相机坐标系转换为雷达坐标系所需的旋转参数之间满足的第一关联关系，确定所述旋转参数中所述目标相机的第一旋转外参；根据所述雷达位姿变换序列中的旋转变换信息和平移变换信息、目标相机的尺度因子、所述相机位姿变换序列中的平移变换信息、相机坐标系转换为雷达坐标系所需的旋转参数和平移参数之间满足的第二关联关系，以及确定出的所述第一旋转外参，确定所述旋转参数中的第二旋转外参、所述尺度因子、以及所述平移参数；根据所述尺度因子修正所述相机位姿变换序列，得到修正后相机位姿变换序列；根据所述雷达位姿变换序列、所述修正后相机位姿变换序列以及所述第一关联关系和第二关联关系重新计算旋转参数和平移参数，得到目标旋转参数和目标平移参数。
[0006]
相应的，本发明实施例还提供一种相机标定装置，该相机标定装置包括：序列获取单元，用于获取目标相机的初始相机位姿变换序列，获取目标雷达的初始雷
达位姿变换序列，其中，所述目标相机和目标雷达相对位置不变，所述初始相机位姿变换序列包括所述目标相机在相机坐标系中的旋转变换信息和平移变换信息，所述初始雷达位姿变换序列包括所述目标雷达在雷达坐标系中的旋转变换信息和平移变换信息；时间同步单元，用于对所述初始相机位姿变换序列和所述初始雷达位姿变换序列进行时间同步处理，得到相机位姿变换序列和雷达位姿变换序列；第一参数确定单元，用于根据所述相机位姿变换序列和雷达位姿变换序列中的旋转变换信息，与相机坐标系转换为雷达坐标系所需的旋转参数之间满足的第一关联关系，确定所述旋转参数中所述目标相机的第一旋转外参；第二参数确定单元，用于根据所述雷达位姿变换序列中的旋转变换信息和平移变换信息、目标相机的尺度因子、所述相机位姿变换序列中的平移变换信息、相机坐标系转换为雷达坐标系所需的旋转参数和平移参数之间满足的第二关联关系，以及确定出的所述第一旋转外参，确定所述旋转参数中的第二旋转外参、所述尺度因子、以及所述平移参数；序列修正单元，用于根据所述尺度因子修正所述相机位姿变换序列，得到修正后相机位姿变换序列；外参修正单元，用于根据所述雷达位姿变换序列、所述修正后相机位姿变换序列以及所述第一关联关系和第二关联关系重新计算旋转参数和平移参数，得到目标旋转参数和目标平移参数。
[0007]
在一个可选的示例中，所述初始相机位姿变换序列中还包括所述目标相机的旋转变换信息和平移变换信息对应的时间信息，所述初始雷达位姿变换序列中还包括所述目标雷达的旋转变换信息和平移变换信息对应的时间信息；对应的，所述时间同步单元，用于分别计算所述初始相机位姿序列和所述初始雷达位姿序列的时间延迟；基于所述初始相机位姿序列和所述初始雷达位姿序列的时间延迟，对所述初始相机位姿序列和所述初始雷达位姿序列的时间信息进行调整；根据调整后的时间信息，对所述初始相机位姿变换序列和所述初始雷达位姿变换序列进行插值计算，得到相机位姿变换序列和雷达位姿变换序列，所述相机位姿变换序列和雷达位姿变换序列中相同序列位置对应的时间信息相同。
[0008]
在一个可选的示例中，所述时间同步单元包括插值计算子单元，所述插值计算子单元，用于根据调整后的时间信息，确定所述初始相机位姿变换序列中的相机插值点时间信息和所述初始雷达位姿变换序列中的雷达插值点时间信息；根据所述初始相机位姿变换序列中的旋转变换信息和平移变换信息，通过插值计算得到所述相机插值点时间信息对应的旋转变换信息和平移变换信息，按照所述相机插值点时间信息的顺序排列对应的旋转变换信息和平移变换信息，得到相机位姿变换序列；根据所述初始雷达位姿变换序列中的旋转变换信息和平移变换信息，通过插值计算得到所述雷达插值点时间信息对应的旋转变换信息和平移变换信息，按照所述雷达插值点时间信息的顺序排列对应的旋转变换信息和平移变换信息，得到雷达位姿变换序列。
[0009]
在一个可选的示例中，所述第一关联关系包括所述雷达位姿变换序列中第一时间信息对应的旋转变换信息与所述旋转参数的乘积，和所述旋转参数与所述相机位姿变换序列中所述第一时间信息对应的旋转变换信息的乘积相等；
对应的，所述第一参数确定单元，用于根据第一关联关系构建雷达位姿变换序列中第一时间信息对应的旋转变换信息与所述旋转参数的乘积，和所述旋转参数与所述相机位姿变换序列中所述第一时间信息对应的旋转变换信息的乘积之间的第一等式，将所述第一等式的目标侧的所有计算项移到另一侧，之后以预设残差代替所述目标侧的数值，得到旋转残差关系式；将所述旋转参数中的所述第二旋转外参作为定量，根据所述旋转残差关系式进行残差计算，得到所述旋转参数中所述目标相机的第一旋转外参。
[0010]
在一个可选的示例中，所述第二关联关系包括所述雷达位姿变换序列中第二时间信息对应的旋转变换信息与所述平移参数的乘积，和所述平移参数之间的差值，等于尺度因子、所述旋转参数以及所述相机位姿变换序列中所述第二时间信息对应的平移变换信息的乘积，与所述雷达位姿变换序列中第二时间信息对应的平移变换信息之间的差值；对应的，所述第二参数确定单元，用于根据所述第二关联关系构建所述雷达位姿变换序列中第二时间信息对应的旋转变换信息与所述平移参数的乘积和所述平移参数之间的差值，与尺度因子、所述旋转参数以及所述相机位姿变换序列中所述第二时间信息对应的平移变换信息的乘积，和所述雷达位姿变换序列中第二时间信息对应的平移变换信息之间的差值之间的第二等式，将所述第二等式的目标侧的所有计算项移到另一侧，之后以预设残差代替所述目标侧的数值，得到平移残差关系式；根据所述平移残差关系式以及确定出的所述第一旋转外参进行残差计算，得到所述旋转参数中的第二旋转外参、所述尺度因子、以及所述平移参数。
[0011]
在一个可选的示例中，在所述外参修正单元根据所述雷达位姿变换序列、所述修正后相机位姿变换序列以及所述第一关联关系和第二关联关系重新计算旋转参数和平移参数，得到目标旋转参数和目标平移参数后，相机标定装置还包括参数优化单元，用于根据所述目标旋转参数、所述目标平移参数、所述雷达位姿变换序列和所述修正后相机位姿变换序列，对所述旋转残差关系式进行计算，得到旋转残差；根据所述目标旋转参数、所述目标平移参数、所述雷达位姿变换序列和所述修正后相机位姿变换序列，对所述平移残差关系进行计算，得到平移残差；根据所述旋转残差和所述平移残差，优化所述旋转参数和平移参数对应的矩阵，得到优化后的旋转参数和平移参数。
[0012]
在一个可选的示例中，所述初始相机位姿变换序列通过相机采集到的图像数据得到，所述初始雷达位姿变换序列通过雷达采集到的点云数据得到；对应的，所述外参修正单元包括外参修正子单元和外参误差确定单元，所述外参修正子单元，用于根据所述修正后相机位姿变换序列、所述雷达位姿变换序列以及所述第一关联关系，得到修正后旋转参数中的第一修正旋转外参；根据所述第一修正旋转外参、所述修正后相机位姿变换序列、所述雷达位姿变换序列以及所述第二关联关系，得到修正后旋转参数中的第二修正旋转外参、修正后尺度因子以及修正后平移参数；所述外参误差确定单元，用于根据所述修正后旋转参数、修正后尺度因子以及修正后平移参数，在所述相机采集到的图像数据和所述雷达采集到的点云数据之间进行投影转换，基于投影转换得到的信息确定投影误差；
当所述投影误差小于预设的投影误差阈值时，将所述修正后旋转参数作为目标旋转参数，将所述修正后平移参数作为目标平移参数；当所述投影误差不小于所述投影误差阈值时，对所述修正后相机位姿变换序列进行修正，得到新的修正后相机位姿序列，基于新的修正后相机位姿序列重新执行根据所述修正后相机位姿变换序列、所述雷达位姿变换序列以及所述第一关联关系，得到修正后旋转参数中的第一修正旋转外参的步骤。
[0013]
相应的，本发明实施例还提供一种智能车辆，包括处理器、存储器、目标相机以及目标雷达，所述处理器用于执行所述存储器中存储的计算机程序时，实现本发明实施例所提供的任意一种所述的相机标定方法中的步骤。
[0014]
此外，本发明实施例还提供一种存储介质，所述存储介质有多条指令，所述指令适于处理器进行加载，以执行本发明实施例所提供的任一种相机标定方法中的步骤。
[0015]
采用本发明实施例的方案，可以获取目标相机的初始相机位姿变换序列，获取目标雷达的初始雷达位姿变换序列，其中，该目标相机和目标雷达相对位置不变，该初始相机位姿变换序列包括该目标相机在相机坐标系中的旋转变换信息和平移变换信息，该初始雷达位姿变换序列包括该目标雷达在雷达坐标系中的旋转变换信息和平移变换信息，对该初始相机位姿变换序列和该初始雷达位姿变换序列进行时间同步处理，得到相机位姿变换序列和雷达位姿变换序列，根据该相机位姿变换序列和雷达位姿变换序列中的旋转变换信息，与相机坐标系转换为雷达坐标系所需的旋转参数之间满足的第一关联关系，确定该旋转参数中该目标相机的第一旋转外参，根据该雷达位姿变换序列中的旋转变换信息和平移变换信息、目标相机的尺度因子、该相机位姿变换序列中的平移变换信息、相机坐标系转换为雷达坐标系所需的旋转参数和平移参数之间满足的第二关联关系，以及确定出的该第一旋转外参，确定该旋转参数中的第二旋转外参、该尺度因子、以及该平移参数，根据该旋转参数和该尺度因子修正该相机位姿变换序列，得到修正后相机位姿变换序列，根据该雷达位姿变换序列、该修正后相机位姿变换序列以及该第一关联关系和第二关联关系重新计算旋转参数和平移参数，得到目标旋转参数和目标平移参数；由于在本实施例中，相对位置保持不变的目标相机和目标雷达之间，存在第一关联关系和第二关联关系，可以基于时间同步处理后得到的相机位姿变换序列和雷达位姿变换序列中的旋转变换信息和平移变换信息，计算出相机的旋转参数和平移参数，所以在进行相机标定时，可以不使用标定板，就能达到很好的标定效果，提升了标定的准确率，有利于节约人力资源。
附图说明
[0016]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]
图1是本发明实施例提供的相机标定方法的场景示意图；图2是本发明实施例提供的相机标定方法的流程示意图；图3是本发明实施例提供的相机标定方法的另一流程示意图；图4是本发明实施例提供的相机标定装置的结构示意图；
图5是本发明实施例提供的电子设备的结构示意图；图6是本发明实施例提供的智能车辆的结构示意图。
具体实施方式
[0018]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0019]
本发明实施例提供一种相机标定方法、装置、智能车辆和存储介质。具体地，本发明实施例提供适用于相机标定装置的相机标定方法，该相机标定装置可以集成在电子设备中。
[0020]
该电子设备可以为终端等设备，例如智能车辆、智能手机、智能手表、平板电脑、笔记本电脑等，其中，智能车辆是一个集环境感知、规划决策以及多等级辅助驾驶等功能于一体的综合系统，它集中运用了计算机、现代传感、信息融合、通讯、人工智能及自动控制等技术，是典型的高新技术综合体。目前对智能车辆的研究主要致力于提高汽车的安全性、舒适性，以及提供优良的人车交互界面，该智能车辆可以是无人驾驶汽车，无人驾驶汽车是智能汽车的一种，也称为轮式移动机器人，主要依靠车内的以计算机系统为主的智能驾驶仪来实现无人驾驶的目的，所谓无人驾驶，可以通过利用车载传感器来感知车辆周围环境，并根据智能车辆获得的道路、车辆位置和障碍物信息，控制车辆的转向和车辆的速度，从而使车辆能够安全、可靠地在道路上行驶。
[0021]
该电子设备还可以为服务器等设备，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器，但并不局限于此。
[0022]
本发明实施例的相机标定方法，可以由服务器实现，也可以由终端和服务器共同实现。
[0023]
下面以终端和服务器共同实现该相机标定方法为例，对该方法进行说明，其中，终端可以包括运动设备如智能车辆等。
[0024]
如图1所示，本发明实施例提供的相机标定系统包括运动设备10和服务器20等；运动设备10与服务器20之间可以通过网络连接，比如，通过有线或无线网络连接等，其中，运动设备10可以作为装载有目标相机和目标雷达的终端存在。
[0025]
运动设备10，可以接收装载在运动设备10上的目标相机采集到的图像数据和装载在运动设备10上的目标雷达采集到的点云数据。
[0026]
运动设备10接收到所述图像数据和点云数据后，可以直接将所述图像数据和点云数据发送到服务器20，也可以将所述图像数据和点云数据存储在运动设备10的存储空间中，当接收到服务器20发送的数据获取请求时，再将所述图像数据和点云数据发送到服务器20。
[0027]
服务器20接收到运动设备10发送的所述图像数据和点云数据后，可以根据所述图像数据和点云数据获取目标相机的初始相机位姿变换序列，获取目标雷达的初始雷达位姿
变换序列，其中，所述目标相机和目标雷达相对位置不变，所述初始相机位姿变换序列包括所述目标相机在相机坐标系中的旋转变换信息和平移变换信息，所述初始雷达位姿变换序列包括所述目标雷达在雷达坐标系中的旋转变换信息和平移变换信息，对所述初始相机位姿变换序列和所述初始雷达位姿变换序列进行时间同步处理，得到相机位姿变换序列和雷达位姿变换序列，根据所述相机位姿变换序列和雷达位姿变换序列中的旋转变换信息，与相机坐标系转换为雷达坐标系所需的旋转参数之间满足的第一关联关系，确定所述旋转参数中所述目标相机的第一旋转外参，根据所述雷达位姿变换序列中的旋转变换信息和平移变换信息、目标相机的尺度因子、所述相机位姿变换序列中的平移变换信息、相机坐标系转换为雷达坐标系所需的旋转参数和平移参数之间满足的第二关联关系，以及确定出的所述第一旋转外参，确定所述旋转参数中的第二旋转外参、所述尺度因子、以及所述平移参数，根据所述尺度因子修正所述相机位姿变换序列，得到修正后相机位姿变换序列，根据所述雷达位姿变换序列、所述修正后相机位姿变换序列以及所述第一关联关系和第二关联关系重新计算旋转参数和平移参数，得到目标旋转参数和目标平移参数。
[0028]
在得到目标旋转参数和目标平移参数后，服务器20可以继续根据目标旋转参数和目标平移参数继续进行运动设备10的位姿估计等操作，也可以将目标旋转参数和目标平移参数发送给运动设备10，以使得运动设备10根据目标旋转参数和目标平移参数做进一步的处理。
[0029]
以下分别进行详细说明。需要说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
[0030]
本发明实施例将从相机标定装置的角度进行描述，该相机标定装置具体可以集成在服务器或终端中。
[0031]
如图2所示，本实施例的相机标定方法的具体流程可以如下：201、获取目标相机的初始相机位姿变换序列，获取目标雷达的初始雷达位姿变换序列，其中，所述目标相机和目标雷达相对位置不变，所述初始相机位姿变换序列包括所述目标相机在相机坐标系中的旋转变换信息和平移变换信息，所述初始雷达位姿变换序列包括所述目标雷达在雷达坐标系中的旋转变换信息和平移变换信息。
[0032]
需要说明的是，本实施例中的目标相机包括但不限于普通相机、摄像机等图像获取设备，目标雷达包括但不限于毫米波雷达、激光雷达等探测设备。
[0033]
其中，所述目标相机和目标雷达相对位置不变，可以理解为在初始相机位姿变换序列和初始雷达位姿变换序列的获取时长内，目标相机和目标雷达保持一个相对静止的状态，如目标相机和目标雷达之间的相对距离不变，目标相机和目标雷达的相对距离，可以基于目标相机和目标雷达上特定的点计算，该特定的点的位置不限，例如，相对距离为目标相机的镜头中心点到雷达重心的距离，可以理解的是，若相机自身发生转动，则镜头中心也会发生变化，会导致相对距离变换，所以本实施中目标相机和目标雷达的相对位置不变，其实也限定了在初始相机位姿变换序列和初始雷达位姿变换序列的获取时长内，相机和雷达各自不进行独立运动。
[0034]
例如，在一个示例中，目标相机和目标雷达可以同时设置在智能车辆上，并在智能车辆上为目标相机和目标雷达各设置一个固定装置，目标相机和目标雷达可以通过固定装置固定在智能车辆上，目标相机和目标雷达自身是可以活动的，如发生转动，但是在进行相
机标定时，可以保持相对静止。
[0035]
其中，初始相机位姿变换序列可以由目标相机采集的图像数据得到的，可以包括目标相机在相邻时刻之间的位姿变换信息。初始雷达位姿变换序列可以由目标雷达采集的点云数据得到的，可以包括目标雷达在相邻时刻之间的位姿变换信息。
[0036]
本实施例中，相机位姿表示目标相机在相机坐标系中的位置和姿态，雷达位姿表示目标雷达在雷达坐标系中的位置和姿态。
[0037]
例如，一个示例中，该初始相机位姿变换序列可以为的形式，其中，,可以是根据目标相机采集到的图像数据确定出的目标相机在1，2，3，
……
，时刻，于相机坐标系中的位姿状态信息，本实施例中，位姿状态信息可以包括目标相机在相机坐标系中的位置信息和姿态信息。
[0038]
可以从初始相机位姿变换序列的位姿状态信息确定出目标相机在相邻时刻之间的位姿变换信息，所述位姿变换信息包括旋转变换信息和平移变换信息。
[0039]
例如，另一个示例中，该初始相机位姿变换序列也可以为，其中， 可以是根据目标相机采集到的图像数据确定出的目标相机在相邻时刻之间的位姿变换信息，比如 表示根据第-1个采集时刻与第个采集时刻的相机位姿状态信息确定的第-1个采集时刻与第个采集时刻之间目标相机的位姿变换信息。
[0040]
其中，旋转变换信息指的是用于反映目标相机在相机坐标系中的姿态变化的信息，一个示例中，旋转变换信息可以是相机坐标系中目标相机在相邻采集时刻之间的姿态变化信息。
[0041]
其中，平移变换信息指的是用于反映目标相机在相机坐标系中的位置变化的信息，一个示例中，平移变换信息可以是相机坐标系中目标相机在相邻采集时刻之间的位置变化信息。
[0042]
可以理解的是，初始相机位姿变换序列需要经过对目标相机采集的图像数据进行处理得到，在一个示例中，步骤“获取目标相机的初始相机位姿变换序列”，具体可以包括：获取目标相机采集到的图像数据，所述图像数据中包括至少两张图像，以及每张图像的采集时间戳；对各图像进行特征点检测，得到各图像的特征点；在图像之间进行特征点匹配，确定具有相同特征点的目标图像；根据所述目标图像和所述目标图像的采集时间戳，得到图像序列；对该图像序列进行相机位姿提取操作，得到初始相机位姿变换序列。
[0043]
在这个示例中，每张图像的采集时间戳包括用来确定每张图像的采集时间的时间标识，需要依据该采集时间戳对目标图像进行处理，生成图像序列。
[0044]
其中，特征点表示在目标相机采集到的图像数据中，具有特征性质的点，能够在其他含有相同场景或目标的相似图像中以一种相同的或至少非常相似的不变形式表示图像或目标。可以理解的是，特征点可以不仅仅是一个点，它还可以包括一系列局部的信息。甚至很多情况下，它本身就是具有面积的一小块区域。
[0045]
其中，步骤“对所述图像数据进行特征点检测，得到每组所述图像数据中的特征
点”中，可以采用特征点提取((features from accelerated segment test，fast)算法、加速稳健特征( speeded up robust features，surf)算法等等任一能提取图像数据中的特征点的方式实现。
[0046]
可以理解的是，初始雷达位姿变换序列需要经过对目标雷达采集的点云数据进行处理得到，在一个示例中，步骤“获取目标雷达的初始雷达位姿变换序列”，具体可以包括：获取目标雷达采集到的多个点云数据，以及每个点云数据的采集时间戳；对所述点云数据进行点云配准处理，得到配准点云数据集合，配准点云数据集合中的任一点云数据与其他点云数据之间都是配准成功的关系；根据所述配准点云数据集合中的点云数据和该点云数据的采集时间戳，得到初始雷达位姿变换序列。
[0047]
本实施例中，点云数据是指在雷达坐标系中的一组向量的集合。
[0048]
在这个示例中，每个点云数据的采集时间戳可以包括用来确定每个点云数据的采集时间的时间标识，需要依据该采集时间戳对点云配准后的点云数据进行处理，生成初始雷达位姿变换序列。
[0049]
其中，步骤“对所述点云数据进行点云配准处理，得到配准点云数据”中，可以通过迭代最近点配准(iterative closest point alignment, icp)配准或者正态分布变换(normal distribution transform，ndt)实现。其中，icp算法是激光同步定位与建图(simultaneous localization and mapping，slam)点云匹配的常用算法, 其本质上是基于最小二乘法的最优配准方法, 即认为距离最近的两个点为同一个, 重复进行选择对应关系点对，计算最优刚体变换这一过程，直到满足正确配准的收敛精度要求。
[0050]
可以理解的是，在对点云数据进行点云配准处理之前，也可以对点云数据进行点云滤波等处理，原始采集的点云数据往往包含大量散列点、孤立点，可以通过点云滤波等处理，保留有效的点云数据，减轻计算压力。
[0051]
202、对所述初始相机位姿变换序列和所述初始雷达位姿变换序列进行时间同步处理，得到相机位姿变换序列和雷达位姿变换序列。
[0052]
在一个示例中，所述初始相机位姿变换序列中还包括所述目标相机的旋转变换信息和平移变换信息对应的时间信息，所述初始雷达位姿变换序列中还包括所述目标雷达的旋转变换信息和平移变换信息对应的时间信息。
[0053]
本实施例中的时间同步处理的作用是，使得处理得到的相机位姿变换序列和雷达位姿变换序列中相同序列位置对应的时间信息相同，其中，时间同步处理采用的具体方案不限，例如时间同步处理可以是基于插值方法实现的。
[0054]
所述对所述初始相机位姿变换序列和所述初始雷达位姿变换序列进行时间同步处理，得到相机位姿变换序列和雷达位姿变换序列，包括：分别计算所述初始相机位姿序列和所述初始雷达位姿序列的时间延迟；基于所述初始相机位姿序列和所述初始雷达位姿序列的时间延迟，对所述初始相机位姿序列和所述初始雷达位姿序列的时间信息进行调整；根据调整后的时间信息，对所述初始相机位姿变换序列和所述初始雷达位姿变换序列进行插值计算，得到相机位姿变换序列和雷达位姿变换序列，所述相机位姿变换序列和雷达位姿变换序列中相同序列位置对应的时间信息相同。
[0055]
其中，时间延迟是由于目标相机和目标雷达之间由于采集帧率不同、数据传输速率不同等问题产生的在时间信息上的差值。
[0056]
其中，相同序列位置对应的时间信息相同指的是，将目标相机的旋转变换信息和平移变换信息按时间顺序写入相机位姿变换序列，将目标雷达的旋转变换信息和平移变换信息按时间顺序写入雷达位姿变换序列后，相机位姿变换序列和雷达位姿变换序列中同一次序的旋转变换信息和平移变换信息对应的时间信息相同。例如，在相机位姿变换序列第位的旋转变换信息和平移变换信息对应的时间信息，与雷达位姿变换序列第位的旋转变换信息和平移变换信息对应的时间信息相同。
[0057]
可以理解的是，需要先根据目标相机和目标雷达之间的采集帧率、数据传输速率等信息对相机位姿时间信息和雷达位姿时间信息进行处理，消除它们的时间延迟。
[0058]
在消除时间延迟后，可以对初始相机位姿变换序列和所述初始雷达位姿变换序列进行进一步的处理，以使得所述初始相机位姿变换序列和所述初始雷达位姿变换序列同步，即，得到相机位姿变换序列和雷达位姿变换序列。
[0059]
在一个示例中，所述根据同步后的所述雷达位姿时间信息和所述相机位姿时间信息，对所述初始相机位姿变换序列和所述初始雷达位姿变换序列进行插值计算，得到相机位姿变换序列和雷达位姿变换序列，包括：确定所述初始相机位姿变换序列中的相机插值点时间信息和所述初始雷达位姿变换序列中的雷达插值点时间信息；根据所述初始相机位姿变换序列中的旋转变换信息和平移变换信息，通过插值计算得到所述相机插值点时间信息对应的旋转变换信息和平移变换信息，得到相机位姿变换序列；根据所述初始雷达位姿变换序列中的旋转变换信息和平移变换信息，通过插值计算得到所述雷达插值点时间信息对应的旋转变换信息和平移变换信息，得到雷达位姿变换序列。
[0060]
其中，插值计算可以通过多种方法实现，例如，在初始相机位姿变换序列中，选择在相机插值点时间信息之前和之后的一组或多组的时间信息对应的旋转变换信息和平移变换信息，通过求取平均值的方式进行插值计算。也可以在初始相机位姿变换序列中选择在相机插值点时间信息之前和之后的多组的时间信息对应的旋转变换信息和平移变换信息，求取模拟曲线，再在模拟曲线上，选择相机插值点时间信息对应的旋转变换信息和平移变换信息，实现插值计算。也可以根据实际需求，采用计算量更大的反距离加权法、趋势面光滑差值法等进行插值计算。
[0061]
在另一个示例中，在步骤202中，也可以只对初始相机位姿变换序列或者初始雷达位姿变换序列进行插值处理。例如：将所述初始雷达位姿变换序列作为雷达位姿变换序列；确定所述雷达位姿变换序列中目标雷达的旋转变换信息和平移变换信息对应的时间信息；基于所述目标雷达的旋转变换信息和平移变换信息对应的时间信息，确定所述初始相机位姿变换序列中对应的相机插值点时间信息；根据所述初始相机位姿变换序列中的旋转变换信息和平移变换信息，通过插值计算得
到所述相机插值点时间信息对应的旋转变换信息和平移变换信息，得到相机位姿变换序列。
[0062]
203、根据所述相机位姿变换序列和雷达位姿变换序列中的旋转变换信息，与相机坐标系转换为雷达坐标系所需的旋转参数之间满足的第一关联关系，确定所述旋转参数中所述目标相机的第一旋转外参。
[0063]
其中，旋转参数，可以使得相机坐标系根据旋转参数绕自身原点进行旋转后，坐标轴的方向与雷达坐标系中坐标轴的方向一致。
[0064]
其中，第一关联关系包括所述雷达位姿变换序列中第一时间信息对应的旋转变换信息与所述旋转参数的乘积，和所述旋转参数与所述相机位姿变换序列中所述第一时间信息对应的旋转变换信息的乘积相等。
[0065]
例如，第一关联关系可以为如下公式所示的形式：其中，表示从雷达位姿变换序列中获取的目标雷达在雷达坐标系中第时刻和第+1时刻之间（第一时间信息）的旋转变换信息，表示相机坐标系到雷达坐标系的旋转参数，表示从相机位姿变换序列中获取的目标相机在相机坐标系中第时刻和第+1时刻之间（第一时间信息）的旋转变换信息。与的乘积表示的是：目标相机在雷达坐标系中第时刻和第+1时刻之间的旋转变换信息。
[0066]
在这个示例中，所述旋转变换信息可以表现为矩阵的形式，通过所述旋转参数，可以将目标相机在相机坐标系中的旋转变换信息，变换为目标相机在雷达坐标系中的旋转变换信息。
[0067]
为了实现对旋转参数的精确计算，提高旋转参数的准确性，本实施例中，可以将相机坐标系相较于雷达坐标系的旋转参数，表示成绕雷达坐标系的三个坐标轴zyx分解得到的旋转子参数的连成形式。如下公式所示：其中，表示相机坐标系原点与雷达坐标系中的z轴之间的旋转子参数，表示相机坐标系原点与雷达坐标系中的y轴之间的旋转子参数，表示相机坐标系原点与雷达坐标系的x轴之间的旋转子参数。、和可以是矩阵。
[0068]
其中，雷达坐标系的设置方式不限，本实施例对此没有任何限制。
[0069]
其中，旋转参数中的第一旋转外参指的是旋转子参数和，第二旋转外参指的是旋转子参数。
[0070]
其中，指的是相机外参中的roll角(翻滚角)，指的是相机外参中的pitch角(俯仰角), 指的是相机外参中的yaw角(偏航角)。
[0071]
在一个示例中，所述根据目标相机和目标雷达在各自的坐标系中的旋转变换信息，与相机坐标系转换为雷达坐标系所需的旋转参数之间满足的第一关联关系，确定所述旋转参数中所述目标相机的第一旋转外参，包括：根据第一关联关系构建雷达位姿变换序列中第一时间信息对应的旋转变换信息与所述旋转参数的乘积，和所述旋转参数与所述相机位姿变换序列中所述第一时间信息对应的旋转变换信息的乘积之间的第一等式，将所述第一等式的目标侧的所有计算项移到另一侧，之后以预设残差代替所述目标侧的数值，得到旋转残差关系式；将所述旋转参数中的所述第二旋转外参作为定量，根据所述旋转残差关系式进行残差计算，得到所述旋转参数中所述目标相机的第一旋转外参。
[0072]
在一个示例中，旋转残差关系式可以表示为如下公式的形式：其中，
ꢀꢀ
表示预设的残差，可以代替所述目标侧的数值。在根据所述旋转残差关系式进行残差计算时，可以通过最小化所述旋转残差，求解出与最小化的旋转残差对应所述旋转参数中的第一旋转外参。
[0073]
204、根据所述雷达位姿变换序列中的旋转变换信息和平移变换信息、目标相机的尺度因子、所述相机位姿变换序列中的平移变换信息、相机坐标系转换为雷达坐标系所需的旋转参数和平移参数之间满足的第二关联关系，以及确定出的所述第一旋转外参，确定所述旋转参数中的第二旋转外参、所述尺度因子、以及所述平移参数。
[0074]
其中，平移参数，可以使得相机坐标系按照平移参数平移后，相机坐标系的原点和雷达坐标系的原点重合。
[0075]
其中，尺度因子为真实空间中物体和相机之间的距离与目标相机焦距的比值。
[0076]
其中，所述第二关联关系包括所述雷达位姿变换序列中第二时间信息对应的旋转变换信息与所述平移参数的乘积，和所述平移参数之间的差值，等于尺度因子、所述旋转参数以及所述相机位姿变换序列中所述第二时间信息对应的平移变换信息的乘积，与所述雷达位姿变换序列中第二时间信息对应的平移变换信息之间的差值。
[0077]
例如，第二关联关系可以为如下公式的形式：其中，表示平移参数，表示尺度因子，表示从相机位姿变换序列中提取的目标相机在相机坐标系中，第时刻和第+1时刻之间（第二时间信息）的平移变换信息，表示从雷达位姿变换序列中提取的目标雷达在雷达坐标系中的第时刻和第+1时刻之间的平移变换信息。在理想状态下，可以为1。
[0078]
在一个示例中，所述根据所述雷达位姿变换序列中的旋转变换信息和平移变换信息、目标相机的尺度因子、所述相机位姿变换序列中的平移变换信息、相机坐标系转换为雷达坐标系所需的旋转参数和平移参数之间满足的第二关联关系，以及确定出的所述第一旋转外参，确定所述旋转参数中的第二旋转外参、所述尺度因子、以及所述平移参数，包括：根据所述第二关联关系构建所述雷达位姿变换序列中第二时间信息对应的旋转变换
信息与所述平移参数的乘积和所述平移参数之间的差值，与尺度因子、所述旋转参数以及所述相机位姿变换序列中所述第二时间信息对应的平移变换信息的乘积，和所述雷达位姿变换序列中第二时间信息对应的平移变换信息之间的差值之间的第二等式，将所述第二等式的目标侧的所有计算项移到另一侧，之后以预设残差代替所述目标侧的数值，得到平移残差关系式；根据所述平移残差关系式以及确定出的所述第一旋转外参进行残差计算，得到所述旋转参数中的第二旋转外参、所述尺度因子、以及所述平移参数。
[0079]
其中，所述第二等式可以为如下公式的形式：其中，i3为对第二关联关系中的进行公因式提取后的单位矩阵。
[0080]
在一个示例中，平移残差关系式可以表示为如下公式的形式：其中，表示预设的残差，可以代替所述目标侧的数值。在根据所述平移残差关系式以及确定出的所述第一平移外参进行残差计算时，可以通过最小化所述平移残差，求解出与最小化的平移残差对应的所述旋转参数中的第二旋转外参、所述尺度因子、以及所述平移参数。其中，与 不同。
[0081]
205、根据所述尺度因子修正所述相机位姿变换序列，得到修正后相机位姿变换序列。
[0082]
其中，所述根据所述尺度因子修正所述相机位姿变换序列，具体可以为：根据计算得到的尺度因子，对所述相机位姿变换序列中目标相机在相机坐标系中的旋转变换信息和平移变换信息进行修改。在步骤206中，根据修正后相机位姿变换序列重新计算旋转参数和平移参数，可以提升目标旋转外参和目标平移外参的准确性。
[0083]
206、根据所述雷达位姿变换序列、所述修正后相机位姿变换序列以及所述第一关联关系和第二关联关系重新计算旋转参数和平移参数，得到目标旋转参数和目标平移参数。
[0084]
在实际应用过程中，随着相机和雷达等传感器的不断改进，相机采集图像数据和雷达采集点云数据的过程中，噪声等因素的影响越来越小，可以在获取到图像数据和点云数据后，不进行去噪等操作，而是通过在计算得到旋转参数和平移参数后，进行优化计算，消除噪声的影响。
[0085]
在一个示例中，步骤206之后，还包括：根据所述目标旋转参数、所述目标平移参数、所述雷达位姿变换序列和所述修正后相机位姿变换序列，对所述旋转残差关系式进行计算，得到旋转残差；根据所述目标旋转参数、所述目标平移参数、所述雷达位姿变换序列和所述修正后相机位姿变换序列，对所述平移残差关系进行计算，得到平移残差；根据所述旋转残差和所述平移残差，优化所述旋转参数和平移参数对应的矩阵，得到优化后的旋转参数和平移参数。
[0086]
其中，步骤“根据所述旋转残差和所述平移残差，优化所述旋转参数和平移参数对
应的矩阵，得到优化后的旋转参数和平移参数”具体可以通过如下的公式实现：其中，可以表示旋转参数和平移参数对应的矩阵，可选的可以是旋转参数和平移参数对应的矩阵拼接得到。表示相机位姿变换序列和雷达位姿变换序列中的第个时刻，的最小值为1，最大值小于相机位姿变换序列和雷达位姿变换序列中的时刻的数量； 表示相机位姿变换序列和雷达位姿变换序列中的第 个时刻， 的最小值为2，最大值为相机位姿变换序列和雷达位姿变换序列中的时刻的数量；表示先求第个的模，再对该模进行平方求值。
[0087]
可以理解的是，为了保证目标旋转参数和目标平移参数的准确性，在计算出旋转外参和平移外参后，应当对旋转外参和平移外参进行检验，确定计算得到的旋转外参和平移外参可以作为目标旋转参数和目标平移参数。
[0088]
在一个示例中，所述初始相机位姿变换序列通过相机采集到的图像数据得到，所述初始雷达位姿变换序列通过雷达采集到的点云数据得到；所述根据所述雷达位姿变换序列、所述修正后相机位姿变换序列以及所述第一关联关系和第二关联关系重新计算旋转参数和平移参数，得到目标旋转参数和目标平移参数，包括：根据所述修正后相机位姿变换序列、所述雷达位姿变换序列以及所述第一关联关系，得到修正后旋转参数中的第一修正旋转外参；根据所述第一修正旋转外参、所述修正后相机位姿变换序列、所述雷达位姿变换序列以及所述第二关联关系，得到修正后旋转参数中的第二修正旋转外参、修正后尺度因子以及修正后平移参数；根据所述修正后旋转参数、修正后尺度因子以及修正后平移参数，在所述相机采集到的图像数据和所述雷达采集到的点云数据之间进行投影转换，基于投影转换得到的信息确定投影误差；当所述投影误差小于预设的投影误差阈值时，将所述修正后旋转参数作为目标旋转参数，将所述修正后平移参数作为目标平移参数；当所述投影误差不小于所述投影误差阈值时，对所述修正后相机位姿变换序列进行修正，得到新的修正后相机位姿序列，基于新的修正后相机位姿序列重新执行根据所述修正后相机位姿变换序列、所述雷达位姿变换序列以及所述第一关联关系，得到修正后旋转参数中的第一修正旋转外参的步骤。
[0089]
其中，投影误差阈值为预设的用于判断投影误差是否满足需求的参数值，开发人员可以根据实际情况对投影误差阈值进行设置，如开发人员希望投影误差小于99%时，可以将投影误差阈值设置为99%等。当投影误差值小于投影误差阈值时，可以认为得到的修正后旋转参数和修正后平移参数能够满足需要，将所述修正后旋转参数作为目标旋转参数，将所述修正后平移参数作为目标平移参数。
[0090]
由上可知，采用本发明实施例的方案，可以获取目标相机的初始相机位姿变换序列，获取目标雷达的初始雷达位姿变换序列，其中，该目标相机和目标雷达相对位置不变，
该初始相机位姿变换序列包括该目标相机在相机坐标系中的旋转变换信息和平移变换信息，该初始雷达位姿变换序列包括该目标雷达在雷达坐标系中的旋转变换信息和平移变换信息，对该初始相机位姿变换序列和该初始雷达位姿变换序列进行时间同步处理，得到相机位姿变换序列和雷达位姿变换序列，根据该相机位姿变换序列和雷达位姿变换序列中的旋转变换信息，与相机坐标系转换为雷达坐标系所需的旋转参数之间满足的第一关联关系，确定该旋转参数中该目标相机的第一旋转外参，根据该雷达位姿变换序列中的旋转变换信息和平移变换信息、目标相机的尺度因子、该相机位姿变换序列中的平移变换信息、相机坐标系转换为雷达坐标系所需的旋转参数和平移参数之间满足的第二关联关系，以及确定出的该第一旋转外参，确定该旋转参数中的第二旋转外参、该尺度因子、以及该平移参数，根据该旋转参数和该尺度因子修正该相机位姿变换序列，得到修正后相机位姿变换序列，根据该雷达位姿变换序列、该修正后相机位姿变换序列以及该第一关联关系和第二关联关系重新计算旋转参数和平移参数，得到目标旋转参数和目标平移参数；由于在本实施例中，相对位置保持不变的目标相机和目标雷达之间，存在第一关联关系和第二关联关系，可以基于时间同步处理后得到的相机位姿变换序列和雷达位姿变换序列中的旋转变换信息和平移变换信息，计算出相机的旋转参数和平移参数，所以在进行相机标定时，可以不使用标定板，就能达到很好的标定效果，提升了标定的准确率，有利于节约人力资源。
[0091]
根据前面实施例所描述的方法，以下将举例作进一步详细说明。
[0092]
在本实施例中，将结合图1的系统，以相机标定装置集成在智能车辆中进行说明，智能车辆上装载有目标相机和目标雷达。
[0093]
如图3所示，本实施例的相机标定方法，具体流程可以如下：301、目标相机采集图像数据并发送给智能车辆，目标雷达采集点云数据并发送给智能车辆。
[0094]
其中，目标相机和目标雷达可以随着智能车辆的运动而运动，但是目标相机和目标雷达保持相对位置不变。
[0095]
302、智能车辆接收目标相机采集的图像数据和目标雷达采集的点云数据。
[0096]
其中，智能车辆在接收到图像数据和点云数据后，可以先对图像数据和点云数据进行去噪处理，去除图像数据和点云数据中由于相机和雷达的抖动等因素产生的噪声点。
[0097]
303、智能车辆根据所述图像数据和点云数据获取目标相机的初始相机位姿变换序列，获取目标雷达的初始雷达位姿变换序列，其中，所述目标相机和目标雷达相对位置不变，所述初始相机位姿变换序列包括所述目标相机在相机坐标系中的旋转变换信息和平移变换信息，所述初始雷达位姿变换序列包括所述目标雷达在雷达坐标系中的旋转变换信息和平移变换信息。
[0098]
在一个实施例中，初始相机位姿变换序列是由目标相机采集的图像数据进行图像特征点匹配得到的，可以包括目标相机在相邻时刻之间的位姿变换信息。初始雷达位姿变换序列是由目标雷达采集的点云数据进行点云配准得到的，可以包括目标雷达在相邻时刻之间的位姿变换信息。
[0099]
304、智能车辆对所述初始相机位姿变换序列和所述初始雷达位姿变换序列进行时间同步处理，得到相机位姿变换序列和雷达位姿变换序列。
[0100]
在一个示例中，步骤304包括：
分别计算所述初始相机位姿序列和所述初始雷达位姿序列的时间延迟；基于所述初始相机位姿序列和所述初始雷达位姿序列的时间延迟，对所述初始相机位姿序列和所述初始雷达位姿序列的时间信息进行调整；确定所述初始相机位姿变换序列中的相机插值点时间信息和所述初始雷达位姿变换序列中的雷达插值点时间信息；根据所述初始相机位姿变换序列中的旋转变换信息和平移变换信息，通过插值计算得到所述相机插值点时间信息对应的旋转变换信息和平移变换信息，得到相机位姿变换序列；根据所述初始雷达位姿变换序列中的旋转变换信息和平移变换信息，通过插值计算得到所述雷达插值点时间信息对应的旋转变换信息和平移变换信息，得到雷达位姿变换序列。
[0101]
305、智能车辆根据所述相机位姿变换序列和雷达位姿变换序列中的旋转变换信息，与相机坐标系转换为雷达坐标系所需的旋转参数之间满足的第一关联关系，确定所述旋转参数中所述目标相机的第一旋转外参。
[0102]
其中，旋转参数，可以使得相机坐标系根据旋转参数绕自身原点进行旋转后，坐标轴的方向与雷达坐标系中坐标轴的方向一致。
[0103]
306、智能车辆根据所述雷达位姿变换序列中的旋转变换信息和平移变换信息、目标相机的尺度因子、所述相机位姿变换序列中的平移变换信息、相机坐标系转换为雷达坐标系所需的旋转参数和平移参数之间满足的第二关联关系，以及确定出的所述第一旋转外参，确定所述旋转参数中的第二旋转外参、所述尺度因子、以及所述平移参数。
[0104]
其中，平移参数为可以使得相机坐标系按照平移参数平移后，相机坐标系的原点和雷达坐标系的原点重合的参数。尺度因子为真实空间中物体和相机之间的距离与目标相机焦距的比值。
[0105]
307、智能车辆根据所述尺度因子修正所述相机位姿变换序列，得到修正后相机位姿变换序列。
[0106]
其中，所述根据所述尺度因子修正所述相机位姿变换序列表示，根据计算得到的尺度因子，对所述相机位姿变换序列中目标相机在相机坐标系中的旋转变换信息和平移变换信息进行修改，以提升目标旋转外参和目标平移外参的准确性。
[0107]
308、智能车辆根据所述雷达位姿变换序列、所述修正后相机位姿变换序列以及所述第一关联关系和第二关联关系重新计算旋转参数和平移参数，得到目标旋转参数和目标平移参数。
[0108]
可选的，步骤308具体可以包括：根据所述修正后相机位姿变换序列、所述雷达位姿变换序列以及所述第一关联关系，得到修正后旋转参数中的第一修正旋转外参；根据所述第一修正旋转外参、所述修正后相机位姿变换序列、所述雷达位姿变换序列以及所述第二关联关系，得到修正后旋转参数中的第二修正旋转外参、修正后尺度因子以及修正后平移参数；根据所述修正后旋转参数、修正后尺度因子以及修正后平移参数，在所述相机采集到的图像数据和所述雷达采集到的点云数据之间进行投影转换，基于投影转换得到的信息确定投影误差；
当所述投影误差小于预设的投影误差阈值时，将所述修正后旋转参数作为目标旋转参数，将所述修正后平移参数作为目标平移参数；当所述投影误差不小于所述投影误差阈值时，对所述修正后相机位姿变换序列进行修正，得到新的修正后相机位姿序列，基于新的修正后相机位姿序列重新执行根据所述修正后相机位姿变换序列、所述雷达位姿变换序列以及所述第一关联关系，得到修正后旋转参数中的第一修正旋转外参的步骤。
[0109]
309、智能车辆根据所述目标旋转参数、所述目标平移参数、所述雷达位姿变换序列和所述修正后相机位姿变换序列，对所述旋转残差关系式进行计算，得到旋转残差，对所述平移残差关系进行计算，得到平移残差。
[0110]
310、智能车辆根据所述旋转残差和所述平移残差，优化所述旋转参数和平移参数对应的矩阵，得到优化后的旋转参数和平移参数。
[0111]
在一个示例中，步骤310具体可以通过如下的公式实现：其中，表示旋转参数和平移参数共同构成的矩阵。
[0112]
由上可知，采用本实施例在进行相机标定时，可以不使用标定板，就能达到很好的标定效果，提升了标定的准确率，有利于节约人力资源。
[0113]
为了更好地实施以上方法，相应的，本发明实施例还提供一种用户互动内容管理装置。
[0114]
参考图4，该装置包括：序列获取单元401，用于获取目标相机的初始相机位姿变换序列，获取目标雷达的初始雷达位姿变换序列，其中，所述目标相机和目标雷达相对位置不变，所述初始相机位姿变换序列包括所述目标相机在相机坐标系中的旋转变换信息和平移变换信息，所述初始雷达位姿变换序列包括所述目标雷达在雷达坐标系中的旋转变换信息和平移变换信息；时间同步单元402，用于对所述初始相机位姿变换序列和所述初始雷达位姿变换序列进行时间同步处理，得到相机位姿变换序列和雷达位姿变换序列；第一参数确定单元403，用于根据所述相机位姿变换序列和雷达位姿变换序列中的旋转变换信息，与相机坐标系转换为雷达坐标系所需的旋转参数之间满足的第一关联关系，确定所述旋转参数中所述目标相机的第一旋转外参；第二参数确定单元404，用于根据所述雷达位姿变换序列中的旋转变换信息和平移变换信息、目标相机的尺度因子、所述相机位姿变换序列中的平移变换信息、相机坐标系转换为雷达坐标系所需的旋转参数和平移参数之间满足的第二关联关系，以及确定出的所述第一旋转外参，确定所述旋转参数中的第二旋转外参、所述尺度因子、以及所述平移参数；序列修正单元405，用于根据所述尺度因子修正所述相机位姿变换序列，得到修正后相机位姿变换序列；外参修正单元406，用于根据所述雷达位姿变换序列、所述修正后相机位姿变换序列以及所述第一关联关系和第二关联关系重新计算旋转参数和平移参数，得到目标旋转参数和目标平移参数。
[0115]
在一个可选的示例中，所述初始相机位姿变换序列中还包括所述目标相机的旋转
变换信息和平移变换信息对应的时间信息，所述初始雷达位姿变换序列中还包括所述目标雷达的旋转变换信息和平移变换信息对应的时间信息；对应的，所述时间同步单元402，用于分别计算所述初始相机位姿序列和所述初始雷达位姿序列的时间延迟；基于所述初始相机位姿序列和所述初始雷达位姿序列的时间延迟，对所述初始相机位姿序列和所述初始雷达位姿序列的时间信息进行调整；根据调整后的时间信息，对所述初始相机位姿变换序列和所述初始雷达位姿变换序列进行插值计算，得到相机位姿变换序列和雷达位姿变换序列，所述相机位姿变换序列和雷达位姿变换序列中相同序列位置对应的时间信息相同。
[0116]
在一个可选的示例中，所述时间同步单元402包括插值计算子单元407，所述插值计算子单元，用于根据调整后的时间信息，确定所述初始相机位姿变换序列中的相机插值点时间信息和所述初始雷达位姿变换序列中的雷达插值点时间信息；根据所述初始相机位姿变换序列中的旋转变换信息和平移变换信息，通过插值计算得到所述相机插值点时间信息对应的旋转变换信息和平移变换信息，按照所述相机插值点时间信息的顺序排列对应的旋转变换信息和平移变换信息，得到相机位姿变换序列；根据所述初始雷达位姿变换序列中的旋转变换信息和平移变换信息，通过插值计算得到所述雷达插值点时间信息对应的旋转变换信息和平移变换信息，按照所述雷达插值点时间信息的顺序排列对应的旋转变换信息和平移变换信息，得到雷达位姿变换序列。
[0117]
在一个可选的示例中，所述第一关联关系包括所述雷达位姿变换序列中第一时间信息对应的旋转变换信息与所述旋转参数的乘积，和所述旋转参数与所述相机位姿变换序列中所述第一时间信息对应的旋转变换信息的乘积相等；对应的，所述第一参数确定单元403，用于根据第一关联关系构建雷达位姿变换序列中第一时间信息对应的旋转变换信息与所述旋转参数的乘积，和所述旋转参数与所述相机位姿变换序列中所述第一时间信息对应的旋转变换信息的乘积之间的第一等式，将所述第一等式的目标侧的所有计算项移到另一侧，之后以预设残差代替所述目标侧的数值，得到旋转残差关系式；将所述旋转参数中的所述第二旋转外参作为定量，根据所述旋转残差关系式进行残差计算，得到所述旋转参数中所述目标相机的第一旋转外参。
[0118]
在一个可选的示例中，所述第二关联关系包括所述雷达位姿变换序列中第二时间信息对应的旋转变换信息与所述平移参数的乘积，和所述平移参数之间的差值，等于尺度因子、所述旋转参数以及所述相机位姿变换序列中所述第二时间信息对应的平移变换信息的乘积，与所述雷达位姿变换序列中第二时间信息对应的平移变换信息之间的差值；对应的，所述第二参数确定单元404，用于根据所述第二关联关系构建所述雷达位姿变换序列中第二时间信息对应的旋转变换信息与所述平移参数的乘积和所述平移参数之间的差值，与尺度因子、所述旋转参数以及所述相机位姿变换序列中所述第二时间信息对应的平移变换信息的乘积，和所述雷达位姿变换序列中第二时间信息对应的平移变换信息之间的差值之间的第二等式，将所述第二等式的目标侧的所有计算项移到另一侧，之后以预设残差代替所述目标侧的数值，得到平移残差关系式；根据所述平移残差关系式以及确定出的所述第一旋转外参进行残差计算，得到所述旋
转参数中的第二旋转外参、所述尺度因子、以及所述平移参数。
[0119]
在一个可选的示例中，在所述外参修正单元406根据所述雷达位姿变换序列、所述修正后相机位姿变换序列以及所述第一关联关系和第二关联关系重新计算旋转参数和平移参数，得到目标旋转参数和目标平移参数后，相机标定装置还包括参数优化单元，用于根据所述目标旋转参数、所述目标平移参数、所述雷达位姿变换序列和所述修正后相机位姿变换序列，对所述旋转残差关系式进行计算，得到旋转残差；根据所述目标旋转参数、所述目标平移参数、所述雷达位姿变换序列和所述修正后相机位姿变换序列，对所述平移残差关系进行计算，得到平移残差；根据所述旋转残差和所述平移残差，优化所述旋转参数和平移参数对应的矩阵，得到优化后的旋转参数和平移参数。
[0120]
在一个可选的示例中，所述初始相机位姿变换序列通过相机采集到的图像数据得到，所述初始雷达位姿变换序列通过雷达采集到的点云数据得到；对应的，所述外参修正单元406包括外参修正子单元408和外参误差确定单元409，所述外参修正子单元408，用于根据所述修正后相机位姿变换序列、所述雷达位姿变换序列以及所述第一关联关系，得到修正后旋转参数中的第一修正旋转外参；根据所述第一修正旋转外参、所述修正后相机位姿变换序列、所述雷达位姿变换序列以及所述第二关联关系，得到修正后旋转参数中的第二修正旋转外参、修正后尺度因子以及修正后平移参数；所述外参误差确定单元409，用于根据所述修正后旋转参数、修正后尺度因子以及修正后平移参数，在所述相机采集到的图像数据和所述雷达采集到的点云数据之间进行投影转换，基于投影转换得到的信息确定投影误差；当所述投影误差小于预设的投影误差阈值时，将所述修正后旋转参数作为目标旋转参数，将所述修正后平移参数作为目标平移参数；当所述投影误差不小于所述投影误差阈值时，对所述修正后相机位姿变换序列进行修正，得到新的修正后相机位姿序列，基于新的修正后相机位姿序列重新执行根据所述修正后相机位姿变换序列、所述雷达位姿变换序列以及所述第一关联关系，得到修正后旋转参数中的第一修正旋转外参的步骤。
[0121]
由上可知，采用本发明实施例的装置，基于位置相对不变的相机和雷达之间存在的第一关联关系和第二关联关系，在进行相机标定时，可以不使用标定板，就能达到很好的标定效果，提升了标定的准确率，有利于节约人力资源。
[0122]
相应的，本发明实施例还提供一种电子设备，如图5所示，该电子设备可以包括射频（rf，radio frequency）电路501、包括有一个或一个以上计算机可读存储介质的存储器502、输入单元503、显示单元504、传感器505、音频电路506、无线保真（wifi，wireless fidelity)模块507、包括有一个或者一个以上处理核心的处理器508、以及电源509等部件。本领域技术人员可以理解，图5中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：rf电路501可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器508处理；另外，将涉及上行的数据发送给基站。通常，rf电路501包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身
份模块（sim， subscriber identity module）卡、收发信机、耦合器、低噪声放大器（lna，low noise amplifier）、双工器等。此外，rf电路501还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统（gsm，global system of mobile communication）、通用分组无线服务（gprs ，general packet radio service）、码分多址（cdma，code division multiple access）、宽带码分多址（wcdma，wideband code division multiple access）、长期演进（lte，long term evolution)、电子邮件、短消息服务（sms，short messaging service)等。
[0123]
存储器502可用于存储软件程序以及模块，处理器508通过运行存储在存储器502的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据电子设备的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器502可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器502还可以包括存储器控制器，以提供处理器508和输入单元503对存储器502的访问。
[0124]
输入单元503可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元503可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作（比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作），并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器508，并能接收处理器508发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元503还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键（比如音量控制按键、开关按键等）、轨迹球、鼠标、操作杆等中的一种或多种。
[0125]
显示单元504可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元504可包括显示面板，可选的，可以采用液晶显示器（lcd，liquid crystal display）、有机发光二极管（oled，organic light-emitting diode）等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器508以确定触摸事件的类型，随后处理器508根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图5中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。
[0126]
电子设备还可包括至少一种传感器505，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在电子设备移动到耳边时，关闭显示面
板和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上（一般为三轴）加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用（比如横竖屏切换、相关游戏、磁力计姿态校准）、振动识别相关功能（比如计步器、敲击）等; 至于电子设备还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
[0127]
音频电路506中的扬声器、传声器可提供用户与电子设备之间的音频接口。音频电路506可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路506接收后转换为音频数据，再将音频数据输出处理器508处理后，经rf电路501以发送给比如另一电子设备，或者将音频数据输出至存储器502以便进一步处理。音频电路506还可能包括耳塞插孔，以提供外设耳机与电子设备的通信。
[0128]
wifi属于短距离无线传输技术，电子设备通过wifi模块507可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图5示出了wifi模块507，但是可以理解的是，其并不属于电子设备的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
[0129]
处理器508是电子设备的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行电子设备的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器508可包括一个或多个处理核心；优选的，处理器508可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器508中。
[0130]
电子设备还包括给各个部件供电的电源509（比如电池），优选的，电源可以通过电源管理系统与处理器508逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源509还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
[0131]
尽管未示出，电子设备还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，电子设备中的处理器508会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器502中，并由处理器508来运行存储在存储器502中的应用程序，从而实现各种功能：获取目标相机的初始相机位姿变换序列，获取目标雷达的初始雷达位姿变换序列，其中，所述目标相机和目标雷达相对位置不变，所述初始相机位姿变换序列包括所述目标相机在相机坐标系中的旋转变换信息和平移变换信息，所述初始雷达位姿变换序列包括所述目标雷达在雷达坐标系中的旋转变换信息和平移变换信息；对所述初始相机位姿变换序列和所述初始雷达位姿变换序列进行时间同步处理，得到相机位姿变换序列和雷达位姿变换序列；根据所述相机位姿变换序列和雷达位姿变换序列中的旋转变换信息，与相机坐标系转换为雷达坐标系所需的旋转参数之间满足的第一关联关系，确定所述旋转参数中所述目标相机的第一旋转外参；根据所述雷达位姿变换序列中的旋转变换信息和平移变换信息、目标相机的尺度因
子、所述相机位姿变换序列中的平移变换信息、相机坐标系转换为雷达坐标系所需的旋转参数和平移参数之间满足的第二关联关系，以及确定出的所述第一旋转外参，确定所述旋转参数中的第二旋转外参、所述尺度因子、以及所述平移参数；根据所述尺度因子修正所述相机位姿变换序列，得到修正后相机位姿变换序列；根据所述雷达位姿变换序列、所述修正后相机位姿变换序列以及所述第一关联关系和第二关联关系重新计算旋转参数和平移参数，得到目标旋转参数和目标平移参数。
[0132]
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
[0133]
为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种相机标定方法中的步骤。例如，该指令可以执行如下步骤：获取目标相机的初始相机位姿变换序列，获取目标雷达的初始雷达位姿变换序列，其中，所述目标相机和目标雷达相对位置不变，所述初始相机位姿变换序列包括所述目标相机在相机坐标系中的旋转变换信息和平移变换信息，所述初始雷达位姿变换序列包括所述目标雷达在雷达坐标系中的旋转变换信息和平移变换信息；对所述初始相机位姿变换序列和所述初始雷达位姿变换序列进行时间同步处理，得到相机位姿变换序列和雷达位姿变换序列；根据所述相机位姿变换序列和雷达位姿变换序列中的旋转变换信息，与相机坐标系转换为雷达坐标系所需的旋转参数之间满足的第一关联关系，确定所述旋转参数中所述目标相机的第一旋转外参；根据所述雷达位姿变换序列中的旋转变换信息和平移变换信息、目标相机的尺度因子、所述相机位姿变换序列中的平移变换信息、相机坐标系转换为雷达坐标系所需的旋转参数和平移参数之间满足的第二关联关系，以及确定出的所述第一旋转外参，确定所述旋转参数中的第二旋转外参、所述尺度因子、以及所述平移参数；根据所述尺度因子修正所述相机位姿变换序列，得到修正后相机位姿变换序列；根据所述雷达位姿变换序列、所述修正后相机位姿变换序列以及所述第一关联关系和第二关联关系重新计算旋转参数和平移参数，得到目标旋转参数和目标平移参数。
[0134]
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
[0135]
其中，该存储介质可以包括：只读存储器（rom，read only memory）、随机存取记忆体（ram，random access memory）、磁盘或光盘等。
[0136]
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种相机标定方法中的步骤，因此，可以实现本发明实施例所提供的任一种相机标定方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
[0137]
根据本申请的一个方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中的各种可选实现方式中提供的方法。
[0138]
本发明实施例还提供一种智能车辆，如图6所示，其示出了本发明实施例所涉及的
智能车辆的结构示意图，具体来讲：该智能车辆可以包括车辆主体601、感知设备602、执行设备603和车载处理设备604，本领域技术人员可以理解，图6中示出的电子设备结构并不构成对智能车辆的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：车辆主体601是智能车辆的车身结构，可以包括车架、车门、车身和内部的座椅等硬件结构。
[0139]
感知设备602是智能车辆的感知结构，用于感知所述智能车辆的内部状态信息，以及所述外部驾驶环境中的环境信息。具体可以包括车轮速计、定位计、胎压计、目标雷达、目标相机等设备。
[0140]
执行设备603是智能车辆用于执行行驶功能的结构，执行设备可以包括发动机、动力电池、变速箱、传动结构等动力设备，还可以包括显示屏、音响等展示设备，还可以包括方向盘等转向设备，以及轮胎等设备。
[0141]
车载处理设备604是所述智能车辆的“大脑”，集成有用于控制车辆速度、方向、加速度转向等的车辆运行参数的控制装置、用于监控所述无人驾驶车辆行驶状态的车辆行驶安全监控装置、用于分析感知设备感知到的信息的信息获取装置、用于规划车辆行驶路线的规划装置等。
[0142]
执行设备、感知设备和车载处理设备都装载在车辆主体上，车载处理设备与所述执行设备和所述感知设备通过总线相连，以使所述车载处理设备可以执行本申请实施例所提供的任一种相机标定方法中的步骤，因此，可以实现本申请实施例所提供的任一种相机标定方法所能实现的有益效果，例如，该车载处理设备可以执行如下步骤：获取目标相机的初始相机位姿变换序列，获取目标雷达的初始雷达位姿变换序列，其中，所述目标相机和目标雷达相对位置不变，所述初始相机位姿变换序列包括所述目标相机在相机坐标系中的旋转变换信息和平移变换信息，所述初始雷达位姿变换序列包括所述目标雷达在雷达坐标系中的旋转变换信息和平移变换信息；对所述初始相机位姿变换序列和所述初始雷达位姿变换序列进行时间同步处理，得到相机位姿变换序列和雷达位姿变换序列；根据所述相机位姿变换序列和雷达位姿变换序列中的旋转变换信息，与相机坐标系转换为雷达坐标系所需的旋转参数之间满足的第一关联关系，确定所述旋转参数中所述目标相机的第一旋转外参；根据所述雷达位姿变换序列中的旋转变换信息和平移变换信息、目标相机的尺度因子、所述相机位姿变换序列中的平移变换信息、相机坐标系转换为雷达坐标系所需的旋转参数和平移参数之间满足的第二关联关系，以及确定出的所述第一旋转外参，确定所述旋转参数中的第二旋转外参、所述尺度因子、以及所述平移参数；根据所述尺度因子修正所述相机位姿变换序列，得到修正后相机位姿变换序列；根据所述雷达位姿变换序列、所述修正后相机位姿变换序列以及所述第一关联关系和第二关联关系重新计算旋转参数和平移参数，得到目标旋转参数和目标平移参数。
[0143]
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
[0144]
以上对本发明实施例所提供的一种相机标定方法、装置、电子设备和存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施
例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。