基于图像配准的激光雷达与相机标定参数校正方法及装置与流程
本申请实施例涉及智能驾驶环境感知领域与机器人环境感知领域，特别涉及一种基于图像配准的激光雷达与相机标定参数校正方法及装置。
背景技术：
由于单一种类传感器所能感知的环境信息有限，当前在智能驾驶环境感知与机器人环境感知领域，通常应用多传感器融合的方法来获取详细的环境信息，而获取不同传感器之间的精确标定参数是实现多传感器融合的前提。对于相机和激光雷达的标定，通常采用相机内参和激光雷达到相机坐标系外参分别标定的方式。当前相机内参的标定方法多基于张正友单平面棋盘格标定法，而激光雷达到相机坐标系外参的标定方法主要分为两类。
第一类是基于特征点匹配的标定方法。比如，通过手动选择相机坐标系和激光雷达坐标系下标定板的对应角点，然后利用约束方程求解外参矩阵。由于激光雷达点云的稀疏性，往往无法精确地扫描到标定板的角点，所以，需要人工调整标定板使激光束扫描到角点位置，使得标定的精度和效率很低。为降低激光雷达坐标系下特征点提取难度并提高提取精度，研究人员利用激光雷达坐标系下标定板的边缘点来拟合边线，然后计算各边线的交点作为特征点同相机坐标系下的角点匹配。为了获取多组特征点，这种方法通常需要变换标定板位置或使用多个标定板；并且需要手动选择边缘点，标定时有一定的工作量。
另一类是基于坐标转换的标定方法。比如，通过分别计算标定板在相机坐标系和激光雷达坐标系下的多角度位置，通过坐标转换的方式求解外部参数。但是这种方法需要反复移动标定板，获取不同角度下的标定板位置，以得到较为准确的标定参数，比较繁琐。
在智能驾驶车辆运行过程中，不可避免地会产生振动和冲击，导致相机和激光雷达的相对姿态发生变化，则原始的激光雷达到相机的外参矩阵不再适用。若重新标定外参矩阵，则需要布置标定板、选取特征点、多角度的变换标定板的位置，这个过程十分的繁琐。
技术实现要素：
本申请实施例提供了一种基于图像配准的激光雷达与相机标定参数校正方法及装置，用于解决相机和激光雷达的相对姿态发生变化时，需要重新标定外参矩阵，且重新标定的过程繁琐的问题。所述技术方案如下：
一方面，提供了一种基于图像配准的激光雷达与相机标定参数校正方法，所述方法包括：
在完成相机和激光雷达之间的标定参数的标定后，根据预定场景获取基准相机图像和基准点云投影图，所述基准点云投影图是根据所述基准相机图像和所述标定参数得到的；
检测所述相机和所述激光雷达之间的相对姿态是否发生了变化；
若所述相对姿态发生了变化，则根据所述基准相机图像和所述基准点云投影图配准得到的单应性矩阵校正所述标定参数。
在一种可能的实现方式中，所述根据预定场景获取基准相机图像和基准点云投影图，包括：
通过所述相机对所述预定场景进行拍摄，得到所述基准相机图像；
通过所述激光雷达针对所述预定场景生成基准点云数据；
根据所述基准相机图像、所述基准点云数据和所述标定参数生成所述基准点云投影图。
在一种可能的实现方式中，当所述标定参数包括内参矩阵和外参矩阵时，所述根据所述基准相机图像、所述基准点云数据和所述标定参数生成所述基准点云投影图，包括：
将所述基准相机图像、所述基准点云数据和所述标定参数输入第一公式和第二公式，得到所述基准点云投影图；
所述第一公式为
在一种可能的实现方式中，所述方法还包括：
根据每个数据点的深度对所述数据点对应的像素点的像素值进行填充，利用颜色空间对填充的所述像素值进行映射，得到所述基准点云投影图；或者，
将每个数据点在相机坐标系下的坐标输入第三公式，根据得到的计算结果对所述数据点对应的像素点的像素值进行填充，利用颜色空间对填充的所述像素值进行映射，得到所述基准点云投影图，所述第三公式为
获取每个数据点的反射率值，根据每个数据点的反射率值对所述数据点对应的像素点的像素值进行填充，利用颜色空间对填充的所述像素值进行映射，得到所述基准点云投影图。
在一种可能的实现方式中，所述预定场景中包含预定数量的对象。
在一种可能的实现方式中，所述根据所述基准相机图像和所述基准点云投影图配准得到的单应性矩阵校正所述标定参数，包括：
通过所述相机对所述预定场景进行拍摄，得到待校正图像；
根据所述基准相机图像、所述待校正图像和所述基准点云投影图生成变换后的点云投影图；
根据待校正点云投影图和所述变换后的点云投影图校正所述标定参数。
在一种可能的实现方式中，所述方法还包括：
对所述相机的位置进行调整，调整后的所述相机拍摄所述预定场景得到的所述待校正图像与所述基准相机图像的相似度超过预定阈值。
在一种可能的实现方式中，所述根据所述基准相机图像、所述待校正图像和所述基准点云投影图生成变换后的点云投影图，包括：
对所述基准相机图像和所述待校正图像进行配准，得到所述基准相机图像到所述待校正图像的第一单应性矩阵；
根据所述第一单应性矩阵对所述基准点云投影图进行透视变换，得到所述变换后的点云投影图。
在一种可能的实现方式中，所述根据待校正点云投影图和所述变换后的点云投影图校正所述标定参数，包括：
对所述待校正点云投影图和所述变换后的点云投影图进行配准，得到所述待校正点云投影图到所述变换后的点云投影图的第二单应性矩阵；
将所述第二单应性矩阵、所述内参矩阵和所述外参矩阵相乘，得到校正后的标定参数。
一方面，提供了一种基于图像配准的激光雷达与相机标定参数校正装置，所述装置包括：
获取模块，用于在完成相机和激光雷达之间的标定参数的标定后，根据预定场景获取基准相机图像和基准点云投影图，所述基准点云投影图是根据所述基准相机图像计算得到的；
检测模块，用于检测所述相机和所述激光雷达之间的相对姿态是否变化；
校正模块，用于若所述相对姿态发生变化，则根据所述基准相机图像和所述基准点云投影图配准得到的单应性矩阵校正所述标定参数。
本申请实施例提供的技术方案的有益效果至少包括：
在完成相机和激光雷达之间的标定参数的标定后，可以先根据预定场景获取基准相机图像和基准点云投影图，该基准点云投影图是根据基准相机图像和标定参数得到的；再检测相机和激光雷达之间的相对姿态是否发生了变化；若相对姿态发生了变化，则根据基准相机图像和基准点云投影图配准得到的单应性矩阵校正标定参数。即，可以结合图像配准和原始的标定参数来得到单应性矩阵，再根据该单应性矩阵来对校正标定参数，从而可以充分利用原始的标定参数，而无需重新标定，也就无需布置标定试验环境，能够自动寻找特征点来完成标定参数的校正，简化了标定参数的校正流程，提高了校正效率。另外，通过对基准相机图像和基准点云投影图的配准相结合，使得校正后的标定参数误差小，从而提高了校正的精度。
另外，预定场景中包含预定数量的对象，这样，可以保证在图像配准时，可以使用特征描述字检测到一定数量的关键点，从而提高图像配准的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的基于图像配准的激光雷达与相机标定参数校正方法的方法流程图；
图2是本申请一个实施例提供的标定参数校正的流程示意图；
图3是本申请一个实施例提供的标定参数校正的图像示意图；
图4是本申请一个实施例提供的配准的关键点的匹配结果示意图；
图5是本申请一个实施例提供的相机图像和点云投影图的叠加结果的示意图；
图6是本申请一个实施例提供的基于图像配准的激光雷达与相机标定参数校正装置的结构框图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
请参考图1，其示出了本申请一个实施例提供的基于图像配准的激光雷达与相机标定参数校正方法的方法流程图，该基于图像配准的激光雷达与相机标定参数校正方法可以应用于智能驾驶系统与机器人系统中。该基于图像配准的激光雷达与相机标定参数校正方法，可以包括：
步骤101，在完成相机和激光雷达之间的标定参数的标定后，根据预定场景获取基准相机图像和基准点云投影图，该基准点云投影图是根据基准相机图像和标定参数得到的。
本实施例中，可以采用任意标定方法对相机和激光雷达之间的标定参数进行标定，得到原始的标定参数，本实施例不对标定方法作限定。其中，为了保证检测到较多的特征点，激光雷达可以为32线以上雷达。
在完成标定后，由于车辆在运行过程中会产生振动和冲击，导致相机和激光雷达之间的相对姿态发生变化，使得原始的标定参数不再适用，所以，后续需要对标定参数进行校正。
本实施例中，在得到原始的标定参数之后，需要根据预定场景获取基准图像，后续可以根据该基准图像对原始的标定参数进行校正。其中，预定场景可以是一个固定地点的场景，比如停车场、路途中的一个固定地点等等，或者，预定场景也可以是布置的标定板场景，本实施例不作限定。需要说明的是，预定场景中需要包含预定数量的对象，这样，可以保证在图像配准时，可以使用特征描述字检测到一定数量的关键点，从而提高图像配准的准确性。
本实施例中的基准图像包括基准相机图像和基准点云投影图，且基准点云投影图是根据基准相机图像和标定参数计算出来的，下面对计算过程进行介绍。
在一种可能的计算方式中，根据预定场景获取基准相机图像和基准点云投影图，可以包括：通过相机对预定场景进行拍摄，得到基准相机图像；通过激光雷达针对预定场景生成基准点云数据；根据基准相机图像、基准点云数据和标定参数生成点云投影图。
在获取到基准相机图像和基准点云数据，且标定参数包括内参矩阵和外参矩阵时，根据基准相机图像、基准点云数据和标定参数生成基准点云投影图，可以包括：将基准相机图像、基准点云数据和标定参数输入第一公式和第二公式，得到基准点云投影图；
第一公式为
通过第一公式和第二公式可以将基准点云数据投影到相机平面上，得到基准点云投影图。本实施例中提供了三种转换方式，下面分别对这三种转换方式进行介绍。
第一种转换方式，根据每个数据点的深度对数据点对应的像素点的像素值进行填充，利用颜色空间对填充的像素值进行映射，得到点云投影图。
第二种转换方式，将每个数据点在相机坐标系下的坐标输入第三公式，根据得到的计算结果对数据点对应的像素点的像素值进行填充，利用颜色空间对填充的像素值进行映射，得到基准点云投影图，第三公式为
第三种转换方式，获取每个数据点的反射率值，根据每个数据点的反射率值对数据点对应的像素点的像素值进行填充，利用颜色空间对填充的像素值进行映射，得到点云投影图。其中，每个数据点的反射率值是可以获取到的，本实施例不对获取方式作限定。
步骤102，检测相机和激光雷达之间的相对姿态是否发生了变化。
当检测或认为观察到激光雷达投影到图像上的数据点出现明显的偏移时，确定需要校正原始的标定参数。
步骤103，若相对姿态发生了变化，则根据基准相机图像和基准点云投影图配准得到的单应性矩阵校正标定参数。
若确定相机和激光雷达之间的相对姿态发生了变化，则需要将相机和激光雷达置于预定场景下，在该预定场景下校正原始的标定参数，下面对校正流程进行介绍。
具体的，根据基准相机图像和基准点云投影图配准得到的单应性矩阵校正标定参数，可以包括以下几个子步骤。
子步骤1031，通过相机对预定场景进行拍摄，得到待校正图像。
其中，在得到待校正图像之前，还可以调整相机的位置，以使相机拍摄的待校正图像与基准相机图像尽量保持一致。即，该方法还包括：对相机的位置进行调整，调整后的相机拍摄预定场景得到的待校正图像与基准相机图像的相似度超过预定阈值。
需要说明的是，当车辆再次置于预定场景下时，该预定场景下的对象与初始时预定场景中的对象不需要完全相同，只要具有部分完全相同的对象即可。
子步骤1032，根据基准相机图像、待校正图像和基准点云投影图生成变换后的点云投影图。
其中，根据基准相机图像、待校正图像和基准点云投影图生成变换后的点云投影图，可以包括：对基准相机图像和待校正图像进行配准，得到基准相机图像到待校正图像的第一单应性矩阵h1；根据第一单应性矩阵h1对基准点云投影图进行透视变换，得到变换后的点云投影图。
子步骤1033，根据待校正点云投影图和变换后的点云投影图校正标定参数。
其中，根据待校正点云投影图和变换后的点云投影图校正标定参数，可以包括：对待校正点云投影图和变换后的点云投影图进行配准，得到待校正点云投影图到变换后的点云投影图的第二单应性矩阵h2；将第二单应性矩阵、内参矩阵和外参矩阵相乘，得到校正后的标定参数。
以第二单应性矩阵为h2，内参矩阵为
请参考图2，图2中示出了标定参数校正时各张图像之间的转换关系，即先计算基准相机图像到待校正相机图像的第一单应性矩阵，再根据第一单应性矩阵对基准点云投影图进行透视变换，得到变换后的点云投影图，最后计算待校正点云投影图到变换后的点云投影图的第二单应性矩阵，即可得到校正后的标定参数。
图3以一张包含车辆的实景图为例，对图2中每个步骤的中间图像进行展示。
图4是将待校正点云投影图与变换后的点云投影图进行配准时，关键点的匹配结果。
图5中的下侧示图示出了基准相机图像和点云投影图的叠加效果，中间示图示出了待校正图像和点云投影图的叠加效果，上侧示图示出了校正后的相机图像和点云投影图的叠加效果。
综上所述，本申请实施例提供的基于图像配准的激光雷达与相机标定参数校正方法，在完成相机和激光雷达之间的标定参数的标定后，可以先根据预定场景获取基准相机图像和基准点云投影图，该基准点云投影图是根据基准相机图像和标定参数得到的；再检测相机和激光雷达之间的相对姿态是否发生了变化；若相对姿态发生了变化，则根据基准相机图像和基准点云投影图配准得到的单应性矩阵校正标定参数。即，可以结合图像配准和原始的标定参数来得到单应性矩阵，再根据该单应性矩阵来对校正标定参数，从而可以充分利用原始的标定参数，而无需重新标定，也就无需布置标定试验环境，能够自动寻找特征点来完成标定参数的校正，简化了标定参数的校正流程，提高了校正效率。另外，通过对相机图像和点云投影图的配准相结合，使得校正后的标定参数误差小，从而提高了校正的精度。
另外，预定场景中包含预定数量的对象，这样，可以保证在图像配准时，可以使用特征描述字检测到一定数量的关键点，从而提高图像配准的准确性。
请参考图6，其示出了本申请一个实施例提供的基于图像配准的激光雷达与相机标定参数校正装置的结构框图，该基于图像配准的激光雷达与相机标定参数校正装置可以应用于智能驾驶系统与机器人系统中。该基于图像配准的激光雷达与相机标定参数校正装置，可以包括：
获取模块610，用于在完成相机和激光雷达之间的标定参数的标定后，根据预定场景获取基准相机图像和基准点云投影图，基准点云投影图是根据基准相机图像计算得到的；
检测模块620，用于检测相机和激光雷达之间的相对姿态是否变化；
校正模块630，用于若相对姿态发生变化，则根据基准相机图像和基准点云投影图配准得到的单应性矩阵校正标定参数。
在一个可选的实施例中，该获取模块610，还用于：
通过相机对预定场景进行拍摄，得到基准相机图像；
通过激光雷达针对预定场景生成基准点云数据；
根据基准相机图像、基准点云数据和标定参数生成基准点云投影图。
在一个可选的实施例中，当标定参数包括内参矩阵和外参矩阵时，该获取模块610，还用于：
将基准相机图像、基准点云数据和标定参数输入第一公式和第二公式，得到基准点云投影图；
第一公式为
在一个可选的实施例中，该装置还包括：
第一填充模块，用于根据每个数据点的深度对数据点对应的像素点的像素值进行填充，利用颜色空间对填充的像素值进行映射，得到基准点云投影图；或者，
第二填充模块，用于将每个数据点在相机坐标系下的坐标输入第三公式，根据得到的计算结果对数据点对应的像素点的像素值进行填充，利用颜色空间对填充的像素值进行映射，得到基准点云投影图，第三公式为
第三填充模块，用于获取每个数据点的反射率值，根据每个数据点的反射率值对数据点对应的像素点的像素值进行填充，利用颜色空间对填充的像素值进行映射，得到基准点云投影图。
在一个可选的实施例中，预定场景中包含预定数量的对象。
在一个可选的实施例中，该校正模块630，还用于：
通过相机对预定场景进行拍摄，得到待校正图像；
根据基准相机图像、待校正图像和基准点云投影图生成变换后的点云投影图；
根据待校正点云投影图和变换后的点云投影图校正标定参数。
在一个可选的实施例中，该装置还包括：
调整模块，用于对相机的位置进行调整，调整后的相机拍摄预定场景得到的待校正图像与基准相机图像的相似度超过预定阈值。
在一个可选的实施例中，该校正模块630，还用于：
对基准相机图像和待校正图像进行配准，得到基准相机图像到待校正图像的第一单应性矩阵；
根据第一单应性矩阵对基准点云投影图进行透视变换，得到变换后的点云投影图。
在一个可选的实施例中，该校正模块630，还用于：
对待校正点云投影图和变换后的点云投影图进行配准，得到待校正点云投影图到变换后的点云投影图的第二单应性矩阵；
将第二单应性矩阵、内参矩阵和外参矩阵相乘，得到校正后的标定参数。
综上所述，本申请实施例提供的基于图像配准的激光雷达与相机标定参数校正装置，在完成相机和激光雷达之间的标定参数的标定后，可以先根据预定场景获取基准相机图像和基准点云投影图，该基准点云投影图是根据基准相机图像和标定参数得到的；再检测相机和激光雷达之间的相对姿态是否发生了变化；若相对姿态发生了变化，则根据基准相机图像和基准点云投影图配准得到的单应性矩阵校正标定参数。即，可以结合图像配准和原始的标定参数来得到单应性矩阵，再根据该单应性矩阵来对校正标定参数，从而可以充分利用原始的标定参数，而无需重新标定，也就无需布置标定试验环境，能够自动寻找特征点来完成标定参数的校正，简化了标定参数的校正流程，提高了校正效率。另外，通过对相机图像和点云投影图的配准相结合，使得校正后的标定参数误差小，从而提高了校正的精度。
另外，预定场景中包含预定数量的对象，这样，可以保证在图像配准时，可以使用特征描述字检测到一定数量的关键点，从而提高图像配准的准确性。
本申请一个实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上所述的基于图像配准的激光雷达与相机标定参数校正方法。
本申请一个实施例提供了一种智能驾驶系统或机器人系统，所述智能驾驶系统或所述机器人系统包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上所述的基于图像配准的激光雷达与相机标定参数校正方法。
需要说明的是：上述实施例提供的基于图像配准的激光雷达与相机标定参数校正装置在进行标定参数校正时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将基于图像配准的激光雷达与相机标定参数校正装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的基于图像配准的激光雷达与相机标定参数校正装置与基于图像配准的激光雷达与相机标定参数校正方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述并不用以限制本申请实施例，凡在本申请实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请实施例的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！