激光点云与2D影像的配准方法、装置、设备和介质与流程

本发明实施例涉及智能交通技术领域，尤其涉及一种激光点云与2d影像的配准方法、装置、设备和介质。

背景技术：

图像配准(imageregistration)技术是将不同时间、不同传感器(成像设备)或不同条件下(照度、摄像位置和角度等)获取的两幅或者多幅图像进行匹配、叠加的过程，目前被广泛应用于遥感数据分析、计算机视觉和图像处理等领域。

在高精地图的制作过程中，利用激光点云采集设备获取目标的空间位置信息，利用高清彩色摄像机获取目标的色彩信息。激光点云采集设备和高清彩色相机各有优点，即：激光点云数据拥有目标的3d位置信息，但是缺乏目标的色彩信息；高清彩色影像拥有目标的色彩信息，但没有记录目标的空间位置信息。因此，要获取同时拥有空间位置信息和色彩信息的目标，制作3d彩色高精地图，需要将高清彩色影像与点云数据进行配准与融合，即：采用高清彩色摄像机获取的目标的色彩对点云数据的同一个目标进行着色，得到彩色点云。

现有技术中，激光点云和高精影像之间的配准，主要采用下述两种方案实现：

方案1：直接利用标定的激光点云数据与高精影像的投影矩阵(即投影关系)进行配准与融合处理。

该方案中由于激光点云采集设备和相机之间的标定精度有限以及数据采集过程中激光点云采集设备和相机的抖动等因素使得标定结果不准，从而配准过程会出现较大误差，甚至出现同一目标物体匹配错误，导致融合结果不佳。

方案2：首先利用上述投影矩阵对激光点云图像和高精影像进行初步配准，然后利用图像配准方法进行精细配准，进而进行融合处理，其中可用的图像配准方法包括：基于模板匹配的方法、基于灰度的图像配准方法、基于变换域的方法、基于模型的方法和基于特征的图像配准(例如surf算法和sift算法等)。

由于激光点云和高精影像分别包括不同属性的信息，上述图像配准方法匹配出的同名点(即不同数据源中的同一目标物点)之间仍存在匹配误差，甚至无法找到同名点，导致激光点云和高精影像的配准精度并未明显提升。

技术实现要素：

本发明实施例提供一种激光点云与2d影像的配准方法、装置、设备和介质，以实现激光点云和2d影像之间的精确配准，保证两者的融合精度。

第一方面，本发明实施例提供了一种激光点云与2d影像的配准方法，该方法包括：

分别在激光点云的2d语义图像和2d影像的语义图像上，对各条车道线进行区域分割，确定至少一组车道线线对，其中，所述至少一组车道线线对中每一车道线线对包括一条属于所述激光点云的2d语义图像的车道线和一条属于所述2d影像的语义图像的车道线；

根据每组车道线线对中每条车道线与预设图形在对应语义图像上的交点，确定所述激光点云和所述2d影像上的同名点对；

利用所述同名点对确定所述激光点云和所述2d影像的配准修正矩阵；

利用所述激光点云和所述2d影像的初始投影关系，以及所述配准修正矩阵，对所述激光点云和所述2d影像进行配准。

第二方面，本发明实施例还提供了一种激光点云与2d影像的配准装置，该装置包括：

车道线线对确定模块，用于分别在激光点云的2d语义图像和2d影像的语义图像上，对各条车道线进行区域分割，确定至少一组车道线线对，其中，所述至少一组车道线线对中每一车道线线对包括一条属于所述激光点云的2d语义图像的车道线和一条属于所述2d影像的语义图像的车道线；

同名点对确定模块，用于根据每组车道线线对中每条车道线与预设图形在对应语义图像上的交点，确定所述激光点云和所述2d影像上的同名点对；

配准修正矩阵确定模块，用于利用所述同名点对确定所述激光点云和所述2d影像的配准修正矩阵；

配准模块，用于利用所述激光点云和所述2d影像的初始投影关系，以及所述配准修正矩阵，对所述激光点云和所述2d影像进行配准。

第三方面，本发明实施例还提供了一种设备，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的激光点云与2d影像的配准方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的激光点云与2d影像的配准方法。

本发明实施例通过首先在激光点云的2d语义图像和2d影像的语义图像上分别进行车道线分割，确定至少一组车道线线对，然后根据每组车道线线对中每条车道线与预设图形在对应语义图像上的交点，确定激光点云和2d影像上的同名点对，利用同名点对计算激光点云和2d影像的配准修正矩阵，最后利用该配准修正矩阵对激光点云和2d影像的初始投影关系进行修正，解决了现有技术中激光点云和高精影像的配准精度较低的问题，实现了激光点云和2d影像之间的精确配准，保证了两者的融合精度。

附图说明

图1是本发明实施例一提供的激光点云与2d影像的配准方法的流程图；

图2a是本发明实施例一提供的激光点云的2d语义图像和2d影像的语义图像的一种示意图；

图2b是本发明实施例一提供的激光点云的2d语义图像和2d影像的语义图像上车道线区域分割结果和同名点对确定结果的一种示意图；

图3是本发明实施例二提供的激光点云与2d影像的配准方法的流程图；

图4是本发明实施例三提供的激光点云与2d影像的配准方法的流程图；

图5是本发明实施例四提供的激光点云与2d影像的配准装置的结构示意图；

图6是本发明实施例五提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一提供的激光点云与2d影像的配准方法的流程图，本实施例可适用于在得到兼具色彩信息和位置信息的融合数据的过程中，对激光点云数据与2d影像进行配准的情况，该方法可以由激光点云与2d影像的配准装置来执行，该装置可以采用软件和/或硬件的方式实现，并可集成在任意的计算设备，包括但不限于服务器、车载计算设备等。

在执行激光点云和2d影像的配准过程中，可以数据流或者图像流的形式持续接收激光点云数据和2d影像，本实施例中主要以当前接收的在相同采集视角下对同一行车环境进行数据采集得到的激光点云数据和2d影像为例，对激光点云和2d影像的配准过程进行详细说明。实施例中所提到的每张语义图像是指在当前配准过程中参与配准的激光点云的语义图像和2d影像的语义图像。

如图1所示，本实施例提供的激光点云与2d影像的配准方法可以包括：

s110、分别在激光点云的2d语义图像和2d影像的语义图像上，对各条车道线进行区域分割，确定至少一组车道线线对，其中，至少一组车道线线对中每一车道线线对包括一条属于激光点云的2d语义图像的车道线和一条属于2d影像的语义图像的车道线。

本实施例中，语义图像是指对原始图像进行像素分类处理后得到的图像。具体的，激光点云的2d语义图像是基于激光点云的强度信息对应的彩色图像，经过像素分类处理以及空间投影变换得到；2d影像(可以由相机拍摄得到)的语义图像是通过对2d影像进行像素分类处理后得到。像素分类具体可以通过现有技术中任意可用的相关方法实现，例如，可以利用预先构建的深度神经卷积网络对输入图像的像素进行分类。待配准的激光点云与2d影像需要是在相同的采集视角下对同一行车环境进行数据采集得到。图2a作为示例，分别示出了在相同采集视角下对同一行车环境进行数据采集后，进行像素分类处理，得到的激光点云的2d语义图像(左图)和2d影像的语义图像(右图)。

通过像素分类处理，可以区分出激光点云图像与2d影像上的不同对象，根据对象标签，便可以确定各语义图像上的车道线，即分别在激光点云的2d语义图像和2d影像的语义图像上，对各条车道线进行区域分割之前，本实施例方法还可以包括：根据激光点云的2d语义图像和2d影像的语义图像上的对象标签，确定每张语义图像上的车道线。然后，采用相同的车道线区域分割方式，根据激光点云的2d语义图像和2d影像的语义图像上每条车道线的位置，以及每张语义图像上各车道线的分布情况，对每张语义图像上车道线所占的区域进行分割。进而，根据语义图像之间车道线占用区域的对应关系，对两张语义图像上的车道线进行匹配，得到至少一组车道线线对。在对两张语义图像上的车道线进行匹配的过程中，如果特征匹配失败，则放弃将这两条车道线确定为车道线线对。

示例性的，可以根据激光点云与2d影像的初步配准结果，确定同一物点分别在激光点云的2d语义图像和2d影像的语义图像上的位置，然后在每张语义图像上，根据该同一物点的位置(该物点相当于参考点或基准点)，以及预设射线夹角，对车道线所占的区域进行分割，其中，预设射线夹角的具体取值可以与相邻车道线之间的拟合夹角有关，本实施例不作具体限定。图2b作为示例，示出了激光点云的2d语义图像(左图)和2d影像的语义图像(右图)上车道线的区域分割结果的一种示意图。如图2b所示，左图中射线l1和射线l2组成的子区域是道路上最左侧车道线占用的区域，与右图中射线l1′和射线l2′组成的子区域相对应，两个子区域内的车道线组成一组车道线线对；同理，射线l2与射线l3组成的子区域是道路上左侧第2条车道线占用的区域，与右图中射线l2′和射线l3′组成的子区域相对应，两个子区域内的车道线组成另一组车道线线对。车道线线对的确定，即激光点云与2d影像上对应车道线之间的匹配。

s120、根据每组车道线线对中每条车道线与预设图形在对应语义图像上的交点，确定激光点云和2d影像上的同名点对。

其中，预设图形可以采用任意的几何形状，例如矩形或者圆形等。在预设图形的绘制过程中，可以选择同一物点在激光点云的2d语义图像和2d影像的语义图像上的位置分别作为基准点，按照相同的图形绘制要求，基于确定的基准点分别在每张语义图像上绘制尺寸相同的预设图形，例如，在两张语义图像上，属于预设图形轮廓上相对应的边缘点与对应基准点的距离保持相同，具体的例如预设图形的四个顶点在激光点云的语义图像上和基准点的距离，与该预设图形的四个顶点在2d影像的语义图像上和基准点的距离分别对应相等。

示例性的，如图2b所示，分别在激光点云的2d语义图像(左图)和2d影像的语义图像(右图)上基于基准点o与o′，绘制半径为r的圆，根据每张语义图像上的圆与车道线的交点，结合车道线所属的车道线线对，确定同名点对，如图2b中，左图中的点a1与右图中的点a1′，便属于车道线上的同名点对。同名点对即指同一物点分别在激光点云的2d语义图像与2d影像的语义图像上的位置点。在确定每组同名点对的过程中，在确保预设图形可以和车道线相交的情况下，半径r可以根据需求进行适应性设置，例如当存在车道线被遮挡的情况时，可以避开车道线的遮挡部分，选择合适的半径r。

在激光点云与2d影像的配准过程，需要确定大量的同名点对以确保配准修正的准确性，每一组同名点对的确定过程均可基于每组车道线线对中每条车道线与预设图形在对应语义图像上的交点进行确定。确定不同的同名点对所用的预设图形的尺寸不同，在每张语义图像上绘制不同预设图形所选用的基准点可以相同也可以不相同，但在确定每组同名点对的过程中，需要保持基准点在两张语义图像上的对应关系(即确定每组同名点对所用的基准点在两张语义图像上属于同一物点)。图2b作为示例，示出了一组同名点对的确定示意图，但不应理解为对本实施例的具体限定，例如可以基于基准点o与o′，通过在两张语义图像上绘制一系列半径不同的圆，确定出多组同名点对。

本实施例所采用的确定同名点对的方式，对于交通行车环境中，即使车道线被其他车辆或者障碍物遮挡，或者由于数据采集视角的原因导致车道线数据没有采集完整，或者激光点云中存在噪声等干扰情况，均可通过合理确定预设图形的形状、尺寸以及位置，确保能够与语义图像中存在的车道线相交，准确地确定出激光点云与2d影像上的同名点对，并且即使由于车道线被遮挡或者车道线信息采集不完整导致当前配准过程中参与配准的两张语义图像无法确定出同名点对，也可以基于后续获取的激光点云和2d影像再次确定同名点对。并且本实施方案不同于现有技术中通过线端点配对的方式确定同名点对，无论是实线类车道线或者虚线类车道线，均可准确确定出同名点对。因此，本实施例技术方案在确定同名点对方面具有很好的鲁棒性；同名点对的匹配正确性，确保了后续配准修正矩阵的计算准确性，进而保证了激光点云与2d影像之间的配准与融合可以达到较高精度。

s130、利用同名点对确定激光点云和2d影像的配准修正矩阵。

当确定出一系列同名点对后，根据激光点云中记录的同名点在世界坐标系中的位置坐标(xi，yi，zi)，以及2d影像上同名点的像素坐标(ui，vi)，利用不同坐标系(包括世界坐标系、数据采集设备坐标系、图像坐标系和像素坐标系)之间的投影变换，便可计算得到配准修正矩阵l。其中i表示同名点对的数量，可取任意整数。

s140、利用激光点云和2d影像的初始投影关系，以及配准修正矩阵，对激光点云和2d影像进行配准。

激光点云与2d影像的初始投影关系是指通过激光点云采集设备与2d影像采集设备之间的标定而确定的初始投影矩阵p，该初始投影矩阵p涉及世界坐标系、数据采集设备坐标系、图像坐标系和像素坐标系之间的投影变换关系。在配准修正过程中，可以将初始投影矩阵p与配准修正矩阵l之间的矩阵乘积作为激光点云与2d影像之间修正后的配准关系(即实现对初始投影矩阵p的修正)，实现两者的精准配准与融合，例如基于该修正后的配准关系对激光点云进行色彩着色，得到兼具空间位置信息与色彩信息的彩色点云。此外，在配准修正过程中，还可以引入迭代因子s，对初始投影矩阵p与配准修正矩阵l之间的矩阵乘积进行误差修正，进一步修正配准关系，即同时将初始投影矩阵p、配准修正矩阵l和迭代因子s三者之间的乘积作为激光点云与2d影像之间修正后的配准关系。迭代因子的具体取值本实施不作限定，可以根据实验或者统计确定合适取值。

本实施例的技术方案通过首先在激光点云的2d语义图像和2d影像的语义图像上分别进行车道线分割，确定至少一组车道线线对，然后根据每组车道线线对中每条车道线与预设图形在对应语义图像上的交点，确定激光点云和2d影像上的同名点对，利用同名点对计算激光点云和2d影像的配准修正矩阵，最后利用该配准修正矩阵对激光点云和2d影像的初始投影关系进行修正，解决了现有技术中激光点云和高精影像的配准精度较低的问题，实现了激光点云和2d影像之间的精确配准，保证了两者的融合精度；并且，本实施例通过采用车道线线对与预设图形的交点确定同名点对，对于多变的交通行车环境具有较高的鲁棒性，可实现准确地确定激光点云(散点数据)与2d影像(连续面)上的同名点对，解决了现有技术中因两种数据属性不同导致同名点匹配的准确性较低的问题，进而确保了配准修正矩阵的计算准确性。

实施例二

图3是本发明实施例二提供的激光点云与2d影像的配准方法的流程图，本实施例是在上述实施例的基础上进一步进行优化与扩展。如图3所示，该方法可以包括：

s210、针对激光点云的2d语义图像和2d影像的语义图像，分别在每张语义图像上确定包括车道线的目标区域，并根据目标区域内车道线的方向，确定每张语义图像上的消逝点。

本实施例中，消逝点是指在语义图像上分别对多条车道线进行由近及远的直线拟合后，多条拟合直线的虚拟交汇点。在可以确定每张语义图像上各车道线由近及远的总体延伸趋势的情况下，目标区域的大小可以灵活设置。示例性的，如图2b所示，基于同一数据采集视角的激光点云和2d影像，对应的语义图像上各车道线的消逝点分别为o与o′，则在车道线区域分割以及确定预设图形的过程，分别将每张语义图像上的消逝点作为基准点。

s220、分别根据每张语义图像上的消逝点，以及每张语义图像上目标区域内的车道线位置，在每张语义图像上确定预设数量的切分线。

具体的，可将消逝点作为切分线起点，按照与每条车道线的预设夹角，绘制预设数量的切分线，切分线与车道线之间除了消逝点外不存在其他的交点。在每张语义图像上，每条切分线与相邻车道线的夹角可以相同，也可以不同，这与预先确定的切分线绘制方式有关，但是不同语义图像上切分线的绘制方式相同。例如，可以将每张语义图像上相邻车道线之间的拟合夹角的二分之一，作为切分线与相邻车道线中任一车道线的夹角，即可以将相邻车道线的拟合夹角的角平分线作为一条切分线，用于分割车道线的占用区域。切分线的数量大于车道线的数量，具体取值与语义图像上的车道线数量有关。

s230、根据激光点云的2d语义图像和2d影像的语义图像之间切分线的对应关系，将激光点云的2d语义图像和2d影像的语义图像上的车道线进行对应分组，确定至少一组车道线线对。

其中，每组车道线线对中包括的车道线分别对应不同的语义图像。如图2b所示，在激光点云的2d语义图像上(左图)切分线l1、l2、l3、l4和l5，分别与2d影像的语义图像上(右图)切分线l1′、l2′、l3′、l4′和l5′对应，进而相邻切分线组成的子区域在两张语义图像对应，根据子区域的对应关系对两张语义图像上的车道线进行分组。例如，左图中射线l1和射线l2组成的子区域是道路上最左侧车道线占用的区域，与右图中射线l1′和射线l2′组成的子区域相对应，两个子区域内的车道线组成一组车道线线对，其他车道线线对的确定过程与前述过程类似。

s240、在每张语义图像上，将确定的消逝点作为圆心，并利用圆心与不同的预设半径作圆。

基于消逝点绘制圆的过程中，预设半径的长度与选定的用于确定同名点的位置区域有关，例如，可以将消逝点与道路上局域车道线线段的距离作为圆半径，以确定该距离处的车道线特征点作为同名点。不同半径的圆与车道线线对中任一条车道线的交点存在差异。依据不同的交点，确定不同的同名点对。预设半径的设置数量与同名点对的需求量相关，即同名点对的需求量越大，预设半径的设置数量越多。

s250、根据每组车道线线对中每条车道线与对应语义图像上每个圆的交点，确定同名点对。

示例性的，如图2b所示，左图中切分线l1和l2，分别对应右图中切分线l1′和l2′，处于切分线l1和l2之间的圆与车道线的交点a1与处于切分线l1′和l2′之间的同一圆与同一车道线的交点a1′，可以看作一组同名点对。需要说明的是，采用任意的车道线区域分割方式确定至少一组车道线线对后，均可以利用以语义图像上的消逝点(确定方式如前所述)为圆心，基于不同预设半径所绘制的圆与每组车道线线对中每条车道线的交点，确定同名点对。

s260、利用同名点对确定激光点云和2d影像的配准修正矩阵。

s270、利用激光点云和2d影像的初始投影关系，以及配准修正矩阵，对激光点云和2d影像进行配准。

在上述技术方案的基础上，可选的，该方法还包括：

分别根据每张语义图像上特定区域内的车道线线段，对每张语义图像上的消逝点进行位置修正，以将位置修正后的消逝点作为圆心，并利用不同的预设半径作圆。

当车道形状存在弯曲时，选用不同的道路区域并对该区域内车道线进行直线拟合，可以得到不同的虚拟交汇点，因此，为保证同名点对确定的准确性，可以对每张语义图像上基于上述目标区域初步确定的消逝点进行多次位置修正，利用位置修正后的消逝点绘制圆。以激光点云的2d语义图像和2d影像的语义图像中任一张语义图像为例，特定区域是指当车道出现弯曲时，在道路弯曲部分所选择的用于修正消逝点的道路子区域，特定区域内包括至少两条车道线线段，其中，可以选择任一条车道线线段作为需要确定同名点的目标车道线线段，其余的车道线线段作为参考线段，通过目标车道线线段与不同参考线段之间的直线拟合，得到多个虚拟交汇点，该多个虚拟交汇点即为位置修正后的消逝点，可以利用每个位置修正后的消逝点作为圆心，结合不同的预设半径，绘制圆，从而确定与目标车道线线段的交点。在激光点云的2d语义图像和2d影像的语义图像上对消逝点进行位置修正的方式相同，并且每次位置修正选用的目标车道线线段和参考线段，在两张语义图像之间一一对应。

进一步的，根据每组车道线线对中每条车道线与对应语义图像上每个圆的交点，确定同名点对，包括：

根据每组车道线线对中每条车道线与对应语义图像上每个目标圆的交点，确定激光点云和2d影像上在每个预设半径下的至少一组候选同名点对，其中，目标圆指针对每个预设半径，以不同的位置修正后的消逝点为圆心所绘制的圆；

在每个预设半径下，通过分别对激光点云的2d语义图像和2d影像的语义图像上的候选同名点进行聚类计算，从至少一组候选同名点对中确定目标同名点对，以利用各个预设半径下的目标同名点对确定配准修正矩阵。

其中，预设半径可以理解为用于确定目标车道线线段上需要确定同名点的候选位置。针对激光点云的2d语义图像和2d影像的语义图像中任一张语义图像，在同一预设半径下，利用语义图像上目标车道线线段与不同参考线段的直线拟合确定的消逝点(即位置修正后的消逝点)绘制圆，得到的多个圆与目标车道线线段的交点即该候选位置处的多个候选同名点，通常，该多个候选同名点呈密集型分布。两张语义图像上的各个候选同名点确定过程相同。一组候选同名点对中包括激光点云的2d语义图像上的一个候选同名点和2d影像的语义图像上的一个候选同名点。

在每张语义图像上，通过对每个候选位置(即对应每个预设半径)的多个候选同名点进行聚类处理，例如基于密集分布的候选同名点之间的距离，或者基于密集分布的候选同名点所形成的几何形状的形心，进行聚类计算，从而实现对每张语义图像上候选同名点的筛选，得到针对每个候选位置的目标同名点，两张语义图像上针对同一候选位置的两个目标同名点组成目标同名点对。

通过聚类筛选，得到的多组目标同名点中同名点之间的位置匹配更加准确，因此，基于目标同名点对得到的配准修正矩阵也更加准确，有助于进一步提高激光点云和2d影像的配准精度。

本实施例的技术方案通过根据激光点云的2d语义图像和2d影像的语义图像上的消逝点以及每张语义图像上车道线的位置绘制预设数量切分线，根据语义图像之间切分线的对应关系，确定车道线线对；然后根据以消逝点为圆心所绘制的不同半径的圆与车道线线对中每条车道线在对应语义图像上的交点，确定激光点云和2d影像上的同名点对，最后利用同名点对计算配准修正矩阵，对激光点云和2d影像的初始投影关系进行修正，实现激光点云和2d影像之间的高精度配准，解决了现有技术中激光点云和高精影像的配准精度较低的问题；同时，本实施例在确定同名点对的过程中，通过对每张语义图像上密集分布的候选同名点进行聚类计算，实现对候选同名点对的筛选，进一步提高了查找同名点对的准确性，同名点对的准确查找保证了配准修正矩阵的计算准确性，有助于进一步提高激光点云和2d影像的配准精度。

实施例三

图4是本发明实施例三提供的激光点云与2d影像的配准方法的流程图，本实施例是在上述实施例的基础上进一步进行优化与扩展。如图4所示，该方法可以包括：

s310、对激光点云图像在3d空间进行像素分类，得到激光点云的3d语义图像，并利用激光点云和2d影像的初始投影关系对3d语义图像进行投影变换，得到激光点云的2d语义图像。

其中，激光点云数据中包括了行车环境中各个物点的3d空间信息，在3d空间中基于激光点云的强度信息进行像素分类后，可以得到激光点云的3d语义图像，然后投影至2d空间，得到激光点云的2d语义图像。激光点云和2d影像的初始投影关系是指通过激光点云采集设备与2d影像采集设备之间的标定而确定的初始投影矩阵。

s320、对2d影像进行像素分类，得到2d影像的语义图像。

关于图像的像素分类或者语义分割，具体可以通过现有技术中任意可用的相关方法实现，例如，可以利用预先构建的深度神经卷积网络对输入图像的像素进行分类，得到语义图像。

操作s310与操作s320之间并无严格的执行顺序限定，两个操作可以同时执行，也可以非同时执行，图4作为示例，示出的操作执行顺序不应作为对本实施例的具体限定。

s330、根据激光点云的2d语义图像和2d影像的语义图像上的对象标签，确定匹配对象。

经过像素分类，输出的语义图像上包含各个对象的标签，该标签即用于区分不同的对象，语义图像上的对象包括行车环境中的车辆、障碍物、交通标志、车道和车道线等任意可识别的物体，其中，可以将与车道和车道线相关的对象标签称为交通要素标签。由于本实施例中待进行配准的激光点云与2d影像是在相同的采集视角下对同一行车环境进行数据采集得到，因此，可以根据激光点云的2d语义图像和2d影像的语义图像上各自的对象标签，将标签相同且位置对应的对象确定匹配对象，例如激光点云的2d语义图像上最右侧道路边缘的交通信号灯，与2d影像的语义图像上最右侧道路边缘的交通信号灯属于匹配对象。

s340、如果匹配对象之间的位置匹配度不满足预设要求，则分别在激光点云的2d语义图像和2d影像的语义图像上，对各条车道线进行区域分割，确定至少一组车道线线对。

匹配对象之间的位置匹配度可以用于衡量利用激光点云与2d影像的初始投影关系对两者进行配准的精度，位置匹配度的值可以利用该初始投影关系进行坐标变换计算确定。示例性的，根据匹配对象在激光点云中的空间位置坐标，结合激光点云与2d影像的初始投影关系，计算该匹配对象的空间位置坐标对应到2d影像上的理论像素坐标，然后确定该理论像素坐标与匹配对象在2d影像上的实际像素坐标之间的误差，作为匹配对象之间的位置匹配度；或者，根据匹配对象在2d影像上的像素坐标，结合激光点云与2d影像的初始投影关系，计算该匹配对象的像素坐标对应到激光点云中的理论空间位置坐标，然后确定该理论空间位置坐标与匹配对象在激光点云中的实际空间位置坐标之间的误差，作为匹配对象之间的位置匹配度。

预设要求用于定义需要进行激光点云和2d影像之间的配准修正的时机。如果计算得到的匹配对象之间的位置匹配度不满足预设要求，例如位置匹配度小于匹配度阈值(该值可以根据配准精度需求进行适应性设置)，则说明基于激光点云和2d影像的初始投影关系进行配准的精度较低，需要执行配准修正，而基于车道线区域分割确定车道线线对是本实施例中配准修正的基础。如果计算得到的匹配对象之间的位置匹配度满足预设要求，例如位置匹配度大于或等于匹配度阈值，则说明基于激光点云和2d影像的初始投影关系进行配准的精度较高，无需执行配准修正。

s350、根据每组车道线线对中每条车道线与预设图形在对应语义图像上的交点，确定激光点云和2d影像上的同名点对。

s360、利用同名点对确定激光点云和2d影像的配准修正矩阵。

s370、利用激光点云和2d影像的初始投影关系，以及配准修正矩阵，对激光点云和2d影像进行配准。

本实施例的技术方案中，首先利用激光点云的2d语义图像和2d影像的语义图像上的对象标签，确定匹配对象，当匹配对象之间的位置匹配度不满足预设要求时，则确定激光点云和2d影像上的同名点对，依据一系列同名点对计算激光点云和2d影像的配准修正矩阵，以对激光点云和2d影像的初始投影关系进行修正，解决了现有技术中激光点云和高精影像的配准精度较低的问题，结合合理的配准修正时机判断，提高了激光点云和2d影像之间的配准精度，保证了两者的融合精度；并且，本实施例通过采用车道线线对与预设图形的交点确定同名点对，对于多变的交通行车环境具有较高的鲁棒性。

实施例四

图5是本发明实施例四提供的激光点云与2d影像的配准装置的结构示意图，本实施例可适用于在得到兼具色彩信息和位置信息的融合数据的过程中，对激光点云数据与2d影像进行配准的情况。该装置可以采用软件和/或硬件的方式实现，并可集成在任意的计算设备，包括但不限于服务器、车载计算设备等。

如图5所示，本实施例提供的激光点云与2d影像的配准装置可以包括车道线线对确定模块641、同名点对确定模块642、配准修正矩阵确定模块643和配准模块644，其中：

车道线线对确定模块641，用于分别在激光点云的2d语义图像和2d影像的语义图像上，对各条车道线进行区域分割，确定至少一组车道线线对，其中，至少一组车道线线对中每一车道线线对包括一条属于激光点云的2d语义图像的车道线和一条属于2d影像的语义图像的车道线；

同名点对确定模块642，用于根据每组车道线线对中每条车道线与预设图形在对应语义图像上的交点，确定激光点云和2d影像上的同名点对；

配准修正矩阵确定模块643，用于利用同名点对确定激光点云和2d影像的配准修正矩阵；

配准模块644，用于利用激光点云和2d影像的初始投影关系，以及配准修正矩阵，对激光点云和2d影像进行配准。

可选的，车道线线对确定模块641包括：

消逝点确定单元，用于针对激光点云的2d语义图像和2d影像的语义图像，分别在每张语义图像上确定包括车道线的目标区域，并根据目标区域内车道线的方向，确定每张语义图像上的消逝点；

切分线确定单元，用于分别根据每张语义图像上的消逝点，以及每张语义图像上目标区域内的车道线位置，在每张语义图像上确定预设数量的切分线；

车道线线对确定单元，用于根据激光点云的2d语义图像和2d影像的语义图像之间切分线的对应关系，将激光点云的2d语义图像和2d影像的语义图像上的车道线进行对应分组，确定至少一组车道线线对。

可选的，同名点对确定模块642包括：

作圆单元，用于在每张语义图像上，将确定的消逝点作为圆心，并利用圆心与不同的预设半径作圆；

同名点对确定单元，用于根据每组车道线线对中每条车道线与对应语义图像上每个圆的交点，确定同名点对。

可选的，同名点对确定模块642还包括：

消逝点修正单元，用于分别根据每张语义图像上特定区域内的车道线线段，对每张语义图像上的消逝点进行位置修正，以将位置修正后的消逝点作为圆心，并利用不同的预设半径作圆。

可选的，同名点对确定单元包括：

候选同名点对确定子单元，用于根据每组车道线线对中每条车道线与对应语义图像上每个目标圆的交点，确定激光点云和2d影像上在每个预设半径下的至少一组候选同名点对，其中，目标圆指针对每个预设半径，以不同的位置修正后的消逝点为圆心所绘制的圆；

目标同名点对确定子单元，用于在每个预设半径下，通过分别对激光点云的2d语义图像和2d影像的语义图像上的候选同名点进行聚类计算，从至少一组候选同名点对中确定目标同名点对，以利用各个预设半径下的目标同名点对确定配准修正矩阵。

可选的，该装置还包括：

第一语义图像确定模块，用于对激光点云图像在3d空间进行像素分类，得到激光点云的3d语义图像，并利用激光点云和2d影像的初始投影关系对3d语义图像进行投影变换，得到激光点云的2d语义图像；

第二语义图像确定模块，用于对2d影像进行像素分类，得到2d影像的语义图像。

可选的，在车道线线对确定模块641执行分别在激光点云的2d语义图像和2d影像的语义图像上，对各条车道线进行区域分割的操作之前，该装置还包括：

车道线确定模块，用于根据激光点云的2d语义图像和2d影像的语义图像上的对象标签，确定每张语义图像上的车道线。

可选的，在车道线线对确定模块641执行分别在激光点云的2d语义图像和2d影像的语义图像上，对各条车道线进行区域分割的操作之前，该装置还包括：

匹配对象确定模块，用于根据激光点云的2d语义图像和2d影像的语义图像上的对象标签，确定匹配对象；

位置匹配度确定模块，用于如果匹配对象之间的位置匹配度不满足预设要求，则触发在激光点云的2d语义图像和2d影像的语义图像上，对各条车道线进行区域分割的操作。

本发明实施例所提供的激光点云与2d影像的配准装置可执行本发明任意实施例所提供的激光点云与2d影像的配准方法，具备执行方法相应的功能模块和有益效果。本实施例中未详尽描述的内容可以参考本发明任意方法实施例中的描述。

实施例五

图6是本发明实施例五提供的一种设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性设备412的框图。图6显示的设备412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。设备412可以是任意的计算设备，包括但不限于服务器、车载计算设备等。

如图6所示，设备412以通用设备的形式表现。设备412的组件可以包括但不限于：一个或者多个处理器416，存储装置428，连接不同系统组件(包括存储装置428和处理器416)的总线418。

总线418表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(industrysubversivealliance，isa)总线，微通道体系结构(microchannelarchitecture，mac)总线，增强型isa总线、视频电子标准协会(videoelectronicsstandardsassociation，vesa)局域总线以及外围组件互连(peripheralcomponentinterconnect，pci)总线。

设备412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被设备412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储装置428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(randomaccessmemory，ram)430和/或高速缓存存储器432。设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(compactdiscread-onlymemory，cd-rom),数字视盘(digitalvideodisc-readonlymemory，dvd-rom)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储装置428中，这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。

设备412也可以与一个或多个外部设备414(例如键盘、指向终端、显示器424等)通信，还可与一个或者多个使得用户能与该设备412交互的终端通信，和/或与使得该设备412能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口422进行。并且，设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(localareanetwork，lan)，广域网(wideareanetwork，wan)和/或公共网络，例如因特网)通信。如图6所示，网络适配器420通过总线418与设备412的其它模块通信。应当明白，尽管图中未示出，可以结合设备412使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(redundantarraysofindependentdisks，raid)系统、磁带驱动器以及数据备份存储系统等。

处理器416通过运行存储在存储装置428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明任意实施例所提供的激光点云与2d影像的配准方法，该方法可以包括：

分别在激光点云的2d语义图像和2d影像的语义图像上，对各条车道线进行区域分割，确定至少一组车道线线对，其中，所述至少一组车道线线对中每一车道线线对包括一条属于所述激光点云的2d语义图像的车道线和一条属于所述2d影像的语义图像的车道线；

根据每组车道线线对中每条车道线与预设图形在对应语义图像上的交点，确定所述激光点云和所述2d影像上的同名点对；

利用所述同名点对确定所述激光点云和所述2d影像的配准修正矩阵；

利用所述激光点云和所述2d影像的初始投影关系，以及所述配准修正矩阵，对所述激光点云和所述2d影像进行配准。

实施例六

本发明实施例六还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的激光点云与2d影像的配准方法，该方法可以包括：

分别在激光点云的2d语义图像和2d影像的语义图像上，对各条车道线进行区域分割，确定至少一组车道线线对，其中，所述至少一组车道线线对中每一车道线线对包括一条属于所述激光点云的2d语义图像的车道线和一条属于所述2d影像的语义图像的车道线；

根据每组车道线线对中每条车道线与预设图形在对应语义图像上的交点，确定所述激光点云和所述2d影像上的同名点对；

利用所述同名点对确定所述激光点云和所述2d影像的配准修正矩阵；

利用所述激光点云和所述2d影像的初始投影关系，以及所述配准修正矩阵，对所述激光点云和所述2d影像进行配准。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、rf等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。