一种融合标注方法、系统、电子设备及存储介质与流程

1.本发明属于数据融合处理领域，尤其涉及一种融合标注方法、系统、电子设备及存储介质。


背景技术：

2.随着自动驾驶研究的不断深入，自动驾驶的要求也日趋严格，为了实现更好的自动驾驶效果，生产厂商选择在车辆上安装更多的传感器，因此车辆上的激光雷达和摄像头数目也越来越多。这样的车辆在行驶时所采集到的数据也更丰富，会包含大量的单帧点云数据与多视角图片。
3.在对点云与图片进行融合标注时，一般只能同时对一帧点云数据和一张与之匹配的图片进行标注。而对于多激光雷达+多摄像头的数据源而言，由于图片不便于像点云数据一样进行多帧拼接融合，因此在标注时会出现同时对一帧点云数据和多张与之匹配的图片进行标注的情况。对于这种情况，常规的点云与图片融合标注方法只能将点云和图片分开进行标注，然后进行合并，这样不仅降低了标注的效率，同时也无法保证点云标注数据与图片标注数据能够完全对应。


技术实现要素：

4.有鉴于此，本发明实施例提供了一种融合标注方法、系统、电子设备及存储介质，用于解决现有点云与图片数据融合标注效率低的问题。
5.在本发明实施例的第一方面，提供了一种融合标注方法，包括：
6.根据预标注图片左右边界下沿坐标、相机的内外参数和激光雷达外参，计算每张图片左右边界下沿坐标在点云坐标系下对应的坐标；
7.获取点云标注框以及与点云标注框对应的预标注图片，以点云坐标系原点分别向点云坐标系下预标注图片左右边界下沿坐标构建向量；
8.若点云标注框中心点位于两个向量形成的劣角内，则根据点云标注框在对应的预标注图片中绘制图片标注框。
9.在本发明实施例的第二方面，提供了一种融合标注系统，包括：
10.坐标转换模块，用于根据预标注图片左右边界下沿坐标、相机的内外参数和激光雷达外参，计算每张图片左右边界下沿坐标在点云坐标系下对应的坐标；
11.向量构建模块，用于获取点云标注框以及与点云标注框对应的预标注图片，以点云坐标系原点分别向点云坐标系下预标注图片左右边界下沿坐标构建向量；
12.计算判断模块，用于计算判断点云标注框中心点是否位于两个向量形成的劣角内；
13.图片标注模块，用于当点云标注框中心点位于两个向量形成的劣角内，则根据点云标注框在对应的预标注图片中绘制图片标注框。
14.在本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储
在所述存储器中并可在所述处理器运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。
15.在本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。
16.本发明实施例中，通过将预标注图片边界下沿转换至点云坐标系下，根据点云标注框中心是否在中心点与左右边界下沿形成的两个向量的劣角内，判断是否进行图片标注。从而实现单帧点云与多张图片的融合标注，实现点云与图片的自动化标注，有效提高了标注效率，节省人力物力成本，并能保证点云与图片标注数据能够完全对应。
附图说明
17.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。
18.图1为本发明实施例提供的一种融合标注方法的流程示意图；
19.图2为本发明实施例提供的一种融合标注方法的另一流程示意图；
20.图3为本发明的实施例提供的一种融合标注系统的结构示意图；
21.图4为本发明的实施例提供的电子设备的结构示意图。
具体实施方式
22.为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
23.应当理解，本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或系统、设备没有限定于已列出的步骤或单元。此外，“第一”“第二”用于区分不同对象，并非用于描述特定顺序。
24.请参阅图1，本发明实施例提供的一种融合标注方法的流程示意图，包括：
25.s101、根据预标注图片左右边界下沿坐标、相机的内外参数和激光雷达外参，计算每张图片左右边界下沿坐标在点云坐标系下对应的坐标；
26.所述预标注图片为需要进行目标标注的图片，一般由多个不同摄像头采集得到。预标注图片的左右边界下沿为图片左右两边边界处最下边沿处，即图片的左下角与右下角处。
27.相机的内参包括相机焦距、像素等；相机的外参，即相机位姿，一般包括相机位置、旋转方向等；激光雷达的外参包括雷达位置、旋转角度等。
28.将预标注图片左右边界下沿坐标转换至点云坐标系下，以便判断点云标注框是否
应出现在图片中。
29.具体的，根据公式(1)计算点云坐标系下预标注图片左右边界下沿坐标对应的坐标：
[0030][0031]
其中，p
lidar
表示点云坐标系下图片左或右边界下沿坐标对应坐标，(x，y，z)表示点云坐标系下的三维坐标，p
camera
表示图片左或右边界下沿坐标，k-1
表示k矩阵的逆矩阵，k矩阵为相机内参矩阵，t
lidar
表示激光雷达偏移量，，t
camera
表示相机偏移量，为激光雷达旋转矩阵r
lidar
的逆矩阵，r
camera
为相机的旋转矩阵。
[0032]
s102、获取点云标注框以及与点云标注框对应的预标注图片，以点云坐标系原点分别向点云坐标系下预标注图片左右边界下沿坐标构建向量；
[0033]
分别以点云坐标系原点为起点向点云坐标系下预标注图片左、右边界下沿坐标的向量与以点云坐标系原点为起点指向点云标注框中心点坐标的向量相乘，得到两个向量，基于向量判断中心点坐标是否位于向量形成的劣角(180
°
)内。
[0034]
其中，分别将点云标注框中心点、点云坐标系下预标注图片左右边界下沿坐标的z轴坐标值设置为零。
[0035]
具体的，根据公式(2)计算以点云坐标系原点指向点云标注框中心点坐标的向量与以点云坐标系原点指向点云坐标系下预标注图片左边界下沿坐标的向量相乘所得的判断向量：
[0036][0037]
根据公式(3)计算以点云坐标系原点指向点云标注框中心点坐标的向量与以点云坐标系原点指向点云坐标系下预标注图片右边界下沿坐标的向量相乘所得的判断向量：
[0038][0039]
式中，(x
l
,y
l
,z
l
)表示向量r
l
的坐标，(xr,yr,zr)表示向量rr的坐标，p
left0
表示z值为0时的以点云坐标系原点为起点指向点云坐标系下预标注图片左边界下沿坐标的向量，p
right0
表示z值为0时的以点云坐标系原点为起点指向点云坐标系下预标注图片右边界下沿坐标的向量，(x
boxcenter
，y
boxcenter
，0)表示z值为0时的以点云坐标系原点为起点指向点云标注框中心点坐标的向量。
[0040]
s103、若点云标注框中心点位于两个向量形成的劣角内，则根据点云标注框在对应的预标注图片中绘制图片标注框。
[0041]
可选的，若点云标注框中心点不在两个向量形成的劣角内，则标记对应的预标注图片，对标记的预标注图片不进行标注框绘制。
[0042]
判断标注框中心点坐标是否落在其中两个向量构成的劣角内，若是则表明该点云标注框应该出现在这组对应向量所对应的图片中，否则不应出现。在对应的图片中绘制出图片标注框，并赋予标注框相应的属性。
[0043]
本实施例中，实现了一帧点云和多张图片的融合标注，提升了标注的效率，同时保证了点云标注数据与图片标注数据完全对应。
[0044]
需要说明的是，对于公式(1)，其中，p
camera
表示图片左或右边界下沿坐标，其含义如定义1所示，r
lidar
和r
camera
的含义如定义2所示，其中r
x1
，r
y1
，r
z1
，r
x2
，r
y2
，r
z2
均为3x1矩阵，其含义如定义3所示。定义3中q和p均为4x1矩阵，q表示激光雷达旋转量，其值可以从激光雷达外参中获得；p表示相机旋转量，其值可以从相机外参中获得；q-1
和p-1
的含义如定义4所示。定义3中每个等式的等号最右侧按从左到右顺序计算，每两个4x1矩阵之间按照定义5所示规则进行计算。
[0045]
定义1：图片宽x像素，高y像素，则该图片左边界下沿坐标为右边界下沿坐标为定义2：r
lidar
＝(r
x1 r
y1 r
z1
)，r
camera
＝(r
x2 r
y2 r
z2
)。
[0046]
定义3：定义3：
[0047]
定义4：若则若则
[0048]
定义5：
[0049]
对于公式(2)和(3)，若图片左边界下沿坐标的对应坐标为则
若图片右边界下沿坐标的对应坐标为则
[0050]
计算得到各组对应坐标后，在进行点云标注时，取点云标注框中心点坐标并依次取各组对应坐标，分别将其代入公式(2)和公式(3)计算，得到多组r
l
和rr。针对每组r
l
和rr值进行判定，当z
l
》0且zr《0时(z
l
，zr为相对于向量平面的偏离值或高度值)，表明该点云标注框应该出现在这组r
l
和rr所对应的图片中，否则不应出现。根据所得结论，使用常规的点云与图片融合标注方法，在各图片中计算绘制出对应的图片标注框，并赋予相应的属性。
[0051]
在另一实施例中，如图2所示，单帧点云与多帧图片的融合标注过程如下：
[0052]
从激光雷达外参中获取激光雷达偏移量t1和旋转量q1，获取多个相机的内、外参，保存至数组c，从c中获取一个相机的内、外参c1，从c1中获取矩阵k，偏移量t2，旋转量q2，定义图片左边界下沿坐标pl和右边界下沿坐标pr，将pl、pr、t1、q1、k、t2、q2代入公式(1)计算得到pl和pr的对应坐标ppl和ppr，并存储至数组pp中，重复上述步骤直至c中参数全部完成计算。
[0053]
获取点云标注数据集合s，从s中获取一个点云标注框数据b，并按照c中相机参数的顺序获取与b对应的图片集合ps，从b中获取该点云标注框的中心点坐标bc，并定义结果数组rs，从pp中获取一组ppl和ppr，并将ppl、bc代入公式(2)计算得到结果rl，将ppr、bc代入公式(3)计算得到结果rr，判断是否rl的z值大于0且rr的z值小于0，若是则向rs中添加记录true，否则向rs中添加记录false。重复以上步骤直至pp中所有值全部计算完成。
[0054]
逐个从ps中取出1张图片psq，按相同的顺序从rs中取出1条记录rsq，若rsq为true则在psq中绘制与b对应的图片bp，重复该过程直至ps和rs中的所有数据全部判断并绘制完成，清空ps和rs，并将所有标注框全部在对应图片上绘制完成。
[0055]
应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
[0056]
图3为本发明实施例提供的一种融合标注系统的结构示意图，该系统包括：
[0057]
坐标转换模块310，用于根据预标注图片左右边界下沿坐标、相机的内外参数和激光雷达外参，计算每张图片左右边界下沿坐标在点云坐标系下对应的坐标；
[0058]
具体的，所述坐标转换模块310包括：
[0059]
计算单元，根据公式(1)计算点云坐标系下预标注图片左右边界下沿坐标对应的坐标：
[0060][0061]
其中，p
lidar
表示点云坐标系下图片左或右边界下沿坐标对应坐标，(x，y，z)表示点云坐标系下的三维坐标，p
camera
表示图片左或右边界下沿坐标，k-1
表示k矩阵的逆矩阵，k矩阵为相机内参矩阵，t
lidar
表示激光雷达偏移量，，t
camera
表示相机偏移量，为激光雷达旋转矩阵r
lidar
的逆矩阵，r
camera
为相机的旋转矩阵。
[0062]
向量构建模块320，用于获取点云标注框以及与点云标注框对应的预标注图片，以点云坐标系原点分别向点云坐标系下预标注图片左右边界下沿坐标构建向量；
[0063]
其中，分别将点云标注框中心点、点云坐标系下预标注图片左右边界下沿坐标的z轴坐标值设置为零。
[0064]
具体的，根据公式(2)计算以点云坐标系原点为起点指向点云标注框中心点坐标的向量与以点云坐标系原点为起点指向点云坐标系下预标注图片左边界下沿坐标的向量相乘所得的判断向量：
[0065][0066]
根据公式(3)计算以点云坐标系原点为起点指向点云标注框中心点坐标的向量与以点云坐标系原点为起点指向点云坐标系下预标注图片右边界下沿坐标的向量相乘所得的判断向量：
[0067][0068]
式中，(x
l
,y
l
,z
l
)表示向量r
l
的坐标，(xr,yr,zr)表示向量rr的坐标，p
left0
表示z值为0时的以点云坐标系原点指向点云坐标系下预标注图片左边界下沿坐标的向量，p
right0
表示z值为0时的以点云坐标系原点指向点云坐标系下预标注图片右边界下沿坐标的向量，(x
boxcenter
，y
boxcenter
，0)表示z值为0时的以点云坐标系原点指向点云标注框中心点坐标的向量。
[0069]
计算判断模块330，用于计算判断点云标注框中心点是否位于两个向量形成的劣角内；
[0070]
图片标注模块340，用于当点云标注框中心点位于两个向量形成的劣角内，则根据点云标注框在对应的预标注图片中绘制图片标注框。
[0071]
其中，若点云标注框中心点不在两个向量形成的劣角内，则标记对应的预标注图片，对标记的预标注图片不进行标注框绘制。
[0072]
所述领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程可以参考前述方法实施例中对应的过程，在此不再赘述。
[0073]
图4是本发明一实施例提供的一种电子设备的结构示意图。所述电子设备用于单
帧点云与多帧图片的融合标注。如图4所示，该实施例的电子设备4包括：存储器410、处理器420以及系统总线430，所述存储器410包括存储其上的可运行的程序4101，本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0074]
下面结合图4对电子设备的各个构成部件进行具体的介绍：
[0075]
存储器410可用于存储软件程序以及模块，处理器420通过运行存储在存储器410的软件程序以及模块，从而执行电子设备的各种功能应用以及数据处理。存储器410可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据(比如缓存数据)等。此外，存储器410可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0076]
在存储器410上包含网络请求方法的可运行程序4101，所述可运行程序4101可以被分割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器410中，并由处理器420执行，以实现数据融合标注等，所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序4101在所述电子设备4中的执行过程。例如，所述计算机程序4101可以被分割为坐标转换模块、向量构建模块、计算判断和图片标注模块。
[0077]
处理器420是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器410内的软件程序和/或模块，以及调用存储在存储器410内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体状态监控。可选的，处理器420可包括一个或多个处理单元；优选的，处理器420可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器420中。
[0078]
系统总线430是用来连接计算机内部各功能部件，可以传送数据信息、地址信息、控制信息，其种类可以是例如pci总线、isa总线、vesa总线等。处理器420的指令通过总线传递至存储器410，存储器410反馈数据给处理器420，系统总线430负责处理器420与存储器410之间的数据、指令交互。当然系统总线430还可以接入其他设备，例如网络接口、显示设备等。
[0079]
在本发明实施例中，该电子设备所包括的处理420执行的可运行程序包括：
[0080]
根据预标注图片左右边界下沿坐标、相机的内外参数和激光雷达外参，计算每张图片左右边界下沿坐标在点云坐标系下对应的坐标；
[0081]
获取点云标注框以及与点云标注框对应的预标注图片，以点云坐标系原点分别向点云坐标系下预标注图片左右边界下沿坐标构建向量；
[0082]
若点云标注框中心点位于两个向量形成的劣角内，则根据点云标注框在对应的预标注图片中绘制图片标注框。
[0083]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0084]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记
载的部分，可以参见其它实施例的相关描述。
[0085]
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。