基于单目相机的路侧线状要素重建方法、系统及存储介质

1.本发明涉及一种智能网联汽车环境构建领域，特别是关于一种基于单目相机的路侧线状要素重建方法、系统及存储介质。


背景技术：

2.高精度地图是高级别自动驾驶中重要的输入，其要求对道路环境进行分米级到厘米级的描述。传统的方法主要使用激光雷达这样精确的三维测量仪器进行重建，然而激光雷达由于较为昂贵，难以广泛搭载在车辆上，导致地图的采集速度受到局限。


技术实现要素：

3.针对上述问题，本发明的目的是提供一种基于单目相机的路侧线状要素重建方法、系统及存储介质，其算法复杂度小，重建精度高。
4.为实现上述目的，本发明采取以下技术方案：一种基于单目相机的路侧线状要素重建方法，其包括：实时获取单目图像信息及gnss和imu信号；将所述单目图像信息进行感知处理后，得到图像感知的地图元素结果；根据所述gnss和imu信号得到车辆六自由度信息；根据所述地图元素结果和所述车辆六自由度信息计算得到路侧线状要素的三维位置信息。
5.进一步，所述将所述单目图像信息进行感知处理，包括：将所述单目图像信息进行放缩到预先设定的大小后，输入神经网络进行前向计算，得到图像感知的地图元素结果。
6.进一步，所述根据所述地图元素结果和所述车辆六自由度信息计算得到路侧线状要素的三维位置信息，包括：根据所述地图元素结果和所述车辆六自由度信息进行基于光流估计的观测聚类计算，将相同线状物体的观测归为一类，构成一个观测组，不同线状物体的观测归为不同组；
7.对于每一个物体的观测组，其被输入到基于先验信息的最小二乘求解器中进行求解，输出路侧线状要素的三维位置信息。
8.进一步，所述基于光流估计的观测聚类计算，包括：
9.对于时刻t，计算图像i
t-1
,i
t
的整体光流f
t-1
；
10.对于上一时刻的感知结果计算上一时刻物体i表示第i个感知物体，经过光流f
t-1
预测得到上一时刻物体在当前时刻图像中的位置
11.对于当前的感知结果记感知物体与上一时刻物体相对应；
12.通过求解所有线状物体与上一时刻的线状物体的对应关系，获得每一个线状物体在不同时刻的观测结果，构成一个线状物体的观测组t0,t1…
,tn表示该物体被观测到的时刻。
13.进一步，所述线段与上一时刻物体相对应为：ak＝i；ak为：
[0014][0015][0016]
其中，表示上的点p到线段的距离。
[0017]
进一步，所述基于先验信息的最小二乘求解器，针对某一个线状物体的观测组，用于对该物体进行三维求解，包括：
[0018]
给定观测组的观测序列以及其对应的六自由度定位信息，构建最小二乘模块；
[0019]
通过最小二乘估计求解，完成对路侧线状物体的普吕克参数的估计。
[0020]
进一步，对于tk时刻下的物体在图像平面的直线参数时刻下的物体在图像平面的直线参数表示当前时刻的相机位姿的旋转，表示当前时刻相机位姿的平移，则有该物体组成的观测矩阵ok，以及残差向量rk，k＝0,
…
,n，n为物体总数；所有的物体构成的观测矩阵和残差定义为m和b，则有：
[0021][0022][0023][0024]
一种基于单目相机的路侧线状要素重建系统，其包括：数据采集模块，实时获取单目图像信息及gnss和imu信号；感知模块，将所述单目图像信息进行感知处理后，得到图像感知的地图元素结果；定位模块，根据所述gnss和imu信号得到车辆六自由度信息；路侧线状要素计算模块，根据所述地图元素结果和所述车辆六自由度信息计算得到路侧线状要素的三维位置信息。
[0025]
一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行上述方法中的任一方法。
[0026]
一种计算设备，其包括：一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行上述方法中的任一方法的指令。
[0027]
本发明由于采取以上技术方案，其具有以下优点：
[0028]
1、本发明能够仅使用低成本的单目相机、gnss、imu实现路侧线状要素的重建。
[0029]
2、本发明能够依靠引入先验信息的最小二乘估计模块，算法复杂度小，重建精度高。
[0030]
3、本发明采用众包单目相机的数据来进行高精地图的重建，能实现低成本，大规模高精地图的采集重建。
附图说明
[0031]
图1是本发明一实施例中的单目视觉路侧线状物体重建系统的整体流程示意图；
[0032]
图2是本发明一实施例中的路侧线状物体计算模块流程图；
[0033]
图3是本发明一实施例中的计算设备结构示意图。
具体实施方式
[0034]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。
[0035]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0036]
本发明提出一种基于单目相机的路侧线状要素重建方法、系统及存储介质，其包括：实时获取单目图像信息及gnss和imu信号；将单目图像信息进行感知处理后，得到图像感知的地图元素结果；根据gnss和imu信号得到车辆六自由度信息；根据地图元素结果和车辆六自由度信息计算得到路侧线状要素的三维位置信息。本发明算法复杂度小，重建精度高，本发明能广泛在智能网联汽车环境构建领域中应用。
[0037]
在本发明的一个实施例中，提供一种基于单目相机的路侧线状要素重建方法，本实施例以该方法应用于终端进行举例说明，可以理解的是，该方法也可以应用于服务器，还可以应用于包括终端和服务器的系统，并通过终端和服务器的交互实现。本实施例中，路侧的线状要素主要指灯杆，交通指示牌等线状物体，如图1所示，该方法包括以下步骤：
[0038]
1)实时获取单目图像信息及gnss和imu信号；
[0039]
2)将单目图像信息进行感知处理后，得到图像感知的地图元素结果；
[0040]
3)根据gnss和imu信号得到车辆六自由度信息；
[0041]
4)根据地图元素结果和车辆六自由度信息计算得到路侧线状要素的三维位置信息。
[0042]
上述步骤2)中，将单目图像信息进行感知处理，具体为：将单目图像信息进行放缩到预先设定的大小后，输入神经网络进行前向计算，得到图像感知的地图元素结果。
[0043]
在本实施例中，包含一个基于卷积神经网络的图像分割模型。输入的单目图像会被放缩到768*480的大小，然后送入到神经网络当中，通过gpu/fpga/ai芯片计算单元进行该神经网络的前向计算，得到最终的图像每个像素的分类结果。分类的种类由地图定位元素的种类决定，在本实施例中主要使用感知结果中的路侧线状要素，如灯杆，标识牌杆等。
[0044]
上述步骤4)中，根据地图元素结果和车辆六自由度信息计算得到路侧线状要素的三维位置信息，如图2所示，包括以下步骤：
[0045]
4.1)根据地图元素结果和车辆六自由度信息进行基于光流估计的观测聚类计算，将相同线状物体的观测归为一类，构成一个观测组，不同线状物体的观测归为不同组；
[0046]
4.2)对于每一个物体的观测组，其被输入到基于先验信息的最小二乘求解器中进
行求解，输出路侧线状要素的三维位置信息。
[0047]
上述步骤4.1)中，基于光流估计的观测聚类计算，包括以下步骤：
[0048]
4.1.1)对于时刻t，计算图像i
t-1
,i
t
的整体光流f
t-1
；
[0049]
在本实施例中，输入为连续帧的图像i
t
的感知结果s
t
；
[0050]
4.1.2)得到光流之后，对于上一时刻的感知结果i表示第i个感知物体，计算上一时刻物体经过光流f
t-1
预测得到上一时刻物体在当前时刻图像中的位置
[0051]
4.1.3)对于当前的感知结果k表示第k个感知物体，记感知物体与上一时刻物体相对应；
[0052]
4.1.4)通过求解所有线状物体与上一时刻的线状物体的对应关系，获得每一个线状物体在不同时刻的观测结果，构成一个线状物体的观测组t0,t1…
,tn表示该物体被观测到的时刻。
[0053]
上述步骤4.1.3)中，线段与上一时刻物体相对应为：ak＝i；
[0054]
其中，ak为：
[0055][0056][0057]
其中，表示上的点p到线段的距离。
[0058]
上述步骤4.2)中，基于先验信息的最小二乘求解器，针对某一个线状物体的观测组lk，用于对该物体进行三维求解，包括以下步骤：
[0059]
4.2.1)给定观测组的观测序列以及其对应的六自由度定位信息构建最小二乘模块；其中，
[0060]
由于先验信息中，路侧灯杆大多均垂直于路面，因此其普吕克参数可以记为(nw,dw)＝((α,β,0),(0,0,1))。同时记为在图像平面的直线参数，从而最小二乘模块可以由如下方程构成。对于tk时刻下的物体在图像平面的直线参数时刻下的物体在图像平面的直线参数表示当前时刻的相机位姿的旋转，表示当前时刻相机位姿的平移，则有该物体组成的观测矩阵ok，以及残差向量rk，k＝0,
…
,n，n为物体总数。所有的物体构成的观测矩阵和残差定义为m和b。则有：
[0061][0062]
[0063][0064]
4.2.2)通过最小二乘估计求解，完成对路侧线状物体的普吕克参数的估计；
[0065]
在本实施例中，通过最小二乘估计求解为：
[0066]
x＝(m
t
m)-1mtb[0067]
从而nw＝(x(0),x(1),0)，nw为线状物体普吕克参数，x(0),x(1)为x的第一个和第二个分量。从而完成对路侧线状物体的普吕克参数的估计。
[0068]
在本发明的一个实施例中，提供一种基于单目相机的路侧线状要素重建系统，其包括：
[0069]
数据采集模块，实时获取单目图像信息及gnss和imu信号；
[0070]
感知模块，将单目图像信息进行感知处理后，得到图像感知的地图元素结果；
[0071]
定位模块，根据gnss和imu信号得到车辆六自由度信息；
[0072]
路侧线状要素计算模块，根据地图元素结果和车辆六自由度信息计算得到路侧线状要素的三维位置信息。
[0073]
上述实施例中，定位模块可以兼容gnss或者rtk信号来获得不同定位精度的定位结果。此外，同样可以融合其他传感器来获得更加精确的相对定位精度。
[0074]
本实施例提供的系统是用于执行上述各方法实施例的，具体流程和详细内容请参照上述实施例，此处不再赘述。
[0075]
如图3所示，为本发明一实施例中提供的计算设备结构示意图，该计算设备可以是终端，其可以包括：处理器(processor)、通信接口(communications interface)、存储器(memory)、显示屏和输入装置。其中，处理器、通信接口、存储器通过通信总线完成相互间的通信。该处理器用于提供计算和控制能力。该存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作系统和计算机程序，该计算机程序被处理器执行时以实现一种重建方法；该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、管理商网络、nfc(近场通信)或其他技术实现。该显示屏可以是液晶显示屏或者电子墨水显示屏，该输入装置可以是显示屏上覆盖的触摸层，也可以是计算设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。处理器可以调用存储器中的逻辑指令，以执行如下方法：实时获取单目图像信息及gnss和imu信号；将单目图像信息进行感知处理后，得到图像感知的地图元素结果；根据gnss和imu信号得到车辆六自由度信息；根据地图元素结果和车辆六自由度信息计算得到路侧线状要素的三维位置信息。
[0076]
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以
存储程序代码的介质。
[0077]
本领域技术人员可以理解，图3中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算设备的限定，具体的计算设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0078]
在本发明的一个实施例中，提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：实时获取单目图像信息及gnss和imu信号；将单目图像信息进行感知处理后，得到图像感知的地图元素结果；根据gnss和imu信号得到车辆六自由度信息；根据地图元素结果和车辆六自由度信息计算得到路侧线状要素的三维位置信息。
[0079]
在本发明的一个实施例中，提供一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质存储服务器指令，该计算机指令使计算机执行上述各实施例提供的方法，例如包括：实时获取单目图像信息及gnss和imu信号；将单目图像信息进行感知处理后，得到图像感知的地图元素结果；根据gnss和imu信号得到车辆六自由度信息；根据地图元素结果和车辆六自由度信息计算得到路侧线状要素的三维位置信息。
[0080]
上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例类似，在此不再赘述。
[0081]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0082]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0083]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0084]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。