交通元素的显示方法、装置、电子设备及存储介质与流程

本公开涉及自动驾驶技术领域，具体而言，涉及一种交通元素的显示方法、装置、电子设备和存储介质。

背景技术：

随着自动驾驶技术的发展，高精度地图应运而生，其对于自动驾驶的决策、定位、规划和车辆控制起到了基础性作用。高精度地图的生成需要对各个道路元素进行提取，进而实现语义地图的构建。

其中，道路两侧的路灯是地图组成中的一个重要组成元素，其对基于高精度地图的语义定位能够起很好的帮助，同时对于决策中的避障和路径规划也能够起到辅助作用。

现有技术中，通常通过手工在雷达点云上进行人工标注来进行灯杆的提取，然而，该方法需要投入较多的人力和时间，进而导致地图生成的成本较高且效率较低。

技术实现要素：

本公开实施例至少提供一种交通元素的显示方法、装置、电子设备及计算机可读存储介质。

第一方面，本公开实施例提供了一种交通元素的显示方法，包括：

对图像采集部件所采集的现实场景图像进行目标检测；

在检测到所述现实场景图像中包括目标交通元素的情况下，根据所述现实场景图像的目标采集时间获取相应的点云地图；

根据在所述现实场景图像中检测到的目标交通元素，确定所述点云地图中与所述目标交通元素对应的语义点云；

根据所述目标交通元素的语义点云，显示用于表示所述目标交通元素的目标图形。

本公开实施例中，结合现实场景图像对点云地图中的语义点云进行处理，进而实现目标交通元素的显示，相对于现有技术中人工标注的方法，可以减少人力的投入，降低成本，且提高了地图生成的效率。另外，该交通元素的显示方法由于基于现实场景图像得到点云地图中的语义点云，也即在目标交通元素矢量提取的过程中利用了视觉检测信息，进而可以提高交通元素提取的精度及鲁棒性。

根据第一方面，在一种可能的实施方式中，所述目标图形为所述目标交通元素的中心线或者边界轮廓线。

根据第一方面，在一种可能的实施方式中，所述点云地图为所述目标采集时间前后间隔下的点云地图。

根据第一方面，在一种可能的实施方式中，所述根据在所述现实场景图像中检测到的目标交通元素，确定所述点云地图中与所述目标交通元素对应的语义点云，包括：

根据在所述现实场景图像中检测到的目标交通元素，确定所述目标交通元素在所述现实场景图像中的显示边界；

判断所述点云地图中的每一点是否落于所述现实场景图像中的所述目标交通元素的显示边界范围内；

将落于所述现实场景图像中的所述目标交通元素的显示边界范围内的所述点云地图中的点，确定为与所述目标交通元素对应的语义点云。

本公开实施例，根据判断所述点云地图中的每一点是否落于所述现实场景图像中的所述目标交通元素的显示边界范围内，来确定目标交通元素的语义点云，可以提高得到的目标交通元素的语义点云的效率和精度

根据第一方面，在一种可能的实施方式中，所述判断所述点云地图中的每一点是否落于所述现实场景图像中的所述目标交通元素的显示边界范围内，包括：

基于采集点云数据的雷达设备的绝对位姿、所述图像采集部件相对于所述雷达设备的相对位姿，以及所述图像采集部件的内部参数，判断所述点云地图中的每一点是否落于所述现实场景图像中的所述目标交通元素的显示边界范围内。

根据第一方面，在一种可能的实施方式中，所述基于采集点云数据的雷达设备的绝对位姿、所述图像采集部件相对于所述雷达设备的相对位姿，以及所述图像采集部件的内部参数，判断所述点云地图中的每一点是否落于所述现实场景图像中的所述目标交通元素的显示边界范围内，包括：

基于所述雷达设备相对于世界坐标系的绝对位姿，以及所述图像采集部件相对于所述雷达设备的相对位姿，将所述点云地图中的每一点在世界坐标系下的第一坐标转换为在相机坐标系下的第二坐标；

基于所述图像采集部件的内部参数，将所述第二坐标转换为图像坐标系下的第三坐标；

根据所述第三坐标以及所述现实场景图像中的所述目标交通元素的显示边界在所述图像坐标系下的坐标范围，判断所述点云地图中的每一点是否落于所述现实场景图像中的所述目标交通元素的显示边界的范围内。

本公开实施例中，通过坐标系的转换关系来确定点云地图中的3d点的在图像坐标系下的坐标，并根据转换后的坐标来判断该3d点是否落入目标交通元素的显示边界的范围内，如此可以提高判断的精度。

根据第一方面，由于图像的检测结果为目标检测的结果(如外接矩形)，导致在点云地图中的点投影到现实场景图像中时可能会引入很多的噪声和无关点云，例如树木，地面等。因此，为了提高得到的目标交通元素的语义点云的精度，在一种可能的实施方式中，在得到与所述目标交通元素对应的语义点云之后，所述方法还包括：

对所述语义点云进行异常点剔除处理，以得到目标语义点云。

所述根据所述目标交通元素的语义点云，确定所述目标交通元素的矢量参数，包括：

根据所述目标交通元素的目标语义点云，显示用于表示所述目标交通元素的目标图形。

根据第一方面，在一种可能的实施方式中，所述对所述语义点云进行异常点剔除处理，以得到目标语义点云，包括：

确定每一目标交通元素的语义点云的参考平面；所述参考平面与地面平行；

针对所述参考平面内的每一基准点，搜索当前基准点在与所述参考平面垂直方向上的潜在三维点；

统计所述潜在三维点的高度分布，并根据统计结果确定所述潜在三维点是否为异常点；

在所述潜在三维点为异常点的情况下，将所述异常点剔除，以得到从所述语义点云中剔除所述异常点后的目标语义点云。

根据第一方面，在一种可能的实施方式中，所述统计所述潜在三维点的高度分布，并根据统计结果确定所述潜在三维点是否为异常点，包括：

构建预设高度的高度分布直方图；其中，所述直方图的横轴为高度的分布区间，纵轴为落在对应的分布区间的点的统计数；

在所述高度分布直方图不连续的情况下，确定所述潜在三维点为异常点。

根据第一方面，在一种可能的实施方式中，根据所述目标交通元素的语义点云，显示用于表示所述目标交通元素的目标图形，包括：

根据所述目标交通元素的语义点云，确定所述目标交通元素的矢量参数；

基于所述目标交通元素的矢量参数，显示用于表示所述目标交通元素的目标图形。

根据第一方面，在一种可能的实施方式中，所述目标交通元素包括灯杆；所述根据所述目标交通元素的语义点云，确定所述目标交通元素的矢量参数，包括：

根据所述目标交通元素的语义点云中的每一点的三维坐标信息，对所述目标交通元素的语义点云进行拟合，得到拟合的直线方程；

根据所述目标交通元素的语义点云中高度最高的点、高度最低的点以及所述直线方程，得到用于表征所述目标交通元素的线段的端点的矢量参数。

第二方面，本公开实施例提供了一种交通元素的显示装置，包括：

检测模块，用于对图像采集部件所采集的现实场景图像进行目标检测；

获取模块，用于在检测到所述现实场景图像中包括目标交通元素的情况下，根据所述现实场景图像的目标采集时间获取相应的点云地图；

第一确定模块，用于根据在所述现实场景图像中检测到的目标交通元素，确定所述点云地图中与所述目标交通元素对应的语义点云；

第二确定模块，用于根据所述目标交通元素的语义点云，显示用于表示所述目标交通元素的目标图形。

根据第二方面，在一种可能的实施方式中，所述目标图形为所述目标交通元素的中心线或者边界轮廓线。

根据第二方面，在一种可能的实施方式中，所述点云地图为所述目标采集时间前后间隔下的点云地图。

根据第二方面，在一种可能的实施方式中，所述第一确定模块具体用于：

根据在所述现实场景图像中检测到的目标交通元素，确定所述目标交通元素在所述现实场景图像中的显示边界；

判断所述点云地图中的每一点是否落于所述现实场景图像中的所述目标交通元素的显示边界范围内；

将落于所述现实场景图像中的所述目标交通元素的显示边界范围内的所述点云地图中的点，确定为与所述目标交通元素对应的语义点云。

根据第二方面，在一种可能的实施方式中，第一确定模块具体用于：

基于采集点云数据的雷达设备的绝对位姿、所述图像采集部件相对于所述雷达设备的相对位姿，以及所述图像采集部件的内部参数，判断所述点云地图中的每一点是否落于所述现实场景图像中的所述目标交通元素的显示边界范围内。

根据第二方面，在一种可能的实施方式中，第一确定模块具体用于：

基于所述雷达设备相对于世界坐标系的绝对位姿，以及所述图像采集部件相对于所述雷达设备的相对位姿，将所述点云地图中的每一点在世界坐标系下的第一坐标转换为在相机坐标系下的第二坐标；

基于所述图像采集部件的内部参数，将所述第二坐标转换为图像坐标系下的第三坐标；

根据所述第三坐标以及所述现实场景图像中的所述目标交通元素的显示边界在所述图像坐标系下的坐标范围，判断所述点云地图中的每一点是否落于所述现实场景图像中的所述目标交通元素的显示边界的范围内。

根据第二方面，在一种可能的实施方式中，所述交通元素的显示装置，还包括：

剔除模块，用于对所述语义点云进行异常点剔除处理，以得到目标语义点云；

所述第二确定模块具体用于：

根据所述目标交通元素的目标语义点云，显示用于表示所述目标交通元素的目标图形。

根据第二方面，在一种可能的实施方式中，所述剔除模块具体用于：

确定每一目标交通元素的语义点云的参考平面；所述参考平面与地面平行；

针对所述参考平面内的每一基准点，搜索当前基准点在与所述参考平面垂直方向上的潜在三维点；

统计所述潜在三维点的高度分布，并根据统计结果确定所述潜在三维点是否为异常点；

在所述潜在三维点为异常点的情况下，将所述异常点剔除，以得到从所述语义点云中剔除所述异常点后的目标语义点云。

根据第二方面，在一种可能的实施方式中，所述剔除模块具体用于：

构建预设高度的高度分布直方图；其中，所述直方图的横轴为高度的分布区间，纵轴为落在对应的分布区间的点的统计数；

在所述高度分布直方图不连续的情况下，确定所述潜在三维点为异常点。

根据第二方面，在一种可能的实施方式中，第二确定模块具体用于：

根据所述目标交通元素的语义点云，确定所述目标交通元素的矢量参数；

基于所述目标交通元素的矢量参数，显示用于表示所述目标交通元素的目标图形。

根据第二方面，在一种可能的实施方式中，所述目标交通元素包括灯杆；第二确定模块具体用于：

根据所述目标交通元素的语义点云中的每一点的三维坐标信息，对所述目标交通元素的语义点云进行拟合，得到拟合的直线方程；

根据所述目标交通元素的语义点云中高度最高的点、高度最低的点以及所述直线方程，得到用于表征所述目标交通元素的线段的端点的矢量参数。

第三方面，本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如第一方面所述的交通元素的显示方法的步骤。

第四方面，本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如第一方面所述的交通元素的显示方法的步骤。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种交通元素的显示方法的流程图；

图2示出了本公开实施例所提供的一种数据采集车辆的立体示意图；

图3示出了本公开实施例所提供的一种现实场景图像的示意图；

图4示出了本公开实施例所提供的一种确定目标交通元素的语义点云方法的流程图；

图5示出了本公开实施例所提供的一种目标交通元素的语义点云的示意图；

图6示出了本公开实施例所提供的一种确定点云地图中的点是否落入现实场景图像中的目标交通元素的现实边界范围内的方法的流程图；

图7示出了本公开实施例所提供的一种根据语义点云确定目标交通元素的矢量参数的方法的流程图；

图8示出了本公开实施例所提供的一种目标交通元素的矢量参数的可视化结果示意图；

图9示出了本公开实施例所提供的另一种交通元素的显示方法的流程图；

图10示出了本公开实施例所提供的一种对语义点云进行异常点剔除处理的方法的流程图；

图11示出了本公开实施例所提供的一种灯杆的语义点云的分布示意图；

图12示出了本公开实施例所提供的一种统计的灯杆的语义点云的分布直方图；

图13示出了本公开实施例所提供的另一种统计的灯杆的语义点云的分布直方图。

图14示出了本公开实施例所提供的一种剔除异常点后的灯杆的目标语义点云的示意图；

图15示出了本公开实施例所提供的一种交通元素的显示装置的结构示意图；

图16示出了本公开实施例所提供的另一种交通元素的显示装置的结构示意图；

图17示出了本公开实施例所提供的一种电子设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。

近些年来，无人驾驶技术高速发展，其中车辆能够完全自主决策进行自动驾驶的相关技术涉及：场景感知、高精度定位、高精度地图、路径规划、行为决策及车辆控制等，在这其中高精度地图是一项较为关键的技术，对于决策、定位、规划和车辆控制起到了基础性作用。

高精度地图的生成需要对各个道路元素进行提取，进而实现语义地图的构建。其中道路两侧的灯杆在高精度地图中是一个重要组成元素，其对基于高精度地图的语义定位能够起很好的帮助，同时对于决策中的避障和路径规划也能够起到辅助作用。

经研究发现，现有技术中，通常通过手工在雷达点云上进行人工标注来进行灯杆的提取，然而，该方法需要投入较多的人力和时间，进而导致地图生成的成本较高且效率较低。因此，如何提高目标交通元素(比如灯杆)矢量提取的效率，为本公开要解决的技术问题。

基于上述研究，本公开提供了一种交通元素的显示方法，结合现实场景图像对点云地图中的语义点云进行处理，进而实现目标交通元素的显示，相对于现有技术中人工标注的方法，可以减少人力的投入，降低成本，且提高了地图生成的效率。另外，该交通元素的显示方法由于基于现实场景图像得到点云地图中的语义点云，可以提高灯杆提取的精度及鲁棒性。

为便于对本申请实施例进行理解，下面结合具体实施例对本申请方案进行详细介绍。本公开实施例所提供的交通元素的显示方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为移动设备、用户终端、终端、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该交通元素的显示方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例提供的交通元素的显示方法的流程图，该交通元素的显示方法包括以下s101～s104：

s101，对图像采集部件所采集的现实场景图像进行目标检测。

示例地，可以通过装备有激光雷达、相机、gps(globalpositioningsystem，全球定位系统)、imu(inertialmeasurementunit，惯性测量单元)等传感器的数据采集车来完成数据的采集。

其中，数据采集车辆集成激光扫描仪、gps接收机和imu。其工作原理为：激光扫描仪扫描物体，在扫描物体得到扫描点云的过程中，通过gps接收机确定激光扫描仪的空间位置，通过imu确定激光扫描仪的姿态，进而最终建立扫描物体的三维模型。

示例地，参见图2所示，为本公开实施例提供的一种数据采集车辆100的侧视图。该车辆100包括图像采集部件10、组合导航单元20、雷达设备30、车辆轮速计单元40及多传感器数据时间同步单元50，图2中各设备/部件的位置仅为示意，并非本实施例中各设备/部件的实际安装位置。

图像采集部件10用于采集与周围环境相关的现实场景图像。示例地，图像采集部件10可以为相机，例如可包括多个单目相机，多个单目相机可以被设置在车辆100的外部(例如车辆上表面的前部)。

组合导航单元20用于提供车辆100的定位数据以及姿态数据。例如，组合导航单元20可以包括双天线gnss(全球卫星导航)信号接收模块，其可安装在车辆100的上表面的中部，组合导航单元20还包括惯性导航系统(inertialnavigationsystem，ins)，该惯性导航系统用于确定车辆状态信息。

雷达设备30用于获取与周围环境相关的雷达点云，点云地图为根据雷达点云生成的地图。示例地，雷达设备30可以包括激光雷达(例如倾斜多线激光雷达)。激光雷达用于向周围环境发射第一激光束并接收环境中物体(例如建筑物、交通信号灯、交通标识、车辆、行人、道路隔离带、道路等)反射的第二激光束。

车辆轮速计单元40用于提供轮速数据，可以被安装在车轮附近，例如后轮附近。

多传感器数据时间同步单元50与图像采集部件10、组合导航单元20、雷达设备30及车辆轮速计单元40耦合，用于使图像采集部件10、组合导航单元20、雷达设备30及车辆轮速计单元40获取的数据同步，其可设置于车辆100的侧面。

可以理解，车辆100还包括处理器(图2未示)，该处理器可以与上述各个单元电连接，并依据上述各个单元获取的数据执行相应的方法，如本公开实施例中的交通元素的显示方法。

可以理解，在图像采集过程中，可以采集到若干图像，而在该若干图像中可能存在一些图像中存在目标交通元素，也可能存在一些图像中不存在目标交通元素，而存在目标交通元素的图像才是所需要的。其中，目标交通元素可以是道路环境中的物体或设施，例如灯杆、道路围栏等。

具体地，如图3所示，可以通过深度学习技术对单张现实场景图像进行目标检测，其中该现实场景图像中的目标交通元素为灯杆。

需要说明的是，本申请实施例中的目标交通元素以灯杆为例来进行说明，其他实施例中，目标交通元素还可以是其他道路元素，比如路牌、斑马线等，在此不做限定。

具体地，可以预先对大量的带有标注的样本(如包含有目标交通元素的大量图片)进行训练，得到训练好的深度神经网络模型(比如yolo神经网络模型)，在实际目标检测过程中，可以将现实场景图输入至训练好的深度神经网络模型，即可得到当前现实场景图像中是否包括目标交通元素的输出结果。

s102，在检测到现实场景图像中包括目标交通元素的情况下，根据现实场景图像的目标采集时间获取相应的点云地图。

示例地，为了获得当前现实场景图像帧附近的更为稠密的雷达点云，可以根据现实场景图像的目标采集时间，获取对应的采集时间与目标采集时间之差的绝对值在预设范围内的点云数据帧及与点云数据帧对应的位姿数据；其中，点云数据帧和与点云数据帧对应的位姿数据以及现实场景图像的时间戳同步，且用于采集点云数据的设备(如雷达)、用于采集现实场景图像的设备(如相机)以及用于采集位姿数据的设备(如组合导航单元)相对应。也即，在获取现实场景图像的同时也获取相机的位姿数据，在获取点云数据的同时也获取雷达的位姿数据，因此，通过相机的位姿数据、雷达的位姿数据分别和世界坐标系的关系，可以将现实场景图像和点云数据之间的坐标转换，或者将现实场景图像和点云数据转换至世界坐标系下。

例如，若现实场景图像的目标采集时间为11:00，则可以获取时间范围在11:00前后2秒之间所采集到的点云数据帧及其对应的位姿数据。具体地，该点云数据帧可以通过图2中的雷达设备30获取，该位姿数据可以通过图2中的组合导航单元20获取，该时间戳可以通过图2中的多传感器数据时间同步单元50获取。然后，根据位姿数据将点云数据帧拼接在一起，可以得到点云地图，也即，本实施方式中的点云地图为所述目标采集时间前后间隔下的点云地图，所述目标采集时间前后间隔的时间可根据实际实施需求来设定，本实施例提供的上述间隔时间仅供参考。

s103，根据在现实场景图像中检测到的目标交通元素，确定点云地图中与目标交通元素对应的语义点云。

示例地，可以根据图3中的检测到的现实场景图像中的灯杆，然后将点云地图中与该灯杆对应的点云，确定为点云地图中的灯杆的语义点云。具体的确定方法，详见后文阐述。

s104，根据目标交通元素的语义点云，显示用于表示所述目标交通元素的目标图形。

可以理解，由于高精度地图的地图规模较大，存储元素的矢量信息可以做到存储量更小，因此，一些实施方式中，可以根据所述目标交通元素的语义点云，确定所述目标交通元素的矢量参数；基于所述目标交通元素的矢量参数，显示用于表示所述目标交通元素的目标图形。如此，通过保存灯杆的矢量参数信息，可以减小数据的存储量。

一些实施方式中，所述目标图形的展示形式可以根据目标交通元素的类型而确定，例如，若目标交通元素为灯杆或者斑马线，则目标图形可以是目标交通元素的中心线，若目标交通元素为花坛，则目标图形可以为所述目标交通元素的边界轮廓线。

本公开实施例中，结合现实场景图像对点云地图中的语义点云进行处理，进而实现目标交通元素的显示，相对于现有技术中人工标注的方法，可以减少人力的投入，降低成本，且提高了地图生成的效率。另外，该交通元素的显示方法由于基于现实场景图像得到点云地图中的语义点云，也即在目标交通元素矢量提取的过程中利用了视觉检测信息，进而可以提高灯杆提取的精度及鲁棒性。

下面将结合具体实施例对上述s103～s104进行详细介绍。

针对上述s103，在根据在现实场景图像中检测到的目标交通元素，确定点云地图中与目标交通元素对应的语义点云时，如图4所示，包括以下s1031～s1033：

s1031，根据在现实场景图像中检测到的目标交通元素，确定目标交通元素在现实场景图像中的显示边界。

示例地，在现实场景图像中检测到的目标交通元素后，可以确定目标交通元素在该图像坐标系下的最小包围范围，其中，该最小包围范围是指该目标交通元素的轮廓边界线所包围的范围，比如图3中的灯杆的最小包围矩形框。

s1032，判断点云地图中的每一点是否落于现实场景图像中的目标交通元素的显示边界范围内。

示例地，可以基于采集点云数据的雷达设备的绝对位姿、图像采集部件相对于雷达设备的相对位姿，以及图像采集部件的内部参数，判断点云地图中的每一点是否落于现实场景图像中的目标交通元素的显示边界范围内。

s1033，将落于现实场景图像中的目标交通元素的显示边界范围内的点云地图中的点，确定为与目标交通元素对应的语义点云。

示例地，将点云地图中落于现实场景图像中的灯杆的最小矩形框内的点，确定为点云地图中对应灯杆的语义点云，参见图5所示，为根据图3中的现实场景图像得到的对应灯杆的语义点云的示意图。

本公开实施例，根据判断点云地图中的每一点是否落于现实场景图像中的目标交通元素的显示边界范围内，来确定目标交通元素的语义点云，可以提高得到的目标交通元素的语义点云的效率和精度。

针对上述s1032，在判断点云地图中的每一点是否落于现实场景图像中的目标交通元素的显示边界范围内时，如图6所示，包括以下s10321～s10323：

s10321，基于雷达设备相对于世界坐标系的绝对位姿，以及图像采集部件相对于雷达设备的相对位姿，将点云地图中的每一点在世界坐标系下的第一坐标转换为在相机坐标系下的第二坐标。

示例地，根据当前雷达设备相对于世界坐标系的绝对姿态tlw和相机相对于雷达设备的外参数tcl，将点云地图中在世界坐标系下的点pw转换到相机坐标系下得到点pc，具体公式如下所示。

pc＝tcltlwpw

s10322，基于图像采集部件的内部参数，将第二坐标转换为图像坐标系下的第三坐标。

示例地，对于相机坐标系下的点pc，可以根据相机的内参k将3d点转换到图像坐标系下得到2d点uv，并判断点uv是否落在图3中的检测结果中的灯杆的外接矩形中，进而判断该点是否为初始的灯杆语义点。其中，2d点uv的表达式如下所示。

s10323，根据第三坐标以及现实场景图像中的目标交通元素的显示边界在图像坐标系下的坐标范围，判断点云地图中的每一点是否落于现实场景图像中的目标交通元素的显示边界的范围内。

通过坐标系的转换关系来确定点云地图中的3d点的在图像坐标系下的坐标，并根据转换后的坐标来判断该3d点是否落入目标交通元素的显示边界的范围内，如此可以提高判断的精度。

针对上述s104，在根据目标交通元素的语义点云，确定目标交通元素的矢量参数时，如图7所示，包括以下s1041～s1042：

s1041，根据目标交通元素的语义点云中的每一点的三维坐标信息，对目标交通元素的语义点云进行拟合，得到拟合的直线方程。

示例地，可以采用线段的方法来表示灯杆的矢量参数信息。因此，在得到语义点云后，可以利用这些点云进行最终的参数提取。提取的方法主要为根据点云的3d点的坐标信息进行直线最小二乘法的拟合。其中，拟合的目标函数如下，为一个标准的3d点斜式方程。

s1042，根据目标交通元素的语义点云中高度最高的点、高度最低的点以及直线方程，得到用于表征目标交通元素的线段的端点的矢量参数。

示例地，在得到拟合的直线方程后，将点云地图中的最低点和最高点的高度代入到方程中，可以得到最终的能够表示线段的两个目标点，用该两个目标点来表示整个灯杆的矢量信息。参见图8所示，为根据图5中的灯杆的语义点云，而得到的一个最终提取出的灯杆的线段可视化结果。

参见图9所示，为本公开实施例提供的另一种交通元素的显示方法的流程图，该交通元素的显示方法包括以下s201～s205：

s201，对图像采集部件所采集的现实场景图像进行目标检测。

其中，该步骤与上述实施例中的步骤s101类似，在此不再赘述。

s202，在检测到现实场景图像中包括目标交通元素的情况下，根据现实场景图像的目标采集时间获取相应的点云地图。

其中，该步骤与上述实施例中的步骤s102类似，在此不再赘述。

s203，根据在现实场景图像中检测到的目标交通元素，确定点云地图中与目标交通元素对应的语义点云。

其中，该步骤与上述实施例中的步骤s103类似，在此不再赘述

s204，对语义点云进行异常点剔除处理，以得到目标语义点云。

可以理解，由于图像的检测结果为目标检测的结果(如外接矩形)，导致在点云地图中的点投影到现实场景图像中时会引入很多的噪声和无关点云，例如树木，地面等。因此，为了提高得到的目标交通元素的语义点云的精度，需要对得到的语义点云进行异常点剔除，进而得到精度较高的目标语义点云，从而方便进行后续的矢量化参数提取。

s205，根据目标交通元素的语义点云，显示用于表示所述目标交通元素的目标图形。

其中，该步骤与上述实施例中的步骤s104类似，在此不再赘述。

针对上述s204，在对语义点云进行异常点剔除处理，以得到目标语义点云时，如图10所示，包括以下s2041～s2044：

s2041，确定每一目标交通元素的语义点云的参考平面；参考平面与地面平行。

示例地，可以利用灯杆的较强的形状先验来进行无关点进行过滤。比如，灯杆内的点云在高度方向上应该一致，而若是树木的点云则只会在特定的高度内存在该点，因此，可以基于该原理搜索异常点。

s2042，针对参考平面内的每一基准点，搜索当前基准点在与参考平面垂直方向上的潜在三维点。

示例地，参见图11所示，首先搜索参考平面内半径r内的所有三维点，然后针对参考平面内的每一个3d点，利用二维度的kd树搜索当前3d点在竖直方向上的所有潜在3d点。其中，该竖直方向为与地面垂直的方向。

s2043，统计潜在三维点的高度分布，并根据统计结果确定潜在三维点是否为异常点。

针对s2043，在统计潜在三维点的高度分布，并根据统计结果确定潜在三维点是否为异常点，可以包括：

(1)构建预设高度的高度分布直方图；其中，直方图的横轴为高度的分布区间，纵轴为落在对应的分布区间的点的统计数。

(2)在高度分布直方图不连续的情况下，确定潜在三维点为异常点。

具体地，可以构建一个高度为h的高度分布直方图，直方图的横轴为高度的分布区间，纵轴为落在这个小分布区间的点数统计。由于灯杆内的点云在竖直方向上是连续的，因此需要保证该直方图在整个h的分布区间连续性，如果高度直方图不连续(如图12所示)，那么认为当前的3d点为异常点，需要进行剔除。如果高度直方图比较连续(如图13所示)，那么认为当前3d点属于灯杆上的目标点，同时对于整个直方图内分布的点都可以认为属于目标点，如此可以避免重复判断，可以进一步提高异常点判断的效率。

s2044，在潜在三维点为异常点的情况下，将异常点剔除，以得到从语义点云中剔除异常点后的目标语义点云。

示例地，参见图14所示，为对得到的语义点云进行异常点剔除后，得到的灯杆的目标点云的示意图。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一技术构思，本公开实施例中还提供了与交通元素的显示方法对应的交通元素的显示装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述交通元素的显示方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

参照图15所示，为本公开实施例提供的一种交通元素的显示装置500的示意图，该交通元素的显示装置500包括：

检测模块501，用于对图像采集部件所采集的现实场景图像进行目标检测；

获取模块502，用于在检测到所述现实场景图像中包括目标交通元素的情况下，根据所述现实场景图像的目标采集时间获取相应的点云地图；

第一确定模块503，用于根据在所述现实场景图像中检测到的目标交通元素，确定所述点云地图中的对应所述目标交通元素的语义点云；

第二确定模块504，用于根据所述目标交通元素的语义点云，确定所述目标交通元素的矢量参数。

在一种可能的实施方式中，所述目标图形为所述目标交通元素的中心线或者边界轮廓线。

在一种可能的实施方式中，所述点云地图为所述目标采集时间前后间隔下的点云地图。

在一种可能的实施方式中，所述第一确定模块503具体用于：

根据在所述现实场景图像中检测到的目标交通元素，确定所述目标交通元素在所述现实场景图像中的显示边界；

判断所述点云地图中的每一点是否落于所述现实场景图像中的所述目标交通元素的显示边界范围内；

将落于所述现实场景图像中的所述目标交通元素的显示边界范围内的所述点云地图中的点，确定为与所述目标交通元素对应的语义点云。

在一种可能的实施方式中，第一确定模块503具体用于：

基于采集点云数据的雷达设备的绝对位姿、所述图像采集部件相对于所述雷达设备的相对位姿，以及所述图像采集部件的内部参数，判断所述点云地图中的每一点是否落于所述现实场景图像中的所述目标交通元素的显示边界范围内。

在一种可能的实施方式中，第一确定模块503具体用于：

基于所述雷达设备相对于世界坐标系的绝对位姿，以及所述图像采集部件相对于所述雷达设备的相对位姿，将所述点云地图中的每一点在世界坐标系下的第一坐标转换为在相机坐标系下的第二坐标；

基于所述图像采集部件的内部参数，将所述第二坐标转换为图像坐标系下的第三坐标；

根据所述第三坐标以及所述现实场景图像中的所述目标交通元素的显示边界在所述图像坐标系下的坐标范围，判断所述点云地图中的每一点是否落于所述现实场景图像中的所述目标交通元素的显示边界的范围内。

参见图16所示，在一种可能的实施方式中，所述交通元素的显示装置500，还包括：

剔除模块505，用于对所述语义点云进行异常点剔除处理，以得到目标语义点云；

所述第二确定模块504具体用于：

根据所述目标交通元素的目标语义点云，显示用于表示所述目标交通元素的目标图形。

在一种可能的实施方式中，所述剔除模块505具体用于：

确定每一目标交通元素的语义点云的参考平面；所述参考平面与地面平行；

针对所述参考平面内的每一基准点，搜索当前基准点在与所述参考平面垂直方向上的潜在三维点；

统计所述潜在三维点的高度分布，并根据统计结果确定所述潜在三维点是否为异常点；

在所述潜在三维点为异常点的情况下，将所述异常点剔除，以得到从所述语义点云中剔除所述异常点后的目标语义点云。

在一种可能的实施方式中，所述剔除模块505具体用于：

构建预设高度的高度分布直方图；其中，所述直方图的横轴为高度的分布区间，纵轴为落在对应的分布区间的点的统计数；

在所述高度分布直方图不连续的情况下，确定所述潜在三维点为异常点。

在一种可能的实施方式中，第二确定模块504具体用于：

根据所述目标交通元素的语义点云，确定所述目标交通元素的矢量参数；

基于所述目标交通元素的矢量参数，显示用于表示所述目标交通元素的目标图形。

在一种可能的实施方式中，所述目标交通元素包括灯杆；第二确定模块504具体用于：

根据所述目标交通元素的语义点云中的每一点的三维坐标信息，对所述目标交通元素的语义点云进行拟合，得到拟合的直线方程；

根据所述目标交通元素的语义点云中高度最高的点、高度最低的点以及所述直线方程，得到用于表征所述目标交通元素的线段的端点的矢量参数。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

基于同一技术构思，本公开实施例还提供了一种电子设备。参照图17所示，为本公开实施例提供的电子设备700的结构示意图，包括处理器701、存储器702、和总线703。其中，存储器702用于存储执行指令，包括内存7021和外部存储器7022；这里的内存7021也称内存储器，用于暂时存放处理器701中的运算数据，以及与硬盘等外部存储器7022交换的数据，处理器701通过内存7021与外部存储器7022进行数据交换。

本申请实施例中，存储器702具体用于存储执行本申请方案的应用程序代码，并由处理器701来控制执行。也即，当电子设备700运行时，处理器701与存储器702之间通过总线703通信，使得处理器701执行存储器702中存储的应用程序代码，进而执行前述任一实施例中的方法。

处理器701可能是一种集成电路芯片，具有信号的处理能力。上述的处理器可以是通用处理器，包括中央处理器(centralprocessingunit，cpu)、网络处理器(networkprocessor，np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

其中，存储器702可以是，但不限于，随机存取存储器(randomaccessmemory，ram)，只读存储器(readonlymemory，rom)，可编程只读存储器(programmableread－onlymemory，prom)，可擦除只读存储器(erasableprogrammableread－onlymemory，eprom)，电可擦除只读存储器(electricerasableprogrammableread－onlymemory，eeprom)等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备700的具体限定。在本申请另一些实施例中，电子设备700可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中的交通元素的显示方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中的交通元素的显示方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(softwaredevelopmentkit，sdk)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。