一种图像行驶区域标注方法、装置、车载设备及存储介质与流程

本发明实施例涉及图像处理技术领域，具体涉及一种图像行驶区域标注方法、装置、车载设备及存储介质。

背景技术：

随着车辆无人驾驶技术的快速发展，对车辆周边环境的感知要求越来越高。当前车辆无人驾驶主要使用的感知传感器包括：图像传感器和雷达，其中，雷达又包括：毫米波雷达、超声波雷达以及激光雷达等。不同的感知传感器具有不同的特点和不同的感知范围，因此，不同感知传感器数据的融合成为车辆无人驾驶技术中重要的组成部分，通过融合不同特点和不同感知范围的感知传感器数据，可以实现更大探测范围、更准测量精度、更少误报及漏报的环境感知系统。

目前，在车辆无人驾驶领域中，通过融合多感知传感器数据、超像素分割、特征提取和置信度传播算法等方法实现图像中可行驶区域的标注。但是，超像素分割以及置信度传播算法均依赖于图像中障碍物和图像中可行驶区域之间有明显的边缘。在弱光照的场景中，例如地库场景，障碍物和地面间通常没有明显的边缘，当地面出现积水时，由于积水反光，无法确定障碍物和地面之间的边缘。

因此，在弱光照的场景中，目前实现图像中可行驶区域标注的方法，会将没有明显边缘的障碍物和地面认为是同一种区域，以及将积水区域与积水区域周围的地面当成两种不同的区域，使得可行驶区域标注失败或错误。所以，目前实现图像中可行驶区域标注的方法不适用于弱光照的场景。

技术实现要素：

为了解决现有技术存在的问题，本发明的至少一个实施例提供了一种图像行驶区域标注方法、装置、车载设备及存储介质。

第一方面，本发明实施例提出一种图像行驶区域标注方法，所述方法包括：

获取雷达采集的车辆周围环境的原始点云数据以及图像传感器采集的车辆周围环境的图像；

基于所述原始点云数据，确定路面点云数据；

基于所述路面点云数据，在所述图像中标注行驶区域。

基于第一方面，在第一方面第一实施例中，所述基于所述原始点云数据，确定路面点云数据，包括：

确定所述原始点云数据中各点在雷达坐标系下的相对高程；

将相对高程小于或等于预设的障碍物相对高程阈值的点确定为路面点云数据中的点。

基于第一方面，在第一方面第二实施例中，所述基于所述原始点云数据，确定路面点云数据，包括：

对所述原始点云数据进行上采样，得到采样点云数据；

基于所述原始点云数据以及所述采样点云数据，确定路面点云数据。

基于第一方面第二实施例，在第一方面第三实施例中，所述基于所述原始点云数据以及所述采样点云数据，确定路面点云数据，包括：

确定所述原始点云数据以及所述采样点云数据中各点在雷达坐标系下的相对高程；

将相对高程小于或等于预设的障碍物相对高程阈值的点确定为路面点云数据中的点。

基于第一方面，在第一方面第四实施例中，所述基于所述路面点云数据，在所述图像中标注行驶区域，包括：

将所述路面点云数据投影到所述图像中，得到所述图像中的路面投影数据；

基于所述路面投影数据，确定所述图像中路面区域的边缘信息；

基于所述边缘信息，在所述图像中标注行驶区域。

基于第一方面，在第一方面第五实施例中，所述方法还包括：

基于所述原始点云数据，确定障碍物点云数据；

相应地，所述基于所述路面点云数据，在所述图像中标注行驶区域，包括：

基于所述路面点云数据以及所述障碍物点云数据，在所述图像中标注行驶区域。

基于第一方面第五实施例，在第一方面第六实施例中，所述基于所述原始点云数据，确定障碍物点云数据，包括：

确定所述原始点云数据中各点在雷达坐标系下的相对高程；

将相对高程大于预设的障碍物相对高程阈值的点确定为障碍物点云数据中的点。

基于第一方面第五实施例，在第一方面第七实施例中，所述基于所述原始点云数据，确定障碍物点云数据，包括：

对所述原始点云数据进行上采样，得到采样点云数据；

基于所述原始点云数据以及所述采样点云数据，确定障碍物点云数据。

基于第一方面第七实施例，在第一方面第八实施例中，所述基于所述原始点云数据以及所述采样点云数据，确定障碍物点云数据，包括：

确定所述原始点云数据以及所述采样点云数据中各点在雷达坐标系下的相对高程；

将相对高程大于预设的障碍物相对高程阈值的点确定为障碍物点云数据中的点。

基于第一方面第五实施例，在第一方面第九实施例中，所述基于所述路面点云数据以及所述障碍物点云数据，在所述图像中标注行驶区域，包括：

将所述路面点云数据以及所述障碍物点云数据投影到所述图像中，得到所述图像中的路面投影数据以及障碍物投影数据；

基于所述路面投影数据以及所述障碍物投影数据，确定所述图像中路面区域的第一边缘信息以及障碍物区域的第二边缘信息；

基于所述第一边缘信息以及所述第二边缘信息，在所述图像中标注行驶区域。

第二方面，本发明实施例还提出一种图像行驶区域标注装置，所述装置包括：

获取单元，用于获取雷达采集的车辆周围环境的原始点云数据以及图像传感器采集的车辆周围环境的图像；

确定单元，用于基于所述原始点云数据，确定路面点云数据；

标注单元，用于基于所述路面点云数据，在所述图像中标注行驶区域。

基于第二方面，在第二方面第一实施例中，所述确定单元，包括：

第一子单元，用于确定所述原始点云数据中各点在雷达坐标系下的相对高程；

第二子单元，用于将相对高程小于或等于预设的障碍物相对高程阈值的点确定为路面点云数据中的点。

基于第二方面，在第二方面第二实施例中，所述确定单元，包括：

第三子单元，用于对所述原始点云数据进行上采样，得到采样点云数据；

第四子单元，用于基于所述原始点云数据以及所述采样点云数据，确定路面点云数据。

基于第二方面第二实施例，在第二方面第三实施例中，所述第四子单元，用于：

确定所述原始点云数据以及所述采样点云数据中各点在雷达坐标系下的相对高程；

将相对高程小于或等于预设的障碍物相对高程阈值的点确定为路面点云数据中的点。

基于第二方面，在第二方面第四实施例中，所述标注单元，用于：

将所述路面点云数据投影到所述图像中，得到所述图像中的路面投影数据；

基于所述路面投影数据，确定所述图像中路面区域的边缘信息；

基于所述边缘信息，在所述图像中标注行驶区域。

基于第二方面，在第二方面第五实施例中，所述确定单元，还用于基于所述原始点云数据，确定障碍物点云数据；

相应地，所述标注单元，用于基于所述路面点云数据以及所述障碍物点云数据，在所述图像中标注行驶区域。

基于第二方面第五实施例，在第二方面第六实施例中，所述确定单元，包括：

第一子单元，用于确定所述原始点云数据中各点在雷达坐标系下的相对高程；

第二子单元，用于将相对高程小于或等于预设的障碍物相对高程阈值的点确定为路面点云数据中的点；

第五子单元，用于将相对高程大于预设的障碍物相对高程阈值的点确定为障碍物点云数据中的点。

基于第二方面第五实施例，在第二方面第七实施例中，所述确定单元，包括：

第三子单元，用于对所述原始点云数据进行上采样，得到采样点云数据；

第四子单元，用于基于所述原始点云数据以及所述采样点云数据，确定路面点云数据；

第六子单元，用于基于所述原始点云数据以及所述采样点云数据，确定障碍物点云数据。

基于第二方面第七实施例，在第二方面第八实施例中，所述第六子单元，用于：

确定所述原始点云数据以及所述采样点云数据中各点在雷达坐标系下的相对高程；

将相对高程大于预设的障碍物相对高程阈值的点确定为障碍物点云数据中的点。

基于第二方面第五实施例，在第二方面第九实施例中，所述标注单元，用于：

将所述路面点云数据以及所述障碍物点云数据投影到所述图像中，得到所述图像中的路面投影数据以及障碍物投影数据；

基于所述路面投影数据以及所述障碍物投影数据，确定所述图像中路面区域的第一边缘信息以及障碍物区域的第二边缘信息；

基于所述第一边缘信息以及所述第二边缘信息，在所述图像中标注行驶区域。

第三方面，本发明实施例还提出一种车载设备，包括：

处理器、存储器、网络接口和用户接口；

所述处理器、存储器、网络接口和用户接口通过总线系统耦合在一起；

所述处理器通过调用所述存储器存储的程序或指令，用于执行如第一方面所述方法的步骤。

第四方面，本发明实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如第一方面所述方法的步骤。

可见，本发明实施例的至少一个实施例中，通过获取雷达采集的原始点云数据，可确定路面点云数据，进而基于路面点云数据标注图像中可行驶区域，由于点云数据不受环境光照强度的影响，使得图像中可行驶区域的标注不受环境光照强度的影响，因此，本发明实施例提出的图像行驶区域标注方案适用于弱光照的场景。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种车载设备的结构示意图；

图2为本发明实施例提供的一种图像行驶区域标注方法流程图；

图3为本发明实施例提供的一种图像行驶区域标注装置框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

图1是本发明实施例提供的一种车载设备的结构示意图。

图1所示的车载设备包括：至少一个处理器101、至少一个存储器102、至少一个网络接口104和其他的用户接口103。车载设备中的各个组件通过总线系统105耦合在一起。可理解，总线系统105用于实现这些组件之间的连接通信。总线系统105除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图1中将各种总线都标为总线系统105。

其中，用户接口103可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(trackball)或者触感板等)。

可以理解，本实施例中的存储器102可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-onlymemory，rom)、可编程只读存储器(programmablerom，prom)、可擦除可编程只读存储器(erasableprom，eprom)、电可擦除可编程只读存储器(electricallyeprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(randomaccessmemory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(staticram，sram)、动态随机存取存储器(dynamicram，dram)、同步动态随机存取存储器(synchronousdram，sdram)、双倍数据速率同步动态随机存取存储器(doubledataratesdram，ddrsdram)、增强型同步动态随机存取存储器(enhancedsdram，esdram)、同步连接动态随机存取存储器(synchlinkdram，sldram)和直接内存总线随机存取存储器(directrambusram，drram)。本文描述的存储器102旨在包括但不限于这些和任意其它适合类型的存储器。

在一些实施方式中，存储器102存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统1021和应用程序1022。

其中，操作系统1021，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序1022，包含各种应用程序，例如媒体播放器(mediaplayer)、浏览器(browser)等，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序1022中。

在本发明实施例中，处理器101通过调用存储器102存储的程序或指令，具体的，可以是应用程序1022中存储的程序或指令，处理器101用于执行图像行驶区域标注方法各实施例所提供的步骤，例如包括以下步骤一至步骤三：

步骤一、获取雷达采集的车辆周围环境的原始点云数据以及图像传感器采集的车辆周围环境的图像；

步骤二、基于所述原始点云数据，确定路面点云数据；

步骤三、基于所述路面点云数据，在所述图像中标注行驶区域。

上述本发明实施例揭示的方法可以应用于处理器101中，或者由处理器101实现。处理器101可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器101中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器101可以是通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(fieldprogrammablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器102，处理器101读取存储器102中的信息，结合其硬件完成上述方法的步骤。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的实施例中，应该理解到，方法实施例的步骤之间除非存在明确的先后顺序，否则执行顺序可任意调整。所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

图2为本发明实施例提供的一种图像行驶区域标注方法流程图。该方法的执行主体为车载设备。

如图2所示，本实施例公开的图像行驶区域标注方法可包括以下步骤201和203：

201、获取雷达采集的车辆周围环境的原始点云数据以及图像传感器采集的车辆周围环境的图像。

202、基于原始点云数据，确定路面点云数据。

203、基于路面点云数据，在图像中标注行驶区域。

本实施例中，雷达和图像传感器均安装在车辆上，安装位置包括但不局限于：车辆顶部、车辆外侧面上、车辆前立面上和车辆前部底盘边缘中的一个或多个。

本实施例中，图像传感器例如为相机。通过预先完成雷达与相机之间的互标定，可获取相机的内参数和外参数。互标定的方式可沿用现有方式，在此不再赘述。

本实施例中，相机的内参数是与相机自身特性相关的参数，比如相机的焦距、像素大小等；相机的外参数是在世界坐标系中的参数，比如相机的位置、旋转方向等。

本实施例中，雷达采集的原始点云数据是在雷达坐标系下的点的集合。雷达采集点云数据的过程为：雷达扫描车辆周围环境，测量车辆周围环境中点的信息，点的信息例如至少包括但不限于：雷达坐标系下点的坐标值、点的rgb颜色、灰度值、深度等中的一个或多个。

本实施例中，雷达可以为激光雷达，激光雷达可以是多线激光雷达，包括但不限于4线、8线、16线、40线、32线、64线、128线、256线激光雷达等。在一些实施例中，多线激光雷达的多线排列形成的直线与车辆底盘或地面相垂直。

本实施例中，激光雷达采集的原始点云数据是激光雷达的激光照射到车辆周围物体上激光点在空间中的三维位置集合。

在一些实施例中，多线激光雷达可以是旋转式的，随着多线激光雷达的转动，激光束在不同时刻照射在车辆周围物体上的激光点，相当于在车辆周围组成的点状网，点状网中的激光点的位置集合可以构成原始点云数据。

在一些实施例中，激光雷达可以采用多个多线激光雷达组成的激光雷达阵列。即，同一时刻，激光雷达可以向周围同时发出多排激光束，进而激光雷达开启后，可直接在车辆周围形成由激光点组成的点状网，点状网中的激光点的位置集合可以构成原始点云数据。

在一些实施例中，激光雷达可以为固态激光雷达，固态激光雷达可以不通过旋转来采集车辆周围环境的原始点云数据。

本实施例中，雷达采集的车辆周围环境的原始点云数据至少包括属于路面的点云数据，为便于描述，文中统一描述为路面点云数据。

本实施例中，车载设备可从原始点云数据中查找路面点云数据，以便确定路面的边缘，从而基于路面的边缘，在图像中标注行驶区域。

可见，本实施例公开的图像行驶区域标注方法，通过获取雷达采集的原始点云数据，可确定路面点云数据，进而基于路面点云数据标注图像中可行驶区域，由于点云数据不受环境光照强度的影响，使得图像中可行驶区域的标注不受环境光照强度的影响，因此，本实施例公开的图像行驶区域标注方法适用于弱光照的场景，例如地下车库。

在一些实施例中，基于原始点云数据，确定路面点云数据，可包括以下步骤一和步骤二：

步骤一、确定原始点云数据中各点在雷达坐标系下的相对高程；

步骤二、将相对高程小于或等于预设的障碍物相对高程阈值的点确定为路面点云数据中的点。

本实施例中，雷达坐标系是以雷达安装位置或雷达中心为坐标原点，车辆前进方向为雷达坐标系中的x轴方向，车辆的左右方向为雷达坐标系中的y轴方向，与车辆所在地面相垂直的方向为雷达坐标系中的z轴方向。

本实施例中，车辆坐标系是以车辆后轴中心在地面的投影点为坐标原点，车辆前进方向为车辆坐标系中的x轴方向，车辆的左右方向为车辆坐标系中的y轴方向，与车辆所在地面相垂直的方向为车辆坐标系中的z轴方向。

在一些实施例中，可以预先通过测量等方式，对雷达坐标系和车辆坐标系分别进行标定，根据两个坐标系之间的标定关系，可以将雷达坐标系中的第一坐标，通过旋转平移的方式转换到车辆坐标系中，得到第一坐标对应的第二坐标。

在得到激光点在雷达坐标系下的第一坐标后，再转换为车辆坐标系下的第二坐标，其目的是考虑到车辆上若安装有多个激光雷达，不同的激光雷达输出的坐标不兼容，在后续计算时，需要先换算才可进行下一步计算。为了提高计算效率，将所有第一坐标均转换为车辆坐标系下的第二坐标，后续计算时就无需再进行转换，便于对激光点的位置进行统一计算。

在一些实施例中，在对激光雷达所发出的激光点的位置进行采集时，统一将雷达坐标系下的激光点的坐标转换成车辆坐标系下的坐标，这样当车辆上有两个或两个以上的激光雷达时，获取到所有激光雷达的激光点的位置均统一为车辆坐标系下的坐标，可以避免不同坐标系需要分别运算的问题，提高了运算速度及效率。

本实施例中，原始点云数据中各点在雷达坐标系下的相对高程为各点在雷达坐标系中z轴方向的坐标值。

本实施例中，障碍物相对高程阈值为雷达坐标系中z轴方向的预设坐标值。障碍物相对高程阈值可以理解为障碍物的最低高程或路面的最高高程。

本实施例中，对于有坡度的路面和无坡度的路面，障碍物相对高程阈值相同。本实施例中，无论有坡度的路面和无坡度的路面，均假设路面的表面平坦，无坑洼。

在一些实施例中，由于雷达固定安装在车辆上，例如安装在车牌上，雷达和路面的相对距离是一个固定值，不会随着路面的坡度而改变，因此，对于有坡度的路面和无坡度的路面，障碍物相对高程阈值设置相同。

本实施例中，障碍物相对高程阈值基于雷达与路面的相对距离确定，本实施例不限定障碍物相对高程阈值的具体取值。

本实施例中，将相对高程小于或等于预设的障碍物相对高程阈值的点确定为路面点云数据中的点。

在一些实施例中，基于原始点云数据，确定路面点云数据，可包括以下步骤一和步骤二：

步骤一、对原始点云数据进行上采样，得到采样点云数据；

步骤二、基于原始点云数据以及采样点云数据，确定路面点云数据。

本实施例中，针对原始点云数据的稀疏性问题，采用上采样方式可增加点云数据量。

本实施例中，基于原始点云数据以及采样点云数据，确定路面点云数据，可增加路面点云数据量。

本实施例中，基于增加了数量的路面点云数据，使得在图像中标注的行驶区域更加精确。

在一些实施例中，基于原始点云数据以及采样点云数据，确定路面点云数据，具体包括以下步骤一和步骤二：

步骤一、确定原始点云数据以及采样点云数据中各点在雷达坐标系下的相对高程；

步骤二、将相对高程小于或等于预设的障碍物相对高程阈值的点确定为路面点云数据中的点。

本实施例中，采样点云数据中各点在雷达坐标系下的相对高程为各点在雷达坐标系中z轴方向的坐标值。

本实施例中，障碍物相对高程阈值为雷达坐标系中z轴方向的预设坐标值。障碍物相对高程阈值可以理解为障碍物的最低高程或路面的最高高程。因此，将采样点云数据中相对高程小于或等于预设的障碍物相对高程阈值的点确定为路面点云数据中的点。

本实施例中，确定原始点云数据中属于路面的点云数据的方式可参加上文描述，在此不再赘述。

在一些实施例中，基于路面点云数据，在图像中标注行驶区域，具体包括以下步骤一至步骤三：

步骤一、将路面点云数据投影到图像中，得到图像中的路面投影数据。

步骤二、基于路面投影数据，确定图像中路面区域的边缘信息。

步骤三、基于边缘信息，在图像中标注行驶区域。

本实施例中，通过将路面点云数据投影到图像，实现了雷达数据与图像数据的对齐，投影方式可沿用现有技术，在此不再赘述。

本实施例中，得到图像中的路面投影数据后，可确定图像中路面区域的边缘信息，具体包括以下步骤(1)至步骤(3)：

(1)将图像中的路面投影数据按列进行统计，确定每列中路面投影点的最大行位置。本实施例中，图像的底部至顶部的方向为行位置增加的方向。

(2)将每列中行位置低于最大行位置的所有点标记为路面中的点，将标记为路面中的点的集合确定为路面区域。

(3)对路面区域进行开操作，得到路面区域的边缘信息。

本实施例中，开操作可使断裂的路面区域连接起来，并使断裂的路面区域的边缘变得光滑，断开狭窄的间断和消除细的突出物。开操作可沿用现有技术，本实施例不再赘述。

在一些实施例中，本发明实施例公开的图像行驶区域标注方法除了包括图1所示的方法步骤，还可包括步骤：基于原始点云数据，确定障碍物点云数据。

本实施例中，基于路面点云数据，在图像中标注行驶区域，具体为：基于路面点云数据以及障碍物点云数据，在图像中标注行驶区域。

本实施例中，雷达采集的车辆周围环境的原始点云数据不仅包括路面点云数据，而且包括属于障碍物的点云数据，为便于描述，文中统一描述为障碍物点云数据。

本实施例中，车载设备可从原始点云数据中查找路面点云数据，以便确定路面的边缘，以及从原始点云数据中查找障碍物点云数据，以便确定障碍物的边缘。

本实施例中，由于雷达的扫描线存在稀疏性问题以及雷达扫描的同时车辆也在运动，因此，容易造成雷达线的断裂，使得基于路面点云数据确定的路面边缘可能存在断裂。因此，本实施例在图像中标注行驶区域时，不仅基于路面点云数据，而且基于障碍物点云数据，障碍物点云数据作为路面点云数据的补充，路面边缘的断裂由障碍物边缘来补充，可提高行驶区域标注的准确性。

在一些实施例中，基于原始点云数据，确定障碍物点云数据，具体包括以下步骤一和步骤二：

步骤一、确定原始点云数据中各点在雷达坐标系下的相对高程。

步骤二、将相对高程大于预设的障碍物相对高程阈值的点确定为障碍物点云数据中的点。

本实施例中，原始点云数据中各点在雷达坐标系下的相对高程为各点在雷达坐标系中z轴方向的坐标值。

本实施例中，障碍物相对高程阈值为雷达坐标系中z轴方向的预设坐标值。障碍物相对高程阈值可以理解为障碍物的最低高程或路面的最高高程。因此，本实施例中，将相对高程大于预设的障碍物相对高程阈值的点确定为障碍物点云数据中的点。

在一些实施例中，基于原始点云数据，确定障碍物点云数据，可包括以下步骤一和步骤二：

步骤一、对原始点云数据进行上采样，得到采样点云数据；

步骤二、基于原始点云数据以及所述采样点云数据，确定障碍物点云数据。

本实施例中，针对原始点云数据的稀疏性问题，采用上采样方式可增加点云数据量。

本实施例中，基于原始点云数据以及采样点云数据，确定障碍物点云数据，可增加障碍物点云数据量。

本实施例中，基于增加了数量的障碍物点云数据，使得在图像中标注的行驶区域更加精确。

在一些实施例中，基于原始点云数据以及采样点云数据，确定障碍物点云数据，具体包括以下步骤一和步骤二：

步骤一、确定原始点云数据以及采样点云数据中各点在雷达坐标系下的相对高程；

步骤二、将相对高程大于预设的障碍物相对高程阈值的点确定为障碍物点云数据中的点。

本实施例中，采样点云数据中各点在雷达坐标系下的相对高程为各点在雷达坐标系中z轴方向的坐标值。

本实施例中，障碍物相对高程阈值为雷达坐标系中z轴方向的预设坐标值。障碍物相对高程阈值可以理解为障碍物的最低高程或路面的最高高程。因此，将采样点云数据中相对高程大于预设的障碍物相对高程阈值的点确定为障碍物点云数据中的点。

本实施例中，确定原始点云数据中属于障碍物的点云数据的方式可参加上文描述，在此不再赘述。

在一些实施例中，基于路面点云数据以及障碍物点云数据，在图像中标注行驶区域，以下步骤一至步骤三：

步骤一、将路面点云数据以及障碍物点云数据投影到图像中，得到图像中的路面投影数据以及障碍物投影数据。

步骤二、基于路面投影数据以及障碍物投影数据，确定图像中路面区域的第一边缘信息以及障碍物区域的第二边缘信息。

步骤三、基于第一边缘信息和第二边缘信息，在图像中标注行驶区域。

本实施例中，通过将路面点云数据以及障碍物点云数据投影到图像，实现了雷达数据与图像数据的对齐，投影方式可沿用现有技术，在此不再赘述。

本实施例中，得到图像中的路面投影数据后，可确定图像中路面区域的第一边缘信息，可参加上文描述，在此不再赘述。

本实施例中，得到图像中的障碍物投影数据后，可确定图像中障碍物区域的第二边缘信息，具体包括以下步骤(1)至步骤(3)：

(1)将图像中的障碍物投影数据按列进行统计，确定每列中路面投影点的最小行位置。本实施例中，图像的底部至顶部的方向为行位置增加的方向。

(2)将每列中行位置大于最小行位置的所有点标记为障碍物中的点，将标记为障碍物中的点的集合确定为障碍物区域。

(3)对障碍物区域进行开操作，得到障碍物区域的第二边缘信息。

本实施例中，开操作可使断裂的障碍物区域连接起来，并使断裂的障碍物区域的边缘变得光滑，断开狭窄的间断和消除细的突出物。开操作可沿用现有技术，本实施例不再赘述。

本实施例中，基于路面区域的第一边缘信息和障碍物区域的第二边缘信息，可拟合得到图像中可行驶区域的边缘信息，具体描述如下：

假设障碍物的边缘为o，路面的边缘g，可行驶区域第一边缘为d1，可行驶区域第二边缘为d2，可调参数为a和b。

d1中第二点的确定过程如下步骤1至步骤3，第二点可以理解为起点之后的第一个点。

步骤1：选取d1的起点为o的起点；

步骤2：计算d1的起点与o的第二点之间的第一距离，以及计算d1的起点与g的第二点之间的第二距离；

步骤3：判断第一距离是否小于第二距离；若小于，则确定d1的第二点为o的第二点；若不小于，则确定d1的第二点为g的第二点。

对于d1中其他各点的确定可参照步骤1至步骤3，不再赘述。

d2中第二点的确定过程如下步骤4至步骤6：

步骤4：选取d2的起点为g的起点；

步骤5：计算d2的起点与o的第二点之间的第三距离，以及计算d2的起点与g的第二点之间的第四距离；

步骤6：判断第三距离是否小于第四距离；若小于，则确定d2的第二点为o的第二点；若不小于，则确定d2的第二点为g的第二点。

对于d2中其他各点的确定可参照步骤4至步骤6，不再赘述。

在确定d1中的各点与d2中的各点后，可行驶区域边缘d可由d1和d2拟合得到，d＝a×d1+b×d2。通过调节a和b的值得到最优可行驶区域边缘d，消除雷达扫描线断裂造成的影响。

如图3所示，本实施例公开一种图像行驶区域标注装置，可包括以下单元：获取单元31、确定单元32以及标注单元33。具体描述如下：

获取单元31，用于获取雷达采集的车辆周围环境的原始点云数据以及图像传感器采集的车辆周围环境的图像；

确定单元32，用于基于所述原始点云数据，确定路面点云数据；

标注单元33，用于基于所述路面点云数据，在所述图像中标注行驶区域。

在一些实施例中，所述确定单元32，包括：

第一子单元，用于确定所述原始点云数据中各点在雷达坐标系下的相对高程；

第二子单元，用于将相对高程小于或等于预设的障碍物相对高程阈值的点确定为路面点云数据中的点。

在一些实施例中，所述确定单元32，包括：

第三子单元，用于对所述原始点云数据进行上采样，得到采样点云数据；

第四子单元，用于基于所述原始点云数据以及所述采样点云数据，确定路面点云数据。

在一些实施例中，所述第四子单元，用于：

确定所述原始点云数据以及所述采样点云数据中各点在雷达坐标系下的相对高程；

将相对高程小于或等于预设的障碍物相对高程阈值的点确定为路面点云数据中的点。

在一些实施例中，所述标注单元33，用于：

将所述路面点云数据投影到所述图像中，得到所述图像中的路面投影数据；

基于所述路面投影数据，确定所述图像中路面区域的边缘信息；

基于所述边缘信息，在所述图像中标注行驶区域。

在一些实施例中，所述确定单元32，还用于基于所述原始点云数据，确定障碍物点云数据；

相应地，所述标注单元33，用于基于所述路面点云数据以及所述障碍物点云数据，在所述图像中标注行驶区域。

在一些实施例中，所述确定单元32，包括：

第一子单元，用于确定所述原始点云数据中各点在雷达坐标系下的相对高程；

第二子单元，用于将相对高程小于或等于预设的障碍物相对高程阈值的点确定为路面点云数据中的点；

第五子单元，用于将相对高程大于预设的障碍物相对高程阈值的点确定为障碍物点云数据中的点。

在一些实施例中，所述确定单元32，包括：

第三子单元，用于对所述原始点云数据进行上采样，得到采样点云数据；

第四子单元，用于基于所述原始点云数据以及所述采样点云数据，确定路面点云数据；

第六子单元，用于基于所述原始点云数据以及所述采样点云数据，确定障碍物点云数据。

在一些实施例中，所述第六子单元，用于：

确定所述原始点云数据以及所述采样点云数据中各点在雷达坐标系下的相对高程；

将相对高程大于预设的障碍物相对高程阈值的点确定为障碍物点云数据中的点。

在一些实施例中，所述标注单元33，用于：

将所述路面点云数据以及所述障碍物点云数据投影到所述图像中，得到所述图像中的路面投影数据以及障碍物投影数据；

基于所述路面投影数据以及所述障碍物投影数据，确定所述图像中路面区域的第一边缘信息以及障碍物区域的第二边缘信息；

基于所述第一边缘信息以及所述第二边缘信息，在所述图像中标注行驶区域。

以上实施例公开的图像行驶区域标注装置能够实现以上各方法实施例公开的图像行驶区域标注方法的流程，为避免重复，在此不再赘述。

本发明实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行各方法实施例所提供的图像行驶区域标注方法步骤，以下步骤一至步骤三：

步骤一、获取雷达采集的车辆周围环境的原始点云数据以及图像传感器采集的车辆周围环境的图像；

步骤二、基于所述原始点云数据，确定路面点云数据；

步骤三、基于所述路面点云数据，在所述图像中标注行驶区域。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。

虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。