交通标识线的提取方法、装置、设备和可读存储介质与流程

1.本技术的实施例涉及数据处理领域，尤其涉及交通标识线的提取方法、装置、设备和计算机可读存储介质。


背景技术：

2.随着我国经济快速发展，汽车保有量也逐渐地增加。汽车在给人们日常生活带来极大便利的同时，也随之带来了诸多的问题，如城市交通环境逐渐恶化、交通堵塞日益严重、交通事故时有发生等。提高交通的智能化水平、减少道路交通事故，将有助于整个社会安全健康良性的发展，也是科技工作者所面临的重要的技术挑战。
3.道路标志线检测是车辆环境感知的基本任务，也是安全驾驶的重要保证。道路标志线的识别是道路环境感知和建模领域的关键内容，准确并且快速地实现道路标志线的分类提取，对于城市道路建模、车辆的智能驾驶和安全应急都具有重要意义。


技术实现要素：

4.根据本技术的实施例，提供了一种交通标识线的提取方案。
5.在本技术的第一方面，提供了一种交通标识线的提取方法。该方法包括：
6.基于道路点云数据，得到像素的强度特征图像；
7.通过实例分割算法对所述强度特征图像进行像素级语义分割，得到交通标志线的实例分割结果；
8.基于所述交通标志线的实例分割结果，提取对应的交通标识线。
9.进一步地，所述基于道路点云数据，得到像素的强度特征图像包括：
10.对道路点云数据进行去噪；
11.基于去噪后的道路点云数据范围，构建空白影像；
12.将去噪后的道路点云数据，投影到所述空白影像；
13.基于点云的强度值对投影后的影像进行赋值，得到像素的强度特征图像。
14.进一步地，所述实例分割算法包括深度残差网络、特征金字塔网络、区域建议网络和感兴趣区域头部网络。
15.进一步地，所述通过实例分割算法对所述强度特征图像进行像素级语义分割，得到交通标志线的实例分割结果包括：
16.通过深度残差网络，提取所述强度特征图像的多层次特征图；
17.通过特征金字塔网络，整合所述强度特征图像的多层次特征图中各个特征层的信息；
18.通过区域建议网络计算的候选框，将候选框映射到金子塔网络中相应的特征图，得到感兴趣区域的多层次特征；
19.对所述感兴趣区域的多层次特征进行像素级语义分割，得到交通标志线的实例分割结果。
20.进一步地，所述通过特征金字塔网络，整合所述强度特征图像的多层次特征图，基于特征金字塔网络，将通过如下公式将候选框映射到金字塔网络的第n层特征图：
[0021][0022]
其中，w和h的乘积表示候选框的面积。
[0023]
进一步地，所述对所述叠加特征进行像素级语义分割，得到交通标志线的实例分割结果包括：
[0024]
对所述感兴趣区域的多层次特征进行池化；
[0025]
对池化后的特征进行标线类别判断和边框回归；同时对所述叠加特征进行像素级语义分割；
[0026]
基于标线类别判断和边框回归以及语义分割结果，得到交通标志线的实例分割结果。
[0027]
进一步地，还包括：
[0028]
通过focal loss损失函数优化模型，对所述区域建议网络进行优化；
[0029]
其中，所述focal loss损失函数优化模型包括：
[0030][0031]
其中，p和q分别表示特征图中像素点的预测分布和真实分布；
[0032]
α表示平衡参数；
[0033]
γ表示调制参数。
[0034]
在一种可能的实现方式中，
[0035]
在本技术的第二方面，提供了一种交通标识线的提取装置。该装置包括：
[0036]
处理模块，用于基于道路点云数据，得到像素的强度特征图像；
[0037]
分割模块，用于通过实例分割算法对所述强度特征图像进行像素级语义分割，得到交通标志线的实例分割结果；
[0038]
提取模块，用于基于所述交通标志线的实例分割结果，提取对应的交通标识线。
[0039]
在本技术的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
[0040]
在本技术的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本技术的第一方面的方法。
[0041]
本技术实施例提供的交通标识线的提取方法，通过基于道路点云数据，得到像素的强度特征图像；通过实例分割算法对所述强度特征图像进行像素级语义分割，得到交通标志线的实例分割结果；基于所述交通标志线的实例分割结果，提取对应的交通标识线，实现了对交通标识线的提取。
[0042]
应当理解，发明内容部分中所描述的内容并非旨在限定本技术的实施例的关键或重要特征，亦非用于限制本技术的范围。本技术的其它特征将通过以下的描述变得容易理解。
附图说明
[0043]
结合附图并参考以下详细说明，本技术各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
[0044]
图1示出了根据本技术的实施例的交通标识线的提取方法的流程图；
[0045]
图2示出了根据本技术的实施例的点云对应的像素强度特征图像；
[0046]
图3示出了根据本技术的实施例的标志线分割流程示意图；
[0047]
图4示出了根据本技术的实施例的道路标志线的实例分割结果示意图；
[0048]
图5示出了根据本技术的实施例的车道线及非车道线的矢量化示意图；
[0049]
图6示出了根据本技术的实施例的交通标识线的提取装置的方框图；
[0050]
图7示出了适于用来实现本技术实施例的终端设备或服务器的结构示意图。
具体实施方式
[0051]
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。
[0052]
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
[0053]
图1示出了根据本公开实施例的交通标识线的提取方法的流程图。所述方法包括：
[0054]
s110，基于道路点云数据，得到像素的强度特征图像。
[0055]
其中，道路点云数据，通常通过车载设备进行获取；所述道路点云数据为三维激光点云。
[0056]
在一些实施例中，根据高程值和高程邻域对三维激光点云进行过滤，去除大量非地面点。
[0057]
根据过滤(去噪)后的点云范围，创建分辨率为2cm(根据应用场景)的空白影像，对过滤后的点云进行投影，按照点云的强度值对投影后的影像进行像素赋值，得到点云对应的强度特征图像，参考图2。
[0058]
进一步地，基于所述强度特征图像制作训练样本。所述样本类别包括纵向减速带、车辆禁停标志、道路虚线、斑马线、导向指示线、箭头指示标志、道路实线和/或横向减速带等。
[0059]
s220，通过实例分割算法对所述强度特征图像进行像素级语义分割，得到交通标志线的实例分割结果。
[0060]
在一些实施例中，通过深度学习框架maskrcnn构建实例分割算法，所述实例分割算法包括深度残差网络、特征金字塔网络、区域建议网络和感兴趣区域头部网络等。
[0061]
在一些实施例中，通过实例分割算法，对所述强度特征图像进行像素级语义分割的原理如图3所示：
[0062]
首先利用即深度残差网络resnet作为骨干(backbone)提取多层次特征图。
[0063]
优选地，可分为5个阶段进行特征提取，每个阶段均包含残差映射模块。其中，残差
映射可使得网络更易优化，随着网络层数的加深，能够发挥更强的学习性能；
[0064]
进一步地，建立fpn(特征金字塔网络)，通过fpn整合resnet各个特征层的信息，以便rpn(区域建议网络)和roihead(感兴趣区域头部网络)更好地利用样本的低维和高维特征，计算出更精准的候选区域。
[0065]
具体地，参考图3所示的fpn框架，在该fpn框架中整合resnet的各个阶段的特征，s
1-s5代表由backbone自上而下抽取得到的5个特征层，f5由s5横向传播得到，f5经过maxpool(最大池化)得到f6，s
1-s4分别横向传播，自f5起自下而上传播，逐步得到f
4-f1。
[0066]
进一步地，在roihead分支中，将rpn计算的候选框(proposals)映射到fpn中的特征图fn，经过roialign(感兴趣区域池化)后得到感兴趣区域的多层次特特征图，再通过边界框回归网络分支做标线类别判断和边框回归，同时通过语义分割网络分支做像素级的语义分割，基于标线类别判断和边框回归以及语义分割结果，得到交通标志线的实例分割结果，参考图4。
[0067]
在一些实施例中，所述fn中的数值n可通过如下公式进行计算：
[0068][0069]
其中，w和h的乘积代表候选框的面积，依据候选框的面积，rpn生成的候选框会被映射到f2—f5中的第n层特征图。
[0070]
在一些实施例中，由于道路转弯(非直线)、车道禁停区域(网状线形)等特殊的应用场景，可能会使rpn探测出的候选框内存在大面积背景区域，而大量的背景区域会使损失值难以真实反映模型优化的水平，同时使得各类训练样本存在数量不均衡的问题，会影响语义分割的精度。
[0071]
因此，在本公开中，采用focal loss损失函数优化模型，对所述区域建议网络进行优化。从而权衡正负样本，及类间不平衡的问题。
[0072]
其中，所述focal loss损失函数优化模型包括：
[0073][0074]
其中，p和q分别表示特征图中像素点的预测分布和真实分布；q＝1表示地面真实值是前景，反之，为背景；
[0075]
α表示平衡参数；
[0076]
γ表示调制参数。
[0077]
综上可知，focal loss在交叉熵损失的基础上增加了平衡参数(α)和调制参数(γ)。
[0078]
其中，平衡参数用于调整正样本和负样本的权重；调制参数用于在优化中调整易分类样本和难分类样本的权重；所述平衡参数和调制参数均可根据实际应用场景和人工经验设定。
[0079]
s230，基于所述交通标志线的实例分割结果，提取对应的交通标识线。
[0080]
在一些实施例中，根据所述交通标志线的实例分割结果，提取对应的交通标识线。
[0081]
具体地，若为车道线(道路实线，道路虚线，横向减速带，纵向减速带)，则根据实例分割结果，按照预设间隔取节点，将该节点进行连接，得到对应的交通标识线；
[0082]
若为非车道线(导流带，人行横道，禁停区)，即提取中心为外部整体轮廓所在的位置，则通过凸包算法提取外轮廓线，内部形状按照类别进行填充，对于箭头则采用icp匹配算法进行匹配，每一种箭头均对应着各自的模板，取结果中指标最好的作为最终结果。
[0083]
其中，所述车道线和非车道线根据实例分割结果确定。
[0084]
进一步地，对得到的交通标识线进行矢量化，完成对交通标识线的提取，参考图5。
[0085]
下面给出根据本公开的交通标识线的提取方法，进行交通标识线提取，得到的具体实验数据：
[0086]
硬件环境配置为nvidia titan xp，该显卡的显存为12g，显存速度11.4gbps，位宽384bit，带宽547.7gb/s。由此，基于gpu的计算模式加速模型训练。在广东省深圳市某高速公路为1.5km的范围内，测试了本发明的效果，指标为精确率(precision)和召回率(recall)。
[0087]
对于标志线各类别的精确率的召回率的统计如表1，二者的计算公式分别如下所示：
[0088][0089][0090]
其中，tp、fp、fn分别表示真正、假正，假负样本的数量；
[0091]
表1精确率及召回率的统计结果
[0092][0093]
根据本公开的实施例，实现了以下技术效果：
[0094]
本公开在强度特征图像的基础上得到了实例分割的输出，每个实例都包含标志线的类别和外轮廓，即在语义分割的基础上拓展为了实例分割，可减少后处理聚类的过程，提升矢量化的效率。实现了对交通标识线的精准提取。
[0095]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本技术所必须的。
[0096]
以上是关于方法实施例的介绍，以下通过装置实施例，对本技术所述方案进行进一步说明。
[0097]
图6示出了根据本技术的实施例的交通标识线的提取装置600的方框图如图6所示，装置600包括：
[0098]
处理模块610，用于基于道路点云数据，得到像素的强度特征图像；
[0099]
分割模块620，用于通过实例分割算法对所述强度特征图像进行像素级语义分割，得到交通标志线的实例分割结果；
[0100]
提取模块630，用于基于所述交通标志线的实例分割结果，提取对应的交通标识线。
[0101]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0102]
图7示出了适于用来实现本技术实施例的终端设备或服务器的结构示意图。
[0103]
如图7所示，终端设备或服务器包括中央处理单元(cpu)701，其可以根据存储在只读存储器(rom)702中的程序或者从存储部分708加载到随机访问存储器(ram)703中的程序而执行各种适当的动作和处理。在ram 703中，还存储有终端设备或服务器操作所需的各种程序和数据。cpu 701、rom 702以及ram 703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
[0104]
以下部件连接至i/o接口705：包括键盘、鼠标等的输入部分706；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分707；包括硬盘等的存储部分708；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至i/o接口705。可拆卸介质711，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器710上，以便于从其上读出的计算机程序根据需要被安装入存储部分708。
[0105]
特别地，根据本技术的实施例，上文方法流程步骤可以被实现为计算机软件程序。例如，本技术的实施例包括一种计算机程序产品，其包括承载在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分709从网络上被下载和安装，和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(cpu)701执行时，执行本技术的系统中限定的上述功能。
[0106]
需要说明的是，本技术所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计
算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0107]
附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，前述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0108]
描述于本技术实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
[0109]
作为另一方面，本技术还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中的。上述计算机可读存储介质存储有一个或者多个程序，当上述前述程序被一个或者一个以上的处理器用来执行描述于本技术的方法。
[0110]
以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的申请范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述申请构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中申请的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。