一种路面分割方法、装置、设备及介质与流程

本发明涉及图像技术领域，尤其涉及一种路面分割方法、装置、设备及介质。

背景技术：

随着图像技术以及深度神经网络模型的发展，现已可以利用预先训练好的深度神经网络模型来提取包含交通道路信息的图像数据中的路面特征信息，并基于路面特征信息得到路面分割结果。

上述方法在具体实施时，需要先通过卷积运算提取包含交通道路信息的图像数据中的路面特征，形成具有特定分辨率的目标数据，并对目标数据进行池化处理，提取主要特征，但采用该方案，在提取路面特征时，有可能会出现遗失主要路面特征的情况，从而无法保证路面分割结果的准确性。

技术实现要素：

本发明实施例提供一种路面分割理方法、装置、设备及介质，用于保证路面分割结果的准确性。

第一方面，本发明实施例提供了一种路面分割方法，包括：

采集包含交通道路信息的原始图像；

对原始图像进行至少一轮预设处理，得到变换图像，预设处理包括卷积处理、池化处理以及对卷积处理后的图像和池化处理后的图像进行拼接处理；

基于预先配置的路面特征与反卷积层的对应关系，确定变换图像中包含的路面特征对应的反卷积层；

根据反卷积层对变换图像进行反卷积运算，得到路面分割结果。

本发明实施例提供的路面分割方法，采集包含交通道路信息的原始图像，对原始图像进行至少一轮预设处理，得到变换图像，预设处理包括卷积处理、池化处理以及对卷积处理后的图像和池化处理后的图像进行拼接处理，基于预先配置的路面特征与反卷积层的对应关系，确定变换图像中包含的路面特征对应的反卷积层，根据反卷积层对变换图像进行反卷积运算，得到路面分割结果。与现有技术中对图像进行卷积处理，并对卷积处理后的图像进行池化处理的方式相比，通过对原始图像分别进行卷积处理和池化处理，并将卷积处理后的图像与池化处理后的图像中的道路特征进行拼接处理，保证能够提取到原始图像中的重要路面特征，保证了路面分割结果的准确性。

在一种可能的实施方式中，本发明实施例提供的上述方法中，预设处理，包括：

对前一轮处理得到的图像进行卷积处理；

对前一轮处理得到的图像进行池化处理；

对卷积处理后的图像和池化处理后的图像进行拼接处理，生成新的图像。

本发明实施例提供的路面分割方法，预设处理包括：对前一轮处理得到的图像进行卷积处理，对前一轮处理得到的图像进行池化处理，对卷积处理后的图像和池化处理后的图像进行拼接处理，生成新的图像。与现有技术中对图像进行卷积处理，并对卷积处理后的图像进行池化处理的方式相比，对上一轮处理得到的图像分别进行卷积和池化，并对卷积处理后的图像和池化处理后的图像进行拼接处理，生成新的图像，实现了提取特征的完整性，从而保证了路面分割结果的准确性。

在一种可能的实施方式中，本发明实施例提供的上述方法中，对卷积处理后的图像和池化处理后的图像进行拼接处理，生成新的图像，包括：

对卷积处理后的图像和池化处理后的图像进行拼接处理，得到特征图像；

利用多个预设卷积核对特征图像进行至少一轮卷积处理；

将卷积处理后的图像与特征图像进行拼接，生成新的图像。

本发明实施例提供的路面分割方法，对卷积处理后的图像和池化处理后的图像进行拼接处理，得到特征图像，并利用多个预设卷积核对特征图像进行至少一轮卷积处理，将卷积处理后的图像与特征图像进行拼接，生成新的图像。将卷积处理后的图像与特征图像进行拼接，相当于增添了一条不经过卷积处理的支路数据，保留了图像中的回传梯度，因此，在路面分割处理过程中保留了梯度，提高了数据的泛化能力，从而在基于目标图像进行路面分割中的数据处理计算时，能够提升路面分割中的数据处理精确度。

在一种可能的实施方式中，本发明实施例提供的上述方法中，将卷积处理后的图像与特征图像进行拼接，生成新的图像，包括：

在卷积处理后的图像中补入预设数量行和预设数量列的目标像素点，预设数量与对特征图像进行卷积处理的步长相等；

将补入目标像素点的图像与特征图像进行拼接，生成新的图像。

本发明实施例提供的路面分割方法，在卷积处理后的图像中补入预设数量行和预设数量列的目标像素点，预设数量与对特征图像进行卷积处理的步长相等，将补入目标像素点的图像与特征图像进行拼接，生成新的图像。在卷积处理后的图像中补入了预设数量行和预设数量列的目标像素点，预设数量与对特征图像进行卷积处理的步长相等，使得卷积处理后的图像分辨率不发生变化的情况下，强化提取了特征图像，提升了路面分割的采样范围与计算精度。

第二方面，本发明实施例还提供了一种路面分割装置，包括：

采集单元，用于采集包含交通道路信息的原始图像；

处理单元，用于对原始图像进行至少一轮预设处理，得到变换图像，预设处理包括卷积处理、池化处理以及对卷积处理后的图像和池化处理后的图像进行拼接处理；

确定单元，用于基于预先配置的路面特征与反卷积层的对应关系，确定变换图像中包含的路面特征对应的反卷积层；

计算模块，用于根据反卷积层对变换图像进行反卷积运算，得到路面分割结果。

在一种可能的实施方式中，本发明实施例提供的上述装置中，预设处理包括：

对前一轮处理得到的图像进行卷积处理；

对前一轮处理得到的图像进行池化处理；

对卷积处理后的图像和池化处理后的图像进行拼接处理，生成新的图像。

在一种可能的实施方式中，本发明实施例提供的上述装置中，处理单元，具体用于：

对卷积处理后的图像和池化处理后的图像进行拼接处理，得到特征图像；

利用多个预设卷积核对特征图像进行至少一轮卷积处理；

将卷积处理后的图像与特征图像进行拼接，生成新的图像。

在一种可能的实施方式中，本发明实施例提供的上述装置中，处理单元具体用于：

在卷积处理后的图像中补入预设数量行和预设数量列的目标像素点，预设数量与对特征图像进行卷积处理的步长相等；

将补入目标像素点的图像与特征图像进行拼接，生成新的图像。

第三方面，本发明实施例还提供了一种路面分割设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现本发明实施例第一方面提供的路面分割方法。

第四方面，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现本发明实施例第一方面提供的路面分割方法。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例提供的一种路面分割方法的示意流程图；

图2为本发明实施例提供的一种路面分割方法的具体流程的流程示意图；

图3为本发明实施例提供的一种路面分割装置的结构示意图；

图4为本发明实施例提供的一种路面分割设备的结构示意图。

具体实施方式

以下结合附图对本申请的实施例进行说明，应当理解，此处所描述的实施例仅用于说明和解释本申请，并不用于限定本申请。

下面结合说明说附图，对本发明实施例提供的路面分割方法、装置、设备及介质的具体实施方式进行说明。

本发明实施例提供了一种路面分割方法，如图1所示，可以包括如下步骤：

步骤101、采集包含交通道路信息的原始图像。

需要说明的是，在本发明实施例中用于采集包含交通道路信息的原始图像的图像采集设备，可以是道路两旁设置的摄像头，也可以是安装在无人驾驶车辆上的摄像头，本发明实施例对此不做限定。

其中，图像采集设备在采集包含交通道路信息的原始图像时，可以实时采集图像，也可以周期性获取(例如，每个10毫秒获取一次)，本发明实施例对此不做限定。

步骤102、对原始图像进行至少一轮预设处理，得到变换图像，预设处理包括卷积处理、池化处理以及对卷积处理后的图像和池化处理后的图像进行拼接处理。

在一种可能的实施方式中，对原始图像进行预设处理时，可以对原始图像进行一轮预设处理，也可以对原始图像进行多轮预设处理，本发明实施例对此不做限定。

具体实施时，当对原始图像进行多轮预设处理时，对前一轮处理得到的图像进行卷积处理，并对前一轮处理得到的图像进行池化处理，对卷积处理后的图像和池化处理后的图像进行拼接处理，生成新的图像。

需要说明的是，卷积处理中包括多个卷积核，其中，每个卷积核内的卷积矩阵可以根据实际情况进行设置，例如：可以将卷积核内的卷积矩阵设置为3x3的矩阵，也可以设置为5x5的矩阵，本发明实施例对此不做限定。

具体实施时，对前一轮处理得到的图像进行卷积处理时，卷积处理中的多个卷积核分别对前一轮处理得到的图像进行卷积，得到每一卷积核卷积后的图像。

其中，卷积处理的步长可以设置为2的n次幂，其中，n为自然数。当步长为2时，卷积处理后的图像的分辨率为卷积处理前的特征图像的分辨率的二分之一，当步长为4时，卷积处理后的图像的分辨率为卷积处理前的特征图像的分辨率的四分之一，依次类推。

需要说明的是，池化处理为最大池化。

在一种可能的实施方式中，在对图像进行卷积和池化之后，对卷积处理后的图像和池化处理后的图像进行拼接处理，得到特征图像，并利用多个预设卷积核对特征图像进行至少一轮卷积处理，将卷积处理后的图像与特征图像进行拼接，生成新的图像。

在一种可能的实施方式中，在利用多个预设卷积核对特征图像进行卷积处理时，可以利用多个预设卷积核对特征图像进行一轮卷积处理，也可以利用多个预设卷积核对特征图像进行多轮卷积处理，本发明实施例对此不做限定。

具体实施时，在利用多个预设卷积核对特征图像进行至少一轮卷积处理时，可以使用一个以上的卷积核对特征图像依次进行卷积处理，每个预设卷积核内卷积矩阵的行和列中至少一个大于1。例如，可以选用两个预设卷积核，也可以选用更多数量的预设卷积核，或者也可以选用成对搭配的多个预设卷积核，本发明对此不做限定。

在一种可能的实施方式中，选用四个预设卷积核，预设卷积核内卷积矩阵分别为3×1的矩阵，1×3的矩阵，3×1矩的矩阵，1×3的矩阵，或者卷积核内卷积矩阵分别为n×1的矩阵，1×n的矩阵，n×1的矩阵，1×n的矩阵，n是大于1的自然数。其中，四个预设卷积核内的卷积矩阵的具体数值可以根据实际需求选取，相互间互不干涉。

具体实施时，卷积处理的步长可以设置为2的n次幂，其中，n为自然数。当步长为2时，卷积处理后的图像的分辨率为卷积处理前的特征图像的分辨率的二分之一，当步长为4时，卷积处理后的图像的分辨率为卷积处理前的特征图像的分辨率的四分之一，依次类推。

具体实施时，在每一次卷积后，还可以引入激活函数对卷积后的图像数据进行激活处理，激活函数可以是sigmoid函数，线性整流函数(rectifiedlinearunit，relu)和softmax函数，本发明对此不做限定。

优选地，在每一次卷积处理后，引入relu激活函数对卷积后的图像数据进行激活处理。

在一种可能的实施方式中，在对特征图像进行卷积处理，生成具有特定分辨率的图像数据之后，将卷积处理后的图像与特征图像进行拼接，生成新的图像。

具体实施时，在卷积处理后的图像中补入预设数量行和预设数量列的目标像素点，预设数量与对特征图像进行卷积处理的步长相等，将补入目标像素点的图像与特征图像进行拼接，生成新的图像。

在一种可能的实施方式中，补入的目标像素点的像素值为0。

步骤103、基于预先配置的路面特征与反卷积层的对应关系，确定变换图像中包含的路面特征对应的反卷积层。

具体实施时，依据预先配置的路面特征与反卷积层的对应关系，配置相应的反卷积层。

在一种可能的实施方式中，依据路面特征的类别数量，配置相应的反卷积层。

需要说明的是，类别数量包括：斑马线、人行道以及车行道。

步骤104、根据反卷积层对变换图像进行反卷积运算，得到路面分割结果。

具体实施时，根据反卷积层对变换图像进行反卷积运算，得到写到路面分割结果的与原始图像分辨率和通道数相同的目标图像。

在一种可能的实施方式中，根据反卷积层对变换图像进行至少一轮反卷积运算。

在一种可能的实施方式中，在根据反卷积层对变换图像进行至少一轮反卷积运算时，利用多个预设卷积核对前一轮运算得到的图像进行至少一轮卷积处理，将卷积处理后的图像与上一轮运算得到的图像进行拼接，生成新的图像。

具体实施时，在将卷积处理后的图像与前一轮运算得到的图像进行拼接，生成新的图像时，在卷积处理后的图像中补入预设数量行和预设数量列的目标像素点，预设数量与对前一轮运算得到的图像进行卷积处理的步长相等，将补入目标像素点的图像与前一轮运算得到的图像进行拼接，生成新的图像。

结合图2，以对原始图像数据进行2轮预设处理，每次利用预设卷积核对特征图像进行一轮卷积处理为例，对本发明实施例提供的路面分割方法的具体步骤进行详细说明。

如图2所示，本发明实施例提供的路面分割方法，其具体步骤可以包括：

步骤201、采集包含交通道路信息的原始图像。

步骤202、对原始图像数据分别进行卷积处理和池化处理。

步骤203、对卷积处理后的图像和池化处理后的图像进行拼接处理，得到第一特征图像。

步骤204、利用多个预设卷积核对第一特征图像进行卷积处理。

步骤205、将卷积处理后的图像与第一特征图像进行拼接，生成第二图像。

具体实施时，在卷积处理后的图像中补入预设数量行和预设数量列的目标像素点，预设数量与对特征图像进行卷积处理的步长相等，将补入目标像素点的图像与特征图像进行拼接，生成第二图像。

在一种可能的实施方式中，补入的目标像素点的像素值为0。

步骤206、对第二图像数据分别进行卷积处理和池化处理。

步骤207、对卷积处理后的图像和池化处理后的图像进行拼接处理，得到第二特征图像。

步骤208、利用多个预设卷积核对第二特征图像进行卷积处理。

步骤209、将卷积处理后的图像与第二特征图像进行拼接，生成变换图像。

步骤210、基于预先配置的路面特征与反卷积层的对应关系，确定变换图像中包含的路面特征对应的反卷积层。

步骤211、根据反卷积层对变换图像进行反卷积运算，得到路面分割结果。

基于相同的发明构思，本发明实施例还提供一种路面分割中的数据处理装置。

如图3所示，本发明实施例提供的路面分割装置，包括：

采集单元301，用于采集包含交通道路信息的原始图像；

处理单元302，用于对原始图像进行至少一轮预设处理，得到变换图像，预设处理包括卷积处理、池化处理以及对卷积处理后的图像和池化处理后的图像进行拼接处理；

确定单元303，用于基于预先配置的路面特征与反卷积层的对应关系，确定变换图像中包含的路面特征对应的反卷积层；

计算单元304，用于根据反卷积层对变换图像进行反卷积运算，得到路面分割结果。

在一种可能的实施方式中，本发明实施例提供的上述装置中，预设处理，包括：

对前一轮处理得到的图像进行卷积处理；

对前一轮处理得到的图像进行池化处理；

对卷积处理后的图像和池化处理后的图像进行拼接处理，生成新的图像。

在一种可能的实施方式中，本发明实施例提供的上述装置中，处理单元302具体用于：

对卷积处理后的图像和池化处理后的图像进行拼接处理，得到特征图像；

利用多个预设卷积核对特征图像进行至少一轮卷积处理，且每个预设卷积核内卷积矩阵的行和列中至少大于1；

将卷积处理后的图像与特征图像进行拼接，生成新的图像。

在一种可能的实施方式中，本发明实施例提供的上述装置中，处理单元302具体用于：

在卷积处理后的图像中补入预设数量行和预设数量列的目标像素点，预设数量与对特征图像进行卷积处理的步长相等；

将补入目标像素点的图像与特征图像进行拼接，生成新的图像。

另外，结合图1-图3描述的本发明实施例的路面分割方法和装置可以由路面分割设备来实现。图4示出了本发明实施例提供的路面分割设备的硬件结构示意图。

路面分割设备可以包括处理器401以及存储有计算机程序指令的存储器402。

具体地，上述处理器401可以包括中央处理器(cpu)，或者特定集成电路(applicationspecificintegratedcircuit，asic)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器402可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器402可包括硬盘驱动器(harddiskdrive，hdd)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universalserialbus，usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器402可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器402可在数据处理装置的内部或外部。在特定实施例中，存储器402是非易失性固态存储器。在特定实施例中，存储器402包括只读存储器(rom)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(prom)、可擦除prom(eprom)、电可擦除prom(eeprom)、电可改写rom(earom)或闪存或者两个或更多个以上这些的组合。

处理器401通过读取并执行存储器402中存储的计算机程序指令，以实现上述实施例中的任意一种路面分割方法。

在一个示例中，路面分割设备还可包括通信接口403和总线410。其中，如图4所示，处理器401、存储器402、通信接口403通过总线410连接并完成相互间的通信。

通信接口403，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线410包括硬件、软件或两者，将路面分割设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(agp)或其他图形总线、增强工业标准架构(eisa)总线、前端总线(fsb)、超传输(ht)互连、工业标准架构(isa)总线、无限带宽互连、低引脚数(lpc)总线、存储器总线、微信道架构(mca)总线、外围组件互连(pci)总线、pci-express(pci-x)总线、串行高级技术附件(sata)总线、视频电子标准协会局部(vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线410可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

路面分割设备可以基于采集的包含交通道路信息的原始图像，执行本发明实施例中的路面分割方法，从而实现结合图1-图3描述的路面分割方法和装置。

另外，结合上述实施例中的路面分割方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种路面分割方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。