积水识别方法、装置以及存储介质与流程

本发明实施例涉及城市建设维护领域，尤其涉及一种积水识别方法、装置以及存储介质。

背景技术：

随着城市建设的快速发展，人工智能以及图像处理的先进技术将对于城市建设和维护提供越来越多的帮助。

在实际的生活场景中，由于雨水聚集、路面凹陷、过量喷洒以及消防设备损坏均易造成路面积水的发生，而大面积的积水将对行人和车辆的出行造成不便，甚至带来安全隐患。现有技术中，在城建维护过程中，大部分是通过人员巡视去判断路面是否存在积水。

并且，清扫人员和清扫车辆在固定的时间段内对清扫路段进行清扫。均无法及时发现积水路段，进而无法对积水进行清理。

技术实现要素：

本发明实施例提供一种积水识别方法、装置以及存储介质，相较于现有技术中依赖人员巡视判断是否存在积水，本方案采用人工智能及图像处理技术实现了对道路积水的判断识别，并提高了积水识别的时效性及准确性。

第一方面，本发明实施例提供一种积水识别方法，包括：

获取车辆行驶过程中采集的路面图像；

根据所述路面图像以及分割模型，获取第一图像，所述分割模型用于通过灰度图像将图像中的不同物体进行分类表示；

根据所述第一图像，获取至少一个备选对象，所述备选对象包括所述第一图像中的所有物体；

根据至少一个备选对象以及对象识别模型，确定所述第一图像中是否包含积水，并确定积水的信息，所述积水信息包括积水位置和积水大小。

在一种具体的实现方式中，所述获取车辆行驶过程中采集的路面图像，包括：

根据设置在车辆上的摄像头，在行驶过程中拍摄获取所述图像；

或者，

从设置在车辆上的摄像头在行驶过程中拍摄获取的视频中提取所述路面图像。

进一步地，所述根据所述路面影像以及分割模型，获取第一图像，包括：

对所述路面影像进行降采样和灰度处理，得到第二图像；

将所述第二图像输入所述分割模型，得到所述第一图像。

进一步地，所述根据所述第一图像，获取至少一个备选对象，包括：

对第一图像进行边缘信息提取，获取所述第一图像对应的二值图像；

根据所述二值图像获取至少一个备选对象。

第二方面，本发明实施例提供一种积水识别装置，包括：

获取模块，用于获取车辆行驶过程中采集的路面图像；

处理模块，用于根据所述路面图像以及分割模型，获取第一图像，所述分割模型用于通过灰度图像将图像中的不同物体进行分类表示；

所述处理模块还用于根据所述第一图像，获取至少一个备选对象，所述备选对象包括所述第一图像中的所有物体；

所述处理模块还用于根据至少一个备选对象以及对象识别模型，确定所述第一图像中是否包含积水，并确定积水的信息，所述积水信息包括积水位置和积水大小。

在一种具体的实现方式中，所述获取模块具体用于：

根据设置在车辆上的摄像头，在行驶过程中拍摄获取所述图像；

或者，

从设置在车辆上的摄像头在行驶过程中拍摄获取的视频中提取所述路面图像。

在一种具体的实现方式中，所述处理模块具体用于：

对所述路面影像进行降采样和灰度处理，得到第二图像；

将所述第二图像输入所述分割模型，得到所述第一图像。

进一步地，所述处理模块具体用于：

对第一图像进行边缘信息提取，获取所述第一图像对应的二值图像；

根据所述二值图像获取至少一个备选对象。

第三方面，本发明实施例提供一种服务器，包括：处理器、存储器以及计算机程序；

所述存储器存储计算机执行指令；

所述处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行第一方面所述的积水识别方法。

第四方面，本发明实施例提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面所述的积水识别方法。

本发明实施例提供的积水识别方法、装置以及存储介质，通过采用人工智能及图像处理技术实现了对道路积水的判断识别，提高了积水识别的时效性及准确性。解决了现有技术中依赖人员巡视判断是否存在积水的低效问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种积水识别方法实施例一的流程示意图；

图2为本发明实施例提供的一种segnet模型网络结构的示意图；

图3-a为本发明实施例提供的一种segnet模型输入图像的示意图；

图3-b为本发明实施例提供的一种segnet模型输出图像的示意图；

图4为本发明实施例提供的一种积水识别方法实施例二的流程示意图；

图5为本发明实施例提供的一种积水识别装置实施例一的结构示意图；

图6为本发明实施例提供的电子设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

现有技术中，在城建维护过程中，普遍依赖人员巡视判断路面是否存在积水。随着城市的建设及快速发展，城市规模越来越大，人工巡视判断的低效性往往导致市政人员不能及时对积水进行清理，对行人和车辆的出行造成不便，甚至带来安全隐患。

针对上述存在的问题，本发明提出一种积水识别方法、装置以及存储介质。利用安装在车辆上的摄像头，采集车辆行驶过程中的路面图像，根据图像处理方法对采集的路面图像进行预处理，在人工智能技术的支持下，将处理后的图像输入对象识别模型，获取路面的积水位置和积水大小，并对对象识别模型训练，实现了高效准确的积水识别，使得市政人员能够及时对积水进行清理。下面通过几个具体实施例对该方案进行详细说明。

本方案的执行主体为服务器，具体可以是一种算法服务器。

图1为本发明实施例提供的一种积水识别方法实施例一的流程示意图，如图1所示，该积水识别方法，包括：

s101：获取车辆行驶过程中采集的路面图像。

在本步骤中，服务器从车载设备或者云端平台获取车载设备采集的路面图像。车载设备可以是车辆上安装的智能终端设备或者车辆本身的智能系统，利用车载摄像头采集车辆行驶过程中的路面图像或者视频，将采集到的路面图像或者视频本地存储并同步上传至云端平台。服务器从车载设备或者云端平台获取路面信息或者视频，并提取视频中的路面图像。

具体的，从拍摄获得的视频中提取路面图像，可以对每帧图像进行提取，也可以每两帧提取一次图像，也可以间隔多帧提取一次图像，本方案对此不做要求。

车载摄像头可以安装在车顶，也可以使用现有的行车记录仪等采集装置。采集到的路面图像利用wifi网络上传。

s102：根据路面图像以及分割模型，获取第一图像。

在本步骤中，分割模型为基于深度学习方法训练的能够将道路、车辆、行人、建筑物以及道路中的障碍物(包括积水)等图片中的各个封闭图像通过灰度图像进行分类表示的模型。将路面图像输入分割模型即可将路面图像中的不同物体进行分类表示。

在一种具体的实现方式中，对在s101步骤中获取的路面图像进行预处理可得到第二图像，将第二图像输入分割模型，经过图像处理和检测后，得到第一图像。

s101步骤中采集的路面图像与分割模型的训练数据有一定差别，因此输入分割模型前需要对路面图像进行预处理，，路面图像预处理包括降采样和灰度处理。对路面图像预处理可以匹配分割模型，同时提高处理速度。路面图像预处理后得到第二图像。

在一种具体的实现方式中，分割模型采用segnet模型，如图2所示。该segnet模型包括编码网络(encodernetwork)，解码网络(decodernetwork)和逐像素分类器(pixel-wiseclassificationlayer)组成。segnet的新颖之处在于decoder阶段的上采样方式，具体来说，decoder时上采样使用了encoder阶段下采样的最大池化的索引(indices)。考虑到上采样是稀疏的，再配合滤波器产生分割后的第一图像，如图3-a和图3-b所示分别为分割模型处理前和处理后的图像效果。

具体的，encoder部分用于提取图像的特征，并将多个图像的特征进行融合或者拼接处理，decoder部分用于对融合或者拼接后的特征做空间分辨率放大、反卷积、上采样的操作以及输出带有预测任务的网络分支。将路面图像输入分割模型的encoder部分，经过encoder部分的处理得到路面图像的特征，并将所有获得的特征融合或者拼接，在decoder部分将空间分辨率放大，进行反卷积和上采样，然后输出第一图像。

s103：根据第一图像，获取至少一个备选对象。

在本步骤中，通过对第一图形进行边缘提取，可获取第一图像对应的二值图像，根据二值图像可以获得备选对象，备选对象包括第一图像中识别出的每个物体。

二值图像是指图像上的每一个像素只有两种可能的取值或灰度状态。像素不是黑就是白，其灰度值没有中间过渡的图像。

在一种具体实现方式中，使用边缘检测算法(canny)算子进行边缘信息提取，生成二值图像。canny边缘检测算子是一种多级检测算法，具有低错误率、最优定位及任意边缘只标记一次的特点。canny算法分为高斯模糊、计算梯度幅值和方向、非最大值抑制、双阀值及滞后边界跟踪五步。

s104：根据备选对象及对象识别模型，确定第一图像中是否包含积水，并确定积水的信息。

在本步骤中，对象识别模型为基于深度学习方法训练的模型。将在s103步骤中获取的若干备选对象所属的第一图像输入对象识别模型，确定备选对象中是否包含积水，若备选对象中存在积水的图像，则确定该积水的面积、积水边缘周长等信息，并通过该积水的备选对象所属的第一图像确定该积水的位置。

在一种具体的实现方式中，对象识别模型采用深度学习网络squeezenet。squeezenet是han等提出的一种轻量且高效的卷积神经网络(cnn)模型，它参数比alexnet少50倍，但模型性能(accuracy)与alexnet接近。在可接受的性能下，小模型相比大模型，具有很多优势：(1)更高效的分布式训练，小模型参数小，网络通信量减少；(2)便于模型更新，模型小，客户端程序容易更新；(3)利于部署在特定硬件如fpga，因为其内存受限。

算法会预先使用标注好的训练样本图片集通过squeezenet进行训练，生成对象识别模型。积水分析时，将s103步骤中获取的若干别选对象输入对象识别模型，训练好的对象识别模型会输出结果预测。结果包含备选对象内是否有积水及积水的位置及大小。

本实施例提供的积水识别方法，通过采集车辆行驶过程中的路面图像，将图像预处理后输入预先训练好的分割模型及对象识别模型，获取路面积水信息，提高了积水识别的时效性及准确性。解决了现有技术中依赖人员巡视判断是否存在积水的低效问题。

图4为本发明实施例提供的一种积水识别方法实施例二的流程示意图，如图4所示，实施例一中的对象识别模型可以按照如下方案训练得到，具体包括以下步骤：

s201：采集大量备选对象样本，并标注好训练样本中的积水信息。

在本步骤中，采集大量备选对象样本，即从大量的路面图像中获取大量的备选对象。对所有备选对象进行中的积水信息进行标注。

备选对象和每个备选对象的积水信息真值组成了一个训练集，使对象识别模型能够通过训练得到预测积水信息的能力。训练集内的训练样本越多，训练样本的代表性越全面，标注的积水信息越准确，训练生成的对象识别模型的预测效果越准确。

s202：根据备选对象样本、积水信息真值，采用squeezenet训练得到对象识别模型。

在本步骤中，根据备选对象样本、积水信息真值，也可以理解为根据s201所述的由这些样本及真值组成的训练集，采用squeezenet训练，将训练得到的备选对象和积水信息与训练集中对应的备选对象和积水信息进行对比，得到误差值，经过反复训练，直到误差值减小到预定要求，即得到对象识别模型。

图5为本发明实施例提供的一种积水识别装置实施例一的结构示意图，如图5所示，该积水识别装置10包括：

获取模块11，用于获取车辆行驶过程中采集的路面图像；

处理模块12，用于根据所述路面图像以及分割模型，获取第一图像，所述分割模型用于通过灰度图像将图像中的不同物体进行分类表示；

其中，所述处理模块还用于根据所述第一图像，获取至少一个备选对象，所述备选对象包括所述第一图像中的所有物体；

所述处理模块还用于根据至少一个备选对象以及对象识别模型，确定所述第一图像中是否包含积水，并确定积水的信息，所述积水信息包括积水位置和积水大小。

本实施例提供的积水识别装置，包括获取模块和处理模块，通过采集车辆行驶过程中的路面图像，将图像预处理后输入预先训练好的分割模型及对象识别模型，获取路面积水信息，提高了积水识别的时效性及准确性。解决了现有技术中依赖人员巡视判断是否存在积水的低效问题。

在一种具体的实现方式中，所述获取模块11具体用于：根据设置在车辆上的摄像头，在行驶过程中拍摄获取所述图像；或者，从设置在车辆上的摄像头在行驶过程中拍摄获取的视频中提取所述路面图像。

在一种具体的实现方式中，所述处理模块12具体用于：对所述路面影像进行降采样和灰度处理，得到第二图像；将所述第二图像输入所述分割模型，得到所述第一图像。

在一种具体的实现方式中，所述处理模块12具体用于：对第一图像进行边缘信息提取，获取所述第一图像对应的二值图像；根据所述二值图像获取至少一个备选对象。

本实施例提供的积水识别装置可用于执行上述任一方法实施例的技术方案，其实现原理和技术效果类似，本实施例此处不再赘述。

图6为本发明实施例提供的服务器的硬件结构示意图。如图6所示，该服务器20包括：处理器201以及存储器202；其中

存储器202，用于存储计算机执行指令；

处理器201，用于执行存储器存储的计算机执行指令，以实现上述实施例中终端设备所执行的各个步骤。具体可以参见前述方法实施例中的相关描述。

可选地，存储器202既可以是独立的，也可以跟处理器201集成在一起。

当存储器202独立设置时，该终端设备还包括总线203，用于连接所述存储器202和处理器201。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上所述的积水识别方法。

在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。上述模块成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能模块的形式实现的集成的模块，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。

应理解，上述处理器可以是中央处理单元(英文：centralprocessingunit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digitalsignalprocessor，简称：dsp)、专用集成电路(英文：applicationspecificintegratedcircuit，简称：asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。

存储器可能包含高速ram存储器，也可能还包括非易失性存储nvm，例如至少一个磁盘存储器，还可以为u盘、移动硬盘、只读存储器、磁盘或光盘等。

总线可以是工业标准体系结构(industrystandardarchitecture，isa)总线、外部设备互连(peripheralcomponent，pci)总线或扩展工业标准体系结构(extendedindustrystandardarchitecture，eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，本申请附图中的总线并不限定仅有一根总线或一种类型的总线。

上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。

一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(applicationspecificintegratedcircuits，简称：asic)中。当然，处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。