交通设施损坏识别方法、装置、设备和存储介质与流程

本申请涉及人工智能技术领域，尤其智能交通和深度学习技术，具体涉及一种交通设施损坏识别方法、装置、设备以及存储介质。

背景技术：

随着我国城镇化和城市建设飞速发展，越来越多车辆涌入街头，造成交通拥堵，事故频发。交通设施(如信号灯，限速等标牌，隔离栏，地面标线等地面设施)的维护对缓解交通压力，改善道路通行能力，有至关重要的作用。

近些年，随着国家新基建政策的提出，每年新增大量交通设施，而当前主要靠人工定期运维，耗费了大量的人力物力。

技术实现要素：

本公开提供了一种交通设施损坏识别方法、装置、设备和存储介质。

根据本公开的一方面，提供了一种交通设施损坏识别方法，包括：

从待损坏识别的目标交通设施图像中确定待损坏识别的目标交通设施所属的目标图像区域；

根据所述目标交通设施的位置信息，获取所述目标交通设施的标准图像区域，所述标准图像区域是指包括完整目标交通设施的图像区域；

确定所述目标图像区域与所述标准图像区域之间的相似度，并根据所述相似度，确定所述目标交通设施是否损坏。

根据本公开的另一方面，提供了一种交通设施损坏识别装置，包括：

区域确定模块，用于从待损坏识别的目标交通设施图像中确定待损坏识别的目标交通设施所属的目标图像区域；

区域获取模块，用于根据所述目标交通设施的位置信息，获取所述目标交通设施的标准图像区域，所述标准图像区域是指包括完整目标交通设施的图像区域；

区域匹配模块，用于确定所述目标图像区域与所述标准图像区域之间的相似度，并根据所述相似度，确定所述目标交通设施是否损坏。

根据本公开的又一方面，提供了一种电子设备，其中，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请实施例中任一项所述的方法。

根据本公开的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本申请实施例中任一项所述的方法。

根据本申请的技术实现了交通设施损坏的自动识别，降低了交通设施的维护成本。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请实施例提供的一种交通设施损坏识别方法的流程图；

图2是本申请实施例提供的另一种交通设施损坏识别方法的流程图；

图3是本申请实施例提供的又一种交通设施损坏识别方法的流程图；

图4是本申请实施例提供的又一种交通设施损坏识别方法的流程图；

图5是本申请实施例提供的又一种交通设施损坏识别方法的流程图；

图6是本申请实施例提供的又一种交通设施损坏识别方法的流程图；

图7是本申请实施例提供的一种交通设施损坏识别示意图；

图8是本申请实施例提供的一种预警展示示意图；

图9是本申请实施例提供的一种交通设施损坏识别装置的示意图；

图10是根据本申请实施例的交通设施损坏识别方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是本申请实施例提供的一种交通设施损坏识别方法的流程图。本实施例可适用于识别交通设施是否损坏的情况。该方法可以由一种交通设施损坏识别装置来执行，该装置可以由软件和/或硬件的方式实现。参见图1，本申请实施例提供的交通设施损坏识别方法包括：

s110、从待损坏识别的目标交通设施图像中确定待损坏识别的目标交通设施所属的目标图像区域。

其中，目标交通设施图像是指待损坏识别的交通设施图像。该图像可以是安装目标交通设施后的任意时刻采集的交通设施图像。

示例性地，目标交通设施图像可以是在安装目标交通设施后的一周后采集的交通设施图像，也可以是在安装目标交通设施后的一个月后采集的交通设施图像一段。

目标交通设施图像可以由道路监控摄像头采集，也可以由车载摄像头采集，本实施例对此并不进行限制。

目标交通设施是指待损坏识别的交通设施。示例性地，目标交通设施可以是栅栏、防撞柱、减速带、警示牌、交通信号灯等。

目标图像区域是指目标交通设施所在的图像区域。

在一个实施例中，目标图像区域的确定可以基于模板匹配或机器学习算法实现。

s120、根据所述目标交通设施的位置信息，获取所述目标交通设施的标准图像区域，所述标准图像区域是指包括完整目标交通设施的图像区域。

其中，完整目标交通设施是指未损坏的目标交通设施。

标准图像区域也即未损坏的目标交通设施的图像区域。

s130、确定所述目标图像区域与所述标准图像区域之间的相似度，并根据所述相似度，确定所述目标交通设施是否损坏。

可选地，目标图像区域与标准图像区域之间相似度的确定方法可以是现有技术中的任意方法。

在一个实施例中，若目标图像区域与标准图像区域之间相似度小于设定相似度阈值，则确定目标交通设施损坏。

其中，设定相似度阈值是指在目标交通设施未损坏的情况下，目标图像区域与标准图像区域之间相似度的最小值。

为实现对损坏程度的确定，在确定目标交通设施损坏后，可以根据目标图像区域与标准图像区域之间的相似度，与设定相似度阈值之间的差值确定目标交通设施的损坏程度。

其中，差值越大，目标交通设施的损坏程度越高。换而言之，目标图像区域与标准图像区域之间的相似度越小，目标交通设施的损坏程度越高。

本申请实施例的技术方案，通过确定目标交通设施的目标图像区域与标准图像区域之间的相似度；根据相似度，确定目标交通设施是否损坏，从而实现交通设施损坏的自动识别，进而降低交通设施的维护成本。

为实现对损坏类型的确定，所述根据所述相似度，确定所述目标交通设施是否损坏之后，所述方法还包括：

若确定所述目标交通设施损坏，则根据所述目标图像区域识别所述目标交通设施的损坏类型。

可选地，损坏类型可以根据目标交通设施的所属类型确定。

例如，目标交通设施的所属类型为警示牌，则损坏类型可以是遮挡、涂抹、破损、倾倒等。

图2是本申请实施例提供的另一种交通设施损坏识别方法的流程图。本方案是在上述方案的基础上，对步骤“从待损坏识别的目标交通设施图像中确定目标交通设施所属的目标图像区域”的具体优化。参见图2，本方案包括：

s210、对待损坏识别的目标交通设施图像进行语义分割，得到至少一个候选子区域以及各子区域关联的语义信息。

其中，候选子区域是通过对目标交通设施图像进行语义分割得到的图像区域。

各子区域关联的语义信息是指每个候选子区域对应的物体类型。示例性地，各子区域关联的语义信息可以是警示牌、栅栏、交通信号灯等。

s220、从所述至少一个候选子区域中查找语义信息为所述目标交通设施的目标子区域。

其中，目标子区域是指语义信息为目标交通设施的图像区域。

s230、根据所述目标子区域，确定所述目标图像区域。

在一个实施例中，可以直接将目标子区域作为目标图像区域。

为提高目标图像区域的准确率，根据所述目标子区域，确定所述目标图像区域，包括：

若所述目标子区域的数量为至少两个，则根据所述交通设施图像，识别所述目标子区域之间的连接信息；

根据识别得到的连接信息，对至少两个所述目标子区域进行合并，得到至少一个所述目标图像区域。

具体地，若两个目标子区域之间存在连接，则合并该两个目标子区域。

s240、根据所述目标交通设施的位置信息，获取所述目标交通设施的标准图像区域，所述标准图像区域是指包括完整目标交通设施的图像区域。

s250、确定所述目标图像区域与所述标准图像区域之间的相似度，并根据所述相似度，确定所述目标交通设施是否损坏。

本方案通过对待损坏识别的目标交通设施图像进行语义分割，从而实现对目标图像区域的确定。

图3是本申请实施例提供的又一种交通设施损坏识别方法的流程图。本方案是在上述方案的基础上，对方案的进一步扩展。参见图3，本方案包括：

s310、从待损坏识别的目标交通设施图像中确定待损坏识别的目标交通设施所属的目标图像区域。

s320、获取安装所述目标交通设施时采集的初始交通设施图像。

其中，初始交通设施图像是指安装目标交通设施时采集的交通设施图像。

s330、从所述初始交通设施图像中，确定所述目标交通设施所属的标准图像区域。

所述标准图像区域是指包括完整目标交通设施的图像区域。

s340、根据所述目标交通设施的位置信息，获取所述目标交通设施的标准图像区域。

s350、确定所述目标图像区域与所述标准图像区域之间的相似度，并根据所述相似度，确定所述目标交通设施是否损坏。

本实施例对上述s320和s330的执行顺序和执行主体不做限定。可选地，s320和s330可以先于s310执行。s320和s330的执行主体可以不同于s310、s340和s350的执行主体。

本方案通过获取安装目标交通设施时采集的初始交通设施图像；从初始交通设施图像中，确定目标交通设施所属的标准图像区域，从而实现标准图像区域的确定。

图4是本申请实施例提供的又一种交通设施损坏识别方法的流程图。本方案是在上述方案的基础上，对步骤“确定所述目标图像区域与所述标准图像区域之间的相似度”的具体优化。参见图4，本方案包括：

s410、从待损坏识别的目标交通设施图像中确定待损坏识别的目标交通设施所属的目标图像区域。

s420、根据所述目标交通设施的位置信息，获取所述目标交通设施的标准图像区域，所述标准图像区域是指包括完整目标交通设施的图像区域。

s430、利用深度学习网络对所述目标图像区域进行特征提取，得到目标特征数据。

其中，深度学习网络包括但不限于alexnet，vgg，resnet系列，inception系列等。

s440、根据所述目标特征数据和标准特征数据，确定所述目标图像区域与所述标准图像区域之间的相似度，所述标准特征数据根据所述标准图像区域提取得到。

在一个实施例中，根据所述目标特征数据和标准特征数据，确定所述目标图像区域与所述标准图像区域之间的相似度，可以包括：

根据目标特征数据和标准特征数据，确定目标图像区域与标准图像区域之间的欧式距离；

利用计算的欧式距离描述目标图像区域与标准图像区域之间的相似度。

可选地也可以基于其他相似度算法确定目标图像区域与标准图像区域之间的相似度，例如机器学习算法。

s450、根据所述相似度，确定所述目标交通设施是否损坏。

本方案通过利用深度学习网络对所述目标图像区域进行特征提取，从而提高目标特征数据的准确率，进而提高相似度的确定准确率。

图5是本申请实施例提供的又一种交通设施损坏识别方法的流程图。本方案是在上述方案的基础上，对上述方案的进一步扩展。参见图5，本方案包括：

s510、从待损坏识别的目标交通设施图像中确定待损坏识别的目标交通设施所属的目标图像区域。

s520、根据所述目标交通设施的位置信息，获取所述目标交通设施的标准图像区域，所述标准图像区域是指包括完整目标交通设施的图像区域。

s530、确定所述目标图像区域与所述标准图像区域之间的相似度，并根据所述相似度，确定所述目标交通设施是否损坏。

s540、若确定所述目标交通设施损坏，则根据所述目标交通设施的位置信息，确定所述目标交通设施在地图中的目标位置。

其中，目标位置是指目标交通设施在地图中的位置。

s550、将所述目标交通设施的损坏信息显示在地图中的目标位置，。

本方案通过若确定所述目标交通设施损坏，则根据所述目标交通设施的位置信息，确定所述目标交通设施在地图中的目标位置；并将所述目标交通设施的损坏信息显示在地图中的目标位置，从而方便维修人员查看损坏信息并快速定位目标交通设施，进而提高目标交通设备的维修效率。

为方便维修人员对交通设施的损坏类型的查看，所述将所述目标交通设施的损坏信息显示在地图中的目标位置，包括：

根据所述目标交通设施的损坏类型，确定目标显示方式；

基于所述目标显示方式，将所述目标交通设施的损坏信息显示在地图中的目标位置。

其中，目标显示方式是与目标交通设施的损坏类型对应的显示方式。不同损坏类型对应的显示方式可以根据实际需要设定。

图6是本申请实施例提供的又一种交通设施损坏识别方法的流程图。本方案是在上述方案的基础上，提出的一种可选方案。参见图6，本方案主要分为三个部分：交通设施监控数据获取，基于语义分割和相似性度量的交通设施损坏自动识别以及自动化预警，具体描述如下：

1、交通设施监控数据获取

通过路口及路中段的摄像头来实时获取包括目标交通设施的目标交通设施图像。

2、基于语义分割和相似性度量的交通设施损坏全自动识别方法

参见图7，本部分又包括：语义分割、交通设施区域提取和损坏判别，具体如下：

(1)语义分割

利用深度学习算法(包括但不限于fcn，unet，segnet，deeplab系列，pspnet等)对目标交通设施图像进行语义分割，分割出交通设施、杆、建筑物、车辆和人等候选子区域。

(2)交通设施区域提取

对分割出的候选子区域，进行图像形态学操作，以去除识别噪声；从去除噪声后的候选子区域中找出目标交通设施所属的目标子区域。针对每个目标子区域，如果有杆相连，则合并作为同一个区域。对合并后的区域取最大外接矩形，将该矩形区域作为待判别的目标图像区域。

(3)损坏判别

对于步骤(2)得到的每个目标图像区域，通过位置信息，从数据库中找到对应安装时，监控拍摄的交通设施的标准图像区域；并利用深度学习网络(包括但不限于alexnet，vgg，resnet系列，inception系列等)分别对目标图像区域和标准图像区域进行特征提取，分别生成目标特征向量和标准特征向量。

计算目标特征向量和标准特征向量；如果距离大于设定距离阈值则认为损坏。其中，距离越大，预警级别越高，否则相反。

3、自动化预警

在确定目标交通设施损坏后，生成预警数据；参见图8，通过计算机浏览器，应用程序进行自动预警展示，并提供基于地图的不同等级预警。预警可关联维修员，通过应用程序通知栏，短信等方式预警，并提供到达事发点的路径规划和导航。

本方案通过利用道路监控摄像头实时采集数据，进行语义分割，识别出交通设施在图像中位置及类型，再与原始安装图像进行比对，全自动化发现交通设施是否损坏，自动报警，供维修人员去维修。在降低运维成本，减少道路拥堵和安全风险等方面具有极其重要的意义。

图9是本申请实施例提供的一种交通设施损坏识别装置的示意图。参见图9本申请实施例提供的交通设施损坏识别装置900包括：区域确定模块901、区域获取模块902和区域匹配模块903。

其中，区域确定模块901，用于从待损坏识别的目标交通设施图像中确定待损坏识别的目标交通设施所属的目标图像区域；

区域获取模块902，用于根据所述目标交通设施的位置信息，获取所述目标交通设施的标准图像区域，所述标准图像区域是指包括完整目标交通设施的图像区域；

区域匹配模块903，用于确定所述目标图像区域与所述标准图像区域之间的相似度，并根据所述相似度，确定所述目标交通设施是否损坏。

本申请实施例的技术方案，通过确定目标交通设施的目标图像区域与标准图像区域之间的相似度；根据相似度，确定目标交通设施是否损坏，从而实现交通设施损坏的自动识别，进而降低交通设施的维护成本。

为实现对损坏类型的确定，所述装置还包括：

设施损坏确定模块，用于若确定所述目标交通设施损坏，则根据所述目标图像区域识别所述目标交通设施的损坏类型。

可选地，损坏类型可以根据目标交通设施的所属类型确定。

进一步地，所述区域确定模块，包括：

语义分割单元，用于对待损坏识别的目标交通设施图像进行语义分割，得到至少一个候选子区域以及各子区域关联的语义信息；

区域查找单元，用于从所述至少一个候选子区域中查找语义信息为所述目标交通设施的目标子区域；

区域确定单元，用于根据所述目标子区域，确定所述目标图像区域。

进一步地，所述区域确定单元具体用于：

若所述目标子区域的数量为至少两个，则根据所述交通设施图像，识别所述目标子区域之间的连接信息；

根据识别得到的连接信息，对至少两个所述目标子区域进行合并，得到至少一个所述目标图像区域。

进一步地，所述方法还包括：

图像采集模块，用于获取安装所述目标交通设施时采集的初始交通设施图像；

区域确定模块，用于从所述初始交通设施图像中，确定所述目标交通设施所属的标准图像区域。

进一步地，所述区域匹配模块，包括：

特征提取单元，用于利用深度学习网络对所述目标图像区域进行特征提取，得到目标特征数据；

相似度确定单元，用于根据所述目标特征数据和标准特征数据，确定所述目标图像区域与所述标准图像区域之间的相似度，所述标准特征数据根据所述标准图像区域提取得到。

进一步地，所述方法还包括：

位置确定模块，用于若确定所述目标交通设施损坏，则根据所述目标交通设施的位置信息，确定所述目标交通设施在地图中的目标位置；

位置显示模块，用于将所述目标交通设施的损坏信息显示在地图中的目标位置。

进一步地，所述位置显示模块，包括：

显示方式单元，用于根据所述目标交通设施的损坏类型，确定目标显示方式；

位置显示单元，用于基于所述目标显示方式，将所述目标交通设施的损坏信息显示在地图中的目标位置。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图10所示，是根据本申请实施例的交通设施损坏识别方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图10所示，该电子设备包括：一个或多个处理器1001、存储器1002，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示gui的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图10中以一个处理器1001为例。

存储器1002即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的交通设施损坏识别方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的交通设施损坏识别方法。

存储器1002作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的交通设施损坏识别方法对应的程序指令/模块(例如，附图9所示的区域确定模块901、区域获取模块902和区域匹配模块903)。处理器1001通过运行存储在存储器1002中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的交通设施损坏识别方法。

存储器1002可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据交通设施损坏识别电子设备的使用所创建的数据等。此外，存储器1002可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1002可选包括相对于处理器1001远程设置的存储器，这些远程存储器可以通过网络连接至交通设施损坏识别电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

交通设施损坏识别方法的电子设备还可以包括：输入装置1003和输出装置1004。处理器1001、存储器1002、输入装置1003和输出装置1004可以通过总线或者其他方式连接，图10中以通过总线连接为例。

输入装置1003可接收输入的数字或字符信息，以及产生与交通设施损坏识别电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1004可以包括显示设备、辅助照明装置(例如，led)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(lcd)、发光二极管(led)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用asic(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(pld))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。

根据本申请的技术实现了交通设施损坏的自动识别，降低了交通设施的维护成本。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。