一种基于智能视频识别的桥梁监测方法与流程

本发明涉及桥梁监测技术领域，具体涉及一种基于智能视频识别的桥梁监测方法。

背景技术：

桥梁是交通运输的关键组成部分，随着“交通强国”的逐步推进，大量的桥梁随之兴起。然而，一些桥梁工程项目出现了远未达到设计使用年限就遭到破坏的现象，究其原因，超载运输是其主要原因，桥梁道路车辙、网裂的形成、危桥的骤增等等，很少由车辆荷载的疲劳强度而产生，绝大多数是超载所致。因此，识别桥梁的超重车并分析其危险性对于桥梁长期健康稳定运行十分重要。

现有技术中，通常利用车辆动态称重系统(weight-in-motion,wim)来获取行驶车辆通过时间、通过图像、车牌号、轴重、总重、车速、轴距等信息，利用传感器来获取桥梁在外载荷作用下结构响应，结合上述两种数据监测桥梁上通过的超重车辆，但是，由于上述两种数据相对孤立，无法发挥最大利用价值。并且，对于没有安装车辆动态称重系统的桥梁来说，仅通过安装的视频监控无法实时监测超重车辆。

技术实现要素：

针对现有技术中存在的缺陷，本发明提供一种基于智能视频识别的桥梁监测方法，利用现有系统实现超重车辆的实时识别、记录与分析，提高桥梁长期运行安全性。

为达到以上目的，采取的技术方案是：

一种基于智能视频识别的桥梁监测方法，所述桥梁监测方法包括：

利用预设称重系统获取多个第一采集信息和多个第二采集信息，所述第一信采集信息包括第一图像和关联于所述第一图像中包含的多个预设类型车辆的类型标注信息，所述第二采集信息包括第二图像和关联于所述第二图像中包含的唯一预设类型车辆的重量信息，根据多个所述第一采集信息处理得到目标检测模型，根据多个所述第二采集信息处理得到重量分类模型；

截取车辆通行视频中的车辆通行图像，根据所述目标检测模型对所述车辆通行图像进行图像识别，以从所述车辆通行图像中提取预设类型车辆的实时图像；

根据所述重量分类模型对所述实时图像进行图像识别，得到预设类型车辆的重量分类信息；

判断所述重量分类信息是否大于预设阈值：

若是，则向预设桥梁监测系统发送包含所述重量分类信息的告警信息，所述预设桥梁监测系统根据所述告警信息和自身存储的关联于所述告警信息的监测数据进行危险性分析，得到相应的预设类型车辆的桥梁通行风险系数。

优选的，所述预设类型车辆包括预先定义的大型车辆。

优选的，所述第一图像中包含多个车辆，多个车辆中至少部分为预设类型车辆；

所述第二图像中包括一个车辆，该车辆为预设类型车辆。

优选的，多个所述第一采集信息构成第一数据集，根据所述第一数据集训练得到所述目标检测模型；

所述第一数据集中包括总数量大于10000个的所述第一采集信息。

优选的，所述预设称重系统在采集所述第一采集信息的具体步骤如下：

采集所述第一图像；

对所述第一图像的所有车辆中的预设类型车辆的区域位置坐标分别通过矩形框进行人工标注，得到多个真实标注框和坐标位置，所述第一图像的所有所述真实标注框和所有所述坐标位置构成所述类型标注信息；

所述第一图像和所述类型标准信息构成所述第一采集信息。

优选的，所述坐标位置为所述真实标注框的左上角顶点的位置坐标和右下角顶点的位置坐标。

优选的，多个所述第二采集信息构成第二数据集，根据所述第二数据集训练得到所述重量分类模型；

所述第二数据集中包括总数量大于10000个的所述第二采集信息。

优选的，实时重量分类模型输出的结果为(0,10t)、(10t,20t)、(20t,30t)、(30t,40t)，(40t,50t)、(50t,60t)或(60t,-)。

优选的，所述目标检测模型采用的算法为ssd、yolo、r-cnn、fastr-cnn或fasterr-cnn；

所述重量分类模型采用的算法为vgg、resnet、mobilenet或inception。

优选的，所述监测数据包括关联于所述预设类型车辆的位移数据、挠度数据和应变数据。

本发明的有益效果：无需另外安装车辆动态称重系统，利用现有的预设称重系统采集数据并处理得到目标检测模型和重量分类模型，通过目标检测模型和重量分类模型对视频监控实时采集的车辆通行图像进行识别，得到车辆通行图像中的预设类型车辆的重量分类信息，利用现有的预设桥梁监测系统结合超出预设阈值的重量分类信息和监测数据进行危险性分析，得到相应的预设类型车辆的桥梁通行风险系数，预设类型车辆可以包括超重车辆，从而实现包括超重车辆在内的所有路面通行车辆的识别、记录与分析。

附图说明

图1为本发明实施例中基于智能视频识别的桥梁监测方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实例仅仅用以解释本发明，并不限定本发明。此外，基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

以下结合附图及实施例对本发明作进一步详细说明。

如图1所示，一种基于智能视频识别的桥梁监测方法，所述桥梁监测方法包括：

步骤s1、利用预设称重系统获取多个第一采集信息和多个第二采集信息。第一信采集信息包括第一图像和关联于第一图像中包含的多个预设类型车辆的类型标注信息，第二采集信息包括第二图像和关联于第二图像中包含的唯一预设类型车辆的重量信息。第一图像中包括多个车辆，其中至少部分为预设类型车辆，每个第一图像对应的类型标准信息包括该第一图像中所有预设类型车辆的相关信息。第二采集信息包括第二图像和关联于第二图像中包含的唯一预设类型车辆的重量信息，即第二图像中只包括一个预设类型车辆，重量信息为该第二图像中唯一的预设类型车辆的重量信息。预设类型车辆为预先定义的大型车辆(敞开式)。由第一采集信息构成的第一数据集中，第一采集信息的总数量大于10000个。由多个第二采集信息构成的第二数据集中，第二采集信息的总数量大于10000个的第二采集信息。

步骤s2、根据多个第一采集信息处理得到目标检测模型，根据多个第二采集信息处理得到重量分类模型。目标检测模型采用的算法为ssd、yolo、r-cnn、fastr-cnn或fasterr-cnn。优选基于深度学习的ssd多目标检测算法，ssd不仅速度快，准确率也较高。目标检测模型也可根据实际需求选择其他算法。重量分类模型采用的算法为vgg、resnet、mobilenet或inception，优选inceptionv3。重量分类模型也可根据实际需求选择其他算法。

步骤s3、截取车辆通行视频中的车辆通行图像，根据目标检测模型对车辆通行图像进行图像识别。

步骤s4、判断截取的车辆通行图像中是否存在大型车辆，如果判断结果为是，则转步骤s5；如果判断结果为否，则转步骤s6。

步骤s5、从该车辆通行图像中提取该预设类型车辆的实时图像，随后转步骤s7。

步骤s6、舍弃截取的车辆通行图像，转至步骤s3。

步骤s7、根据重量分类模型对实时图像进行图像识别得到预设类型车辆的重量分类信息。

步骤s8、判断重量分类信息对应的重量值是否大于预设阈值，如果判断结果为是，则转步骤s9；如果判断结果为否，则转步骤s10。该预设阈值为此时车辆通行的桥梁的限制通行重量。

步骤s9、存储记录该重量分类信息，并向预设桥梁监测系统发送告警信息，告警信息包括重量分类信息，随后转步骤s11。用于进行车辆重量预测的重量分类模型采用分类算法，车辆数据是一个有序数列，人为的将其分为(0,10t)，(10t,20t)，(20t,30t)，(30t,40t)，(40t,50t)，(50t,60t)，(60t,-)共7类，利用图片和重量类别信息训练一个大型车辆重量预测模型，重量预测结果为7个类别中的某一类。

步骤s10、不存储也不记录该重量分类信息，结束。

步骤s11、预设桥梁监测系统接收到告警信息后，结合自身存储的对应告警信息的预设类型车辆的监测数据进行危险性分析，得到预设类型车辆的桥梁通行风险系数。监测数据包括关联于预设类型车辆的位移数据、挠度数据和应变数据。将监测数据与设定的阈值进行比较，从而判定通行车辆的危险性。

在本实施例中，无需另外安装车辆动态称重系统，基于已有的预设称重系统即可实现超重车辆的识别、记录与分析，利用计算机视觉技术实现超重车辆的识别，同时与预设桥梁监测系统的桥梁结构监测数据联动，实时判定危险性，为桥梁长期健康稳定运行提供保障。

在采集数据集并根据数据集训练得到目标检测模型和重量分类模型时，对车辆图像中的大型车辆(敞开式)区域位置坐标用矩形框进行人工标注，得到车辆区域位置的真实标注框以及真实标注框在每张图片中的4个坐标值，这4个坐标值分别为车辆区域的左上角顶点的位置坐标和右下角顶点的位置坐标，将每张图片真实标注框的信息保存为一个xml文件(即类型标注信息)，所有的大型车辆图片及对应的xml标注结果文件构成大型车辆标注数据集(即第一数据集)，利用该第一数据集训练得到用于识别大型车辆的目标检测器。利用第二数据集训练得到识别大型车量的重量分类的重量分类模型。

本发明不局限于实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。