一种基于图像智能识别的城市内涝积水深度检测方法与流程

本发明涉及城市内涝规划领域，特别是一种基于图像智能识别的城市内涝积水深度检测方法。
背景技术：
：城市内涝是指由于强降水或连续性降水超过城市排水能力致使城市内产生积水灾害的现象。近来，随着城市的高速发展，以及强降雨的频发，引起的城市内涝日益加剧。城市内涝灾害严重影响了人们的正常生活，给社会造成巨大的经济损失。及时、准确地预报城市内涝不仅可以有效降低损失，同时也能在建设部门治理城市内涝时提供重要的依据。传统的积水检测方式往往是通过硬件方式进行检测，常见的有埋入式积水检测仪(如图1)、接触式积水检测器(如图2)、超声波水位监测仪(如图3)等。这类方法可以做到水位精准检测，但是有一个共同的毛病，那就是需要投入大量资金进行基础设施建设。据粗略了解一个积水检测站点的费用在1万元人民币以上。这在很大程度上限制了这种办法的普及。技术实现要素：有鉴于此，本发明的目的是提出一种基于图像智能识别的城市内涝积水深度检测方法，能够直接使用现在道路上的摄像头拍摄的图像进行积水识别。本发明采用以下方案实现：一种基于图像智能识别的城市内涝积水深度检测方法，具体包括以下步骤：步骤s1：获取道路上摄像头拍摄的视频；步骤s2：采用人工神经网络，对视频单帧图片中的轮胎进行检测，输出所有车辆的外接矩形框坐标以及车辆类型；步骤s3：使用人工神经网络，对轮胎积水进行识别，输出每个轮胎的外接矩形框、轮胎位置坐标以及淹没等级；步骤s4：过滤掉误检数据，将步骤s2与步骤s3的信息相关联，根据这些关联关系以及内置的车型轮胎尺寸，计算积水的深度。进一步地，步骤s2中，采用经典目标检测网络架构fasterr-cnn进行车辆检测。进一步地，所述车辆类型包括但不限于轿车、suv、小型货车、越野车、公交车或大巴车、大型货车、中型客车或中巴车。进一步地，步骤s3中，采用经典目标检测网络架构fasterr-cnn作为检测用的神经网络。进一步地，步骤s3中，所述淹没等级分为十级，分级的依据为轮胎的淹没程度。进一步地，步骤s4中，误检数据的特征包括但不限于：轮胎在图片中不位于车辆矩形框的下方位置；一个车辆能够看到的轮胎大于两个；轮胎的外接矩形框与车辆的外接矩形框没有重复，或者重复部分的面积小于百分七十。进一步地，步骤s4中，根据这些关联关系以及内置的车型轮胎尺寸，计算积水的深度具体为：步骤s41：构建轮胎与车辆识别结果的关联关系：用rw代表轮胎外接矩形框，rc代表车辆外接矩形框；并且每个矩形框都用(l,t,w,h)来代表它们在图片中的位置，其中l表示到左侧距离，t表示到顶端距离，w表示矩形框宽度，h表示矩形框高度；步骤s42：计算每个轮胎外接矩形框与所有车辆外接矩形框的交并比iou：经过计算得到与每个轮胎交并比最大的车辆矩形框，由此构建关联关系；步骤s43：根据步骤s3得到的已经得到轮胎淹没等级wl以及步骤s2找到该轮胎对应的车辆类型ct，由此从预设的车辆与轮胎尺寸关联表中找到该轮胎对应的实际尺寸wh，由此计算出该轮胎的积水深度为：较佳的，本发明还设置阈值0.3，当轮胎与车辆最大交并比小于这个阈值时，判定该轮胎很有可能是误检，并予以过滤。进一步地，步骤s4还包括：每辆车能够得到一个积水深度，针对得到的多个积水深度，首先过滤掉偏离平均数一个标准差以上的数据，并计算剩余数据的平均值作为最终的积水检测深度。与现有技术相比，本发明有以下有益效果：本发明能够直接使用现在道路上的摄像头拍摄的图像进行积水识别，其误差也被限制在可接受范围之内(约10cm)。本发明的方法不需要投入大量资金进行基础设施建设，能够节约成本。附图说明图1为本发明
背景技术：
中的埋入式积水检测仪；图2为本发明
背景技术：
中的接触式积水检测器；图3为本发明
背景技术：
中的超声波水位监测仪；图4为本发明实施例的方法流程示意图。图5为本发明实施例的用于检测车辆类型的人工神经网络架构图。图6为本发明实施例的车辆检测效果示意图。图7为本发明实施例的轮胎淹没等级示意图。图8为本发明实施例的轮胎检测网络识别结果示意图。图9为本发明实施例中误检案例示意图。具体实施方式下面结合附图及实施例对本发明做进一步说明。应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属
技术领域：
的普通技术人员通常理解的相同含义。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。如图4所示，本实施例提供了一种基于图像智能识别的城市内涝积水深度检测方法，具体包括以下步骤：步骤s1：获取道路上摄像头拍摄的视频；步骤s2：采用人工神经网络，对视频单帧图片中的轮胎进行检测，输出所有车辆的外接矩形框坐标以及车辆类型；步骤s3：使用人工神经网络，对轮胎积水进行识别，输出每个轮胎的外接矩形框、轮胎位置坐标以及淹没等级；步骤s4：过滤掉误检数据，将步骤s2与步骤s3的信息相关联，根据这些关联关系以及内置的车型轮胎尺寸，计算积水的深度。本实施例用到两个神经网络模型，一个是用于识别车辆的网络，以及一个用于识别轮胎淹没等级的网络。通过轮胎的淹没等级以及后台预设的车型对应的轮胎高度，可以得出一个大致的积水深度。检测积水有效范围在40cm以下。经过测试，误差在10cm范围内。在本实施例中，步骤s2中，采用经典目标检测网络架构fasterr-cnn进行车辆检测。其中，整体网络架构的特征提取部分采用vgg16网络，整体网络架构图如图5所示。fasterr-cnn网络将图像分类网络与区域推荐网络(rpn)集成到一起，这两者共用特征提取网络输出的结果，使得区域推荐所耗费的时间几乎可以忽略不计(在英伟达geforcegtx1070上测试时仅需12毫秒)。特征提取部分主要由卷积+池化的操作组成，这种操作可以提取高维的图像特征，并且具有平移不变性，是神经网络图像识别领域惯用的特征提取操作。区域提案网络将根据特征提取网络输出的特征图给出一定数量的区域提案(本实施例训练过程中提出256个区域提案)。再将这些区域提案与特征图进行映射，得到这256个区域对应的特征图。最后一步是使用一个全连接层对这256个区域特征图进行分类，同时使用另外一个全连接层进行矩形框坐标的回归。训练一个目标检测网络所需的图片样本需要进行拉框标注，并给每个矩形框设置一个标签。在实施例中，需要识别的车型包括轿车、suv、小型货车、越野车、公交车(大巴车)、大型货车、中型客车(中巴车)共7种类型。因此本实施例准备了共10000张包含这7类车型的图片，并对其进行了拉框标注。随机选择其中的7000张作为训练集，在fasterr-cnn网络中迭代了10万次后得到了本实施例的模型，该模型在另外3000张图片上进行检测，得到的map达到0.69。本实施例调查了市面上的大量汽车的轮胎尺寸，得到各个车型对应的大致的轮胎尺寸，如下：车型轮胎尺寸轿车60cmsuv68cm小型货车62cm越野车72cm公交车(大巴车)100cm大型货车105cm中型客车(中巴车)85cm其中，本实施例的车辆检测效果示意图见图6。在本实施例中，步骤s3中，采用经典目标检测网络架构fasterr-cnn作为检测用的神经网络。在本实施例中，步骤s3中，所述淹没等级分为十级，分级的依据为轮胎的淹没程度。本实施例在网络上采集了4000张包含汽车以及积水的图片，并对其轮胎进行标注。本实施例将轮胎淹没范围平均分为10个等级。在对样本进行标注的过程中不仅标注轮胎的矩形框，还对轮胎淹没等级进行定义。这边的轮胎淹没等级其实就相当于类别。这一个步骤的原理就是计算机视觉领域常规的目标检测与分类。其中，轮胎淹没等级示意图如图7所示。本实施例随机选择3000张图片作为训练集，1000张图片作为测试集，在fasterr-cnn网络中迭代了20万次后得到了本实施例的模型，该模型在测试集上的map达到0.72。其中，轮胎检测网络的识别结果示意图如图8所示。在本实施例中，步骤s4中，误检数据的特征包括但不限于：轮胎在图片中不位于车辆矩形框的下方位置；一个车辆能够看到的轮胎大于两个；轮胎的外接矩形框与车辆的外接矩形框没有重复，或者重复部分的面积小于百分七十。其中，误检案例如图9所示。通过这个步骤，本实施例能够过滤掉误检的轮胎，得到准确的轮胎识别结果。并且将轮胎识别结果和车辆识别结果进行关联。有了这个关联，本实施例就可以根据轮胎淹没等级和轮胎尺寸计算出积水深度了。注意，此时因为一张图片中可能存在多种车辆，多个轮胎，因此得到的积水深度是一个集合。在本实施例中，步骤s4中，根据这些关联关系以及内置的车型轮胎尺寸，计算积水的深度具体为：步骤s41：构建轮胎与车辆识别结果的关联关系：用rw代表轮胎外接矩形框，rc代表车辆外接矩形框；并且每个矩形框都用(l,t,w,h)来代表它们在图片中的位置，其中l表示到左侧距离，t表示到顶端距离，w表示矩形框宽度，h表示矩形框高度；步骤s42：计算每个轮胎外接矩形框与所有车辆外接矩形框的交并比iou：经过计算得到与每个轮胎交并比最大的车辆矩形框，由此构建关联关系；步骤s43：根据步骤s3得到的已经得到轮胎淹没等级wl以及步骤s2找到该轮胎对应的车辆类型ct，由此从预设的车辆与轮胎尺寸关联表中找到该轮胎对应的实际尺寸wh，由此计算出该轮胎的积水深度为：较佳的，本发明还设置阈值0.3，当轮胎与车辆最大交并比小于这个阈值时，判定该轮胎很有可能是误检，并予以过滤。在本实施例中，步骤s4还包括：每辆车能够得到一个积水深度，针对得到的多个积水深度，首先过滤掉偏离平均数一个标准差以上的数据，并计算剩余数据的平均值作为最终的积水检测深度。以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。当前第1页12