一种城轨积水识别方法及识别系统与流程

1.本发明涉及一种积水识别方法及系统，尤其涉及一种基于神经网络视觉检测技术的城轨积水识别方法及识别系统。


背景技术：

2.城市轨道交通是大城市公共交通系统的骨干，是建设现代城市的重要基础设施，在引领和支撑城市发展、满足人民群众出行、缓解交通拥堵、减少环境污染等方面发挥着越来越重要的作用，已成为大城市人民群众日常出行重要的交通方式和城市正常运行的重要保障。
3.城市轨道交通的运营安全对保障人民群众生命财产安全、维护社会稳定以及提升人民群众获得感有重要的意义。近年来，随着轨道线路的不断增多、运营里程和规模快速增长、客运量不断攀升，城市轨道交通的安全保障难度越来越大，对运营安全管理提出了更高要求。然而，在防涝防汛方面，目前还依赖工作人员的定期人工巡检排查，排查点位复杂，包含轨道、隧道、架桥等多个区域，排查过程不仅对人力消耗很大，而且还容易出现漏检、排查不及时等风险，给城市轨道交通的安全运营带来隐患。


技术实现要素：

4.发明目的：本发明的目的是提供一种基于神经网络视觉检测技术的城轨积水识别方法；本发明的另一个目的是提供使用该方法的系统。
5.技术方案：本发明所述的一种城轨积水识别方法包括如下步骤：
6.(1)基于目标使用环境收集各城轨场景下的地面积水图像数据，结合网络上的随机地面积水数据，使用labelme工具进行积水区域标注，从而构成积水识别深度神经网络数据集，基于该数据集划分积水识别神经网络训练集和神经网络测试集；
7.(2)基于标准的fcn-8s全卷积神经网络建立一个用于积水识别的语义分割模型；
8.(3)针对积水的形状和边界不规则特性，以及积水水面反射导致的水面图像信息多变特性，采用基于反射的注意力机制单元对水面反射的相关图像性质进行对比识别，具体操作为：在步骤(2)中加入基于反射的注意力机制单元，生成新型的fcn-8s全卷积神经网络模型即fcn-8s-fl模型，进一步在新型的fcn-8s全卷积神经网络模型中加入损失函数生成fcn-8s-fl-5rau模型；
9.(4)基于步骤(3)中提出的fcn-8s-fl模型、fcn-8s-fl-5rau模型和步骤(1)中完成的神经网络训练集，进行神经网络训练；
10.(5)验证步骤(4)训练完成的模型；
11.(6)获取摄像头码流数据，定时对图片进行抽帧，组成时间序列图帧g0(x，y)、g1(x，y)
……gn
(x，y)，通过步骤(4)中训练完成的模型，对序列图帧g0(x，y)、g1(x，y)
……gn
(x，y)进行识别，输出二值化识别结果图g0(x，y)
′
、g1(x，y)
′……gn
(x，y)
′
；
12.(7)对二值化结果图g0(x，y)
′
、g1(x，y)
′……gn
(x，y)
′
进行像素扫描统计，计算积
水像素点个数，根据阈值给出积水结论，完成对每帧图片中水坑、浅度积水的分析识别，并将该识别点的识别结果、位置信息和时间信息输出给接口服务程序；
13.(8)对时间序列帧g0(x，y)、g1(x，y)
……gn
(x，y)的图像进行滤波、光线处理、增强以及二值化识别处理，得到图像h0(x，y)、h1(x，y)
……hn
(x，y)；
14.(9)对图像h0(x，y)、h1(x，y)......hn(x，y)进行连通域分析，根据连通域轮廓像素点遍历出图像中所有满足width≤α且length≥β的线性矩形支持区域r0(x，y)、r1(x，y)......rm(x，y)，对所有连通域轮廓r0(x，y)、r1(x，y)
……rm
(x，y)的像素点进行遍历，找到每个像素点所在线性矩形支持区域，并将其优先提取至length值更大的线性矩形支持区域并更新区域为r0(x，y)
′
、r1(x，y)
′……rm
(x，y)
′
；
15.(10)对更新区域r0(x，y)
′
、r1(x，y)
′
......rm(x，y)，所有矩形中的黑点像素进行邻域检测，对邻域无同像素的孤点进行剔除，并重新遍历所有矩形支持区域，将width＞α或length＜β的矩形支持区域剔除，得到r0(x，y)
″
、r1(x，y)
″
......rm(x，y)
″
，再将所有r0(x，y)
″
、r1(x，y)
″
......rm(x，y)
″
的矩形宽边中点线段连接，标记回原图像g0(x，y)、g1(x，y)......gn(x，y)中；
16.(11)将所有时间序列帧g0(x，y)、g1(x，y)
……gn
(x，y)中的钢轨、轨枕、道床、道岔局部按线性线段角度进行逆向旋转，实现关键线性线段的水平置位，水平置位后可以极为方便的通过矩形框对钢轨、轨枕、道床、道岔的局部线性线段区域进行roi提取，从而实现不同特征的roi提取，根据基于多特征roi区域斜率搜索及长度累加的量化方法，完成对深度积水的识别检测，将该识别点的识别结果、位置信息、时间信息输出给接口服务程序；
17.(12)接口服务程序将步骤(1)-(7)识别输出的水坑、浅积水识别结果以及步骤(8)-(11)识别输出的深度积水结果，根据时空关系进行匹配，将匹配后的当前识别点的识别结果、位置信息、时间信息输出并存入数据库，同时发送给智能告警单元，通过不同告警级别进行推送。
18.进一步地，所述步骤(4)基于反射的注意力机制单元的模型构建方法为：给定一个大小为[h，w，c]的输入特征图i，在水平方向上进行平均池化，使其缩小到[h，w/2，c]；然后进行垂直平均池化将其减少到大小为[n，w/2，c]的x；之后，x的每一行xi的大小为[1，w/2]，被平铺或自我复制到大小为[n，w/2]，从所有行中得到的特征图沿特征轴串联成一个新的特征图，大小为[n，w/2，c*n]；最后，这个特征图被上采样为[h，w，c*n]大小，并表示为x
′
，沿特征轴串联n次i，得到大小为[h，w，c*n]的i
′
，从x
′
中减去i
′
，产生大小为[h，w，c*n]的d，被减去的特征图再次与i
′
串联，送入卷积层并由relu函数激活，生成与i相同大小的最终输出特征图。
[0019]
进一步地，所述步骤(3)基于反射的注意力机制单元对水面反射的相关图像性质进行识别具体包括对积水水面反射出的上方图像进行搜索，通过沿着图像的像素列匹配图像区域来搜索反射像素点，在垂直匹配中使用多种分辨率遍历搜索。
[0020]
进一步地，所述步骤(5)中验证训练完成的模型具体操作为：所述步骤(5)中验证训练完成的模型具体操作为：通过步骤(1)中完成的测试集应用在步骤(3)中的fcn-8s-fl模型、fcn-8s-fl-5rau模型，并与没有使用基于反射的注意力机制单元的fcn-8s神经网络模型进行对比。
[0021]
进一步地，所述步骤(11)中基于多特征roi区域斜率搜索及长度累加的量化方法
为：计算roi区域中与钢轨、轨枕、道床、道岔线线段斜率值之差小于k的所有线段的数量及长度累加和，钢轨、轨枕、道床、道岔的roi线性线段的数量及长度累加和分别为counts-g、counts-d、counts-c1、counts-c2、lenth-g、lenth-d、lenth-c1、lenth-c2，当出现深度积水时，钢轨、轨枕、道床、道岔被积水覆盖，其对应roi区域中的线性线段消失，counts-g、counts-d、counts-c1、counts-c2、lenth-g、lenth-d、lenth-c1、lenth-c2数值骤减，当以上数值连续n帧小于阈值时，判定为深度积水状态。
[0022]
本发明所述的一种城轨积水识别系统，包括图像采集单元、模型训练单元、视觉识别单元、线性线段检测单元、roi量化处理单元、接口服务程序以及智能告警单元，其中，图像采集单元为符合标准码流输出协议的摄像头；模型训练单元用于构建改进的全卷积积分神经网络，完成积水识别模型训练，并为视觉识别提供基础模型；视觉识别单元通过模型训练单元训练完的模型对监测区域下的水坑、浅度积水进行图像识别；线性线段检测单元内置独创的线性线段识别算法，实现对城轨场景监测图像中固定景物的线性线段特征进行识别；roi量化处理单元用于对图像进行处理，并对钢轨、轨枕、道床、道岔的局部线性线段区域进行roi提取，通过基于多特征roi区域斜率搜索及长度累加的量化方法，完成对深度积水的识别检测；接口服务程序用于为各子系统提供数据流转服务，并根据结果数据的时空关系进行匹配，将匹配后的信息输出给智能告警单元；智能告警单元用于将识别结果发送至城轨应急管理中心平台，通过不同告警级别进行推送。
[0023]
有益效果：本发明与现有技术相比，具有如下显著优点：
[0024]
(1)采用独创的视觉检测技术，对城轨区域浅度积水、深度积水的精确识别和及时告警，适用于桥隧、户外等全天候场景，提高了相关部门的汛情排查能力和后续应急处置工作效率；
[0025]
(2)融合了水面镜像特征搜索并对全卷积神经网络进行改进，加强了模型的识别性能，解决了因积水形状和边界不规则带来的识别难度，提高了对水坑及浅度积水识别的准确性；
[0026]
(3)采用独创的基于多特征roi区域斜率搜索及长度累加的量化方法，快速区分钢轨、轨枕、道床、道岔等不同部件与深度积水之间的特征区别，对积水大面积覆盖铁轨的深度积水状态进行有效识别，能够容忍摄像头抖动、光线变换等不良条件，场景通用性强；
[0027]
(4)通过不同算法，同时对区域浅度积水和深度积水进行识别和结果输出，为防汛应急系统的风险识别和快速决策提供了有力的数据支撑，帮助有关部门迅速、高效、有序做好应急处置工作；
[0028]
(5)系统采用标准协议获取摄像头码流数据，可利用城轨系统已有的摄像头进行接入，极大降低了施工成本和部署难度，便于相关部门快速推广使用。
附图说明
[0029]
图1为本发明的流程图；
[0030]
图2为语义分割模型网络结构图；
[0031]
图3为反射注意力机制单元的结构示意图；
[0032]
图4为新型的fcn-8s全卷积神经网络结构图；
[0033]
图5为语义分割积水识别二值化效果图；
[0034]
图6为图片预处理效果图；
[0035]
图7为线性矩形支持区域；
[0036]
图8为线性线段旋转置位过程图；
[0037]
图9为roi提取及量化图；
[0038]
图10为不同积水的线性线段检测结果图。
具体实施方式
[0039]
下面结合附图对本发明的技术方案作进一步说明。
[0040]
本发明所述的城轨积水识别系统包括：图像采集单元、模型训练单元、视觉识别单元、线性线段检测单元、roi量化处理单元、接口服务程序、智能告警单元，如图1所示，其中：
[0041]
图像采集单元为符合标准码流输出协议的摄像头，用于对实时图像数据进行采集。摄像头可以为原有城轨系统中满足监测区域要求的设备；模型训练单元用于构建改进的全卷积积分神经网络，并完成积水识别模型训练，从而为视觉识别提供基础模型；视觉识别单元，通过模型训练单元训完的模型对监测区域下的水坑、浅度积水进行图像识别，并将结果输出给接口服务程序；线性线段检测单元内置独创的线性线段识别算法，实现对城轨场景监测图像中固定景物的线性线段特征进行识别，并输出所有线性线段特征的识别结果；roi量化处理单元用于对图像进行处理，并对钢轨、轨枕、道床、道岔的局部线性线段区域进行roi提取，通过独创的基于多特征roi区域斜率搜索及长度累加的量化方法，完成对深度积水的识别检测，并将结果输出给接口服务程序；接口服务程序用于为各子系统提供数据流转服务，并根据结果数据的时空关系进行匹配，将匹配后的当前识别点的识别结果、位置信息、时间信息输出给智能告警单元；智能告警单元用于将识别结果发送至城轨应急管理中心平台，通过不同告警级别的推送，为上级管理系统提供了决策依据，帮助相关部门迅速、高效、有序做好应急处置工作。
[0042]
一种城轨积水识别方法包括如下步骤：
[0043]
(1)基于目标使用环境收集各城轨场景下的地面积水图像数据，结合网路上的随机地面积水数据，使用labelme工具进行积水区域标注，从而构成积水识别深度神经网络数据集，基于该数据集划分出积水识别神经网络训练集和神经网络测试集。
[0044]
(2)基于标准的fcn-8s全卷积神经网络建立一个用于积水识别的语义分割模型。其网络结构如图2所示，采用标准的全卷积神经网络，相对于普通的卷积神经网络的区别在于最后的全连接层全部替换成卷积层从而获得一张二维的特征图，再通过softmax函数获得对应像素的分类结果。
[0045]
(3)针对积水的形状和边界不规则特性，以及积水水面反射导致的水面图像信息多变特性，采用基于反射的注意力机制单元对水面反射的相关图像性质进行对比识别，在步骤(2)中加入基于反射的注意力机制单元，生成新型的fcn-8s全卷积神经网络(fcn-8s-fl模型)，其网络结构如图4所示，在新型的fcn-8s全卷积神经网络模型中加入损失函数(fcn-8s-fl-5rau模型)，采用焦点损失来解决样本不平衡的问题。
[0046]
采用基于反射的注意力机制单元对积水水面反射出的上方图像进行搜索，通过沿着图像的像素列匹配图像区域来搜索反射像素点，在垂直匹配中使用多种分辨率遍历搜索，从而提升对透视畸变、轻度相机旋转(与地平线的角度)和模糊反射等问题造成误差的
容忍度。
[0047]
基于反射的注意力机制单元的结构示意图如图3所示，具体包括，给定一个大小为[h，w，c]的输入特征图i，在水平方向上进行平均池化，使其缩小到[h，w/2，c]，进行垂直平均池化将其减少到大小为[n，w/2，c]的x；随之，x的每一行xi的大小为[1，w/2]，被平铺或自我复制到大小为[n，w/2]，从所有行中得到的特征图沿特征轴串联成一个新的特征图，大小为[n，w/2，c*n]；然后，这个特征图被上采样为[h，w，c*n]大小，并表示为x
′
，沿特征轴串联n次i，得到大小为[h，w，c*n]的i
′
，从x
′
中减去i
′
，产生大小为[h，w，c*n]的d，它编码了反射关系，被减去的特征图再次与i
′
串联，送入卷积层并由relu函数激活，生成与i相同大小的最终输出图。
[0048]
(4)基于步骤(3)中提出的模型和步骤(1)中完成的训练集，进行神经网络训练，以12gb内存的nvidia titan xp gpu上进行训练为例，batchsize设置为1，学习速率设置为初始10-6
，并在每5千次迭代时减少0.2倍。
[0049]
(5)验证步骤(4)训练完成的模型，通过步骤(1)中完成的测试集应用在步骤(3)中的新型fcn-8s全卷积神经网络模型，并与没有使用基于反射的注意力机制单元的fcn-8s神经网络模型进行对比，可以得出步骤(4)中取得的模型具有更优的路面积水识别功能，相关数据如下表：
[0050]
表1模型测试结果对比数据表
[0051] f值精确率召回率准确率fcn-8s65.21％69.81％61.18％99.05％fcn-8s-fl70.62％74.38％67.22％99.19％fcn-8s-fl-5rau76.91％78.03％75.81％99.34％
[0052]
(6)获取摄像头码流数据并转换成视频文件，定时对图片进行抽帧，组成时间序列图帧g0(x，y)、g1(x，y)......gn(x，y)，通过步骤(4)中训练完成的模型，对序列图帧g0(x，y)、g1(x，y)......gn(x，y)进行识别，输出如图5所示的二值化识别结果图g0(x，y)
′
、g1(x，y)
′
......gn(x，y)
′
。
[0053]
(7)对二值化结果图g0(x，y)
′
、g1(x，y)
′
......gn(x，y)
′
进行像素扫描统计，计算积水像素点个数，根据阈值给出积水结论，完成对每帧图片中水坑、浅度积水的分析识别，并将该识别点的识别结果、位置信息、时间信息输出给接口服务程序。
[0054]
(8)对时间序列帧g0(x，y)、g1(x，y)......gn(x，y)进行滤波、光线处理、增强和二值化处理，得到图像h0(x，y)、h1(x，y)......hn(x，y)，如图6所示。
[0055]
(9)对图像h0(x，y)、h1(x，y)
……hn
(x，y)进行连通域分析，根据连通域轮廓像素点，遍历出图像中所有width≤α且length≥β的线性矩形支持区域r0(x，y)、r1(x，y)......rm(x，y)，如图7所示，对所有连通域轮廓r0(x，y)、r1(x，y)......rm(x，y)的像素点进行遍历，找到每个像素点所在线性矩形支持区域，并将其优先提取至length值更大的线性矩形支持区域并更新区域为r0(x，y)
′
、r1(x，y)
′
......rm(x，y)
′
。
[0056]
(10)对更新区域r0(x，y)
′
、r1(x，y)
′
......rm(x，y)
′
中所有矩形中的黑点像素进行邻域检测，对邻域无同像素的孤点进行剔除，并重新遍历所有矩形支持区域，将width＞α或length＜β的矩形支持区域剔除，得到r0(x，y)
″
、r1(x，y)
″
......rm(x，y)
″
，再将所有r0(x，y)
″
、r1(x，y)
″
......rm(x，y)
″
的矩形宽边中点线段连接，标记回原图像g0(x，y)、g1(x，
y)......gn(x，y)中，如图8所示。
[0057]
(11)将所有时间序列帧g0(x，y)、g1(x，y)......gn(x，y)中的钢轨、轨枕、道床、道岔局部按线性线段角度进行逆向旋转，实现关键线性线段的水平置位，水平置位后可以极为方便的通过矩形框对钢轨、轨枕、道床、道岔的局部线性线段区域进行roi(region of interest)提取，从而实现不同特征的roi提取，
[0058]
计算roi区域中与钢轨、轨枕、道床、道岔线线段斜率值之差小于k的所有线段的数量及长度累加和，如图9所示，钢轨、轨枕、道床、道岔的roi线性线段的数量及长度累加和分别为counts-g、counts-d、counts-c1、counts-c2、lenth-g、lenth-d、lenth-c1、lenth-c2，当出现深度积水时，钢轨、轨枕、道床、道岔被积水覆盖，其对应roi区域中的线性线段消失，counts-g、counts-d、counts-c1、counts-c2、lenth-g、lenth-d、lenth-c1、lenth-c2数值骤减，如图10所示，当判定以上数值连续n帧小于阈值时，判定为深度积水状态，并将该识别点的识别结果、位置信息、时间信息输出给接口服务程序。
[0059]
采用步骤(8)～步骤(11)中的算法对随机积水测试图片进行特征检测，如图10所示，当积水中存在光影、波纹时，有小概率能检测出少量线性线段特征，然而，将图9和图10对比可以得出，当铁轨被积水深度覆盖后，虽然积水区域的线性线段特征与铁轨中钢轨、轨枕、道床、道岔产生的固定斜率的线性线段特征完全不同，并且随着水波运动，其线性线段特征的稳定性很差，但是通过多帧图片连续识别，也可准确区分，在实际应用过程中，通过上述步骤的算法能够对城轨积水进行有效识别。
[0060]
(12)接口服务程序将步骤(1)～步骤(7)识别输出的水坑、浅积水识别结果，以及步骤(8)～步骤(11)识别输出的深度积水结果，根据时空关系进行匹配，将匹配后的当前识别点的识别结果、位置信息、时间信息输出给告警单元，存入数据库，同时发送给智能告警单元，通过不同告警级别的推送，为防汛应急系统提供了决策依据。