一种特征增强和语义分割的桥梁裂缝识别方法

1.本发明属于图像处理技术领域，具体涉及一种特征增强和语义分割的桥梁裂缝识别方法。


背景技术：

2.目前针对桥梁构筑物表观病害检测可大致分为三类：人工检测、激光扫描检测和计算机视觉图像检测。采用人工巡检方式，检测工作费时费力、且检查成本高、数据随机性大、规范程度低、信息孤岛严重、时效性差、安全风险高，不可避免的存在漏检和视觉盲区，更无法形成客观、精准、完整的检测成果，难以对混凝土桥梁构筑物存在的病害隐患做出及时、全面的检测和预警，严重制约了混凝土桥梁工程的运维和管控。采用激光扫描检测方式，检测结果通常不够直观，处理分析三维空间信号时间较长，效率不高，且系统构成较大、部署困难、价格昂贵，导致此类检测方式并未得到较广的应用。从使用的技术通道级可大致将基于计算机视觉的图像处理技术分为三个发展阶段：基于传统图像处理技术的检测方法、基于传统机器学习的检测方法和基于深度学习的检测方法。前两种方法在实际应用过程中弊端逐渐显现：（1）在复杂多变的场景中，传统图像处理技术极易受到污渍、光照、水流等噪声干扰，鲁棒性和泛化能力较差，仅适用于简单的场景任务；（2）传统机器学习仍旧涉及手工特征的提取、阈值的设定等繁琐的过程，人为主观性问题成为影响处理效果的重要因素之一。由于深度学习可自动训练、迭代、优化的特点，其检测精度、鲁棒性和泛化能力较之前的方法都有较大提升，在后续发展过程中，基于深度学习的检测方法逐渐成为桥梁构筑物表观病害检测的主流方式。然而，由于裂缝图像的特殊性，在使用深度学习的相关方法对裂缝图像进行处理时，极易造成裂缝信息在处理过程中被损失，同时裂缝像素与背景像素的不均衡问题也导致了裂缝特征识别精度不足。


技术实现要素：

3.针对现有技术中的上述不足，本发明提供的一种特征增强和语义分割的桥梁裂缝识别方法解决了以下技术问题：1、裂缝信息在处理过程中被损失；2、裂缝像素与背景像素的不均衡，造成裂缝特征识别精度不足。
4.为了达到上述发明目的，本发明采用的技术方案为：一种特征增强和语义分割的桥梁裂缝识别方法，包括以下步骤：s1、采集包含裂缝的桥梁图像，构建桥梁裂缝数据集；s2、通过特征提取模型获取桥梁裂缝数据集的高维抽象语义特征；s3、采用裂缝特征增强模型对高维抽象语义特征进行增强，得到增强特征；s4、根据增强特征和高维抽象特征，对桥梁裂缝图像进行逐像素分类，得到桥梁裂缝。
5.进一步地，所述步骤s2中特征提取模型包括：第1稠密卷积块至第50稠密卷积块，
共50个稠密卷积块；第1跨步卷积至第16跨步卷积，共16个跨步卷积；第1反卷积至第13反卷积，共13个反卷积。
6.进一步地，所述特征提取模型包括5个阶段：第0阶段输入1种分辨率特征，输出1种分辨率特征；第1阶段输入第0阶段输出的1种分辨率特征，输出2种分辨率特征；第2阶段输入第1阶段输出的2种分辨率特征，输出3种分辨率特征；第3阶段输入第2阶段输出的3种分辨率特征，输出4种分辨率特征；第4阶段将第3阶段输出的4种分辨率特征进行融合；所述稠密卷积块用于对相同分辨率特征进行抽象特征提取；所述跨步卷积用于从高分辨率特征获取低分辨率的高维抽象特征；所述反卷积用于将低分辨率特征与高分辨率特征相加。
7.进一步地，所述特征提取模型和裂缝特征增强模型训练时，损失函数为：其中，为损失函数，损失函数包括：第一种方式计算的误差结果和第二种方式计算的误差结果，为第一种方式计算的误差结果，为第二种方式计算的误差结果；第一种方式函数具体计算过程如下：若，则计算误差序列中所有满足该条件的误差值的平均值作为误差结果；若，则计算误差序列前个值的平均值作为误差结果；其中，逐像素计算预测概率与标签的误差值，并降序排列，得到误差序列，为真实概率，为预测概率，为需要优化的误差值数量，为概率阈值；为概率阈值；其中，为单次参与训练的数据中裂缝像素与总像素的比值，为单次参与训练的数据中裂缝像素，为单次参与训练的总像素，为训练过程中单次参与训练的数据量，为训练过程中单次的分割类别数，为训练过程中单次参与训练的数据量的图像分辨率。
8.上述进一步地方案的技术效果为：在每次训练时统计单次参与训练的数据中裂缝像素与总像素的比值，并根据比值设定需要优化误差值数量，提升裂缝像素部分产生的损失值在整体损失值中的比重，减小裂缝像素与背景像素不均衡的影响。同时，将
预测结果与标签（标签即真实概率）的交并比纳入损失函数，提升模型定位裂缝的准确率。
9.进一步地，所述步骤s2中特征提取模型的输出为：其中，为特征提取模型中第阶段输出的第种分辨率特征，，为输入特征提取模型中第阶段的第种分辨率特征，为特征提取模型中第阶段从第种分辨率特征到第种分辨率特征的映射函数。
10.进一步地，所述映射函数的表达式为：其中，为使用步长为2的3
×
3卷积将第种分辨率特征下采样至第种分辨率特征大小，为使用步长为1的3
×
3卷积对第种分辨率特征进行特征提取但不改变分辨率大小，为使用反卷积将第种分辨率特征上采样至第种分辨率特征大小。
11.进一步地，所述步骤s3包括以下分步骤：s31、根据分割类别，将高维抽象语义特征分割成两个粗分割特征，其中，粗分割特征对应裂缝像素类别，粗分割特征对应背景像素类别；s32、将两个粗分割特征与高维抽象语义特征进行聚合，得到目标类别的区域；s33、计算高维抽象语义特征与每一类目标的区域关系，得到目标类别的上下文；s34、将目标类别的上下文与高维抽象语义特征进行级联融合，得到增强特征。
12.进一步地，所述步骤s32中目标类别的区域表达式为：其中，为第类目标的区域，为第类粗分割特征位置处的像素属于第类粗分割特征的概率，等于1时，对应裂缝像素类，等于2时，对应背景像素类，为高维抽象语义特征位置处的像素，为高维抽象语义特征中像素的数量。
13.进一步地，所述步骤s33中目标类别的上下文表达式为：
其中，为高维抽象语义特征位置处的目标类别的上下文，为高维抽象语义特征位置处的像素与第类目标的区域的关系权重，为使用步长为1的1
×
1卷积对特征进行通道整合，等于1时，对应裂缝像素类，等于2时，对应背景像素类，为高维抽象语义特征位置处的像素，为第类目标的区域。
14.进一步地，所述步骤s34中增强特征的表达式为：其中，为高维抽象语义特征位置处级联融合处理后的增强特征，为使用步长为1的1
×
1卷积对特征进行通道整合，为高维抽象语义特征位置处的像素，为高维抽象语义特征位置处的目标类别的上下文。
15.上述进一步地方案的技术效果为：根据粗分割结果对提取到的高维抽象特征进行基于类别的区域聚集，提升高维特征中属于相同类别的特征间的相关性，以此达到增强特征的目的，提升分割性能。
16.本发明的有益效果为：1、本发明使用标准卷积、跨步卷积和反卷积运算构建了多阶段多分辨特征提取模型，保证整个提取阶段可训练优化，相比普通卷积神经网络提取特征，大大降低了特征传递过程中信息的损失，同时各阶段各分辨率特征可充分融合。
17.2、本发明根据分割类别对提取到的高维特征进行增强，通过计算特征间的相似度将特征进行区域聚集，获得基于目标类别的增强特征，并与原高维特征进行融合，有效提升了对裂缝特征的分割性能，同时使得裂缝信息有效保留。
18.3、本发明将裂缝像素的占比情况应用到损失函数计算过程中，提升裂缝像素对整体损失值的影响，减小裂缝像素与背景像素不均衡的影响，从而提升网络对裂缝特征的分割精度。
附图说明
19.图1为一种特征增强和语义分割的桥梁裂缝识别方法得流程图；图2为特征提取模型的整体结构示意图；图3为裂缝特征增强模型的处理流程图；图4为实验效果图；其中，1_1、第1稠密卷积块；1_2、第2稠密卷积块；1_3、第3稠密卷积块；1_4、第4稠密卷积块；1_5、第5稠密卷积块；1_6、第6稠密卷积块；1_7、第7稠密卷积块；1_8、第8稠密卷积块；1_9、第9稠密卷积块；1_10、第10稠密卷积块；1_11、第11稠密卷积块；1_12、第12稠密
卷积块；1_13、第13稠密卷积块；1_14、第14稠密卷积块；1_15、第15稠密卷积块；1_16、第16稠密卷积块；1_17、第17稠密卷积块；1_18、第18稠密卷积块；1_19、第19稠密卷积块；1_20、第20稠密卷积块；1_21、第21稠密卷积块；1_22、第22稠密卷积块；1_23、第23稠密卷积块；1_24、第24稠密卷积块；1_25、第25稠密卷积块；1_26、第26稠密卷积块；1_27、第27稠密卷积块；1_28、第28稠密卷积块；1_29、第29稠密卷积块；1_30、第30稠密卷积块；1_31、第31稠密卷积块；1_32、第32稠密卷积块；1_33、第33稠密卷积块；1_34、第34稠密卷积块；1_35、第35稠密卷积块；1_36、第36稠密卷积块；1_37、第37稠密卷积块；1_38、第38稠密卷积块；1_39、第39稠密卷积块；1_40、第40稠密卷积块；1_41、第41稠密卷积块；1_42、第42稠密卷积块；1_43、第43稠密卷积块；1_44、第44稠密卷积块；1_45、第45稠密卷积块；1_46、第46稠密卷积块；1_47、第47稠密卷积块；1_48、第48稠密卷积块；1_49、第49稠密卷积块；1_50、第50稠密卷积块；2_1、第1跨步卷积；2_2、第2跨步卷积；2_3、第3跨步卷积；2_4、第4跨步卷积；2_5、第5跨步卷积；2_6、第6跨步卷积；2_7、第7跨步卷积；2_8、第8跨步卷积；2_9、第9跨步卷积；2_10、第10跨步卷积；2_11、第11跨步卷积；2_12、第12跨步卷积；2_13、第13跨步卷积；2_14、第14跨步卷积；2_15、第15跨步卷积；2_16、第16跨步卷积；3_1、第1反卷积；3_2、第2反卷积；3_3、第3反卷积；3_4、第4反卷积；3_5、第5反卷积；3_6、第6反卷积；3_7、第7反卷积；3_8、第8反卷积；3_9、第9反卷积；3_10、第10反卷积；3_11、第11反卷积；3_12、第12反卷积；3_13、第13反卷积。
具体实施方式
20.下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
21.如图1所示，一种特征增强和语义分割的桥梁裂缝识别方法，包括以下步骤：s1、采集包含裂缝的桥梁图像，构建桥梁裂缝数据集；s2、通过特征提取模型获取桥梁裂缝数据集的高维抽象语义特征；s3、采用裂缝特征增强模型对高维抽象语义特征进行增强，得到增强特征；s4、根据增强特征和高维抽象特征，对桥梁裂缝图像进行逐像素分类，得到桥梁裂缝。
22.如图2所示，所述步骤s2中特征提取模型包括：第1稠密卷积块1_1至第50稠密卷积块1_50，共50个稠密卷积块；第1跨步卷积2_1至第16跨步卷积2_16，共16个跨步卷积；第1反卷积3_1至第13反卷积3_13，共13个反卷积；特征提取模型包括5个阶段：第0阶段、第1阶段、第2阶段、第3阶段和第4阶段；所述第0阶段包括依次连接的第1稠密卷积块1_1至第3稠密卷积块1_3；所述第1阶段包括2通道，第2阶段的第1通道包括：依次连接的第4稠密卷积块1_4至第8稠密卷积块1_8，所述第4稠密卷积块1_4的输入端与第3稠密卷积块1_3的输出端连接；第1阶段的第2通道包括：第1跨步卷积2_1，依次连接的第21稠密卷积块1_21至第24稠密卷积块1_24，所述第1跨步卷积2_1的输入端与第3稠密卷积块1_3的输出端连接，所
述第1跨步卷积2_1的输出端与第21稠密卷积块1_21的输入端连接；所述第2阶段包括3通道，第3阶段的第1通道包括：第1反卷积3_1、依次连接的第9稠密卷积块1_9至第13稠密卷积块1_13，所述第9稠密卷积块1_9的输入端与第8稠密卷积块1_8的输出端连接，所述第1反卷积3_1的输入端与第24稠密卷积块1_24的输出端连接，其输出端与第10稠密卷积块1_10的输入端连接；第2阶段的第2通道包括：第2跨步卷积2_2、依次连接的第25稠密卷积块1_25至第29稠密卷积块1_29，所述第25稠密卷积块1_25的输入端与第24稠密卷积块1_24的输出端连接，所述第2跨步卷积2_2的输入端与第8稠密卷积块1_8的输出端连接，其输出端与第26稠密卷积块1_26的输入端连接；第2阶段的第3通道包括：第3跨步卷积2_3、第4跨步卷积2_4、依次连接第36稠密卷积块1_36至第39稠密卷积块1_39，所述第3跨步卷积2_3的输入端与第8稠密卷积块1_8的输出端连接，其输出端与第36稠密卷积块1_36的输入端连接，所述第4跨步卷积2_4的输入端与第24稠密卷积块1_24的输出端连接，其输出端与第36稠密卷积块1_36的输入端连接；所述第3阶段包括4通道，第4阶段的第1通道包括：第2反卷积3_2、第3反卷积3_3、依次连接的第14稠密卷积块1_14至第20稠密卷积块1_20、第11跨步卷积2_11、第12跨步卷积2_12和第13跨步卷积2_13，所述第2反卷积3_2的输入端与第29稠密卷积块1_29的输出端连接，其输出端与第15稠密卷积块1_15的输入端连接；所述第3反卷积3_3的输入端与第39稠密卷积块1_39的输出端连接，其输出端与第15稠密卷积块1_15的输入端连接；所述第14稠密卷积块1_14的输入端与第13稠密卷积块1_13的输出端连接；所述第11跨步卷积2_11的输入端与第18稠密卷积块1_18的输出端连接，其输出端与第11反卷积3_11的输入端连接；所述第12跨步卷积2_12的输入端与第18稠密卷积块1_18的输出端连接，其输出端与第12反卷积3_12的输入端连接；所述第13跨步卷积2_13的输入端与第18稠密卷积块1_18的输出端连接，其输出端与第13反卷积3_13的输入端连接；所述第3阶段的第2通道包括：第5跨步卷积2_5、第4反卷积3_4、以及依次连接的第30稠密卷积块1_30至第35稠密卷积块1_35、第5反卷积3_5、第14跨步卷积2_14、第15跨步卷积2_15和第11反卷积3_11，所述第5跨步卷积2_5的输入端与第13稠密卷积块1_13的输出端连接，其输出端与第31稠密卷积块1_31的输入端连接；所述第4反卷积3_4的输入端与第39稠密卷积块1_39的输出端连接，其输出端与第31稠密卷积块1_31的输入端连接；所述第30稠密卷积块1_30的输入端与第29稠密卷积块1_29的输出端连接；所述第5反卷积3_5的输入端与第34稠密卷积块1_34的输出端连接，其输出端与第20稠密卷积块1_20的输入端连接；所述第14跨步卷积2_14的输入端与第34稠密卷积块1_34的输出端连接，其输出端与第12反卷积3_12的输入端连接；所述第15跨步卷积2_15的输入端与第34稠密卷积块1_34的输出端连接，其输出端与第13反卷积3_13的输入端连接；所述第11反卷积3_11的输入端还与第35稠密卷积块1_35的输出端连接，其输出端与第20稠密卷积块1_20的输出端连接；所述第3阶段的第3通道包括：第6跨步卷积2_6、第7跨步卷积2_7、以及依次连接的第40稠密卷积块1_40至第45稠密卷积块1_45、第6反卷积3_6、第8反卷积3_8、第16跨步卷积2_16和第12反卷积3_12；所述第6跨步卷积2_6的输入端与第13稠密卷积块1_13的输出端连接，其输出端与第41稠密卷积块1_41的输入端连接；所述第7跨步卷积2_7的输入端与第29稠密卷积块1_29的输出端连接，其输出端与第41稠密卷积块1_41的输入端连接；所述第40
稠密卷积块1_40的输入端与第39稠密卷积块1_39的输出端连接；所述第6反卷积3_6的输入端与第44稠密卷积块1_44的输出端连接，其输出端与第20稠密卷积块1_20的输入端连接；所述第8反卷积3_8的输入端与第44稠密卷积块1_44的输出端连接，其输出端与第11反卷积3_11的输入端连接；所述第16跨步卷积2_16的输入端与第44稠密卷积块1_44的输出端连接，其输出端与第13反卷积3_13的输入端连接；所述第12反卷积3_12的输入端还与第45稠密卷积块1_45的输出端连接，其输出端与第20稠密卷积块1_20的输出端连接；所述第3阶段的第4通道包括：第8跨步卷积2_8、第9跨步卷积2_9、第10跨步卷积2_10、以及依次连接的第46稠密卷积块1_46至第50稠密卷积块1_50、第7反卷积3_7、第9反卷积3_9、第10反卷积3_10和第13反卷积3_13；所述第8跨步卷积2_8的输入端与第13稠密卷积块1_13的输出端连接，其输出端与第46稠密卷积块1_46的输入端连接；所述第9跨步卷积2_9的输入端与第29稠密卷积块1_29的输出端连接，其输出端与第46稠密卷积块1_46的输入端连接；所述第10跨步卷积2_10的输入端与第39稠密卷积块1_39的输出端连接，其输出端与第46稠密卷积块1_46的输入端连接；所述第7反卷积3_7的输入端与第49稠密卷积块1_49的输出端连接，其输出端与第20稠密卷积块1_20的输入端连接；所述第9反卷积3_9的输入端与第49稠密卷积块1_49的输出端连接，其输出端与第11反卷积3_11的输入端连接；所述第10反卷积3_10的输入端与第49稠密卷积块1_49的输出端连接，其输出端与第12反卷积3_12的输入端连接；所述第13反卷积3_13的输入端与第50稠密卷积块1_50的输出端连接，其输出端与第20稠密卷积块1_20的输出端连接；第4阶段用于将第3阶段输出的4种分辨率特征进行融合。
23.所述特征提取模型包括5个阶段：第0阶段输入1种分辨率特征，输出1种分辨率特征；第1阶段输入第0阶段输出的1种分辨率特征，输出2种分辨率特征；第2阶段输入第1阶段输出的2种分辨率特征，输出3种分辨率特征；第3阶段输入第2阶段输出的3种分辨率特征，输出4种分辨率特征；第4阶段将第3阶段输出的4种分辨率特征进行融合。
24.所述特征提取模型和裂缝特征增强模型训练时，损失函数为：其中，为损失函数，损失函数包括：第一种方式计算的误差结果和第二种方式计算的误差结果，为第一种方式计算的误差结果，为第二种方式计算的误差结果；第一种方式函数具体计算过程如下：若，则计算误差序列中所有满足该条件的误差值的平均值作为误差结果；若，则计算误差序列前个值的平均值作为误差结果；其中，逐像素计算预测概率与标签的误差值，并降序排列，得到误差序列，为
真实概率，为预测概率，为需要优化的误差值数量，为概率阈值；为概率阈值；其中，为单次参与训练的数据中裂缝像素与总像素的比值，为单次参与训练的数据中裂缝像素，为单次参与训练的总像素，为训练过程中单次参与训练的数据量，为训练过程中单次的分割类别数，为训练过程中单次参与训练的数据量的图像分辨率。
25.通过标准卷积构建稠密卷积块，用于每个阶段中相同分辨率特征的抽象特征提取。而跨步卷积则用来从高分辨率特征获取低分辨率的高维抽象特征。在各个阶段中，各种分辨率特征并行传递，并在末尾互相融合。在特征融合过程中，高分辨率特征直接使用跨步卷积下采样并与对应低分辨率特征相加。而低分辨率特征则使用反卷积运算上采样并与对应高分辨率特征相加。第阶段的末尾会生成+1种分辨率特征（仅适用），第4阶段末尾仅是四种分辨率特征互相融合并级联作为最终的特征提取结果，不会继续下采样更低分辨率特征。因此，在第阶段末尾第种分辨率特征的输出为：其中，为特征提取模型中第阶段输出的第种分辨率特征，，为输入特征提取模型中第阶段的第种分辨率特征，为特征提取模型中第阶段从第种分辨率特征到第种分辨率特征的映射函数。
26.所述映射函数的表达式为：其中，为使用步长为2的3
×
3卷积将第种分辨率特征下采样至第种分辨率特征大小，为使用步长为1的3
×
3卷积对第种分辨率特征进行特征提取但不改变分辨率大小，为使用反卷积将第种分辨率特征上采样至第种分辨率特征大小。
27.如图3所示，所述步骤s3包括以下分步骤：
s31、根据分割类别，将高维抽象语义特征分割成两个粗分割特征，其中，粗分割特征对应裂缝像素类别，粗分割特征对应背景像素类别；s32、将两个粗分割特征与高维抽象语义特征进行聚合，得到目标类别的区域；s33、计算高维抽象语义特征与每一类目标的区域关系，得到目标类别的上下文；s34、将目标类别的上下文与高维抽象语义特征进行级联融合，得到增强特征。
28.所述步骤s32中目标类别的区域表达式为：其中，为第类目标的区域，为第类粗分割特征位置处的像素属于第类粗分割特征的概率，等于1时，对应裂缝像素类，等于2时，对应背景像素类，为高维抽象语义特征位置处的像素，为高维抽象语义特征中像素的数量。
29.所述步骤s33中目标类别的上下文表达式为：所述步骤s33中目标类别的上下文表达式为：其中，为高维抽象语义特征位置处的目标类别的上下文，为高维抽象语义特征位置处的像素与第类目标的区域的关系权重，为使用步长为1的1
×
1卷积对特征进行通道整合，等于1时，对应裂缝像素类，等于2时，对应背景像素类，为高维抽象语义特征位置处的像素，为第类目标的区域。
30.所述步骤s34中增强特征的表达式为：其中，为高维抽象语义特征位置处级联融合处理后的增强特征，为使用步长为1的1
×
1卷积对特征进行通道整合，为高维抽象语义特征位置处的像素，为高维抽象语义特征位置处的目标类别的上下文。
31.如图4所示，通过本发明的方法将原图上的裂纹进行识别，得到的输出结果与原图的裂纹几乎一致。