路面病害识别方法、模型训练方法、电子设备及介质与流程

本技术涉及路面养护的领域，尤其是涉及一种路面病害识别方法、模型训练方法、电子设备及介质。

背景技术：

1、道路的路面病害一般包括龟裂、断裂、坑槽等，属于路面养护中的常见状态。道路病害的存在会给交通运输带来较大的安全隐患，因而对道路病害进行精确的检测以便进行及时的修复是至关重要的。

2、相关技术中，依靠检测车进行路面图像数据采集，并基于深度学习的路面病害检测模型对收集到的图像数据进行识别检测，检测完成之后系统自动生成路面病害识别报告，包含裂缝类型、破损程度及位置信息的描述。

3、相关技术中的检测方案，对在光线较好的白天采集的路面图像中路面病害类型的识别准确度尚可， 但是对于在光线较差的环境下采集的路面图像中路面病害类型的识别准确度较低，如在雨雾天气、傍晚时段采集的路面图像。

4、因此，如何提高对在光线较差的环境下采集的路面图像中路面病害识别的精准度，是一个亟需解决的问题。

技术实现思路

1、为了提高对在光线较差的环境下采集的路面图像中路面病害识别的精准度，本技术提供一种病害识别方法、模型训练方法、电子设备及介质。

2、第一方面，本技术提供一种路面病害识别方法，采用如下的技术方案：

3、一种路面病害识别方法，包括：

4、获取路面图像；

5、将所述路面图像输入病害识别模型，得到病害类型，所述病害识别模型是基于第二模型对第一模型进行迁移学习得到的，所述第一模型是基于训练样本集对初始网络模型训练得到的，所述训练样本集中包括多个初始图像，每个所述初始图像为对路面病害所拍摄的图像，且每个所述初始图像关联一个病害类型标签，所述第二模型是基于光影训练样本集对初始模型训练得到的，所述光影训练样本集包括多个光影图像，所述光影图像为在预设类型的天气环境下或在光线强度小于预设值的环境下所拍摄的路面图像。

6、通过采用上述技术方案，由于病害识别模型是基于第二模型对第一模型进行迁移学习得到的，而第一模型是基于训练样本集对初始网络模型训练得到，第二模型是基于包括多个在预设类型的天气环境下或在光线强度小于预设值的环境下所拍摄的图像的光影训练样本集得到的，因此，迁移学习后得到的病害识别模型在能够识别路面病害的基础上，提升了对光线不足以及特殊天气下场景的图像的识别能力，而在获取路面图像之后，通过病害识别模型进行病害识别，得到的病害类型是较为准确的。

7、第二方面，本技术提供一种模型训练方法，采用如下的技术方案：

8、一种模型训练方法，包括：

9、获取训练样本集，所述训练样本集中包括多个初始图像，每个所述初始图像为对路面病害所拍摄的图像，且每个所述初始图像关联一个病害类型标签；

10、基于所述训练样本集对初始网络模型进行训练，得到第一模型；

11、基于第二模型对所述第一模型进行迁移学习，得到病害识别模型，所述第二模型是基于在光影训练样本集训练得到的，所述光影训练样本集包括多个光影图像，所述光影图像为在预设类型的天气环境下或在光线强度小于预设值的环境下所拍摄的路面图像。

12、通过采用上述技术方案，由于病害识别模型是基于第二模型对第一模型进行迁移学习得到的，而第一模型是基于训练样本集对初始网络模型训练得到，第二模型是基于包括多个在预设类型的天气环境下或在光线强度小于预设值的环境下所拍摄的图像的光影训练样本集得到的，因此，迁移学习后得到的病害识别模型在能够识别路面病害的基础上，提升了对光线不足以及特殊天气下场景的图像的识别能力。

13、在一种可能实现的方式中，所述基于所述训练样本集对初始网络模型进行训练，得到第一模型，包括：

14、将所述训练样本集进行特征增强预处理，得到每个所述初始图像预处理后对应的训练图像，所述预处理包括多尺度特征提取、注意力计算处理以及膨胀卷积处理；

15、基于每个所述训练图像对初始网络模型进行训练，得到第一模型。

16、在一种可能实现的方式中，所述将所述训练样本集进行特征增强预处理，得到每个所述初始图像预处理后对应的训练图像，包括：

17、将每个所述初始图像进行多尺度特征提取，得到每个所述初始图像对应的全局特征，所述全局特征包括所述初始图像在多个图像尺度下各自对应的底层特征，所述底层特征至少包括颜色特征、纹理特征、边缘特征以及形状特征；

18、对每个所述初始图像对应的全局特征进行注意力计算，得到每个所述初始图像在注意力计算后的全局特征；

19、对每个所述初始图像在注意力计算后的全局特征进行膨胀卷积，得到每个所述初始图像对应的训练图像。

20、在一种可能实现的方式中，所述对每个所述初始图像对应的全局特征进行注意力计算，得到每个所述初始图像在注意力计算后的全局特征，包括：

21、对每个所述初始图像在每个图像尺度下对应的底层特征分配对应的权重参数；

22、对每个所述初始图像的各个所述底层特征以及各个所述底层特征各自对应的权重参数进行加权平均，得到每个所述初始图像在注意力计算后的全局特征。

23、在一种可能实现的方式中，所述将所述训练样本集进行特征增强预处理，得到每个所述初始图像预处理后对应的训练图像，包括：

24、基于gan的生成器对所述训练样本集进行预处理，得到每个所述初始图像预处理后对应的训练图像。

25、在一种可能实现的方式中，所述基于第二模型对所述第一模型进行迁移学习，得到病害识别模型，包括：

26、基于所述第一模型的第一特征提取层和所述第二模型的第二特征提取层进行融合，得到融合后的特征提取层，所述第一模型包括第一特征提取层，所述第二模型包括第二特征提取层；

27、基于所述融合后的特征提取层以及所述第一模型得到病害识别模型。

28、第三方面，本技术提供一种路面病害识别装置，采用如下的技术方案：

29、一种路面病害识别装置，包括：

30、路面图像获取模块，用于获取路面图像；

31、病害识别模块，用于将所述路面图像输入病害识别模型，得到病害类型。

32、第四方面，本技术提供一种模型训练装置，采用如下的技术方案：

33、一种模型训练装置，包括：

34、训练样本集获取模块，用于获取训练样本集，所述训练样本集中包括多个初始图像，每个所述初始图像为对路面病害所拍摄的图像，且每个所述初始图像关联一个病害类型标签；

35、训练模块，用于基于所述训练样本集对初始网络模型进行训练，得到第一模型；

36、迁移学习模块，用于基于第二模型对所述第一模型进行迁移学习，得到病害识别模型，所述第二模型是基于在光影训练样本集训练得到的，所述光影训练样本集包括多个光影图像，所述光影图像为在预设类型的天气环境下或在光线强度小于预设值的环境下所拍摄的路面图像。

37、在一种可能实现的方式中，训练模块在基于所述训练样本集对初始网络模型进行训练，得到第一模型时，具体用于：

38、将所述训练样本集进行特征增强预处理，得到每个所述初始图像预处理后对应的训练图像，所述预处理包括多尺度特征提取、注意力计算处理以及膨胀卷积处理；

39、基于每个所述训练图像对初始网络模型进行训练，得到第一模型。

40、在一种可能实现的方式中，训练模块在将所述训练样本集进行特征增强预处理，得到每个所述初始图像预处理后对应的训练图像时，具体用于：

41、将每个所述初始图像进行多尺度特征提取，得到每个所述初始图像对应的全局特征，所述全局特征包括所述初始图像在多个图像尺度下各自对应的底层特征，所述底层特征至少包括颜色特征、纹理特征、边缘特征以及形状特征；

42、对每个所述初始图像对应的全局特征进行注意力计算，得到每个所述初始图像在注意力计算后的全局特征；

43、对每个所述初始图像在注意力计算后的全局特征进行膨胀卷积，得到每个所述初始图像对应的训练图像。

44、在一种可能实现的方式中，训练模块在对每个所述初始图像对应的全局特征进行注意力计算，得到每个所述初始图像在注意力计算后的全局特征时，具体用于：

45、对每个所述初始图像在每个图像尺度下对应的底层特征分配对应的权重参数；

46、对每个所述初始图像的各个所述底层特征以及各个所述底层特征各自对应的权重参数进行加权平均，得到每个所述初始图像在注意力计算后的全局特征。

47、在一种可能实现的方式中，训练模块在将所述训练样本集进行特征增强预处理，得到每个所述初始图像预处理后对应的训练图像时，具体用于：

48、基于gan的生成器对所述训练样本集进行预处理，得到每个所述初始图像预处理后对应的训练图像。

49、在一种可能实现的方式中，迁移学习模块在基于第二模型对所述第一模型进行迁移学习，得到病害识别模型时，具体用于：

50、基于所述第一模型的第一特征提取层和所述第二模型的第二特征提取层进行融合，得到融合后的特征提取层，所述第一模型包括第一特征提取层，所述第二模型包括第二特征提取层；

51、基于所述融合后的特征提取层以及所述第一模型得到病害识别模型。

52、第五方面，本技术提供一种电子设备，采用如下的技术方案：

53、一种电子设备，该电子设备包括：

54、至少一个处理器；

55、存储器；

56、至少一个应用程序，其中所述至少一个应用程序被存储在存储器中并被配置为由至少一个处理器执行，所述至少一个应用程序配置用于：执行上述第一方面所述的一种路面病害识别方法和上述第二方面所述的一种模型训练方法。

57、第六方面，本技术提供一种计算机可读存储介质，采用如下的技术方案：

58、一种计算机可读存储介质，包括：存储有能够被处理器加载并执行上述第一方面所述的一种路面病害识别方法和上述第二方面所述的一种模型训练方法的计算机程序。

59、综上所述，本技术包括以下至少一种有益技术效果：

60、由于病害识别模型是基于第二模型对第一模型进行迁移学习得到的，而第一模型是基于训练样本集对初始网络模型训练得到，第二模型是基于包括多个在预设类型的天气环境下或在光线强度小于预设值的环境下所拍摄的图像的光影训练样本集得到的，因此，迁移学习后得到的病害识别模型在能够识别路面病害的基础上，提升了对光线不足以及特殊天气下场景的图像的识别能力，而在获取路面图像之后，通过病害识别模型进行病害识别，得到的病害类型是较为准确的。