基于深度学习的闸调器拉杆头丢失故障图像识别方法及系统与流程

本发明涉及图像处理，具体为基于深度学习的闸调器拉杆头丢失故障图像识别方法及系统。

背景技术：

1、dab闸调器拉杆头丢失故障是一种危及行车安全的故障，在dab闸调器拉杆头丢失故障检测中，采用人工检查图像的方式进行故障检测。采用图像自动识别的方式可提高检测效率和稳定性。近几年，深度学习与人工智能不断发展，在技术上不断成熟。采用深度学习进行dab闸调器拉杆头丢失故障识别，可以有效提高检测准确率。但由于dab闸调器图像背景较为杂乱，相似部位较多，采用传统的cascade-rcnn深度学习网络进行故障检测的准确程度较低。

技术实现思路

1、本发明的目的是：针对现有技术中闸调器拉杆头丢失故障识别准确率低的问题，提出基于深度学习的闸调器拉杆头丢失故障图像识别方法及系统。

2、本发明为了解决上述技术问题采取的技术方案是：

3、基于深度学习的闸调器拉杆头丢失故障图像识别方法，包括以下步骤：

4、步骤一：获取dab闸调器拉杆头区域图像；

5、步骤二：将dab闸调器拉杆头区域图像中闸调器拉杆头图像进行标记，以此构建数据集；

6、步骤三：对数据集进行数据扩增；

7、步骤四：利用数据扩增后的数据集训练dab闸调器拉杆头丢失检测网络；

8、步骤五：利用训练好的dab闸调器拉杆头丢失检测网络对待识别图像进行识别；

9、dab闸调器拉杆头丢失检测网络为改进的cascade-rcnn网络，改进的cascade-rcnn网络通过resnet50残差网络进行卷积，改进的cascade-rcnn网络具体执行如下步骤：

10、输入图像首先经过conv1进行特征提取，然后通过3×3最大池化，生成特征图；

11、conv1生成的特征图输入conv2中进行特征提取，然后通过3×3最大池化，生成特征图；

12、conv2生成的特征图输入conv3中进行特征提取，然后通过3×3最大池化，生成特征图；

13、conv3生成的特征图输入conv4中进行特征提取，然后通过3×3最大池化，生成特征图；

14、conv4生成的特征图输入conv5中进行特征提取，然后通过3×3最大池化，生成特征图；

15、conv2、conv3、conv4和conv5中输入的特征图先通过1×1的卷积对特征图像进行降维，然后经过3×3的卷积，最后通过1×1卷积恢复维度，输出通道数为256；

16、conv2生成的特征图作为特征图a；

17、特征图a经过下采样后与conv3生成的特征图进行融合，作为特征图b；

18、特征图b经过下采样后与conv4生成的特征图进行融合，作为特征图c；

19、特征图c经过下采样后与conv5生成的特征图进行融合，作为特征图d；

20、特征图d经过上采样后与特征图c融合，作为特征图cc；

21、特征图cc经过上采样后与特征图b融合，作为特征图bb；

22、特征图bb经过上采样后与特征图a融合，作为特征图aa；

23、将特征图bb、特征图cc以及特征图d输入主干网络，作为公共特征图；

24、将特征图aa经过下采样后与特征图bb融合，作为特征图bbb；

25、将特征图bbb经过下采样后与特征图cc融合，作为特征图ccc；

26、将特征图ccc经过下采样后与特征图dd融合，作为特征图ddd；

27、将特征图aa、特征图bbb、特征图ccc以及特征图ddd进行roi池化后输出类别和位置，即为检测结果。

28、进一步的，resnet50残差网络的激活函数为elu，表示为：

29、激活函数elu表示为：

30、

31、其中a为一个(1,+∞)区间内的固定参数，x为函数横轴坐标，ex为x的指数函数。

32、进一步的，改进的cascade-rcnn网络的损失函数为diou loss，表示为：

33、

34、其中，c为预测框与真实框对角线距离，d为预测框与真实框中心点距离。

35、进一步的，数据扩增包括：平移、缩放、亮度调整。

36、进一步的，dab闸调器拉杆头区域图像为灰度图像。

37、基于深度学习的闸调器拉杆头丢失故障图像识别系统，包括：数据获取模块、数据扩增模块以及检测模块；

38、数据获取模块用于获取dab闸调器拉杆头区域图像，并将dab闸调器拉杆头区域图像中闸调器拉杆头图像进行标记，以此构建数据集；

39、数据扩增模块用于对数据集进行数据扩增；

40、检测模块用于利用数据扩增后的数据集训练dab闸调器拉杆头丢失检测网络，并利用训练好的dab闸调器拉杆头丢失检测网络对待识别图像进行识别；

41、dab闸调器拉杆头丢失检测网络为改进的cascade-rcnn网络，改进的cascade-rcnn网络通过resnet50残差网络进行卷积，改进的cascade-rcnn网络具体执行如下步骤：

42、输入图像首先经过conv1进行特征提取，然后通过3×3最大池化，生成特征图，conv1-conv5的卷积核为7×7，滑动步长为2，填充为3，输出通道数为64；

43、conv1生成的特征图输入conv2中进行特征提取，然后通过3×3最大池化，生成特征图；

44、conv2生成的特征图输入conv3中进行特征提取，然后通过3×3最大池化，生成特征图；

45、conv3生成的特征图输入conv4中进行特征提取，然后通过3×3最大池化，生成特征图；

46、conv4生成的特征图输入conv5中进行特征提取，然后通过3×3最大池化，生成特征图；

47、conv2、conv3、conv4和conv5中输入的特征图先通过1×1的卷积对特征图像进行降维，然后经过3×3的卷积，最后通过1×1卷积恢复维度，输出通道数为256；

48、conv2生成的特征图作为特征图a；

49、特征图a经过下采样后与conv3生成的特征图进行融合，作为特征图b；

50、特征图b经过下采样后与conv4生成的特征图进行融合，作为特征图c；

51、特征图c经过下采样后与conv5生成的特征图进行融合，作为特征图d；

52、特征图d经过上采样后与特征图c融合，作为特征图cc；

53、特征图cc经过上采样后与特征图b融合，作为特征图bb；

54、特征图bb经过上采样后与特征图a融合，作为特征图aa；

55、将特征图bb、特征图cc以及特征图d输入主干网络，作为公共特征图；

56、将特征图aa经过下采样后与特征图bb融合，作为特征图bbb；

57、将特征图bbb经过下采样后与特征图cc融合，作为特征图ccc；

58、将特征图ccc经过下采样后与特征图dd融合，作为特征图ddd；

59、将特征图aa、特征图bbb、特征图ccc以及特征图ddd进行roi池化后输出类别和位置，即为检测结果。

60、进一步的，resnet50残差网络的激活函数为elu，表示为：

61、激活函数elu表示为：

62、

63、其中a为一个(1,+∞)区间内的固定参数，x为函数横轴坐标，ex为x的指数函数。

64、进一步的，改进的cascade-rcnn网络的损失函数为diou loss，表示为：

65、

66、其中，c为预测框与真实框对角线距离，d为预测框与真实框中心点距离。

67、进一步的，数据扩增包括：平移、缩放、亮度调整。

68、进一步的，dab闸调器拉杆头区域图像为灰度图像。

69、本发明的有益效果是：

70、本技术将panet和rfp网络进行结合，提出一种新的fpn-a网络，使得特征图中增加了更加丰富的特征信息，进而提升了闸调器拉杆头丢失故障识别的准确率。