基于关键点检测的防振锤缺陷视觉检测方法、系统及介质与流程

文档序号:19159218发布日期:2019-11-16 01:09阅读:来源:国知局

技术特征:

1.一种基于关键点检测的防振锤缺陷视觉检测方法,其特征在于实施步骤包括:

1)输入包含防振锤的输电线路图像;

2)基于输电线路图像检测防振锤目标得到防振锤边界框的宽度和高度,并检测防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值;

3)根据防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值判断防振锤是否出现锤头缺失、锤头松动和形变的缺陷,完成对防振锤缺陷的检测。

2.根据权利要求1所述的基于关键点检测的防振锤缺陷视觉检测方法,其特征在于,步骤3)中判断防振锤是否出现锤头缺失、锤头松动和防振锤形变的缺陷的详细步骤包括:

3.1)判断左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值,如果任意一个关键点的存在状态值为0,则判定防振锤出现锤头缺失的缺陷,结束;否则,跳转下一步;

3.2)计算左侧顶点和右侧顶点的x坐标之和、两倍线夹体中点的x坐标之间的差值作为第一差值,并判断该第一差值与防振锤边界框宽度的比值大于第一预设阈值是否成立,如果成立则判定防振锤出现锤头松动的缺陷;计算左侧顶点和右侧顶点两者的y坐标的差值作为第二差值,并判断该第二差值与防振锤边界框高度的比值大于第二预设阈值是否成立,如果成立则判定防振锤出现形变的缺陷。

3.根据权利要求1所述的基于关键点检测的防振锤缺陷视觉检测方法,其特征在于,步骤2)的详细步骤包括:

2.1)将输电线路图像调整至第一目标尺寸;

2.2)将调整至第一目标尺寸的输电线路图像输入预先完成训练的第一神经网络模型,从而得到含有防振锤目标标注的输电线路图像,所述第一神经网络模型被预先训练建立了输入输电线路图像、标注防振锤目标之间的功能映射关系;

2.3)从含有防振锤目标标注的输电线路图像从裁剪出防振锤目标图像,将防振锤目标图像调整至第二目标尺寸;

2.4)根据防振锤目标图像确定防振锤边界框的宽度和高度;

2.5)将调整至第二目标尺寸的防振锤目标图像输入预先完成训练的第二神经网络模型,从而得到防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值,所述第二神经网络模型被预先训练建立了输入输电线路图像、标注防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值之间的功能映射关系。

4.根据权利要求3所述的基于关键点检测的防振锤缺陷视觉检测方法,其特征在于,步骤2.2)中的第一神经网络模型为基于yolov3算法深度卷积神经网络模型,所述深度卷积神经网络模型通过在输入图像上划分网络栅格,并由物体中心所在的栅格预测该目标的位置,所述深度卷积神经网络模型采用第53层卷积层的dark-net53网络结构作为特征提取器,所述深度卷积神经网络模型的网络结构对输入图像共做了五次降采样,且通过三种不同尺寸的特征图上进行特征图融合预测。

5.根据权利要求3所述的基于关键点检测的防振锤缺陷视觉检测方法,其特征在于,步骤2.4)中的第二神经网络模型为基于mobilenetv2算法的全卷积神经网络模型,所述全卷积神经网络模型采用rmse损失函数。

6.根据权利要求3所述的基于关键点检测的防振锤缺陷视觉检测方法,其特征在于,步骤2)之前还包括训练第一神经网络模型、第二神经网络模型的步骤,详细步骤包括:

s1)采集输电线路图像,筛选出包含防振锤的图像,并对图像进行增强,将输电线路图像调整至第一目标尺寸;

s2)利用目标检测标注工具标注出输电线路图像中防振锤的位置信息,并生成对应的标注数据文件,将图像数据文件及其对应的标注数据文件制作成输电线路图像数据集,并将输电线路图像数据集划分为训练集、验证集和测试集;

s3)建立第一神经网络模型并利用训练集、验证集和测试集进行训练、验证和测试完成第一神经网络模型的训练,使得第一神经网络模型被训练建立了输入输电线路图像、标注防振锤目标之间的功能映射关系,并得到含有训练集、验证集和测试集各项数据样本对应的防振锤目标标注的输电线路图像;

s4)从训练集、验证集和测试集的含有防振锤目标标注的输电线路图像从裁剪出防振锤目标图像,将防振锤目标图像调整至第二目标尺寸;根据防振锤目标图像确定防振锤边界框的宽度和高度;

s5)建立第二神经网络模型并利用训练集、验证集和测试集的防振锤目标图像进行训练、验证和测试完成第二神经网络模型的训练,使得第二神经网络模型被训练建立了输入输电线路图像、标注防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值之间的功能映射关系。

7.根据权利要求6所述的基于关键点检测的防振锤缺陷视觉检测方法,其特征在于,步骤s1)采集输电线路图像时,包括在不同光照强度、不同尺度、不同遮挡程度下采集输电线路图像。

8.根据权利要求3所述的基于关键点检测的防振锤缺陷视觉检测方法,其特征在于,步骤s1)中对图像进行增强包括对图像进行图片随机水平垂直翻转、图片随机旋转、图片随机水平上下平移、图片随机缩小放大中的至少一种。

9.一种基于关键点检测的防振锤缺陷视觉检测系统,包括计算机设备,其特征在于,该计算机设备被编程或配置以执行权利要求1~8中任意一项所述基于关键点检测的防振锤缺陷视觉检测方法的步骤,或该计算机设备的存储介质上存储有被编程或配置以执行权利要求1~8中任意一项所述基于关键点检测的防振锤缺陷视觉检测方法的计算机程序。

10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有被编程或配置以执行权利要求1~8中任意一项所述基于关键点检测的防振锤缺陷视觉检测方法的计算机程序。


技术总结
本发明公开了一种基于关键点检测的防振锤缺陷视觉检测方法、系统及介质,本发明基于关键点检测的防振锤缺陷视觉检测方法包括输入包含防振锤的输电线路图像,基于输电线路图像检测防振锤目标得到防振锤边界框的宽度和高度,并检测防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值,根据防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值判断防振锤是否出现锤头缺失、锤头松动和形变的缺陷,完成对防振锤缺陷的检测。本发明能够在不同尺度、不同光照强度下准确地识别出输电线路上的防振锤并检测出多类型的防振锤缺陷,具有准确度高、泛化性好的优点,可广泛应用于输电线路巡检作业。

技术研发人员:张迪;樊绍胜;刘又维
受保护的技术使用者:长沙理工大学
技术研发日:2019.06.20
技术公布日:2019.11.15
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1