基于关键点检测的防振锤缺陷视觉检测方法、系统及介质与流程
本发明涉及输电线路防振锤的故障检测技术，具体涉及一种基于关键点检测的防振锤缺陷视觉检测方法、系统及介质。
背景技术：
我国架空输电线路所处地理环境复杂，长期暴露在自然环境中，容易受到恶劣气候和外力的影响，线路故障频繁发生。为了保障电力系统的安全稳定运行，避免因输电线路各部件故障而带来的安全隐患，定期对输电线路巡检是十分有必要的。输电线路上的防振锤主要是为了减少输电导线因风力扯起振动而设计的。架空输电线路杆塔较高，档距较长，风力作用导致导线发生振动。导线振动对导线的悬挂点极为不利，由于多次长久的振动，导线因周期性的拗折而发生破损或断股，因此在输电线路上悬挂导线线夹附近的位置安装一定数量的防振锤，在导线发生振动时，防振锤也随着上下运动，产生一个与导线振动不同步甚至相反的作用力，吸收、减弱导线振动的能量，从而减少导线的振幅。而若线路上的防振锤出现锤头缺失、锤头松动和防振锤形变等缺陷，将导致防振锤结构上的不对称，容易出现防振锤偏离的情况，从而使防振锤失去有效的防振作用。而传统的人工巡检耗时耗力且不可靠，无人机或机器人巡检目前尚不能自动检测，因此，采用计算机视觉技术对输电线路图像进行识别与定位，进而实现防振锤缺陷的自动检测很有必要。
目前对于输电线路防振锤缺陷的检测研究只停留在输电线路上防振锤的识别与定位，关于其缺陷的研究比较少。而防振锤的识别方法主要是以传统图像技术和传统的机器学习。文献“基于随机hough变换的opgw防振锤识别”将输电线路图像转换到霍夫空间，并通过约束导线的倾斜角识别输电导线，约束防振锤两侧锤头的圆弧所在圆的半径与圆心坐标，实现输电线路上的防振锤检测。文献“基于类haar特征与级联adaboost算法的防振锤识别”将类haar特征与级联adaboost算法应用于输电线路防振锤的识别，由于机器学习具有一定泛化性，该方法虽然一定程度上解决了单一类型防振锤的识别问题，但存在如下缺陷：传统的图像技术由于需要人工设计特征算子，而防振锤种类多，其在输电线路上的背景较复杂，容易受到光照和异物遮挡的影响。人工设计的特征无法全面的表达防振锤的特征信息，这导致在识别防振锤时容易出现误检和漏检的情况。而传统的机器学习算法对采集的样本图像要求较高，提取的特征较为单一，无法学习到防振锤的高层特征，以至于不能达到较好的泛化性，不适用于实际的输电线路巡检作业中。同时这些方法没有对防振锤缺陷检测做出研究。
技术实现要素：
本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于关键点检测的防振锤缺陷视觉检测方法、系统及介质，本发明能够在不同尺度、不同光照强度下准确地识别出输电线路上的防振锤并检测出多类型的防振锤缺陷，具有准确度高、泛化性好的优点，可广泛应用于输电线路巡检作业。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于关键点检测的防振锤缺陷视觉检测方法，实施步骤包括：
1)输入包含防振锤的输电线路图像；
2)基于输电线路图像检测防振锤目标得到防振锤边界框的宽度和高度，并检测防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值；
3)根据防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值判断防振锤是否出现锤头缺失、锤头松动和形变的缺陷，完成对防振锤缺陷的检测。
优选地，步骤3)中判断防振锤是否出现锤头缺失、锤头松动和防振锤形变的缺陷的详细步骤包括：
3.1)判断左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值，如果任意一个关键点的存在状态值为0，则判定防振锤出现锤头缺失的缺陷，结束；否则，跳转下一步；
3.2)计算左侧顶点和右侧顶点的x坐标之和、两倍线夹体中点的x坐标之间的差值作为第一差值，并判断该第一差值与防振锤边界框宽度的比值大于第一预设阈值是否成立，如果成立则判定防振锤出现锤头松动的缺陷；计算左侧顶点和右侧顶点两者的y坐标的差值作为第二差值，并判断该第二差值与防振锤边界框高度的比值大于第二预设阈值是否成立，如果成立则判定防振锤出现形变的缺陷。
优选地，步骤2)的详细步骤包括：
2.1)将输电线路图像调整至第一目标尺寸；
2.2)将调整至第一目标尺寸的输电线路图像输入预先完成训练的第一神经网络模型，从而得到含有防振锤目标标注的输电线路图像，所述第一神经网络模型被预先训练建立了输入输电线路图像、标注防振锤目标之间的功能映射关系；
2.3)从含有防振锤目标标注的输电线路图像从裁剪出防振锤目标图像，将防振锤目标图像调整至第二目标尺寸；
2.4)根据防振锤目标图像确定防振锤边界框的宽度和高度；
2.5)将调整至第二目标尺寸的防振锤目标图像输入预先完成训练的第二神经网络模型，从而得到防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值，所述第二神经网络模型被预先训练建立了输入输电线路图像、标注防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值之间的功能映射关系。
优选地，步骤2.2)中的第一神经网络模型为基于yolov3算法深度卷积神经网络模型，所述深度卷积神经网络模型通过在输入图像上划分网络栅格，并由物体中心所在的栅格预测该目标的位置，所述深度卷积神经网络模型采用第53层卷积层的dark-net53网络结构作为特征提取器，所述深度卷积神经网络模型的网络结构对输入图像共做了五次降采样，且通过三种不同尺寸的特征图上进行特征图融合预测。
优选地，步骤2.4)中的第二神经网络模型为基于mobilenetv2算法的全卷积神经网络模型，所述全卷积神经网络模型采用rmse损失函数。
优选地，步骤2)之前还包括训练第一神经网络模型、第二神经网络模型的步骤，详细步骤包括：
s1)采集输电线路图像，筛选出包含防振锤的图像，并对图像进行增强，将输电线路图像调整至第一目标尺寸；
s2)利用目标检测标注工具标注出输电线路图像中防振锤的位置信息，并生成对应的标注数据文件，将图像数据文件及其对应的标注数据文件制作成输电线路图像数据集，并将输电线路图像数据集划分为训练集、验证集和测试集；
s3)建立第一神经网络模型并利用训练集、验证集和测试集进行训练、验证和测试完成第一神经网络模型的训练，使得第一神经网络模型被训练建立了输入输电线路图像、标注防振锤目标之间的功能映射关系，并得到含有训练集、验证集和测试集各项数据样本对应的防振锤目标标注的输电线路图像；
s4)从训练集、验证集和测试集的含有防振锤目标标注的输电线路图像从裁剪出防振锤目标图像，将防振锤目标图像调整至第二目标尺寸；根据防振锤目标图像确定防振锤边界框的宽度和高度；
s5)建立第二神经网络模型并利用训练集、验证集和测试集的防振锤目标图像进行训练、验证和测试完成第二神经网络模型的训练，使得第二神经网络模型被训练建立了输入输电线路图像、标注防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值之间的功能映射关系。
优选地，步骤s1)采集输电线路图像时，包括在不同光照强度、不同尺度、不同遮挡程度下采集输电线路图像。
优选地，步骤s1)中对图像进行增强包括对图像进行图片随机水平垂直翻转、图片随机旋转、图片随机水平上下平移、图片随机缩小放大中的至少一种。
本发明还提供一种基于关键点检测的防振锤缺陷视觉检测系统，包括计算机设备，该计算机设备被编程或配置以执行所述基于关键点检测的防振锤缺陷视觉检测方法的步骤，或该计算机设备的存储介质上存储有被编程或配置以执行所述基于关键点检测的防振锤缺陷视觉检测方法的计算机程序。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行所述基于关键点检测的防振锤缺陷视觉检测方法的计算机程序。
和现有技术相比，本发明具有下述优点：本发明针对输入包含防振锤的输电线路图像；基于输电线路图像检测防振锤目标得到防振锤边界框的宽度和高度，并检测防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值；根据防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值判断防振锤是否出现锤头缺失、锤头松动和形变的缺陷，完成对防振锤缺陷的检测。能够在不同尺度、不同光照强度下准确地识别出输电线路上的防振锤并检测出多类型的防振锤缺陷，具有准确度高、泛化性好的优点，可广泛应用于输电线路巡检作业。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例方法可确定的四种检测结果。
图3为本发明实施例方法的详细流程示意图。
具体实施方式
如图1所示，本实施例基于关键点检测的防振锤缺陷视觉检测方法的实施步骤包括：
1)输入包含防振锤的输电线路图像；
2)基于输电线路图像检测防振锤目标得到防振锤边界框的宽度和高度，并检测防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值；
3)根据防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值判断防振锤是否出现锤头缺失、锤头松动和形变的缺陷，完成对防振锤缺陷的检测。参见图2，其中图2(a)为正常的防振锤示意图，图2(b)为锤头缺失的缺陷示意图，图2(c)为锤头松动的缺陷示意图，图2(d)为形变的缺陷示意图。
本实施例中，步骤3)中判断防振锤是否出现锤头缺失、锤头松动和防振锤形变的缺陷的详细步骤包括：
3.1)判断左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值，如果任意一个关键点的存在状态值为0，则判定防振锤出现锤头缺失的缺陷，结束；否则，跳转下一步；
3.2)计算左侧顶点和右侧顶点的x坐标之和、两倍线夹体中点的x坐标之间的差值作为第一差值，并判断该第一差值与防振锤边界框宽度的比值大于第一预设阈值是否成立，如果成立则判定防振锤出现锤头松动的缺陷；计算左侧顶点和右侧顶点两者的y坐标的差值作为第二差值，并判断该第二差值与防振锤边界框高度的比值大于第二预设阈值是否成立，如果成立则判定防振锤出现形变的缺陷。
本实施例中防振锤边界框的宽度记为w、高度记为h，防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值分别记为(x1,y1,v1)、(x2,y2,v2)、(x3,y3,v3)，其中(x1,y1)表示左侧顶点的坐标，v1表示左侧顶点的存在状态值(0或1)，第一预设阈值取值为0.10，第二预设阈值取值为0.20，因此如图3所示，步骤3)中判断防振锤是否出现锤头缺失、锤头松动和防振锤形变的缺陷的步骤实例为：
如果v1～v3任意一个为0，则判定防振锤出现锤头缺失的缺陷；
如果|x1+x2-2*x3|÷w≧0.10，则判断该防振锤出现锤头松动的缺陷；
如果|y1-y2|÷h≧0.20，则判断该防振锤出现发生形变的缺陷。
毫无疑问，上述第一预设阈值、第二预设阈值可以根据需要设定其大小。
如图1所示，本实施例步骤2)的详细步骤包括：
2.1)将输电线路图像调整至第一目标尺寸；
2.2)将调整至第一目标尺寸的输电线路图像输入预先完成训练的第一神经网络模型，从而得到含有防振锤目标标注的输电线路图像，所述第一神经网络模型被预先训练建立了输入输电线路图像、标注防振锤目标之间的功能映射关系；
2.3)从含有防振锤目标标注的输电线路图像从裁剪出防振锤目标图像，将防振锤目标图像调整至第二目标尺寸；
2.4)根据防振锤目标图像确定防振锤边界框的宽度和高度；
2.5)将调整至第二目标尺寸的防振锤目标图像输入预先完成训练的第二神经网络模型，从而得到防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值，所述第二神经网络模型被预先训练建立了输入输电线路图像、标注防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值之间的功能映射关系。
本实施例中，步骤2.2)中的第一神经网络模型为基于yolov3算法深度卷积神经网络模型，深度卷积神经网络模型通过在输入图像上划分网络栅格，并由物体中心所在的栅格预测该目标的位置，所述深度卷积神经网络模型采用第53层卷积层的dark-net53网络结构作为特征提取器，所述深度卷积神经网络模型的网络结构对输入图像共做了五次降采样，且通过三种不同尺寸的特征图上进行特征图融合预测。本实施例中，基于yolov3算法深度卷积神经网络模型利用tensorflow深度学习框架搭建，搭建后需要设置神经网络的训练参数，并下载yolov3的预训练权重文件用于迁移训练学习，保存最优的防振锤检测模型以备后用(训练、使用)。yolov3算法是将整张输入图像经过卷积神经网络进行特征提取，输入层接受输入图像后将图像大小调整至第一目标尺寸(416×416)，然后通过卷积层、批归一化层和激活层组成的卷积单元进行特征提取，不断学习防振锤的特征信息。在整个主体网络结构中，输入图像进行了五次降采样，yolov3在52×52、26×26和13×13的特征图上进行特征图的融合与预测，其中大尺寸的特征图用于检测小目标，小尺寸的特征图用于检测大目标，以此可以识别出不同尺寸的防振锤，训练的优化算法为adam优化算法，批量样本训练数为32，初始学习率为0.001。通过对数据集中防振锤样本的训练学习，不断调整卷积神经网络中的权重参数，得到最终的防振锤检测模型。
本实施例中利用基于mobilenetv2算法的全卷积神经网络模型训练防振锤图像及其关键点标注信息，得到防振锤关键点检测模型，步骤2.4)中的第二神经网络模型为基于mobilenetv2算法的全卷积神经网络模型，全卷积神经网络模型采用rmse损失函数，如下式所示：
上式中，ai表示标注的关键点坐标值，
本实施例中，步骤2)之前还包括训练第一神经网络模型、第二神经网络模型的步骤，详细步骤包括：
s1)采集输电线路图像，筛选出包含防振锤的图像，并对图像进行增强，将输电线路图像调整至第一目标尺寸；通过数据增强的手段可以在图像数量不足的情况下扩增图片数量同时增强数据集的泛化性，防止训练过程中出现过拟合；采集输电线路图像可利用无人机或机器人采集，以提高采集效率。
s2)利用目标检测标注工具标注出输电线路图像中防振锤的位置信息，并生成对应的标注数据文件，将图像数据文件及其对应的标注数据文件制作成输电线路图像数据集(本实施例中要求输电线路图像样本不低于3000张)，并将输电线路图像数据集划分为训练集、验证集和测试集；本实施例中，利用目标标注工具labelme标注输电线路图像中的防振锤，标注的方式为矩形框，标注的信息包括矩形框的左上角顶点坐标值和矩形框的宽高信息；且输电线路图像数据集要求输电线路图像样本不低于3000张；
s3)建立第一神经网络模型并利用训练集、验证集和测试集进行训练、验证和测试完成第一神经网络模型的训练，使得第一神经网络模型被训练建立了输入输电线路图像、标注防振锤目标之间的功能映射关系，并得到含有训练集、验证集和测试集各项数据样本对应的防振锤目标标注的输电线路图像；
s4)从训练集、验证集和测试集的含有防振锤目标标注的输电线路图像从裁剪出防振锤目标图像，将防振锤目标图像调整至第二目标尺寸；根据防振锤目标图像确定防振锤边界框的宽度和高度；
s5)建立第二神经网络模型并利用训练集、验证集和测试集的防振锤目标图像进行训练、验证和测试完成第二神经网络模型的训练，使得第二神经网络模型被训练建立了输入输电线路图像、标注防振锤左侧顶点、右侧顶点、线夹体中点三个关键点的存在状态值和坐标值之间的功能映射关系。
本实施例中，步骤s1)采集输电线路图像时，包括在不同光照强度、不同尺度、不同遮挡程度下采集输电线路图像，以此来保证数据集的多样性和泛化性。
本实施例中，步骤s1)中对图像进行增强包括对图像进行图片随机水平垂直翻转、图片随机旋转(本实施例中选择角度为±40°以内)、图片随机水平上下平移、图片随机缩小放大，此外也可以根据需要选择其中的一种或者多种。
此外，本实施例还提供一种基于关键点检测的防振锤缺陷视觉检测系统，包括计算机设备，该计算机设备被编程或配置以执行本实施例前述基于关键点检测的防振锤缺陷视觉检测方法的步骤，或该计算机设备的存储介质上存储有被编程或配置以执行本实施例前述基于关键点检测的防振锤缺陷视觉检测方法的计算机程序。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有被编程或配置以执行本实施例前述基于关键点检测的防振锤缺陷视觉检测方法的计算机程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
- 还没有人留言评论。精彩留言会获得点赞！