一种耐张线夹缺陷检测识别报告自动获取方法及系统与流程

本发明涉及设备检测技术领域，尤其涉及一种耐张线夹缺陷检测识别报告自动获取方法及系统。

背景技术：

耐张线夹是输电线路的重要金具之一，主要用来紧固钢芯铝绞线的终端，将导线或避雷线固定在非直线杆塔的耐张绝缘子串上，耐张线夹对高压输电线路的安全稳定运行起着非常重要的作用，因此，耐张线夹的缺陷检测也因此对电网的安全运行起着至关重要的作用。

目前的耐张线夹的缺陷检测方法有：利用基于目标检测算法的faster_rcnn卷积神经网络模型智能识别出缺陷类型，但经测试，该方法对耐张线夹的一些缺陷(例如钢锚管表面存在的毛刺、飞边、含有异物、钢锚管弯曲等)的识别率较低，远不能满足实际检测的需要。其次，现有的耐张线夹的缺陷检测方法通常仅仅能够识别出缺陷类型，并不能计算出缺陷的程度，如凹槽未压接长度、铝绞线未压接长度、钢锚管未压接长度、钢锚管中存在空腔长度、铝压接空腔长度、钢锚管的弯曲度等；另外，目前耐张线夹的缺陷检测报告的生成，都是由检测工程师人工整理分析将内容填充到报告文档中，通常这些检测报告的格式具有大量的相似性，且文档内容繁琐，人为编写费事费力，效率低下且出错率较高。

技术实现要素：

本发明所要解决的技术问题是，针对现有技术的不足，提供一种耐张线夹缺陷检测识别报告自动获取方法及系统，其可以获得更高的缺陷检测精度，且能够计算出缺陷程度，同时还能够将耐张线夹的缺陷检测识别技术与报告自动生成技术相结合，自动生成耐张线夹的缺陷检测识别报告。

为解决上述技术问题，本发明所采用的技术方案是：

一种耐张线夹缺陷检测识别报告自动获取方法，其特征在于，包括：

步骤s1：建立耐张线夹缺陷检测识别报告的模板；

步骤s2：建立数据管理系统存储采集到的待检测图片及其图片信息；

步骤s3：搭建基于目标检测算法的faster-rcnn卷积神经网络模型并对其进行改进，然后对改进后的所述网络模型进行训练、测试和优化；

步骤s4：将待检测图片输入训练好的所述网络模型，得到耐张线夹的缺陷检测识别结果与缺陷区域的位置信息，将所述缺陷检测识别结果与所述位置信息存入所述数据管理系统中；

步骤s5：从所述数据管理系统获取与缺陷相关的结果数据，并按照所述模板自动生成耐张线夹缺陷检测识别报告。

优选地，在所述步骤s3中采用resnet101网络替换所述faster-rcnn卷积神经网络模型中的vgg卷积神经网络作为基础网络进行特征提取，同时改进所述faster-rcnn卷积神经网络模型的huber损失函数。

优选地，对于所述缺陷检测识别结果中涉及需计算缺陷程度的缺陷，在步骤s4中还包括根据缺陷类别采用相应的计算方法计算缺陷程度，并将计算出的所述缺陷程度也存入所述数据管理系统中。

优选地，所述步骤s3中对所述改进后的网络模型进行训练、测试和优化包括：获取耐张线夹不同分类缺陷的图片并使用图像增强技术提高所述耐张线夹不同分类缺陷的图片的清晰度得到数据集，通过图像预处理技术扩充所述数据集，然后利用labelimg标签工具对所述数据集打标分类，生成相应的xml文件，并将打标分类后的所述数据集随机分成训练集与测试集输入至所述网络模型中对所述网络模型进行训练、测试和优化。

优选地，所述步骤s4中所述缺陷检测识别结果中涉及需计算缺陷长度的缺陷，则采用图论的图像分割方法进行缺陷长度的计算。

优选地，所述采用图论的图像分割方法进行缺陷长度的计算包括：利用改进的所述faster-rcnn卷积神经网络模型得到所述待检测图片的缺陷位置信息，从而得到缺陷区域；利用图论方法实现对所述缺陷区域的图像分割；将分割处理后的所述缺陷区域的图像进行灰度化处理，并利用迭代阈值分离缺陷长度，得到干扰边缘；使用图论方法处理所述干扰边缘得到有较小误差的长度结果，通过计算得到缺陷长度。

优选地，所述待检测图片、所述耐张线夹不同分类缺陷的图片均基于x射线获取。

本发明还提供了一种耐张线夹缺陷检测识别报告自动获取系统，其特征在于，包括：客户子系统，用于发送缺陷检测识别任务请求；数据库服务器，用于存储和管理缺陷检测识别后的结果数据，根据所述客户子系统发送的所述缺陷检测识别任务请求进行缺陷检测识别的数据处理，并将所述缺陷检测识别请求与待检测识别数据发送至识别子系统；识别子系统，用于接收所述缺陷检测识别任务请求及所述待检测识别数据，完成缺陷检测识别过程，并将缺陷检测识别结果返回至所述数据库服务器中；生成报告子系统，用于根据耐张线夹缺陷检测识别报告模板调取所述缺陷检测识别结果，完成耐张线夹缺陷检测识别报告的自动生成并将所述检测识别报告反馈至所述客户子系统。

优选地，所述数据库服务器包括主数据库服务器和备份数据库服务器。

优选地，所述客户子系统、所述识别子系统及所述生成报告子系统数量均为多个，支持多用户多操作。

通过采用上述技术方案，本发明主要有以下技术效果：

1、利用改进后的基于目标检测算法的faster-rcnn卷积神经网络模型，能够保留耐张线夹缺陷小物体的特征信息，通过改进huber损失函数，提高异常点的敏感性来解决复杂区域缺陷感知度较低的问题，解决原有模型对部分输入图片的缺陷识别率不高的问题，从而拥有更高的检测精准度。

2、使用图论的图像分割方法，准确计算出部分缺陷类型的缺陷程度，例如凹槽未压接长度、铝绞线未压接长度、钢锚管未压接长度、钢锚管中存在空腔长度、铝压接空腔长度等。

3、将缺陷自动检测识别技术与报告自动生成技术相结合，实现耐张线夹缺陷检测识别报告的自动生成，有效克服了人为填写检测报告的弊端，减少了缺陷检测报告生成的时间，省时省力。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例耐张线夹缺陷检测识别报告自动获取方法的流程图；

图2是本发明实施例faster_rcnn卷积神经网络模型的残差网络基本模块示意图；

图3是现有技术中faster_rcnn卷积神经网络模型的huber函数曲线图；

图4是本发明实施例faster_rcnn卷积神经网络模型中改进后的huber函数曲线图；

图5是本发明实施例使用图论的图像分割方法计算缺陷长度的流程图；

图6是本发明实施例耐张线夹缺陷检测识别报告自动获取系统的结构图；

图7是本发明实施例耐张线夹缺陷检测识别报告自动获取系统的操作流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

参照附图1所示，本发明实施例中，耐张线夹缺陷检测识别报告自动获取方法如下：

步骤s1，建立统一的耐张线夹缺陷检测识别报告模板。在此对所述耐张线夹缺陷检测识别报告模板的内容不作具体限定，本实施例中，所述模板按照国家电网或南方电网对耐张线夹缺陷检测的标准统一建立，具体内容如表1所示：

表1耐张线夹缺陷检测识别报告的示例模板

步骤s2，建立数据管理系统存储采集到的待检测图片及其图片信息。在此对待检测图片的采集方式及所述待检测图片的图片信息的具体内容不作限定，本实施例中，待检测图片均是基于x射线采集得到，待检测图片的图片信息具体包括拍摄地点、拍摄时间、拍摄图片的人的信息等。

步骤s3，获取耐张线夹缺陷不同分类的图片形成数据集，对数据集打标分类后将其随机分成训练集和测试集；搭建基于faster_rcnn，但经过改进且识别精度更高的神经网络模型，将打标分类后的数据集输入以训练测试和优化该神经网络模型，进一步提高识别准确率。

基于目标检测算法的faster-rcnn卷积神经网络模型中常采用vgg卷积神经网络作为基础的网络模型进行特征提取，这种基础的网络模型存在训练次数过多时会出现精度下降的问题，并且会丢失部分特征区域信息。本实施例中采用残差网络替换所述vgg卷积神经网络作为基础网络模型进行特征提取，减少耐张线夹中复杂区域信息丢失的情况发生。这里的残差网络可选用resnet50网络或者resnet101网络，优选地，本实施例中采用resnet101网络。

所述残差网络的基本模块可参见附图2所示。其中，x为输入样本，relu为激活函数，f(x)+x是输出的结果，f(x)表示网络数据的运算方式。如果h(x)＝f(x)+x是神经网络的最优拟合结果，则最优的f(x)就是h(x)和x的残差。方框中的weightlayer为权重系数矩阵，采用拟合残差的方法来改善网络的性能，因在训练期间保证了残差为零，使得多残差学习单元的深度学习模型网络性能不会受到影响。

faster-rcnn模型具有两种损失函数，第一种分类损失lcls是实际对象与预测对象的损失，使用的损失函数是交叉熵的损失函数，通过权重平衡因子λ来控制总损失函数对二分类和边框回归的敏感度。第二种分类损失lreg对应的是回归损失函数，使用的是huber函数，公式如下:

其中，是s(x)是huber损失值，即loss值，x表示位置参数的预测值和实际标签的差值，σ²表示裕度调节的参数，根据实际的实验结果来确定。

参见附图3所示的现有技术中的huber函数曲线图，huber函数对于离群点更加鲁棒，但是其对离群点、异常值不敏感，因此在对梯度变化相对更小，为了增大对耐张线夹重合区域差异值的变化问题，改进其huber函数增大对异常区域的识别度，利用mse函数将误差平方化，增大对负缺陷识别的力度，适应对耐张线夹的复杂区域的异常值，从而提供对耐张线夹的钢锚管区域负样本的检测力度，改进后的huber函数具体公式如下：

上述公式(2)中各符号的含义同公式(1)，改进后的huber函数曲线图如附图4所示。

对所述faster-rcnn卷积神经网络模型进行改进之后便要对其进行训练、测试和优化，本实施例中训练、测试和优化所述faster-rcnn卷积神经网络模型是通过先获取大量耐张线夹缺陷不同分类的图片，使用图像增强技术，增强图像识别的效果来提高图片的清晰度，得到数据集，再通过图片平移、旋转等图像预处理技术扩充现有的数据集，然后对生成的数据集打标签分类，生成相应的xml文件，在这个文件里面包含耐张线夹的待检测位置信息与目标缺陷名称，最后将打标签分类后的数据集随机分成训练集与测试集输入至所述faster-rcnn卷积神经网络模型中。在此对耐张线夹不同缺陷分类的图片的获取方式及数据集打标分类方式不作具体限定，本实施例中是基于x射线获取所述大量耐张线夹缺陷不同分类的图片，且利用labelimg标签工具对所述数据集进行打标分类。

步骤s4，将待检测图片输入训练好的神经网络模型，得到缺陷检测识别结果、图片上缺陷区域位置信息及计算得到的缺陷程度，并将上述检测识别结果、位置信息及缺陷程度存入数据管理系统。其中，所述缺陷区域的位置信息通过左上坐标点(x1,y1)及右下坐标点(x2,y2)呈现，具体可参见下表所列示例。

针对所述网络模型输出的缺陷识别结果，通过筛选分析先进行判断此缺陷类型是否需要计算其缺陷程度，不需要计算缺陷程度的缺陷，例如钢锚管存在裂纹、铝压接管存在裂纹、非压接区多压、钢芯存在散股、铝绞线存在散股等，直接输出结果。涉及到长度、弯曲度的计算的缺陷可以分别使用不同的方法计算缺陷程度。对于缺陷长度的计算，可使用图论的图像分割方法，具体如附图5所示，包括：利用改进的faster-rcnn卷积神经网络模型得到待检测图片的缺陷位置信息，从而得到缺陷区域；利用图论方法实现对缺陷区域的图像分割；将分割处理后的缺陷区域的图像进行灰度化处理，并利用迭代阈值分离缺陷长度，得到干扰边缘；使用图论方法处理所述干扰边缘得到有较小误差的长度结果，最后通过计算得到缺陷长度。例如，关于凹槽未压接长度、铝绞线未压接长度、钢锚管未压接长度、钢锚管中存在空腔长度、铝压接空腔长度、这些涉及长度的缺陷类型，可以使用图论的图像分割方法来得到其有效长度h,在检测方面涉及到的误差为λ1，利用图论方法得到缺陷长度中的相关误差为λ2，根据国家给出的关于耐张线夹的尺寸标准，得到关于上述涉及到的各项长度的正常标准长度s，利用得到的一系列数据计算出缺陷程度γ，可以使用如下公式：

经过多次计算测试，设置一个误差限β，将上述得到的结果限定在|ρ±β|范围内，按照国网的缺陷程度叙述标准，可以直接叙述为约γ的缺陷程度，按照南网的缺陷程度叙述标准，将其|γ±β|叙述为在一个范围内，例如20％≤ρ-β＜ρ+β＜50％范围之内；

关于线夹弯曲度的计算，先经过多次测试记录每一次得到的缺陷位置坐标信息(x1i,y1i)、(x2i,y2i)以及每次线夹弯曲部分的中间弯曲间隙wi，经过多次取平均值，得到一个关于wi与标注的矩形框的宽度|y1i-y2i|之间的差值η，其每次涉及到的误差为βi，计算公式如下：

上述公式(4)中，n为测试的次数。

之后将每一次有关耐张线夹的中间弯曲间隙设置为||y1i-y2i|+η|数值，根据国家规定耐张线夹未弯曲的标准长度l，然后按照弯曲度定义公式，得到弯曲度的计算公式：

按照国网的缺陷程度叙述标准，可以直接叙述为约γ的弯曲度，按照南网的缺陷程度叙述标准，将其γ叙述为在一个范围内，例如2％≤γ＜5％范围之内。

步骤s5，从所述数据管理系统获取与缺陷相关的结果数据，并按照耐张线夹缺陷检测识别报告模板自动生成耐张线夹缺陷检测识别报告。

本发明实施例还提供了一种耐张线夹缺陷检测识别报告自动获取系统，该耐张线夹缺陷检测识别报告自动获取系统用于实现前述的耐张线夹缺陷检测识别报告自动获取方法。如附图6-7所示，其包括：客户子系统，用于发送缺陷检测识别任务请求；数据库服务器，用于存储和管理缺陷检测识别后的结果数据，根据所述客户子系统发送的所述缺陷检测识别任务请求进行缺陷检测识别的数据处理，并将所述缺陷检测识别请求与待检测识别数据发送至识别子系统；识别子系统，用于接收所述缺陷检测识别任务请求及所述待检测识别数据，完成缺陷检测识别过程，并将缺陷检测识别结果返回至所述数据库服务器中；生成报告子系统，用于根据耐张线夹缺陷检测识别报告的模板调取所述缺陷检测识别结果，完成检测识别报告的自动生成并将所述检测识别报告反馈至所述客户子系统。

所述耐张线夹缺陷检测识别报告自动获取系统的数据库服务器可由两个组成，一个作为主数据库服务器，一个用做备份数据库服务器，识别子系统、生成报告子系统及客户子系统数量均可为多个，从而支持多用户多操作。所述耐张线夹缺陷检测识别报告自动获取系统的软件结构包括：人机界面内交互子系统、系统管理子系统、数据库接口子系统、平台与数据库、识别子系统，报告编写子系统。

最后应说明的是：本发明实施例公开的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。