一种基于残差网络融合异构数据的电缆状态检测方法
本发明属于计算机视觉中的图像检测领域，是一种基于残差网络融合异构数据的电缆状态检测方法。
背景技术：
随着现代工业的发展和城市化水平的提高，人们的日常生活已经离不开电能。电力电缆作为传输电能的重要工具，越来越得到人们的重视，其运行的可靠性直接影响电力系统的正常运行，因而对高压电力电缆进行故障监测显得尤为重要。电力电缆故障与其绝缘状况密切相关，其关键部件为电缆绝缘子。而电缆绝缘子在冰雪天气由于气温低、天气恶劣等因素容易出现覆冰情况，极大影响其正常工作，严重时会导致绝缘子损坏或漏电，因此对电缆绝缘子进行定期的检测非常必要。高压电缆绝缘子分布广泛，数据来源多样，现有的电缆检测技术因使用单一类型的数据，预测高压电缆绝缘子的覆冰等级的准确率较低，容易出现绝缘子覆冰过多而未及时干预的情况，导致运行故障频繁出现。因此提出一种更加准确的预测高压电缆绝缘子危险程度的方法对于电力电缆故障的判断具有重要的实际意义和经济价值。
技术实现要素：
本发明的目的在于提供一种基于残差网络融合异构数据的高压电缆状态检测技术，提高高压电缆状态绝缘子覆冰风险等级预测的准确率。
本发明将相关技术应用于高压电缆状态检测，利用基于resnet-18的残差网络对监控图像进行特征提取，并将提取的特征进行降维，然后与电缆的湿度、温度、瞬时风速、最大拉力等结构化数据进行拼接融合，最终根据融合后的特征进行高压电缆绝缘子的危险等级预测。
一种基于残差网络融合异构数据的电缆状态检测方法，其特征在于，包括以下步骤：
步骤1、采集连续时刻的多张电缆绝缘子的监控图像作为训练集，对采集的电缆绝缘子的原始监控图像进行预处理操作得到预处理后的监控图像，并通过人工标记的方式在预处理后的监控图像中标记电缆绝缘子的位置和类别；
步骤2、构建基于resnet-50的faster-rcnn网络模型，并定义faster-rcnn网络的损失函数，将步骤1中预处理后的监控图像、预处理后的监控图像中电缆绝缘子锚框的位置和预处理后的监控图像中锚框的类别一并输入至faster-rcnn网络模型进行微调训练，当训练迭代次数达到限定的最大次数或faster-rcnn网络损失函数的loss值小于阈值时停止迭代训练，选取过程中保存的最优的参数，即得到优化后faster-rcnn网络；
步骤3、采集连续的多张将待检测的高压电缆监控图像，使用优化后faster-rcnn网络来预测得到待检测的高压电缆监控图像中电缆绝缘子的位置，根据得到的电缆绝缘子位置对步骤3中的待检测的高压电缆监控图像进行剪裁，得到裁剪后的电缆绝缘子的图像，并通过相应的缩放等操作变换为相同尺寸大小的图片；通过人工标记方式对裁剪后的电缆绝缘子图像的风险等级做类别标记，同一时刻的电缆绝缘子图像的风险等级和电缆结构化数据对应的风险等级一致；电缆绝缘子的风险等级一共分为d个等级，用数字1、2、…、d标识，数字越大，代表实际的风险越高，反之代表的风险越低。
步骤4、分别对待检测的高压电缆监控图像中的电缆绝缘子的湿度、电缆绝缘子的温度、电缆绝缘子的瞬时风速、电缆绝缘子的最大拉力、电缆绝缘子的最大拉力时风偏角进行归一化处理，依次得到预处理后的电缆绝缘子的湿度、预处理后的电缆绝缘子的温度、预处理后的电缆绝缘子的瞬时风速、预处理后的电缆绝缘子的最大拉力、预处理后的电缆绝缘子的最大拉力时风偏角；
步骤5、构建基于resnet-18融合异构数据的高压电缆状态检测模型；将步骤3得到的裁剪后的电缆绝缘子图像、风险等级标签和步骤4得到的归一化处理后的湿度、温度、瞬时风速、最大拉力和最大拉力时风偏角等结构化数据输入基于resnet-18融合异构数据的高压电缆检测模型，模型最终输出为预测的电缆绝缘子的危险程度；采用随机梯度下降优化方法进行迭代训练，提高基于resnet-18融合异构数据的高压电缆检测模型的检测性能，得到优化后的基于resnet-18融合异构数据的高压电缆绝缘子风险预测模型；
步骤6、采集连续时刻的待识别的高压电缆的监控图像和电缆的湿度、温度、最大拉力，瞬时风速等数据，进行预处理后，利用步骤5得到的优化后的基于resnet-18融合异构数据的高压电缆检测模型对待识别数据进行处理，得到高压电缆状态的风险等级；结合优化后的faster-rcnn检测模型输出的电缆绝缘子的位置，整个模型最终得到的输出为电缆的位置和危险程度
作为优选，步骤1所述预处理操作为将大小不一致的原始的监控图像进行统一剪裁和缩放变换；
步骤1所述预处理后的监控图像为：
imagei(m，n)，m∈[1，m]，n∈[1，n]，i∈[1，i]
其中，imagei(m，n)为时刻i采集的预处理后的监控图像中第m行、第n列的像素，m为预处理后的监控图像的行数，n为预处理后的监控图像的列数，i为采集的原始监控图像的数量，即预处理后的监控图像的数量；
步骤1所述预处理后的监控图像中电缆绝缘子标记框的位置和类别为：
其中
步骤1所述预处理后的监控图像中电缆绝缘子标记框的类别为：
其中
步骤1所述预处理后的监控图像中锚框的位置为：
[x′i，j，y′i，j，w′ij，h′i，j]，i∈[1，i]，j∈[1，j]
其中x′i，j，y′i，j，w′i，j，h′i，j分别代表采集时刻i获取的监控图像中锚框j的中心点坐标、宽和高。i为采集的原始监控图像的数量，j为单张监控图像中锚框的最大个数。
步骤1所述预处理后的监控图像中锚框的类别为：
[p′i，j]，i∈[1，j]，j∈[1，j]
其中p′i，j代表采集时刻i获取的监控图像中锚框j为前景类的概率。当锚框为前景类时，p′i，j的值为1，否则p′i，j的值为0；i为采集的原始监控图像的数量，j为单张监控图像中锚框的最大个数。
作为优选，步骤2中所述构建faster-rcnn网络模型，具体为：
由resnet-50特征提取网络、区域推荐网络和roipooling模块级联构成；
所述faster-rcnn网络模型包括：resnet-50为主干的特征提取网络、根据深度特征进行前景和背景分类的区域推荐网络和精修分类和回归结果的roipooling模块；
所述faster-rcnn网络模型的作用为根据监控图像推理出电缆绝缘子的位置以及类别，网络的输入为预处理后的监控图像，网络的输出为电缆绝缘子的位置和类别，这里的类别只有两类，分别是前景类和背景类，前景类为电缆绝缘子，背景类为非电缆绝缘子的背景；
步骤2所述faster-rcnn网络对于预测框的类别，采用1个概率变量表示：
[pi，j]，i∈[1，i]，j∈[1，j]
其中pi，j代表根据采集时刻i获取的监控图像得到的预测框j为前景类的概率。当根据采集时刻i获取的监控图像得到的预测框j与对应的目标锚框的iou即交并比大于阈值α时，则判定预测框为前景类，即pi，j的值为1，当根据采集时刻i获取的监控图像得到的预测框j与对应的目标锚框的iou小于阈值β时，则判定预测框为背景类，即pi，j的值为0；i为采集时刻的数量即预处理后的监控图像的数量；j为单张监控图像中预测框的最大个数。
步骤2所述faster-rcnn网络对于目标预测框的位置，采用多个参数化的变量表示：
其中，xi，j，yi，j，wi，j，hi，j分别表示时刻i采集的预处理后的监控图像中锚点j对应的目标预测框的中心点坐标、宽和高；xi，j，yi，j，wi，j，hi，j分别表示时刻i采集的预处理后的监控图像中锚点j对应的目标锚框的中心点坐标、宽和高；
ti，j＝{ti，x，j，ti，y，j，ti，w，j，ti，h，j}是时刻i采集的预处理后的监控图像中锚框j对应的预测框的参数化坐标向量。
上述步骤2所述的预测得到的电缆绝缘子的参数化坐标为：
ti，j＝{tx，i，j，ty，i，j，tw，i，j，th，i，j}
根据使用上面的ti，j的参数化方法做相应的逆变换，上述步骤2得到电缆绝缘子的预测框坐标为：
(xi，j，yi，j，wi，j，hi，j)
上述步骤2中构建faster-rcnn网络模型之后，需要进一步定义faster-rcnn网络的损失函数；
步骤2所述faster-rcnn网络的损失函数为：
其中，
其中，
上式中的r是smoothl1函数，smoothl1函数的基本公式如下：
步骤2中将上述步骤1中预处理后的监控图像、预处理后的监控图像中电缆绝缘子锚框的位置和预处理后的监控图像中锚框的类别一并输入至faster-rcnn网络模型进行fine-tune训练，训练时采用momentum优化方法，当训练迭代次数达到限定的最大次数n或faster-rcnn网络损失函数的loss值小于阈值时停止迭代训练，选取过程中保存的最优的参数，即最小的loss值对应的参数，得到优化后faster-rcnn网络；
作为优选，步骤3所述采集连续的多张将待检测的高压电缆监控图像为：
imagei(m，n)，m∈[1，m]，n∈[1，n]，i∈[1，i]
其中，imagei(m，n)为时刻i采集的待检测的高压电缆监控图像中第m行、第n列的像素，m为监控图像的行数，n为监控图像的行数，i为采集的待检测的监控图像的数量；
步骤3所述预处理后的监控图像中锚框的位置为：
[x′i，j，y′i，j，w′i，j，h′i，j]，i∈[1，i]，j∈[1，j]
其中x′i，j，y′i，j，w′i，j，h′i，j分别代表采集时刻i获取的监控图像中锚框j的中心点坐标、宽和高。i为采集的将待检测的监控图像的数量，j为单张监控图像中锚框的最大个数。
步骤3所述预处理后的监控图像中锚框的类别为：
[p′i，j]，i∈[1，i]，j∈[1，j]
其中p′i，j代表采集时刻i获取的监控图像中锚框j为前景类的概率。当锚框为前景类时，p′i，j的值为1，否则p′i，j的值为0；i为采集的将待检测的监控图像的数量，j为单张监控图像中锚框的最大个数。
将预处理后的待检测的高压电缆监控图像输入通过fine-tune训练优化后得到的faster-rcnn网络模型，将得到的初步的预测结果进行nms(非极大值抑制)处理，最后得到待检测的高压电缆监控图像中电缆绝缘子的位置；
步骤3通过优化后的faster-rcnn模型得到的待检测的高压电缆绝缘子的预测框坐标为：
(xi，k，yi，k，wi，k，hi，k)，i∈[1，i]，k∈[1，k]
其中，(xi，k，yi，k，wi，k，hi，k)表示时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的预测框坐标；i为采集的将待检测的监控图像的数量即采集时刻的梳理，k为单张监控图像中预测框的最大个数。
根据得到的电缆绝缘子位置对步骤3中的待检测的高压电缆监控图像进行剪裁，得到裁剪后的电缆绝缘子的图像，并通过相应的缩放等操作变换为相同尺寸大小的图片；
步骤3所述裁剪后的电缆绝缘子图像为：
其中，
通过人工标记方式对裁剪后的电缆绝缘子图像的风险等级做类别标记，同一时刻的电缆绝缘子图像的风险等级和电缆结构化数据对应的风险等级一致；电缆绝缘子的风险等级一共分为d个等级，用数字1、2、…、d标识，数字越大，代表实际的风险越高，反之代表的风险越低。
步骤3所述电缆绝缘子图像的风险等级表示为：
其中，
作为优选，步骤4所述预处理后的电缆绝缘子的湿度为：
其中，hi，k为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的湿度，
步骤4所述预处理后的电缆绝缘子的温度为：
其中，ti，k为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的温度，
步骤4所述预处理后的电缆绝缘子的瞬时风速为：
其中，wi，k为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的瞬时风速，
步骤4所述预处理后的电缆绝缘子的最大拉力为：
其中，fi，k为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的最大拉力，
步骤4所述预处理后的电缆绝缘子的最大拉力时风偏角为：
其中，ai，k为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的最大拉力时风偏角，
作为优选，步骤5中所述构建基于resnet-18融合异构数据的高压电缆状态检测模型，具体为：
由faster-rcnn图像检测模型、resnet-18特征提取网络、一个特征拼接层和一个全连接层以及softmax层构成；
faster-rcnn图像检测模型，由resnet-50特征提取网络、区域推荐网络和roipooling模块级联构成，用于获取原始监控图像中的高压电缆绝缘子的实际位置；
一个特征拼接层的作用是将后非结构化的电缆图像数据的低维特征与结构化的电缆的湿度、温度、最大拉力、瞬时风速等数据进行拼接，同时输入到后续的全连接层中；
一个全连接层以及softmax层的作用是对特征拼接层的输入做分类，并通过softmax函数将结果归一化为概率预测值；
所述基于resnet-18融合异构数据的高压电缆状态检测模型包括：用于获取监控图像中电缆绝缘子位置的由faster-rcnn图像检测模型、对非结构化的图像数据进行特征提取的resresnet-18网络、一个特征拼接层和一个全连接层以及softmax层。
上述步骤5中构建好基于resnet-18融合异构数据的高压电缆检测模型后，输入步骤3得到的裁剪后的电缆绝缘子图像和步骤4得到的归一化处理后的湿度、温度、瞬时风速、最大拉力和最大拉力时风偏角等数据，对基于resnet-18融合异构数据的高压电缆检测模型进行训练；
上述步骤5中输入的步骤3得到的裁剪后的电缆绝缘子图像为：
其中，
上述步骤5中输入的步骤4所述预处理后的电缆绝缘子的湿度、温度、瞬时风速、最大拉力、最大拉力时风偏角分别为：
其中，i∈[1，i]，k∈[1，k]，i为采集时刻的数量，k为单张待检测的监控图像中绝缘子的最大个数；
上述步骤5中输入的步骤3得到的电缆绝缘子图像的风险等级(标签)为：
其中，
在上述步骤5的模型训练过程中，需要衡量价格预测值与真实值之间的误差。对于分类问题，选取交叉熵函数作为损失函数，并配合softmax函数将预测结果进行归一化，将输出结果转变成值为正且和为1的概率分布。
上述步骤5中的resnet-18模型的损失函数为交叉熵函数：
其中，lz为指示变量即0或1，如果该类别和样本z的类别相同就是1，否则是0；pzc为对于输入样本z属于类别c的预测概率，这里一共有d个类别a1，a2...，ad，一一对应于电缆绝缘子的d个风险等级的概率预测值；z为所有输入样本的总数，c为分类的类别数，此处c的值等于d，d为不小于5的正整数；
softmax函数的具体公式为：
其中
在上述步骤5的模型训练过程中，采用sgd随机梯度下降法优化方法，当训练迭代次数达到限定的最大次数n或基于resnet-18融合异构数据的高压电缆检测模型的损失函数的loss值小于设定的阈值时，停止迭代训练，选取过程中保存的最优的参数，即最小的loss值对应的参数，得到优化后的基于resnet-18融合异构数据的高压电缆检测模型；
作为优选，上述步骤6采集连续时刻的待识别的高压电缆的监控图像和电缆的湿度、温度、最大拉力，瞬时风速等数据，进行预处理操作；
步骤6所述预处理后的待检测的高压电缆监控图像为：
imagei(m，n)，m∈[1，m]，n∈[1，n]，i∈[1，i]
其中，imagei(m，n)为时刻i采集的待检测的高压电缆监控图像中第m行、第n列的像素，m为监控图像的行数，n为监控图像的行数，i为采集的待检测的监控图像的数量；
步骤6所述预处理后的监控图像中锚框的位置为：
[x′i，j，y′i，j，w′i，j，h′i，j]，i∈[1，i]，j∈[1，j]
其中x′i，j，y′i，j，w′i，j，h′i，j分别代表采集时刻i获取的监控图像中锚框j的中心点坐标、宽和高。i为采集的将待检测的监控图像的数量，j为单张监控图像中锚框的最大个数。
步骤6所述预处理后的监控图像中锚框的类别为：
[p′i，j]，i∈[1，j]，j∈[1，j]
其中p′i，j代表采集时刻i获取的监控图像中锚框j为前景类的概率。当锚框为前景类时，p′i，j的值为1，否则p′i，j的值为0；i为采集的将待检测的监控图像的数量，j为单张监控图像中锚框的最大个数。
将上述步骤6采集的预处理后的待检测的高压电缆监控图像输入fine-tune训练得到的优化后的faster-rcnn检测模型，获得待检测的高压电缆监控图像中的电缆绝缘子的预测位置，根据电缆绝缘子的预测位置对待检测的高压电缆监控图像进行裁剪，并缩放到统一的尺度大小，作为整个模型后续部分的新的输入；
步骤6所述裁剪后的电缆绝缘子图像为：
其中，
将上述步骤6采集的待识别的电缆的湿度、温度、最大拉力，瞬时风速等数据进行归一化处理，输入到基于resnet-18融合异构数据的高压电缆检测模型中进行预测；
步骤6所述预处理后的电缆绝缘子的湿度、温度、瞬时风速、最大拉力、最大拉力时风偏角分别为：
其中，i∈[1，i]，k∈[1，k]，i为采集时刻的数量，k为单张待检测的监控图像中绝缘子的最大个数；
将步骤6采集的预处理好的待识别的裁剪后的电缆绝缘子图片和归一化处理后的电缆绝缘子的湿度、温度、瞬时风速、最大拉力、最大拉力时风偏角数据一起输入到优化后的基于resnet-18融合异构数据的高压电缆状态检测模型中进行检测识别，得到高压电缆状态的风险等级；
再结合过程中faster-rcnn模型输出的电缆绝缘子的位置信息，整个基于resnet-18融合异构数据的高压电缆状态检测模型的最终输出为电缆的位置和危险程度
本发明的有益效果是：本发明构建了基于resnet-18融合异构数据的高压电缆状态检测模型，前期通过faster-rcnn模型获取电缆监控图像中电缆绝缘子的位置，对原始监控图像裁剪得到仅包含电缆绝缘子的新图像集，后期通过残差网络对图像类的非结构化数据进行降维，然后与结构化数据进行拼接融合，一同输入模型用于训练和检测。本发明融合使用了结构化数据和非结构化数据，显著提高了高压电缆状态检测的准确率和稳定性。
附图说明
图1：基于残差网络融合异构数据的电缆状态检测方法的流程图。
图2：基于resnet-50的faster-rcnn的网络结构及算法流程示意图。
图3：基于resnet-18融合异构数据的高压电缆检测模型示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，为本发明的基于resnet-18融合异构数据的高压电缆检测方法的流程示意图。包括以下步骤：
步骤1、采集连续时刻的多张电缆绝缘子的监控图像作为训练集，对采集的电缆绝缘子的原始监控图像进行预处理操作得到预处理后的监控图像，并通过人工标记的方式在预处理后的监控图像中标记电缆绝缘子的位置和类别；
步骤1所述预处理操作为将大小不一致的原始的监控图像进行统一剪裁和缩放变换；
步骤1所述预处理后的监控图像为：
imagei(m，n)，m∈[1，m]，n∈[1，n]，i∈[1，i]
其中，imagei(m，n)为时刻i采集的预处理后的监控图像中第m行、第n列的像素，m为预处理后的监控图像的行数，n为预处理后的监控图像的列数，i为采集的原始监控图像的数量，即预处理后的监控图像的数量；
步骤1所述预处理后的监控图像中电缆绝缘子标记框的位置和类别为：
其中
步骤1所述预处理后的监控图像中电缆绝缘子标记框的类别为：
其中
步骤1所述预处理后的监控图像中锚框的位置为：
[x′i，j，y′i，j，w′i，j，h′i，j]，i∈[1，i]，j∈[1，j]
其中x′i，j，y′i，j，w′i，j，h′i，j分别代表采集时刻i获取的监控图像中锚框j的中心点坐标、宽和高。i为采集的原始监控图像的数量，j为单张监控图像中锚框的最大个数。
步骤1所述预处理后的监控图像中锚框的类别为：
[p′i，j]，i∈[1，i]，j∈[1，j]
其中p′i，j代表采集时刻i获取的监控图像中锚框j为前景类的概率。当锚框为前景类时，p′i，j的值为1，否则p′i，j的值为0；i为采集的原始监控图像的数量，j为单张监控图像中锚框的最大个数。
步骤2、如图2所示，构建基于resnet-50的faster-rcnn网络模型，并定义faster-rcnn网络的损失函数，将步骤1中预处理后的监控图像、预处理后的监控图像中电缆绝缘子锚框的位置和预处理后的监控图像中锚框的类别一并输入至faster-rcnn网络模型进行微调训练，当训练迭代次数达到限定的最大次数或faster-rcnn网络损失函数的loss值小于阈值时停止迭代训练，选取过程中保存的最优的参数，即得到优化后faster-rcnn网络；
步骤2中所述构建faster-rcnn网络模型，具体为：
由resnet-50特征提取网络、区域推荐网络和roipooling模块级联构成；
resnet-50包含5个卷积块；c1卷积块只有一层，不包含残差模块，输入图像尺寸为224×224，卷积核大小为7×7，输出特征图尺寸为112×112；c2卷积块包括一个“最大池化层”和三个残差模块，共有九层卷积层，输入图像尺寸为112×112，卷积核大小为1×1和3×3，输出特征图尺寸为56×56；c3卷积块包括四个残差模块，共有十二层卷积层，输入图像尺寸为56×56，卷积核大小为1×1和3×3，输出特征图尺寸为28×28；c4卷积块包括六个残差模块，共有十八层卷积层，输入图像尺寸为28×28，卷积核大小为1×1和3×3，输出特征图尺寸为14×14；c5卷积块包括三个残差模块，共有九层卷积层，输入图像尺寸为14×14，卷积核大小为1×1和3×3，输出特征图尺寸为7×7；
区域推荐网络包括一个分类分支和一个回归分支，分类分支用于根据深度特征进行前景和背景的分类，回归分支用于生成推荐框，并进行非极大值抑制获得最终的结果；
roipooling模块包括一个分类分支和一个回归分支，分类分支用于更加精确的分类，回归分支用于对区域推荐网络生成的推荐框精修，获得更精确的预测框位置；
所述faster-rcnn网络模型包括：resnet-50为主干的特征提取网络、根据深度特征进行前景和背景分类的区域推荐网络和精修分类和回归结果的roipooling模块；
所述faster-rcnn网络模型的作用为根据监控图像推理出电缆绝缘子的位置以及类别，网络的输入为预处理后的监控图像，网络的输出为电缆绝缘子的位置和类别，这里的类别只有两类，分别是前景类和背景类，前景类为电缆绝缘子，背景类为非电缆绝缘子的背景；
步骤2所述faster-rcnn网络对于预测框的类别，采用1个概率变量表示：
[pi，j]，i∈[1，i]，j∈[1，j]
其中pi，j代表根据采集时刻i获取的监控图像得到的预测框j为前景类的概率。当根据采集时刻i获取的监控图像得到的预测框j与对应的目标锚框的iou(交并比)大于阈值α(此处α取值为0.7)时，则判定预测框为前景类，即pi，j的值为1，当根据采集时刻i获取的监控图像得到的预测框j与对应的目标锚框的iou小于阈值β(此处β取值为0.3)时，则判定预测框为背景类，即pi，j的值为0；i为采集时刻的数量即预处理后的监控图像的数量；j为单张监控图像中预测框的最大个数。
步骤2所述faster-rcnn网络对于目标预测框的位置，采用4个参数化的变量表示：
其中，xi，j，yi，j，wi，j，hi，j分别表示时刻i采集的预处理后的监控图像中锚点j对应的目标预测框的中心点坐标、宽和高；xi，j，yi，j，wi，j，hi，j分别表示时刻i采集的预处理后的监控图像中锚点j对应的目标锚框的中心点坐标、宽和高；
ti，j＝{ti，x，j，ti，y，j，ti，w，j，ti，h，j}是时刻i采集的预处理后的监控图像中锚框j对应的预测框的参数化坐标向量。
上述步骤2所述的预测得到的电缆绝缘子的参数化坐标为：
ti，j＝{tx，i，j，ty，i，j，tw，i，j，th，i，j}
根据使用上面的ti，j的参数化方法做相应的逆变换，上述步骤2得到电缆绝缘子的预测框坐标为：
(xi，j，yi，j，wi，j，hi，j)
上述步骤2中构建faster-rcnn网络模型之后，需要进一步定义faster-rcnn网络的损失函数；
步骤2所述faster-rcnn网络的损失函数为：
其中，
其中，
上式中的r是smoothl1函数，smoothl1函数的基本公式如下：
步骤2中将上述步骤1中预处理后的监控图像、预处理后的监控图像中电缆绝缘子锚框的位置和预处理后的监控图像中锚框的类别一并输入至faster-rcnn网络模型进行fine-tune(微调)训练，训练时采用momentum优化方法，当训练迭代次数达到限定的最大次数n或faster-rcnn网络损失函数的loss值小于阈值时停止迭代训练，选取过程中保存的最优的参数，即最小的loss值对应的参数，得到优化后faster-rcnn网络；
步骤3、采集连续的多张将待检测的高压电缆监控图像，使用优化后faster-rcnn网络来预测得到待检测的高压电缆监控图像中电缆绝缘子的位置，根据得到的电缆绝缘子位置对步骤3中的待检测的高压电缆监控图像进行剪裁，得到裁剪后的电缆绝缘子的图像，并通过相应的缩放等操作变换为相同尺寸大小的图片；通过人工标记方式对裁剪后的电缆绝缘子图像的风险等级做类别标记，同一时刻的电缆绝缘子图像的风险等级和电缆结构化数据对应的风险等级一致；电缆绝缘子的风险等级一共分为d个等级，用数字1、2、…、d标识，数字越大，代表实际的风险越高，反之代表的风险越低。
步骤3所述采集连续的多张将待检测的高压电缆监控图像为：
imagei(m，n)，m∈[1，m]，n∈[1，n]，i∈[1，i]
其中，imagei(m，n)为时刻i采集的待检测的高压电缆监控图像中第m行、第n列的像素，m为监控图像的行数，n为监控图像的行数，i为采集的待检测的监控图像的数量；
步骤3所述预处理后的监控图像中锚框的位置为：
[x′i，j，y′i，j，w′i，j，h′i，j]，i∈[1，i]，j∈[1，j]
其中x′i，j，y′i，j，w′i，j，h′i，j分别代表采集时刻i获取的监控图像中锚框j的中心点坐标、宽和高。i为采集的将待检测的监控图像的数量，j为单张监控图像中锚框的最大个数。
步骤3所述预处理后的监控图像中锚框的类别为：
[p′i，j]，i∈[1，i]，j∈[1，j]
其中p′i，j代表采集时刻i获取的监控图像中锚框j为前景类的概率。当锚框为前景类时，p′i，j的值为1，否则p′i，j的值为0；i为采集的将待检测的监控图像的数量，j为单张监控图像中锚框的最大个数。
将预处理后的待检测的高压电缆监控图像输入通过fine-tune训练优化后得到的faster-rcnn网络模型，将得到的初步的预测结果进行nms(非极大值抑制)处理，最后得到待检测的高压电缆监控图像中电缆绝缘子的位置；
步骤3通过优化后的faster-rcnn模型得到的待检测的高压电缆绝缘子的预测框坐标为：
(xi，k，yi，k，wi，k，hi，k)，i∈[1，i]，k∈[1，k]
其中，(xi，k，yi，k，wi，k，hi，k)表示时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的预测框坐标；i为采集的将待检测的监控图像的数量即采集时刻的梳理，k为单张监控图像中预测框的最大个数。
根据得到的电缆绝缘子位置对步骤3中的待检测的高压电缆监控图像进行剪裁，得到裁剪后的电缆绝缘子的图像，并通过相应的缩放等操作变换为相同尺寸大小的图片；
步骤3所述裁剪后的电缆绝缘子图像为：
其中，
通过人工标记方式对裁剪后的电缆绝缘子图像的风险等级做类别标记，同一时刻的电缆绝缘子图像的风险等级和电缆结构化数据对应的风险等级一致；电缆绝缘子的风险等级一共分为d个等级，用数字1、2、…、d标识，数字越大，代表实际的风险越高，反之代表的风险越低。
步骤3所述电缆绝缘子图像的风险等级表示为：
其中，
步骤4、分别对待检测的高压电缆监控图像中的电缆绝缘子的湿度、电缆绝缘子的温度、电缆绝缘子的瞬时风速、电缆绝缘子的最大拉力、电缆绝缘子的最大拉力时风偏角进行归一化处理，依次得到预处理后的电缆绝缘子的湿度、预处理后的电缆绝缘子的温度、预处理后的电缆绝缘子的瞬时风速、预处理后的电缆绝缘子的最大拉力、预处理后的电缆绝缘子的最大拉力时风偏角；
步骤4所述预处理后的电缆绝缘子的湿度为：
其中，hi，k为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的湿度，
步骤4所述预处理后的电缆绝缘子的温度为：
其中，ti，k为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的温度，
步骤4所述预处理后的电缆绝缘子的瞬时风速为：
其中，wi，k为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的瞬时风速，
步骤4所述预处理后的电缆绝缘子的最大拉力为：
其中，fi，k为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的最大拉力，
步骤4所述预处理后的电缆绝缘子的最大拉力时风偏角为：
其中，ai，k为时刻i采集的待检测的高压电缆监控图像中的第k个电缆绝缘子的最大拉力时风偏角，
步骤5、如图3所示，构建基于resnet-18融合异构数据的高压电缆状态检测模型；将步骤3得到的裁剪后的电缆绝缘子图像、风险等级标签和步骤4得到的归一化处理后的湿度、温度、瞬时风速、最大拉力和最大拉力时风偏角等结构化数据输入基于resnet-18融合异构数据的高压电缆检测模型，模型最终输出为预测的电缆绝缘子的危险程度；采用随机梯度下降优化方法进行迭代训练，提高基于resnet-18融合异构数据的高压电缆检测模型的检测性能，得到优化后的基于resnet-18融合异构数据的高压电缆绝缘子风险预测模型；
步骤5中所述构建基于resnet-18融合异构数据的高压电缆状态检测模型，具体为：
由faster-rcnn图像检测模型、resnet-18特征提取网络、一个特征拼接层和一个全连接层以及softmax层构成；
faster-rcnn图像检测模型，由resnet-50特征提取网络、区域推荐网络和roipooling模块级联构成，用于获取原始监控图像中的高压电缆绝缘子的实际位置；
resnet-18特征提取网络包含5个卷积块；c1卷积块只有一层，不包含残差模块，输入图像尺寸为224×224，卷积核大小为7×7，输出特征图尺寸为112×112；c2卷积块包括两个残差模块，共有四层卷积层，输入图像尺寸为112×112，卷积核大小为3×3，输出特征图尺寸为56×56；c3卷积块包括两个残差模块，共有四层卷积层，输入图像尺寸为56×56，卷积核大小为3×3，输出特征图尺寸为28×28；c4卷积块包括两个残差模块，共有四层卷积层，输入图像尺寸为28×28，卷积核大小为3×3，输出特征图尺寸为14×14；；c5卷积块包括两个残差模块，共有四层卷积层，输入图像尺寸为14×14，卷积核大小为3×3，输出特征图尺寸为7×7；最后还有一个“平均池化层”(averagepooling)；resnet-18特征提取网络用于对非结构化的图像数据进行降维，最后将高维的图像数据转换为一位的特征数据；
一个特征拼接层的作用是将后非结构化的电缆图像数据的低维特征与结构化的电缆的湿度、温度、最大拉力、瞬时风速等数据进行拼接，同时输入到后续的全连接层中；
一个全连接层以及softmax层的作用是对特征拼接层的输入做分类，并通过softmax函数将结果归一化为概率预测值；
所述基于resnet-18融合异构数据的高压电缆状态检测模型包括：用于获取监控图像中电缆绝缘子位置的由faster-rcnn图像检测模型、对非结构化的图像数据进行特征提取的resresnet-18网络、一个特征拼接层和一个全连接层以及softmax层。
上述步骤5中构建好基于resnet-18融合异构数据的高压电缆检测模型后，输入步骤3得到的裁剪后的电缆绝缘子图像和步骤4得到的归一化处理后的湿度、温度、瞬时风速、最大拉力和最大拉力时风偏角等数据，对基于resnet-18融合异构数据的高压电缆检测模型进行训练；
上述步骤5中输入的步骤3得到的裁剪后的电缆绝缘子图像为：
其中，
上述步骤5中输入的步骤4所述预处理后的电缆绝缘子的湿度、温度、瞬时风速、最大拉力、最大拉力时风偏角分别为：
其中，i∈[1，i]，k∈[1，k]，i为采集时刻的数量，k为单张待检测的监控图像中绝缘子的最大个数；
上述步骤5中输入的步骤3得到的电缆绝缘子图像的风险等级(标签)为：
其中，
在上述步骤5的模型训练过程中，需要衡量价格预测值与真实值之间的误差。对于分类问题，选取交叉熵函数作为损失函数，并配合softmax函数将预测结果进行归一化，将输出结果转变成值为正且和为1的概率分布。
上述步骤5中的resnet-18模型的损失函数为交叉熵函数：
其中，lz为指示变量(0或1)，如果该类别和样本z的类别相同就是1，否则是0；pzc为对于输入样本z属于类别c的预测概率，这里一共有d个类别a1，a2...，ad(为了简洁不考虑下标)，一一对应于电缆绝缘子的d个风险等级的概率预测值；z为所有输入样本的总数，c为分类的类别数，此处c的值等于d，d为不小于5的正整数；
softmax函数的具体公式为：
其中
在上述步骤5的模型训练过程中，采用sgd(随机梯度下降法)优化方法，当训练迭代次数达到限定的最大次数n或基于resnet-18融合异构数据的高压电缆检测模型的损失函数的loss值小于设定的阈值时，停止迭代训练，选取过程中保存的最优的参数，即最小的loss值对应的参数，得到优化后的基于resnet-18融合异构数据的高压电缆检测模型；
步骤6、采集连续时刻的待识别的高压电缆的监控图像和电缆的湿度、温度、最大拉力，瞬时风速等数据，进行预处理后，利用步骤5得到的优化后的基于resnet-18融合异构数据的高压电缆检测模型对待识别数据进行处理，得到高压电缆状态的风险等级；结合优化后的faster-rcnn检测模型输出的电缆绝缘子的位置，整个模型最终得到的输出为电缆的位置和危险程度
上述步骤6采集连续时刻的待识别的高压电缆的监控图像和电缆的湿度、温度、最大拉力，瞬时风速等数据，进行预处理操作；
步骤6所述预处理后的待检测的高压电缆监控图像为：
imagei(m，n)，m∈[1，m]，n∈[1，n]，i∈[1，i]
其中，imagei(m，n)为时刻i采集的待检测的高压电缆监控图像中第m行、第n列的像素，m为监控图像的行数，n为监控图像的行数，i为采集的待检测的监控图像的数量；
步骤6所述预处理后的监控图像中锚框的位置为：
[x′i，j，y′i，j，w′i，j，h′i，j]，i∈[1，i]，j∈[1，j]
其中x′i，j，y′i，j，w′i，，j，h′i，j分别代表采集时刻i获取的监控图像中锚框j的中心点坐标、宽和高。i为采集的将待检测的监控图像的数量，j为单张监控图像中锚框的最大个数。
步骤6所述预处理后的监控图像中锚框的类别为：
[p′i，j]，i∈[1，i]，j∈[1，j]
其中p′i，j代表采集时刻i获取的监控图像中锚框j为前景类的概率。当锚框为前景类时，p′i，j的值为1，否则p′i，j的值为0；i为采集的将待检测的监控图像的数量，j为单张监控图像中锚框的最大个数。
将上述步骤6采集的预处理后的待检测的高压电缆监控图像输入fine-tune训练得到的优化后的faster-rcnn检测模型，获得待检测的高压电缆监控图像中的电缆绝缘子的预测位置，根据电缆绝缘子的预测位置对待检测的高压电缆监控图像进行裁剪，并缩放到统一的尺度大小，作为整个模型后续部分的新的输入；
步骤6所述裁剪后的电缆绝缘子图像为：
其中，
将上述步骤6采集的待识别的电缆的湿度、温度、最大拉力，瞬时风速等数据进行归一化处理，输入到基于resnet-18融合异构数据的高压电缆检测模型中进行预测；
步骤6所述预处理后的电缆绝缘子的湿度、温度、瞬时风速、最大拉力、最大拉力时风偏角分别为：
其中，i∈[1，i]，k∈[1，k]，i为采集时刻的数量，k为单张待检测的监控图像中绝缘子的最大个数；
将步骤6采集的预处理好的待识别的裁剪后的电缆绝缘子图片和归一化处理后的电缆绝缘子的湿度、温度、瞬时风速、最大拉力、最大拉力时风偏角数据一起输入到优化后的基于resnet-18融合异构数据的高压电缆状态检测模型中进行检测识别，得到高压电缆状态的风险等级；
再结合过程中faster-rcnn模型输出的电缆绝缘子的位置信息，整个基于resnet-18融合异构数据的高压电缆状态检测模型的最终输出为电缆的位置和危险程度
在本发明的一个可选实施例中，可选取d为10，即将电缆绝缘子的覆冰风险等级划分为10个等级，实际应用过程中，根据高压电缆绝缘子的覆冰等级的预测结果来采取相应的行动措施。当覆冰等级的预测结果小于等于4时，覆冰的危险等级较低，无需人工干预；当风险等级预测的数字达到5时，需要对相关的电缆绝缘子进行重点关注，频繁查看对应的监控摄像，必要时配合人工的巡视；当风险等级预测的数字达到8或超过8时，需要对这些高风险的电缆绝缘子进行人工干预，及时派遣工人去除电缆绝缘子上的覆冰，如果导致了电缆的损坏或漏电，则需要派遣更加专业的电力工人进行维修。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
- 还没有人留言评论。精彩留言会获得点赞！