一种双注意力机制配电站水浸识别方法及系统与流程

1.本发明涉及配电站识别技术领域，尤其涉及一种双注意力机制配电站水浸识别方法及系统。


背景技术：

2.长期以来，配电房或开闭所维护管理工作一直是电力系统运行可靠性的薄弱环节之一。目前，配电站异常情况的监控主要采用云计算或者边缘计算的方式，但是，云计算在处理过程中存在网络传输问题，边缘计算存在计算能力不足，本地存储冗余的问题，两者均无法自适应环境不断提升性能。虽然云计算在处理大数据方面可以利用超强的计算能力将从设备层采集上传到云平台的数据进行处理和分析，但设备数量激增导致设备产生的数据量也在激增，然而网络贷款的增长速度远比不上数据的增长速度，使得网络宽带成为瓶颈，且越来越复杂的网络环境让网络延迟问题更加明显。
3.我国大部分地区阴雨绵绵，部分地区甚至洪涝灾害严重，加之有些高低压配电房建在地势较低的区域，导致很多配电房都有不同程度的浸水情况，在水浸环境下配电站异常情况检测难度较大。同时，配电站多位于偏远环境，网络状况不稳定，视频图像等非结构化数据只有就近在物或数据源侧进行结构化数据处理，才能有效降低网络带宽、后端计算以及存储的压力，提升整体分析效率，满足业务实施响应的要求。


技术实现要素：

4.本发明的主要目的是提供一种双注意力机制配电站水浸识别方法及系统，旨在解决现有的配电站边缘端水浸环境下无法满足实时响应，以及检测精度较差且无法自适应复杂场景的技术问题。
5.为实现上述目的，本发明提供一种双注意力机制配电站水浸识别方法及系统，其中，所述方法包括以下步骤：
6.s1、采集浸水场景图片集x，选取部分图片集xq进行标记得到标签数据集yq，余下图片集为未标记图片集x
p
＝{x-xq}；
7.s2、构建基于yolov4-tiny的具有双注意力机制的第一网络q，利用部分图片集xq和标签数据集yq形成的训练数据集dq＝{xq,yq}对所述第一网络q进行训练，得到第二网络q
′
；
8.s3、根据第二网络q
′
对未标记图片集x
p
＝{x-xq}进行标记得到标签数据集y
p
，并更新训练数据集dq，更新后的训练数据集dq＝{x＝xq+x
p
,y＝yq+y
p
}；利用更新后的所述训练数据集对第二网络q
′
进行训练，得到检测网络q
″
；
9.s4、将所述检测网络q
″
上传至云平台，经量化、加密后下发至边缘代理；
10.s5、边缘代理通过摄像头获取周边环境图像，并对冗余帧进行过滤处理，得到关键帧；
11.s6、将所述关键帧输入量化后的检测网络，得到目标置信度c，若置信度异常，就地
保存、决策并上报；否则执行步骤s7；
12.s7、边缘代理根据置信度大小选取部分图像进行标记并上传至云平台，云平台将上传的所述图像更新至浸水场景图片集x。
13.优选地，所述构建基于yolov4-tiny的双注意力机制第一网络q的步骤包括：
14.在yolov4-tiny的主干网络引出处和特征网络融合处添加双注意力机制，得到具备双注意力机制的第一网络q。
15.优选地，yolov4-tiny的主干网络为darknet53-tiny，包括第一卷积单元、第二卷积单元、第一残差单元、第二残差单元、第三残差单元和第四残差单元；所述第二残差单元和第四残差单元处分别添加双注意力机制。
16.优选地，yolov4-tiny的特征网络包括第三卷积单元、第四卷积单元、上采样单元和通道拼接单元，所述上采样单元处添加双注意力机制。
17.优选地，所述双注意力机制包括通道注意力模块和空间注意力模块。
18.优选地，所述利用训练数据集dq＝{xq,yq}对所述第一网络q进行训练的步骤之前，包括：
19.根据网络层将yolov4-tiny的imagenet预训练权重加载至第一网络q。
20.优选地，所述所述将检测网络q
″
上传至云平台，经量化、加密后下发至边缘代理的步骤，包括：
21.将检测网络q
″
上传至云平台，云平台将所述检测网络q
″
进行量化，得到量化后的检测网络q
″
int8
；
22.将量化后的检测网络q
″
int8
采用aes的方式进行加密后下发至边缘代理。
23.优选地，所述将检测网络q
″
上传至云平台，经量化、加密后下发至边缘代理的步骤之前，包括：
24.云平台初始化边缘代理求和树。
25.优选地，所述步骤s6具体为：
26.若则根据预测类别保存图像并上传至云平台，所述为保存门限值，所述为上报门限值；
27.若则进入警报模式，并将异常图像上传至云平台；
28.若则执行步骤s5。
29.优选地，所述将冗余帧进行过滤处理，得到关键帧的步骤包括：
30.s51、利用摄像头获取连续四帧图像pic＝[p0,p1,p2,p3]；
[0031]
s52、将所述图像进行灰度处理，并进行高斯滤波，得到滤波图像
[0032]
s53、对所述滤波图像作差，得到灰度特征图 dif1,dif2；
[0033]
s54、对所述灰度特征图dif1,dif2进行填充，并计算dif1,dif2的相关系数corr；
[0034]
s55、摄像头获取下一帧图像p4，p
3gray
＝p4；
[0035]
s56、判断所述相关系数corr是否大于门限值thr
corr
，若corr＞thr
corr
，则输出关键帧p
key
＝p4；否则返回步骤s52。
[0036]
优选地，所述云平台将上传的图像进行标记的步骤，包括：
[0037]
当浸水场景图像达到数量v时，边缘代理根据置信度大小选取m个图像并进行标记，将标记后的m个图像上传至云平台，云平台将收到的m个所述图像与现有浸水场景图片集以3：1的比例重新组合，得到新的浸水场景图片集x。
[0038]
本发明还提供一种双注意力机制配电站水浸识别系统，包括云平台、边缘代理和摄像头；
[0039]
所述摄像头与边缘代理连接，用于获取周边环境图像并传输至边缘代理；
[0040]
所述边缘代理与云平台连接，用于将所述图像进行处理并上传至云平台；
[0041]
所述云平台，用于将上传的所述图像对水浸场景图像集进行更新，并利用更新后的数据进行训练，从而实现检测网络的更新与优化。
[0042]
本发明的上述技术方案中，所述一种双注意力机制配电站水浸识别方法包括：采集浸水场景图片集x；构建基于yolov4-tiny的具有双注意力机制的第一网络q，利用采集浸水场景图片集x对所述第一网络q进行训练，得到检测网络q
″
；将所述检测网络q
″
上传至云平台，经量化、加密后下发至边缘代理；边缘代理通过摄像头获取周边环境图像，并对冗余帧进行过滤处理，得到关键帧；将所述关键帧输入量化后的检测网络，得到目标置信度c，若置信度异常，就地决策并上报；云平台将上传的图像进行标记，并更新图片集x。本发明解决了现有的配电站边缘端水浸环境下无法满足实时响应，以及检测精度较差且无法自适应复杂场景的技术问题。
[0043]
在本发明中，通过在检测网络中引入双注意力机制，加强了对易混淆目标图像的检测能力。
[0044]
在本发明中，通过云平台更新实时更新数据，可实现检测网络的实时更新，边缘代理通过检测网络的更新和优化，能更好的自适应复杂的场景，以及提升边缘端检测精度。
[0045]
在本发明中，在边缘端将冗余帧过滤，得到关键帧，降低了云平台的处理负担和通讯带宽，减少了边缘端的冗余数据，降低了存储压力及存储耗能，提高整体分析效率，满足业务实时响应等要求。
附图说明
[0046]
为了更清楚地说明本发明实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0047]
图1为本发明实施例一种双注意力机制配电站水浸识别方法的流程示意图；
[0048]
图2为本发明实施例通道注意力模块的示意图；
[0049]
图3为本发明实施例空间注意力模块的示意图；
[0050]
图4为本发明实施例双注意力机制的示意图；
[0051]
图5为本发明实施例基于yolov4-tiny的双注意力机制网络结构示意图；
[0052]
图6为本发明实施例应用加密解密的流程示意图；
20％的图像xq进行标记得到标签数据集yq＝{y1,y2,...,yq}，利用所述图像xq和标签数据集yq＝{y1,y2,...,yq}形成训练数据集dq＝{xq,yq}，余下图片集为未标记图片集x
p
＝{x-xq}。
[0072]
具体地，在本实施例中，在yolov4-tiny的主干网络引出处和特征网络融合处添加双注意力机制，构建具备双注意力机制的第一网络q。所述主干网络为darknet53-tiny，包括第一卷积单元、第二卷积单元、第一残差单元、第二残差单元、第三残差单元和第四残差单元；所述第二残差单元和第四残差单元处分别添加双注意力机制，以加强从主干网络中提取出的特征图的主要有效通道和空间，通过第一卷积单元、第二卷积单元和第一残差单元将图像的初级特征进行提取，而后在第二残差单元和第四残差单元添加双注意力机制，保证在图像初级特征提取的基础上，获取图像的局部重要信息；如在获取全局信息之前添加注意力机制，则会导致漏掉图像的部分全局信息，使图像信息获取的不完整。特征网络包括第三卷积单元、第四卷积单元、上采样单元和通道拼接单元，所述上采样单元处添加双注意力机制，由于上采样之前对特征图进行了卷积操作，因此，在上采样模块之后添加双注意力机制，防止漏掉图像的部分全局信息和局部重要信息。
[0073]
具体地，在本实施例中，所述双注意力机制包括通道注意力模块和空间注意力模块；所述空间注意力模块通过引入均值池化和最大池化对特征图中的数据进行降维，以包含全局信息和局部重要信息，最后用卷积来进行提取赋予不同权重，通过提取全局信息和局部重要信息，增大有效信息的权重。对特征图分别在通道维度均值池化和最大池化后，对均值池化和最大池化的结果进行通道拼接，再进行一次7*7卷积激活，得到空间注意力机制模块ms，公式表示如下：
[0074][0075]
σ为sigmoid激活函数，表示如下：
[0076][0077]
具体地，在本实施例中，在所述通道注意力模块中，一张图片经过几个卷积层会得到一个特征矩阵，所述特征矩阵的通道数为卷积层核的个数，现有卷积层核的个数为1024或2048，并非每个通道对于信息传递均有用，因此，通过对这些通道进行过滤，即可得到优化后的特征矩阵，主要通过增大有效通道的权重，减少无效通道的权重。对特征图分别进行二维均值池化和二维最大池化，为了部署在边缘端，因此需要缩减参数量，这里以两个连续的1*1 卷积模拟全连接层对上一步得到的二维均值池化和二维最大池化的结果进行卷积，最后相加通过sigmoid函数激活，得到通道注意力机制模块mc，公式如下：
[0078][0079]
其中，w0为第一个1*1卷积核的权重，w1为第二个1*1卷积核的权重，为特征图在通道维度被均值池化后的结果，为特征图在通道维度被最大池化后的结果。
[0080]
将特征图f输入通道注意力机制模块mc后，在与特征图f相乘得到融合了通道注意力的特征图f
′
，将f
′
输入空间注意力机制模块ms后，再与特征图f
′
相乘得到融合了通道和
空间注意力的特征图f
″
。
[0081]
公式如下：
[0082][0083][0084]
具体地，在本实施例中，根据网络层加载yolov4-tiny的imagenet预训练权重加载至第一网络q，利用部分图片集xq和标签数据集yq形成的训练数据集dq＝{xq,yq}对所述第一网络q进行训练，得到第二网络q
′
；利用第二网络q
′
对未标记图片集x
p
＝{x-xq}进行标记得到标签数据集y
p
＝{y1,y2,...,y
p
}，并更新训练数据集dq，更新训练数据集dq的方式可以通过系统自动更新，或人工更新，或通过系统与人工相互配合更新训练数据集dq，更新后的训练数据集 dq＝{x＝xq+x
p
,y＝yq+y
p
}；利用更新后的所述训练数据集对第二网络q
′
进行训练，得到检测网络q
″
；将检测网络q
″
上传至云平台，云平台将所述检测网络q
″
进行量化处理，得到量化后的检测网络q
″
int8
，加密打包成应用下发至边缘代理，所述量化后的检测网络q
″
int8
采用aes的方式进行加密，所述aes为一种加密和解密使用相同密码的对称加密方式，aes加密函数将应用和秘钥作为加密函数的参数输入，输出密文，所述密文表示经过加密函数处理后的数据，aes解码函数将密文和秘钥作为输入，输出解密应用。同时，通过云平台初始化边缘代理求和树，所述求和树的v个叶子节点的优先级pv＝1，所述 v＝128，所述求和树共6层。
[0085]
具体地，在本实施例中，边缘代理从云平台下载量化后的所述检测网络 q
″
int8
执行水浸监测任务，通过摄像头获取周边环境图像，边缘代理将所述图像通过冗余帧过滤处关键帧，其中冗余帧过滤处关键帧的过滤方法包括以下步骤：
[0086]
s51、利用摄像头获取连续四帧图像pic＝[p0,p1,p2,p3]；
[0087]
s52、将所述图像缩放合适的尺寸后灰度处理，得到灰度图像，将所述灰度图像进行高斯滤波，得到滤波图像高斯滤波卷积核公式如下：
[0088][0089]
其中，(xc,yc)为卷积核当前中心点坐标，σ为卷积核对应的方差。
[0090]
s53、对所述滤波图像作差，得到灰度特征图 dif1,dif2；作差公式如下：
[0091][0092]
其中，dif1,dif2为灰度图像相减得到的灰度特征图。
[0093]
s54、对所述灰度特征图dif1,dif2进行填充，填充方式如下：
[0094][0095]
其中，thrs为色差dif1,dif2的阈值，所述色差的阈值thrs可设置为5。
[0096]
灰度特征图经过自动填充后，将填充后的dif1,dif2调整为一维向量，计算 dif1,dif2的相关系数corr，公式如下：
[0097][0098]
其中，为dif1,dif2的分量，n为dif1,dif2的分量总数。
[0099]
s55、摄像头获取下一帧图像p4，p
3gray
＝p4；
[0100]
s56、判断所述相关系数corr是否大于门限值thr
corr
，若corr＞thr
corr
，则输出关键帧p
key
＝p4；否则返回步骤s52；所述相关系数门限值thr
corr
可设置为 0.26。
[0101]
具体地，在本实施例中，将关键帧输入量化后的检测网络q
″
int8
中，进行异常监测，并获取目标置信度c；
[0102]
若则根据预测类别保存图像并上传至云平台，所述为保存门限值，所述为上报门限值；
[0103]
若则进入警报模式，并将异常图像上传至云平台，其中，所述c为检测网络检测出的异常图像的目标置信度；
[0104]
若则边缘代理继续通过摄像头进行进行监测；
[0105]
其中所述上报门限值可设置为0.9；所述保存门限值可设置为 0.6。
[0106]
具体地，在本实施例中，当上传的图像达到数量v时，所述v可设置为 128，边缘代理根据置信度大小选取m个图像并进行标记，所述m可设置为64，边缘代理将标记后的m个图像上传至云平台，云平台将收到的m个所述图像与现有浸水场景图片集以3：1的比例重新组合，得到新的浸水场景图片集x。其中，云平台样本数据的保存方式如下：
[0107]
s71、另i＝1，j＝1，经对求和树中的所有叶子节点求和得到根节点的优先级，值为l
1,1
，求和树共有floor＝1+log2v层；
[0108]
s72、将根节点优先级l
1,1
平均分为个区间，在每个区间随机选取一个数，得到t＝[t1,...,ti,...,ty]；
[0109]
s73、根据ti最顶上的根节点开始搜索；
[0110]
s74、设定此时左叶子节点的优先级为left，右叶子节点的优先级为right；若left＞ti，则进入左叶子节点，反之，进入右叶子节点；若进入右叶子节点，则ti＝t
i-left，j＝j+1；重复上述步骤直到j＞floor。此时，ti所对应的叶子节点存储的图像为sami，更新对应图像的优先级pi＝1-ci，其中，ci为图像sami在神经网络输出中的置信度；
[0111]
s75、重复步骤s74，选出sam＝[sam1,...,samm]，共m个样本图像；
[0112]
s76、从求和树中移出所选处的样本数据sam＝[sam1,...,samm]。
[0113]
将新的浸水场景图片集结合现有网络权重进行迁移训练，训练完成后将训练权重以软更新的方式更新，得到新的检测网络，将新的所述检测网络经量化、加密后下发至边缘代理。其中，训练权重软更新的方式为： w'＝w'(1-τ
ratio
)+w*τ
ratio
；
[0114]
其中，w'为边缘代理的网络权重，w为云平台的网络权重，τ
ratio
为软更新比例。
[0115]
具体地，在本实施例中，云平台从云端、到边缘端、到设备端，从上而下分为三层，通过云测或边侧运维指令至端侧中运行的服务，实现对终端的控制，并通过安全签名及加
密认证的方法来保证通讯的安全，边缘端统一配置边缘应用的部署方式及运行参数，实现对应用的不同部署要求。云平台对应用包、边缘应用和边缘代理进行管理，并配置他们之间的关系，整体操作流程包括：管理应用包，上传写好的应用包至系统；将应用包构件成镜像放入容器镜像仓库；将应用包直接注册成边缘组件或将构建好的容器镜像注册为边缘应用，供边缘代理使用；设备注册，创建数字化的边缘代理，并配置需要运行于其中的边缘组件，在服务器端存储边缘代理中运行的应用清单及配置；将配置好的边缘应用清单下发至边缘代理，边缘代理依据配置进行部署及更新：当组件为原生应用组件时，进行宿主机部署及更新或附加至容器部署及更新；当组件为镜像组件时，则进行容器化部署及更新；管理平台对边缘代理及运行于其中的应用进行监控。
[0116]
具体地，在本实施例中，待检测网络应用包构建完成后，系统可自动构建镜像或人工手动构建镜像，之后注册为应用组件或镜像组件，在配置至边缘节点中部署下发，支持多种部署方式，容器部署，附加至容器部署及宿主机部署。将应用包上传至管理后，注册为边缘组件，之后加入到边缘代理进行部署，边缘代理接到请求后进行部署操作，部署请求中不包含实际文件流，但会带上文件的下载地址以及下载文件的临时授权码，边缘代理会使用临时授权码下载应用程序压缩包。部署进度采用异步处理，前端发出部署请求后，边缘端异步返回处理状态，之后边缘端上报部署/更新进度，前端轮询获取部署进度信息。容器内部署及更新包含以下步骤：a、管理平台前端向管理平台后端发送附加至容器部署请求，部署请求中包含文件的下载地址以及下载文件的临时授权码，不包含实际文件流；b、管理平台后端进行参数组装并将附加至容器部署请求经文件服务器转发至边缘代理；c、边缘代理向管理平台前端返回处理状态，并向文件服务器发出应用和配置文件下载请求；d、文件服务器向边缘代理返回应用及配置文件流，其中，包括：a、边缘代理读取下载的临时文件，获取已下载字节数；b、边缘代理向文件服务器请求下载起始位置的文件下载；c、文件服务器从指定起始位开始向边缘代理模块传输文件流； d、边缘代理模块保存文件流至临时文件；e、若文件流下载中断，则返回步骤a，否则下载完成后将临时文件重命名。e、边缘代理将应用及配置文件存至指定目录，进行文件签名验证，并向管理平台后端上报处理状态；f、边缘代理模块准备应用执行环境，其中，包括：a、若不是热加载，则合并应用容器运行参数，备份容器内原应用及数据，并重建容器，否则直接执行下一步； b、生成应用的容器配置文件；c、复制包括容器内原应用及数据文件的所有应用及其容器配置文件至容器内；d、若为应用组件容器内更新则通知容器内管理程序停止并删除旧应用，否则执行下一步；e、容器内管理程序重新加载应用配置；f、若a中所述热加载为加载应用仅涉及环境变量、资源限制以及 cmd参数，无需重建宿主容器即可实现应用的部署和更新。g、边缘代理模块启动/重启应用流程并记录进度；h、边缘代理模块轮询请求部署进度信息并上报部署进度至文件服务器，文件服务器转发部署进度至管理平台后端；i、管理平台后端记录进度；j、管理平台前端向管理平台后端轮询请求部署进度，管理平台后端向管理平台前端返回部署进度信息。所述边缘代理部署及更新包括以下步骤：a、管理平台前端向管理平台后端发送边缘代理部署请求，部署请求中包含文件的下载地址以及下载文件的临时授权码，不包含实际文件流；b、管理平台后端进行参数组装并将边缘代理部署请求经文件服务器转发至边缘代理模块；c、边缘代理模块向管理平台前端返回处理状态，并向文件服务器发出应用及配置文件下载请求；d、文件服务器向边缘代理模块返回应用及配置文件流，其中，具体为：a、边缘代理模块读取
下载的临时文件，获取已下载字节数；b、边缘代理模块向文件服务器请求带下载起始位置的文件下载；c、文件服务器从指定起始位开始向边缘代理模块传输文件流；d、边缘代理模块保存文件流至临时文件；e、若文件流下载中断则返回步骤a，否则下载完成后将临时文件重命名。e、边缘代理模块将应用及配置文件存至指定目录；f、若应用压缩包md5值未变则需更新配置文件后执行步骤h中重启应用，否则进行文件签名验证，并向管理平台后端上报处理状态；g、边缘代理模块准备应用执行环境，同时管理平台后端记录进度，具体为：a、解压缩到制定目录；b、若进行宿主机更新则停止原应用并删除原应用。h、边缘代理模块启动/重启应用，记录进度；i、边缘代理模块轮询请求部署进度信息并上报部署进度至管理平台后端，同时管理平台后端记录进度；j、管理平台前端向管理平台后端轮询请求部署进度，管理平台后端向管理平台前端返回部署进度信息。
[0117]
实施例2：
[0118]
参见图10，根据上述的一种双注意力机制配电站水浸识别方法，还包括一种双注意力机制配电站水浸识别系统，所述系统包括：
[0119]
云平台、边缘代理和摄像头；
[0120]
所述摄像头与边缘代理连接，用于获取周边环境图像并传输至边缘代理；
[0121]
所述边缘代理与云平台连接，用于将所述图像进行处理并上传至云平台；
[0122]
所述云平台，用于将上传的所述图像对水浸场景图像集进行更新，并利用更新后的数据进行训练，从而实现检测网络的更新与优化。
[0123]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围。