一种机器视觉识别发电机母线位移和形变的方法与流程

1.本发明属于水利水电及人工智能技术领域，具体涉及一种机器视觉识别发电机母线位移和形变的方法。


背景技术：

2.在水利水电工程中，发电机母线是连接发电机和主变压器的大电流导体，是承担发电机电能送出的关键电器设备。大中型发电机组主回路电压母线多选用离相封闭母线、绝缘铜管母线、共箱封闭母线、绝缘浇筑母线，这些母线都属于硬导体，无论是在竖井垂直方向的固定、还是廊道内的水平固定，母线固定装置除固定支架外，在考虑母线在不同运行工况下的热胀冷缩效应，母线支架还有大部分滑动支架。
3.对于在竖井内垂直安装的母线，固定支架需要承受母线的重力，以及检修、事故（短路和地震）工况下的荷载，固定支架主要起到限定母线沿母线轴向、水平方向的位移，滑动支架承受检修、事故（短路和地震）工况下的荷载，滑动支架对母线水平方向的位移起到限定作用。对于在廊道内水平安装的母线，固定支架和滑动支架与垂直安装的母线基本一致。
4.发电机母线在长期运行过程中，支吊架长期承受各种工况下的荷载，特别是对于离相封闭母线和共箱母线，母线导体与外壳之间通过绝缘子固定，绝缘子也需要长期承担导体产生的荷载和弯矩，导体与外壳之间，外壳与支架之间极易产生位移，以及母线本身的形变等现象，这些变化具有一定的隐蔽性和趋势性，在实际的日常运行中很难被运行人员发现，且大多数重要部位由于运行空间的限制而无法有效巡视，因此成为电站、电厂日常运行维护工作的难点，这些变化通过日积月累容易导致各种隐患产生。
5.综上所述，大电流母线外壳、导体的外形尺寸大，采用纯铝材料，因此应发生局部变形、扰度增大、导体外壳不同心、软连接松动等诸多运行问题，水平段和长垂直段在长期运行过程中，在各种工况下，导体、外壳及支架之间极易产生位移，以及母线本身的形变等现象。母线设备外形尺寸大，水平、垂直安装部位都不便于日常巡视，运行单位对其位移和形变的监测难以实施。通常情况下，运行人员通过在母线外壳上以及附近混凝土墙面作好特殊标记，通过观察外壳标记之间相对位置是否存在变化以判断位移及变形情况，这种监测手段对母线位移和形变量发生的时间点，以及变化量是无法准确识别的。


技术实现要素：

6.本发明的目的就是为了解决上述背景技术存在的不足，提供一种机器视觉识别发电机母线位移和形变的方法，实现无传感器、无接触、实时在线的母线位移和形变状态监测。
7.本发明采用的技术方案是：一种机器视觉识别发电机母线位移和形变的方法，包括以下步骤：在连续的时刻拍摄的多张不同角度的发电机主回路的标准母线段的图像；所述图
像中包含有标识点；所述标识点设置于母线的若干个指定位置；每个指定位置分别对称设置有2个标识点，用于标记母线的指定位置对称两点的位置；对每个时刻拍摄的不同的角度的图像进行融合；针对每个时刻融合后的图像识别其中的标识点的坐标；通过连续时刻的标识点的坐标计算得到标识点的位移；根据标识点的位移值反推标识点所对应的母线的指定位置的位移和形变量。
8.上述技术方案中，还包括以下步骤：基于获得的发电机母线的位移和形变量，采用自适应动量估计方法训练神经网络，进而提取发电机母线当前位移和形变量的变化趋势。
9.上述技术方案中，在标准母线段的指定位置的母线外壳上或者固定平台上设置可通过人工智能算法识别的标识点，或者通过其他辅助措施将母线外壳上或者固定平台上的标识投射到特定位置的方式且被人工智能算法识别；所述标识点一侧设置有参照标尺；当母线由于自身或者固定装置发生结构损伤产生微小的位移或者形变，所述标识在参照标尺上产生差异。
10.上述技术方案中，根据标识点的位移值反推标识点所对应的母线的指定位置的位移和形变量的过程包括：识别指定位置对称的2个标记点在连续时刻水平、垂直两个方向上的位移；在前后两个时刻，若两个对称设置的标识点位移的方向和大小相同，则判定母线在对应的指定位置只发生了位移，该指定位置的位移量通过对应的标识点的位移量等比换算得到；在前后两个时刻，若两个对称设置的标识点位移的方向和大小不同，则判定母线发生了形变和位移，通过两个对称设置的标识点位移量差值等比换算得到母线的形变量；通过两个对称设置的标识点位移量的平均值等比换算得到母线的位移量。
11.上述技术方案中，对每个时刻拍摄的不同的角度的图像进行融合的过程包括：通过离散双正交小波变换对发电机主回路的标准母线段的图像在多个时刻的若干张不同角度的图像进行融合。
12.上述技术方案中，针对每个时刻融合后的图像识别其中的标识点的坐标的过程包括：以灰度级t为阀值，将图像的像素点分成背景和前景两类，背景类用s1表示，包含图像中像素值不大于t的所有点；前景类用s2表示，包含图像中像素值大于t的所有点；定义分类判断函数，所述分类判断函数与s1和s2的类间距离呈正相关；找到图像的某一个灰度级t使分类判别函数取最大值，则可认为t为所求的最优分割阀值；滤除所有灰度值小于t的像素点，保留图像中所有灰度值大于t的像素点，即可得到标识点的所在区域，并对该标识点的坐标进行读取。
13.上述技术方案中，通过连续时刻的标识点的坐标计算得到标识点的位移的过程包括：针对投射到特定位置的任一标识点，定义相机到该标识点（x1，y1）的直线距离为d1，相机沿到达标识点的直线到达特定位置上的点（x2，y2）的距离为d2；坐标为（x2，y2）的点即为该标识点投射到特定位置上的坐标；采用vibe运动目标检测方法识别到母线产生位移后的投射到特定位置的标识点坐标为（x3，y3），x方向和y方向上的位移大小分别可计算为：。
14.本发明的有益效果是：本发明针对标准母线段的指定部位的母线外壳形变、位移现象提出的一种基于机器视觉和人工智能算法的高精度、在线识别其状态的方法。该方法
标准母线段的指定部位的母线外壳上设置可以通过人工智能算法识别的标识，以将母线外壳上的标识投射到特定位置。通过机器视觉的图像融合技术、边缘检测方法和vibe运动目标检测方法高精度识别两个方向上的位移，从而识别母线外壳的形变、位移状态，当发生超过安全系数范围内最小限值（预警阙值）的位移发生时，发出预警。进一步地，还可以基于输出的母线外壳在不同时刻的形变、位移变化值构成历史数据库，采用自适应动量估计方法训练神经网络，挖掘海量数据中蕴含的有效信息，对母线外壳的形变、位移等状态趋势进行预测，发出相关的预警、预报或检修提示。本发明可对发电机母线的某一特定段，也可以对相机视域范围内的多段进行识别和测量，对母线及其固定装置位移及形变趋势分析，从而实现无传感器、无接触、实时在线的母线位移和形变状态监测，能有效地获得母线的运行状态，避免母线位移或形变变化量突破承受限值的危险情况发生，系统装置简洁、成本低，具有十分显著的社会效益和经济效益。
附图说明
15.图1为本发明的流程示意图；图2为本发明的系统示意图；图3为本发明的具体实施例的应用场景示意图a；图4为本发明的具体实施例的应用场景示意图b；图5为本发明的具体实施例的应用场景示意图c。
16.其中，1-母线，2-母线外壳，3-相机，4-标识点，5-标尺。
具体实施方式
17.下面结合附图和具体实施例对本发明作进一步的详细说明，便于清楚地了解本发明，但它们不对本发明构成限定。
18.如图1所示，本发明提供了一种机器视觉识别发电机母线位移和形变的方法，包括以下步骤：在连续的时刻拍摄的多张不同角度的发电机主回路的标准母线段的图像；所述图像中包含有标识点；所述标识点设置于母线的若干个指定位置；每个指定位置分别对称设置有2个标识点，用于标记母线的指定位置对称两点的位置；对每个时刻拍摄的不同的角度的图像进行融合；针对每个时刻融合后的图像识别其中的标识点的坐标；通过连续时刻的标识点的坐标计算得到标识点的位移；根据标识点的位移值反推标识点所对应的母线的指定位置的位移和形变量。
19.本发明提出的一种利用机器视觉在线识别发电机母线位移和形变的方法，如图2所示，实现系统主要有光学系统、图像采集模块、图像处理系统、预警等状态输出交互界面。
20.以发电机母线形变和位移的机器视觉及ai识别为例，本发明的系统主要分解及设备功能介绍如下：（1）工业级相机（单目或多目）可选择面阵相机或线阵相机，对本具体实施例多段母线、需要全局图像进行分布和趋势分析时，选用面阵相机。在识别发电机母线变化的情景下，可选用黑白相机，当需要
用颜色辅助识别时，选用彩色相机。相机分辨率根据实际图像幅宽与精度要求计算，本具体实施例要求高精度识别发电机母线标记点的坐标变化，因此选择较高分辨率1920像素
×
1080像素。本具体实施例为长期状态监测，帧率可选用低帧率如1fps。由于本具体实施例相机一般位置固定，因此镜头采用定焦、固定光圈。
21.（2）专用光源专用光源是考虑识别母线对象所在环境光线不足时的必要补充光源。光源配置照明控制器，根据现场环境调节光源亮度。
22.（3）图像采集卡用于上述（1）工业级相机镜头获取的图像采集和预处理，数据接口根据分辨率和帧率决定传输带宽，结合传输距离可选择usb3.0、camera link或gige接口。本具体实施例选择usb3.0接口。
23.（4）机器识别及ai算法处理单元用于执行机器视觉识别发电机母线位移和形变的方法程序。对于发电机母线投射到固定位置的标记点进行高精度识别，在图像融合技术、边缘检测方法应用后，可识别母线的形状变化及幅值，包括水平、垂直两个方向上的位移。通过相机帧率及时间间隔，获得母线变形、位移等状态趋势。
24.（5）预警装置当发生超过安全系数范围内母线形变、位移最小限值（预警阙值）的位移或变化量时，发出预警信号。预警信号包括指示灯信号以及图像信号，根据形变位移量情况分3级报警，分别为轻度位移，中度位移以及重度位移。轻度位移情况蓝色指示灯亮并在识别出的形变位置显示蓝色区域；中度位移情况黄色指示灯亮并在识别出的形变位置显示黄色区域；重度泄露情况红色指示灯亮并在识别出的形变位置显示红色区域。
25.预警装置设置远程数据采集终端，将测量的形变报警信息以及状态趋势信息传送至远方计算机监控系统。
26.（6）趋势状态输出显示装置用于输出预警装置在特征标记点识别和时间参数分析下的母线形变、位移等状态趋势。
27.（7）网络传输装置用于将本地图像处理系统内的图形和视频信息以及报警预警信息通过有线网络传输或者无线网络传输的方式传输至远方计算机监控系统。
28.（8）电源及控制电缆用于连接上述设备的动力电缆接入和控制电缆连接。
29.本发明的具体实施例以发电机母线形变和位移状态的机器视觉及ai识别为例（其他场景母线状态机器视觉识别方法同理类推），本发明专利的主要原理及流程如下。
30.本例三峡地下电站20kv、26ka，母线外径1600mm，各参数达到自冷方式上限。离相封闭母线通过水平母线廊道、母线垂直竖井和地面开关站相连，采用两机一井的布置方式，其中长垂直离相封闭母线垂直高差约80m，承重单元长度达到18m。水平段和长垂直段在长期运行过程中，在各种工况下，导体、外壳及支架之间极易产生位移，以及母线本身的形变等现象。
31.对于母线设备，为适应土建结构缝的需要，其导体及外壳均设置有伸缩装置。以离相封闭母线为例，伸缩装置的导体采用薄铝片结构，外壳为铝波纹管结构，导体和外壳均为焊接连接。为保证母线和外壳的伸缩性，伸缩节的设置通常能满足轴向位移
±
30mm，径向位移
±
25mm的要求，通过机器视觉，对母线5mm左右的形变量可以精确识别，对于母线识别位移、形变的变化确实具有足够的精确度。
32.具体实施实例如下： 首先在发电机母线处设置机器视觉光学系统，使其在x轴和y轴两个方向上的图像在标定相机视域范围内。对应相机镜头图像范围，设置led光源补光，满足现场高清晰成像的照度要求。相机为工业级，1920像素
×
1080像素，选用1fps帧率。采用图像采集卡用于上述工业级相机镜头获取的图像采集和预处理，数据接口根据上述分辨率和帧率所决定传输带宽选择usb3.0接口。
33.然后，如图3、图4和图5所示，在标准母线段的指定部位的母线外壳上设置可以通过在外壳上做出明显的颜色标记，作为人工智能算法识别的标识点，采用灯光投射的方式将母线外壳上的标识点投射到特定位置，指定位置可以是母线附近的墙面等。本技术通过检测反映母线外壳标记点的位移计算母线位移和形变量。
34.采用相机系统对标准母线段进行高质量成像后，需要对进行图像融合技术、边缘检测方法应用后，识别并测量发电机主回路母线投射在固定位置上的标记点的变化及幅值，包括水平、垂直两个方向上的位移或形变，通过等比换算得到母线实际的形变和位移大小。通过相机帧率及时间间隔，以
△
x，x/week、
△
y,y/week或
△
x,x/month、
△
y,y/month输出。x,y分别表示横向和纵向的位移量；x,y分别表示横向和纵向的位移量。
35.最后基于输出的标准母线段在不同时刻的形变或位移变化值构成历史数据库，采用自适应动量估计方法训练神经网络，挖掘海量数据中蕴含的有效信息，对母线形变、位移等状态趋势进行预测，得到母线及其固定装置位移及形变趋势分析，发出相关的预警、预报或检修提示。
36.为了更好地获取投射到特定位置的发电机母线外壳上的标识的全面特征，需要采用相应的图像融合技术将这些多个传感器从多视角，多方位收集目标对象的图像经过融合处理，以获得对目标更细致、更准确和更完整的描述与分析。本发明基于离散双正交小波变换对拍摄的多张不同角度的投射到特定位置的发电机母线外壳上的标识图像进行融合。
37.首先在正交小波变换中选定大小为（l
·
l）的邻域r作为子带图像高频分量，其中：l=2n+1 ,n为自然数。设该邻域的中心像素点为c(i，j) ,则其在水平、垂直和对角线三个方向纹理测度可根据式（1）分别计算得到：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1） 式中，bh，bv和bd分别表示邻域r在以c(i，j)为中心区域内的在水平、垂直和对角线方向的小波系数，dh，dv和dd分别表示邻域r在以c(i，j)为中心区域内的在水平、垂直和对
角线方向的均值。然后，通过中心像素点(i，j)作方向为θ的直线，将邻域划分为r1和r2两大区域，进而分别计算出两个区域在水平、垂直和对角线三个方向的两组纹理测度值[tcl1,tcp1,tcd1]和[tcl2,tcp2,tcd2]。进一步地，可通过式（2）计算得到各高频分量图像在水平、垂直、对角线三个不同方向上的纹理一致性测度，并定义目标纹理一致性测试方程，如式（3）所示：
[0038]
在本发明中，取λ1=λ2=λ3=1/3对图像进行一致性测试。
[0039]
在对多张不同角度的投射到特定位置的发电机母线外壳上的标识点图像进行融合的过程中，为了使图像在各个频带的数据具有一致性，本发明采用“多数”原则进行一致性检测与调整，即在对各个频带的数据进行融合时，对每个像素进行如下处理：若某像素的8领域中有多数像素值具有较大的纹理一致性测度，表明该区域是边缘区，则选取边缘纹理一致性测度值最大的高频图像小波系数作为融合的小波系数；相反地，若某像素的8领域中有多数像素具有较小的目标一致性测度，表明该区域是平滑区，需要根据式（4-1）,式（4-2）和式（5）分别计算两两不同的投射到特定位置的发电机母线外壳上的标识图像在同一区域的能量en（即ena和enb）,和它们的匹配度mt
ab
(在该区域内）：
[0040]
其中，ca(mc+mc1,nc+nc1)和cb(mc+mc1,nc+nc1)分别表示两个不同的图像邻域在坐标(mc+mc1,nc+nc1)上的像素值；mc和nc表示两个不同图像邻域中心点的横坐标和纵坐标；mc1和nc1表示两个不同的图像邻域周围点分别距其中心点在横坐标方向上和纵坐标方向上的距离。
[0041]
进一步地，再根据匹配度的大小，确定多幅包含投射到特定位置的发电机母线外壳上的标识和母线的图像的小波系数在融合图像小波系数中所占的比重， 如式（6）和（7）所示：
[0042]
式中，α是匹配度阈值，φ为权重因子。基于此，采用区域能量融合策略，根据co=φca+(1-φ)cb得到高频小波系数矩阵。对多张包含投射到特定位置的发电机母线外壳上的标识和母线的图像进行融合。最后，将获得的小波系数进行离散双正交小波逆变换，即可得到融合后的包含投射到特定位置的发电机母线外壳上的标识和母线的图像。
[0043]
为了识别发电机母线的位移和形变大小，需要首先对所摄投射到特定位置的发电机母线外壳上的标识点图像进行目标检测。 本发明采用基于自动识别最优阈值的边缘检测方法对投射到特定位置的发电机母线外壳上的标识的识别。该方法能够设置最优阈值以将图像中的前景和背景进行区分。假设以灰度级t为阀值，将所摄图像分成背景和前景两类，背景类用s1表示，包含图像中像素值不大于t的所有点；前景类用s2表示，包含图像中像素值大于t的所有点。基于此，分别定义s1和s2的类内中心，如式（8）所示：
[0044]
式中，pi表示图像中灰度值为i的点的个数，l为图像中灰度最大值。p1和p2分别表示s1和s2出现的概率，且二者的和为1。进一步地，分别定义s1和s2的类内距，如式（9）所示：
[0045]
由此可计算s1和s2的类间距为d=|ω
1-ω2|。分析可知，d1和d2的值越小，背景类s1和前景类s2内部像素值的距离越小，即类的内聚性越好；d越大时，背景类s1和前景类s2的类间距离越大，分类效果也就越好。进一步地，定义分类判别函数h(t)以尽量分析，如下式所示： h(t)=p1p2d/p1d1+p2d2（10）由式（10）可知，h(t)越大，s1和s2的类间距离越大，将前景和背景分开的效果就越好。因此，若能找到图像的某一个灰度级t使h(t)取最大值，则可认为t为所求的最优分割阀值。进一步的，滤除所有灰度值小于t的像素点（背景类），保留图像中所有灰度值大于t的像素点（前景类），即可得到检测目标投射到特定位置的发电机母线外壳上的标识的所在区域，并对该标识点的坐标进行读取。
[0046]
为了得到发电机母线的位移和形变大小，本发明拟采用vibe运动目标检测方法对投射到特定位置的发电机母线外壳上的标识点地变化进行检测和识别。该方法将前后帧的图像进行对比，进而区分背景物体和前景物体。背景物体就是指静止的或是非常缓慢的移
动的物体，而前景物体就对应移动的物体。vibe运动目标检测方法将物体检测看出一个分类问题，其主要思路是确定一个像素点是否属于背景点。背景模型为每个背景点存储了一个样本集，然后将每一个新的像素值和样本集进行比较来判断是否属于背景点，如果一个新的观察值属于背景点，则它样本集中的采样值比较接近。记v(x)：x点处的像素值；m(x)={v1,v2,
…
vn}为x处的背景样本集(样本集大小为n)；sr(v(x))：以x为中心r为半径的区域，若m(x) [{sr(v(x))∩ {v1,v2, . . . , vn}}]大于一个给定的阈值,则认为x点属于背景点。其主要步骤包括：首先采用保守的更新策略+前景点计数方法进行计数，具体表示为对像素点进行统计，如果某个像素点连续n次被检测为前景，则将其更新为背景点。然后，在每一个新的视频帧中都去更新背景模型中的每一个像素点的样本值是没有必要的，当一个像素点被分类为背景点时，它有1/ φ的概率去更新背景模型。进一步地，由于每一个背景点有1/ φ的概率去更新自己的模型样本值，同时也有1/ φ的概率去更新它的邻居点的模型样本值。更新邻居的样本值利用了像素值的空间传播特性，背景模型逐渐向外扩散，这也有利于ghost区域的更快的识别。同时当前景点计数达到临界值时将其变为背景，并有1/ φ的概率去更新自己的模型样本值。根据检测到的前景目标图像，采用前述基于自动识别最优阈值的边缘检测方法对投射到特定位置的发电机母线外壳上的标识点进行检测和识别，进而计算发电机母线的位移和形变大小。
[0047]
以投射到特定位置的发电机母线外壳上的某一标识点为例，定义相机到发电机母线外壳上的该标识点（x1，y1）的直线距离为d1，相机沿相机到发电机母线外壳上该标识点的直线到达指定位置上的点（x2，y2）的距离为d2。d1和d2通过实际测量得到的，在设计标记和投影的时候就可以得到相关的距离数据。
[0048]
坐标为（x2，y2）的点即为该标识点投射到特定位置上的坐标。若采用vibe运动目标检测方法识别到母线及其发生移动后的投射到特定位置的标识点坐标为（x3，y3），则可以计算母线上该点发生位移，且x方向和y方向上的位移大小分别可计算为：
ꢀꢀ
（10）根据位移值可反推实际标识点在母线上的位移，然后通过母线上的不同标识点的位置和变化区间是否相同，判断母线是发生形变还是发生位移，然后输出结果。
[0049]
具体地，根据标识点的位移值反推标识点所对应的母线的指定位置的位移和形变量的过程包括：识别指定位置对称的2个标记点在连续时刻水平、垂直两个方向上的位移；在前后两个时刻，若两个对称设置的标识点位移的方向和大小相同，则判定母线在对应的指定位置只发生了位移，该指定位置的位移量通过对应的标识点的位移量等比换算得到；在前后两个时刻，若两个对称设置的标识点位移的方向和大小不同，则判定母线发生了形变和位移，通过两个对称设置的标识点位移量差值等比换算得到母线的形变量；通过两个对称设置的标识点位移量的平均值等比换算得到母线的位移量。
[0050]
基于获得的发电机母线的位移和形变大小数据，采用自适应动量估计方法训练神经网络，进而提取发电机母线当前位移和形变量的变化趋势。传统的深度学习算法中常用梯度下降法训练神经网络，通常需要反复迭代才能寻找到最佳模型，但是传统梯度下降法只能采取较小的学习率，训练速度过慢，导致寻找最优值的时间过长。动量梯度下降法经过指数加权平均，采用稍大的学习率，可加快梯度下降的速度。均方根传播法)通过调整更新
参数时的步伐大小，在变化较小的方向上增大步伐，在变化较大的方向上减小步伐，可设置较大的学习率，加快梯度下降的速度。而自适应动量估计方法算法结合了两者的优势，不仅通过指数加权平均计算梯度和平方梯度，并调整移动平均值的更新步伐大小，在实际中的效果优于其他方法。其计算过程如下：步骤1:初始化参数，一阶矩估计值p
t
=0和二阶矩估计值q
t
=0；步骤2:在第t次迭代中，计算目标函数的梯度h
t
=
▽
xft
(x
t-1
),t=t+1，x
t
表示待更新的参数，f
t
表示函数梯度；步骤3:计算momentum指数加权平均数p
t
=β1p
t-1
+(1-β1)h
t
,β1表示一阶矩估计的指数衰减率；步骤4:用rmsprop更新参数；β2表示二阶矩估计的指数衰减率；步骤5:计算修正偏差：；步骤6:更新权重,α为学习率，需要手动调整。
[0051]
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。