基于可见光辅助的发电机定子铁芯红外图像全景拼接方法与流程

1.本发明涉及定子铁芯温度检测技术领域，具体涉及一种基于可见光辅助的发电机定子铁芯红外图像全景拼接方法。


背景技术：

2.发电机组新装机及重新组装或更换、修理硅钢片后均要开展定子铁芯磁化试验，试验过程中，试验人员需对机组定子铁芯进行温度检测，检查各部位温升是否超过规定值，以及时发现硅钢片片间松动、片间短路等安全隐患引起的局部过热现象，从而保障发电机投运后的安全稳定运行。当前定子铁芯温度检测方法是由2名试验人员手持红外成像仪在机坑内完成定子铁芯温度检测，人工检测无法对整个定子铁芯温度分布进行统计，用基于可见光辅助的发电机定子铁芯红外图像全景拼接可以解决上面的不足。
3.基于可见光辅助的发电机定子铁芯红外图像全景拼接，是根据可见光图像计算出矫正参数和拼接参数，再对红外图像实现拼接。目前较流行的图像拼接算法有基于sift特征匹配的拼接算法、基于surf特征匹配的拼接算法、基于特征分类的图像拼接算法等，但大多针对图像中有比较多的特征的情况，对于定子铁芯这种对称且特征比较单一的情况并不适用。


技术实现要素：

4.为解决上述技术问题，本发明提供一种基于可见光辅助的发电机定子铁芯红外图像全景拼接方法，该方法能够有效实现定子铁芯红外图像的全景拼接，方便定子铁芯磁化试验过程中分析铁芯温度的分布情况，实时定位故障点位置，拼接质量高且鲁棒性好，具有非常高的应用价值。
5.本发明采取的技术方案为：
6.基于可见光辅助的发电机定子铁芯红外图像全景拼接方法，包括以下步骤：
7.步骤1：分别对可见光相机和红外相机进行单目相机标定，得到可见光图像畸变矫正参数、红外图像畸变矫正参数；对两个相机进行双目相机标定，得到可见光图像与红外图像坐标映射关系；
8.步骤2：采集发电机定子铁芯的可见光图像和红外图像；
9.步骤3：选取步骤2得到可见光图像，并对可见光图像进行试验建模；
10.步骤4：根据步骤1得到的畸变矫正参数，对定子铁芯的可见光图像和红外图像进行矫正，得到初步矫正的可见光图像和初步矫正的红外图像；根据步骤1得到的可见光图像与红外图像坐标映射关系，对初步矫正的红外图像进行坐标变换，将初步矫正的红外图像与初步矫正的可见光图像坐标对齐，得到对齐的红外图像；
11.步骤5：根据步骤4得到的初步矫正的可见光图像，计算得到铁芯矫正参数，根据铁芯矫正参数，对步骤4得到的对齐的红外图像进行矫正，得到精确矫正的红外图像；
12.步骤6：将步骤5得到的精确矫正的红外图像拼接成全景图。
13.所述步骤1中，分别对可见光相机和红外相机进行单目相机标定，得到可见光图像畸变矫正参数和红外图像畸变矫正参数；对可见光相机和红外相机进行双目相机标定，得到可见光图像与红外图像坐标映射关系。
14.所述步骤2中，采用搭载有可见光相机和红外相机的云台在定子圆心位置旋转一周，采集一圈发电机定子铁芯的可见光图像和红外图像。
15.所述步骤3中，选取步骤2得到的一张可见光图像，采用矩形框分别框选出可见光图像中的颜色标签区域和单个齿部区域，得到颜色标签模板及矩形crect、齿部模板及矩形trect，记录并保存铁芯齿部行数rows和列数cols。
16.所述步骤5中，铁芯矫正参数包括铁芯相邻齿部的像素间隔、计算铁芯像素半径和计算铁芯图像中心坐标。
17.所述步骤5中，根据初步矫正的可见光图像，计算铁芯矫正参数的方法，包括如下步骤：
18.s5.1、灰度化处理：对初步矫正的可见光图像进行灰度化处理，得到灰度图像grayi；
19.s5.2、边缘处理：分别对灰度图像grayi进行x方向和y方向边缘处理，得到铁芯边缘图像edgei
x
和铁芯边缘图像edgeiy；边缘处理的公式如下：
[0020][0021][0022][0023][0024]
其中，x1，x2，y1，y2为卷积核，*表示卷积。
[0025]
s5.3、二值化处理：分别对铁芯边缘图像edgei
x
和edgeiy进行自适应阈值处理，得到铁芯二值化图像binaryx和二值化图像binaryy；
[0026]
s5.4、计算铁芯相邻齿部水平方向像素间距dis
x
和竖直方向像素间距disy：将铁芯二值化图像binaryx向水平方向投影，得到水平投影直方图，根据水平投影直方图相邻极值点的平均距离，可计算得到dis
x
，将铁芯二值化图像binaryy向竖直方向投影，得到竖直投影直方图，根据竖直投影直方图相邻极值点的平均距离，可计算得到disy；
[0027]
s5.5、计算铁芯像素半径r：根据铁芯相邻齿部的水平方向像素间隔dis
x
和铁芯列数cols，计算得到铁芯像素半径r，计算公式如下：
[0028][0029]
其中，π为圆周率。
[0030]
s5.6、计算铁芯图像中心坐标(x，y)：将二值化图像binaryy向竖直方向投影，得到竖直投影直方图，取竖直投影直方图中最大值位置为铁芯图像中心的y坐标，铁芯图像中心
的x坐标为1/(2*width)，其中：width为图像的像素宽度。
[0031]
所述步骤5中，根据铁芯矫正参数对对齐的红外图像进行矫正，公式如下：
[0032]
m1＝x
0-x
[0033]
n1＝y
0-y
[0034][0035]
x1＝round(θ
×
r+x)
[0036]
y1＝round(n1×
cosθ+y)
[0037]
i1(x1，y1)＝i0(x0，y0)
[0038]
其中，round函数表示小数点四舍五入取整，(x0，y0)为对齐的红外图像i0的像素坐标，(x1，y1)为精确矫正的红外图像i1的像素坐标，m1、n1、θ为计算过程中的中间变量。所述步骤6中，将矫正的红外图像拼接成全景图的步骤如下：
[0039]
s6.1：根据铁芯相邻齿部水平方向像素间距dis
x
和竖直方向像素间距disy，铁芯齿部行数rows和列数cols，自动生成铁芯虚拟全景图，虚拟全景图的高度h和宽度w分别为：
[0040]
w＝dis
x
×
cols；
[0041]
h＝disy×
rows；
[0042]
s6.2：根据铁芯齿部行号和列号，计算虚拟全景图中所有齿部坐标，生成齿部坐标查找表，齿部坐标(x，y)计算方法为：
[0043]
x＝col
×
dis
x
[0044]
y＝row
×
disy[0045]
其中，row、col分别为齿部行号和列号。
[0046]
s6.3：根据步骤5中的铁芯矫正参数，对步骤4得到的初步矫正的可见光图像做精确矫正，得到精确矫正的可见光图像；
[0047]
s6.4：以颜色标签模板为模板，对精确矫正的可见光图像采用模板匹配，得到颜色标签定位位置，对定位的颜色标签进行识别，得到到标签识别结果，根据标签识别结果，得到标签所在铁芯行号和列号；
[0048]
s6.5：根据s5.2中所述的边缘处理方法，对精确矫正的可见光图像和齿部模板进行处理，得到矫正的铁芯轮廓图像和齿部轮廓模板，以齿部轮廓模板为模板，对矫正的铁芯轮廓图像采用模板匹配，得到由定位的铁芯齿部坐标组成的集合，记为
[0049]
s6.7：循环访问齿部集合中的每个元素，根据每个元素的坐标结合标签定位位置、标签所在铁芯行号和列号，得到元素的行号和列号，计算方法为：
[0050][0051][0052]
其中，(x
l
，y
l
)为标签的定位位置，row
l
、col
l
分别为标签所在的铁芯行号和列号，(xi，yi)为元素的坐标，ri、ci分别为元素的行号和列号。
[0053]
以元素的行号和列号为输入，根据查找表得到元素对应虚拟全景图中的坐标，将
所有元素对应的虚拟全景图中的坐标组成新的集合，记为与一一对应；
[0054]
s6.8：使用sansac方法，计算集合到集合的最优单映射矩阵，并通过最优单映射矩阵将精确矫正的红外图像拼接到虚拟全景图中；
[0055]
s6.9：循环执行步骤4、步骤5、步骤s6.1～s6.8，将一圈发电机定子铁芯的红外图像拼接到虚拟全景图中即可完成红外图像全景拼接。
[0056]
本发明一种基于可见光辅助的发电机定子铁芯红外图像全景拼接方法，技术效果如下：
[0057]
1)本发明方法能够有效对发电机定子铁芯红外图像实现全景拼接，方便定子铁芯磁化试验过程中定子铁芯全景温度分布分析，拼接质量高且鲁棒性好。
[0058]
2)本发明方法采用可见光辅助计算，解决了红外图像分辨率低、特征计算精度低的问题。
[0059]
3)本发明方法采用独特的图像精确矫正方法，实现可见光图像和红外图像的非对称分布畸变矫正。
[0060]
4)本发明方法采用虚拟全景图的独特思路，解决了发电机定子铁芯对称结构的图像拼接问题。
附图说明
[0061]
图1为本发明的流程图。
[0062]
图2为带颜色标签的发电机定子铁芯可见光图。
[0063]
图3为发电机定子铁芯红外图像。
[0064]
图4为试验建模效果图。
[0065]
图5为初步矫正的可见光图像。
[0066]
图6为初步矫正的红外图像。
[0067]
图7为对齐的红外图像。
[0068]
图8为虚拟全景图。
[0069]
图9为精确矫正的可见光图像。
[0070]
图10颜色标签匹配示意图
[0071]
图11矫正的铁芯轮廓图像
[0072]
图12为拼接的红外全景图像。
具体实施方式
[0073]
如图1所示，基于可见光辅助的发电机定子铁芯红外图像全景拼接方法，它利用可见光图像计算出矫正参数和拼接参数，对红外图像实现全景拼接，具体实施步骤如下：
[0074]
(1)相机标定：
[0075]
分别对可见光相机和红外相机进行单目相机标定，得到可见光图像畸变矫正参数和红外图像畸变矫正参数；对两个相机进行双目相机标定，得到可见光图像与红外图像坐标映射关系；
[0076]
单目相机标定：采用张正友相机标定方法，分别对可见光相机和红外相机进行畸变矫正，得到两个相机的内参、外参和畸变系数，即为可见光图像畸变矫正参数和红外图像
畸变矫正参数。
[0077]
双目相机标定：分别在不同距离，拍摄不同倍率的可见光图像和红外图像组，对每组图像进行特征匹配，得到每组可见光图像与红外图像的映射矩阵。映射矩阵h与距离b、倍率a组成映射表，如表1所示，
[0078]
表1双目相机标定参数映射表
[0079][0080][0081]
该映射表表1即为可见光图像与红外图像的坐标映射关系。根据距离和倍率即可在映射表中查询得到映射矩阵。通过可见光图像与红外图像匹配点对计算映射矩阵的公式如下：
[0082]
x1＝hx0[0083]
其中，x0为红外图像匹配点的集合，x1为可见光图像匹配点的集合，h为映射矩阵。
[0084]
(2)图像采集：
[0085]
采集之前在定子铁芯内部齿上按顺序贴上颜色标签，记录每个颜色标签对应的齿部行号和列号，颜色标签严格与铁芯齿对齐，颜色标签方框左上角与铁芯齿部方框左上角对齐，颜色标签与铁芯齿部对齐效果如图2所示。
[0086]
采用搭载有可见光相机和红外相机的云台在定子圆心位置旋转一周，采集一圈发电机定子铁芯可见光图像和红外图像。如图2所示为定子铁芯可见光图像；图3所示为定子铁芯红外图像。
[0087]
(3)试验建模：
[0088]
选取一张可见光图像，通过建模软件采用矩形框分别框选出可见光图像中的颜色标签区域和单个齿部区域，得到颜色标签模板及矩形crect、齿部模板及矩形trect，记录并保存铁芯齿部行数rows和列数cols。
[0089]
如图4所示，红色区域分别为框选的颜色标签区域和单个齿部区域，将框选的区域提出，可得到颜色标签区域子图和齿部区域子图，两个子图即为颜色标签模板和齿部模板，两个区域在可见光图像中的位置和大小即为颜色标签矩形crect和齿部矩形trect。
[0090]
(4)坐标对齐：
[0091]
分别根据畸变矫正参数对定子铁芯的可见光图像和红外图像进行矫正，得到如图5所示初步矫正的可见光图像和如图6所示初步矫正的红外图像。
[0092]
根据可见光图像与红外图像坐标映射关系，对初步矫正的红外图像进行透视变换，将初步矫正的红外图像与初步矫正的可见光图像坐标对齐，得到对齐的红外图像，如图7所示。
[0093]
(5)图像矫正：
[0094]
根据初步矫正的可见光图像，计算得到铁芯矫正参数，铁芯矫正参数包括铁芯相
邻齿部的像素间隔、计算铁芯像素半径和计算铁芯图像中心坐标，根据铁芯矫正参数对对齐的红外图像进行矫正，得到精确矫正的红外图像；
[0095]
1)计算铁芯矫正参数的方法如下：
[0096]
a.灰度化处理；对初步矫正的可见光图像进行灰度化处理，得到灰度图像grayi；
[0097]
b.边缘处理；分别对灰度图像进行x方向和y方向边缘处理，得到铁芯边缘图像edgei
x
和铁芯边缘图像edgeiy；边缘处理的公式如下：
[0098][0099][0100][0101][0102]
其中，x1，x2，y1，y2为卷积核，*表示卷积。
[0103]
c.二值化处理；分别对铁芯边缘图像edgei
x
和edgeiy进行自适应阈值处理，得到铁芯二值化图像binaryx和二值化图像binaryy；
[0104]
d.计算铁芯相邻齿部水平方向像素间距dis
x
和竖直方向像素间距disy；将铁芯二值化图像binaryx向水平方向投影，得到水平投影直方图，根据水平投影直方图相邻极值点的平均距离，可计算得到dis
x
，将铁芯二值化图像binaryy向竖直方向投影，得到竖直投影直方图，根据竖直投影直方图相邻极值点的平均距离，可计算得到disy；水平投影直方图和竖直投影直方图分别为离散函数：
[0105]hx
＝mi，0≤i＜col
[0106]hy
＝nj，0≤j＜row
[0107]
其中，h
x
为水平投影直方图，hy为竖直投影直方图，col，row分别为铁芯二值化图像binaryx的像素宽度和铁芯二值化图像binaryy的像素高度，mi为第i个像素宽度位置竖直方向上灰度值为255的像素个数，nj为第j个像素高度位置水平方向上灰度值为255的像素个数。
[0108]
e.计算铁芯像素半径r；根据铁芯相邻齿部的水平方向像素间隔dis
x
和铁芯列数cols，计算得到铁芯像素半径r，计算公式如下：
[0109][0110]
其中，π为圆周率。
[0111]
f.计算铁芯图像中心坐标(x，y)；将二值化图像binaryy向竖直方向投影，得到竖直投影直方图，取直方图中最大值位置为铁芯图像中心的y坐标，铁芯图像中心的x坐标为1/(2*width)，其中：width为图像的像素宽度。
[0112]
2)根据铁芯矫正参数对对齐的红外图像进行矫正，公式如下：
[0113]
m1＝x
0-x
[0114]
n1＝y
0-y
[0115][0116]
x1＝round(θ
×
r+x)
[0117]
y1＝round(n1×
cosθ+y)
[0118]
i1(x1，y1)＝i0(x0，y0)
[0119]
其中，round函数表示小数点四舍五入取整，(x0，y0)为对齐的红外图像i0的像素坐标，(x1，y1)为精确矫正的红外图像i1的像素坐标，m1、n1、θ为计算过程中的中间变量。
[0120]
(6)全景拼接：
[0121]
将矫正的红外图像拼接成全景图，红外图像拼接成全景图的步骤如下：
[0122]
a.根据铁芯相邻齿部水平方向像素间距dis
x
和竖直方向像素间距disy、铁芯齿部行数rows和列数cols，自动生成铁芯虚拟全景图，虚拟全景图为按照铁芯齿部成对称结构固有特性自动生成的虚拟图，如图8所示为虚拟全景图的可视模式，实际计算时不显示。虚拟全景图的高度h和宽度w分别为：
[0123]
w＝dis
x
×
cols；
[0124]
h＝disy×
rows；
[0125]
b.根据铁芯齿部行号和列号，计算虚拟全景图中所有齿部坐标，行号、列号和齿部坐标组成齿部坐标查找表，如表2所示，
[0126]
表2齿部坐标查找表
[0127][0128]
通过搜索行号和列号即可在查找表中找到齿部坐标，齿部坐标(x，y)计算方法为：
[0129]
x＝col
×
dis
x
[0130]
y＝row
×
disy[0131]
其中，row、col分别为齿部行号和列号。
[0132]
c.根据步骤(5)中的铁芯矫正参数，对初步矫正的可见光图像做精确矫正，得到精确矫正的可见光图像，如图9所示。
[0133]
d.以颜色标签模板为模板，对精确矫正的可见光图像采用模板匹配，可得颜色标签定位位置，匹配效果如图10所示，对定位的颜色标签进行识别，可得到识别结果，根据标签识别结果可得标签所在铁芯行号和列号；
[0134]
e.根据步骤b中所述的边缘处理方法，对精确矫正的可见光图像和齿部模板进行处理，得到矫正的铁芯轮廓图像和齿部轮廓模板，如图11所示。以齿部轮廓模板为模板，对矫正的铁芯轮廓图像采用模板匹配，可得到由定位的铁芯齿部坐标组成的集合，记为
[0135]
f.循环访问齿部集合中的每个元素，根据每个元素的坐标结合标签定位位置、
标签所在铁芯行号和列号，可得元素的行号和列号，计算方法为：
[0136][0137][0138]
其中，(x
l
，y
l
)为标签的定位位置，row
l
、col
l
分别为标签所在的铁芯行号和列号，(xi，yi)为元素的坐标，ri、ci分别为元素的行号和列号。
[0139]
以元素的行号和列号为输入，根据查找表可得到元素对应虚拟全景图中的坐标，将所有元素对应的虚拟全景图中的坐标组成新的集合，记为与一一对应；
[0140]
g.使用sansac方法计算集合到集合的最优单映射矩阵，最优单映射矩阵为3*3的投影矩阵，通过该矩阵可将集合的点投影到集合中，即通过最优单映射矩阵，可将精确矫正的红外图像拼接到虚拟全景图中，如图12所示。
[0141]
h.循环执行步骤(4)、(5)、步骤a～步骤g，将一圈发电机定子铁芯的红外图像拼接到虚拟全景图中即可完成红外图像全景拼接。