一种超大电力设备的相机阵列同步标定方法及系统与流程

1.本发明属于计算机视觉中相机阵列标定技术领域，涉及一种超大电力设备的相机阵列同步标定方法及系统。


背景技术：

2.超大型的电力设备状态监测的目的是采用有效的检测手段和分析诊断技术，及时准确的掌握设备运行状态，保证设备的安全、可靠和经济运行，利用在厂房内安装多台具有自由系统图像采集系统以及图像回传功能的相机，组成相机阵列来进行厂房内各种视角的拍摄。相机阵列可以代替传统的人工巡检将现场电力设备视频图像进行回传、拼接、呈现，实时的采集电力设备的图像、影像、声音、温度等数据，特别是存在人员安全风险或人员难以进入的场地，该相机阵列系统可以很好的进行现场的实时监控。
3.相机标定技术是计算机视觉领域中重要的技术，随着计算机视觉技术的大力发展，该技术在工业测量领域中有着广泛的应用与需求，尤其表现在工业现场的大尺寸物体测量中。随着大型设备制造业的发展以及工业技术的革新，大尺寸测量呈现出来的测量环境复杂，测量多样以及测量过程自动化和测量效率的需求等特点，传统的大尺寸测量系统已经无法满足日益增长的工业现场大尺度空间坐标测量的需求。
4.相机参数的标定精度直接影响着系统的测量精度，传统的方法大多都是基于已知形状和尺寸的标定板进行标定，例如，申请公布号为cn105513068a、申请公布日为2016年04月20日的中国发明专利申请《基于多相机阵列大尺寸视觉测量系统的标定系统及方法》采用基于多相机阵列的标定方法，即各待测特征点放置一相机，获得各特征点在对应相机坐标系下坐标，然后通过各相机间的位置关系,将各特征点坐，标转换到同一相机坐标系中。上述文献方法在标定过程中需要人为的移动标定板，来获得不同姿态下标定物的图像，这就对标定人员有着较高的要求，标定结果的精度也无法保证，无法在室外这类复杂的场景下使用。


技术实现要素：

5.本发明的目的在于提供一种超大电力设备的相机阵列同步标定方法及系统，以解决一次性求解相机内部参数和外部参数之间的相关性影响的问题，从而对超大电力设备的相机阵列同步标定结果的精度。
6.本发明是通过以下技术方案解决上述技术问题的：
7.一种超大电力设备的相机阵列同步标定方法，包括以下步骤：
8.s1、获取相机阵列中各相机的内部参数；
9.s2、搭建用于标定相机外部参数的立体靶标，相机阵列在不移动的情况下，通过拍摄立体靶标的图像完成对相机外部参数的初始标定；
10.s3、搭建相机阵列完成对靶标的数据采集，将相机阵列固定安装在一个载台上，相机与相机之间间隔一定的距离即可，确保各个相机之间的相对位置关系不变，通过调用相
机阵列的api接口控制相机的快门，利用同一时间脉冲触发多个相机完成对同一目标物体的同步拍摄；
11.s4、处理单个相机采集的图像；
12.s5、将相机阵列中各个相机对靶标的拍摄视为同一时刻相互独立相机的采集，通过两两图像之间的匹配对应关系完成相机外部参数的标定；
13.s6、计算出相机的内、外部参数值之后，再利用极大似然估计对相机参数进行全局优化，利用给定的目标方程，使得目标方程的结果最小化，求得相机参数值；
14.s7、对相机阵列中各相机采集的图像进行唯一标识编号，并根据编号对不同时间下同一相机的外部参数进行k-means聚类，选择使得序列中参数值最优的子集求取平均值，计算得到相机的外部参数；
15.s8、以相机阵列中的某一相机为基准，将其他各个相机的外部参数变换到该坐标系下，实现相机阵列参数的统一。
16.本发明的技术方案分为相机的内部参数标定以及相机的外部参数标定两个部分，首先使用相机阵列同步采集不同相机位姿下棋盘格标定板连续图像，进行相机内部参数标定；之后使用该相机阵列同步采集用于外部参数标定的靶标图像，根据相机内部参数矩阵构造相机投影矩阵求取相机外部参数，最大限度地克服从整体上一次性求解相机内部参数和外部参数之间的相关性影响的问题，适用于工业现场超大型的电力设备的测量。
17.作为本发明技术方案的进一步改进，步骤s1中所述的获取相机阵列中各相机的内部参数的方法如下：
18.s11、采用张正友标定法，使用相机连续n张图像，使用harris角点检测提取棋盘格中的角点，利用棋盘格的线性几何约束关系，计算标定图像与棋盘格之间的单应变换矩阵h；
19.s12、设棋盘格中角点在世界坐标系下的齐次坐标为m＝[x y z 1]
t
，其对应于二维相机图像平面上的点坐标为m＝[u v 1]
t
，为简化计算，设棋盘格中角点是满足共面约束，即设定z＝0，则世界坐标系下的点和图像像素坐标系的点满足如下的关系：
[0020][0021]
s13、定义物体平面和成像平面之间的单应变换矩阵h满足如下定义：
[0022][0023]
可以得到相机的内部参数矩阵表述如下：
[0024][0025]
其中，s表示尺度因子，参数r1,r2表示旋转向量，满足相互正交的关系；f
x
,fy表示相机的焦距，与相机的像素大小相关；c
x
,cy表示平移的距离，与相机成像平面的大小相关；
[0026]
s14、不考虑相机畸变的情况下，可将单应矩阵化简为h＝[h1h2h3]；根据向量正交的关系，可得到求解约束关系如下：
[0027][0028]
s15、由上约束关系可进一步确认，约束关系中的单项式均可写为的形式，同时由b矩阵为对称矩阵的形式可知，其有效参数为6个，则可以得到如下关系：
[0029][0030]
s16、基于这个关系，可将上述约束关系进一步转化为如下形式：
[0031][0032]
因此，基于这个关系式，利用连续采集的多个不同视角的图像，便可使用最小二乘方法，求解上述等式中b的值即为相机的内部参数值。
[0033]
作为本发明技术方案的进一步改进，其特征在于，步骤s2中所述的立体靶标呈正四棱锥结构，每个面使用圆形斑点进行填充，四面体不同面之间的连接处，附着具有唯一标识的编码，以用于唯一标识面。
[0034]
作为本发明技术方案的进一步改进，步骤s4中所述的处理单个相机采集的图像的方法如下：
[0035]
s41、针对单个相机的图像，采用双边滤波减弱图像的噪声；
[0036]
s42、对图像进行自适应阈值化，将窗口内像素点进行累加求均值，计算像素点窗口内的加权平均值，其结果再减去设定的常数以得到该区域的自适应阈值；
[0037]
s43、调用opencv中的blob斑点检测算法对图像进行圆形轮廓查找，同时根据提取到的圆形轮廓半径得到轮廓区域的像素面积，通过设定的阈值剔除干扰轮廓，保留需要的轮廓信息，并根据圆形轮廓边界的像素值得到圆形轮廓区域的中心，再根据圆心所在平面的不同分为四个集合；
[0038]
s44、在每个靶平面上建立一个平面坐标系，根据每个靶标平面上特征圆之间的实际位置关系计算出特征圆在靶标平面的坐标系中坐标；由于每个圆形轮廓在靶标中的物理
位置是固定的，建立坐标系之后，基于上述圆形轮廓区域检测得到的中心位置，即可得到图像中圆形区域在靶标平面坐标系下的坐标关系。
[0039]
作为本发明技术方案的进一步改进，步骤s5中所述的将相机阵列中各个相机对靶标的拍摄视为同一时刻相互独立相机的采集，通过两两图像之间的匹配对应关系完成相机外部参数的标定的方法具体如下：
[0040]
s51、将所有相机的拍摄图像放入同一图像集合中，根据提取出的特征圆像素坐标系和特征圆靶标面坐标系中的实际关系；
[0041]
s52、利用图像匹配任意选取两张图像a和图像b作为求解起始；
[0042]
s53、根据计算机视觉中的8点法基本矩阵f求解，由图像匹配关系可得到，两张图像中的任意一组匹配特征点x,x'满足：x'fx＝0，基本矩阵与本质矩阵的关系满足：
[0043]
e＝k
t
fk
[0044]
其中，矩阵k为相机的内部参数矩阵，由此，便可求解表示相机姿相对姿态的旋转矩阵r和平移向量t的本质矩阵e，之后通过对该矩阵的奇异值分解便可得到相机的外部参数矩阵。
[0045]
作为本发明技术方案的进一步改进，步骤s6中所述的目标方程：
[0046][0047]
其中，表示qj特征点的重投影矩阵，i、j分别表示计数因子，n表示立体靶标每个平面上特征圆的个数。
[0048]
作为本发明技术方案的进一步改进，步骤s7中所述的唯一标识编号的规则具体为：同一相机拍摄图像按照时间顺序进行顺序排列，不同相机同一时刻的图像则以相机编号为前缀。
[0049]
一种超大电力设备的相机阵列同步标定系统，包括：
[0050]
内部参数获取模块、外部参数标定模块、数据采集模块、图像处理模块、外部参数初始标定模块、优化模块，外部参数聚类平均模块、相机阵列参数统一模块；
[0051]
所述的内部参数获取模块用于获取相机阵列中各相机的内部参数；
[0052]
所述的外部参数标定模块根据搭建用于标定相机外部参数的立体靶标，相机阵列在不移动的情况下，通过拍摄立体靶标的图像完成对相机外部参数的标定；
[0053]
所述的数据采集模块根据搭建相机阵列完成对靶标的数据采集，将相机阵列固定安装在一个载台上，相机与相机之间间隔一定的距离即可，确保各个相机之间的相对位置关系不变，通过调用相机阵列的api接口控制相机的快门，利用同一时间脉冲触发多个相机完成对同一目标物体的同步拍摄；
[0054]
所述的图像处理模块用于处理单个相机采集的图像；
[0055]
所述的外部参数初始标定模块将相机阵列中各个相机对靶标的拍摄视为同一时刻相互独立相机的采集，通过两两图像之间的匹配对应关系完成相机外部参数的初始标定；
[0056]
所述的优化模块在计算出相机的内、外部参数值之后，再利用极大似然估计对相机参数进行全局优化，利用给定的目标方程，使得目标方程的结果最小化，求得相机参数值；
[0057]
所述的外部参数聚类平均模块对相机阵列中各相机采集的图像进行唯一标识编号，并根据编号对不同时间下同一相机的外部参数进行k-means聚类，选择使得序列中参数值最优的子集求取平均值，计算得到相机的外部参数；
[0058]
所述的相机阵列参数统一模块以相机阵列中的某一相机为基准，将其他各个相机的外部参数变换到该坐标系下，实现相机阵列参数的统一。
[0059]
作为本发明技术方案的进一步改进，所述的获取相机阵列中各相机的内部参数的方法如下：
[0060]
1)采用张正友标定法，使用相机连续n张图像，使用harris角点检测提取棋盘格中的角点，利用棋盘格的线性几何约束关系，计算标定图像与棋盘格之间的单应变换矩阵h；
[0061]
2)设棋盘格中角点在世界坐标系下的齐次坐标为m＝[x y z 1]
t
，其对应于二维相机图像平面上的点坐标为m＝[u v 1]
t
，为简化计算，设棋盘格中角点是满足共面约束，即设定z＝0，则世界坐标系下的点和图像像素坐标系的点满足如下的关系：
[0062][0063]
3)定义物体平面和成像平面之间的单应变换矩阵h满足如下定义：
[0064][0065]
可以得到相机的内部参数矩阵表述如下：
[0066][0067]
其中，s表示尺度因子，参数r1,r2表示旋转向量，满足相互正交的关系；f
x
,fy表示相机的焦距，与相机的像素大小相关；c
x
,cy表示平移的距离，与相机成像平面的大小相关；
[0068]
4)不考虑相机畸变的情况下，可将单应矩阵化简为h＝[h
1 h
2 h3]；根据向量正交的关系，可得到求解约束关系如下：
[0069][0070]
5)由上约束关系可进一步确认，约束关系中的单项式均可写为bhj的形式，同时由b矩阵为对称矩阵的形式可知，其有效参数为6个，则可以得到如下关系：
[0071][0072]
6)基于这个关系，可将上述约束关系进一步转化为如下形式：
[0073][0074]
因此，基于这个关系式，利用连续采集的多个不同视角的图像，便可使用最小二乘方法，求解上述等式中b的值即为相机的内部参数值。
[0075]
作为本发明技术方案的进一步改进，所述的处理单个相机采集的图像的方法如下：
[0076]
a)针对单个相机的图像，采用双边滤波减弱图像的噪声；
[0077]
b)对图像进行自适应阈值化，将窗口内像素点进行累加求均值，计算像素点窗口内的加权平均值，其结果再减去设定的常数以得到该区域的自适应阈值；
[0078]
c)调用opencv中的blob斑点检测算法对图像进行圆形轮廓查找，同时根据提取到的圆形轮廓半径得到轮廓区域的像素面积，通过设定的阈值剔除干扰轮廓，保留需要的轮廓信息，并根据圆形轮廓边界的像素值得到圆形轮廓区域的中心，再根据圆心所在平面的不同分为四个集合；
[0079]
d)在每个靶平面上建立一个平面坐标系，根据每个靶标平面上特征圆之间的实际位置关系计算出特征圆在靶标平面的坐标系中坐标；由于每个圆形轮廓在靶标中的物理位置是固定的，建立坐标系之后，基于上述圆形轮廓区域检测得到的中心位置，即可得到图像中圆形区域在靶标平面坐标系下的坐标关系。
[0080]
本发明的优点在于：
[0081]
标定过程简单，可实现高效、高精度的相机标定，且具有较好的通用性。相比于单目相机而言，阵列相机能同时采集标定物不同视角的图像，不同视角图像之间不存在单相机获取图像情况下的运动累积误差。操作流程更为简单，不需要非常严格的移动相机采集不同视角的图像。此外，阵列相机标定相对于单目相机标定而言，增加了相机间的匹配约束，能更加的准确的恢复出特征点在三维空间空的未知信息。同时，阵列相机同步数据采集能很好的弥补单相机连续移动求解相机运动而带来的误差。
附图说明
[0082]
图1是本发明实施例一的一种超大电力设备的相机阵列同步标定方法的流程图；
[0083]
图2是本发明实施例一的一种超大电力设备的相机阵列同步标定方法的单个相机采集图像处理的流程图。
具体实施方式
[0084]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0085]
下面结合说明书附图以及具体的实施例对本发明的技术方案作进一步描述：
[0086]
实施例一
[0087]
如图1所示，一种超大电力设备的相机阵列同步标定方法，包括以下步骤：
[0088]
1、获取相机阵列中各相机的内部参数
[0089]
相机内部参数是与相机结构相关的参数，一般不会有太大的偏差，该参数包括：f
x
,fy表示相机的焦距，与相机的像素大小相关；c
x
,cy表示平移的距离，也称为相机成像平面光轴的中心点坐标，与相机成像平面的大小相关，可以标定一次之后多次重复使用。标定使用经典的张正友标定法，使用相机连续n张图像，使用harris角点检测提取棋盘格中的角点。利用棋盘格的线性几何约束关系，计算标定图像与棋盘格之间的单应变换矩阵h。
[0090]
设棋盘格中角点在世界坐标系下的齐次坐标为m＝[x y z 1]
t
，其对应于二维相机图像平面上的点坐标为m＝[u v 1]
t
，为简化计算，设棋盘格中角点是满足共面约束，即设定z＝0，则世界坐标系下的点和图像像素坐标系的点满足如下的关系：
[0091][0092]
由此，可定义物体平面和成像平面之间的单应变换矩阵h满足如下定义：
[0093][0094]
可以得到相机的内部参数矩阵表述如下：
[0095][0096]
公式中引入的s表示尺度因子。参数r1,r2表示旋转向量，满足相互正交的关系。为此，不考虑相机畸变的情况下，可将单应矩阵化简为h＝[h
1 h
2 h3]。
[0097]
根据向量正交的关系，可得到求解约束关系如下：
[0098][0099]
由上约束关系可进一步确认，约束关系中的单项式均可写为bhj的形式，同时由b矩阵为对称矩阵的形式可知，其有效参数为6个(主对角线任意一侧的6个元素)，则可以得到如下关系：
[0100][0101]
基于这个关系，可将上述约束关系进一步转化为如下形式：
[0102][0103]
因此，基于这个关系式，利用连续采集的多个不同视角的图像，便可使用最小二乘方法，求解上述等式中b的值，b的值即为相机的内部参数值。
[0104]
2、搭建用于外部参数标定的立体靶标，以使得相机阵列在不移动的情况下，通过拍摄的立体靶标的图像完成外部参数的初始标定。立体靶标呈正四棱锥结构，每个面使用圆形斑点进行填充，四面体不同面之间的连接处，附着具有唯一标识的编码，以用于唯一标识面。
[0105]
3、搭建相机阵列完成对靶标的数据采集，相机阵列固定安装在一个载台上，相机与相机之间间隔一定的距离即可，确保各个相机之间的相对位置关系不变。通过调用相机的api接口控制相机的快门，利用同一时间脉冲触发多个相机完成同一目标物体的同步拍摄。
[0106]
4、单个相机采集图像处理
[0107]
如图2所示，针对单个相机的图像，首先进行预处理，选用双边滤波减弱图像的噪声。该方法可以更好的对黑白图像的边缘信息进行保护。滤波之后，对图像进行自适应阈值化，自适应阈值化是图像处理的规范操作，将窗口内像素点进行累加求均值，计算像素点窗口内的加权平均值，其结果再减去一个设定的常数以得到该区域的自适应阈值。之后，调用opencv中的blob斑点检测算法对图像进行圆形轮廓查找，同时根据提取到的圆形轮廓半径得到轮廓区域的像素面积，通过设定的阈值剔除干扰轮廓，保留需要的轮廓信息，并根据圆
形轮廓边界的像素值得到圆形轮廓区域的中心；再根据圆心所在平面的不同分为四个集合。之后在每个靶平面上建立一个平面坐标系，根据每个靶标平面上特征圆之间的实际位置关系计算出特征圆在靶标平面的坐标系中坐标。分别建立每个面的坐标系，实现了靶标之间坐标系的互不影响，大大的降低了靶标加工制作的成本。每个圆形轮廓在靶标中的物理位置是固定的，建立坐标系之后，基于上述圆形轮廓区域检测得到的中心位置，即可得到图像中圆形区域在靶标平面坐标系下的坐标关系。
[0108]
5、将相机阵列各个相机对靶标的拍摄视为同一时刻相互独立相机的采集，通过两两图像之间的匹配对应关系完成相机外部参数的标定。
[0109]
将所有相机的拍摄图像放入同一图像集合中，根据步骤4中提取出的特征圆像素坐标系和特征圆靶标面坐标系中的实际关系。利用图像匹配，任意选取两张图像a和图像b作为求解起始。根据计算机视觉中经典的8点法基本矩阵f求解，由图像匹配关系可得到，两张图像中的任意一组匹配特征点x,x'满足：x'fx＝0，基本矩阵与本质矩阵的关系满足：
[0110]
e＝k
t
fk
[0111]
其中，矩阵k为相机的内部参数矩阵，这在步骤一的相机内部参数标定中已得到。由此，便可求解表示相机姿相对姿态的旋转矩阵r和平移向量t的本质矩阵e，之后通过对该矩阵的奇异值分解便可得到相机的外部参数矩阵。
[0112]
6、相机外部参数初始优化
[0113]
计算出相机的内、外部参数初始值之后，再利用极大似然估计对相机参数进行全局优化；极大似然估计方法是一种常见的数学统计方法，其目的是基于求解的内、外部参数初始值，利用给定的目标方程，使得目标方程的结果最小化，求得最后的参数值。
[0114]
设多面立体靶标每个平面上有n个特征圆，多面立体靶标一共有四个面。同时假设图像受到均匀分布的噪声影响，可得到如下的目标方程：
[0115][0116]
其中，表示qj特征点的重投影矩阵。
[0117]
7、对相机阵列中各相机采集的图像进行唯一标识编号，编号规则满足：同一相机拍摄图像按照时间顺序进行顺序排列，而不同相机同一时刻的图像则以相机编号为前缀。根据编号情况，对不同时间下同一相机的外部参数进行k-means聚类，选择使得序列中参数值最优的子集求取平均值，计算得到相机的外部参数。
[0118]
8、统一相机外部参数坐标系
[0119]
以相机阵列中的某一相机为基准，将其他各个相间的外部参数变换到该坐标系下，以实现相机阵列参数的统一。
[0120]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。