宽基线多阵列相机系统的标定方法
【技术领域】
[0001] 本发明属于光学探测技术领域，具体涉及宽基线多阵列相机系统的标定方法。
【背景技术】
[0002] 宽基线多阵列相机系统能同时实现大视场，高分辨，多曝光和多视角融合。其主要 优势是能在阵列间和阵列内传递信息。因此，必须要精确地局部化宽基线多阵列相机系统， 也就是找到相机的相关位姿。
[0003] 现存的多相机标定方法主要是针对一个具有完全重叠视场或者非重叠视场的阵 列，对于有交叉视场的刚性连接相机，重点在于运动估计，因为标定问题可以通过交叉视场 合并到静态相机网络中。对于没有交叉视场的刚性连接相机，平台的运动对相机标定非常 重要。传统的方法通常使用运动恢复结构技术来提取相机运动和手眼标定方法来得到相关 位姿。对非刚性连接的运动多相机，相机协同运动并且独立地拍摄动态环境。为了在一个 公共的全局坐标系下表示他们的位姿，需将所有的相机排列为在初始状态为高交叉视场并 且使用多视角三角量测方法来构建全局图像点和估计每个相机的位姿。
【发明内容】
[0004] 本发明的目的是提供宽基线多阵列相机系统的标定方法，用于无人机编队中的飞 机间相对位姿估计、运动估计等，以填补现有技术中的空缺。
[0005] 本发明所采用的技术方案是，宽基线多阵列相机系统的标定方法，包括对相机系 统位姿的线性初始化和非线性优化；利用初始时刻相机和关键帧时刻相机的位姿构造位姿 图，结合多视角几何约束和阵列运动约束，推导了位姿图的线性解；考虑旋转误差和平移误 差相互影响，并结合宽基线条件，构造了非线性目标函数，利用Levenberg-Marquardt方法 进行优化，得到最终的位姿参数。
[0006] 进一步的，所述的相机系统包括两组以上的相机阵列，并且每个阵列中包含的相 机数相同，阵列内的每个相机没有交叉视场，阵列间视场两两交叉；
[0007] 假设相机Cn,j,t是同步的，η = 1，2, . . .，N是相机阵列的标签，i = 0,1，. . .，K是 阵列内相机的标签，t = 0, 1，. . .，K是时间标签；令ΔΤη,Μ= (ARn, I」，Atn,i,j) e SE代 表同一阵列内相机Cn,i,t和相机Cmj,,的位姿变换矩阵，T m,^tl= (Rnbmi^ Aitnbmi,J e SE 代表0时刻具有交叉视场的不同阵列内相机Cm, μ和相机C n, ^的位姿变换矩阵，其中λ i 代表尺度不确定性，Tn,i>K= (Rmi,K，表示初始相机Cn,^和关键帧相机Cn, i>K之间 的位姿变换矩阵。
[0008] 进一步的，线性初始化的方法具体为：
[0009] 1. 1)多视角几何约束：
[0010] 在初始时刻，在两个阵列内分别连续选择两个相机，通过坐标的简单变换得到下 式⑴：
[0011] ^ Tn+lj Jj ?+ιΤη>η+1> ij0 -T n>n+1> i+lj〇 Δ Tn> Jj i+1, (I)
[0012] 其中η = 1，2, . . .，N-I ;i = 1，2, . . .，1-1，代入相关旋转矩阵和平移向量，将等 式⑴分成以下两部分式（2-1)和式（2-2):
[0013] ^ Rn+1> Jj i+1Rn>n+lj i>0 - R η, n+1, i+i，〇 八 Rn, i, i+1 (2_1)，
[0014] Rn, n+i, i+i，〇 A tn, i+1_ Δ tn+1, i+1+ λ i+1tn, n+1, i+1，0_ λ i Δ Rn+1, i+1tn, n+1, L0 - 0 (2_2)，
[0015] 对式（2-1)使用四元数q代替旋转矩阵，得到的结果为式（3):
[0016]
【主权项】
1. 宽基线多阵列相机系统的标定方法，其特征在于，包括对相机系统位姿的线性初始 化和非线性优化；利用初始时刻相机和关键帧时刻相机的位姿构造位姿图，结合多视角几 何约束和阵列运动约束，推导了位姿图的线性解；考虑旋转误差和平移误差相互影响，并结 合宽基线条件，构造了非线性目标函数，利用Levenberg-Marquardt方法进行优化，得到最 终的位姿参数。
2. 如权利要求1所述的宽基线多阵列相机系统的标定方法，所述的相机系统包括两组 以上的相机阵列，并且每个阵列中包含的相机数相同，阵列内的每个相机没有交叉视场，阵 列间视场两两完全交叉； 假设相机Cn,j,t是同步的，η = 1，2, . . .，N是相机阵列的标签，i = 0,1，. . .，K是阵列 内相机的标签，t = 0，l，...，K是时间标签；令ΛTn,i,j=(ΛRn, i,j，Λtn,i,j)eSE代表同 一阵列内相机C mi,t和相机Cmj,,的位姿变换矩阵,Tnbmi,e (Rnbmi,μ Aitnbmi,^ e SE代表 〇时刻具有交叉视场的不同阵列内相机Cm,μ和相机Cn,^的位姿变换矩阵，其中λ i代表尺 度不确定性，Tmi,K= (Rn,i>K，表示初始相机Cn,^和关键帧相机Cmi, κ之间的位姿 变换矩阵。
3. 如权利要求2所述的宽基线多阵列相机系统的标定方法，所述的线性初始化的方法 具体为： 1. 1)多视角几何约束： 在初始时刻，在两个阵列内分别连续选择两个相机，通过坐标的简单变换得到下式 (1)： A Tn+1，i，i+1Tn，n+1，i， 0 - T n>n+lj i+i,〇 Δ Tn> j, ?+1? (I) 其中η = 1，2，...，N-I ;i = 1，2，...，1-1，代入相关旋转矩阵和平移向量，将等式（I) 分成以下两部分式（2-1)和式（2-2): & Rn+l，i，i+lRn，n+l，i，0 ^ n, n+1, i+1,0 (2-1)， Rn, n+1，i+l，0 A tn，i，i+1_ Δ tn+1，i，i+1+ λ i+1tn，n+1，i+1，〇 _ -^iARn, 1，i，i+ltn，n+l，i，0 〇 (2-2)， 对式（2-1)使用四元数q代替旋转矩阵，得到的结果为式（3):
其中，Tq和<依据四元数q = (w，X，y，ζ)τ定义为左乘和右乘， 联立式⑶得到式（5):
其中 I Aqn, i, i+1| = 1，for η = 1，2,…，N ;i = 1，2,…，I-I ;显然，Qm的维度为 4(N-1) (I-I) X4N(I-1)，未知量 Aq的维度为 4N(I-1) XI，由于 rank(QM) = 4(N-1) (I-I) < 4N (I-I)-I，Aq的解不唯一； 将代入式（2-2)中，得到公式（6)如下：
一旦找到的估计值，平移向量Atmi,η和尺度λ i可以通过求解线性方程组（6)得 到； 其中，1"的维度3(^1)(1-1)\[3叭1-1)+1]，未知的八七的维度[3叭1-1)+1]\1，由于 rank (Tm) = 3 (N-I) (I-I) < (3N+1) (1-1)，At 的解不唯一； 1. 2)阵列局部运动约束： 对于阵列内的相机，由于初始位置cn, i,C1和关键帧位置I cn, i>K之间的位姿变换矩阵τη, u可以得到，在同一阵列中连续选取两个相机，经过简单的坐标系变换得到下式（7): A Tn, L i+1Tn, a - T n> i+ljK Δ Τη> Jj i+1 (7)， 将公式（7)分解，则可得下式（8-1)和（8-2): Ql · Aq = O (8-1)， Tl · At = O (8-2)， 其中，
其中，Ql的维度为 4N(I-1) X4N(I-1)，1\的维度为 3N(I-1) X [3N(I-1)+I]，由于 L是 反对称的，不难发现rank(Qj = 2N(I-1)，因此，解等式（8)可得Aq的唯一解，但是由于 rank(Tl) = 3N(I-I)-I < (3N+1) (1-1)，At 的解不唯一； 1. 3)混合约束： 由式（8-1)和式（5)推得：Q · Aq = 0(11-1)，其中Q+=( j . 由式（8-2)和式（6)推得：T · At = 0(11-2)，其中 T ++:: . 9 对于式（ll-ι)通过最小化方程（13)可计算出的数值；
其中，α为拉格朗日乘子。关于Aq对代价函数求微分，容易发现，当Aq是Q的最小 特征值对应的特征矢量时代价函数最小； 将Aq代入式（11-2)中，At的最小二乘解可通过求解式（14)得到，TtT · At = 0 (14)〇
4.如权利要求2所述的宽基线多阵列相机系统的标定方法，所述的非线性优化的方法 具体为：将Δ q和Λ t作为非线性优化的初值，由最小化方程（16)解得Λ q和Λ t的最终 值，式（16)为：
【专利摘要】本发明公开了一种宽基线多阵列相机系统的标定方法，包括对相机系统位姿的线性初始化和非线性优化；利用初始时刻相机和关键帧时刻相机的位姿构造位姿图，结合多视角几何约束和阵列运动约束，推导了位姿图的线性解；考虑旋转误差和平移误差相互影响，并结合宽基线条件，构造了非线性目标函数，利用Levenberg-Marquardt方法进行优化，得到最终的位姿参数。本发明用于无人机编队中的飞机间相对位姿估计、运动估计等，以填补现有技术中的空缺。
【IPC分类】G06T7-00
【公开号】CN104637053
【申请号】CN201510047296
【发明人】潘泉, 刘流, 赵春晖, 张夷斋, 薛松, 潘利源, 席庆彪, 胡亮, 吕鑫
【申请人】西北工业大学
【公开日】2015年5月20日
【申请日】2015年1月29日