专利名称：一种无需像机间特征点匹配的多像机网络结构参数自标定方法
技术领域：
本发明涉及计算机视觉及无线多像机传感网络领域，尤其涉及无线多像机传感网络结构参数自标定方法的研究。
背景技术：
无线多像机传感网络是当前国际上备受关注的多学科交叉的研究热点领域，它利用部署在观测区域内的大量低成本、低功耗、长期运行的像机节点，对网络覆盖区域中被观测对象的信息进行协同感知、采集和处理。由于其强大的信息采集和处理能力，无线多像机传感网络在军事、医疗监护、智能楼宇等方面有着广泛的应用前景。与传统的传感器不同， 像机对周围场景的感知不是全空间的，有一定的方向性和区域性，多像机网络的结构参数决定了网络对观测区域的覆盖和感知能力。对这些参数进行标定是实现无线多像机传感网络高效、低功耗运行的关键所在。多像机结构参数的标定是计算机视觉领域中的一个基本问题。传统的多像机结构参数标定方法，通过检测空间点在不同像机像平面上的投影位置，利用投影几何关系对多像机结构参数进行标定。这些方法首先需要对不同像机获得的图像进行处理，检测出图像中一系列具有明显特征的特征点集，然后利用一定的匹配方法获得不同图像中互相匹配的点对集，再利用这些匹配点对集进行多像机结构参数标定。而在无线多像机传感网络中，节点像机通常价格便宜、像机参数具有较大差异；网络中有红外、可见光、微光像机等不同类型的像机；节点的位置和方向部署随机。这些问题导致了像机之间的特征点匹配存在很大困难，使得传统的基于特征点匹配的多像机网络结构参数标定方法很难应用到无线多像机传感网络的标定中。
发明内容
本发明的目的在于提出一种无需像机间特征点匹配的多像机网络结构参数自标定方法，克服了无线多像机传感网络节点间图像特征匹配困难、传输带宽有限等问题。为达到上述目的，本发明提出一种无需像机间特征点匹配的多像机网络结构参数自标定方法，包括单个像机相对于目标的运动参数估计和多像机之间的结构参数估计两个基本步骤。步骤一，在本发明的一个实施例中，所述单个像机相对于目标的运动参数估计进一步包括选取当前帧图像与背景图像做差并求绝对值，得到绝对差图像；给定一个阈值， 在绝对差图像中检测出大于阈值的区域，所述区域为目标所在区域；依次检测图像序列每一帧图像中的特征点，保留每一帧图像目标区域中的特征点，所述特征点为目标上的特征点；在图像序列中选择任意图像对，对于其中一幅图像中目标上的每一个特征点，选取周围小邻域作为匹配模板；在图像对的另一幅图像中寻找目标上的匹配点，保留相互匹配的特征点对，所述相互匹配的特征点对为目标上特征点分别在运动前后的位置；由目标运动前后的特征点对构造系数矩阵，对所述系数矩阵进行奇异值分解得到两个正交矩阵，其中一个正交矩阵的最后一行为像机相对于目标的运动所对应基本矩阵的堆叠向量，重新排列所述堆叠向量的元素，并约束其秩为2，得到相应的基本矩阵；由像机的内部参数矩阵和所述基本矩阵，计算像机相对于目标的运动所对应的本质矩阵；对所述本质矩阵进行奇异值分解得到两个正交矩阵，通过构造两个斜对称矩阵，由所述正交阵和斜对称矩阵计算得到像机相对于目标的运动参数。步骤二，在本发明的一个实施例中，所述多像机之间的结构参数估计进一步包括建立不同像机相对于同一目标运动参数之间的关系方程i^u+a-igt-td = ο，其中R为像机C1和像机C2之间的旋转矩阵，t为像机C1和像机C2之间的平移矢量，Rt为目标的旋转矩阵，ta为像机C1相对于目标的平移矢量，t。2为像机C2相对于目标的平移矢量，I为单位矩阵；从所述序列图像中选取η对图像，利用上述的单个像机相对于目标的运动参数估计方法，分别针对不同的像机计算其相对于同一目标的η次运动参数；利用像机相对于目标运动参数之间的关系方程，建立目标η次运动所对应的联立方程组；利用 Levenberg-Marquardt方法求解不同像机之间的结构参数。本发明提出的一种无需像机间特征点匹配的多像机网络结构参数自标定方法，不需要像机之间特征点的匹配，只需要利用节点像机获得的图像序列分别估计每一个像机相对于目标的运动，然后利用不同像机相对于同一目标运动参数之间的关系方程求解多像机网络的结构参数。本发明克服了无线多像机传感网络传输带宽有限、节点间图像特征匹配困难等问题，不仅可以用于同类型像机网络的结构参数标定，还可以用于包含可见光、红外、微光等不同类型像机的多像机网络结构参数标定。
图1为本发明实施例的无需像机间特征点匹配的多像机结构参数自标定方法流程图；图加为本发明实施例的像机不动、目标运动示意图；图2b为本发明实施例的目标不动、像机相对于目标做旋转运动示意图；图2c为本发明实施例的目标不动、像机相对于目标做平移运动示意图；图3为本发明实施例的目标旋转角度误差对摄像机姿态估计的影响；图4为本发明实施例的目标旋转角度误差对摄像机位置估计的影响；图5为本发明实施例的目标位置误差对摄像机姿态估计的影响；图6为本发明实施例的目标位置误差对摄像机位置估计的影响；图7为本发明实施例的图像序列长度对摄像机姿态估计的影响；图8为本发明实施例的图像序列长度对摄像机位置估计的影响。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的意义。下面所描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。本发明是针对无线多像机传感网络传输带宽有限、节点间图像特征匹配困难等问题，提出的一种无需像机间特征点匹配的多像机网络结构参数自标定方法。为了能够对本发明有更清楚的理解，在此进行简要描述。本发明包括两个基本步骤步骤一，单个像机相对于目标的运动参数估计，用于从单个像机获得的图像序列中估计像机相对于目标的运动参数；步骤二，多像机之间的结构参数估计，利用不同像机相对于目标的运动参数之间的关系方程估计多像机之间的结构参数。具体的，图1所示为本发明实施例的一种无需像机间特征点匹配的多像机网络结构参数自标定方法的流程图，包括以下步骤步骤S101，检测场景中的运动目标。在本发明的一个实施例中，针对单个像机，对所述图像序列中的图像进行编号， 记为I1, I2, I3,…，背景图像记为Ιο。编号完成后，顺序选取图像序列中的图像与背景图像，对每一个像素做差得到差图像，以图像I1为例，其所对应的差图像为Idl (X，y) = I1U, y)-l0(x, y)；再对差图像的每一个像素值取绝对值得到绝对差图像Iadl(X，y) = Idl(χ, y)| ；在绝对差图像Iadl上给定阈值t，检测出像素值Iadl(x，y)大于阈值t的区域D1= {(χ, y) I Iad (χ, y) > t}，所述区域即为目标区域，图像序列中其它图像目标区域的检测依此类推。在本发明的一个实施例中，上述阈值t采用以下步骤求得。以绝对差图像Iadl为例，其最小和最大像素值分别为Soin和gmax ；阈值t从gmin到gmax以间隔1个灰度级逐次递增，针对某个灰度级t，统计灰度小于等于t的像素出现的概率O1和灰度大于t的像素出现的概率ω2 ；计算灰度小于等于t的所有像素的灰度均值μ ！和灰度均方误差<，以及灰度大于t的所有像素的灰度均值μ 2和灰度均方误差4 ；对于从^lin到gmax之间的每一个灰度级，计算评估函数2 = (ωχσ\ +ω2σ\)1{ωλω2{μ2- μλ)2)，选取评估函数最大值对应的灰度级
t，所述灰度级t即为上述阈值。步骤S102，检测和跟踪目标上的特征点。步骤2. 1图像中目标上特征点的检测。在本发明的一个实施例中，以图像I1及其所对应目标区域0工为例，对每一像素点(x，y)分别计算χ和y方向梯度值K(^y) = I(x, y)-I (x-l,y) *&(x，y) = I (χ,y)-I (χ,y-1)；对每一像素点(x，y)的 nXn 的小邻域 Γ (通
/ 2 \
常η可取3或幻，计算其协方差矩阵M= ^^y)]
^x (χ, y)gy (χ, y) Σ(χ』)ε1. ^ (χ, y) J
计算每一个像素点的角点响应值R = det[M]-k · (trace [Μ])2，其中det[M]是矩阵M的行列式值，traCe[M]是矩阵M的对角线上的元素之和，通常k取在0. 04到0. 15之间；在目标区域D1内寻找前N个最大的角点响应值(通常N可取100 200)，与这些角点响应值对应的像素即为目标上的特征点，所有的N个特征点构成目标上的特征点集，记为{Pli}。图像序列的其它图像中目标上特征点的检测依此类推，相应的特征点集分别记为{pj，{p3k}，…。步骤2. 2目标上特征点的跟踪。在本发明的一个实施例中，从图像序列中选择两幅图像组成图像对，以图像I1和I2为例，对于图像I1中目标上的特征点集{Pli}中的任一特征点(记为P1),选取P1周围的一个nXn的小邻域(通常η可取3或5)作为匹配模板 (记为Α)；在图像I2中目标上的特征点集{pj中找到一个特征点(记为P2)，特征点P2周围的一个nXn的小邻域(记为B)与图像I1中的特征点P1形成的匹配模板的相关性是所有特征点中最大，且大于给定阈值(通常阈值取0. 95)，图像I1中的特征点P1和图像I2中的特征点P2组成一个匹配特征点对，记作m= (Pl,p2)；依此类推，求得图像对I1和I2中的所有特征点对ImJ ；进一步可以扩展到序列中的所有图像对。 在本发明的一个实施例中，上述模板相关性通过以下步骤求得。对于上述特征点
γ η η
P1形成的ηΧη小邻域Α，计算其灰度均值凡=^ΣΣ」(χ，>0 ；对于上述特征点P2形成的
η χ=\ _y=l
γ η η
ηΧη小邻域B，计算其灰度均值/^=;^ΣΣΒ(χ，>0;计算特征点对(P1, P2)形成的小邻域 A和B的相关性C = · rfM
Itt(^y)-M,)2 4tt(B{^y)-Mb)2
\ X=I 7=1\ X=I 7=1步骤S103，估计像机相对于目标的运动参数。步骤3. 1由两个图像之间的特征点对集计算基本矩阵。在本发明的一个实施例中，以序列中的图像I1和I2为例，图像中的特征点对Hii中的特征点Pil和Pi2对应的坐标分别为(χη，Υπ)和(xi2，yi2)，利用η个特征点对构造系数矩阵
X12Xn ^12J7Il Xl2 y\2X\\ ^12^11 y\2 ^ll ^ll 1A = :: : :: : : : :
V Xn2 Xnl ^2^1 Xn2 少《2 Xnl 少《2少《1 少《2 Xnl 少《1 ^J对矩阵A进行奇异值分解A = UaDaVa，得到两个正交阵UA、Va和一个对角阵Da ；正交阵\的最后一行是一个9维向量，把这一向量中的元素每3个一行排成一个3行3列的矩阵F ；对矩阵F进行奇异值分解F = UfDfVf，得到两个正交阵UF、Vf和一个对角阵Df，令对角阵 Df的最后一个元素为0得到对角阵D^ ；由正交阵UF、Vf和对角阵D^计算矩阵F = UfD;Vf， 所述矩阵F即为上述基本矩阵。步骤3. 2由基本矩阵和像机内部参数矩阵计算本质矩阵。在本发明的一个实施例中，像机的内部参数矩阵K由3行3列的上三角矩阵给出，由上述基本矩阵F计算矩阵E = KTFK，其中矩阵Kt是矩阵K的转置，所述矩阵E即为上述本质矩阵。步骤3. 3由本质矩阵计算像机相对于目标的运动参数。在本发明的一个实施例中，对上述本质矩阵E进行奇异值分解E = UEDEVe，得到两个正交阵Ue和Ve ；构造斜对称阵
ο -1 0)
W =
1 0 0
ν° ° υ
，计算矩阵和像机相对于目标的运动参数有4个
R = UbWV^ R = VeWtYte;
灿…iR = UbWV^ iR = UbWV^ [R = VeWfV^ iR = VeWfV^ 补丄,,^
可能的解 s ￡、 s ￡、 E ￡和 E s，其中U3为上述矩阵 在本发明的一个实施例中，上述像机相对于目标运动参数的解采用以下步骤确定以序列中的图像IjPI2为例，构造图像I1对应的投影矩阵P1= [I |0]，图像I2对应的投影矩阵P2 = [R|t]，其中I为3行3列的单位阵，R为上述像机相对于目标的一个旋转矩阵，t为上述像机相对于目标的一个平移向量；对于每一个特征点对m，计算其对应特征点的空间坐标(X，Y，Z)；计算3维向量X = R((X，Y，Z)T-t)；选择对于图像I1和I2中的所有特征点对，所述3维向量X的第3个元素均大于1所对应的旋转矩阵R和平移向量t作为上述像机相对于目标运动参数的解。在本发明的一个实施例中，上述特征点的空间坐标采用以下步骤计算以序列中的图像1和I2为例，对于特征点对m，两个图像中特征点？1和？2对应的坐标(Xij7i)和( ， I2)满足方程2((&，72，1)^^1，71，1)) = t，其中Z为特征点空间坐标的Z分量，R为上述像机相对于目标的一个旋转矩阵，t为上述像机相对于目标的一个平移向量；计算X = X1Z 和Y = Y1Z得到特征点空间坐标的X分量和Y分量。步骤S104，建立不同像机相对于目标运动参数之间的关系方程。场景中的目标作旋转运动&和平移运动tT (如图加所示)，像机对目标的观察可以等价地看作目标不动、像机先绕目标的中心旋转R〖(如图2b所示)再平移tc(如图2c所示)。在本发明的一个实施例中，两个像机C1和C2同时对目标进行观察，像机C2的位置由像机C1通过旋转R和平移t得到，所述(R，t)为上述像机间的结构参数；利用步骤SlOl 步骤S103所述的方法，以序列中的图像I1和I2为例，可以计算得到像机C1相对于目标的旋转运动Ri和平移运动ta，像机C2相对于目标的旋转运动Ri和平移运动t。2 ；像机C1和C2 相对于目标的运动参数满足关系RTtc2+(I-Rt) t-tcl = 0 (1)步骤S105，求解像机之间的结构参数。步骤5.1建立像机之间结构参数的求解方程。在本发明的一个实施例中，两个像机C1和C2同时对目标进行观察，对于目标的η次运动，利用步骤 SlOl 步骤S103所述的方法计算得到像机C1和C2相对于目标的η组运动参数
(0思，烂)，(^，⑵，^^，…，^^，愁，衩)；把η组运动参数代入方程⑴，可以得到一
个联立方程组，写成矩阵的形式为RTTC2+R t-Tcl = O (2)在式O)中，(R，t)为上述像机间的结构参数；Tc2是一个3行η列的矩阵，由像机 C2的η次平移运动向量排列组成，形式为Tc2 =； Tci是一个3行η列的矩阵，
由像机C1的η次平移运动向量排列组成，形式为Tci = [t 识，…，识]；Rn是一个3η行3列
的矩阵，由目标的旋转矩阵生成，形式为R/r =(1-1^,1-1^,...,1-1^)"。步骤5. 2求解像机之间的结构参数。在本发明的一个实施例中，两个像机C1和C2 同时对目标进行观察，针对目标的η次运动，采用Levenberg-Marquardt方法求解方程(2) 得到两个像机之间的结构参数。图3 图8分别对估计的多像机结构参数进行了误差分析。从图3 图6可以看出在实施例中估计的单像机相对于目标的运动参数存在误差时，本发明对多像机结构参数的估计依然是稳定的。从图7和图8可以看出本发明利用多帧图像对多像机结构参数进行估计可以得到更为准确和稳定的结果，随着图像序列长度的增加参数估计误差趋近于O。通过本发明提出的一种无需像机间特征点匹配的多像机间结构参数自标定方法，可以克服无线多像机传感网络传输带宽有限、节点间图像特征匹配困难等问题，不仅能够用于同类型像机网络的结构参数标定，还能够用于包含可见光、红外、微光等不同类型像机的多像机结构参数标定。 最后应说明的是以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解其依然可以对前述实施例所记载的技术方案进行修改，或对其中部分技术特征进行等同替换，而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，本发明的范围由所附权利要求及其等同限定。
权利要求
1.一种无需像机间特征匹配的多像机结构参数自标定方法，其特征在于，包括单个像机相对于目标的运动参数估计和多像机之间的结构参数估计两个基本步骤。
2.如权利要求1所述的方法，其特征在于，所述单个像机相对于目标的运动参数估计进一步包括场景中的运动目标检测； 目标上的特征点检测和跟踪； 像机相对于目标的运动参数估计。
3.如权利要求2所述的方法，其特征在于，所述场景中的运动目标检测进一步包括 选取当前帧图像与背景图像做差并求绝对值，得到绝对差图像；给定一个阈值，在绝对差图像中检测出大于阈值的区域，所述区域为目标所在区域。
4.如权利要求2所述的方法，其特征在于，所述目标上的特征点检测和跟踪进一步包括依次检测图像序列每一帧图像中的特征点，保留每一帧图像中利用权利要求3所述方法得到的目标区域中的特征点，所述特征点为目标上的特征点；在图像序列中选择任意图像对，对于其中一幅图像中目标上的每一个特征点，选取周围小邻域作为匹配模板；在图像对的另一幅图像中寻找目标上的匹配点，保留相互匹配的特征点对，所述相互匹配的特征点对为目标上特征点分别在运动前后的位置。
5.如权利要求2所述的方法，其特征在于，所述像机相对于目标的运动参数估计进一步包括由目标运动前后的特征点对构造系数矩阵，对所述系数矩阵进行奇异值分解得到两个正交矩阵，其中一个正交矩阵的最后一行为像机相对于目标的运动所对应基本矩阵的堆叠向量，重新排列所述堆叠向量的元素，并约束其秩为2，得到相应的基本矩阵；由像机的内部参数矩阵和所述基本矩阵，计算像机相对于目标的运动所对应的本质矩阵；对所述本质矩阵进行奇异值分解得到两个正交矩阵，通过构造两个斜对称矩阵，由所述正交阵和斜对称矩阵计算得到像机相对于目标的运动参数。
6.如权利要求1所述的方法，其特征在于，所述多像机间结构参数估计进一步包括 建立不同像机相对于同一目标运动参数之间的关系方程；求解像机之间的结构参数。
7.如权利要求6所述的方法，其特征在于，所述不同像机相对于目标运动参数之间的关系方程可以描述为ΙΤΗ。2+(I-Rt) t-tcl = 0，其中R为像机C1和像机C2之间的旋转矩阵，t 为像机C1和像机C2之间的平移矢量，Rt为目标的旋转矩阵，tcl为像机C1相对于目标的平移矢量，tC2为像机C2相对于目标的平移矢量，I为单位矩阵。
8.如权利要求6所述的方法，其特征在于，所述求解像机之间的结构参数的方法进一步包括从所述图像序列中选取η对图像，利用权利要求2 5所述的单个像机相对于目标的运动参数估计方法，分别针对不同的像机计算其相对于同一目标的η次运动参数；利用权利要求7所述的像机相对于目标运动参数之间的关系方程，建立目标η次运动所对应的联立方程组；求解目标η次运动所对应的联立方程组，得到不同像机之间的结构参数。
全文摘要
本发明提出了一种无需不同像机之间特征点匹配的多像机结构参数自标定方法，包括单个像机相对于目标的运动参数估计和多像机结构参数估计两个基本步骤。步骤一，针对单像机检测和跟踪图像序列中的目标特征点，通过估计像机相对于目标的运动所对应的本质矩阵，得到像机相对于目标的运动参数；步骤二，通过建立不同像机相对于目标的运动参数之间的关系方程，通过观察目标的多次运动求解多像机结构参数。本发明在多像机结构参数的自标定过程中，只需分别对单个像机图像序列中的目标特征点进行跟踪，无需不同像机之间的特征点匹配，避免了不同像机之间图像特性差异较大情况下特征点匹配困难的问题，实现了对多像机网络结构参数快速、准确的估计。
文档编号G06T7/20GK102163335SQ201110130050
公开日2011年8月24日 申请日期2011年5月19日 优先权日2011年5月19日
发明者吴祖亮, 孙茜, 许东 申请人:北京航空航天大学