专利名称：一种基于图像及立体视觉的闪电三维图像重建方法
技术领域：
本发明涉及一种基于图像及立体视觉的闪电三维图像重建方法，适用于对空间中的自由曲线状物体进行空间定位并进行三维重建。
背景技术：
雷电产生巨大的破坏作用，而且目前人类还无法控制和阻止它的产生。雷电灾害被联合国有关部门列为“最严重的十种自然灾害之一”。雷电探测设备主要是利用闪电回击辐射的声、光、电磁场特性来遥测闪电回击放电参数，因此在探测技术上，雷电监测定位方法可分为声学法、光学法和电磁场法。地基和空基雷电探测的目的是确定雷电的空间发生位置及主要特征参数，为雷电定位和预测提供数据，并不能提供雷电物理基础研究所需要的雷电产生、发展过程信息。自然雷电的发生具有很大的随机性和瞬时性，只有通过加深对雷电放电时空演变特征、复杂形态的认识，才能揭示闪电放电的发生发展过程。目前雷电定位主要采用VLF和LF进行云闪及地闪的定位，用于监测闪电发生的区域，难以获得闪电的发生、发展过程。
发明内容
本发明要解决的是提供一种一整套的基于图像及立体视觉的闪电三维图像重建方法，可通过同一时刻不同地点获得的多幅闪电图像获取闪电的三维空间信息，为研究闪电的产生、发展过程提供信息。本发明的技术构思在于如何实现相距较远的两台或多台摄像机的完整标定方法， 从背景复杂的图像中分割出闪电部分，和如何实现对这些摄像机拍摄的闪电图片的匹配， 并且利用立体视觉系统计算出空间点的坐标，以实现三维立体定位。为了达到上述发明目的，本发明提供了完整的解决方案，包括以下步骤SI :对两台或多台相机进行远距离的统一世界坐标系的标定，求出每台相机的内参数矩阵和每台相机相对于世界坐标系的旋转矩阵和平移矩阵；S2 :用两台或多台相机同时拍下天空中闪电的图像；S3:去除图像中背景信息，得到闪电部分，对闪电部分的双轮廓抽取出只包含一个像素的中心曲线，作为最终的轮廓曲线；S4 :对闪电轮廓利用极线约束和斜率互相关进行图像匹配；S5 :利用双目立体视觉测量数学模型求出空间三维点的坐标。所述相机标定包括，将靶标铅直放置于相机前方，以其中一台相机所在地建立世界坐标系，其它相机所在地放置靶标的位置建立相应的伪世界坐标系；世界坐标系和伪世界坐标系均以水平面为基准，且其X轴、Y轴、Z轴的朝向完全相同。所述闪电轮廓抽取包括，对图像灰度用K均值聚类法将图像分割成1，2，. .，η层图像，第η层为闪电的部分；同时对传统的K均值聚类法进行改进考虑第η-I层中每个点对聚类贡献的权重，设定权重阈值，取出权重大于阈值的点；第11-1层图像中，图像矩阵(i，j) 处的点的权重d(i，j)的定义如下d(i,j)= 1 ~
I(IJ)-Cn-I其中，Clri为第η-i层聚类中心的灰度值，I (i，j)为图像矩阵(i，j)处的灰度值。所述闪电轮廓抽取还包括利用差分算子计算图像的横向梯fji，j)和纵向梯度f2(i，j);在每一行中，对单独这一行的所有的像素的梯度值构成的离散序列求出其中梯度为极值的像素；若这一行中两个极值像素点满足下列条件列号小的像素是极大值，列号大的像素是极小值，并且两个像素之间没有其他极值点；则这两个极值像素点之间的所有像素均为闪电点；在每一列中，对单独这一列的所有的像素的梯度构成的离散序列求出其中梯度为极值的像素；若这一列中两个极值像素点满足下列条件行号小的像素是极大值，行号大的像素是极小值，并且两个像素之间没有其他极值点；则这两个极值像素点之间的所有像素均为闪电点；对得到的闪电部分，抽取出闪电部分的双轮廓中心曲线，得到每幅图像中用轮廓曲线序列点E(m, k)表示的点；E(m, k)表示图像中第m条闪电分支轮廓曲线上的第k个顺序点，E1 (m, k) > Er (m, k)分别表示左、右图像上的点；用XE(m，k)表示这个点在像素坐标系下的横坐标，用YE(m， k)表示这个点在像素坐标系下的纵坐标，BE(m, k)表示这个点的灰度；横向梯fji, j)和纵向梯f2(i，j)的计算公式如下fi(i, j) = I (i，j)_I (i，j_l)f2(i, j) = I (i，j)_I (i_l，j)其中I(i，j)为图像矩阵(i，j)位置处的像素灰度值。所述的步骤S4还包括S4-1 :获取极线约束方程多台摄像机是两两分为一组，每一组中的相机分别称作左相机和右相机，左相机拍摄的图像称为左图像，右相机拍摄到的图像称为右图像；对左图像中得到的闪电的边缘曲线上的每一点利用基本矩阵F求出其在右图像上的极线方程；记待匹配象素点Cl1为左图像矩阵(i，j)位置处的点在像素坐标系下的齐次坐标， dl = [j，i，I] ’，记Q为这个点在右图像上对应的极线方程，则Q的表达式如下Q = F · (I1得到的Q是一个包含三个元素的列向量；图像像素坐标系下，Q可表示y = ax+b的形式，记Q(i) (i = 1,2,3)代表Q的第i 个元素，则a = -Q (I)/Q (2)b = -Q ⑶ /Q (2)若极线垂直于X轴，则应把Q表示为X = c的形式C =-Q (3)/Q (I)S4-2 :对右图像极线约束得到候选匹配点；将左图像中待匹配闪电点Pltl表示成如权利4所描述的轮廓曲线序列点的形式，P10 = El(m, k);在右图像中极线与闪电轮廓曲线相交得到至少一个交点，与右图像第η条闪电分支相交于点Pm，将交点表示成轮廓曲线序列点的形式Pm = E>，g);经过极线约束后，候选匹配点SPm所在的曲线上WPm为中心
5的总数目为 h 的点序列 Er(n, g+i) (-(h-l)/2 < i < (h_l)/2)；S4-3 :获得最终匹配点为了建立Pltl和如S4-2中所述的候选匹配点的匹配关系， 将以Pltl为中心的的邻域曲线与以候选匹配点为中心的领域曲线进行相似度比较，相似度是根据斜率互相关方式计算，所有候选匹配点中邻域曲线与Pltl的邻域曲线相似度最大的点Prmax，且相似度满足阈值要求的点就是最终匹配点；左图像上的点E1 (P，a)的领域曲线和和右图像上的点Ejq，b)的领域曲线相似度的计算公式如下
CC= ( )2 [IQXEAp,a+i)JElQp,a+i))_T(XEr(q,b+i),YEr(q,b+i))]2
/=-(w-l)/2其中I(x，y)为左图像在像素坐标系下坐标为(X，y)的点与曲线上的前一像素点相连得到的直线在像素坐标系中的斜率，I (XE1 (p，a+i)，YE1 (p，a+i))的计算公式如下I (XE1 (p, a+i), YE1 (p, a+i)) = (YE1 (p, a+i)-YE1 (p, a+i I))/ (XE1 (p, a+i)-XE1 (p, a+i-1))T(x, y)为右图像在像素坐标系下坐标为(X，y)的点与曲线上的前一像素点相连得到的直线在像素坐标系中的斜率。本发明通过同一时刻不同地点获得的多幅闪电图像获取闪电的三维空间信息，重构闪电的三维图像，为研究闪电的产生、发展过程提供支持。
下面结合附图和具体实施方式
对本发明的技术方案作进一步具体说明。图I是基于立体视觉的闪电三维信息采样示意图。图2为像素坐标系和图像坐标系的说明图。图3为闪电轮廓曲线抽取流程图。图4为闪电点匹配示意图。图5为闪电点匹配流程图。
具体实施例方式本发明具体实时方式包括以下步骤SI :对两台或多台相机进行远距离的统一世界坐标系的标定，求出每台相机的内参数矩阵和每台相机相对于世界坐标系的旋转矩阵和平移矩阵；S2 :用两台或多台相机同时拍下天空中闪电的图像；S3:去除图像中背景信息，得到闪电部分，对闪电部分的双轮廓抽取出只包含一个像素的中心曲线，作为最终的轮廓曲线；S4 :对闪电轮廓利用极线约束和斜率互相关进行图像匹配；S5 :利用双目立体视觉测量数学模型求出空间三维点的坐标。其中所述步骤SI包括Sl-I :为了节约靶标的成本，在其中一台相机所在地将黑白方格的靶标铅直放置于相机前方，并且把在此靶标上建立一个三维坐标系，靶标平面的平面坐标系的两个坐标轴作为三维坐标系其中两个坐标轴，垂直于靶标平面的直线作为第三个坐标轴，然后把这个三维坐标系竖直平移到水平面上，作为公共的世界坐标系；在其他的相机所在地都建立一个伪世界坐标系，这些伪世界坐标系的位置就是稍后我们放置靶标的位置。世界坐标系和伪世界坐标系均以水平面为基准，且其X轴、Y轴、Z轴的朝向完全相同。S1-2 :测量出世界坐标系和伪世界坐标系的水平距离，测量出黑白靶标中心点在世界坐标系和各伪世界坐标系下的三维坐标。S1-3 :每一台相机拍摄数量大于或等于3的靶标的照片，拍摄的时候靶标不动， 每拍一幅照片，相机移动一次，但是相机不能只作平移运动，而应该有远近和拍摄角度的变化。S1-4 :对得到的η幅图像求出其黑白相间的角点在各自图像坐标系下的坐标。S1-5 :对每一台相机而言，由S1-2中测得的靶标的黑白相间的角点的三维坐标和 S1-4中得到的η幅图像中黑白相间的角点在各自图像坐标系下的坐标求出内参数矩阵，并且求出每一次相机的位置相机坐标系相对于世界坐标系下的旋转矩阵和平移矩阵，这里我们取相机最后一次位置时的旋转矩阵和平移矩阵，并且我们就此固定下相机的位置。其中所述步骤S3包括S3-1 :对图像作灰度阈值预处理，灰度阈值结合分割闪电图像的需要，设为120 ； 用K均值聚类法把预处理后的图像分割成1，2，..，η层图像，第η层为闪电的部分；同时对传统的K均值聚类法进行改进考虑第η-I层中每个点对聚类的贡献的权重，设定权重阈值，取出权重大于阈值的点。最后得到包含一部分无法去掉的背景和闪电部分的图像。第 η-I层图像中，图像矩阵(i，j)处的点的权重d(i，j)的定义如下d(i,j)= I ~
I(IJ)-Cn-I其中，Clri为第n-l层聚类中心的灰度值，I (i，j)为图像矩阵(i，j)处的灰度值。S3-2 :对S3-1中得到的图像作如下处理对权利3中所述得到的图像作如下处理利用差分算子计算图像的横向梯A(Ij)和纵向梯度f2(i，j)。在每一行中，单独这一行的所有的像素的梯度值构成的离散序列求出其中梯度为极值的像素，若这一行中的两个极值像素点满足下列条件列号小的像素是极大值，列号大的像素是极小值，并且两个像素之间没有其他极值点。则这两个极值像素点之间的所有像素均为闪电点。在每一列中，单独这一列的所有的像素的梯度构成的离散序列求出其中梯度为极值的像素，若这一列中两个极值像素点满足下列条件行号小的像素是极大值，行号大的像素是极小值，并且两个像素之间没有其他极值点。则这两个极值像素点之间的所有像素均为闪电点。记下所有满足条件的极值像素点对的位置信息，用于提取闪电部分双轮廓曲线的中心轮廓曲线。横向梯f\(i，j)和纵向梯f2(i，j)的计算公式如下fi(i, j) = I (i，j)_I (i，j_l)f2(i, j) = I (i，j)_I (i_l，j)其中I(i，j)为图像矩阵(i，j)位置处的像素灰度值。S3-3 :建立一个轮廓曲线图像矩阵，矩阵初始时元素全为O。对S3-2中所描述的满足条件的一对极值像素点若这对像素的行数相同，记这对像素的所在行数为i，这对像素所在的列数分别为lj，rj，则把轮廓曲线图像(i，(lj+rj)/2)处的像素赋值为255 ;若这对像素的列数相同，记像素段的所在列数为j，这对像素所在行数分别为ui，di，则把轮廓曲线图像矩阵中((ui+di)/2，j)处的像素赋值为255。最后，得到的轮廓曲线图像矩阵中的元素值不为O的所有点构成的曲线就是闪电部分的双轮廓曲线的中心曲线。S3-4 :将中心轮廓曲线上的点表示成轮廓曲线序列点的形式第m条闪电分支轮廓曲线上第k个顺序点为E (m，k)。用XE(m，k)表示这个点在像素坐标系下的横坐标，用 YE(m，k)表示这个点在像素坐标系下的纵坐标，像素坐标系的说明如图2所示。E1Oiuk)表示左图像上的点，Er(m, k)表示右图像上的点。XE1 (m, k) > YE1 (m, k)分别为E1Oii, k)在像素坐标系下的横坐标、纵坐标。XE,(m，k)、YE,(m，k)分别为E,(m，k)在像素坐标系下的横坐标、纵坐标。其中所述步骤S4包括S4-1 :对左相机(多台摄像机也是两两分为一组，每一组中的相机分别称作左相机和右相机，以后不再赘述)拍摄的左图像(与此相对右图像就是右相机拍摄到的图像) 中得到的闪电的边缘曲线上的每一点利用基本矩阵F求出其在右图像上的极线方程。记待匹配象素点Cl1为左图像矩阵(i，j)位置处的点在像素坐标系下的齐次坐标， dl = [j，i，I] ’，记Q为这个点在右图像上对应的极线方程，则Q的表达式如下Q = FXd1得到的Q是一个包含三个元素的列向量。图像像素坐标系下，Q可表示y = ax+b的形式，记Q (i) (i = 1,2,3)代表Q的第i 个元素，则a = -Q (I)/Q (2)b = -Q (3)/Q (2)若极线垂直于X轴，则应把Q表示为X = c的形式C =-Q (3)/Q (I)S4-2 :对右图像极线约束得到候选匹配点。将左图像中待匹配闪电点PlO表示成如步骤S3-4所描述的轮廓曲线序列点的形式，PlO = E1 (m, k)。在右图像中极线与闪电轮廓曲线相交得到至少一个交点，与右图像第η条闪电分支相交于点Pm，将交点表示成轮廓曲线序列点的形式Pm = E>，g)。经过极线约束后，候选匹配点SPm所在的曲线上WPm 为中心的总数目为h的点序列Er(n, g+i) (-(h-l)/2 < i < (h-1/2)。S4-3 :最终匹配点。为了建立Pltl和如S4-2中所述的候选匹配点的匹配关系，将以 Plc^中心的的邻域曲线与以候选匹配点为中心的邻域曲线进行相似度比较，相似度是根据斜率互相关方式计算，所有候选匹配点中邻域曲线与Pltl的邻域曲线相似度最大的点P1Jnax 就是最终匹配点。左图像上的点E1(Pj)的领域曲线和右图像上的点Er(q，b)的领域曲线相似度的计算公式如下
权利要求
1.一种基于多幅图像及立体视觉的闪电三维图像重建方法，其特征在于，所述方法包括以下步骤Si:复数个相机标定靶标位置固定，改变相机相对于靶标的距离及拍摄角度，确定相机内外参数；52:闪电图像获取获取不同位置、同一时刻的多幅闪电图像；53:闪电轮廓抽取去除图像中背景信息，抽取闪电部分，对闪电部分的双轮廓抽取出其中心曲线作为最终的轮廓曲线；54:闪电匹配以其中一幅图像中的闪电点作为待匹配点在另一幅图像中进行极性约束得到候选匹配点，然后利用闪电曲线斜率互相关进行最终匹配；55:匹配点空间定位根据立体视觉数学模型计算出空间点在世界坐标系下的坐标， 完成闪电三维重建。
2.根据权利要求I所述的基于多幅图像及立体视觉的闪电三维图像重建方法，其特征在于，所述相机标定包括，将靶标铅直放置于相机前方，以其中一台相机所在地建立世界坐标系，其它相机所在地放置靶标的位置建立相应的伪世界坐标系；世界坐标系和伪世界坐标系均以水平面为基准，且其X轴、Y轴、Z轴的朝向完全相同。
3.根据权利要求I或2所述的基于多幅图像及立体视觉的闪电三维图像重建方法，其特征在于，所述闪电轮廓抽取包括，对图像灰度用K均值聚类法将图像分割成1，2，. .，η层图像，第η层为闪电的部分；同时对传统的K均值聚类法进行改进考虑第η-i层中每个点对聚类贡献的权重，设定权重阈值，取出权重大于阈值的点；第11-1层图像中，图像矩阵(i， j)处的点的权重d(i，j)的定义如下j) = (. .Nγ;其中，Clri为第n-1层聚类中心的灰度值，I (i，j)为图像矩阵(i，j)处的灰度值。
4.根据权利要求3所述的基于多幅图像及立体视觉的闪电三维图像重建方法，其特征在于，所述闪电轮廓抽取还包括利用差分算子计算图像的横向梯fji，j)和纵向梯度 f2(i，j);在每一行中，对单独这一行的所有的像素的梯度值构成的离散序列求出其中梯度为极值的像素；若这一行中两个极值像素点满足下列条件列号小的像素是极大值，列号大的像素是极小值，并且两个像素之间没有其他极值点；则这两个极值像素点之间的所有像素均为闪电点；在每一列中，对单独这一列的所有的像素的梯度构成的离散序列求出其中梯度为极值的像素；若这一列中两个极值像素点满足下列条件行号小的像素是极大值，行号大的像素是极小值，并且两个像素之间没有其他极值点；则这两个极值像素点之间的所有像素均为闪电点；对得到的闪电部分，抽取出闪电部分的双轮廓中心曲线，得到每幅图像中用轮廓曲线序列点E(m, k)表示的点；E(m, k)表示图像中第m条闪电分支轮廓曲线上的第k个顺序点，E1Oii, k) > Er(m, k)分别表示左、右图像上的点；用XE(m, k)表示这个点在像素坐标系下的横坐标,用YE(m, k)表示这个点在像素坐标系下的纵坐标，BE(m, k)表示这个点的灰度；横向梯f\(i，j)和纵向梯f2(i，j)的计算公式如下fi (i，j) = I (i，j)-I (i，j-1)f2(i j) = I (i，j)-I (i-1，j)其中I(i，j)为图像矩阵(i，j)位置处的像素灰度值。
5.根据权利要求4所述的基于多幅图像及立体视觉的闪电三维重建方法，其特征在于，所述的步骤S4还包括S4-1 :获取极线约束方程多台摄像机是两两分为一组，每一组中的相机分别称作左相机和右相机，左相机拍摄的图像称为左图像，右相机拍摄到的图像称为右图像；对左图像中得到的闪电的边缘曲线上的每一点利用基本矩阵F求出其在右图像上的极线方程； 记待匹配象素点Cl1为左图像矩阵(i，j)位置处的点在像素坐标系下的齐次坐标，dl = [j，i，I] ’，记Q为这个点在右图像上对应的极线方程，则Q的表达式如下Q = F · (I1得到的Q是一个包含三个元素的列向量；图像像素坐标系下，Q可表示y = ax+b的形式，记Q(i) (i = 1,2,3)代表Q的第i个元素，则a = -Q⑴/Q⑵ b = -Q (3)/Q (2)若极线垂直于X轴，则应把Q表示为X = c的形式 c = -Q (3)/Q (I)S4-2 :对右图像极线约束得到候选匹配点；将左图像中待匹配闪电点Pltl表示成如权利 4所描述的轮廓曲线序列点的形式，Pltl = El (m, k);在右图像中极线与闪电轮廓曲线相交得到至少一个交点，与右图像第η条闪电分支相交于点Pm，将交点表示成轮廓曲线序列点的形式Pm = E>，g);经过极线约束后，候选匹配点SPm所在的曲线上WPm为中心的总数目为 h 的点序列 Er(n, g+i) (-(h-l)/2 < i < (h-1/2)；S4-3 :获得最终匹配点为了建立Pltl和如S4-2中所述的候选匹配点的匹配关系，将以Pltl为中心的的邻域曲线与以候选匹配点为中心的领域曲线进行相似度比较，相似度是根据斜率互相关方式计算，所有候选匹配点中邻域曲线与Pltl的邻域曲线相似度最大的点 Praxm，且相似度满足阈值要求的点就是最终匹配点；左图像上的点E1 (p，s)的领域曲线和和右图像上的点Ejq，b)的领域曲线相似度的计算公式如下CC= ( )2 [IQXEAp’a+i)JElQp,a+i))_T(XEr(q,b+i),YEr(q,b+i))]2/=-(w-l)/2其中I(x,y)为左图像在像素坐标系下坐标为(X，y)的点与曲线上的前一像素点相连得到的直线在像素坐标系中的斜率，I (XE1 (p，a+i)，YE1 (p，a+i))的计算公式如下I (XE1 (p, a+i), YE1 (p, a+i)) = (YE1 (p, a+i) -YE1 (p, a+i-1))/(XE1 (p, a+i)-XE1 (p, a+i-1))T(x, y)为右图像在像素坐标系下坐标为U，y)的点与曲线上的前一像素点相连得到的直线在像素坐标系中的斜率。
全文摘要
本发明提出一种基于图像及立体视觉的闪电三维图像重建方法，通过对多个站点、同一时刻获得的闪电图像进行处理得到闪电的三维空间信息。该方法具体包括通过对相距较远的复数个相机进行同一世界坐标系下的标定，得到相机的内参数矩阵和外参数矩阵；对于多个站点获取闪电图像，采用改进的K均值聚类法从图像中提取闪电部分，采用闪电灰度梯度特征进一步提取闪电轮廓；利用极线约束和闪电轮廓曲线斜率互相关进行图像匹配；利用双目立体视觉测量数学模型计算闪电匹配点的空间坐标，完成闪电图像的三维图像重建，为研究闪电的产生、发展过程提供支持。
文档编号G06T17/00GK102609983SQ20121001985
公开日2012年7月25日 申请日期2012年1月20日 优先权日2012年1月20日
发明者刘德明, 刘辉龙, 刘陈 申请人:华中科技大学