基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法与流程

本发明涉及近景摄影测量
技术领域：
，尤其涉及一种基于投影变换的线阵旋转扫描相机成像模型构建方法和标定方法。
背景技术：
：线阵旋转扫描相机是一种非传统的一维成像装置，被广泛应用于工业检测和卫星成像领域。与框幅式相机相比，线阵相机一般具有更高的采样速率和空间分辨率。线阵相机在许多近景摄影应用方面具有更好的表现，例如三维场景重建，高速目标的姿态测量。在这些应用中，为了获取线性阵列图像的精确度量信息，相机几何标定是必不可少的步骤。基于旋转运动平台的动态相机几何标定方法，目前对于此类问题的研究成果比较少。因为基于旋转运动平台的线阵相机通常都只是用于纯粹的成像目的，但同时它在高精度测量，三维重建等方面具有很大的应用潜力。目前，有研究人员根据旋转扫描线阵相机成像特点，建立了适用于旋转平台的线阵相机成像模型，该模型在理想成像模型的基础上考虑了较多误差项，使得模型变得比较复杂，从而增加了模型解算的难度，而且具体的精度有待验证。由于传统旋转扫描相机成像模型较为复杂，而且模型中参数很多，解算比较复杂，而且结果严重依赖于初始值的选择。如果利用线性变换法不能得到较为精确的初始值，就有可能导致非线性优化过程迭代不收敛或者求出的结果偏差较大，严重影响相机标定的精度。而且传统的标定方法需要有较多的标定数据，而对于高光谱线阵相机来说，由于传感器阵列上的像元数目较少，所以很难一次获取很多的标定点。所以传统的标定方法不太适用于高光谱旋转扫描线阵相机的几何标定，利用传统的标定方法所得出的精度较低的相机参数会严重影响三维重建的效果。针对上述问题，推导出了一种基于投影变换的线阵旋转扫描相机成像模型，并提出了标定方法，这种方法简单灵活，只需要较少的标定数据就能进行相机标定，并且能得到精度较高的结果。并且此种方法所得出的标定结果能用于后续的三维重建中。技术实现要素：本发明的主要目的是提出一种适用于三维重建的旋转扫描线阵相机成像模型构建方法和标定方法，解决现有的旋转扫描线阵相机成像模型参数较多，解算复杂且标定结果精度不高的问题，因此解决了旋转扫描线阵图像不适合进行三维重建的问题，从而拓宽了旋转扫描线阵图像的应用领域。为了实现上述发明目的，首先提供了一种基于投影变换的旋转扫描线阵相机成像模型构建方法，该成像模型根据相机旋转平台参数、线阵旋转扫描相机成像平面与其切平面的位置关系确定线阵旋转扫描相机原始成像平面上的像点坐标与以切平面为成像平面的虚拟框幅式图像上对应像点坐标的几何关系，从而将旋转扫描图像投影为框幅式图像，具体包括以下步骤：步骤1，选择与原始旋转扫描线阵相机圆柱投影面相切的平面作为投影变换的虚拟框幅式成像平面；步骤2，建立像素坐标系，相机坐标系和世界坐标系；步骤3，根据柱面与其切平面的几何关系，以及原始线阵图像的尺寸，求出投影变换后，虚拟框幅式图像的尺寸；步骤4，利用空间点在两个成像平面上的成像关系和成像位置，以及已知的原始线阵图像的像点坐标计算出对应点在投影变换后的虚拟框幅式图像上的像点坐标；步骤5，根据步骤3中的正投影关系推导出逆投影公式，即将虚拟框幅式图像上的像点坐标经过逆投影得到旋转扫描线阵图像上对应的像点坐标。进一步的，步骤1中虚拟框幅式成像平面是与圆柱投影面相切于原始旋转扫描线阵图像中线的平面。进一步的，步骤3中投影变换后虚拟框幅式图像的尺寸计算公式为，上式中，(mr,nr)表示原始旋转扫描图像的尺寸，分别代表一条扫描线上点的数量和扫描线的条数；α表示旋转扫描图像相邻像素间的夹角；β表示旋转扫描图像的总扫描角度；(mf,nf)表示投影变换后图像的尺寸。进一步的，步骤4中投影变换后的虚拟框幅式图像的像点坐标计算公式为，上式中，α表示旋转扫描图像相邻像素间的夹角；(xr,yr)表示原始旋转扫描图像上的点坐标；(xf,yf)表示投影变换后框幅式图像上的点坐标；表示投影变换时的参考扫描线，表示原旋转扫描相机的像主点坐标；表示投影变换后框幅式图像的像主点坐标。进一步的，步骤5中逆投影变换后线阵旋转扫描图像的像点坐标计算公式为：上式中，α表示旋转扫描图像相邻像素间的夹角；(xr,yr)表示原始旋转扫描图像上的点坐标；(xf,yf)表示投影变换后框幅式图像上的点坐标；表示投影变换时的参考扫描线，表示原旋转扫描相机的像主点坐标；表示投影变换后框幅式图像的像主点坐标。另外，本发明还提供一种基于投影变换的线阵旋转扫描相机标定方法，基于上述技术方案中的成像模型，采用直接线性变换法和非线性优化方法进行线阵旋转扫描相机标定，具体包括如下步骤：步骤一，使用旋转扫描线阵相机采集近景摄影测量三维控制场图像；步骤二，采用自动提取方法或者人工提取方法获取三维控制场图像中标定点的像素坐标；步骤三，利用成像模型将得到的原始图像标定点坐标进行投影变换，得到虚拟框幅式图像上的标定点坐标；步骤四，利用投影变换后的标定数据，采用直接线性变换法求解相机参数；步骤五，将步骤四中得到的相机参数和相机给定的相邻扫描线之间的夹角α作为初始值，将最小化空间点重投影误差作为优化目标，将扫描线夹角和相机外参进行联合平差，采用非线性优化方法进行迭代优化，从而得到最终的相机标定结果。进一步的，步骤三中，标定点对应的三维空间点的世界坐标(x，y，z)与其投影到框幅式图像上点的像素坐标(xf,yf)满足以下公式，其中，λ表示尺度变换因子，(xf,yf)表示像点的像素坐标，m表示相机矩阵，(x，y，z)表示三维空间点的世界坐标系坐标，a1,a2,a3,a4,b1,b2,b3,b4,c1,c2,c3,c4表示相机矩阵元素。进一步的，步骤四中的直接线性变换公式为，其中，(xf,yf)表示像点的像素坐标，a1,a2,a3,a4,b1,b2,b3,b4,c1,c2,c3,c4表示相机矩阵元素，(x，y，z)表示三维空间点世界坐标系坐标。进一步的，所述最小化空间点重投影误差的计算公式为：式中，和为所述逆投影变换后线阵旋转扫描图像的像点坐标计算公式，n为标定点的数量，表示利用相机矩阵和点的世界坐标估计出的虚拟框幅式图像点坐标，xir和yir则表示在旋转扫描图像上的点的测量坐标值。以上内容是对本发明的简要概述，包含了本发明方法的基本原理和实现步骤。但以上概述不是对本发明的完整描述，既不是为了确定本发明的关键部分，也不是为了限定本发明的范围，只是为了对本发明的思想做出简单的描述。与现有技术相比，本发明的优点和有益效果：本发明方法简单灵活，只需要较少的标定数据就能进行相机标定，并且能得到精度较高的结果。并且本发明在后续处理时候能够充分利用现有多视几何的研究成果；本发明更易于构建核线影像，因此更加适用于三维重建。附图说明图1是像素坐标系；图2是投影变换几何原理图；图3是相机标定方法流程图；图4是近景摄影测量控制场图像。具体实施方式为了更为详细的说明本发明的技术方案和技术优势，下面结合附图，通过具体实施案例对本发明进行更为完整的描述。首先是基于投影变换的旋转扫描线阵相机成像模型构建方法的具体步骤如下：步骤1，选择与原始旋转扫描线阵相机圆柱投影面相切的平面作为投影变换的虚拟框幅式成像平面，一般选择与圆柱投影面相切于原始旋转扫描线阵图像中线的平面；步骤2，建立像素坐标系，相机坐标系和世界坐标系；步骤3，根据柱面与其切平面的几何关系，以及原始线阵图像的尺寸，求出投影变换后，虚拟框幅式图像的尺寸；步骤4，利用空间点在两个成像平面上的成像关系和成像位置，以及已知的原始线阵图像的像点坐标计算出对应点在投影变换后的虚拟框幅式图像上的像点坐标；步骤5，根据步骤3中的正投影关系推导出逆投影公式，即将虚拟框幅式图像上的像点坐标经过逆投影得到旋转扫描线阵图像上对应的像点坐标。具体实施步骤如下，图像像素坐标系如图1所示，像素坐标系以图像的左上角为原点，水平方向为x轴，竖直方向为y轴。如图2所示，以c点为原点构建相机坐标系，以cg为x轴，以旋转轴为z轴，y轴和x轴，z轴形成右手坐标系。e点是虚拟框幅图像上任意一点，b点是其在旋转扫描图像上的对应点，通过两点在相机坐标系中的位置关系推导旋转扫描图像和框幅图像上像素坐标的转换关系。具体的符号定义如下：(xr,yr)表示原始旋转扫描图像上的像素坐标；(xf,yf)表示投影变换后框幅式图像上的像素坐标；(mr,nr)表示原始旋转扫描图像的像素尺寸，分别代表一条扫描线上点的数量和扫描线的条数；中表示投影变换时的参考扫描线，表示原旋转扫描相机的像主点坐标。该坐标与摄影中心的连线构成了投影变换后框幅式图像的主轴，而过该点且与主轴垂直的平面构成了投影变换后框幅式图像的成像平面；表示投影变换后框幅式图像的像主点坐标，为了计算方便，在投影过程中，一般使该点位于投影变换后图像的中心点，即：(mf,nf)表示投影变换后图像的尺寸；α表示旋转扫描图像相邻像素间的夹角；表示投影变换后框幅式图像的中心像素在x方向的视场角；β表示旋转扫描图像的总扫描角度；根据旋转扫描线阵相机的成像特点，α的计算公式为：设每个像素的大小为d，其计算公式为：如图2所示，g点表示框幅式图像的像主点，其对应原始扫描图像的px列扫描线，则角β1和β2的计算公式分别为：fg和kg分别表示投影变换后的图像右侧和左侧宽度，长度记为lfg和lkg，线段dg表示相机焦距，记为f，则lfg和lkg的计算公式为：因此投影变换后图像的宽度计算公式为：可以看到由于在投影时使得投影变换后的图像焦距等于原线阵相机的焦距，因此投影后图像的宽度与焦距无关，只与线阵图像扫描线间的夹角、扫描线数量以及投影变换时中心扫描线的选择有关，与其他因素无关。另外根据相似三角形关系有而dh＝f,因为投影前后像素大小不变，因此ef的像素长度计算公式为：同理df的像素长度计算公式为：因此投影变换后图像高度的计算公式为：当以原始扫描图像的中心直线作为参考直线，同时旋转扫描相机的像主点位于扫描线阵中心时，即和计算投影变换后图像的尺寸可以化简为：对于虚拟框幅图像上任意一点e，可以采用相似的推导方法，得到与旋转扫描图像上对应点的变换关系。从而得到投影变换后坐标的计算公式为：则逆投影变换公式为：如果指定投影后框幅式图像的像主点像素在x方向的可视角度为那么投影变换后的图像像素在x方向的大小为则投影变换前后的x坐标满足如下关系式：因此最终的投影计算公式为：基于投影变换的旋转扫描线阵相机标定方法，包括以下步骤：步骤一，采用旋转扫描线阵相机获取标定场图像。步骤二，对步骤一中获取的图像进行处理，主要采用高斯滤波方法，然后利用椭圆拟合的方法进行图像标志点的提取，再根据提取出的标定点号和位置，得到对应的世界点坐标。步骤三，利用步骤二中得到的标定点数据，通过投影变换得到虚拟框幅式相机标定数据。步骤四，采用步骤三中得到的数据，通过直接线性变换的方法求解相机参数；步骤五，将步骤四中得到的相机参数和相机给定的相邻扫描线之间的夹角α作为初始值，将最小化空间点重投影误差作为优化目标，将扫描线夹角和相机外参进行联合平差，采用非线性优化方法进行迭代优化，从而得到最终的相机标定结果。其中，步骤三中投影变换后得到的框幅式图像的成像几何符合摄影几何约束，即标定点对应的三维空间点的世界坐标(x，y，z)与其投影到框幅式图像上的像点(xf,yf)满足以下公式：式中，λ表示尺度变换因子，(xf,yf)表示像点的像素坐标，m表示相机矩阵，(x，y，z)表示三维空间点的世界坐标系坐标，a1,a2,a3,a4,b1,b2,b3,b4,c1,c2,c3,c4表示相机矩阵元素。步骤四中的直接线性变换公式为，式中，(xf,yf)表示像点的像素坐标，a1,a2,a3,a4,b1,b2,b3,b4,c1,c2,c3,c4表示相机矩阵元素，(x，y，z)表示三维空间点世界坐标系坐标。因此将空间点投影到图像上的最小化重投影误差的计算公式为：式中，和为所述逆投影变换后线阵旋转扫描图像的像点坐标计算公式，n为标定点的数量，表示利用相机矩阵和点的世界坐标估计出的虚拟框幅式图像点坐标，xir和yir则表示在旋转扫描图像上的点的测量坐标值。如果考虑旋转扫描成像时获取的参数为准确值，即扫描线夹角α已知，那么上述方程退化为标准的框幅式相机成像模型，可以使用直线线性变换方法进行求解。但在实际应用中，旋转扫描平台所给定的相邻扫描线夹角α与实际值有偏差，如果使用系统给定的值进行相机标定，标定结果会不准确。所以标定应该分为两步，首先是利用系统给定的α角作为初值，采用直接线性变换的方法求出相机参数初始值，再以像点坐标的重投影误差作为目标函数优化相机参数和α角，最终得到较为准确的相机参数。具体的标定流程如图3所示。实施例1采用线阵成像相机结合旋转扫描平台，在近景摄影测量三维控制场内采集影像，利用控制点对线阵成像相机进行标定。表1为相机拍摄时的参数设置扫描角度/deg积分时间/ms旋转速度/deg/s每秒扫描线条数532000.1775.04图4为采集到的近景摄影测量三维控制场图像，提取图像中的控制点坐标可以利用计算机视觉方法自动提取控制点坐标，也可以利用人工提取标志点的方法进行图像标志点的提取。共提取到53个标志点。将相机拍摄时设定的旋转夹角α作为真值，利用投影变换后的虚拟框幅式图像的像点坐标计算公式计算投影后点坐标值；然后根据投影后的点坐标和对应的空间点坐标，采用直接线性变换的方法进行相机标定。表2为求解出的相机参数，表3为重投影误差。表2相机参数参数x0(pixel)y0(pixel)fx(pixel)fy(pixel)x0(mm)y0(mm)z0(mm)dlt353.58804.851724.51689.082217.041296.18138.942表3重投影误差考虑到系统给定的相邻像素间的夹角α不准确会影响相机标定的结果，所以利用直接线性变换法所求得的相机参数和系统给定的α角做为初始值进行非线性优化，优化的目标函数为：采用levenberg-marquardt算法进行迭代求最优解，优化结果如表4所示：表4优化结果参数原始α/deg优化后的α/deg结果0.03530.0337利用优化后的参数进行重投影误差计算，将求出的相机参数和控制点的三维坐标带入成像模型公式，计算得到虚拟框幅式图像重投影像点坐标值，然后利用逆投影公式求出原始线阵旋转扫描图像的重投影像点坐标值，将其与提取出的像点坐标值求欧氏距离，得到重投影误差，计算结果如表5所示：表5优化后重投影误差从标定结果可知，利用经过投影变换后的线阵图像，采用面阵相机的标定方法所得出的标定结果误差小于1个像素，可见投影变换后的线阵图像比较符合面阵图像的特点。实验结果证明了投影变换关系的准确性，也说明了利用投影变换的方法进行旋转扫描线阵相机标定的可行性。当前第1页12