一种基于超分辨率影像重建的三维量测方法
【专利摘要】本发明涉及一种基于超分辨率影像重建的三维量测方法，其包括：根据多站拍摄的立体影像生成超分辨率立体影像；用三维检校场对立体相机进行检校；以第一站左影像为基准，建立东-北-天右手坐标系，在检校立体相机相对姿态的基础上，进行多基线光束法平差，确定各立体影像的方位元素；将超分辨率影像视为由虚拟相机拍摄获得，以多基线立体影像前方交会得到的三维坐标为真值，对虚拟立体相机进行检校；根据虚拟立体相机检校得到的内、外参数，用最小二乘法得到再检校仿射变换系数；将待量测目标的像点坐标、虚拟立体相机的内、外参数和再检校系数进行前方交会，获得待量测目标的三维坐标。本发明可以广泛用于地面摄影测量超分辨率影像的三维量测中。
【专利说明】一种基于超分辨率影像重建的三维量测方法【技术领域】[0001]本发明涉及一种影像重建的三维量测方法，特别是关于一种基于超分辨率影像重建的三维量测方法。
【背景技术】
[0002]在摄影测量的应用中，高分辨率的图像可以准确定位目标。为降低CCD(Charge-coupled Device,电荷稱合元件)分辨率的约束，可以使用超分辨率(SuperResolution, SR)重建技术获得高分辨率的图像。超分辨率图像重建技术是利用关于同一场景的有亚像素位移且含冗余信息的多帧低分辨率(Low Resolution,LR)图像重建出高分辨率(High Resolution，HR)图像的技术，其基本原理是利用低分辨率图像序列帧与帧之间的微小差异所包含的非冗余信息来提高图像的分辨率。在近景摄影测量中可以采用多基线技术提高影像的三维量测精度，但不能提供高分辨率的影像。
【发明内容】
[0003]针对上述问题，本发明的目的是提供一种能够提供高分辨率影像且三维量测精度高的基于超分辨率影像重建的三维量测方法。
[0004]为实现上述目的，本发明采取以下技术方案:一种基于超分辨率影像重建的三维量测方法，其包括以下步骤:1)在四个摄站分别使用立体相机对待量测目标进行摄影，得到待量测目标的四对立体影像(L1Ah (L2, R2), (L3, R3)和(L4，R4);对四对立体影像(L1, R1) > (L2, R2) > (L3, R3)和(L4，R4)进行影像配准和影像恢复后得到待量测目标的超分辨率立体影像(SR_L，SR_R) ;2)使用立体相机拍摄三维检校场，根据三维检校场的立体影像(Calib_L, Calib_R)计算得到立体相机的内方位元素以及立体相机中左右相机间的相对位置T(VX，VY, Vz)和姿态R ；3)以待量测目标第一站左影像L1的中心为原点0，第一站左影像L1的东方向为X轴，其北方向为Y轴，以垂直于XOY平面指向天空方向为Z轴，建立O-XYZ坐标系，在O-XYZ坐标系下，第一站左影像L1的外方位位置和外方位姿态分别为(0，0，0)和单位阵；根据第一站左影像L1的外方位位置和外方位姿态以及立体相机的左右相机间的相对位置T (Vx, VY, Vz)和姿态R，得到第一站右影像R1的外方位位置和外方位姿态分别为T (Vx, VY, Vz)和R ；由第一站左影像L1的外方位位置和外方位姿态以及第一站右影像R1的外方位位置和外方位姿态得到第一站立体影像(LpR1)的外方位位置和外方位姿态；4)根据第一站立体影像U1)的外方位位置和外方位姿态以及四对立体影像(L2, R2),(L3, R3)和(L4，R4)上的同名特征点，计算得到立体影像(L2，R2)、(L3, R3)和(L4，R4)修正后的外方位位置和外方位姿态；5)将待量测目标的超分辨率立体影像(SR_L，SR_R)视为由虚拟立体相机拍摄获得，在超分辨率立体影像(SR_L，SR_R)上选定均匀分布的控制点；将位于四对立体影像U)、(L2, R2), (L3, R3)和(L4，R4)上且与超分辨率立体影像(SR_L，SR_R)上控制点对应的同名像点坐标以及立体影像(L1, R1)、(L2, R2)、(L3, R3)、(L4, R4)修正后的外方位位置和姿态代入共线方程进行多基线交会计算，得到超分辨率立体影像(SR_L，SR_R)上控制点的三维坐标；利用这些控制点的三维坐标和超分辨率立体影像(SR_L，SR_R)上对应的像点坐标对虚拟立体相机进行检校，获得虚拟立体相机的内方位元素、外方位位置和外方位姿态；6)在超分辨率立体影像(SR_L，SR_R)上选择三个以上控制点，利用控制点的三维坐标以及虚拟立体相机的内方位元素、外方位位置和外方位姿态分别对左影像SR_L和右影像SR_R建立再检校的仿射变换模型，并利用最小二乘法计算得到仿射变换模型的再检校系数；7)将由步骤5)得到的虚拟立体相机检校的内方位元素、外方位位置和外方位姿态、由步骤6)得到的超分辨率立体影像(SR_L，SR_R)中左影像SR_L和右影像SR_R的仿射变换模型的再检校系数如a1； a2, b0, b1； b2和cQ, C1, c2, d0, dv d2以及超分辨率立体影像(SR_L, SR_R)上的待量测点的坐标代入共线方程中进行前方交会运算，获得待量测目标的三维坐标。
[0005]所述步骤2)中，获得立体相机的内方位元素以及立体相机中左右相机间的相对位置T(Vx，Vy，Vz)和姿态R，其包括以下步骤:①使用立体相机拍摄三维检校场，得到三维检校场的立体影像(Calib_L，Calib_R)，利用特征点匹配方法获得三维检校场的立体影像(Calib_L, Calib_R)中控制点的像点坐标(xtL, ytL)和(xiE, yiE), t > 6 ;②将三维检校场的立体影像(Calib_L，Calib_R)中控制点已知的三维坐标(Xt，Yt，Zt)以及控制点的像点坐标(xtL, ytL)和(xtK，ytK)代入共线方程,将控制点的像点坐标(xtu ytI)和(xtK, ytK)代入小孔成像的畸变模型，并将共线方程和小孔成像的畸变模型二者处理后的结果进行整体光束法平差计算，得到立体相机的内方位元素、左影像Calib_L的外方位位置Tealib Yls, Zls)和姿态Rca^以及右影像Calib_R的外方位位置Tcalib K(XKs，Yes, Zes)和姿态Rcalibji 将左影像Calib_L的外方位位置Tcalib L(Xls，Yls, Zls)和姿态RCalib—l、右影像Calib_R的外方位位置Tcalib—R (XEs, Yes, Zes)和姿态 RCalib_E 代入式
【权利要求】
1.一种基于超分辨率影像重建的三维量测方法，其包括以下步骤: 1)在四个摄站分别使用立体相机对待量测目标进行摄影，得到待量测目标的四对立体影像(L1, R1) > (L2, R2) > (L3, R3)和(L4, R4);对四对立体影像(L1, R1) > (L2，R2)、(L3, R3)和(L4, R4)进行影像配准和影像恢复后得到待量测目标的超分辨率立体影像(SR_L，SR_R)； 2)使用立体相机拍摄三维检校场，根据三维检校场的立体影像(Calib_L，Calib_R)计算得到立体相机的内方位元素以及立体相机中左右相机间的相对位置T (Vx, VY, Vz)和姿态R； 3)以待量测目标第一站左影像L1的中心为原点O，第一站左影像L1的东方向为X轴，其北方向为Y轴，以垂直于XOY平面指向天空方向为Z轴，建立O-XYZ坐标系，在O-XYZ坐标系下，第一站左影像L1的外方位位置和外方位姿态分别为(0，0，0)和单位阵；根据第一站左影像L1的外方位位置和外方位姿态以及立体相机的左右相机间的相对位置T(VX，VY, Vz)和姿态R，得到第一站右影像R1的外方位位置和外方位姿态分别为T (VX，VY，Vz)和R;由第一站左影像L1的外方位位置和外方位姿态以及第一站右影像R1的外方位位置和外方位姿态得到第一站立体影像(L1, R1)的外方位位置和外方位姿态； 4)根据第一站立体影像U1)的外方位位置和外方位姿态以及四对立体影像(L1, R1)、(L2, R2)、(L3, R3)和(L4, R4)上的同名特征点，计算得到立体影像(L2, R2)、(L3, R3)和(L4, R4)修正后的外方位位置和外方位姿态； 5)将待量测目标的超分辨率立体影像(SR_L，SR_R)视为由虚拟立体相机拍摄获得，在超分辨率立体影像(SR_L，SR_R)上选定均匀分布的控制点； 将位于四对立体影像(L1Ah (L2, R2), (L3, R3)和(L4，R4)上且与超分辨率立体影像(SR_L, SR_R)上控制点对应的同名像点坐标以及立体影像(L1, R1)、(L2, R2)、(L3, R3)、(L4, R4)修正后的外方位位置和姿态代入共线方程进行多基线交会计算，得到超分辨率立体影像(SR_L, SR_R)上控制点的三维坐标； 利用这些控制点的三维坐标和超分辨率立体影像(SR_L，SR_R)上对应的像点坐标对虚拟立体相机进行检校，获得虚拟立体相机的内方位元素、外方位位置和外方位姿态； 6)在超分辨率立体影像(SR_L，SR_R)上选择三个以上控制点，利用控制点的三维坐标以及虚拟立体相机的内方位元素、外方位位置和外方位姿态分别对左影像右影像SR_R建立再检校的仿射变换模型，并利用最小二乘法计算得到仿射变换模型的再检校系数； 7)将由步骤5)得到的虚拟立体相机检校的内方位元素、外方位位置和外方位姿态、由步骤6)得到的超分辨率立体影像(SR_L，SR_R)中左影像SR_L和右影像SR_R的仿射变换模型的再检校系数aQ, a1； a2, b0, bv 132和cQ, C1, c2, d0, dv d2以及超分辨率立体影像(SR_L, SR_R)上的待量测点的坐标代入共线方程中进行前方交会运算，获得待量测目标的三维坐标。
2.如权利要求1所述的一种基于超分辨率影像重建的三维量测方法，其特征在于:所述步骤2)中，获得立体相机的内方位元素以及立体相机中左右相机间的相对位置T (Vx, VY, Vz)和姿态R，其包括以下步骤: ①使用立体相机拍摄三维检校场，得到三维检校场的立体影像(Calib_L，Calib_R)，利用特征点匹配方法获得三维检校场的立体影像(Calib_L，Calib_R)中控制点的像点坐标(XtL，y\l)和(XiR，YiR)，t〉6 ;②将三维检校场的立体影像(Calib_L，Calib_R)中控制点已知的三维坐标(Xt，Yt，Zt)以及控制点的像点坐标(xtu ytI)和(xtK，ytK)代入共线方程,将控制点的像点坐标(xtu ytI)和(xtK，ytK)代入小孔成像的畸变模型，并将共线方程和小孔成像的畸变模型二者处理后的结果进行整体光束法平差计算，得到立体相机的内方位元素、左影像Calib_L的外方位位置 TCalib—l(\s，Yls, Zls)和姿态 Rcalib L 以及右影像 Calib_R 的外方位位置 Tcalib K(XKs，YEs, ZEs)和姿态Realibji ; ③将左影像Calib_L的外方位位置Tealibl(Xls，Yls, ZJ和姿态RCalib—l、右影像Calib_R的外方位位置Tealib K(XKs，Yes, Zes)和姿态Realibji代入式
3.如权利要求1或2所述的一种基于超分辨率影像重建的三维量测方法，其特征在于:所述步骤4)中，获得立体影像(L2，R2)、(L3，R3)和(L4，R4)修正后的外方位位置和外方位姿态，其具体包括以下步骤: ①提取待量测目标的四对立体影像(L1,R1K (L2, R2), (L3, R3)和(L4，R4)上的同名特征点，获得特征点在立体影像(L1, R1)、(L2, R2)、(L3, R3)和(L4, R4)上的像点坐标； ②将立体相机的内方位元素、第一站立体影像(LpR1)上特征点的像点坐标以及第一站立体影像(LpR1)的外方位位置和外方位姿态代入共线方程进行前方交会运算，得到第一站立体影像(LpR1)上若干特征点的三维坐标； ③对第一站立体影像(L1,R1)上若干特征点的三维坐标以及左影像L2、L3和L4上的特征点的像点坐标进行摄影测量后方交会运算，依次得到左影像L2、L3和L4的外方位位置与外方位姿态i?”的初始值，i = 2,3,4； ④根据左影像L2、L3和L4的外方位位置纩〃与外方位姿态的初始值以及左右相机间的相对位置T (Vx, VY, Vz)和姿态R，得到右影像R2, R3和R4的外方位位置乃一与外方位姿态R 1的初始值分别为:
4.如权利要求1或2所述的一种基于超分辨率影像重建的三维量测方法，其特征在于:所述步骤6)中，对超分辨率立体影像(SR_L，SR_R)中左影像SR_L和右影像SR_R建立仿射变换模型的过程，其包括以下步骤: ①在超分辨率立体影像(SR_L，SR_R)上选择与在立体影像(L1,R1)、(L2, R2)、(L3, R3)和(L4, R4)上提取的同名特征点相对应的特征点，并将这些同名特征点作为控制点，利用多基线前方交会计算得到这些控制点的三维坐标； ②将超分辨率立体影像(SR_L，SR_R)上控制点的三维坐标以及虚拟立体相机的外方位位置和外方位姿态代入共线方程，计算得到控制点在超分辨率立体影像(SR_L，SR_R)上的像平面坐标系oxy下的坐标(X' 1； y' x)和(X' r, y' r)； ③将虚拟立体相机的内方位元素、控制点在超分辨率立体影像(SR_L，SR_R)上的像平面坐标系oxy下的坐标U丨,,Jr 和(x’ r, y’ r)代入小孔成像的相机畸变模型，使用牛顿迭代法计算得到控制点在超分辨率立体影像(SR_L, SR_R)上的框标坐标系o’mn下的坐标(In1, Ii1)和(mr, nr)； ④根据控制点在(SR_L，SR_R)影像上的框标坐标系o’mn下的量测坐标(m'x)和(m’r，n’r)以及步骤③中计算得到的控制点在超分辨率立体影像(SR_L，SR_R)上的框标坐标系o’mn下的坐标0?,?)和(1?, rO ,对超分辨率立体影像(SR_L, SR_R)中左影像SR_L和右影像SR_R分别建立仿射变换 模型:
5.如权利要求1或2所述的一种基于超分辨率影像重建的三维量测方法，其特征在于:所述步骤7)中，获得待量测目标的三维坐标，其具体包括以下步骤: ①根据超分辨率立体影像(SR_L，SR_R)中左影像SR_I^P右影像SR_R的仿射变换模型的再检校系数a0, a” a2, b0, hv b2和c0, C1, c2, d0, d” d2以及左影像SR_L和右影像SR_R在框标坐标系o’ mn下量测的像点坐标和(HZ1)，计算得到待量测目标在左影像SR_L和右影像SR_R的框标坐标系o’ mn下改正后的坐标(x=:,_>，=)和分别为:
【文档编号】G01C11/08GK103644897SQ201310692480
【公开日】2014年3月19日 申请日期:2013年12月17日 优先权日:2013年12月17日
【发明者】邸凯昌, 彭嫚, 李力, 刘召芹, 孙义威 申请人:中国科学院遥感与数字地球研究所