基于移动平台拍摄的序列图像快速三维重建方法
【专利摘要】本发明公开了一种基于移动平台拍摄的序列图像快速三维重建方法，主要解决了现有三维重建方法处理速度慢的问题，其实现方案是：1.利用移动平台拍摄场景目标的序列图像，在拍摄图像的同时记录移动平台中微惯性传感器输出的数据；2.对序列图像进行SIFT特征点检测与匹配得到序列图像特征点匹配集合；3.利用微惯性传感器数据计算移动平台拍摄图像时姿态矩阵与位置信息；4.由姿态矩阵与位置信息求解图像序列对应的投影矩阵；5.根据序列图像特征点匹配集合与对应的投影矩阵计算场景中三维点坐标，完成序列图像三维重建。本发明提高了运动恢复结构SFM三维重建的速度，可用于室内外场景三维重建。
【专利说明】
基于移动平台拍摄的序列图像快速Ξ维重建方法
技术领域
[0001] 本发明属于图像处理技术领域，具体的说是一种对序列图像的快速Ξ维重建方 法，可用与室内外场景的Ξ维重建。
【背景技术】
[0002] 近年来随着微机电系统的快速发展，微惯性传感器普遍应用于移动平台中，常见 的移动平台有智能手机、无人机、机器人等，此类移动平台共有的特点为搭载有较高分辨率 的摄像头，并于自身中集成由检测自身运动状态的微型传感器。
[0003] 同时，随着人们认知水平和获取信息能力的提高，二维图像已经不能满足工作和 生活的需要。相对于二维图像，Ξ维模型对于处在常规尺度下的人类是最直观的结构，我们 最习惯的方式就是从Ξ维的角度去观察物体、环境，因此Ξ维重建就成了计算机视觉和虚 拟现实等领域的主要研究热点之一。Ξ维重建是指为Ξ维物体建立适合计算机表示和处理 的数学模型，是在计算机环境下对物体进行处理、操作和分析其性质的基础，也是在计算机 中建立表达客观世界的虚拟现实环境的关键技术。因此，物体Ξ维重建是计算机辅助几何 设计(CAGD)、计算机图形学(CG)、医学影像处理、虚拟与增强现实(VR&AR)和数字媒体创作 等领域的共性科学问题和核屯、技术，具有非常高的研究价值。
[0004] 目前，Ξ维重建的方法可W分为Ξ类:第一，直接利用数字模型或Ξ维建模软件， 如AutoCAD、3Dmax等建立模型，此方法需要专业的技术人员进行处理，并且建模周期长，相 应建模成本比较高；第二，利用机械或非接触性扫描设备对真实物体进行扫描，如Kinect 等，进而重构出模型，其结果比较准确，但是由于采用结构光进行深度估计，不能适用于室 外场景目标的重建;第Ξ，利用运动恢复结构SFM的方法重建物体Ξ维模型，SFM是指通过分 析序列图像来寻找场景中物体的Ξ维结构的过程，具有低成本、方便、灵活的特点。然而，在 SFMS维重建方法的初始重构和增量式重构过程中，需要利用匹配的特征点计算相机之间 的位姿关系，该方法是一种W暴力循环的方式寻找最优解的过程，耗时较高且受图像误匹 配点影响很大；同时，在利用本质矩阵计算相机平移向量时，丢失真实比例因子，因此基于 运动恢复结构(SFM)的Ξ维重建结果是尺度模糊的。
【发明内容】
[0005] 本发明的目的在于针对上述已有技术的问题，提出一种基于移动平台拍摄的序列 图像快速Ξ维重建方法，将序列图像与移动平台中微惯性传感器的输出信息相结合，简化 运动恢复结构SFM中计算相机位姿的过程，并恢复Ξ维模型的真实尺度。
[0006] 为实现上述目的，本发明的技术方案包括如下：
[0007] (1)利用移动平台拍摄场景目标序列图像，并对采集的序列图像进行编号，分别记 为. .Ij. . .Im}，其中Ij为第j幅图像的编号，1 y <M，M为拍摄图像的总个数；
[000引（2)在拍摄目标序列图像的过程中，记录第i个采样点时移动平台的微惯性传感器 中加速度计输出数据曰1、磁力计输出数据mi和巧螺仪输出数据ω 1，其中i = 1，2. . . N，/V二^ Μ 为总的采样点数，Η为拍摄序列图像时所用的总时间，At为移动平台微惯性传感器的采样 间隔；
[0009] (3)对移动平台采集的序列图像{II，12. . .Ij. . .Im}通过尺度不变特征变换SIFT进 行特征点检测与匹配，得到序列图像的特征点匹配集合N A ={ N A1,2，Μ1,3... Μ k, 1. . .ΝΑμ-ι,μ}，其中NAk,i表示第k幅图像与第1幅图像之间的匹配特征点集；
[0010] (4)恢复移动平台拍摄图像时的位姿信息：
[0011] (4a)利用记录的传感器数据ai，mi，w 1通过互补滤波算法计算移动平台在第i个采 样点时的姿态矩阵R(i);
[0012] (4b)利用加速度输出数据ai检现膨动平台拍摄图像时所对应的采样点，分别记为 tl，t2. . .tj. . .tM，其中tj为拍摄第j幅图像时所对应的采样点；
[0013] (4c)利用移动平台的姿态矩阵R(i)与其拍摄图像时所对应的采样点ti, t2. . .tj. . .tM，得出移动平台在拍摄图像时所对应的姿态矩阵R(tl)，R(t2). . .R(tj). . .R (tM)，其中R伯咸示移动平台在拍摄第j幅图像时对应的姿态矩阵；
[0014] (4d)利用移动平台拍摄图像时所对应的采样点ti，t2. . .tj. . .tM、姿态矩阵R(i)和 记录的加速度数据ai通过零速修正算法恢复移动平台拍摄图像时的位置信息S(ti)，S (t2) . . . .S伯）...S(tM)，其中S伯)表示移动平台拍摄第j幅图像时的位置信息；
[0015] (5)场景目标Ξ维重建：
[0016] (5a) W编号为Ii的图像所对应的相机坐标系作为Ξ维重建过程中的参考坐标系；
[0017] (5b)利用移动平台的姿态矩阵R(ti)，R(t2). ..R(tj). . .R(tM)与位置信息S(ti)，S (t2). . . .S(tj). . .S(tM)计算编号为Ij的图像在参考坐标系下的相机投影矩阵< j <M;
[0018] (5c)根据相机投影矩阵Φ^，利用Ξ角化方法重建出图像对的匹配特征点 集Ml, 2所对应的；维点，并将图像Ii，12标记为已使用；
[0019] (5d)选择未使用图像中编号最小的一幅图像，并从特征点匹配集合NA中找出该图 像与已使用的图像中编号最大的图像的匹配特征点集，根据相机投影矩阵Φ^，利用Ξ角化 方法重建该匹配点集对应的Ξ维点，并将该图像标记为已使用；
[0020] (5e)重复步骤(5d)直到所有的图像序列都已经使用，完成序列图像的Ξ维重建。
[0021] 本发明具有如下优点：
[0022] 1)本发明由于利用移动平台的微惯性传感器输出信息恢复移动平台拍摄图像时 的位姿信息，简化了 SFM中计算相机位姿的过程；
[0023] 2)本发明计算出的移动平台拍摄图像时的位置信息S(ti)，S(t2)....S(tj)...S (tM)具有真实的比例因子，消除了 SFMS维重建结果的尺度模糊。
[0024] 3)本发明由于利用零速修正法计算移动平台拍摄图像时的位置信息，较好的抑制 了加速度计的累积积分误差。
【附图说明】
[0025] 图1是本发明的实现流程图；
[0026] 图2是本发明中进行互补滤波的子流程图；
[0027] 图3是本发明仿真中使用的利用移动平台拍摄的序列图像；
[0028] 图4是用本发明对移动平台加速度计输出数据进行己特沃斯低通滤波的仿真结果 图；
[0029] 图5是本发明仿真中移动平台拍摄图像时的位姿信息示意图；
[0030] 图6是本发明仿真中利用序列图像进行Ξ维重建的结果示意图。
【具体实施方式】
[0031] 本发明中，利用移动平台围绕场景中待重建目标运动，在运动的过程中每隔一段 时间拍摄一幅场景目标的图像，并且在拍摄图像的时刻使移动平台处于静止状态，同时在 移动平台围绕场景目标运动的整个过程中记录移动平台的微惯性传感器中加速度计、磁力 计和巧螺仪的输出数据，利用微惯性传感器中输出信息与场景目标的序列图像，进行场景 目标的Ξ维重建。
[0032] 参照图1，本发明的实现步骤如下：
[0033] 步骤1，获取场景目标的序列图像。
[0034] 利用移动平台拍摄场景目标序列图像，并将采集的序列图像按拍摄的先后顺序进 行编号，分别记为. .Im}，其中。为第j幅图像的编号，1 y含M，M为拍摄图像的 总个数。
[0035] 步骤2,记录移动平台微惯性传感器输出信息。
[0036] 在拍摄目标序列图像的过程中，记录第i个采样点时移动平台的微惯性传感器中 加速度计输出数据曰1、磁力计输出数据ΠΗ和巧螺仪输出数据…，其中i = l，2...N，W二^为 At 总的采样点数，Η为拍摄序列图像时所用的总时间，Δ t为移动平台微惯性传感器的采样间 隔。
[0037] 步骤3,对采集的序列图像{II，12. . .Ij. . .Im}进行尺度不变特征变换SIFT特征检 测与匹配。
[0038] 尺度不变特征变换SIFT是一种计算机视觉算法，用来检测与描述图像中的局部性 特征，该算法具有对图像旋转、缩放和光照变换保持不变性的特点，能够满足本发明中对移 动平台拍摄的具有旋转和缩放属性的序列图像进行特征检测与匹配的需求，其实现步骤如 下：
[0039] (3.1)对序列图像进行SIFT特征检测：
[0040] 对序列图像. .Ij. . .Im}中的每一幅图像，在其高斯差分尺度空间DOG中检 测极值点作为图像的特征点，其中DOG尺度空间定义为两个不同尺度的高斯核的差分，DOG 尺度空间表示为:D(u，v，〇) = (G(u，v，k〇)-G(u，v，〇))*I(u，v)，D(u，v，〇)表示高斯差分函 数，G(u，v，〇)表示尺度可变的高斯核函数，σ为尺度参数，I(u，v)表示需要进行特征点检测 的图像，（u，v)表示图像像素点的横纵坐标，k表示比例因子；
[0041 ] (3.2)对序列图像进行特征匹配：
[0042]在对序列图像中每一幅图像进行SIFT特征点检测之后，利用最 近邻算法查找序列图像中每幅图像的SIFT特征点在除该幅图像之外的其他图像中的匹配 特征点，得到序列图像的特征点匹配集合NA={NAi,2，NAi,3. . .NAk,i. . .ΝΑμ-ι,μ}，其中NAk,康 示第k幅图像与第1幅图像之间的匹配特征点集。
[0043] 步骤4,恢复移动平台拍摄图像时的位姿信息。
[0044] 本发明在移动平台拍摄图像的同时，采集其微惯性传感器的输出信息，利用微惯 性传感器输出信息恢复移动平台在拍摄图像时的相对位姿，即拍摄图像时的姿态矩阵与位 置信息，具体计算过程如下：
[0045] (4.1)计算移动平台在第i个采样点时的姿态矩阵R(i):
[0046] 移动平台的姿态矩阵R( i)即地理坐标系到载体坐标系的旋转矩阵，本发明中载体 坐标系的定义与移动平台中微惯性传感器PCB板规定的自身坐标系重合，地理坐标系的定 义为:平行于地面指向东方为Xe轴，平行于地面指向北方为Ye轴，Ze轴垂直于地面指向地屯、， 移动平台的姿态矩阵R( i)计算步骤如下：
[0047] (4.1.1)将第i个采样点时巧螺仪输出数据ω 1代入四元数微分方程
Δι'中，计算第i个采样点时由地理坐标系到载体坐标系的角速 度旋转四元数q。,。其中q。,1-1为第i-1个采样点时角速度旋转四元数的值，矩阵[0 ωι]是 巧螺仪输出数据ω 1的四元数表示形式；
[0048] (4.1.2)利用在第i个采样点的加速度计输出数据曰1和磁力计输出数据mi，计算第i个采 样点时由地理坐标系到载体坐标系的梯度旋转四元数
其中〇Λ,1-1为第 i-1个采样点时梯度旋转四元数的值，化为收敛因子，巧是函鑽
的梯度，狂Μ为的共辆四元数，g=[0 0 UT，b=[0 1 0]Τ，Τ表示矩阵的转置，|防|为 梯度巧的二范数；
[0049] (4.1.3)利用互补滤波算法融合角速度旋转四元数qu,i和梯度旋转四元数QA,1得 到由地理坐标系到载体坐标系的融合旋转四元数qi:
[0050] 如图2所示，将角速度旋转四元数qu,i和梯度旋转四元数QA,i通过互补滤波算法进 行融合，滤除加速度计和磁力计因受到干扰等因素引起的输出数据的高频噪声，同时消除 巧螺仪积分累积的低频噪声，得到表示移动平台准确姿态的融合旋转四元数qi:
[0051] qi= 丫qA,i+(l-丫）q",i，0< 丫。 <3>
[0化2] 其中丫为比例因子，0 < 丫 < 1;
[0053] (4.1.4)由融合旋转四元数qi计算移动平台姿态矩阵R(i)，在求出第i个采样点时 融合旋转四元数qi之后，利用融合四元数qi计算移动平台在第i个采样点时的姿态矩阵R (i)：
[0化4]
[0055] 其中，qo为融合旋转四元数qi的实部，qi，q2，q3为融合旋转四元数qi的虚部；
[0056] (4.2)检测移动平台拍摄图像时所对应的采样点^，*2...*^...*?，为了后续计算 移动平台拍摄图像时的姿态矩阵与位置信息，需要检测移动平台拍摄图像时所对应的采样 点，具体步骤如下：
[0057] (4.2.1)令tM所对应的采样点为第N个采样点，N为总的采样点数；
[0058] (4.2.2)将加速度计输出数据曰1输入到己特沃斯低通滤波器中，将滤波器输出的 方波中第α个下降沿所对应的采样点赋值给ta，1 ^ α ^ M-1;
[0059] (4.3)将移动平台拍摄图像时所对应的采样点*1山...*^...*?代入到移动平台的 姿态矩阵R(i)中得到移动平台拍摄图像时的姿态矩阵R(ti)，R(t2)....R(tM);
[0060] (4.4)计算移动平台拍摄图像时的位置信息，利用移动平台拍摄图像时所对应的 采样点tl，t2. . .tj. . .tM，姿态矩阵R(i)和记录的加速度数据ai通过零速修正算法恢复移动 平台拍摄图像时的位置信息S(ti)，S(t2) . . . .S(tj) . . .S(tM):
[0061] (4.4.1)将加速度计输出数据ai转换到地理坐标系下：
[0062] 记录的加速度计输出数据ai是基于载体坐标系的，由于载体坐标系是固定在移动 平台上的，当移动平台的姿态发生变化时，载体坐标系姿态也在发生变化，无法根据载体坐 标系下加速度计输出数据曰1直接计算出移动平台的位置信息，需要将加速度计输出数据曰1 转换到姿态固定的地理坐标系下，其转换公式如下：
[006；3] Acci = R(i)T · ai <於
[0064] 其中Acci表示第i个采样点时地理坐标系下加速度的值，R(i)T表示在第i个采样点 时姿态矩阵R(i)的转置；
[0065] (4.4.2)利用地理坐标系下加速度的值Acci计算在第i个采样点时移动平台的速 度:v(i)=v(i-l)+Acci · At,其中v(i-l)为第i-1个采样点时移动平台的速度，At为移动 平台微惯性传感器的采样间隔；
[0066] (4.4.3)修正第i个采样点时的速度v(i)，若直接利用v(i)计算移动平台的位置信 息，会产生巨大的累积误差，本发明利用移动平台拍摄图像时所对应的采样点ti, t2. . .tj. . .tM将拍摄目标序列图像的过程分为Μ个子过程，修正第i个采样点时的速度v(i)， 使每个子过程结束时移动平台的速度为零，当第i个采样点属于第j个子过程时，第i个采样 点修正后的速度V。(i)为：
[0067]
<6>
[0068] (4.4.4)利用修正后的速度V。。)计算拍摄目标序列图像过程中第i个采样点时移 动平台的位置:S(i) = S(i-l)+Vc(i) · At,其中S(i-l)为第i-1个采样点时移动平台的位 置；
[0069] (4.4.5)将移动平台拍摄图像时所对应的采样点^，*2...*^...*?代入到移动平台 的位置S(i)中，得到移动平台拍摄图像时的位置信息S(tl)，S(t2)....S(tj)...S(tM)，其中 S(tj)表示移动平台拍摄第j幅图像时的位置信息；
[0070] 步骤5,场景目标Ξ维重建。
[0071] 根据二维图像中的像素点恢复出该点的空间Ξ维坐标的过程称为Ξ维重建，对于 移动平台拍摄的序列图像的Ξ维重建，本发明采用增量式的重建过程，先重建出图像对 的匹配特征点集NAi,2所对应的Ξ维点，再添加未使用的图像进行多幅图像的目标Ξ 维重建，具体过程如下：
[0072] (5.1)?编号为Ii的图像所对应的相机坐标系作为Ξ维重建过程中的参考坐标 系；
[0073] (5.2)计算编号为。的图像在参考坐标系下的相机投影矩阵(1)^，1<占'<1，投影矩 阵表征了 Ξ维空间点投影到二维平面点的运算过程，投影矩阵Φ北勺计算步骤如下：
[0074] (5.2.1)从序列图像的可交换图像文件EXIF中提取相机焦距的物理长度fm，利用 相机焦距的物理长度fm计算相机焦距的像素长度:f = Wim · fm/WcCD，其中WCCD为移动平台中 电荷禪合元件CCD的宽度，Wim为移动平台拍摄的图像的宽度；
[0075] (5.2.2)利用相机焦距的像素长度f计算相机内参矩闻
廷中 Him为移动平台拍摄的图像的高度；
[0076] (5.2.3)利用移动平台拍摄图像时所对应的姿态矩阵3(*1)，1?(*2)...1?(*^)...1? (tM)，计算编号为。的图像在参考坐标系下的相机旋转矩阵Rotj:
[0077] 化乂二) I 式';,，1《的 <7>
[007引其中Rtra表示由载体坐标系到相机坐标系的转换矩阵，R(tl)-嗦示姿态矩阵R(tl) 的逆矩阵，馬^表示把^的逆矩阵；
[0079] (5.2.4)利用移动平台拍摄图像时所对应的位置信息S(tl)，S(t2)....S(tj)...S (tM)，计算编号为。的图像在参考坐标系下的相机平移向量Tj:
[0080] Tj = -Rotj · R(ti) · Rtra[S(tj)-S(ti)],l< j<M <8〉
[0081 ] (5.2.5)利用相机内参矩阵K、相机旋转矩阵Rotj和相机平移向量Tj，计算编号为Ij 的图像在参考坐标系下的相机投影矩阵Φ^:
[0082] (l)j = K · [Rotj Tj],l < j <M； <9>
[0083] (5.3)根据相机投影矩阵Φ^，利用Ξ角化方法重建出图像对的匹配特征点 集NAi,2所对应的；维点，并将图像Il，l2标记为已使用，重建图像对的匹配特征点集 Ml, 2所对应的Ξ维点：
[0084] (5.3.1)根据相机投影矩阵(1)^，1^<1，得到图像对{11，12}所对应的投影矩阵分 别记为
[0085] (5.3.2)将图像对{11，12}的匹配特征点集NAi,2中第d个匹配特征点在第一幅图像 I止的像素坐标设为(Ud，Vd)T，在第二幅图像12上的像素坐标设为(11/<1，乂/<1)\其中（11<1，乂<1) 表示第d个匹配特征点在第一幅图像中的像素点横纵坐标，（u/d，v/d)表示第d个匹配特征点 在第二幅图像中的像素点横纵坐标；
[00化](5.3.3)将第d个匹配特征点像素坐标(ud，vd)τ与（u/d，v/d)τ代入到矩阵方程：
*乂二ο中，计算出匹配特征点集NAi,2中第d个匹配特征点的空间Ξ维坐标Xd，其 中Pll ,Pl2 ,Ρ?康不投影矩阵Pi的行向量，P21 ,P22 ,P2康不投影矩阵P2的行向量，（U, V)表不第 一幅图像中像素点的横纵坐标，，y/ )表示第二幅图像中像素点的横纵坐标，X表示像素 点的空间Ξ维坐标；
[0087] (5.3.4)利用步骤(5.3.3)中的矩阵方程计算出匹配特征点集Ml,2中所有的匹配 特征点所对应的空间Ξ维坐标，即重建出图像对山山}的匹配特征点集Ml,2所对应的Ξ维 点' ；
[0088] (5.4)选择未使用图像中编号最小的一幅图像，并从特征点匹配集合NA中找出该 图像与已使用的图像中编号最大的图像的匹配特征点集，根据相机投影矩阵Φ^，利用Ξ角 化方法重建该匹配点集对应的Ξ维点，并将该图像标记为已使用；
[0089] (5.5)重复步骤（5.4)直到所有的图像序列都已经使用，完成序列图像的Ξ维重 建。
[0090] 本发明的效果可W通过W下实验进一步说明。
[0091] 本发明在移动平台围绕待重建目标运动的过程中拍摄了 9幅图像用于序列图像的 Ξ维重建，移动平台拍摄的序列图像如图3所示。
[0092] 实验1，用本发明对移动平台加速度计输出数据进行己特沃斯低通滤波的仿真，结 果如图4所示。
[0093] 由图4的结果可W看出，本发明对加速度计输出数据进行己特沃斯低通滤波之后 可W检测出移动平台拍摄图像时所对应的采样点。
[0094] 实验2,用本发明对移动平台的微惯性传感器输出信息进行处理，得到的移动平台 拍摄图像时的位姿信息，结果如图5所示。
[00%]由图5可W看出，本发明利用移动平台的微惯性传感器输出信息能够恢复移动平 台拍摄图像时的位姿信息，简化了运动恢复结构SFM方法中求解相机位姿的过程。
[0096] 实验3,用本发明中利用移动平台拍摄的9幅序列图像进行Ξ维重建的结果如图6 所示。
[0097] 由图6可W看出，本发明利用移动平台拍摄的序列图像与移动平台的微惯性传感 器信息能够重建出场景目标的Ξ维点。
[0098] 实验4,用本发明的方法与运动恢复结构SFM方法对图3中的序列图像进行Ξ维重 建，重建结果的比较如表1所示：
[0099] 表1本发明的方法与SFM方法的重建结果比较
[0100]
[0101]由表1所示的实验结果可W看出，由于本发明简化了SFM方法中求解相机位姿的过 程，减少了 Ξ维重建过程的时间。
【主权项】
1. 基于移动平台拍摄的序列图像快速三维重建方法，包括： (1) 利用移动平台拍摄场景目标序列图像，并对采集的序列图像进行编号，分别记为 {1112. · .Ij.. .IM}，其中Ij为第j幅图像的编号，1 < j <M，M为拍摄图像的总个数； (2) 在拍摄目标序列图像的过程中，记录第i个采样点时移动平台的微惯性传感器中加速度计输出数据ai、磁力计输出数据nu和陀螺仪输出数据c〇i，其中i = l，2. . .N， 的采样点数，Η为拍摄序列图像时所用的总时间，At为移动平台微惯性传感器的采样间隔； (3) 对移动平台采集的序列图像. .Ij. . .Im}通过尺度不变特征变换SIFT进行特 征点检测与匹配，得到序列图像的特征点匹配集合NA= {NAi,2，NAi,3. . .NAk,i. . .ΝΑμ-ι,μ}，其 中NAk>1表示第k幅图像与第1幅图像之间的匹配特征点集； (4) 恢复移动平台拍摄图像时的位姿信息： (4a)利用记录的传感器数据&1，ΠΗ，ω ,通过互补滤波算法计算移动平台在第i个采样点 时的姿态矩阵R(i); (4b)利用加速度输出数据ai检测移动平台拍摄图像时所对应的采样点，分别记为 t2. . .tj. . .tM，其中tj为拍摄第j幅图像时所对应的采样点； (4c)利用移动平台的姿态矩阵R(i)与其拍摄图像时所对应的采样点t^ts. . .k. . .tM， 得出移动平台在拍摄图像时所对应的姿态矩阵R(ti)，R(t2). . .R(tj). . .R(tM)，其中R(tj)表 示移动平台在拍摄第j幅图像时对应的姿态矩阵； (4d)利用移动平台拍摄图像时所对应的采样点ti，t2. . .tj. . .tM、姿态矩阵R(i)和记录 的加速度数据m通过零速修正算法恢复移动平台拍摄图像时的位置信息S(t)，S(t2)... .S (tj)...S(tM)，其中S(tJ表示移动平台拍摄第j幅图像时的位置信息； (5) 重建三维场景目标： (5a)以编号为1:的图像所对应的相机坐标系作为三维重建过程中的参考坐标系； (5b)利用移动平台的姿态矩阵RUihRUd. . .R(tj). . .R(tM)与位置信息S(t〇，S (t2)--S(tj). . .S(tM)计算编号为Ij的图像在参考坐标系下的相机投影矩阵Φ j，l < j (5c)根据相机投影矩阵Φ」，利用三角化方法重建出图像对的匹配特征点集 NA1>2所对应的三维点，并将图像h，12标记为已使用； (5d)选择未使用图像中编号最小的一幅图像，并从特征点匹配集合NA中找出该图像与 已使用的图像中编号最大的图像的匹配特征点集，根据相机投影矩阵Φ」，利用三角化方法 重建该匹配点集对应的三维点，并将该图像标记为已使用； (5e)重复步骤(5d)直到所有的图像序列都已经使用，完成序列图像的三维重建。2. 根据权利要求1所述的三维重建方法，其中所述步骤(4a)中计算移动平台在第i个采 样点时的姿态矩阵R(i)，按如下步骤进行： (4al)将第i个采样点时陀螺仪输出数据ω ,代入四元数微分中，计算第i个采样点时由地理坐标系到载体坐标系的角速度旋转四元数qu>1，其中qu,η为 第i_l个采样点时角速度旋转四元数的值，矩阵[〇 ω,]是陀螺仪输出数据ωι的四元数表 示，地理坐标系的定义为:平行于地面指向东方为1轴，平行于地面指向北方为Y e轴，Ze轴垂 直于地面指向地心，载体坐标系的定义与移动平台中微惯性传感器PCB板规定的自身坐标 系重合； (4a2)利用在第i个采样点的加速度计输出数据&1和磁力计输出数据nu，计算第i个采样点时 由地理坐标系到载体坐标系的梯度旋转四元数qA>1其中φν,κ为第W个采样点时梯度旋转四元数的值，此为收敛因子， 的梯度，<Μ为qA>1-i的共辄四元数，g=[〇 〇 l]T，b = [0 1 0]Τ，Τ表示矩阵的转置，||V/|为 梯度▽/的二范数； (4a3)利用在第i个采样点的角速度旋转四元数qu,i和梯度旋转四元数qA,i，计算第i个 采样点时由地理坐标系到载体坐标系的融合旋转四元数qi:qi= yqA,i+(l_y )qu,i，其中γ 为比例因子，〇< γ < 1; (4a4)利用融合旋转四元数qi计算出移动平台在第i个采样点时的姿态矩阵R(i):其中q〇为融合旋转四元数qi的实部，qi，q2，q3为融合旋转四元数qi的虚部。3. 根据权利要求1所述的三维重建方法，其中所述步骤(4b)中检测移动平台拍摄图像 时所对应的采样点tl，t2. . .tj. . .tM，按如下步骤进行： (4bl)令tM所对应的采样点为第N个采样点，N为总的采样点数； (4b2)将加速度计输出数据&1输入到巴特沃斯低通滤波器中，将滤波器输出的方波中第 α个下降沿所对应的采样点赋值给U，1 < α < M-1。4. 根据权利要求1所述的三维重建方法，其中所述步骤(4d)中通过零速修正算法恢复 移动平台拍摄图像时的位置信息S(t〇，S(t 2). . . .S(k). . .S(tM)，按如下步骤进行： (4dl)将加速度计输出数据ai代入到由载体坐标系下加速度到地理坐标系下加速度的 转换公式:Acci = R(i)Tai中，得到在第i个采样点时地理坐标系下加速度的值Acci，1 < i < N，R( i "表示在第i个采样点姿态矩阵R( i)的转置； (4d2)利用地理坐标系下加速度的值六^^十算在第i个采样点时移动平台的速度:v(i) = v(i_l)+Acci · Δ t，其中v(i-l)为第i-1个采样点时移动平台的速度，Δ t为移动平台微 惯性传感器的采样间隔； (4d3)利用移动平台拍摄图像时所对应的采样点. .k. . .tM将拍摄目标序列图像 的过程分为Μ个子过程，修正第i个采样点时的速度v(i)，使每个子过程结束时移动平台的 速度为零，当第i个采样点属于第j个子过程时，第i个采样点修正后的速度i(i)为：(4d4)利用修正后的速度vc(i)计算拍摄目标序列图像过程中第i个采样点时移动平台 的位置:S(i)=S(i-l)+Vc(i) · At，其中S(i-l)为第i-Ι个采样点时移动平台的位置； (4d5)将移动平台拍摄图像时所对应的采样点t^ts. . .k. . .tM代入到移动平台的位移S (i)中得到移动平台拍摄图像时的位置信息S(t〇，S(t2). . . .S(tJ . . .S(tM)。5. 根据权利要求1所述的三维重建方法，其中所述步骤(5b)中计算编号为I」的图像在参 考坐标系下的相机投影矩阵Φ h 1 < j < M，按如下步骤进行：(5bl)从序列图像的可交换图像文件EXIF中提取相机焦距的物理长度fm，利用相机焦距 的物理长度fm计算相机焦距的像素长度:f = Wim · fm/WCCD，其中WCCD为移动平台中电荷耦合 元件CCD的宽度，W im为移动平台拍摄的图像的宽度； (5b2)利用相机焦距的像素长度f计算相机内参矩阵 ，其中Him为移 动平台拍摄的图像的高度； (5b3)利用移动平台拍摄图像时所对应的姿态矩阵R(ti)，R(t2). . .R(tj). . .R(tM)，计算 编号为Ij的图像在参考坐标系下的相机旋转矩阵Rotj: 細j. = R,,.，.丨、·R(，i、'，R,,:,，卜幻、M 其中Rtra表示由载体坐标系到相机坐标系的转换矩阵，Rhr1表示姿态矩阵RUi)的逆 矩阵，表示Rtra的逆矩阵； (5b4)利用移动平台拍摄图像时所对应的位置信息S()，S(t2).. .. S(t j).. . S(tM)，计 算编号为L的图像在参考坐标系下的相机平移向量TJ: Tj = -R〇tj * R(tl) * Rtra[S(tj)-S(tl)],l < j <M (5b5)利用相机内参矩阵K、相机旋转矩阵Rotj和相机平移向量Tj，计算编号为Ij的图像 在参考坐标系下的相机投影矩阵φ」： <i>j = K · [Rotj Tj]，l 仝 j <M。6. 根据权利要求1所述的三维重建方法，其中所述步骤(5c)中利用三角化方法重建出 图像对{11，12}的匹配特征点集NAi, 2所对应的三维点，按如下步骤进行： (5cl)根据相机投影矩阵Φ」，1 < j < M，得到图像对{h，12}所对应的投影矩阵分别记为(5c2)将图像对的匹配特征点集NA1>2中第d个匹配特征点在第一幅图像上的 像素坐标设为(Ud，Vd)T，在第二幅图像12上的像素坐标设为(l/d，Wd)T，其中（Ud，Vd)表示第d 个匹配特征点在第一幅图像中的像素点横纵坐标，<!，/<!)表示第d个匹配特征点在第二 幅图像中的像素点横纵坐标； (5c3)将第d个匹配特征点像素坐标(叫抑广与仏^广代入到矩阵方程： 中，计算出匹配特征点集NAi, 2中第d个匹配特征点的空间三维坐标Xd，其中Pn，P12，P13表示 投影矩阵Pi的行向量，P21，P22，P23表示投影矩阵P2的行向量，（U，V)表示第一幅图像中像素点 的横纵坐标，（U'，/)表示第二幅图像中像素点的横纵坐标，X表示像素点的空间三维坐标； (5c4)利用步骤(5c3)中的矩阵方程计算出匹配特征点集NA 1>2中所有的匹配特征点所 对应的空间三维坐标，即重建出图像对{11，12}的匹配特征点集NAi, 2所对应的三维点。
【文档编号】G06K9/46GK105825518SQ201610195877
【公开日】2016年8月3日
【申请日】2016年3月31日
【发明人】孙伟, 赵春宇, 陈许蒙, 陈龙, 李大健
【申请人】西安电子科技大学