一种基于增量式SFM的球面全景影像三维重建方法

一种基于增量式sfm的球面全景影像三维重建方法
技术领域
1.本发明涉及三维重建领域，尤其涉及一种基于增量式sfm的球面全景影像三维重建方法。


背景技术：

2.城市街道和室内环境已成为当前实景三维中国建设的重要内容。结合卫星、航空飞机、低空无人机和地面移动测量车等遥感平台，平面透视相机成为最重要的传感器。但是，面向上述复杂场景存在相机连续跟踪困难和数据采集代价高的问题。因此，亟需更加高效的数据采集方式，满足城市街道和室内场景的三维重建需求。
3.球面全景相机，也称为360相机，能覆盖采集点360
°×
180
°
的视角范围，获取具有全方位视场角的影像，已被广泛应用于安防监控、街景地图、机器人导航等领域。与平面透视相机相比，球面全景相机具有更大的视场角，可以实现复杂场景下的视角连续跟踪，并降低数据采集工作量，因而在城市街道和室内环境三维重建中得到越来越多关注。
4.现有方法有针对全景影像处理单个步骤的改进；也有研究者尝试利用全景影像进行三维重建。但是，现有研究主要集中于专业级全景相机的改进，或者与slam（simultaneous localization and mapping）系统集成，目的在于满足机器人的导航和定位。随着球面全景相机普及，如消费级insta360、ricoh theta等，以及影像处理技术发展，基于球面全景影像的三维重建需求将会越来越大。


技术实现要素：

5.为了解决现有的技术方案还不能满足基于球面全景影像的三维重建需求的问题，本发明提供一种基于增量式sfm（structure from motion）的球面全景影像三维重建方法，在球面全景相机成像模型的基础上，设计了基于球面同名点的影像相对定向、基于物方-球面三维点的绝对定向，以及平差优化代价函数，建立了一套适用于球面全景影像的增量式sfm方法。
6.本技术方法包括以下步骤：s1：基于空间约束和顺序约束进行全景影像特征匹配，得到全景影像中两视影像的可靠特征匹配点；s2、针对可靠特征匹配点，采用基于增量式sfm方法恢复全景影像的位置t和姿态r信息；s3、根据位置t和姿态r信息，采用多视立体匹配算法生成密集匹配点云。
7.本发明提供的有益效果是：满足了基于球面全景影像的三维重建需求，具有巨大的实际工程应用价值。
附图说明
8.图1是球面相机成像模型示意图；
图2是本发明方法流程示意图；图3是共面约束原理示意图；图4是基于增量式sfm全景影像定位定向流程示意图。
具体实施方式
9.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
10.在具体阐述本技术前，先对球面全景三维重建的基础原理进行简单说明。
11.球面全景影像具有不同的存储方式和相机成像模型，请参考图1，图1是球面相机成像模型示意图；考虑到球面影像不利于存储和处理，球面全景影像常采用等距圆柱投影（equirectangular projection，erp）表示。全景相机成像模型则建立了物方三维点到二维影像点的映射关系。
12.图1中的(a)图展示了物方三维点p到球面投影点p；图1中的(b)图展示了从球面投影点p到二维影像点(i
x
,iy)；对于球面投影点p，可用球经纬度坐标系和球直角坐标系o-xyz表示。其中，球直角坐标系o-xyz的y轴垂直向下，z轴指向二维影像的像主点。
13.假设经过球体中心点o和投影点p的大圆与赤道平面的交线为l。那么，投影点p的经度θ和纬度定义为交线l分别与z轴和op的夹角。球面投影点p的经纬度坐标与直角坐标(x,y,z)之间的转换关系如公式（1）所示。其中，球体半径设定为1。
14.（1）根据图1（b）可知，球面经纬度坐标与二维影像平面坐标(i
x
,iy)的转换关系可以用公式（2）表示。其中，w和h分别为影像的宽度和高度；c
x
和cy为影像的像主点坐标。因此，公式（1）和（2）建立了全景影像三维球面坐标与二维影像坐标的转换关系。
15.（2）假设在世界坐标系o-x
wywzw
中，全景影像的姿态和位置分别表示为旋转矩阵r和平移向量t。那么，物方三维点pw对应的全景球面投影点p可经过公式（3）获得。因此，公式（1）、（2）和（3）构成了球面全景相机的成像模型。
16.（3）请参考图2，图2是本发明方法流程图；基于球面全景影像的上述存储方式和相机成像模型，本发明提出的一种基于增量式sfm的球面全景影像三维重建方法，包括以下步骤：s1：基于空间约束和顺序约束进行全景影像特征匹配，得到全景影像中两视影像的可靠特征匹配点；需要说明的是，步骤s1具体包括以下过程：s11、采用sift特征提取算法进行球面全景影像特征提取，得到特征点；erp格式球面全景影像导致影像在靠近球面两极的区域存在较大的几何变形，使得所提取特征的可重复性和可区分性等特性降低。考虑两个方面的因素，本发明利用sift（scale invariant feature transform）算法进行球面全景影像的特征提取和描述。
17.一方面，大部分数据采集固定相机的滚动角和俯仰角，比如地面移动测量车采集系统，保证了球面赤道附近的erp影像几何结构一致；另一方面，经典sift算法具有很好的尺度、旋转不变，也有很强的抗视角变化能力，且有对应的高性能开源库。
18.具体地，本发明利用sift算法的gpu(graphic processing unit)版本siftgpu进行影像特征提取和描述子生成。该技术是数字摄影测量和计算机视觉领域的常用手段，本发明就不再赘述。
19.s12、基于空间约束形成影像匹配对1；需要说明的是，对于大场景的三维重建，往往需要采集数量较大的全景影像。
20.如果采用穷举匹配模式，势必导致影像匹配的时间消耗非常大。因此，考虑到全景影像顺序采集，并且exif信息记录了影像的gnss（卫星定位）位置信息，本发明综合利用全景影像空间约束和顺序约束进行影像匹配对选择。
21.需要说明的是，exif信息是可交换图像文件的缩写，是专门为数码相机的照片设定的，可以记录数码照片的属性信息和拍摄数据。exif可以附加于jpeg、tiff、riff等文件之中，为其增加有关数码相机拍摄信息的内容和索引图或图像处理软件的版本信息。
22.本发明中，步骤s12具体为：s121、从球面全景影像的exif信息中读取记录的经度、纬度和高度信息；s122、对任一张待匹配影像ii，建立一个以待匹配影像为中心，r为半径的球形区域；s123、将球形区域内包含的其它影像作为待匹配影像的匹配对，从而得到影像匹配对1。
23.s13、基于顺序约束得到影像匹配对2；作为一种实施例，本发明中步骤s13具体为：s131、在球面全景影像中，读取影像的exif信息中的时间信息，并按照时间信息排列；
s132、对任一张待匹配影像ii，获取其拍摄时刻前后n张影像，作为其最终的匹配影像，从而得到影像匹配对2。
24.需要说明的是，根据实验结果，本发明中规定球形区域半径r=20米；间隔窗口范围n为10；这里不用以作为限定，本领域技术人员可根据实际情况进行选择。
25.s14、针对影像匹配对1和2，采用欧式距离最近的特征匹配，得到初步特征匹配点；需要说明的是，步骤s14具体为：s141、对精确影像匹配对中，任意两张待匹配的全景影像ii和ij，采用kd-tree建立特征描述子的检索结构；s142、针对影像ii的每个特征描述子，基于kd-tree查找影像ij中欧式距离最近的特征描述子，从而完成初步特征匹配。
26.其中kd-tree与欧式距离特征描述子均为本领域内常见的方法与手段，本技术中不再进行赘述。
27.s15、采用基于ransac算法的本质矩阵e对初步特征匹配点进行粗差剔除，得到可靠特征匹配点。
28.需要说明的是，sift算法利用关键点局部影像块计算特征描述子，导致上述策略得到的全景影像ii和ij的初始特征匹配不可避免地包含错误匹配。
29.本发明进一步基于ransac的本质矩阵e估计进行匹配粗差剔除。
30.基于本质矩阵e的粗差剔除主要依据同名点的共面约束。
31.对于球面同名光线p1和p2，满足公式（4）所示的共面约束（4）其中，e=[t]
x
r为位置t的反对称矩阵[t]
x
与姿态r的乘积，其几何意义如图3所示。
[0032]
当p1和p2为真实同名点时，向量rp1、p2和t共面，也就是p2落在rp1和t组成的圆面（圆面法向量为），即。
[0033]
因此，步骤s15具体为：s151、对于初步特征匹配点的两幅匹配图像，获取其相应的多个同名点，利用同名点解算本质矩阵e；本发明中利用两张影像的8个同名点，通过8点法解算本质矩阵，然后找出不满足公式（4）共面约束的匹配点，即实现粗差剔除。
[0034]
s152、判断两个初步特征匹配点是否满足基于本质矩阵e的共面约束条件，若不满足，则进行预粗差剔除；若满足，则表示两个初特征匹配点属于可靠特征匹配点；考虑到粗差对本质矩阵e估计的影响，结合ransac进行解算。
[0035]
s153、在预粗差剔除过程中，若对于本质矩阵e，其共面条件误差测度e小于预设的粗差判断阈值ea，则认为两个初特征匹配点属于可靠特征匹配点，否则实现粗差剔除。
[0036]
ransac参数估计依赖共面条件误差测度e和粗差判断阈值e
p
。
[0037]
与平面透视成像所依赖的点到核线距离测度不同，球面全景成像左片o1中p1的同名光线p2落在过右片球心o2，法向量为的球面。
[0038]
因此，本发明利用光线-球面夹角作为共面条件误差测度。如图3所示，如果是理
想同名点p2的带噪声观测值，那么表示向量和的夹角余弦值，等价于向量和球面的夹角正弦值。
[0039]
本发明设定e为（5）其中，abs()表示取绝对值。
[0040]
另外，粗差判断阈值e
p
常采用像素值大小，与误差测度e的度量单位不一致。
[0041]
进一步，本发明基于球面经纬度坐标与平面像素坐标之间的转换关系（参见公式（2）），利用公式（6）实现粗差判断阈值从平面像素值到球面角度值的转换：（6）其中，2π/max(w,h)表示两个度量单位的比例系数；ea是以角度度量的粗差判断阈值。
[0042]
基于上述设定，给定估计的本质矩阵e，如果误差测度e《ea，则对应同名点标记为内点。
[0043]
本发明利用球面三维点到对应核面的夹角误差测度进行粗差提取，可以得到优化后的可靠匹配点。在ransac的本质矩阵e估计中，粗差判断阈值e
p
设置为4个像素。
[0044]
上述步骤s1中构建了全景影像的两视影像的可靠特征匹配点，本发明基于增量式sfm恢复全景影像的位置t和姿态r信息。
[0045]
s2、针对可靠特征匹配点，采用基于增量式sfm方法恢复全景影像的位置t和姿态r信息；步骤s2具体为：s21、基于可靠特征匹配点实现种子影像对重建，构建增量式sfm重建基准模型；初值种子影像对构建了整个增量式sfm重建的基准模型。
[0046]
种子影像对选择主要考虑匹配点数量和交会角大小，选择步骤：（1）将所有影像按包含的匹配点数量进行降序排列；（2）依次选择最前面的一张影像作为种子影像对的第一张影像i
first
；（3）将i
first
的关联影像同样按照匹配点数量进行降序排列；（4）依次选择排序关联影像的一张影像作为种子影像对的第二张影像i
second
；（5）利用i
first
和i
second
的球面同名点进行相对定向（步骤s142中欧式距离最近准则匹配）；在得到相对定向参数e=[t]
x
r的初值后，根据根据公式（7）的代价函数进行平差优化。
[0047]
（7）迭代执行步骤（2）-（5），直到找到两张影像，且同时满足匹配内点数量n
inlier
和交会角a
tri
大于给定的阈值。
[0048]
本发明设定n
inlier
》100，a
tri
》16
°
。作为拓展，本发明在建立了种子影像对i
first
和isecond
的相对定向模型后，还根据公式（8）的代价函数进行一次全局ba优化。
[0049]
（8）s22、采用绝对定向寻找与基准模型相匹配的候选影像next-best；需要说明的是，next-best影像代表与已重建模型连接最稳健的候选影像，其选择依据是观测的三维点数量及其对应二维特征点的像平面分布：步骤s22具体如下：（1）对于所有未定向影像，统计影像特征点与已重建模型三维点的对应关系；（2）过滤匹配特征点数量n
obs
《30的影像，并根据对应二维特征点的像平面分布计算重要值score；（3）将剩余影像按照score值降序排列，得分最高的候选影像即为next-best影像；（4）基于物方-球面三维对应点的ransac估计，解算next-best影像的姿态r和位置t。
[0050]
具体实现如下：在平面透视成像中，利用影像2d特征点与物方3d坐标点的对应关系，可进一步解算影像相对场景的绝对位置，即透视成像中pnp（perspective-n-point）绝对定向问题。
[0051]
对于球面全景影像，投影中心、像点和物方点三点共线的性质依然保持。因此，也可以实现基于pnp的绝对定向。
[0052]
不同之处在于，球面全景影像pnp绝对定向根据球面三维点p与物方三维点p的共线约束，参见公式（9）。其中，r和t是全景影像的旋转矩阵与平移向量。公式（9）包含2个独立方程。利用3个对应点，本发明根据p3p算法解算r和t。
[0053]
（9）在基于ransac的稳健估计中，本发明利用球面全景影像向量夹角误差测度e，即球面三维点p与物方三维点在相机坐标系下投影点rp+t之间的向量夹角，参见公式（10）。
[0054]
与前述中基于球面同名点的e矩阵估计一样，粗差判断阈值ea采用公式（6）将像素阈值转换为角度阈值，并规定e《ea的对应点为内点。
[0055] (10)基于上述方式获取绝对定向r和t的初值后，采用公式（8）所示的代价函数进行平差优化。
[0056]
(5)next-best影像的所有匹配内点进行前方交会，进一步增加场景的三维点。
[0057]
s23、对每次新增的候选影像进行局部或全局ba优化，得到全景影像的位置t和姿态r信息。
[0058]
每次成功新增加next-best影像后，判断是否执行局部或全局ba优化：（1）如果新增加影像数据n
i_add
《3，则执行局部ba优化，仅仅优化新增加影像位姿及关联三维点；（2）如果新增加影像数量n
i_add
或三维点数量n
p_add
大于给定阈值，则执行全局ba优化，此时优化已重建模型的所有影像和三维点。
[0059]
本发明设定n
i_add
和n
p_add
的阈值分别为已重建模型影像和三维点数量的10%。
[0060]
局部或全局ba优化的代价函数参见公式（6），目标是最小化所有三维点的重投影误差。
[0061]
（11）其中，||
·
||表示向量l2模；ρ
ij
是三维点xi在影像cj中的可见性指示函数，即xi在影像cj中可见性时，ρ
ij
=1；否者，ρ
ij
=0。
[0062]
s3、根据位置t和姿态r信息，采用多视立体匹配算法生成密集匹配点云。
[0063]
为了充分利用现有的密集匹配算法，本发明首先将增量式sfm解算的球面全景影像空三结果转换为对应的立方体平面影像。
[0064]
假设立方体平面影像i的内参矩阵为k
p
，其到球面全景影像坐标系的旋转矩阵为r
ps
，那么立方体平面影像的生成方式：（1）对于任一像点x∈i，计算对应像平面坐标并进行齐次归一化，得到。其中，π表示齐次归一化操作；（2）将齐次归一化坐标u转换到球面全景坐标系，得到对应的球面直角坐标；（3）根据公式（1）和（2），计算u’的erp全景影像像素坐标x’，并线性插值出立方体平面影像像点x的灰度值。
[0065]
通过上述步骤（1）-（3）生成立方体平面影像。
[0066]
考虑到立方体平面影像与球面全景影像投影中心重合，仅姿态相差r
ps
表示的旋转变换，可利用公式（12）得到转换后立方体平面影像的位姿信息。
[0067]
(12)最后，本发明可利用经典多视立体匹配算法生成密集匹配点云，比如pmvs或者sgm等算法。该技术是数字摄影测量和计算机视觉领域的常用手段，本发明就不再赘述。
[0068]
本发明的有益效果是：满足了基于球面全景影像的三维重建需求，具有巨大的实际工程应用价值。
[0069]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。