一种图像二维拼接与三维表面重建的组合方法
【技术领域】
[0001] 本发明属于计算机视觉和图像处理技术领域，特别是涉及一种图像二维拼接与三 维表面重建的组合方法。
【背景技术】
[0002] 随着计算机技术的快速发展，计算机视觉和图像处理技术已被广泛地应用于现代 生活的各个方面，尤其在图像拼接和基于图像的三维建模方面应用广泛。如今，我们可以在 各种地图软件供应商、旅游网站等网页上看见许多景点的二维全景图或是三维全景图。此 外，全景照相技术常在拍合影留念时发挥重要的作用，我们可以利用全景照相技术将环形 的队列放置于一张长条形的相片之中。
[0003] 图像的二维拼接技术和三维重建技术发展迅速。基于基本矩阵和单应矩阵的图 像拼接方法已经发展得颇为成熟，在OpenCV中集成的cv: :Stitcher类在进行某些图像的 拼接时，足以达到以假乱真的效果。在图像的三维重建领域，基于运动的建模（Structure from Motion, SfM)是一种非常成功的方法。SfM通过寻找图像间的点对应关系来估计摄像 机在空间中的相对位置与姿态。实验表明SfM在还原摄像机在空间的相对位置中表现非常 出色。尽管图像拼接和三维表面重建技术各放异彩，但是目前仍没有发现图像拼接和三维 重建的并行处理方法。
[0004] 在工业检测或者是医疗检测中，高倍显微摄像机或者是内窥镜常常被用来作为视 觉设备使用。然而由于镜头本身的尺寸较小或者是由于较高的放大倍率，该类摄像机所获 取的图像视野十分有限。在进行某些表面的检测时，通常一次性拍摄大量的图像。为了减 轻人眼检查图像时的工作载荷，采用图像拼接与三维表面重建而获得的大视野图像和具有 定位能力的三维模型将十分有助于机器视觉检测中的图像分析与定位。因此，在这种情况 下，迫切地需要一种图像的二维拼接和三维表面重建的组合方法。
【发明内容】
[0005] 为了解决上述问题，本发明的目的在于提供一种图像二维拼接与三维表面重建的 组合方法。
[0006] 为了达到上述目的，本发明提供的图像二维拼接与三维表面重建的组合方法包括 按顺序进行的下列步骤：
[0007] 步骤A :对输入的图像进行预处理，使得图像的特征点变得更加丰富，进而对特征 点进行抽取；
[0008] 步骤B :进行上述特征点的匹配，筛选出配对成功的点集，得到特征点的多视图几 何对应关系；
[0009] 步骤C :通过特征点的相对应关系计算场景的射影重构关系，得到摄像机在三维 空间中的相对位置和相对姿态；
[0010] 步骤D :进行度量重构并进行全局的优化；
[0011] 步骤E :根据摄像机在三维空间中的相对位置关系，选取合适的视角与观察平面， 建立所有图像在该观察平面上的投影关系；
[0012] 步骤F :图像拼接，即将所有的图像重新映射至目标平面，并对重新投影后的图像 进行拼接，得到二维的全景图像；
[0013] 步骤G :三维表面重建，即通过步骤C计算所得的摄像机在三维空间中的相对位置 和相对姿态还原出图像在三维空间中的场景。
[0014] 在步骤A中，所述的对图像进行预处理的方法为：
[0015] 1)逐帧读取图像；
[0016] 2)若已知摄像机参数，进行图像畸变校正；否则直接进入步骤3);
[0017] 3)采用高斯滤波方法对图像进行降噪处理；
[0018] 4)将彩色图像转换为灰度图像；
[0019] 5)分析上述灰度图像的亮度或灰度分布情况；
[0020] 6)根据上述分析结果调整图像的亮度分布情况，使得图像的灰度较为均匀地分布 于0-255之间。
[0021 ] 在步骤A中，所述的对特征点进行抽取的方法为：
[0022] 1)采用SURFAA) KAZE算法对上述预处理后的图像进行特征点抽取；
[0023] 2)以SURFAA)KAZE特征抽取返回值为特征点向量，物理意义为梯度的方向与大 小的分布情况；定义梯度权重次极大对应的方向为副方向；
[0024] 3)按照上述特征点向量的副方向对特征点升序排序；其中特征点的方向被离散 化为8个值，每一个值对应一个角度为45°的扇形区域；角度的计算方式为副方向与主方 向的角度差值；之后将特征点集合按照特征点向量的副方向的升序划分成8个类别；
[0025] 4)构造类Hash表数据结构，其中数据表的每一个支链存储副方向相同的特征点。
[0026] 在步骤B中，所述的特征点的匹配方法为：
[0027] 1)确定匹配的精度d_max，即相互匹配的特征点对间的欧式距离必须小于d_max ;
[0028] 2)输入一个特征点作为待匹配点；
[0029] 3)读取所输入的特征点向量的副方向，计算目标点所在的支链；
[0030] 4)计算与该支链中所有特征点的欧式距离，选取与待匹配点的欧式距离最小且其 距离小于d_max的特征点作为匹配点；
[0031] 5)若存在多个匹配点与待匹配点距离相近的情况，放弃当前特征点的匹配，直接 进入下一个特征点的匹配。
[0032] 在步骤C中，所述的建立射影重构关系的方法为：
[0033] 1)以X1表示空间点，P,表示摄像机，$表示空间点X1在摄像机匕中所成的像，即：
[0035] 存在一个映射每描述同一个空间点X1在摄像机P j，Pk中所成的像的对应关系：
[0037] 2)利用最小化代价函数和随机一致抽样（RANSAC)方法计算场景的射影重构关 系，即求解好$以及通过三角原理计算X1。
[0038] 在步骤D中，所述的进行度量重构的方法为：
[0039] 1)若输入的数据中包含摄像机的内参数矩阵，可直接进行度量重构；否则，可通 过绝对二次曲线的对偶曲线和绝对二次曲面的对偶图像间的对应关系求解自标定方程而 获取摄像机的内参数；
[0040] 2)捆绑调整：记，]、这}分别为估计出的空间点与摄像机在空间中的位置与姿 态，选取重投影误差作为代价函数，即：
[0042] 以上述的重构结果为初始值，进行迭代以寻找出最小化代价函数的最优值。
[0043] 在步骤E中，所述的根据摄像机在三维空间中的相对位置关系，选取合适的视角 与观察平面，建立所有图像在该观察平面上的投影关系的具体方法为：
[0044] 1)选取图像拼接平面作为观察面；
[0045] 2)利用上述度量重构所建立的摄像机相对姿态位置关系，将待拼接的图像重投影 至图像拼接平面而进行图像视角变换，将所有的图像投影至相同的尺度，即保持同一目标 在不同图像中的尺寸相近。
[0046] 在步骤F中，所述的图像拼接的具体方法为：
[0047] 1)将上述经过视角变换后的图像拼接成一张大图；
[0048] 2)若在上述重合区域出现像素点不重合的情况，采用随机一致抽样算法确定像素 的位置；即计算多个像素中心，并根据此中心排除偏离中心过大的点；
[0049] 3)对于图像中丢失的特征点，采用插值的方式确定其值；
[0050] 4)进行局部的亮度调整和对比度调整，使拼接所得的图像更加自然。
[0051] 在步骤G中，所述的三维表面重建的具体方法为：
[0052] 1)根据步骤D中计算所得出的度量重构关系，将图像的特征点重投影至三维空 间；
[0053] 2)消除有误模型误差及噪声干扰带来的"一点多投"现象；对于同一个特征点投 影出的多个位置，求加权平均，并将得到的位置作为该特征点的位置；
[0054] 3)通过特征点集合建立图像的三角剖分网格和三维空间中的三角网格划分，并建 立网格间的对应关系；
[0055] 4)通过图像融合的方式，使用图像填充三维空间表面中的三角网格空穴。
[0056] 本发明提供的图像二维拼接与三维表面重建组合方法首次结合了图像的二维拼 接技术与图像的三维表面重建技术，能实现通过一组未标定的图像序列或者是一段视频而 取得场景的全景图像和三维表面的相关信息。该方法充分考虑了图像的二维拼接和三维表 面重建技术的异同点，提取二者实现过程中的公共步骤，能在相对较短的时间内同时得到 场景的全景图像和三维表面。相对于传统的图像二维拼接方法，由于三维重建中的捆绑调 整对摄像机的姿态进行了全局的优化，使用图像拼接与三维重建的组合方法可以有效地减 少计算的累积误差。另一方面，三维计算所得的信息在图像的拼接中的应用使得图像的拼 接视角可以调节。
[0057] 本发明的另一个优点是高速的特征点匹配方法。考虑到数据的排序/分类所需要 的时间代价相对计算特征点对应关系较小，本发明中对特征点集合进行了排序与分类，使 得匹配的时间复杂度显著地降低。理论上，本发明使用的特征点匹配方法的时间复杂度仅 为原来的12. 5%。
【附图说明】
[0058] 图1为本发明提供的图像二维拼接与三维表面重建的组合方法流程图。
【具体实施方式】
[0059] 下面结合附图和具体实施例对本发明提供的图像二维拼接与三维表面重建的组 合方法进行详细说明。
[0060] 本发明提供的图像二维拼接与三维表面重建的组合方法处理的对象为图像序列 或者的视频片段中的任意一种。由于视频片段中的相邻帧非常相似，因此对于视频使用采 样的方式进行图像提取，采用率根据摄像机的运动速率做出相应的调整，只需满足相邻的 两个采样之间具有一定的重合区域即可。对于图像序列，每次处理一张图像。
[0061] 如图1所示，本发明提供的图像二维拼接与三维表面重建的组合方法包括按顺序 进行的下列步骤：
[0062] 步骤A :对输入的图像进行预处理，使得图像的特征点变得更加丰富，进而对特征 点进行抽取；
[0063] 所述的对图像进行预处理的方法包括下列步骤：
[0064] 1)逐帧读取图像；
[0065] 2)若已知摄像机参数，进行图像畸变校正；否则直接进入步骤3);
[0066] 3)采用高斯滤波方法对图像进行降噪处理；
[0067] 4)将彩色图像转换为灰度图像；
[0068] 5)分析上述灰度图像的亮度或灰度分布情况；
[0069] 6)根据上述分析结果调整图像的亮度分布情况，使得图像的灰度较为均匀地分布 于0-255之间。
[0070] 所述的对特征点进行抽取的方法为：
[0071] 1)采用SURFAA)KAZE算法对上述预处理后的图像进行特征点抽取；
[0072] 2)以SURFAA)KAZE特征抽取返回值为特征点向量，物理意义为梯度的方向与大 小的分布情况；定义梯度权重次极大对应的方向为副方向；
[0073] 3)按照上述特征点向量的副方向对特征点升序排序；其中特征点的方向被离散 化为8个值，每一个值对应一个角