专利名称：一种基于二维图像序列的目标对象的三维重建方法
技术领域：
本发明涉及一种目标对象的三维重建方法。
背景技术：
随着计算机技术和图像处理技术的发展，计算机视觉技术获得了极大地发展。目 标的特征点匹配与立体重建是计算机视觉技术中的基础与重点。图像匹配就是在两幅或多 幅图像之间寻找同一点或同一部分的过程。图像匹配在诸如计算机视觉、模式识别、工业检 测、军事、医学等领域有极大的应用价值。图像匹配通常分为基于灰度的图像匹配和基于特征的图像匹配两种方法。特征匹 配作为图像匹配的一种，与基于灰度的图像匹配方法不同，它并不直接利用灰度信息，而是 在提取图像本质特征(常用的匹配特征有点、线、特征区域等)的基础上，再进行匹配计算。该类方法首先提取图像的一些显著的特征，这些特征对噪声，拍摄条件的变化等 干扰具有一定的鲁棒性，这些特征表达了对图像更深层次的理解。主要的优点是很大程度 上压缩了数据量，使得计算量减小，速度加快，同时减小了噪声的影响，且对灰度值的变化， 物体的形变等具有一定的鲁棒性。该方法在图像内容丰富时，可以提取较多的特征，因此具 有一定的优势。2004年，Lowe提出了基于SIFT特征的图像特征点匹配算法，其全称是kale Invariant Feature ^Transform，即尺度不变特征变换，简称SIFT。SIFT算法是一种提取局 部特征的算法，其原理是在尺度空间寻找极值点，提取位置、尺度、旋转不变量，生成关键点 特征描述符，然后根据这些不变量特征进行匹配。由于SIFT特征点提取算法检测出的特征点具有尺度不变的特性，可以实现图像 间发生尺度、旋转变化时的匹配，同时对光照的变化、噪声和小视角的变化具有一定的鲁棒 性。由于其匹配能力强，精确度很高，因此SIFT算法在物体识别、机器人导航、图像匹配、图 像拼接、3D建模、手势识别与视频跟踪等方面取得了广泛的应用。客观世界是一个三维空间，而图像采集装置所获取的图像是二维的。尽管二维图 像中含有某些形式的三维空间信息，但要真正在计算机中利用这些信息并进行下一步的应 用处理，就必须采用三维重建技术从二维图像中合理地提取并表达这些三维信息。20世纪80年代，MIT的Marr教授提出了一套较为完整机器视觉理论，该理论强调 计算机视觉的目的是从图像中建立物体形状和位置的描述，它把视觉过程主要规定为从二 维图像信息中定量地恢复出图像所反映场景中的三维物体的形状和空间位置，即立体重建 或3D重建。计算机视觉的最终目的是实现对三维场景的感知、识别和理解。三维重建技术 能够从二维图像出发构造具有真实感的三维图形，为进一步的场景变化和组合运算奠定基 石出。传统的采用激光扫描的重建技术具有系统操作复杂，成本较高，携带不便等缺陷。 而基于图像的三维重建技术所需成本低，灵活性好。在人们不充分掌握场景数据，如场景中 物体的大小比例，相对位置等信息的情况下，就可以实现三维重建，且具有设备造价低廉等优点。目前大多基于图像的三维重建方法存在着需要重建的点数量多，计算量大，重建 精度不高等弱点。
发明内容
本发明是为了解决现有基于图像的三维重建方法中存在的需要重建的点数量多、 计算量大导致重建精度低的问题，提供了一种基于二维图像序列的目标对象的三维重建方 法。一种基于二维图像序列的目标对象的三维重建方法，它由以下步骤实现步骤一、采用相机获取目标对象的二维图像序列；步骤二、通过SIFT算法对步骤一中获得的二维图像序列中的每幅图像进行计算， 获得每幅图像的特征点；对图像获得的特征点进行匹配，获得SIFT匹配点；所述SIFT算法 在实现过程中会生成包含每幅图像的高斯尺度金字塔；步骤三、根据步骤二获得的SIFT匹配点计算步骤一中所述二维图像序列中每幅 图像之间的几何关系，所述几何关系包括约束每两幅图像之间关系的基础矩阵以及由基础 矩阵获得的相机投影矩阵；步骤四、对步骤二中所述高斯尺度金字塔中的每幅图像进行角点检测，从而完成 多尺度的角点检测，获得每幅图像的角点特征，并对每幅图像的角点特征建立特征描述 符；步骤五、以步骤二获得的SIFT匹配点为中心，在约束距离限制范围内搜索步骤四 中获得的每幅图像的角点特征符对应的角点，并对每幅图像获得的角点进行匹配，获得匹 配后的角点；步骤六、根据步骤三获得的相机投影矩阵对步骤五获得的匹配后角点进行三维重 建，实现目标对象的三维重建。步骤一中所述采用相机获取目标对象的二维图像序列包括获取目标对象的方法 为如果目标对象为对称对象，则至少获取沿对称轴一侧的目标的二维图像序列；如果目 标对象为非对称对象，则获得待重建部分的二维图像序列。步骤三中根据步骤二获得的SIFT匹配点计算步骤一中所述二维图像序列中每幅 图像之间的几何关系的具体方法是采用归一化八点算法求取约束每两幅图像之间关系的 基础矩阵；相机经过标定后，其欧式意义下的投影矩阵为P和P'，即Ρ = Κ[Ι|0]和P'= K[R|t]；式中，K为相机参数矩阵，R为相机旋转矩阵，t为相机平移矩阵。步骤四中所实现的多尺度角点检测方法为通过对步骤二中计算SIFT特征点过程 中生成的高斯尺度金字塔中的每幅图像进行角点检测实现。步骤五中所述以步骤二获得的SIFT匹配点为中心，在约束距离限制范围内搜索 步骤四中获得的每幅图像的角点特征符，获得对应的角点，具体方法包括以下步骤步骤A、以SIFT匹配点为中心，在约束距离限制范围内搜索步骤四中获得的每幅 图像的角点特征符对应的角点；步骤B、判断步骤A搜索到的角点数量是否大于预设的最小值且小于预设的最大值，如果判断结果为否，则执行步骤Bi，如果判断结果为是，则将搜索到的角点做为角点特 征符对应的角点，结束角点搜索；步骤Bi、判断步骤A搜索到的角点数量是否大于或等于预设的最大值，如果判断 结果为是，则执行步骤Bll ；如果判断结果为否，则执行步骤B12 ；步骤B11、将约束距离限制范围缩小，并返回执行步骤A ；步骤B12、将约束距离限制范围扩大，并返回执行步骤A。有益效果本发明提供一种SIFT特征点和角点相结合的匹配方法，该方法具有匹 配精度高、鲁棒性能优越、提取特征丰富、目标轮廓结构信息描述精确等优点，并在此基础 上利用SIFT特征点计算图像序列之间的几何关系，包括约束两幅图像之间几何关系的基 础矩阵，以及相机投影矩阵。根据已求解出的几何参数，重建过程中选用位于边角等对目标 结构轮廓具有关键作用的位置点进行重建，既解决了重建点多，计算量大的不足，同时又精 确的描述了目标三维结构信息，实现目标对象的高效三维重建。
图1是本发明方法的流程示意图2是本发明所述高斯尺度金字塔的原理示意图； 图3是具体实施方式
一中双视几何的原理示意图4是具体实施方式
一中依据SIFT匹配点搜索距离约束范围内的角点的原理示意图，其 中，标记41为角点，标记42为SIFT匹配点； 图5是本发明的角点搜索流程示意图。
具体实施例方式具体实施方式
一、结合图1说明本具体实施方式
，一种基于二维图像序列的目标 对象的三维重建方法，它由以下步骤实现步骤一、采用相机获取目标对象的二维图像序列；步骤二、通过SIFT算法对步骤一中获得的二维图像序列中的每幅图像进行计算， 获得每幅图像的特征点；对图像获得的特征点进行匹配，获得SIFT匹配点；所述SIFT算法 在实现过程中会生成包含每幅图像的高斯尺度金字塔；步骤三、根据步骤二获得的SIFT匹配点计算步骤一中所述二维图像序列中每幅 图像之间的几何关系，所述几何关系包括约束每两幅图像之间关系的基础矩阵以及由基础 矩阵获得的相机投影矩阵；步骤四、对步骤二中所述高斯尺度金字塔中的每幅图像进行角点检测，从而完成 多尺度的角点检测，获得每幅图像的角点特征，并对每幅图像的角点特征建立特征描述 符；步骤五、以步骤二获得的SIFT匹配点为中心，在约束距离限制范围内搜索步骤四 中获得的每幅图像的角点特征符对应的角点，并对每幅图像获得的角点进行匹配，获得匹 配后的角点；步骤六、根据步骤三获得的相机投影矩阵对步骤五获得的匹配后角点进行三维重 建，实现目标对象的三维重建。
步骤一中所述采用相机获取目标对象的二维图像序列包括获取目标对象的方法 为如果目标对象为对称对象，则至少获取沿对称轴一侧的目标的二维图像序列；如果目 标对象为非对称对象，则获得待重建部分的二维图像序列。步骤三中根据步骤二获得的SIFT匹配点计算步骤一中所述二维图像序列中每幅 图像之间的几何关系的具体方法是采用归一化八点算法求取约束每两幅图像之间关系的 基础矩阵；相机经过标定后，其欧式意义下的投影矩阵为P和P'，即Ρ = Κ[Ι|0]和P'= K[R|t]；式中，K为相机参数矩阵，R为相机旋转矩阵，t为相机平移矩阵。步骤四中所实现的多尺度角点检测方法为通过对步骤二中计算SIFT特征点过程 中生成的高斯尺度金字塔中的每幅图像进行角点检测实现。步骤五中所述以步骤二获得的SIFT匹配点为中心，在约束距离限制范围内搜索 步骤四中获得的每幅图像的角点特征符，获得对应的角点，具体方法包括以下步骤步骤A、以SIFT匹配点为中心，在约束距离限制范围内搜索步骤四中获得的每幅 图像的角点特征符对应的角点；步骤B、判断步骤A搜索到的角点数量是否大于预设的最小值且小于预设的最大 值，如果判断结果为否，则执行步骤Bi，如果判断结果为是，则将搜索到的角点做为角点特 征符对应的角点，结束角点搜索；步骤Bi、判断步骤A搜索到的角点数量是否大于或等于预设的最大值，如果判断 结果为是，则执行步骤Bll ；如果判断结果为否，则执行步骤B12 ；步骤B11、将约束距离限制范围缩小，并返回执行步骤A ；步骤B12、将约束距离限制范围扩大，并返回执行步骤A。本发明的方法中的主要三部分为一、步骤二中获得SIFT匹配点和匹配角点的原理和过程为匹配点的获得分为两部分一部分是匹配的SIFT特征点，另一部分是匹配的角
点ο在匹配SIFT特征点的过程中，首先获取图像序列并提取每幅图像的SIFT特征点， 进行匹配获得SIFT匹配点。在计算SIFT特征点的过程中，对每幅图像建立高斯尺度金字塔，如图2所示，在此 基础上增加角点检测步骤，便实现多尺度的角点检测，获得多尺度下的角点信息。因而既可 以获得较多数量的角点，同时并不显著的增加计算量。以SIFT匹配点为中心，在距离约束范围内搜索角点，如图4所示，约束范围内的角 点作为进一步匹配的候选点。在建立角点特征向量时，可以采用多种方法，比如直方图统计，或者类似SIFT的 特征向量。在后继的匹配过程中，由于将通常角点匹配方法中待匹配点的搜索范围从全局 缩小到了局部，因此候选点的数量较小，可以直接采用逐一计算相似度的方法，以相似度最 大的作为匹配点。二、步骤三种所述的基础矩阵与相机投影矩阵的计算原理和过程为1、基础矩阵的计算原理和过程为如图3所示，已知X点是三维空间中的点，分别投影到两个像平面上，即像平面X和像平面X'，由双视几何的原理可知同一相机拍摄的两幅图像之间存在约束关系，即 x' TFx = 0，其中F为基础矩阵。如果已知的匹配点数量足够多(八对匹配点)则可以线 性求解出基础矩阵。本发明中采用八点归一化算法来计算基础矩阵，即在计算之前首先将 上一步得到的SIFT匹配点进行归一化，以减小输入数据的波动(即匹配点坐标的变化)对 求解F的影响。归一化的具体步骤1)、左右视图中的匹配点分别被平移，使得左右视图中的匹配点的坐标的中心都 在原点；2)、左右视图中的匹配点分别进行各向同性的尺度变化，使得左右视图中的匹配 点到各自原点的距离的平均等于λ/ ；由归一化后的数据求出的F还得进行反归一化，最终求得的F才是实际视图中的
基本矩阵。线性求解过程χ' tFx = O(1)双视几何中存在以上等式关系。χ和χ'都用齐次坐标形式表示，即χ = (x,y,l),x' = (x'，y'，1)。可得出如 下等式xx' fn+xy' f21+xf31+yx' f12+yy' f22+yf32+x' f13+y'= 0 (2)由所有的对应点对可以组成一个列数为9的系数矩阵，有
权利要求
1.一种基于二维图像序列的目标对象的三维重建方法，其特征是它由以下步骤实现步骤一、采用相机获取目标对象的二维图像序列；步骤二、通过SIFT算法对步骤一中获得的二维图像序列中的每幅图像进行计算，获得 每幅图像的特征点；对图像获得的特征点进行匹配，获得SIFT匹配点；所述SIFT算法在实 现过程中会生成包含每幅图像的高斯尺度金字塔；步骤三、根据步骤二获得的SIFT匹配点计算步骤一中所述二维图像序列中每幅图像 之间的几何关系，所述几何关系包括约束每两幅图像之间关系的基础矩阵以及由该基础矩 阵获得的相机投影矩阵；步骤四、对步骤二中所述高斯尺度金字塔中的每幅图像进行角点检测，从而完成多尺 度的角点检测，获得每幅图像的角点特征，并对每幅图像的角点特征建立特征描述符；步骤五、以步骤二获得的SIFT匹配点为中心，在约束距离限制范围内搜索步骤四中获 得的每幅图像的角点特征符对应的角点，并对每幅图像获得的角点进行匹配，获得匹配后 的角点；步骤六、根据步骤三获得的相机投影矩阵对步骤五获得的匹配后角点进行三维重建， 实现目标对象的三维重建。
2.根据权利要求1所述的一种基于二维图像序列的目标对象的三维重建方法，其特征 在于步骤一中所述的采用相机获取目标对象的二维图像序列的方法为如果目标对象为对 称对象，则至少获取沿对称轴一侧的目标的二维图像序列；如果目标对象为非对称对象，则 获得待重建部分的二维图像序列。
3.根据权利要求1所述的一种基于二维图像序列的目标对象的三维重建方法，其特征 在于步骤三中，根据步骤二获得的SIFT匹配点计算步骤一中所述二维图像序列中每幅图 像之间的几何关系的具体方法是采用归一化八点算法求取约束每两幅图像之间关系的基 础矩阵；相机经过标定后，其欧式意义下的投影矩阵为P和P'，即Ρ = Κ[Ι|0]和P'= K[R|t]；式中，K为相机参数矩阵，R为相机旋转矩阵，t为相机平移矩阵。
4.根据权利要求1所述的一种基于二维图像序列的目标对象的三维重建方法，其特征 在于步骤四中，所述多尺度角点检测方法为通过对步骤二中计算SIFT特征点过程中生成 的高斯尺度金字塔中的每幅图像进行角点检测。
5.根据权利要求1所述的一种基于二维图像序列的目标对象的三维重建方法，其特征 在于步骤五中，所述以步骤二获得的SIFT匹配点为中心，在约束距离限制范围内搜索步骤 四中获得的每幅图像的角点特征符对应的角点，具体方法包括以下步骤步骤A、以SIFT匹配点为中心，在约束距离限制范围内搜索步骤四中获得的每幅图像 的角点特征符对应的角点；步骤B、判断步骤A搜索到的角点数量是否大于预设的最小值且小于预设的最大值，如 果判断结果为否，则执行步骤Bi，如果判断结果为是，则将搜索到的角点做为角点特征符对 应的角点，结束角点搜索；步骤Bi、判断步骤A搜索到的角点数量是否大于或等于预设的最大值，如果判断结果 为是，则执行步骤Bll ；如果判断结果为否，则执行步骤B12 ；步骤B11、将约束距离限制范围缩小，并返回执行步骤A ； 步骤B12、将约束距离限制范围扩大，并返回执行步骤A。
全文摘要
一种基于二维图像序列的目标对象的三维重建方法，涉及一种目标对象的三维重建方法。它解决了现有基于图像的三维重建方法中存在的需要重建的点数量多、计算量大导致重建精度低的问题。其方法采用相机获取目标对象的二维图像序列，通过SIFT算法对每幅图像进行计算并匹配，并计算图像之间的几何关系；对SIFT算法实现过程生成的高斯尺度金字塔中的每幅图像进行角点检测，获得图像的多尺度角点特征；以获得的SIFT匹配点为中心，在约束距离限制范围内搜索每幅图像对应的角点，并对每幅图像获得的角点进行匹配，获得匹配后的角点；根据相机投影矩阵对匹配后角点进行三维重建，实现目标对象的三维重建。本发明适用于目标对象的三维重建。
文档编号G06T7/00GK102074015SQ201110044738
公开日2011年5月25日 申请日期2011年2月24日 优先权日2011年2月24日
发明者吴立刚, 李旭涛, 杨成胡, 赵鸿燕 申请人:哈尔滨工业大学