一种移动平台上的实时全景跟踪与拼接方法
【技术领域】
[0001] 本发明设及一种全景的场景表达方法，尤其设及一种移动平台上的实时全景跟踪 与拼接方法。 技术背景
[0002] 全景图是一种常见的场景浏览方式，可W看作是普通广角镜头的推广，具有更大 的视角和更广的场景信息。全景图W其特有的视觉表现形式可W广泛应用于场景漫游，虚 拟现实，纹理映射，增强现实等各个领域。
[0003] 传统的全景图生成方法，包括化vidLowe的基于尺度不变特征（SIFT) (Lowe,DavidG.DistinctiveImageFeaturesfromScale-InvariantKeypoints. InternationalJournalofComputerVision60. 2,2004:91-110.)的照片图像拼接方法 (MatthewBrown,DavidG.Lowe.AutomaticPanoramicImageStitchingusingInvariant Features.InternationalJournalofComputerVision, 2007, 74(1):59-73)，Google 的基于巧螺仪的全景拍摄App-化otoS地ere(ht1:ps://www.google,com/maps/油out/ contribute/地otos地ere/)，微软的基于图像特征拍摄的全景App-化otoSynthOittps: // photosynth.net/)。其中化vid的全景生成算法是基于SIFT特征匹配的，借助于SIFT算法 强大的特征描述能力和匹配精度，David的算法可W在大场景下，生成无边缝，无色差，几何 一致的全景图。但是由于SIFT的计算非常耗时，使得该种算法不适合在移动平台上使用。 Google的全景拍摄App是基于巧螺仪得到的旋转参数的，在移动平台上，巧螺仪该些传感 器的信息可W做到每秒60帖的更新频率，因为可W在移动平台上做到实时预览的效果。然 而内置的传感器会有很大的噪音，尤其当该些传感器的噪音映射到图像上之后，在图像上 会看到明显的边界和缝隙，一些基本的几何结构不能保持一致性，例如线段会在图像交接 处断开等。微软的化otoSynth用到图像的特征信息，因而在图像上能够保持比较明显的几 何一致性，边缘部分相对于Google的化otoS地ere有比较好的融合度。但是化otoSynth 虽然是假设相机的纯旋转运动，却并没有严格的限制手持用户的操作，即使用户有比较明 显的平移操作，即相机的中屯、移动了，还是会把图像加进来，该样做图像合成就会有比较明 显的几何误差，尤其是在室内场景中，由于物体的景深比较小，相机上微弱的移动反映在图 像上都是较大的偏移。因此非常有必要对相机的平移做一个检测，同时及时的给出反馈，保 证加入全景的图像不存在较大的平移，只有输入的原始图像符合纯旋转的几何属性，最终 生成的全景图才可能是几何一致的。传统的处理全景图的方法大都把注意力集中在如何去 消除相机中屯、移动造成的图像之间的几何误差上，而没有人去从源头检查输入的图像是否 满足纯旋转的约束。
[0004] 该发明首先设计一种在移动终端上实现的实时全景跟踪系统，实现了快速相机姿 态（3DCF)的估计，同时还能在跟踪的过程中，实时的检测每一帖的相机是否有平移运动， 并及时的做出反馈，指导用户按照纯旋转的方法进行拍摄。实验结果显示：通过该种实时的 检测和反馈的形式，普通用户能够很好的拍摄出无偏差的全景图。
【发明内容】
[0005] 本发明的目的在于针对传统全景制作方法的不足，提出一种移动平台上的实时全 景跟踪与拼接方法。
[0006] 一种移动平台上的实时全景跟踪与拼接方法包括如下步骤：
[0007] 1)基于球面模型的实时跟踪；每一帖通过相机捕获的图像，先做特征跟踪，然后 计算当前相机在=维空间的旋转姿态；
[000引2)快速鲁椿的平移检测：在进行实时跟踪相机旋转姿态的同时，还检测相机的中 屯、是否发生位移，当发生位移的时候，给用户相应的反馈，帮助用户回到初始的相机位置， 减小捕获的图像之间的平移误差，保证图像满足在一个球面上的约束；
[0009] 3)Map扩展和更新；添加关键帖和S维特征点，利用集束调整的方法进行优化，更 新整个Map,整个Mapping过程放在后台线程来计算；
[0010] 4)全景离线合成：后台离线将多张图像实时拼接在一起，对图像进行曝光补偿和 多频带融合，高质量的生成几何一致的全景图。
[0011] 所述的步骤1)具体为：
[0012] a)将获取的RGBA图像，转成灰度图后构建4层图像金字塔，在每一层上都检测 FAST特征点；
[0013] b)在每一帖的特征跟踪开始之前，基于上一帖相机的姿态W及当前帖的图像信 息，预估计当前帖的相机姿态；
[0014] C)用估计的相机姿态，将Map里的=维特征点投影到当前帖图像上，作为特征点 跟踪的初始位置，并将特征点捜索限制在距离当前特征点半径为10像素的窗口范围内；
[00巧]d)选用FAST来做特征检测，采用图像Patch来做特征跟踪和匹配，并进行图像亮 度变化和图像崎变处理；
[0016] e)定义能量函数估计相机姿态的增量，引入MEstimator剔除outliers,然后利用 加权最小二乘迭代优化，求解出当前帖的相机参数；
[0017] f)将图像分成四层金字塔，在最高两层估计初始相机姿态，在下面两层进行优化。 [001引所述步骤3)具体为：
[0019] 1)选取特征匹配达到30%W上，与之前添加关键帖有至少20帖距离的关键帖，且 严格控制相机中屯、做旋转运动，利用参考帖和当前帖的单应性关系扩展Map;
[0020] 2)将多个关键帖与多个特征点之间的投影约束关系放到一个能量函数里面，利用 球面模型的集束调整进行整体优化，更新整个Map,整个Mapping过程放在后台线程来计 算。
[0021] 本发明的优点在于；在移动终端上设计并实现了实时全景跟踪与生成系统，相比 较传统的全景系统，在进行实时的相机姿态估计的同时，还检测相机的中屯、是否发生位移， 当发生位移的时候，给用户相应的反馈，帮助用户回到初始的相机位置，最大程度上减小捕 获的图像之间的平移误差，保证图像最大可能满足在一个球面上的约束。利用集束调整的 方法优化相关的参数，更新整个Map,最终生成的全景图的质量也能得到保证。
【附图说明】
[0022] 图1是移动平台上实时全景跟踪系统框架图；
[0023] 图2是实时全景跟踪与Map扩展过程。
【具体实施方式】
[0024] 一种移动平台上的实时全景跟踪与拼接方法包括如下步骤：
[0025] 1)基于球面模型的实时跟踪；每一帖通过相机捕获的图像，先做特征跟踪，然后 计算当前相机在=维空间的旋转姿态；
[0026] 2)快速鲁椿的平移检测：在进行实时跟踪相机旋转姿态的同时，还检测相机的中 屯、是否发生位移，当发生位移的时候，给用户相应的反馈，帮助用户回到初始的相机位置， 减小捕获的图像之间的平移误差，保证图像满足在一个球面上的约束；
[0027] 3)Map扩展和更新；添加关键帖和S维特征点，利用集束调整的方法进行优化，更 新整个Map,整个Mapping过程放在后台线程来计算；
[002引 4)全景离线合成：后台离线将多张图像实时拼接在一起，对图像进行曝光补偿和 多频带融合，高质量的生成几何一致的全景图。
[0029] 图1为移动平台上的实时全景跟踪系统框架。
[0030] 所述的基于球面模型的实时跟踪；每一帖通过相机捕获的图像，先做特征跟踪，然 后计算当前相机在=维空间的旋转姿态的具体步骤为：
[0031] 1)图像获取
[0032] 首先从设备上获取640x480分辨率的RGBA格式图像，将图像转为8比特（256级） 的灰度图，然后构建图像金字塔，分为4个层次，每一层分别是前面一层图像的一半。在每 一层上都检测FAST特征点。
[0033] 2)运动估计
[0034] 在每一帖的特征跟踪开始之前，基于上一帖相机的姿态W及当前帖的图 像信息，预估计当前帖的相机姿态。该里选用原始图像的经过降采样之后的一个 SmallBlunrlmage，尺寸是40x30,即长宽分别是原始图像的十六分之一。然后利用图像的 灰度值来优化当前帖相对于上一帖的旋转。针对该种问题，定义如下函数：
[0035]
[0036]其中I,表示上一帖（参考帖）的灰度图，I。表示当前帖的灰度图，Pi表示图像上 的第i个像素坐标，W表示对图像做透视变换，X是W的参数。该问题是基于球面的全景跟 踪，所W需要估计的参数是3DOF的一个旋转参数。
[0037] 如特征点投影
[003引经过运动估计之后，就有了当前帖相机的一个初始的姿态。用该个估计的相机姿 态，将Map里的S维特征点找J投影到当前帖的图像上得到{Xi}，作为特征点跟踪的初始 位置。通过该个初始的特征点位置，每个特征点的捜索都被限定在在Xi周围的一个窗口内 (通常设置为半径为10的窗口）。该种方法可W显著减小特征点捜索的计算量，W及误匹 配的几率。
[0039] 4)基于化tch的特征跟踪
[0040] 选用FAST来做特征检测，采用图像化tch来做特征跟踪和匹配。每个特征点选 取周围8*8的窗口内的图像灰度值作为该特征的描述量。特征的相似度度量是计算两块 Patch的SSD(均方差）。考虑真实场景的光照会有亮度上的变化。使用归一化的化tch做 SSD。
[0041]
[0042] 其中是参考帖像素的平均值，M。是当前帖像素的平均值。每一个化tch都用当 前化tch像素的平均值做一个归一化，即使用灰度图的相对值，而不是绝对值，该样可W有 效的避免由图像亮度变化造成的不匹配。
[0043] 还考虑到图像的几何一致性，在相机做纯旋转的运动下，图像会有很明显崎变，为 了处理图像崎变造成的匹配问题，在计算化tch之间的SSD的时候，先要根据相机的相对运 动，把参考帖的图像利用单应性矩阵，变化到当前的帖的视角下。类似PTAM，该里直接采用 单应性变换化omography)来对图像做形变。即；
[0044] W(x,p) =H(p)
[0045] 其中H是单应性矩阵，单应性矩阵