一种移动机器人图像拼接方法及装置制造方法
【专利摘要】本发明公开了一种图像拼接方法及装置，适用于双目视觉移动机器人平台，利用图像拼接技术对机器人双目采集的图像进行拼接，可以增大机器人视野，便于机器人更好地完成定位和环境重建。本发明方法包括：采用SURF特征提取图像序列特征点，形成特征向量；搜索特征向量空间，寻找特征匹配点；采用随机采样一致性算法(RANSAC)鲁棒地估计变换模型参数；利用变换模型对待配准图像进行坐标变换，实现图像序列的坐标统一；根据对应匹配点的亮度值，估计出图像序列亮度空间满足的变换关系，实现曝光度补偿；采用像素标签方法确定图像重叠区域像素取值，实现拼接图像去鬼影；根据最优标签值集合生成图像掩膜，对图像进行拉普拉斯金字塔融合。
【专利说明】一种移动机器人图像拼接方法及装置
【技术领域】
[0001] 本发明属于机器人视觉【技术领域】，尤其涉及一种移动机器人的图像拼接方法及装 置。
【背景技术】
[0002] 移动机器人的定位与环境重建是实现机器人自主导航以及在未知环境中完成复 杂智能任务的关键技术，实际应用中单目视觉系统受其视野小的影响往往不能满足移动机 器人的定位和环境重建的需要，因此双目视觉系统更受移动机器人的青睐。利用图像拼接 技术对机器人双目采集的图像进行拼接，可以增大机器人视野，便于机器人更好地完成定 位和环境重建。以'玉兔号'月球车为例，'玉兔号'是在月球表面行驶并对月球考察和收集 分析样品的专用车辆，是一种特殊环境下的双目视觉移动机器人，利用图像拼接技术对'玉 兔号'双目获取的图像进行拼接，将窄视角图像融合形成宽视角的图像，宽视角图像对于月 球车的定位以及月面图像重建等任务都有着实际意义。
[0003] 移动机器人平台的图像拼接是指将机器人通过摄像头获取的多幅部分重叠区域 的窄视角图像进行融合，形成一幅无缝高分辨率图像的技术。图像拼接可以分为图像配准 和图像融合两大关键技术。图像配准技术通过寻找一种空间变换将一幅图像映射到另一幅 图像，使两幅图像具有相同坐标系，且图像中重叠区域具有相同坐标。图像融合技术将已配 准图像作为输入，利用融合技术形成一幅无缝高分辨率的拼接图像。
[0004] 图像配准的目的就是找出一种最能描述图像之间的空间映射关系的变换模型，根 据变换模型对图像进行空间变换，从而使图像对应点达到空间上一致。图像配准的一般流 程为：（1)选取变换模型。根据图像成像条件，选定适合应用需求的变换模型。目前常用的 一些空间变换模型有平移变换、刚性变换、仿射变换以及投影变换等。变换模型参数估计。 (2)模型参数估计。利用图像信息，进行模型参数估计。根据选取信息的不同，模型参数估 计的方法分为两类：基于区域（area-based)模型参数估计和基于特征（feature-based)模 型参数估计。（3)图像坐标变换和插值。根据建立的空间变换模型，将输入图像转换同一坐 标系中，实现图像间的坐标统一，对变换后图像非整数坐标的像素需要进行插值处理，常见 的插值方法有双线性插值法、最近邻域插值法以及立方卷积插值等。
[0005] 完成图像配准后，需要对配准图像重叠区域进行融合。图像融合是将多幅已配准 图像中有用信息综合到一幅图像中以形成高分辨率无缝拼接图像的技术。由于移动机器人 工作环境复杂，在对摄像头获取的图像进行融合时主要需要解决三个问题：第一，由于光照 条件不同，图像往往存在不同强度，从而导致拼接图像产生明显的拼接缝；第二，图像配准 的过程中往往难以达到完美配准，错误的配准往往会导致融合图像产生模糊（blurring); 第三，图像采集过程中运动物体的存在导致融合图像产生鬼影（ghosting)。目前的融合策 略主要分为三种：平滑过渡（transitional smoothing)、最优拼接缝（optimal seam)以及 像素标签算法（pixel labeling)。平滑过渡的方式通常又被称作羽化，其核心思想是根据 重叠区域的像素与边界点的欧式距离为像素赋予权值，然后进行加权平均得到拼接图像。 平滑过渡图像融合通过加权融合输入图像，从而实现输入图像间的平滑过渡，避免拼接图 像中出现明显的拼接缝。采用加权平均的方式容易导致图像细节信息的丢失，导致拼接图 像模糊，另外当输入图像重叠区域内存在运动物体时，加权平均的思想不可避免的导致拼 接图像产生鬼影；另一种融合策略是最优拼接缝，其核心思想是在配准图像重叠区域寻找 一条拼接缝，然后根据拼接缝位置，为拼接图像两侧选取不同输入图像信息。拼接缝由重叠 区域的图像信息决定，最优拼接缝上各输入图像信息差异最小，因此通常会避开重叠区域 内的运动物体和错误匹配区域，从而避免融合图像内产生模糊和鬼影。但对于配准图像间 存在明显曝光度差异的情况，用最优拼接缝算法融合的图像会产生的明显拼接缝，并且最 优拼接缝算法对重叠区域存在多幅图像的融合并不适用；像素标签算法的核心思想是为拼 接图像的每个像素指定标签值，每个像素的信息仅由指定标签对应的输入图像决定，通过 一定策略选取标签值，可避免拼接图像产生鬼影。并且像素标签算法对于图像间存在错误 匹配的情况也具有较好的鲁棒性，其对图像重叠区域的图像数目没有限制，可用于多幅图 像的拼接任务，因此像素标签算法是图像拼接领域应用最为广泛的方法。
【发明内容】
[0006] 本发明提出了一种新的可用于多幅图像拼接的技术。本发明主要为了提升拼接图 像质量，使得拼接结果是一幅无模糊，无拼接缝，无鬼影的高分辨率拼接图像。
[0007] 本发明提出的、一种图像拼接方法，包括：
[0008] 步骤1、读取两幅有重叠区域的输入图像，其中一幅作为参考图像，另一幅作为待 配准图像；提取所述参考图像和待配准图像的特征点集合；
[0009] 步骤2、对待配准图像的每个特征点，匹配得到所述参考图像上的匹配特征点，形 成匹配特征点集；
[0010] 步骤3、采用投影变换描述参考图像和待配准图像间的几何变换关系，并利用所述 匹配特征点集估计几何变换模型；
[0011] 步骤4、利用所述几何变换模型将待配准图像投影到参考图像平面，得到配准图 像，并对参考图像进行插值，使其与配准图像具有相同的尺寸，得到配准后的参考图像；
[0012] 步骤5、利用特征匹配点间的亮度值，对配准图像进行亮度变换，实现曝光度补 偿；
[0013] 步骤6、采用像素标签方法对配准后的参考图像和配准图像间重叠区域的像素 进行处理，得到重叠区域每个像素对应的最优标签值，形成最优标签值集合；其中，所述最 优标签值用于表示重叠区域每个像素的取值为配准后的参考图像还是配准图像上的像素 值；
[0014] 步骤7、利用所述最优标签值集合生成图像掩膜，将图像掩膜分解为多频带子图， 在每个子频带进行金字塔图像融合，最后重构所有频带信息形成拼接图像。
[0015] 本发明提出的一种图像拼接装置，包括：
[0016] 特征提取模块，读取两幅有重叠区域的输入图像，其中一幅作为参考图像，另一幅 作为待配准图像；提取所述参考图像和待配准图像的特征点集合；
[0017] 特征匹配模块，对待配准图像的每个特征点，匹配得到所述参考图像上的匹配特 征点，形成匹配特征点集；
[0018] 投影变换模块，采用投影变换描述参考图像和待配准图像间的几何变换关系，并 利用所述匹配特征点集估计几何变换模型；
[0019] 配准模块，利用所述几何变换模型将待配准图像投影到参考图像平面，得到配准 图像，并对参考图像进行插值，使其与配准图像具有相同的尺寸，得到配准后的参考图像；
[0020] 曝光度补偿模块，利用配准后的参考图像和配准图像间的特征匹配点间的亮度 值，对配准图像进行亮度变换，实现曝光度补偿；
[0021] 标签值获取模块，采用像素标签方法对配准后的参考图像和配准图像间重叠区域 的像素进行处理，得到重叠区域每个像素对应的最优标签值，形成最优标签值集合；其中， 所述最优标签值用于表示重叠区域每个像素的取值为配准后的参考图像还是配准图像上 的像素值；
[0022] 图像融合模块，利用所述最优标签值集合生成图像掩膜，将图像掩膜分解为多频 带子图，在每个子频带进行金字塔图像融合，最后重构所有频带信息形成拼接图像。
[0023] 本发明采用基于特征的方法实现图像配准。在特征提取阶段采用SURF算法，SURF 是一种快速的特征提取方法，其对光照，旋转以及尺度变化等均具有很好的鲁棒性。选取投 影变换描述描述图像间的几何变换关系，投影变换能很好地刻画图像的旋转，尺度伸缩以 及扭曲等复杂形变，是一种理想的用于刻画机器人平台获取图像的变换模型。求取变换模 型参数时采用随机采样一致性算法对数据集进行拟合，使得模型对于匹配特征点集中的错 误匹配具有很高的鲁棒性。综上所述，本发明使用的配准方法对参考图像和待配准图像之 间存在曝光度差异以及复杂几何形变的情况都具有很好的鲁棒性，对移动机器人平台上的 图像配准能取得理想的配准结果。
[0024] 在图像融合阶段，本发明首先采用曝光度补偿的方法消除图像间的亮度差异，有 效避免拼接图像中产生拼接缝；然后采用像素标签（pixel-labeling)的方法，按照一定策 略为拼接图像每个像素选取合适标签值，使得拼接图像中的运动物体被完全保留或去除， 从而消除拼接图像中的鬼影，并且像素标签方法可以处理存在错误配准的区域，使得拼接 图像自然过渡。相比于平滑过渡的方式，像素标签方法使得拼接图像每个像素的信息都从 一幅图像获取，使得图像细节信息被保留，从而从根本上避免了图像的模糊；根据求取的标 定的结果，形成图像掩膜，将图像进行拉普拉斯金字塔融合，可以有效避免因错误匹配和曝 光度差异产生的拼接缝，进一步提升拼接效果。本发明图像融合阶段的关键步骤在求取最 优的标签值集合，像素标签求解是NP难问题，所以在实际应用中需要通过多项式时间的近 似方法来求取局部最优解来代替全局最优解。本发明将离散的标签问题松弛到连续域内求 解，采用逐步非凸非凹算法求取最优的标签集合。实验结果表明，采用逐步非凸非凹算法求 取的标签集合，能保留或完全去除运动物体，从而避免了拼接图像中产生鬼影。综上所述， 本发明所获得的拼接结果是一幅无模糊，无拼接缝，无鬼影的高分辨率拼接图像。
【专利附图】
【附图说明】
[0025] 图1为本发明中图像拼接方法的流程图；
[0026] 图2(a)?（c)为本发明中基于SURF特征的图像配准结果示意图；
[0027] 图3(a)?（c)为本发明中基于逐步非凸非凹算法（GNCCP)的图像拼接结果示意 图。
【具体实施方式】
[0028] 为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本发明作进一步的详细说明。
[0029] 图像拼接的两大关键技术是图像配准和图像融合。本发明采用基于特征的方法实 现图像配准。采用SURF算法提取图像的特征点，并形成64维特征向量，通过寻找匹配特征 点估计图像间的几何变换关系，实现图像配准。本发明采用的配准算法对图像间存在曝光 度差异和复杂几何形变的情况具有很好的鲁棒性，实际应用中能取得理想的配准结果。在 图像融合阶段，为解决图像间曝光度差异，本发明在融合前先对图像进行曝光度补偿，可以 有效去除拼接图像中的拼接缝；采用像素标签方法（pixel-labeling)完全去除或者保留 运动物体，从而避免拼接图像中产生鬼影。pixel-labeling的求解是NP难（NP-HARD)问 题，本发明采用GNCCP算法求取其近似解，实际应用中取得了理想结果。
[0030] 图1示出了本发明提出的一种移动机器人的图像拼接方法的流程示意图。如图1 所示，该方法包括：
[0031] 步骤1 :特征提取。从摄像头读取两幅有重叠区域的输入图像，选定一幅作为参 考图像I1，另外一幅作为待配准图像I 2。利用SURF算法提取图像的特征集合P，特征集合 包含了特征点的坐标集合C = Kxi, yj I i = 1,2. . M}以及特征点的64维特征描述子集合 D eRMX64。其中μ为特征点的个数。设参考图像和待配准图像的特征集合分别为Ρι和p 2， 每个特征集合包含了特征点的坐标信息以及特征点的描述子集合，对应的坐标集合为C1, C2 以及描述子集合为D1, D2，特征点的个数分别为M1, M2。
[0032] 步骤2 :特征匹配。对待配准图像的每个特征点i e {1，2, ...，MJ全局搜 索参考图像特征向量空间j e {1，2, ...，MJ，寻找初始匹配点，即计算待配准图像的 每个特征点与参考图像的特征点之间的余弦距离d(i，
【权利要求】
1. 一种图像拼接方法，包括： 步骤1、读取两幅有重叠区域的输入图像，其中一幅作为参考图像，另一幅作为待配准 图像；提取所述参考图像和待配准图像的特征点集合； 步骤2、对待配准图像的每个特征点，匹配得到所述参考图像上的匹配特征点，形成匹 配特征点集； 步骤3、采用投影变换描述参考图像和待配准图像间的几何变换关系，并利用所述匹配 特征点集估计几何变换模型； 步骤4、利用所述几何变换模型将待配准图像投影到参考图像平面，得到配准图像，并 对参考图像进行填充，使其与配准图像具有相同的尺寸，得到配准后的参考图像； 步骤5、利用特征匹配点间的亮度值，对配准图像进行亮度变换，实现曝光度补偿； 步骤6、采用像素标签方法对配准后的参考图像和配准图像间重叠区域的像素进行处 理，得到重叠区域每个像素对应的最优标签值，形成最优标签值集合；其中，所述最优标签 值用于表示重叠区域每个像素的取值为配准后的参考图像还是配准图像上的像素值； 步骤7、利用所述最优标签值集合生成图像掩膜，将图像及图像掩膜分解为多频带子 图，在每个子频带进行融合，最后重构所有频带信息形成拼接图像。
2. 如权利要求1所述的方法，其中，步骤3中如下求取几何变换模型： 步骤31 :从所述匹配特征点集合中随机抽取4对匹配特征点； 步骤32 :根据当前4对匹配特征点计算得到当前几何变换模型T:
其中，W,i/)(W)分别代表所述4匹配特征点在参考图像和待配准图像中的索引，C1(W) 和C2〇(W))分别表示VV,i/?(W)在图像中的坐标； 步骤33:利用当前几何变换模型T对待配准图像的特征点集合进行坐标变 换，得到新的坐标集合C2 ;计算(V2中的内点集合S，内点是指2内满足 ||6(少⑴）一⑴Il<τ的点，其中τ为阈值； 步骤34 :重复执行步骤31-33Ν次，N为预定的整数，选出N次循环中内点最多的集合Si 作为最终的匹配集，并采用最小均方误差重新计算最终的几何变换模型Τ，即
其中^T1(S+)代表Si在参考图像中的匹配特征点集合。
3. 如权利要求1所述的方法，其中，步骤4中首先利用得到的几何变换模型对待配准图 像进行坐标变换，将待配准图像投影到参考图像平面，得到配准图像，之后顺序扫描配准图 像的每个像素，用几何变换模型计算出其在待配准图像上对应的像素点，将该像素点的像 素值赋予配准图像上对应的像素点；对于坐标变换中出现的浮点坐标，采用立方卷积插值 法确定其像素值。
4. 如权利要求1所述的方法，其中，步骤6中最优标签集合如下表示： F* =argminE(F) 其中，E(F)为像素标签的能量模型，如下表示：
其中，D(p，fp)称之为数据代价，Vpq(fp，fq)称为光滑代价，p和q为拼接图像中的像 素；fp、fq表示像素P和q的标签值；数据代价如下定义：
光滑代价如下定义：
其中，//p (P)表示标签fp对应图像在像素p处的像素值；(i?)表示标签fq对应图像 在像素q处的像素值。
5. 如权利要求4所述的方法，其中，采用逐步非凸非凹算法求解所述能量模型。
6. 如权利要求5所述的方法，其中，采用逐步非凸非凹算法求解所述能量模型具体如 下： 将能量方程改写为能量函数： E(x) =l/2xTQx+Ax， J - i
其中QeRnkxnk是光滑代价的矩阵形式，AeRixnk是数据代价的向量形式，Xe{〇，1} 1115X1是待求标签列向量，η为图像总像素数，k为标签值的个数； 然后将所述能量方程进行松弛，将离散的XeIoalnkxi列向量放松到连续域xe[〇， 1ΓΧ1内求解，并对能量函数E(x)采用以下形式隐式实现从凸松弛到凹松弛的转变：
其中，Y为组合系数；当Mx)逐步由凸松弛函数向凹松弛函数转化后，逐步非凸非凹 算法求得能量方程的局部最小值，并将此时的xe[〇，i]nkxl向量离散化为xe{〇，i}nkX1， 得到近似最优标签值集合。
7. 如权利要求1所述的方法，其中，步骤7具体包括： 步骤71 :为参考图像和配准图像ΓιΓ2建立5层拉普拉斯图像金字塔LI1,LI2。 步骤72 :根据步骤6的最优标签集合为参考图像和配准图像ΓιΓ2确定掩膜R1,R2, 即
其中，fp为像素P的标签值，i= 1或2 ;然后为掩膜构建5层高斯金字塔GR1,GR2 ; 步骤73 :在金子塔的各个图层，对图像进行融合，即 LS1(P) =GR11(P)LI11 (p)+GR21 (p)LI21(P) ;1 = 1，2，..，5 其中P为图像的像素点，GRil,LIil分别为参考图像和配准图像I'i在第1层的掩膜和 图像子带，LS1代表图像LI1,LI2在图像金字塔第1层的融合结果； 步骤74 :根据金字塔LS1重建最终拼接图像。
8. 如权利要求1所述的方法，其中，步骤1中采用SURF算法提取参考图像和待配准图 像的特征点集合；所述特征点集合包括每个特征点的坐标和特征描述子。
9. 如权利要求8所述的方法，其中，步骤2中通过计算待配准图像的每个特征点的特征 描述子与参考图像的特征点的特征描述子之间的余弦距离，选取余弦距离最小的特征点作 为待配准图像中当前特征点的匹配特征点。
10. -种图像拼接装置，包括： 特征提取模块，读取两幅有重叠区域的输入图像，其中一幅作为参考图像，另一幅作为 待配准图像；提取所述参考图像和待配准图像的特征点集合； 特征匹配模块，对待配准图像的每个特征点，匹配得到所述参考图像上的匹配特征点， 形成匹配特征点集； 投影变换模块，采用投影变换描述参考图像和待配准图像间的几何变换关系，并利用 所述匹配特征点集估计几何变换模型； 配准模块，利用所述几何变换模型将待配准图像投影到参考图像平面，得到配准图像， 并对参考图像进行插值，使其与配准图像具有相同的尺寸，得到配准后的参考图像； 曝光度补偿模块，利用配准后的参考图像和配准图像间的特征匹配点间的亮度值，对 配准图像进行亮度变换，实现曝光度补偿； 标签值获取模块，采用像素标签方法对配准后的参考图像和配准图像间重叠区域的像 素进行处理，得到重叠区域每个像素对应的最优标签值，形成最优标签值集合；其中，所述 最优标签值用于表示重叠区域每个像素的取值为配准后的参考图像还是配准图像上的像 素值； 图像融合模块，利用所述最优标签值集合生成图像掩膜，将图像掩膜分解为多频带子 图，在每个子频带进行金字塔图像融合，最后重构所有频带信息形成拼接图像。
【文档编号】G06T5/50GK104463786SQ201410727745
【公开日】2015年3月25日 申请日期:2014年12月3日 优先权日:2014年12月3日
【发明者】刘智勇, 李川, 乔红, 杨旭 申请人:中国科学院自动化研究所