基于特征点平面相似度的图像拼接方法
【专利摘要】本发明公开了一种基于特征点平面相似度的图像拼接方法，首先对待拼接的两幅图像分别进行特征点提取，然后对特征点进行匹配，得到特征点匹配对，然后基于平面相似度对特征点匹配对进行筛选，其筛选方法为：先随机选取最小采样集，计算其单应矩阵，然后对每个匹配对计算其与每个单应矩阵的残差，构成残差向量，根据残差向量计算两两匹配对之间的平面相似度，进而对匹配对进行筛选；根据筛选的匹配对集计算变换矩阵，将两幅待拼接图像变换至同一坐标系，然后寻找最优缝合线，根据最优缝合线进行图像融合，得到图像拼接结果。本发明采用经采用平面相似度筛选后的特征点匹配对进行配准和拼接，可以提高图像拼接的准确度和鲁棒性。
【专利说明】
基于特征点平面相似度的图像拼接方法
技术领域
[0001 ]本发明属于计算机视觉技术领域，更为具体地讲，设及一种基于特征点平面相似 度的图像拼接方法。
【背景技术】
[0002] 图像拼接就是把一系列针对同一场景的有重合区域的图像合成为一张宽视角的 图像。目前主要通过两种方式获得高分辨率大视野图像:一是通过专业的图像获取设备如 广角摄像头获取;二是通过图像拼接技术对普通图像获取设备如数码相机等获得的小视野 图像进行拼接得到大视野图像。而通过专业设备来获取全景图像通常成本过高，不能广泛 应用，因此图像拼接技术成为了计算机视觉、图像处理和计算机图形学的一个研究热点。
[0003] 图像拼接大致可分为两个步骤：图像配准和图像融合。图像配准是采用一定的匹 配策略，建立待拼接图像之间的变换关系。图像融合是将图像配准后的图像重合部分融合， 消除图像之间的拼接缝，得到平滑无缝的拼接结果。由于图像配准的精度直接影响图像拼 接的质量和效果，因此图像配准是图像拼接的核屯、问题。目前的图像配准的方法可W分为 =大类:基于灰度的图像配准、基于变换域的图像配准和基于特征的图像配准。由于图像的 一些特征点具有平移、旋转、尺度不变性，且少量的特征点即可反映整幅图像的信息，大大 减少了需要处理的信息量，可W提高处理速度，所W目前主流的图像拼接方法都是基于特 征点的。
[0004] 传统的基于特征点的拼接技术对拍摄时摄像头的姿态或者场景有一定要求:在同 一视点旋转拍摄图像或者拍摄场景能近似为平面场景，而对于在不同视点拍摄的相互之间 存在视差的图像则难W达到理想的拼接效果。
【发明内容】
[0005] 本发明的目的在于克服现有技术的不足，提供一种基于特征点平面相似度的图像 拼接方法，对两幅图像中的匹配特征点对采用平面相似度进行筛选，根据筛选后的特征点 匹配对进行配准和拼接，可W提高图像拼接的准确度和鲁棒性。
[0006] 为实现上述发明目的，本发明基于特征点平面相似度的图像拼接方法包括W下步 骤：
[0007] Sl:对待拼接的两幅图像分别进行特征点提取；
[000引S2:对两幅待拼接图像的特征点进行匹配，得到特征点匹配对集d);
[0009] S3:基于平面相似度对特征点匹配对进行筛选，具体步骤包括：
[0010] S3.1:初始化选择匹配对集S为空集；
[0011] S3.2:从匹配对集d)中随机选取K个最小采样集{Cl，C2，. . .，Ck}，其中每个最小采 样集包括4个特征点匹配对；计算每个最小采样集对应的单应矩阵，得到K个单应矩阵集 {Tl，T2，…，Tk}，其中Tk表示第k个最小采样集对应的单应矩阵，k=l，2,…，K;
[001 ^ S3.3:计算匹配对集d)中每个匹配对Xi与单应矩阵集化，T2，…，Tk}中每个单应矩 阵的残差，每个匹配对Xi对应的K个残差组成一个残差向量di=[dildi2. . .diK]，其中cUk表示 匹配对Xi与单应矩阵化的残差；
[0013] S3.4:对于匹配对集d)中所有匹配对，两两计算平面相似度，任意两个匹配对Xi和 Xj的平面相似度f (Xi ,?)的计算公式为：
[0014]
[0015] 其中，诚的定义为
[0016]
[0017] dik表示匹配对Xi与单应矩阵Tk的残差，d化为匹配对、与单应矩阵Tk的残差，e为预 设的残差阔值；
[0018] S3.5:计算匹配对集d)中的每个匹配对Xi与其他所有匹配对的平面相似度f Ui， Xj)之和F(Xi),选择F(Xi)最大的匹配对Xi'作为本次筛选的关键匹配对，计算匹配对Xi'与其 他匹配对平面相似度f(Xi' ,?)的平均值favg，筛选f(Xi'，Xj)>favg的匹配对，与关键匹配对 -起构成匹配对集^，将匹配对集加入选择匹配对集S中，并从匹配对集d)中删除运些 匹配对；
[0019] S3.6:如果Is^ I <t| I I d) I <T，其中Is^ I表示本次筛选匹配对集少中匹配对数量， 4表示匹配对集4中匹配对数量，T表示预设数量阔值，结束筛选，否则返回步骤S3.2;
[0020] S4:根据步骤S3筛选得到的选择匹配对集S中的匹配对来计算两幅待拼接图像的 变换矩阵H，利用变换矩阵聞尋两幅待拼接图像变换至同一坐标系；
[0021] S5:在变换到同一坐标系下的两幅待拼接图像的图像重合区域寻找最优缝合线L
[0022] S6:根据步骤S5得到的最优缝合线L对变换到同一坐标系下的两幅待拼接图像进 行融合，得到图像拼接结果。
[0023] 本发明基于特征点平面相似度的图像拼接方法，首先对待拼接的两幅图像分别进 行特征点提取，然后对特征点进行匹配，得到特征点匹配对，然后基于平面相似度对特征点 匹配对进行筛选，其筛选方法为:先随机选取最小采样集，计算其单应矩阵，然后对每个匹 配对计算其与每个单应矩阵的残差，构成残差向量，根据残差向量计算两两匹配对之间的 平面相似度，进而对匹配对进行筛选;根据筛选的匹配对集计算变换矩阵，将两幅待拼接图 像变换至同一坐标系，然后寻找最优缝合线，根据最优缝合线进行图像融合，得到图像拼接 结果。
[0024] 本发明具有W下技术效果：
[0025] (1)基于平面相似度进行特征点匹配对的筛选，不仅可W有效地排除错误的匹配 对，还可W保留所有(绝大部分）的正确匹配对，使筛选得到的特征点匹配对更能反映两幅 图像的视点信息，使图像变换更加准确，减小配准误差，从而提高图像拼接结果的准确度和 鲁棒性；
[0026] (2)在图像融合时，提出一种基于最优缝合线的加权融合方法，可W避免融合图像 中出现虚影和物体错切等现象，从而提高图像拼接结果的效果。
【附图说明】
[0027]图1是本发明基于特征点平面相似度的图像拼接方法的【具体实施方式】流程图； [00%]图2是SURF特征的提取方法；
[0029] 图3是基于平面相似度的特征点匹配对筛选算法流程图；
[0030] 图4是无向图6<￥，6>的示例图；
[0031 ]图5是图像融合区域示意图；
[0032] 图6是本发明特征点匹配对筛选算法和RANSAC算法的对比图；
[0033] 图7是多个视点的拍摄图像；
[0034] 图8是图7中视点1与视点2图像拼接结果；
[0035] 图9是图7中视点：3与视点姻像拼接结果；
[0036] 图10是图7中视点4与视点2图像拼接结果；
[0037] 图11是图7中视点5与视点2图像拼接结果；
[0038] 图12是拼接实例1所采用的图像；
[0039] 图13是本发明、Autostitch算法和APAP算法对实例1的拼接结果对比图；
[0040] 图14是拼接实例2所采用的图像；
[0041] 图15是本发明、Autostitch算法和APAP算法对实例2的拼接结果对比图；
[0042] 图16是拼接实例3所采用的图像；
[0043] 图17是本发明、RANSAC算法和APAP算法对实例3的拼接结果对比图。
【具体实施方式】
[0044] 下面结合附图对本发明的【具体实施方式】进行描述，W便本领域的技术人员更好地 理解本发明。需要特别提醒注意的是，在W下的描述中，当已知功能和设计的详细描述也许 会淡化本发明的主要内容时，运些描述在运里将被忽略。
[0045] 图1是本发明基于特征点平面相似度的图像拼接方法的【具体实施方式】流程图。如 图1所示，本发明基于特征点平面相似度的图像拼接方法的具体包括W下步骤：
[0046] SlOl:提取图像特征点：
[0047] 对待拼接的两幅图像分别进行特征点提取。提取的特征点特征可W根据实际需要 进行确定，本实施例中采用SURF(Speed-up robust feaUires，加速健壮特征）特征。图2是 SURF特征的提取方法。如图2所示，SURF特征的提取方法包括W下步骤：
[004引 S201:寻找特征点位置：
[0049]先将待提取特征的图像转换成灰度图像，然后计算得到积分图，采用不同尺寸的 盒子滤波模板对积分图像求取化SSian矩阵行列式的响应图像，得到不同尺度的金字塔图 像，然后利用非最大值抑制方法得到不同尺度的特征点位置。
[(K)加]S202:求取特征点主方向：
[0051]得到特征点位置后，为了使特征点的特征向量具有旋转不变性，为每个特征点赋 予一个主方向。主方向的计算方法为:对W特征点为中屯、、半径为6的圆形区域内的点计算 水平方向和竖直方向的Harr小波响应。然后设定一个W特征点为中屯、、张角为V3的扇形滑 动窗口，W步长为0.2弧度旋转运个滑动窗口，并对滑动窗口内的Harr小波响应值进行累 加，取最大Harr相应累加值所对应的方向为该特征点的主方向。
[0化2] S203:计算特征向量：
[0053]确定特征点的主方向后，为特征点计算特征向量来描述特征点的邻域信息。W特 征点为中屯、，沿其主方向将20X20的矩形区域划分成4X4个子区域，对每个子区域利用尺 寸为2的化rr模板计算主方向和垂直于主方向的响应值，然后分别统计主方向和垂直于主 方向的响应值之和W及响应值绝对值之和作为该子区域的特征值，组成特征点的特征向 量。可见本实施例中特征向量有64维，一共16个子区域，每个子区域有4个特征值。
[0化4] S102:特征点匹配：
[0055]对两幅待拼接图像的特征点进行匹配，得到特征点匹配对。其具体步骤为:对图像 1中的每个特征点，W图像2中的特征点集为捜索空间，W特征向量间的欧式距离为相似性 度量，在捜索空间内捜索与其距离最小的特征点，作为其匹配点，组成匹配对。得到两幅图 像的特征点匹配对集(6={Xl，i = l，2，...，N}，其中Xl为第i对特征点匹配对，N为匹配对个 数。
[0化6] S103:基于平面相似度的匹配对筛选：
[0057]为了使基于特征点匹配对所进行的图像配准更为准确，需要对特征点匹配对进行 筛选，排除错误的匹配对。针对有视差的待拼接图像，与传统的RANSAC特征点匹配对筛选方 法不同，本发明定义了一种匹配对之间的平面相似度，并基于此来设计特征点匹配对筛选 算法。图3是基于平面相似度的特征点匹配对筛选算法流程图。如图3所示，基于平面相似度 的特征点匹配对筛选算法的具体步骤包括：
[0化引S301:初始化选择匹配对集S为空集，即某=0。
[0化9] S302:选取最小采样集：
[0060] 从匹配对集d)中随机选取K个最小采样集{Cl,C2, ...，Ck}，其中每个最小采样集包 括4个特征点匹配对，运是因为在计算变换矩阵时至少需要4个特征点匹配对。计算每个最 小采样集对应的单应矩阵，得到K个单应矩阵集{Tl，T2，…，Tk}，其中化表示第k个最小采样 集对应的单应矩阵，k=l，2,…，K。
[0061] 本实施例中所采用的随机选取最小采样集的策略为:在匹配对集d)随机选取一个 特征点匹配对Xi作为最小采样集中的第一个匹配对，W匹配对Xi中一个特征点为中屯、、预设 边长的矩形范围作为邻域范围，在同属一幅图像特征点落入该邻域范围内的匹配对中随机 和选取3个特征点匹配对，构成一个最小采样集。K的大小和邻域范围的边长可W根据需要 进行设置，本实施例中K = 500，边长为50。
[0062] S303:计算残差向量：
[0063] 计算匹配对集(1)中每个匹配对Xi与单应矩阵集{Ti，T2,…，Td中每个单应矩阵的 残差，每个匹配对Xi对应的K个残差组成一个残差向量山=[山1山2...(1化]，其中山读示匹配 对Xi与单应矩阵化的残差。
[0064] S304:计算平面相似度：
[0065] 对于匹配对集d)中所有匹配对两两计算平面相似度，任意两个匹配对Xi和Xj的平 面相似度f (Xi ,?)的计算公式为：
[0066]
[0067] 其中，XiG d)，XjG d)，Xi声Xj，巧非勺定义为 [006引
[00例 dik表示匹配对Xi与单应矩阵化的残差，djk为匹配对Xj与单应矩阵化的残差，e为预 设的残差阔值，可W根据实际需要进行设置，经实验得到e较优的取值范围为3《e《8,本实 施例中设置e = 5。
[0070] S305:选择匹配对：
[0071] 计算匹配对集4中的每个匹配对Xi与其他所有匹配对的平面相似度f (Xi，Xj)之和 F(Xi) = E非(Xi，Xj)，选择F(Xi)最大的匹配对Xi'作为本次筛选的关键匹配对，计算匹配对 Xi'与其他匹配对平面相似度f (Xi' ,?)的平均值
，筛选f(Xi'，Xj) >favg的匹配对，与关键匹配对Xi^-起构成匹配对集，将匹配对集加入选择匹配对集S 中，即令S = S+S/，并从匹配对集d)中删除运些匹配对，即令d) = 。
[0072] S306:判断是否|sM<t| M 4 |<T，其中Is^ I表示本次筛选匹配对集少中匹配对 数量，I 4 I表示匹配对集4中匹配对数量，T表示预设数量阔值。也就是说，判断是否本次筛 选的匹配对数量或本次筛选剩下的匹配对数量小于T，当任意一项小于T，则结束筛选，否则 返回步骤S302。
[0073] S104:图像坐标系变换：
[0074] 根据步骤S103筛选得到的选择匹配对集S中的匹配对来计算两幅待拼接图像的变 换矩阵H，利用变换矩阵聞尋两幅待拼接图像变换至同一坐标系。记两幅待拼接图像中图像 中点坐标为(xi，yi)，图像2中点坐标为(X2，y2)，那么图像变换矩阵H可W表示为：
[0075]
[0076] 变换矩阵HW及图像变换是图像拼接领域的常用工具，其具体过程在此不再寶述。
[0077] S105:寻找最优缝合线：
[0078] 在变换到同一坐标系下的两幅待拼接图像的图像重合区域寻找最优缝合线L。目 前现有技术中已经存在多种最优缝合线算法，本实施例中采用基于graph-cut(图像分割） 的最优缝合线算法来找出重合区域中差异最小的划分线，依据运条划分线来缝合待拼接图 像，其具体方法为：
[0079] 根据变换后两幅待拼接图像的顶点坐标得到两幅待拼接图像的图像重合区域片 和巧，为图像重合区域建立无向图6<￥，6>，其中V和E分别为顶点和边的集合。顶点集合V 中的顶点有两种:一种为重合区域每个像素点，另一种为额外增加的两个端点S和t。边集合 E中的边也有两种:一种为连接任意两个相邻像素点的边，另一种为S和t分别与任意像素点 连接的边。图4是无向图6<￥，6>的示例图。如图4所示，黑色圆圈分别是两幅待拼接图像在 图像重合区域的像素点，白色圆圈表示增加的两个端点S和t。
[0080] 然后为图6<￥，6>中每个边赋予权值，边集合E可W分为S类:像素点P与端点S之 间的边，像素点P与端点t之间的边W及像素点p、q之间的边，立类边的权值赋值方式分别 为：
[0081 ]参像素点P与端点S之间的边权值e (S，P)
[0082]
[0083] 其中M直是根据需要设置的一个绝对大值，本实施例中^=10000。
[0084] ?像素点P与端点t之间的边权值e(t，p)
[0085]
[0086] ?像素点P、q之间的边权值e (P，q)
[0087]
[008引其中，馬(妨和巧(的分别表示图像重合区域与和写在像素点P的像素值，/i的)和 马1如分别表示图像重合区域巧和巧在像素点q的像素值。
[0089] 给图G<V，E>中的边赋权值之后，建立能量函数Ecut(p，Lp):
[0090]
[0091] 其中，Lp和Lq分别为像素点P和q的像素值来源图像的标号，Ed(p，Lp)由e(s，p)和e (t，p)之和表示，Ed(p，q，Lp，Lq)由e(p，q)表示。然后用max flow算法来找到使Ecut(p，Lp)最 小的分割线，该分割线即为《和的最优缝合线L。
[0092] 基于graph-cut(图像分割）的最优缝合线算法的原理和具体过程可W参考文献 "Gr曰phcut textures:image 曰nd video synthesis using graph cuts"。
[0093] S106:图像融合：
[0094] 根据最优缝合线L对变换到同一坐标系下的两幅待拼接图像进行融合。由于待拼 接的两幅图像可能因为曝光不同等因素有一定的颜色差异，为了使拼接后图像颜色在缝合 线处平滑过渡，本发明采用加权平均法在最优缝合线L周围对待拼接的图像像素值进行融 合。具体方法如下
[00M]记变换到同一坐标系下的两幅待拼接图像为图像1和图像2,其中屯、点分别为Cl和 C2,计算Cl和C2与水平线较小夹角0的余切值tan目，如果tan0小于1，即0小于45°，W水平方向 为融合方向，即沿水平方向融合图像，此时需要将最优缝合线L沿水平方向分别向两侧平移 d，得到两条边界，将与Cl的水平距离小于最优缝合线L与Cl水平距离的边界记为Li,将与C2 的水平距离小于最优缝合线L与C2水平距离的边界记为L2;若tan0大于1，即0大于45°，W垂 直方向为融合方向，即沿垂直方向融合图像，将最优缝合线L沿垂直方向分别向两侧平移d， 得到两条边界，将与Cl的垂直距离小于最优缝合线L与Cl的垂直距离的边界记为^，将与C2 的垂直距离小于最优缝合线L与C2的垂直距离的边界记为L2。
[0096]遍历两幅待拼接图像的每个像素点(x，y)，如果像素点不属于图像重合区域，则融 合图像中该像素点的像素值采用对应图像中的像素值，即保持原有图像中的像素值，否则 按照W下方法进行融合：
[0097]计算该像素点(X，y)与最优缝合线L在融合方向上的距离D(X，y)，如果D(X，y) >d， 则计算像素点（x，y)与中屯、点Cl和C2在融合方向上的距离化和化，如果化>化，则令融合图像 中像素点（x，y)的像素值PU, y)取其在图像1中的像素值，否则令融合图像中像素点(x，y) 的像素值P(x，y)取其在图像2中的像素值，如果D(x，y)<d，则计算像素点(x，y)与边界^和 边界L2在融合方向上的距离山和Cb,那么融合图像中像素点（x，y)的像素值PU, y)按照W下 公式计算：
[009引
[0099] 其中，口如，7)爪此7)分别为像素点此7)在阁像巧0图像2中的像素值。
[0100] 可见，根据边界^和边界L2可W将图像重合区域分为3个区域，边界^和边界L2之 外的两个区域内的像素点不进行融合，边界^和边界L2里面的区域进行加权融合。图5是图 像融合区域示意图。如图5所示，沿水平方向融合时，图像重合区域从左至右分为=个区域， 两侧区域（区域1和区域2)的像素点像素值分别来源于对应的图像，中间区域（区域3)的像 素值采用加权平均；沿垂直方向融合时，图像重合区域从上至下分为=个区域，上下区域 (区域1和区域2)的像素点像素值分别来源于对应的图像，中间区域（区域3)的像素值采用 加权平均。
[0101] 实施例
[0102] 为了更好地说明本发明的技术效果，采用本发明对具体实例进行实验验证，并且 与传统算法进行对比。
[0103] 首先对本发明的特征点匹配对筛选算法进行对比验证，采用传统的RANSAC (random sample consensus,随机抽样一致)算法作为对比算法。图6是本发明特征点匹配 对筛选算法和RANSAC算法的对比图。如图6所示，RANSAC算法筛选出了一部分的正确匹配 对，同时特抛弃了一部分正确匹配。而本发明的筛选算法不仅排除掉了初始的特征点匹配 对中的误匹配对，并且将大多数的正确匹配对按所属平面筛选出。
[0104] 为了验证本发明图像拼接方法的有效性，先对一系列在不同视点拍摄的存在视差 的图像进行了实验。图7是多个视点的拍摄图像。如图7所示，本实施例中共有5个视点的图 像，W视点2为基准，视点1为视点2向左平移约Im,视点3、4、5分别为视点2向右平移约Im、 2m、3m。由于所拍场景为非平面场景，各图像也是在不同视点拍摄，因此得到的图像之间存 在一定视差。
[0105] 接下来分别把视点1、3、4、5图像和视点2图像进行了拼接。图8是图7中视点1与视 点2图像拼接结果。图9是图7中视点3与视点2图像拼接结果。图10是图7中视点4与视点2图 像拼接结果。图11是图7中视点5与视点2图像拼接结果。从图8至图11可W看出，拼接结果都 不存在虚影和物体错切的现象，可W得到良好的拼接结果，证明了本发明的图像拼接方法 具有一定的视差鲁棒性。
[0106] Mathew Brown等人提出的经典拼接算法Autostitch中，采用SIFT算法检测特征 点，然后采用RANSAC算法筛选特征点匹配对，计算变换矩阵，最后采用多频段融合算法对重 合区域进行融合，得到拼接结果。Julio Zaragoza等人针对自由拍摄的图像，提出4口4口(八3- Project-as-Possible)算法，计算图像之间的仿射变换矩阵，并对局部的仿射矩阵进行微 调，W此来提高拼接的质量。在此将将本发明图像拼接算法与Autostich算法和APAP算法对 =个实例的拼接结果进行了对比。
[0107] 图12是拼接实例1所采用的图像。图13是本发明、Autostitch算法和APAP算法对实 例1的拼接结果对比图。如图13所示，对=种方法对实例1所示图像的拼接结果中拼接处方 框内的部分进行局部放大。由局部放大可W看出，Autostitch算法和APAP算法在拼接处都 存在物体错切或虚影的地方，而本发明的接拼接结果则不存在运些问题，表现良好。
[0108] 图14是拼接实例2所采用的图像。图15是本发明、Autostitch算法和APAP算法对实 例2的拼接结果对比图。如图15所示，对=种方法对实例2所示图像的拼接结果中拼接处方 框内的部分进行局部放大。由局部放大可W看出，Autostitch算法的拼接结果中方框内的 汽车被虚化，APAP算法的拼接结果中有较为明显的拼接线，方框区域内的汽车存在严重虚 影。而本发明的接拼接结果则不存在运些问题，表现良好。
[0109] 图16是拼接实例3所采用的图像。图17是本发明、RANSAC算法和APAP算法对实例3 拼接结果对比图。如图17所示，对=种方法对实例3所示图像的拼接结果中拼接处方框内的 部分进行局部放大。由局部放大可W看出，Autostitch算法和APAP算法在拼接处都存在物 体错切或虚影的地方，而本发明的接拼接结果则不存在运些问题，表现良好。
[0110] 根据W上=个实例的对比可W看出，本发明可W有效避免虚影、物体错切等，能够 达到良好的图像拼接效果。
[0111] 尽管上面对本发明说明性的【具体实施方式】进行了描述，W便于本技术领域的技术 人员理解本发明，但应该清楚，本发明不限于【具体实施方式】的范围，对本技术领域的普通技 术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，运些 变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
【主权项】
1. 一种基于特征点平面相似度的图像拼接方法，其特征在于，包括以下步骤： S1:对待拼接的两幅图像分别进行特征点提取； S2:对两幅待拼接图像的特征点进行匹配，得到特征点匹配对集Φ ; S3:基于平面相似度对特征点匹配对进行筛选，具体步骤包括： S3.1:初始化选择匹配对集S为空集； S3.2:从匹配对集Φ中随机选取K个最小采样集{ChC% ...，CK}，其中每个最小采样集 包括4个特征点匹配对；计算每个最小采样集对应的单应矩阵，得到K个单应矩阵集{h， T2，…，Τκ}，其中Tk表示第k个最小采样集对应的单应矩阵，k=l，2,…，K; S3.3:计算匹配对集Φ中每个匹配对Xi与单应矩阵集{Ti，T2，…，Τκ}中每个单应矩阵的 残差，每个匹配对Xi对应的Κ个残差组成一个残差向量6 = [(1η(^2 ... diK]，其中dik表示 匹配对t与单应矩阵Tk的残差； S3.4:对于匹配对集Φ中所有匹配对，两两计算平面相似度，任意两个匹配对XjPXj的 平面相似度f(Xi ,?)的计算公式为：其中，g的定义为dlk表示匹配对Xi与单应矩阵Tk的残差，山k为匹配对心与单应矩阵T k的残差，ε为预设的 残差阈值； S3.5:计算匹配对集Φ中的每个匹配对Xi与其他所有匹配对的平面相似度fUi，XJ之 和F(X〇,选择F(X〇最大的匹配对作为本次筛选的关键匹配对，计算匹配对与其他匹 配对平面相似度f(Xi'，Xj)的平均值匕 8,筛选f(Xi'，Xj)>favg的匹配对，与关键匹配对Xi'- 起构成匹配对集S'，将匹配对集S'加入选择匹配对集S中，并从匹配对集Φ中删除这些匹配 对； 33.6:如果|5/|<1巾||<1，其中|5/|表示本次筛选匹配对集5 /中匹配对数量，|小 表示匹配对集Φ中匹配对数量，τ表示预设数量阈值，结束筛选，否则返回步骤S3.2; S4:根据步骤S3筛选得到的选择匹配对集S中的匹配对来计算两幅待拼接图像的变换 矩阵Η，利用变换矩阵Η将两幅待拼接图像变换至同一坐标系； S5:在变换到同一坐标系下的两幅待拼接图像的图像重合区域寻找最优缝合线L; S6:根据步骤S5得到的最优缝合线L对变换到同一坐标系下的两幅待拼接图像进行融 合，得到图像拼接结果。2. 根据权利要求1所述的图像拼接方法，其特征在于，所述步骤S1中特征点提取的特征 采用SURF特征。3. 根据权利要求1所述的图像拼接方法，其特征在于，所述步骤S3.4中残差阈值ε的取 值范围为3彡ε彡8。4. 根据权利要求1所述的图像拼接方法，其特征在于，所述步骤S5中寻找最优缝合线L 采用基于graph-cut的最优缝合线算法。5.根据权利要求1所述的图像拼接方法，其特征在于，所述步骤S6中图像融合的具体方 法为： 记变换到同一坐标系下的两幅待拼接图像为图像1和图像2,其中心点分别为&和(：2，计 算Cl和C2与水平线较小夹角Θ的余切值tan0，如果tan0小于1，以水平方向为融合方向，将最 优缝合线L沿水平方向分别向两侧平移d，得到两条边界，将与&的水平距离小于最优缝合 线L与Q水平距离的边界记为U，将与C 2的水平距离小于最优缝合线L与(：2水平距离的边界 记为L2;若tan0大于1，以垂直方向为融合方向，将最优缝合线L沿垂直方向分别向两侧平移 d，得到两条边界，将与(^的垂水平距离小于最优缝合线L与&的垂直距离的边界记为1^，将 与&的垂直距离小于最优缝合线L与&的垂直距离的边界记为L 2; 遍历两幅待拼接图像的每个像素点(x，y)，如果像素点不属于图像重合区域，则融合图 像中该像素点的像素值采用对应图像中的像素值，否则按照以下方法进行融合： 计算该像素点(X，y)与最优缝合线L在融合方向上的距离D(X，y)，如果D(X，y)多d，则计 算像素点(x，y)与中心点&和(：2在融合方向上的距离DjPD2,如果则令融合图像中像 素点（x，y)的像素值P(x，y)取其在图像1中的像素值，否则令融合图像中像素点（x，y)的像 素值P(x，y)取其在图像2中的像素值，如果D(x，y)<d，则计算像素点(x，y)与边界U和边界 L2在融合方向上的距离cU和d2,那么融合图像中像素点（x，y)的像素值P(x，y)按照以下公式 计算：其中，丹(^7)、？2(^7)分别为像素点(1，7)在图像1和图像2中的像素值。
【文档编号】G06T3/00GK105957007SQ201610288662
【公开日】2016年9月21日
【申请日】2016年5月5日
【发明人】何建, 周雪, 何香静, 邹见效, 徐红兵
【申请人】电子科技大学