一种图像拼接处理方法、装置及客户端的制作方法
【专利摘要】本发明实施例提供了一种图像拼接处理方法、装置及客户端，该方法包括：确定第一图像与第二图像的重合部分；将第一图像和第二图像的重合部分进行融合处理，生成融合处理后的重合部分；根据第一图像的非重合部分、第二图像的非重合部分和融合处理后的重合部分生成第三图像。本发明实施例提供的图像拼接处理方法、装置及客户端，实现了将具有重合部分的两个图像的融合后拼接，拼接处理后的图像自然，无拼接缝隙，提高了拼接处理的效果。
【专利说明】一种图像拼接处理方法、装置及客户端
【技术领域】
[0001] 本发明涉及图像处理【技术领域】，尤其涉及一种图像拼接处理方法、装置及客户端。
【背景技术】
[0002] 目前很多手机拍照软件都能提供图片拼接的功能，用户可以将同一场景的至少两 张照片通过手动的方式拼接在一起。
[0003] 现有手机拍照软件的拼图功能可以将至少两张照片拼接在一起，生成一张完整的 图片。但是现有的拼图功能不会对拼接的照片边界进行处理，只是简单地将两张照片的边 界拼接在一起。由于两张照片是分别拍照的，照片的边界不一定对齐，拼接生成的图片会比 较生硬，无法将两张取景相同的照片高还原度的拼接在一起。
【发明内容】
[0004] 鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上 述问题的一种图片拼接处理方法、装置及客户端。
[0005] 基于上述问题，本发明实施例提供一种图像拼接处理方法，包括：
[0006] 确定第一图像与第二图像的重合部分；
[0007] 将所述第一图像和所述第二图像的重合部分进行融合处理，生成融合处理后的重 合部分；
[0008] 根据所述第一图像的非重合部分、所述第二图像的非重合部分和所述融合处理后 的重合部分生成第三图像。
[0009] 本发明实施例提供一种图像拼接处理装置，包括：
[0010] 重合确定模块，用于确定第一图像与第二图像的重合部分；
[0011] 融合处理模块，用于将所述第一图像和所述第二图像的重合部分进行融合处理， 生成融合处理后的重合部分；
[0012] 图像生成模块，用于根据所述第一图像的非重合部分、所述第二图像的非重合部 分和所述融合处理后的重合部分生成第三图像。
[0013] 本发明实施例提供一种客户端，该客户端包括本发明实施例提供的图像拼接处理 装直。
[0014] 本发明实施例的有益效果包括：
[0015] 本发明实施例提供的图片拼接处理方法、装置及客户端，通过确定第一图像与第 二图像的重合部分，将第一图像和第二图像的重合部分进行融合处理，生成融合处理后的 重合部分，再根据第一图像的非重合部分、第二图像的非重合部分和融合处理后的重合部 分生成第三图像，实现了将具有重合部分的两个图像的融合后拼接，拼接处理后的图像自 然，无拼接缝隙，提高了拼接处理的效果。
[0016] 上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段， 而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够 更明显易懂，以下特举本发明的【具体实施方式】。
【专利附图】
【附图说明】
[0017] 通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通 技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明 的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
[0018] 图1为本发明实施例提供的一种图像拼接处理方法流程图；
[0019] 图2为本发明实施例提供的每一个像素点要和它所有的相邻点的进行比较的示 意图；
[0020] 图3为本发明实施例提供的另一种图像拼接处理方法流程图；
[0021] 图4为本发明实施例提供的图像拼接处理装置结构示意图。
【具体实施方式】
[0022] 下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开 的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例 所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围 完整的传达给本领域的技术人员。
[0023] 下面结合说明书附图，对本发明实施例提供的一种图片拼接处理方法、装置及客 户端的【具体实施方式】进行说明。
[0024] 图1为本发明实施例提供的一种图像拼接处理方法流程图，如图1所示，本实施 例提供的图像拼接处理方法可以实现对图像的拼接处理，可以通过图像拼接处理装置来实 现，该图像拼接处理装置可以设置在照相机、智能手机、平板电脑或者其他具有图像拍摄功 能的设备中。本实施例提供的图像拼接处理方法具体包括如下步骤：
[0025] S101、确定第一图像与第二图像的重合部分；
[0026] S102、将所述第一图像和所述第二图像的重合部分进行融合处理，生成融合处理 后的重合部分；
[0027] S103、根据所述第一图像的非重合部分、所述第二图像的非重合部分和所述融合 处理后的重合部分生成第三图像。
[0028] 具体地，第一图像和第二图像基于相同的场景取景，或者至少基于部分相同的场 景取景，即第一图像和第二图像具有一定的重合度。比如说，在同一场景中为不同的两个人 分别拍摄的两张照片，那么这两张照片中重合的部分就是相同的场景，非重合部分就是这 两个人。
[0029] 确定第一图像与第二图像的重合部分的方法可以有多种，如可以采用基于图像灰 度统计特性配准算法、基于图像特征配准算法或者基于图像理解的配准算法来确定第一图 像和第二图像的重合部分。确定第一图像和第二图像的重合部分后，对该重合部分进行融 合处理，生成融合处理后的重合部分，融合处理的方法也可以有多种，如逻辑滤波法、灰度 加权平均法和对比调制法等。再根据第一图像中的非重合部分、第二图像的非重合部分和 融合处理后的重合部分生成第三图像，第三图像中不仅有第一图像和第二图像重合的部 分，还包括二者不重合的部分，而且由于对第一图像和第二图像的重合部分进行了融合处 理，使得两个图像的拼接非常自然，消除了生硬的感觉。
[0030] 再以上述例子对本实施例进行说明，为了描述方便，两个人分别为A和B，A先用摄 像设备为B拍了一张照片，拍摄完毕后，B又使用该摄像设备为A拍了一张照片，背景相同。 那么这两张照片经过本实施例提供的方法处理后，会生成一张A和B在同一上述背景中的 照片，且看不出拼接的痕迹，就像其他人为A和B在该背景下拍得合影一样。
[0031] 本实施例提供的方法，通过确定第一图像与第二图像的重合部分，将第一图像和 第二图像的重合部分进行融合处理，生成融合处理后的重合部分，再根据第一图像的非重 合部分、第二图像的非重合部分和融合处理后的重合部分生成第三图像，实现了将具有重 合部分的两个图像的融合后拼接，拼接处理后的图像自然，无拼接缝隙，提高了拼接处理的 效果。
[0032] 本发明实施例上述SlOl?S103虽然说明的是对第一图像和第二图像拼接处理方 法，但本领域的技术人员可以很容易地想见，当用户需要对两张以上的图像进行拼接时，在 这些图像中的每两张图像（具有重合的部分）之间，都可以采用上述S101-S103的步骤实 现，本发明并不限定图像拼接的数量。
[0033] 在本实施例中，所述第一图像和所述第二图像基于相同场景取景，所述第三图像 中的场景与所述第一图像和所述第二图像中的场景一致。
[0034] 在本实施例中，S101，确定第一图像与第二图像的重合部分，具体可以包括如下步 骤：
[0035] 从所述第一图像中提取多个第一特征点，从所述第二图像中提取多个第二特征 占.
[0036] 对所述多个第一特征点和所述多个第二特征点进行匹配，确定相匹配的多个特征 点对，根据所述多个特征点对分别在所述第一图像和所述第二图像中的位置，确定所述重 合部分。
[0037] 具体地，特征点可以是图像中的关键点，关键点是在不同尺度空间的图像下检测 出的具有方向信息的局部极值点，这些点是一些十分突出的点不会因光照条件的改变而消 失，比如角点、边缘点、暗区域的亮点以及亮区域的暗点,这些点是较为稳定的点。可以通过 尺度不变特征变换（ScaleInvariantFeatureTransform，简称SIFT)或快速鲁棒性特征 (Speeded-UpRobustFeatures，简称SURF)算法等特征检测分析算法从图像中提取特征 点。
[0038] 从第一图像中提取多个第一特征点，从第二图像中提取多个第二特征点，由于第 一图像和第二图像具有重合部分，那么通过特征检测分析算法分别从第一图像和第二图像 中提取的特征点，必然存在相互对应的匹配点。确定相匹配的第一特征点和第二特征点，形 成特征点对，再根据这些匹配的特征点分别在第一图像和第二图像中的位置确定二者的重 合部分。
[0039] 在本实施例中，步骤，从所述第一图像中提取多个第一特征点，从所述第二图像中 提取多个第二特征点，具体可以包括：
[0040] 对所述第一图像进行特征检测分析，确定所述多个第一特征点的位置、尺度和方 向；
[0041] 对所述第二图像进行所述特征检测分析，确定所述多个第二特征点的位置、尺度 和方向。
[0042] 优选地，通过SIFT算法分别确定第一图像中的多个第一特征点的位置、尺度和方 向，以及第二图像中的多个第二特征点的位置、尺度和方向。
[0043] SIFT算法的本质是利用模式识别中的特征点提取，然后用多为距离空间来训练样 本得到最佳的数学模型，寻找图像中的特征点（即SIFT特征）并为后续的特征比对做准 备。
[0044] 在SIFT算法中，特征点是由高斯差分（DifferenceofGaussian,简称DoG)空间 的局部极值点组成的。为了寻找DoG函数的极值点，每一个像素点要和它所有的相邻点比 较，看其是否比它的图像域和尺度域的相邻点大或者小。中间的检测点和它同尺度的8个 相邻点和上下相邻尺度对应的18个点共26个点比较（如图2所示），以确保在尺度空间和 二维图像空间都检测到极值点，将这个极值点作为特征点，这样找到的特征点具备良好的 独特性和稳定性。通过尺度不变性求极值点，可以使其具有缩放不变的性质，利用特征点邻 域像素的梯度方向分布特性，可以为每个特征点指定方向参数，从而使DoG算子对图像旋 转具有不变性。确定特征点的方向参数采用梯度直方图统计法，统计以特征点为原点一定 区域内的图像像素点对特征点方向所作的贡献。
[0045] 例如，在以特征点为中心的邻域窗口采样，并利用直方图统计邻域像素的梯度方 向，梯度直方图的范围是0-360度，其中每10度为一个柱，总共36个柱，直方图的峰值则代 表了该特征点处邻域梯度的主方向，即作为该特征点的方向。
[0046] 由于SIFT特征对于旋转和尺度具有不变性，并对于噪声具有良好的鲁棒性。用户 在分别拍摄两张照片时，难免会发生拍摄位置、角度的变化，而SIFT特征可以很好的适应 这种变化。
[0047] 上述步骤中，对两幅图像分别提取其中的特征点，在具体实施时，还可以通过SURF 算法来实现。opencv的SURF算法在适中的条件下完成两幅图像中物体的匹配基本实现了 实时处理，其快速的基础实际为积分图像haar求导。SURF在图像处理领域十分流行，计算 速度也较SIFT算法快，但是其尺度变换和旋转变换的适应性上不如SIFT算法，而拍照的 情景常会出现手抖或者位移的现象，为了更好地拼接两张重合部分发生角度、位置变化的 图片，本发明实施例优选可采用SIFT算法，若采用SURF算法，速度会更快，但拼接效果会稍 差。
[0048] 可以理解的是，本实施例只是提供了优选的特征检测分析方法，本领域技术人员 可以通过其他方法提取特征点，不以本实施例为限。
[0049] 在本实施例中，步骤，对所述多个第一特征点和所述多个第二特征点进行匹配，确 定相匹配的多个特征点对，具体可以包括为：
[0050] 根据所述多个第一特征点建立第一k_d树，根据所述多个第二特征点建立第二 k_d树；
[0051] 对所述第一k-d树和所述第二k-d树进行匹配查找，确定相匹配的多个特征点对。
[0052] 具体地，分别建立第一特征点和第二特征点的k-d树（k-dimensiontree)，以便 于匹配查找。由于从第一图像和第二图像中提取的特征点数量可能非常大，在进行特征点 匹配时，为了提高查找效率，进而提高整个图像拼接的效率，在本发明实施例中，采用了k-d tree的数据结构。k-dtree是一种高维索引树形数据结构，常用于在大规模的高维数据空 间进行最近邻查找和近似最近邻查找。它是一棵二叉树，树中存储的是一些K维数据。在 一个K维数据集合上构建一棵k-dtree代表了对该K维数据集合构成的K维空间的一个 划分，即树中的每个结点就对应了一个K维的超矩形区域。
[0053] 匹配查找的方法也可以有多种，优选的，本实施例可以采用最优节点优先（Best BinFirst,简称BBF)算法，k-dtree在维度较小时，算法的查找效率很高，然而当k-dtree 用于对高维数据进行索引和查找时，就面临着维数灾难问题，查找效率会随着维度的增加 而迅速下降。通常，图像处理中特征点的数据就都具有高维的特点，因此本发明实施例采用 k-dtree+BBF的方法。k-dtree算法在高维空间中由于过多的回溯次数导致算法查找效 率下降，利用BBF算法就可以限制查找时进行回溯的次数上限，从而避免查找效率下降。
[0054] 当然，本发明实施例并不限于在特征点的匹配过程中使用上述数据结构和对应的 查找方式，能够实现特征点的匹配的其他数据结构和对应的查找方式，同样适用于本发明 实施例。
[0055] 在本实施例中，步骤S102,将所述第一图像和所述第二图像的重合部分进行融合 处理，生成融合处理后的重合部分，具体可以为 ：
[0056] 将所述第一图像和所述第二图像的重合部分的像素点进行加权平均处理，生成所 述融合处理后的重合部分。
[0057] 具体地，可以将第一图像和第二图像重合部分的像素点进行加权平均处理实现对 重合部分的融合处理。对两幅图像重合部分的像素点进行加权平均的权重选择也有好多方 法，比如可以计算两个像素的平均值，即-
【权利要求】
1. 一种图像拼接处理方法，其特征在于，包括： 确定第一图像与第二图像的重合部分； 将所述第一图像和所述第二图像的重合部分进行融合处理，生成融合处理后的重合部 分； 根据所述第一图像的非重合部分、所述第二图像的非重合部分和所述融合处理后的重 合部分生成第三图像。
2. 如权利要求1所述的方法，其特征在于，确定第一图像与第二图像的重合部分，包 括： 从所述第一图像中提取多个第一特征点，从所述第二图像中提取多个第二特征点； 对所述多个第一特征点和所述多个第二特征点进行匹配，确定相匹配的多个特征点 对，根据所述多个特征点对分别在所述第一图像和所述第二图像中的位置，确定所述重合 部分。
3. 如权利要求1-2任一项所述的方法，其特征在于，从所述第一图像中提取多个第一 特征点，从所述第二图像中提取多个第二特征点，包括： 对所述第一图像进行特征检测分析，确定所述多个第一特征点的位置、尺度和方向； 对所述第二图像进行所述特征检测分析，确定所述多个第二特征点的位置、尺度和方 向。
4. 如权利要求1-3任一项所述的方法，其特征在于，对所述多个第一特征点和所述多 个第二特征点进行匹配，确定相匹配的多个特征点对，包括： 根据所述多个第一特征点建立第一 k-d树，根据所述多个第二特征点建立第二k-d 树； 对所述第一 k-d树和所述第二k-d树进行匹配查找，确定相匹配的多个特征点对。
5. 如权利要求1-4任一项所述的方法，其特征在于，将所述第一图像和所述第二图像 的重合部分进行融合处理，生成融合处理后的重合部分，具体为： 将所述第一图像和所述第二图像的重合部分的像素点进行加权平均处理，生成所述融 合处理后的重合部分。
6. 如权利要求1-5任一项所述的方法，其特征在于，根据所述第一图像的非重合部分、 所述第二图像的非重合部分和所述融合处理后的重合部分生成第三图像，包括： 根据所述多个特征点对计算得到变换矩阵，根据所述变换矩阵对所述第二图像进行变 换处理，根据所述第一图像的非重合部分、变换处理后的第二图像的非重合部分和所述融 合处理后的重合部分生成所述第三图像。
7. 如权利要求1-6任一项所述的方法，其特征在于，对所述多个第一特征点和所述多 个第二特征点进行匹配，确定相匹配的多个特征点对之后，根据所述多个特征点对计算得 到变换矩阵之前，所述方法还包括： 通过随机采样算法对所述多个特征点对进行筛选； 相应地，根据所述匹配的特征点对计算得到变换矩阵，具体为： 根据筛选后的特征点对，计算得到所述变换矩阵。
8. 如权利要求1-7任一项所述的方法，其特征在于，通过随机采样算法对所述多个特 征点对进行筛选，根据筛选后的特征点对，计算得到所述变换矩阵，包括： 从所述多个特征点对中，随机抽选一个样本； 根据样本中的特征点对，计算得到所述变换矩阵； 根据所述样本、所述变换矩阵和误差度量函数，计算满足所述变换矩阵的一致集； 根据所述一致集中的元素个数，判断所述一致集是否为设定的最优一致集，若是，则计 算当前错误概率，当所述错误概率低于预设的最小错误概率时，将所述变换矩阵作为最终 结果输出，否则，重复上述步骤，直至所述错误概率低于所述预设的最小错误概率。
9. 一种图像拼接处理装置，其特征在于，包括： 重合确定模块，用于确定第一图像与第二图像的重合部分； 融合处理模块，用于将所述第一图像和所述第二图像的重合部分进行融合处理，生成 融合处理后的重合部分； 图像生成模块，用于根据所述第一图像的非重合部分、所述第二图像的非重合部分和 所述融合处理后的重合部分生成第三图像。
10. -种客户端，其特征在于，所述客户端包括如权利要求9所述的图片的拼接装置。
【文档编号】G06T3/40GK104318517SQ201410665268
【公开日】2015年1月28日 申请日期:2014年11月19日 优先权日:2014年11月19日
【发明者】李睿, 宋爽, 刘博扬, 王蕾, 王康 申请人:北京奇虎科技有限公司, 奇智软件（北京）有限公司