一种全景图像拼接方法及装置的制造方法
【技术领域】
[0001] 本发明涉及图像处理技术领域，尤其涉及一种全景图像拼接方法及装置。
【背景技术】
[0002] 随着数码相机，智能手机等手持设备的兴起，照片的拍摄和分享变得日益便捷，逐 渐成为我们生活中一项重要的娱乐活动。由于单个相机的视角有限，因此许多拍照程序都 提供一种全景拍摄模式，引导用户拍摄多张照片，然后自动合成一幅大视角全景图。在相机 纯旋转的拍摄条件下，所有输入图像来自同一视点，这种情况经过大量研究，已经存在比较 成熟的模型和解法，在实际中也得到了广泛应用。
[0003] 但是在手持设备的使用过程中，实际上很难保证以单视点进行拍摄，即很难保证 纯旋转的拍摄条件。因此不同图像之间产生视差。视差的出现是由于不同的光学投影中心 导致的，当从两个或多个视点观察同一景物时，不同的视点在不同的视角下感知图像，通过 三角测量原理可以计算出不同视角下获得的该景物的图像像素的位置偏差，也就是视差。 不同的视点在不同的视角下感知图像上的同一物体存在一个透视变换关系，该透视变换关 系可以用一个单应矩阵来表示。
[0004] 现有技术中的全景拼接方法采用一个全局单应矩阵，即以一个单应矩阵来表示输 入的图像之间的透视变换关系。以两个图像拼接为例，首先获的两个图像的匹配特征点，所 谓匹配特征点即两特征点在空间上表示同一点。然后根据获取的匹配特征点，求解单应矩 阵，最后，根据该单应矩阵将其中一幅图像上的所有像素点进行变换，确定在另一幅图像所 在平面的对应位置，即得到两幅图的拼接结果。然后再对图像进行颜色融合等处理，得到较 好的拼接图。
[0005] 但是这种拼接方法只能适用于摄像机纯旋转的条件下拍摄的图像。若摄像机并非 纯旋转，产生位移时，一个全局的单应矩阵不能对图像进行配准，出现拼接误差使得拼接结 果图像产生畸变。
[0006] 现有技术没有一种有效的拼接方式能够在摄像机非纯旋转、存在位移时能够对多 个图像进行很好的处理，使得拼接的图像畸变产生率降低。
【发明内容】
[0007] 本发明实施例提供一种全景图像拼接方法及装置，能够在摄像机非纯旋转、存在 位移时能够对多个图像进行很好的处理，使得拼接的图像畸变产生率降低。
[0008] 第一方面，本发明实施例提供了一种全景图像拼接方法，该方法包括：
[0009] 提取多幅待拼接图像中的图像的特征点；
[0010] 在所述多幅待拼接图像中每两幅图像各自的特征点之间进行特征点匹配，从而获 取包括匹配成功的特征点对的第一特征点对集合；
[0011] 将所述多幅待拼接图像中的图像划分为多个矩形区域，并获取所述多个矩形区域 的顶点坐标；
[0012] 基于所述第一特征点对集合中的特征点的坐标，以及所述多个矩形区域的的顶点 坐标，构建所述多个矩形区域的顶点坐标的全局能量函数；
[0013] 求解使得所述全局能量函数的值最小的最优解，将所述最优解作为所述多个矩形 区域的求解后的顶点坐标；
[0014] 基于所述求解后的顶点坐标对多幅待拼接图像的图像进行坐标变换，从而获取多 幅变换后的待拼接图像；
[0015] 将所述多幅变换后的待拼接图像进行拼接。
[0016] 结合第一方面，在第一方面的第一种可能的实现方式中，所述基于所述第一特征 点对集合中的特征点的坐标，以及所述多个矩形区域的的顶点坐标，构建所述多个矩形区 域的顶点坐标的全局能量函数包括：
[0017] 基于所述第一特征点对集合中任一特征点所在的矩形区域的顶点坐标以及所述 任一特征点的坐标，确定所述任一特征点所在的矩形区域的顶点坐标的权值；
[0018] 基于与所述任一特征点匹配的特征点所在的矩形区域的顶点坐标以及所述与所 述任一特征点匹配的特征点的坐标，确定所述与所述任一特征点匹配的特征点所在的矩形 区域的顶点坐标的权值；
[0019] 基于所述任一特征点的表示坐标与所述与所述任一特征点匹配的特征点的表示 坐标的差，构建所述配准项；所述任一特征点的表示坐标由所述任一特征点所在的矩形区 域的顶点坐标的权值，以及所述任一特征点所在的矩形区域的顶点坐标表示；所述与所述 任一特征点匹配的特征点的表示坐标由所述与所述任一特征点匹配的特征点所在的矩形 区域的顶点坐标的权值，以及所述与所述任一特征点匹配的特征点所在的矩形区域的顶点 坐标表示。
[0020] 结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式 中，所述配准项通过如下公式表示：
[0021]
[0022] 其中，EA(V)表示所述配准项；C表示所述第一特征点对集合；Pl表示所述第一特征 点对集合的特征点；p_j表示与P i匹配特征点；胃;表示包括P;所在的矩形区域的顶点坐标的 权值的权值矩阵，11用于使得WJ表示Pl的表示坐标；Wj表示包括pj所在的矩形区域的顶 点坐标的权值的权值矩阵，1^用于使得WjV表示Pj的表示坐标；表示Pl所在的矩形 区域包括特征点数量与Pj所在的矩形区域包括的特征点数量的和；v表示所述多个矩形区 域的顶点坐标。
[0023] 结合第一方面的第一种或者第二种可能的实现方式，在第一方面的第三种可能的 实现方式中，所述全局能量函数还包括正则项，所述基于多个矩形区域的顶点坐标中的各 个顶点坐标构建全局能量函数，还包括：
[0024] 基于所述多个矩形区域的顶点坐标中的任一顶点的顶点坐标与所述多个矩形区 域的相邻顶点坐标的平均顶点坐标的差，构建所述正则项，所述相邻顶点坐标为与所述任 一顶点相邻的顶点的顶点坐标。
[0025] 结合第一方面的第三种可能的实现方式，在第一方面的第四种可能的实现方式 中，所述正则项通过如下公式表示：
[0026]
[0027] 其中，ER(V)表示所述正则项；V表示所述多个矩形区域的顶点坐标；v表示所述任 一顶点；Vl表示所述与所述任一顶点相邻的顶点；Inv|表示所述与所述任一顶点相邻的顶 点的顶点个数；wv是顶点V的索引矩阵，用于从所述V中提取顶点V的坐标；％是顶点Vl 的索引矩阵，用于从所述V中提取顶点\的坐标。
[0028] 结合第一方面的第一种至第四种可能的实现方式中的任意一种，在第一方面的第 五种可能的实现方式中，所述全局能量函数还包括尺度项，所述基于多个矩形区域的顶点 坐标中的各个顶点坐标构建全局能量函数，还包括：
[0029]基于L上的特征点构建凸多边形，其中，I 的凸多边形的顶点为Ii上的特征点， L为所述多幅待拼接图像中的图像；
[0030] 基于所述第一特征点对集合确定Ii上的特征点对应在I上的特征点；
[0031]基于构建的^上的凸多边形与Ii上的特征点的关系，以及I;上的特征点构建Ij 上的凸多边形，1_,为所述多幅待拼接图像中的与I1具有重叠区域的图像；
[0032] 将^上的凸多边形的周长与I,上的凸多边形的周长的比值作为相对尺度比；
[0033] 基于所述相对尺度比，确定L的绝对缩放因子；
[0034]获取L的尺度信息与所述Ii的绝对缩放因子的乘积；
[0035] 在所述求解使得所述全局能量函数的值最小的最优解过程中，将当前解作为所述 多个矩形区域的临时顶点坐标；
[0036] 基于所述临时顶点坐标对L进行坐标变换，从而获取IΛ
[0037] 基于的尺度信息与所述乘积的差，构建所述尺度项。
[0038] 结合第一方面的第五种可能的实现方式，在第一方面的第六种可能的实现方式 中，所述正则项通过如下公式表示：
[0039]
[0040] 其中，ES(V)表示所述尺度项；V表示所述多个矩形区域的顶点坐标；I表示所述多 幅待拼接图像；C表示所述变换后的i1;l|Bt| |、| |Bb| |、|也| |和| |B」|分别表示L的上 下左右四条边的边长；s(u表示L的尺度信息；S(ID表示所述变换后的L的尺度信息； 81表示所述Ii的绝对缩放因子。
[0041] 结合第一方面的第五种或者第六种可能的实现方式，在第一方面的第七种可能的 实现方式中，所述基于所述相对尺度比，确定L的绝对缩放因子包括：
[0042] 求解如下最优化问题，从而获取^的绝对缩放因子s1:
[0043]
[0044] 其中，|I|表示所述多幅待拼接图像的图像个数；I表示所述多幅待拼接图像；Q 表示存在重叠区域的图像对集合；8]表示图像I,的绝对缩放因子；γu表示所述相对尺度 比。
[0045] 结合第一方面的第一种至第七种可能的实现方式中的任意一种，在第一方面的第 八种可能的实现方式中，所述全局能量函数还包括以下至少一项：直线约束项，方向约束 项；
[0046] 所述直线约束项通过如下公式表示：
[0047]
[0048]其中，Eline(V)表示所述直线约束项；L表示预先提取到的所述多幅待拼接图像中 直线构成的集合；1表示L中的直线；[a:,bJi表示与直线1垂直的单位向量；:^表示在直 线1上均匀的采集到的η个点中第i点；^彳表示包括&的权值的矩阵，以使得表示 仁的坐标，所述fi的权值为由fi的坐标以及f#斤在的矩形区域的顶点坐标来表示的权值；V表示所述多个矩形区域的顶点坐标；
[0049] 所述方向约束项通过如下公式表示：
[0050]
[0051] 其中，Ε^_1ειη(ν)表示所述方向约束项；LH表示所述多幅待拼接图像中的消失线 中的垂直方向上的线的集合，所述消失线为产生透视变换的线；"表示所述消失线中的水 平方向上的线的集合；plPqa表示LH中的消失线1a的两个端点；pqb表示L￥中的消失 线lb的两个端点；表示点？3的X坐标的权值矩阵，以使得表示？3的X坐标；%：; 表示点Pb的y坐标的权值矩阵，以使得气表示Pb的y坐标；表示点93的X坐标的 权值矩阵，以使得^^厂表示93的X坐标；%;：表示点'的y坐标的权值矩阵，以使得% 表示y坐标。
[0052] 结合第一方面的第一种至第八种可能的实现方式中的任意一种，在第一方面的第 九种可能的实现方式中，当所述全景图像拼接方法应用于360°全景应用场景时，所述全局 能量函数还包括闭合环路约束项；所述闭合环路约束项通过如下公式表示：
[0053]
[0054] 其中，Elcmp(V)表示所述闭合环路约束项；Cg表示所述多幅待拼接图像中首尾两 幅图像之间匹配的特征点构成的有向边对集合；8 1表示有向边对集合中的一条有向边； 表示有向边对集合中与&匹配的有向边；和gf表示有向边gl的两个端点的坐标； 表示pf的权值矩阵，以使得》表示pf; ^彳表示 < 的权值矩阵，以使得表示 乂和￥表示有向边&的两个端点的坐标；%表示Z的权值矩阵，以使得%严表 示，h 表示4的权值矩阵，以使得%丨^表示V表示所述多个矩形区域的顶点坐 标。
[0055] 结合第一方面和第一方面的第一种至第九种可能的实现方式中的任意一种，在第 一方面的第十种可能的实现方式中，所述将所述多幅变换后的待拼接图像进行拼接包括：
[0056] 通过图割Graphcut算法对所述多幅变换后的待拼接图像进行优化；
[0057] 将多幅优化后的待拼接图像进行拼接。
[0058] 结合第一方面和第一方面的第一种至第十种可能的实现方式中的任意一种，在第 一方面的第十一种可能的实现方式中，所述在所述多幅待拼接图像中每两幅图像各自的特 征点之间进行特征点匹配，从而获取包括匹配成功的特征点对的第一特征点对集合包括：
[0059] 在所述多幅待拼接图像中每两幅图像各自的特征点之间进行特征点匹配，从而获 取包括匹配成功的特征点对的第二特征点对集合；
[0060] 基于第一区域的特征点以及第二区域的特征点，获取所述第一区域和所述第二区 域之间的单应矩阵，所述第一区域为所述第二特征点对集合中任一特征点对中第一特征点 所在区域，所述第二区域为所述任一特征点对中的第二特征点所在的区域，所述第一特征 点与所述第二特征点不同，从而获取所述第二特征点对集合对应的单应矩阵集合；
[0061] 确定属于所述单应矩阵集合的一个或多个单应矩阵，所述一个或多个单应矩阵对 应的区域包括所述任一特征点对；
[0062]计算所述任一特征点对在所述一个或多个单应矩阵下的误差，在所述任一特征点 对在所述一个或多个单应矩阵下的误差均大于预定阈值时，将所述任一特征点对从所述第 二特征点对集合中删除，从而形成所述第一特征点对集合。
[0063] 第二方面，本发明实施例提供了一种全景图像拼接装置，包括：
[0064] 提取单元，用于提取多幅待拼接图像中的图像的特征点；
[0065]第一获取单元，用于在所述提取单元提取的所述多幅待拼接图像中每两幅图像各 自的特征点之间进行特征点匹配，从而获取包括匹配成功的特征点对的第一特征点对集 合；
[0066] 第二获取单元，将所述多幅待拼接图像中的图像划分为多个矩形区域，并获取所 述多个矩形区域的顶点坐标；
[0067] 构建单元，用于基于所述第一获取单元获取的所述第一特征点对集合中的特征点 的坐标，以及所述第二获取单元获取的所述多个矩形区域的的顶点坐标，构建所述多个矩 形区域的顶点坐标的全局能量函数；
[0068] 计算单元，用于求解使得所述构建单元构建的所述全局能量函数的值最小的最优 解，将所述最优解作为所述多个矩形区域的求解后的顶点坐标；
[0069] 变换单元，用于基于所述计算单元得到的求解后的顶点坐标对多幅待拼接图像的 图像进行坐标变换，从而获取多幅变换后的待拼接图像；
[0070] 拼接单元，用于将经过所述变换单元得到所述多幅变换后的待拼接图像进行拼 接。
[0071] 结合第二方面，在第二方面的第一种可能的实现方式中，所述构建单元，用于：
[0072] 基于所述第一特征点对集合中任一特征点所在的矩形区域的顶点坐标以及所述 任一特征点的坐标，确定所述任一特征点所在的矩形区域的顶点坐标的权值；
[0073] 基于与所述任一特征点匹配的特征点所在的矩形区域的顶点坐标以及所述与所 述任一特征点匹配的特征点的坐标，确定所述与所述任一特征点匹配的特征点所在的矩形 区域的顶点坐标的权值；
[0074] 基于所述任一特征点的表示坐标与所述与所述任一特征点匹配的特征点的表示 坐标的差，构建所述配准项；所述任一特征点的表示坐标由所述任一特征点所在的矩形区 域的顶点坐标的权值，以及所述任一特征点所在的矩形区域的顶点坐标表示；所述与所述 任一特征点匹配的特征点的表示坐标由所述与所述任一特征点匹配的特征点所在的矩形 区域的顶点坐标的权值，以及所述与所述任一特征点匹配的特征点所在的矩形区域的顶点 坐标表示。
[0075] 结合第二方面的第一种可能的实现方式，在第二方面的第二种可能的实现方式 中，所述配准项通过如下公式表示：
[0076]
[0077] 其中，EA(V)表示所述配准项；C表示所述第一特征点对集合；Pl表示所述第一特征 点对集合的特征点；p_j表示与Pi匹配特征点；胃;表示包括P;所在的矩形区域的顶点坐标的 权值的权值矩阵，11用于使得表示Ρι的表示坐标;W,表示包括p,所在的矩形区域的顶 点坐标的权值的权值矩阵，1。用于使得wjV表示Pj的表示坐标；表示Ρι所在的矩形 区域包