图像拼接系统和图像拼接方法与流程

本发明实施例涉及图像处理领域，尤其涉及一种图像拼接系统和一种图像拼接方法。
背景技术：
：全景图像具有越来越广泛的应用场景。传统地，需要将多个图像采集设备所采集的多个图像进行拼接来形成全景图像。通常的拼接方法包括从集中采集的图像中选择特定场景点，针对与该场景点对应的多个图像提取图像特征，并利用提取的图像特征进行图像配准、图像融合等步骤，最终得到全景图像。传统的拼接方法通过提取图像重叠部分的特征点对多个采集设备进行内、外参数的校正，并将数据存入模板用于重映射图像继而融合成为全景图片。这种特征点的提取和匹配方法忽略了对特征点的精密匹配和过滤，从而影响拼接结果。因此，需要提供一种图像拼接系统和图像拼接方法来克服或缓解上述技术问题。技术实现要素：根据本发明实施例的一个方面，提供了一种图像拼接方法，可以包括：由多个图像采集设备分别获取与多个场景点对应的多个图像，与每个场景点对应的图像包括参考图像和待拼接图像，所述参考图像与所述待拼接图像具有重叠区域；将所述参考图像和所述待拼接图像分别进行第一重映射；提取重映射的参考图像和重映射的待拼接图像之间的粗匹配特征点对；利用第二重映射从粗匹配特征点对中获取细匹配特征点对；利用所述细匹配特征点对估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵；以及根据所述旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接，得到拼接图像。优选地，所述将所述参考图像和所述待拼接图像分别进行第一重映射包括：利用等距圆柱投影分别对参考图像和待拼接图像进行第一重映射，得到对应的等距圆柱投影图像，分别作为重映射的参考图像和重映射的待拼接图像。优选地，等距圆柱投影中的点X’1(x_dst1，y_dst1)与对应原始图像中的X1(x_src1，y_srcl)满足：θ＝π/2-y_dstl，其中，是在等距圆柱投影中与横坐标对应的经度弧度，θ是与纵坐标对应的纬度弧度；其中，s＝sin(θ)，v1＝cos(θ)，分别是图像采集设备固有的鱼眼球面投影模型的经度和纬度；r1＝sqrt(v02+v12)，r1是投影到球面中的半径；且x_src1＝θ0*v0/r1；y_src1＝θ0*v1/r1。优选地，所述利用第二重映射从粗匹配特征点对中获取细匹配特征点对包括：利用平面投影对粗匹配特征点对的坐标进行第二重映射；以及获取粗匹配特征点对中符合单应性的特征点对作为细匹配特征点对。优选地，利用平面投影对粗匹配特征点对的坐标进行第二重映射包括：将粗匹配特征点对映射回图像采集设备固有的鱼眼球面投影模型中，得到粗匹配特征点对在所述鱼眼球面投影模型中的坐标；将鱼眼球面投影模型中的坐标映射到平面投影模型中；以及将鱼眼球面投影模型的坐标到平面投影模型的映射符合单应性的特征点对确定为细匹配特征点对。优选地，利用以下将鱼眼球面投影模型中的坐标X2(x_src2，y_src2)投影为平面投影模型中的点X’2(x_dst2，y_dst2)：r2＝sprt(OpticalX-x_dst2)2+(OpticalY-y_dst2)2，r2为平面投影模型中点到图像光心点的半径，(OpticalX，OpticalY)表示图像光心点的坐标，ω=0,r2=0ω=atan2(r2,1)/r2,r2≠0]]>ω是对应到鱼眼球面投影模型中的弧度，x_src2＝ω*(OpticalX-x_dst2)+OpticalXy_src2＝ω*(OpticalY-y_dst2)+OpticalY。根据本发明实施例的另一方面，提供了一种图像拼接系统，可以包括：多个图像采集设备，所述多个图像采集设备相对于彼此的位置和取景方向不变，所述多个图像采集设备分别获取与多个场景点对应的多个图像，所述图像包括参考图像和待拼接图像，所述参考图像与所述待拼接图像具有重叠区域；控制器，配置为将所述参考图像和所述待拼接图像分别进行第一重映射；提取重映射的参考图像和重映射的待拼接图像之间的粗匹配特征点对；利用第二重映射从粗匹配特征点对中获取细匹配特征点对；利用所述细匹配特征点对估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵；以及根据所述旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接，得到拼接图像。根据本发明的另一方面，还提供了一种图像拼接系统，包括：底座；被设置在底座上的多个图像采集设备，其中所述多个图像采集设备相对于彼此的位置和取景方向不变，所述多个图像采集设备分别获取与多个场景点对应的多个图像，所述图像包括参考图像和待拼接图像，所述参考图像与所述待拼接图像具有重叠区域；以及控制器，接收来自多个图像采集设备的多个图像，将所述参考图像和所述待拼接图像分别进行第一重映射；提取重映射的参考图像和重映射的待拼接图像之间的粗匹配特征点对；利用第二重映射从粗匹配特征点对中获取细匹配特征点对；利用所述细匹配特征点对估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵；以及根据所述旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接，得到拼接图像。根据本发明实施例，针对多个图像采集设备的位置、取景方向固定的情况，采取静态拼接的方式，利用所获取图像的投影的几何性质，对原始图像集合的特征点进行提取和匹配，得到准确的控制点对，从而改善图像拼接质量。附图说明通过参考附图更加清楚地理解本发明实施例的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：图1示出了根据本发明实施例的图像拼接方法的流程图；图2示出了根据本发明实施例的等距圆柱投影的效果示意图；图3示出了根据本发明实施例的细特征点对提取的流程图；图4示出了根据本发明实施例的图像拼接系统的示意方框图；以及图5示出了根据本发明另一实施例的图像拼接系统的示意方框图。具体实施方式为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。例如全景相机的图像采集设备可以对某一场景点同时拍摄具有重叠区域的多个图像，并通过一系列图像处理方法拼接得到360度全方位实景图像。传统的拼接方法可以分为动态拼接和静态拼接两种，其中，动态拼接针对每次获取的图像，提取并匹配特征点，估算具有重叠区域的两个图像的相对旋转矩阵和偏移矩阵，即相对的取景方向和位移，来对图片进行变形从而拼接融合。在多个图像采集设备的位置和取景方向固定的情况下，多个采集设备之间的相对姿态、位置是固定不变的，即获取的图像间满足固定的三维转换关系。针对这种情况，静态拼接在使用图像采集设备获取图像之前，对多个已有图像数据进行采样，提取匹配特征点，估算图像采集设备之间的相对位置和旋转关系并记录在模板中。在图像拼接过程中，直接读取模板中的数据信息对图像进行变形、融合，成为全景图像。特征点的选择在拼接处理中起到关键作用。为此，本申请提出了一种图像拼接方法和图像拼接系统，可以用于电子全景地图、虚拟旅游等领域，当然，本申请的应用并不局限于此。图1示出了根据本发明实施例的图像拼接方法的流程图。应注意，以下方法中各个步骤的序号仅作为该步骤的表示以便描述，而不应被看作表示该各个步骤的执行顺序。除非明确指出，否则该方法不需要完全按照所示顺序来执行；类似地，可以平行地执行多种块，而非顺序执行。还应理解，同样可以在多种设备上实现所述方法。如图1所示，根据本发明实施例的图像拼接方法10可以包括以下步骤。在步骤S11，由多个图像采集设备分别获取与多个场景点对应的多个图像，与每个场景点对应的图像包括参考图像和待拼接图像，所述参考图像与所述待拼接图像具有重叠区域。多个图像采集设备可以固定在一个底座上，因此图像采集设备之间的相对位置是固定的。同时，在进行图像采集时，每个图像采集设备的取景方向也是固定的。参考图像与待拼接图像由取景方向不同的图像采集设备所采集，同一场景点对应的图像可以是取景方向不同的图像采集设备(可以包括相机、图像传感器等)在同一拍摄点对同一场景的所采集的图像。图像采集设备例如可以为多个相机，将该多个相机的镜头朝向不同方向即可实现不同取景方向的图像采集。由取景方向不同的图像采集设备所获取的多幅图像之间具有一个共同的特点，就是取景方向相邻的图像采集设备(相邻的相机)所采集的两幅图像(以下简称相邻图像)之间至少有一部分是重叠的，也就是具有重叠区域。优选的，相邻图像之间重叠比例可以在30％-50％之间。以将每两幅相邻图像中的一幅图像为参考图像，而另一幅图像为待拼接图像，也可以根据不同的拼接策略进行定义，例如可以定义一幅参考图像，多幅待拼接图像等，本发明实施例并不局限于此。接下来，在步骤S13，分别对参考图像和待拼接图像进行第一重映射。第一重映射可以包括等距圆柱投影(EquirectangularProjection)。分别对参考图像和待拼接图像进行第一重映射，得到对应的等距圆柱投影坐标集，分别作为重映射的参考图像和重映射的待拼接图像。通常，例如全景相机的图像采集设备使用鱼眼镜头。利用鱼眼镜头获取的图像存在较大畸变，这种畸变可能会导致角点的变形，影响角点信息的提取。因此，根据本发明实施例，可以使用等距圆柱投影来还原可能被畸变的图像特征。重映射是指将图像中的一个像素的位置通过变换矩阵定位到另外一个图像中的对应位置。等距圆柱投影将图像或真实场景投影到一个以视点为中心的圆柱面上，其中，圆柱面经度映射到图像水平坐标、纬度映射到垂直坐标，而且每个像素点到视点的深度相同。根据本发明实施例，可以使用以下公式(1)来实现原始参考图像和待拼接图像的等距圆柱投影。图2A示出了原始图像的示例，图2B示出了利用本发明实施例的等距圆柱投影得到的重映射图像。等距圆柱投影中的点X’1(x_dst1，y_dstl)与对应原始图像(鱼眼图像)中的X1(x_src1，y_srcl)可满足关系：θ＝π/2-y_dst1，其中，是在等距圆柱投影中与横坐标对应的经度弧度，θ是与纵坐标对应的纬度弧度，s＝sin(θ)，v1＝cos(θ)，分别是图像采集设备固有的鱼眼球面投影模型(即，原始图像坐标系)的球面的经度和纬度；r1＝sqrt(v02+v12)，r1是投影到球面中的半径；x_src1＝θ0*v0/r1，y_src1＝θ0*v1/r1。等距圆柱投影是全景图像中的经典模型，造成的畸变小，保留了图像中角点信息和细节信息。接下来，在步骤S15，提取重映射的参考图像和重映射的待拼接图像之间的粗匹配特征点对。步骤S15可以包括：提取重映射的参考图像和重映射的待拼接图像之间的特征，然后粗匹配得到特征点对。特征点可以是一幅图像中灰度在水平和垂直方向都有显著变化的特殊点，例如角点，也可以是图像中具有复杂纹理特征的特殊点。特征点的提取可以采用基于灰度图像的特征点检测法、基于二值图像的特征点检测法、或基于模板和基于模板梯度组合等方法。例如可以采用suSAN角点检测算法、Morave角点检测算法、和Harris角点检测等算法对参考图像与待拼接图像分别进行特征点提取的处理。当然，本领域的技术人员也可以采用其他的特征点提取方法，本发明实施例并不局限于此。根据本发明实施例，针对重映射得到的图像进行特征点提取。对于提取出的每个场景点对应的参考图像以及待拼接图像的特征点对，建立参考图像与待拼接图像中特征点的相互关联，从而得到粗匹配特征点对，即由于参考图像和待拼接图像中的关联特征点构成的粗匹配特征点对。可以通过对比两组特征点的特征距离来粗略匹配特征点对信息。可以使用例如对比特征距离、RANSAC(RandomSampleConsensus)等传统方法得到粗匹配特征点对。在步骤S17，利用第二重映射从粗匹配特征点对中获取细匹配特征点对。第二重映射可以包括平面投影(RectilinearProjection)。例如，如图3所示，步骤S17可以包括以下步骤。在步骤S171，将步骤S15中获取的粗匹配特征点对映射到图像采集设备固有的鱼眼球面投影模型(即，原始图像坐标系)中，得到粗匹配特征点对在鱼眼球面投影模型中的坐标。然后，在步骤S173，将鱼眼球面投影模型中的坐标映射到平面投影模型中。例如，可以利用以下公式(2)将鱼眼球面投影模型中的坐标到平面投影模型中。假定平面投影模型中的点X’2(x_dst2，y_dst2)对应到鱼眼球面投影模型中的点X2(x_src2，y_src2)，则满足r2＝sprt(OpticalX-x_dst2)2+(OpticalY-y_dst2)2，r2为平面投影模型中点到图像光心点的半径，(OpticalX，OpticalY)是图像光心点的坐标。ω是对应到鱼眼投影模型中的弧度，x_src2＝ω*(OpticalX-x_dst2)+OpticalX，y_src2＝ω*(OpticalY-y_dst2)+OpticalY。然后，在步骤S175，确定步骤S173中的映射是否满足单应性。如果满足单应性，则执行步骤S177，保留对应特征点对，否则执行步骤S179，去除对应特征点对。单应性(homography)是指同一空间中的任意两个平面图像可以通过关系矩阵关联在一起，满足这种关系矩阵就是单应性矩阵。平面投影是将场景投影到一个垂直平面上。可以近似将参考图像的平面投影和待拼接图像的平面投影作为空间中两个平面，重映射的特征点对应是近似满足单应性的。可以先选择数个特征点对来估计单应性矩阵，然后逐渐加入更多特征点对并利用RANSAC来提高单应性矩阵的准确率，由此来估算关系矩阵。不满足关系矩阵的特征点对将被删除。当然，本领域技术人员可以使用本领域常见的其他方法来从粗匹配特征点对中删除不满足单应性的特征点对，从而得到细匹配特征点对。由于平面投影模型满足同一空间内平面的单应性，可以建立起图像之间的关系，即使在图像有位移的情况下，也可以近似将参考图像和待拼接图像的平面投影满足这一关系来过滤错误的特征点对。接下来，在步骤S18，利用在步骤S17得到的细匹配特征点对来估计多个图像采集设备之间的旋转矩阵和偏移矩阵。在图像采集过程中，图像的状态由图像采集设备的姿态所决定，一般来说，图像采集设备的姿态可以包括：平移、俯仰、滚转、偏航。每个图像采集设备在三维空间中都有六个自由度，这六个自由度中包括可实现平移的X、Y、Z三个自由度。图像采集设备在三维空间中还可以进行三个角度的旋转，偏航是指图像采集设备围绕Y轴进行的旋转，俯仰是指图像采集设备围绕X轴进行的旋转，滚转是指图像采集设备围绕Z轴进行的旋转。图像采集设备的姿态不同，导致各自所采集的图像之间存在空间上的很大差异，尤其是相互之间有重叠部分的两幅图像。利用所述多个场景点对应的图像的特征点对可以估计出在不同取景方向的图像采集设备之间的俯仰、滚转、偏航的旋转矩阵以及平移矩阵，也就是对图像采集设备的外参进行估计。具体的估计方法例如可以采用Levenberg-Marquardt算法，基于多个场景点对应的图像的特征点对来得到不同取景方向的图像采集设备之间的俯仰、滚转、偏航的旋转矩阵，以及平移矩阵。根据本发明实施例，多个图像采集设备之间相对位置和取景方向是固定的。当任意一个图像采集设备的平移或旋转矩阵改变时，都可以通过相应调整其他图像采集设备的平移或旋转矩阵来保持这种相对位置关系。可以设想多个图像采集设备是固定在单个例如圆形底座上的多个相机。接下来，在步骤S19，根据在步骤S18得到的旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接，得到拼接图像。具体地，步骤S19可以包括：根据所述旋转矩阵和偏移矩阵将每个场景点对应的参考图像和待拼接图像进行第三重映射；以及将与每个场景点对应的经过重映射的待拼接图像与参考图像进行融合，得到拼接图像。第三重映射是指根据所述旋转矩阵以及偏移矩阵将待拼接图像转换到参考图像的坐标系，完成统一坐标变换。进一步的，还可以在将每个场景点对应的参考图像以及待拼接图像进行重映射前，对取景方向不同的图像采集设备的内参进行标定，利用图像采集设备的内参对参考图像以及待拼接图像进行校正，然后再将校正过的参考图像以及待拼接图像根据取景方向不同的图像采集设备之间的旋转矩阵以及偏移矩阵(即，图像采集设备的外参)进行第三重映射，这样可以消除由图像采集设备的内参所造成的误差，进一步提高图像拼接的质量。图像采集设备的内参可以包括图像采集设备中的镜头的光学畸变以及镜头的焦距。图像融合就是将经过重映射后的参考图像与待拼接图像根据对应关系合并为一幅图像。可以采用例如Szeliski加权平均法等算法对图像进行融合。当然，本领域的技术人员也可以采用其他的算法(例如不同频率的融合等)对图像进行融合，本发明实施例并不局限于此。可以理解，在进行图像融合之前还可以包括曝光调整、图像最优拼缝寻找等步骤，本发明实施例并不局限于此。图4示出了根据本发明实施例的图像拼接系统的示意方框图。如图4所示，根据本发明实施例的一种图像拼接系统40可以包括：多个图像采集设备401-1至401-N，所述多个图像采集设备相对于彼此的位置和取景方向不变，所述多个图像采集设备分别获取与多个场景点对应的多个图像，所述图像包括参考图像和待拼接图像，所述参考图像与所述待拼接图像具有重叠区域；以及控制器403，配置为将所述参考图像和所述待拼接图像分别进行第一重映射；提取重映射的参考图像和重映射的待拼接图像之间的粗匹配特征点对；利用第二重映射从粗匹配特征点对中获取细匹配特征点对；利用所述细匹配特征点对估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵；以及根据所述旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接，得到拼接图像。图5示出了根据本发明另一实施例的图像拼接系统的示意方框图。如图5所示，根据本发明实施例的一种图像拼接系统50可以包括：底座505；被设置在底座505上的多个图像采集设备501-1至501-N，其中所述多个图像采集设备相对于彼此的位置和取景方向不变，所述多个图像采集设备分别获取与多个场景点对应的多个图像，所述图像包括参考图像和待拼接图像，所述参考图像与所述待拼接图像具有重叠区域；以及控制器503，接收来自多个图像采集设备的多个图像，将所述参考图像和所述待拼接图像分别进行第一重映射；提取重映射的参考图像和重映射的待拼接图像之间的粗匹配特征点对；利用第二重映射从粗匹配特征点对中获取细匹配特征点对；利用所述细匹配特征点对估计所述多个图像采集设备之间的旋转矩阵和偏移矩阵；以及根据所述旋转矩阵以及偏移矩阵分别对与所述场景点对应的图像进行拼接，得到拼接图像。以上按照控制器、图像采集设备等为分立元件的形式对图像拼接系统进行了描述。本领域技术人员可以理解，本发明实施例并不局限于此。当然可以将控制器集成到图像采集设备中。本发明实施例针对多个图像采集设备的位置、取景方向固定的情况，采取静态拼接的方式，利用所获取图像的投影的几何性质，将所述参考图像和所述待拼接图像分别映射到等距圆柱投影模型中，提取重映射的参考图像和重映射的待拼接图像之间的粗匹配特征点对，并利用平面投影重映射从粗匹配特征点对中获取细匹配特征点对，得到准确的控制点对，从而改善图像拼接质量。在以上实施例中，本领域技术人员应该理解，控制设备中的第一控制器以及智能设备中的第二控制器可以按照各种方式实现。通过使用方框图、流程图和/或示例，已经阐述了设备和/或工艺的众多实施例。在这种方框图、流程图和/或示例包含一个或多个功能和/或操作的情况下，本领域技术人员应理解，这种方框图、流程图或示例中的每一功能和/或操作可以通过各种硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本公开所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或多个计算机程序(例如，实现为在一台或多台计算机系统上运行的一个或多个程序)，实现为在一个或多个处理器上运行的一个或多个程序(例如，实现为在一个或多个微处理器上运行的一个或多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。此外，本领域技术人员将认识到，本公开所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于：可记录型介质，如软盘、硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。当前第1页1 2 3