光束法平差(bundle adjustment)算法进行全局相机参数优化。
[0057]bundle adjustment算法是一个非线性方程，通过使得所有图像之间匹配的特征点对的投影差值最小，而优化相机参数。
[0058]bundle adjustment算法使用Levenberg-Marquardt迭代算法进行求解。非线性优化对初始值非常敏感，如果给定的初始值不好，只能求解到局部的最优解，导致拼接之后的全景图有错位或者重影。
[0059]为此，一个实施例中，参见图3，全局优化相机参数的流程可以包括:
[0060]S31:确定所述初始相机参数，所述确定所述初始相机参数包括:
[0061]获取在拍摄每张图像时，设置在所述移动设备内的传感器的信息，并根据所述信息确定每张图像的初始相机参数。
[0062]其中，相机参数可以包括:焦距，旋转矩阵等。
[0063]现有技术中，初始相机参数采用随机初始值，通过实验验证，采用本实施例的根据传感器信息得到的初始相机参数可以得到更好的最优解，从而减少拼接重影和错位。
[0064]S32:根据所述初始相机参数和过滤后匹配的特征点对，得到优化后的相机参数。
[0065]例如，采用Levenberg-Marquardt迭代算法，求解出优化后的相机参数。
[0066]另外，在用Levenberg-Marquardt迭代算法进行优化求解时，可能存在优化失败(算法不收敛)的情况。现有技术中并没有给出优化失败的解决方案，而本发明一个实施例中，参见图3，还可以包括:
[0067]S33:在优化失败后，采用失败解决方案。失败解决方案如下:
[0068]如果相机参数优化失败，将预先确定的理想相机参数作为初始相机参数再次优化；
[0069]其中，理想相机参数可以采用如下方式确定:确定用户终端(如移动设备)每层拍摄的图像格式，再平均估算每张图所处的角度，根据该角度得到理想相机参数。
[0070]如果所述再次优化失败，且，所述多张图像分为三层，则去除最下面一层的图像，使用上面两层的图像进行优化；
[0071]当将理想相机参数作为初始相机参数也优化失败时，可以去除一部分图像对应的特征点对。例如，通常使用手机拍摄时，会拍摄三层图像，本实施例中，可以先去除最底层的图像，优化上面两层的图像，确保上面两层的图像拼接正确。
[0072]其中，在优化上面两层的图像时，具体也可以是根据上面两层图像的匹配的特征点对以及初始相机参数进行优化，另外，初始相机参数也可以优先选择本实施例上述根据传感器信息确定的初始相机参数，再选择理想相机参数。
[0073]如果使用上面两层的图像优化失败，仅使用中间一层的图像进行优化。
[0074]例如，如果上面两层不能被优化，则可以只保证中间一层的图像被优化，确保中间一层图像拼接正确，因此，此时，可以采用中间一层图像对应的特征点对和初始相机参数进行运算，并在运算时，初始相机参数也可以优先采用本实施例上述根据传感器信息确定的初始相机参数，再选择理想相机参数。
[0075]本实施例中，通过采用根据传感器信息得到的初始相机参数，可以提高最优解的准确性，从而提高拼接效果，另外，通过采用上述优化失败后的处理方案，可以增强鲁棒性。
[0076]S13:对所述相邻图像进行颜色调整，得到颜色调整后的相邻图像。
[0077]在手机拍照过程中，每张图片的参数，如曝光及白平衡等，都是重新计算过的。在场景不同区域的光照改变会导致相邻图片的不同曝光度。同时，场景不同部分的不同颜色的物体也能影响白平衡设置，导致相同物体在相邻图片中表现出不同的外观，有些更亮有些更暗。如果没有额外的颜色和光照处理，就会在全景图的重叠区域产生颜色不均，因此就需要在拼接它们之前对原图像进行颜色和光照的补偿。
[0078]一个实施例中，参见图4，所述对所述相邻图像进行颜色调整，得到颜色调整后的图像，包括:
[0079]S41:确定相邻图像的重叠区域。
[0080]两张图像的重叠区域的确定算法可以采用已有技术实现。
[0081]S42:根据相邻图像在所述重叠区域内的两组像素点的像素值，确定使得两组像素值的差值最小的校正参数。
[0082]例如，相邻图像是A和B，A和B重复区域是D，则可以获取A的D区域内的像素点的像素值，以及，B的D区域内的像素点的像素值，之后可以采用最小二乘算法，计算这两组像素值的差值最小时，A和B分别对应的校正参数，校正参数例如为Gamma校正参数。
[0083]S43:采用所述校正参数对相邻图像进行颜色调整，得到颜色调整后的相邻图像。
[0084]例如，在确定出A和B的校正参数后，可以分别采用A的校正参数对A进行颜色校正，采用B的校正参数对B进行颜色校正。
[0085]本实施例中，通过颜色校正，可以解决全景图颜色不均的情况。
[0086]S14:根据所述优化后的相机参数，对所述颜色调整后的相邻图像进行拼接，生成全景图。
[0087]在对相邻图像进行相机参数优化以及颜色调整后，可以对相邻图像进行拼接，以生成全景图。
[0088]一个实施例中，参见图5，所述根据所述优化后的相机参数，对所述颜色调整后的相邻图像进行拼接，生成全景图，包括:
[0089]S51:对所述颜色调整后的相邻图像，进行缩小处理，得到缩小后的图像。
[0090]例如，可以将相邻图像中的每张图像缩小为原来的1/8。
[0091]S52:根据所述优化后的相机参数，确定所述缩小后的图像内的拼缝。
[0092]其中，在图像确定后，根据相邻图像确定每个图像内的拼缝可以采用已有技术。
[0093]与现有技术不同的是，现有技术通常采用原始大小的图像，而本实施例通过对图像进行缩小，在缩小后的图片上确定拼缝，实现在低分辨率的图像上确定拼缝，可以降低工作量，节省时间。
[0094]S53:根据所述优化后的相机参数以及所述拼缝，生成每张图像对应的掩膜(mask)图，所述掩膜图包括:组成部分和衔接部分。
[0095]其中，可以根据优化后的相机参数确定每张图像在全景图的位置，在该位置以及拼缝确定后，可以确定出一张图像的掩膜图，该掩膜图由组成部分和衔接部分组成。
[0096]例如，进行图像拼接的四幅图像如图6a所示，这四幅图像对应的mask图可以如图6b所示，其中，组成部分是白色区域，衔接部分是黑色区域。
[0097]S54:对相邻图像的所述衔接部分进行多层混合融合，得到融合后的部分，并将所述组成部分和所述融合后的部分组成全景图。
[0098]其中，mask图中的组成部分可以直接用作全景图的相应部分，由于衔接部分在相邻图像上存在重叠，因此需要进行处理，本实施例中可以采用已有的多层混合的方式，之后再由组成部分和融合后的部分组成全景图。
[0099]另外，需要说明的是，通常mask图的大小是选择为与全景图的大小一致(也就是分辨率一致)，从而可以直接由组成部分和融合后的部分组成全景图。
[0100]例如，拼接后的全景图可以如图6c所示。
[0101]一个实施例中，在将mask图选择与全景图的大小一致时，由于全景图在拼接处理时采用三维形式拼接，在展示时以二维形式展示，那么在展示时可能会存在一个图像的mask图的衔接部分很大，组成部分分散在衔接部分的两端。此时，还可以进行如下处理:
[0102]当所述掩膜图的组成部分分为两个部分，且分别位于所述衔接部分的两端时，将所述掩膜图分为两个小图，以便对每个小图分别进行处理。
[0103]例如，在后续的多层混合时，以及将组成部分和融合后的部分进行组成时，将每个小图作为独立的一个图像进行处理。
[0104]本实施例中，通过将mask图划分为小的图片，可以减少处理时间，例如，每个mask图可以减少I?2秒的时间，而一般会有7?8张mask图，因此，拼接速度可以有较明显的提升。
[0105]本发明的上述实施例可以具体应用在手机的图像拼接中，可以理解的是，本发明的上述方案也可以应用到其他移动设备内，例如应用在车载系统的拼接中。进一步的，在车载等其他场景下，具体参数等可以根据实际情况进行调整。
[0106]本发明实施例中，通过确定相邻图像，并对相邻图像进行特征提取，可以满足准确度要求并可以降低特征提取的工作量，可以提高图像拼接速度。并且，本实施例的上述方法可以特别适用于移动设备，通过以上图像的预处理、特征匹配、全局优化、全局颜色调整、及多层混合等改进，能快速高质量地在移动设备上进行多层照片的全景拼接。根据实验表明，拼接成功率在80%以上，速度在40秒以内。并且，本实施例的方案可以应用到不同种类的用户终端内，提升它们的性能。
[0107]图7是本发明另一实施例提出的用于用户终端的全景图像生成装置的结构示意图，该装置可以位于用户终端内，该装置70包括:
[0108]匹配模块71，用于获取用户终端拍摄的多张图像，确定多张图像之间的相邻关系，并对相邻图像进行特征匹配，获取匹配的特征点对；
[0109