用于用户终端的全景图像生成方法和装置的制造方法
【技术领域】
[0001]本发明涉及图像处理技术领域，尤其涉及一种用于用户终端的全景图像生成方法和装置。
【背景技术】
[0002]全景图可以通过广角拍摄获取，但受限于拍摄硬件，更多的全景图是由多张图像拼接得到，以尽可能多表现出周围的环境。现有技术中通常采用如下几种方式由多个图像拼接得到全景图像:一种是通用拼接方法，该方法使用尺度不变特征转换(Scale-1nvariant feature transform，SIFT)特征和光束法平差(bundle adjustment)优化进行图像拼接，另一种是针对手机的拼接方法，可分为使用手机内置的传感器记录手机运行轨迹加速图像拼接，以及，通过对重叠区域进行颜色和光照补偿，以提高拼接的图像质量。
[0003]但是，现有的通用拼接方法和现有的针对手机的拼接方法拼接速度都比较慢。
【发明内容】
[0004]本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
[0005]为此，本发明的一个目的在于提出一种用于用户终端的全景图像生成方法，该方法可以提高图像拼接速度。
[0006]本发明的另一个目的在于提出一种用于用户终端的全景图像生成装置。
[0007]为达到上述目的，本发明第一方面实施例提出的用于用户终端的全景图像生成方法，包括:获取用户终端拍摄的多张图像，确定多张图像之间的相邻关系，并对相邻图像进行特征匹配，获取匹配的特征点对；根据所述匹配的特征点对和初始相机参数，得到优化后的相机参数；对相邻图像进行颜色调整，得到颜色调整后的相邻图像；根据所述优化后的相机参数，对所述颜色调整后的相邻图像进行拼接，生成全景图。
[0008]本发明第一方面实施例提出的用于用户终端的全景图像生成方法，通过确定多张图像之间的相邻关系，并对相邻图像进行特征提取，可以满足准确度要求并可以降低特征提取的工作量，从而可以提高图像拼接速度。
[0009]为达到上述目的，本发明第二方面实施例提出的用于用户终端的全景图像生成装置，包括:匹配模块，用于获取用户终端拍摄的多张图像，确定多张图像之间的相邻关系，并对相邻图像进行特征匹配，获取匹配的特征点对；优化模块，用于根据所述匹配的特征点对和初始相机参数，得到优化后的相机参数；调整模块，用于对相邻图像进行颜色调整，得到颜色调整后的相邻图像；拼接模块，用于根据所述优化后的相机参数，对所述颜色调整后的相邻图像进行拼接，生成全景图。
[0010]本发明第二方面实施例提出的用于用户终端的全景图像生成装置，通过确定多张图像之间的相邻关系，并对相邻图像进行特征提取，可以满足准确度要求并可以降低特征提取的工作量，从而可以提高图像拼接速度。
[0011]本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
【附图说明】
[0012]本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中:
[0013]图1是本发明一实施例提出的用于用户终端的全景图像生成方法的流程示意图；
[0014]图2是本发明实施例中Sll的流程示意图；
[0015]图3是本发明实施例中S12的流程示意图；
[0016]图4是本发明实施例中S13的流程示意图；
[0017]图5是本发明实施例中S14的流程示意图；
[0018]图6a是本发明实施例中进行拼接的图像的示意图；
[0019]图6b是本发明实施例中图像对应的mask图的示意图；
[0020]图6c是本发明实施例中拼接后的全景图的示意图；
[0021]图7是本发明另一实施例提出的用于用户终端的全景图像生成装置的结构示意图；
[0022]图8是本发明另一实施例提出的用于用户终端的全景图像生成装置的结构示意图。
【具体实施方式】
[0023]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的模块或具有相同或类似功能的模块。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
[0024]图1是本发明一实施例提出的用于用户终端的全景图像生成方法的流程示意图，该方法包括:
[0025]Sll:获取用户终端拍摄的多张图像，确定多张图像之间的相邻关系，并对相邻图像进行特征匹配，获取匹配的特征点对；
[0026]其中，可以采用用户终端的摄像头对周围环境进行拍摄，得到不同状态(如角度，光照等)下的多张图像。
[0027]一个实施例中，为了降低运算量，只计算相邻图像之间的匹配关系，而不对不相邻的图像之间的匹配关系进行运算。因此，可以先确定出相邻图像。
[0028]可选的，以用户终端是移动设备为例，参见图2，是Sll的实现流程图，其中的从所述多张图像中确定相邻图像，包括:
[0029]S21:对应每张图像，获取拍摄所述图像时，设置在所述移动设备内的传感器的信息，根据所述传感器的信息确定相邻图像。
[0030]其中，传感器例如陀螺仪、地磁仪或者重力感应器等。
[0031]例如，在每次拍摄一张图像时，记录该图像对应的传感器的信息，之后可以根据该信息确定出相邻图像。例如，第一图像的角度是第一角度，第二图像的角度是第二角度，第三图像的角度是第三角度，假设第一角度与第二角度的差值小于第三角度与第一角度的差值，则可以确定第一图像与第二图像相邻。当然，可以理解的是，上述确定相邻图像的方式只是一种简化示例，还可以采用其他方式实现。
[0032]本实施例中，通过采用移动设备内的装置可以充分利用移动设备自身资源，方便快捷的确定出相邻图像。
[0033]在确定出相邻图像后，可以对相邻图像中的每张图像分别进行特征提取，以完成特征匹配。
[0034]一个实施例中，参见图2，其中的对相邻图像进行特征匹配，获取匹配的特征点对，包括:
[0035]S23:将相邻图像划分为预设个数的区域，并在每个区域内，提取个数小于预设值的特征点。
[0036]例如，可以将相邻图像中的每张图像分为四个区域，每个区域提取限定个数的特征点。
[0037]特征点可以具体是SIFT特征点。
[0038]S24:根据相邻图像内提取的特征点，进行特征匹配，得到匹配的特征点对。
[0039]例如，采用随机抽样一致(Random Sample Consensus，RANSAC)算法，对相邻图像中的SIFT特征点进行匹配，得到匹配的特征点对。
[0040]本实施例中，通过限定特征点的个数，可以降低运算量，从而提高拼接速度。
[0041]一个实施例中，在特征点提取之前可以先对图像进行预处理，和/或，在特征点对匹配之后再删除一些匹配错误的特征点对。
[0042]参见图2，还可以包括:
[0043]S22:对相邻图像进行预处理，所述预处理可以包括:颜色增强，和/或，尺寸缩放。
[0044]其中，颜色增强是指对偏暗的图像进行增强，例如，如果一张图像的像素的亮度值小于预设值，则可以将该亮度值增加预设的增量。
[0045]尺寸缩放是指将原始图像缩放成适用于移动设备处理的尺寸，其中，该尺寸可以根据移动设备的类别不同而确定。
[0046]在预处理之后，可以对预处理后的图像进行特征提取和特征匹配，具体可以参见上述相关描述，在此不再赘述。
[0047]本实施例中，通过预处理，可以提高处理效果，并适应于移动设备。
[0048]在采用RANSAC得到匹配的特征点对后，可能存在匹配错误的特征点对，因此，之后还可以去除匹配错误的特征点对。
[0049]一个实施例中，参见图2，还可以包括:
[0050]S25:对所述匹配的特征点对进行过滤处理，去除匹配错误的特征点对。
[0051 ] 其中，可以采用启发式算法进行过滤处理。
[0052]例如，假设两对特征点对分别是A和B，C和D，以及，E和F等，则可以连接A和B，得到线段AB，类似的，还可以得到线段CD，EF等。之后，比较这些线段，将基本相同长度的，且基本是平行关系的线段对应的特征点对进行保留，去除其他特征点对。其中，去除的特征点对通常包括:匹配错误的SIFT特征点对，通常这些匹配错误的SIFT特征点对表现为不满足基本平行，以及，错误的RANSAC内点(inliers)，通常这些错误的RANSAC内点不满足线段长度基本相同。
[0053]通过过滤处理，得到过滤处理后的匹配的特征点对，之后，在后续处理时，采用的匹配的特征点对是指过滤处理后的匹配的特征点对。
[0054]本实施例中，通过过滤处理，可以提高匹配的特征点对的准确度，从而提高图像拼接的准确度。
[0055]S12:根据所述匹配的特征点对和初始相机参数，得到优化后的相机参数。
[0056]其中，可以采用