还用于:
[0166]当所述掩膜图的组成部分分为两个部分，且分别位于所述衔接部分的两端时，将所述掩膜图分为两个小图，以便对每个小图分别进行处理。
[0167]例如，在后续的多层混合时，以及将组成部分和融合后的部分进行组成时，将每个小图作为独立的一个图像进行处理。
[0168]本实施例中，通过将mask图划分为小的图片，可以减少处理时间，例如，每个mask图可以减少I?2秒的时间，而一般会有7?8张mask图，因此，拼接速度可以有较明显的提升。
[0169]本发明的上述实施例可以具体应用在手机的图像拼接中，可以理解的是，本发明的上述方案也可以应用到其他用户终端内，例如应用在车载系统的拼接中。进一步的，在车载等其他场景下，具体参数等可以根据实际情况进行调整。
[0170]本发明实施例中，通过确定相邻图像，并对相邻图像进行特征提取，可以满足准确度要求并可以降低特征提取的工作量，可以提高图像拼接速度。并且，本实施例的上述方法可以特别适用于移动设备，通过以上图像的预处理、特征匹配、全局优化、全局颜色调整、及多层混合等改进，能快速高质量地在移动设备上进行多层照片的全景拼接。根据实验表明，拼接成功率在80%以上，速度在40秒以内。并且，本实施例的方案可以应用到不同种类的用户终端内，提升它们的性能。
[0171]需要说明的是，在本发明的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是指至少两个。
[0172]流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
[0173]应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
[0174]本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0175]此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0176]上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0177]在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0178]尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
【主权项】
1.一种用于用户终端的全景图像生成方法，其特征在于，包括: 获取用户终端拍摄的多张图像，确定多张图像之间的相邻关系，并对相邻图像进行特征匹配，获取匹配的特征点对； 根据所述匹配的特征点对和初始相机参数，得到优化后的相机参数； 对相邻图像进行颜色调整，得到颜色调整后的相邻图像； 根据所述优化后的相机参数，对所述颜色调整后的相邻图像进行拼接，生成全景图。2.根据权利要求1所述的方法，其特征在于，所述对相邻图像进行特征匹配，获取匹配的特征点对，包括: 将相邻图像划分为预设个数的区域，并在每个区域内，提取个数小于预设值的特征占.V， 根据相邻图像内提取的特征点，进行特征匹配，得到匹配的特征点对。3.根据权利要求1或2所述的方法，其特征在于，还包括: 如果相机参数优化失败，将预先确定的理想相机参数作为初始相机参数再次优化； 如果所述再次优化失败，且，图像分为三层，则去除最下面一层的图像，使用上面两层的图像进行优化； 如果使用上面两层的图像优化失败，仅使用中间一层的图像进行优化。4.根据权利要求1-3任一项所述的方法，其特征在于，所述对相邻图像进行颜色调整，得到颜色调整后的相邻图像，包括: 确定相邻图像的重叠区域； 根据相邻图像在所述重叠区域内的两组像素点的像素值，确定使得两组像素值的差值最小的校正参数； 采用所述校正参数对相邻图像进行颜色调整，得到颜色调整后的相邻图像。5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述优化后的相机参数，对所述颜色调整后的相邻图像进行拼接，生成全景图，包括: 对所述颜色调整后的相邻图像进行缩小处理，得到缩小后的图像； 根据所述优化后的相机参数，确定所述缩小后的图像内的拼缝； 根据所述优化后的相机参数以及所述拼缝，生成每张图像对应的掩膜图，所述掩膜图包括:组成部分和衔接部分； 对相邻图像的所述衔接部分进行多层混合融合，得到融合后的部分，并将所述组成部分和所述融合后的部分组成全景图。6.根据权利要求5所述的方法，其特征在于，还包括: 当所述掩膜图的组成部分分为两个部分，且分别位于所述衔接部分的两端时，将所述掩膜图分为两个小图，以便对每个小图分别进行处理。7.一种用于用户终端的全景图像生成装置，其特征在于，包括: 匹配模块，用于获取用户终端拍摄的多张图像，确定多张图像之间的相邻关系，并对相邻图像进行特征匹配，获取匹配的特征点对； 优化模块，用于根据所述匹配的特征点对和初始相机参数，得到优化后的相机参数； 调整模块，用于对相邻图像进行颜色调整，得到颜色调整后的相邻图像； 拼接模块，用于根据所述优化后的相机参数，对所述颜色调整后的相邻图像进行拼接，生成全景图。8.根据权利要求7所述的装置，其特征在于，所述匹配模块用于对相邻图像进行特征匹配，获取匹配的特征点对，包括: 将相邻图像划分为预设个数的区域，并在每个区域内，提取个数小于预设值的特征占.V， 根据相邻图像内提取的特征点，进行特征匹配，得到匹配的特征点对。9.根据权利要求7或8所述的装置，其特征在于，还包括:处理模块，用于如果相机参数优化失败，将预先确定的理想相机参数作为初始值再次优化；如果所述再次优化失败，且，图像分为三层，则去除最下面一层的图像，使用上面两层的图像进行优化；如果使用上面两层的图像优化失败，仅使用中间一层的图像进行优化。10.根据权利要求7-9任一项所述的装置，其特征在于，所述调整模块具体用于: 确定相邻图像的重叠区域； 根据相邻图像在所述重叠区域内的两组像素点的像素值，确定使得两组像素值的差值最小的校正参数； 采用所述校正参数对相邻图像进行颜色调整，得到颜色调整后的相邻图像。11.根据权利要求7-10任一项所述的装置，其特征在于，所述拼接模块具体用于: 对所述颜色调整后的相邻图像，进行缩小处理，得到缩小后的图像； 根据所述优化后的相机参数，确定所述缩小后的图像内的拼缝； 根据所述优化后的相机参数以及所述拼缝，生成每张图像对应的掩膜图，所述掩膜图包括:组成部分和衔接部分； 对相邻图像的所述衔接部分进行多层混合融合，得到融合后的部分，并将所述组成部分和所述融合后的部分组成全景图。12.根据权利要求11所述的装置，其特征在于，所述拼接模块还用于: 当所述掩膜图的组成部分分为两个部分，且分别位于所述衔接部分的两端时，将所述掩膜图分为两个小图，以便对每个小图分别进行处理。
【专利摘要】本发明提出一种用于用户终端的全景图像生成方法和装置，该用于用户终端的全景图像生成方法包括：获取用户终端拍摄的多张图像，确定多张图像之间的相邻关系，并对相邻图像进行特征匹配，获取匹配的特征点对；根据所述匹配的特征点对和初始相机参数，得到优化后的相机参数；对相邻图像进行颜色调整，得到颜色调整后的相邻图像；根据所述优化后的相机参数，对所述颜色调整后的相邻图像进行拼接，生成全景图。该方法能够提高图像拼接速度。
【IPC分类】G06T3/40
【公开号】CN104992408
【申请号】CN201510377251
【发明人】谢国富, 艾锐, 刘丽, 侯文博, 郎咸朋
【申请人】百度在线网络技术（北京）有限公司
【公开日】2015年10月21日
【申请日】2015年6月30日