全景图像的生成方法和装置的制造方法
【专利摘要】本发明提供一种全景图像的生成方法和装置，通过获取变形图像和基准图像的重叠区域的第一类边缘种子点和第二类边缘种子点，以第二类边缘种子点所形成的图像的上边缘上任选一个像素点作为待选缝合线的起点，以第一类边缘种子点所形成的图像的下边缘上任选一个像素点作为待选缝合线的终点，每条待选缝合线从起点开始连续的穿过重叠区域到终点，遍历所有可能的待选缝合线，确定待选缝合线中权值最小的待选缝合线作为最优缝合线，所确定的最优缝合线更加合理，从而，可以减小人物变形、拼接错位、拼接痕迹明显等问题，提高生成的全景图像的效果。
【专利说明】
全景图像的生成方法和装置
技术领域
[0001]本发明实施例涉及图像处理技术，尤其涉及一种全景图像的生成方法和装置。
【背景技术】
[0002]随着科学技术的飞速发展，电子设备的功能也越来越多，例如:手机上的相机可以提供全景拍照功能。
[0003]人们外出旅游时，遇到风景优美的山川、草原、湖泊、花海或者宏伟壮观的建筑物、广场之类的大场景，相机或者手机的镜头往往不足以将完整的场景拍摄下来，此时，运用全景技术将拍摄的多张窄视角的图像拼接生成一张全景图像。现有技术中，利用开放源代码计算机视觉类库“Opencv”中拼接模块对拍摄的不同视角的图像进行拼接时，采用图像配准方法(加速稳健特征(Speeded Up Robust Features，简称:SURF)或尺度不变特征变换(Scale-1nvariant feature transform，简称:SIFT))和融合方法。
[0004]然而，采用现有技术中的方法生成的全景图像，容易出现人物变形，拼接错位、拼接痕迹明显等现象，生成的全景图像效果不佳。
【发明内容】
[0005]本发明实施例提供一种全景图像的生成方法和装置，以减小人物变形、拼接错位、拼接痕迹明显等问题，提高生成的全景图像的效果。
[0006]本发明实施例第一方面提供一种全景图像的生成方法，包括:
[0007]获取变形图像和基准图像的重叠区域，其中，变形图形是将待配准图像根据单应性矩阵几何变形后得到的；
[0008]获取到变形图像和基准图像的重叠区域之后，获取重叠区域的边缘种子点，其中，边缘种子点包括第一类边缘种子点和第二类边缘种子点，其中，第一类边缘种子点的一侧的像素点属于重叠区域，另一侧的像素点属于所述基准图像，第二类边缘种子点的一侧的像素点属于重叠区域，另一侧的像素点属于变形图像；
[0009]以第二类边缘种子点所形成的图像的上边缘上任选一个像素点作为待选缝合线的起点，以第一类边缘种子点所形成的图像的下边缘上任选一个像素点作为待选缝合线的终点，每条待选缝合线从起点开始连续的穿过重叠区域到终点，遍历所有可能的待选缝合线，确定待选缝合线中权值最小的待选缝合线作为最优缝合线，每条待选缝合线的权值为所述待选缝合线所切割M条边的权值的和，每条边连接两个相邻的像素点，所述N为大于等于2的整数，所述M为大于等于2的整数；
[0010]根据所述最优缝合线，生成全景图像。
[0011]在一种可能的设计中，所述确定最优缝合线之前，还包括:
[0012]获取所述重叠区域相邻的两个像素点之间的边的初始权值，其中，所述初始权值为:
[0013]max(|rl-rl，|，|gl-gl，|，|bl-bl，|)+max(|r2~r2，|，|g2_g2，|，|b2~b2，|)
[0014]其中，(rl，gl，bl)和(rr，gl’，br)为所述相邻的两个像素点中的一个像素点分别在所述变形图像和所述基准图像中的红绿蓝1?8值，&2^2々2)和(^’^2’々2’)为所述相邻的两个像素点中另一个像素点分别在所述变形图像和所述基准图像中的RGB值；
[0015]采用logistic函数对所述初始权值进行放大，得到每个初始权值对应的权值。
[0016]在一种可能的设计中，还包括:
[0017]获取所述重叠区域的人脸种子点，所述人脸种子点用于标记所述重叠区域内人脸区域的像素点的来源，所述来源为所述变形图像或所述基准图像；
[0018]其中，所述每条待选缝合线从所述起点开始连续的穿过所述重叠区域的非种子点之间的边到所述终点，所述非种子点为所述重叠区域中除所述第一类边缘种子点、所述第二类边缘种子点和所述人脸种子点之外的像素点。
[0019]在一种可能的设计中，所述获取变形图像和基准图像的重叠区域，包括:
[0020]获取待配准图像或基准图像的人物区域的像素点；
[0021 ]获取所述待配准图像和所述基准图像中除所述人物区域的像素点之外的特征点；
[0022]对所述特征点进行匹配，获得R组匹配特征点对，其中，所述R为大于等于预设阈值的整数；
[0023]根据所述R组匹配特征点对，估计所述待配准图像几何变形的单应性矩阵；
[0024]根据所述单应性矩阵获取所述待配准图像对应的变形图像；
[0025]根据所述单应性矩阵获取所述变形图像和所述基准图像的重叠区域。
[0026]在一种可能的设计中，所述根据所述单应性矩阵获取所述变形图像和所述基准图像的重叠区域之后，还包括:
[0027]以所述重叠区域中所述基准图像的像素点作为样本点，估计所述变形图像相对于所述基准图像的曝光差异函数；
[0028]根据所述曝光差异函数对所述变形图像进行亮度调整。
[0029]在一种可能的设计中，所述获取待配准图像或基准图像的人物区域的像素点之前，还包括:
[0030]通过采样的方式缩小所述待配准图像和所述基准图像的尺寸，通过缩小待配准图像和基准图像的尺寸，可以提尚计算效率。
[0031 ]所述根据所述最优缝合线，生成全景图像，包括:
[0032]采用所述单应性矩阵、所述曝光差异函数和所述最优缝合线对所述待配准图像的原始图像和所述基准图像的原始图像进行处理，生成全景图像。
[0033]在一种可能的设计中，所述预设阈值为16。
[0034]本发明实施例第二方面提供一种全景图像的生成装置，包括:
[0035]配准模块，用于获取变形图像和基准图像的重叠区域；
[0036]融合模块，用于所述重叠区域的第一类边缘种子点和第二类边缘种子点，其中，所述第一类边缘种子点的一侧的像素点属于所述重叠区域，另一侧的像素点属于所述基准图像，所述第二类边缘种子点的一侧的像素点属于所述重叠区域，另一侧的像素点属于所述变形图像；
[0037]所述融合模块还用于确定最优缝合线，所述最优缝合线为N条待选缝合线中权值最小的待选缝合线，其中，每条待选缝合线的起点为从所述第二类边缘种子点所形成的图形的上边缘上任选的一个像素点，每条待选缝合线的终点为从所述第一类边缘种子点所形成的图形的下边缘上任选的一个像素点，所述每条待选缝合线从所述起点开始连续的穿过所述重叠区域到所述终点，每条待选缝合线的权值为所述待选缝合线所切割M条边的权值的和，每条边连接两个相邻的像素点，所述N为大于等于2的整数，所述M为大于等于2的整数；
[0038]所述融合模块还用于根据所述最优缝合线，生成全景图像。
[0039]在一种可能的设计中，所述融合模块还用于获取所述重叠区域相邻的两个像素点之间的边的初始权值，其中，所述初始权值为:
[0040]max(|rl-rl，|，|gl-gl，|，|bl-bl，|)+max(|r2~r2，|，|g2_g2，|，|b2~b2，|)
[0041]其中，(rl，gl，bl)和(rr，gl’，br)为所述相邻的两个像素点中的一个像素点分别在所述变形图像和所述基准图像中的红绿蓝1?8值，&2^2々2)和(^’^2’々2’)为所述相邻的两个像素点中另一个像素点分别在所述变形图像和所述基准图像中的RGB值；
[0042]所述融合模块还用于采用logistic函数对所述初始权值进行放大，得到每个初始权值对应的权值。
[0043]在一种可能的设计中，所述融合模块还用于获取所述重叠区域的人脸种子点，所述人脸种子点用于标记所述重叠区域内人脸区域的像素点的来源，所述来源为所述变形图像或所述基准图像；
[0044]其中，所述每条待选缝合线从所述起点开始连续的穿过所述重叠区域的非种子点之间的边到所述终点，所述非种子点为所述重叠区域中除所述第一类边缘种子点、所述第二类边缘种子点和所述人脸种子点之外的像素点。
[0045]在一种可能的设计中，所述配准模块具体用于获取待配准图像或基准图像的人物区域的像素点；获取所述待配准图像和所述基准图像中除所述人物区域的像素点之外的特征点；对所述特征点进行匹配，获得R组匹配特征点对，其中，所述R为大于等于预设阈值的整数;根据所述R组匹配特征点对，估计所述待配准图像几何变形的单应性矩阵;根据所述单应性矩阵获取所述待配准图像对应的变形图像;根据所述单应性矩阵获取所述变形图像和所述基准图像的重叠区域。
[0046]在一种可能的设计中，所述配准模块还用于以所述重叠区域中所述基准图像的像素点作为样本点，估计所述变形图像相对于所述基准图像的曝光差异函数;根据所述曝光差异函数对所述变形图像进行亮度调整。
[0047]在一种可能的设计中，还包括:
[0048]前处理模块，用于通过采样的方式缩小所述待配准图像和所述基准图像的尺寸。
[0049]所述融合模块具体用于采用所述单应性矩阵、所述曝光差异函数和所述最优缝合线对所述待配准图像的原始图像和所述基准图像的原始图像进行处理，生成全景图像。
[0050]在一种可能的设计中，所述预设阈值为16。
[0051]本发明实施例第三方面提供一种全景图像的生成装置，包括:
[0052]通信接口、存储器、处理器、通信总线和摄像头，其中，所述通信接口、所述存储器和所述处理器和所述摄像头通过所述通信总线通信；
[0053]所述摄像头用于获取基准图像和待配准图像；
[0054]所述存储器用于存放程序，所述处理器用于执行所述存储器存储的程序;所述程序用于执行以下步骤:
[0055]获取变形图像和基准图像的重叠区域；
[0056]获取所述重叠区域的第一类边缘种子点和第二类边缘种子点，其中，所述第一类边缘种子点的一侧的像素点属于所述重叠区域，另一侧的像素点属于所述基准图像，所述第二类边缘种子点的一侧的像素点属于所述重叠区域，另一侧的像素点属于所述变形图像；
[0057]确定最优缝合线，所述最优缝合线为N条待选缝合线中权值最小的待选缝合线，其中，每条待选缝合线的起点为从所述第二类边缘种子点所形成的图形的上边缘上任选的一个像素点，每条待选缝合线的终点为从所述第一类边缘种子点所形成的图形的下边缘上任选的一个像素点，所述每条待选缝合线从所述起点开始连续的穿过所述重叠区域到所述终点，每条待选缝合线的权值为所述待选缝合线所切割M条边的权值的和，每条边连接两个相邻的像素点，所述N为大于等于2的整数，所述M为大于等于2的整数；
[0058]根据所述最优缝合线，生成全景图像。
[0059]本发明提供的全景图像的生成方法和装置，通过获取变形图像和基准图像的重叠区域的第一类边缘种子点和第二类边缘种子点，以第二类边缘种子点所形成的图像的上边缘上任选一个像素点作为待选缝合线的起点，以第一类边缘种子点所形成的图像的下边缘上任选一个像素点作为待选缝合线的终点，每条待选缝合线从起点开始连续的穿过重叠区域到终点，遍历所有可能的待选缝合线，确定待选缝合线中权值最小的待选缝合线作为最优缝合线，由于每条待选缝合线的起点和终点不固定，起点可以是第二类边缘种子点所形成的图像的上边缘上任意一个像素点，终点可以是第一类边缘种子点所形成的图像的下边缘上任意一个像素点，因此，最优缝合线的选择更加灵活，从而，所确定的最优缝合线更加合理，从而，可以减小人物变形、拼接错位、拼接痕迹明显等问题，提高生成的全景图像的效果O
【附图说明】
[0060]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0061 ]图1为本发明实施例电子设备的硬件结构示意图；
[0062]图2为本发明实施例预处理过程的流程示意图；
[0063]图3为本发明实施例配准处理的流程示意图；
[0064]图4a为本发明实施例检测人脸区域的示意图；
[0065]图4b为本发明实施例识别人物区域的示意图；
[0066]图5为本发明实施例特征点匹配的效果一示意图；
[0067]图6是对图5中的特征点对进行甄别并剔除后的效果示意图；
[0068]图7为本发明实施例的变形图像和基准图像示意图；
[0069]图8为本发明全景图像的生成方法实施例的流程示意图；
[0070]图9为本发明实施例种子点标记的示意图；[0071 ]图10为本发明实施例的logistic函数的示意图；
[0072]图11为本发明实施例生成的全景图像的效果示意图；
[0073]图12为本发明全景图像的生成装置实施例的结构示意图。
【具体实施方式】
[0074]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0075]本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0076]本发明实施例的技术方案可应用于电子设备，例如:手机、平板、相机或其他带有摄像头的电子设备等，对此本发明不作限制，本发明实施例的电子设备的硬件结构如图1所示，图1为本发明实施例电子设备的硬件结构示意图，本实施例的电子设备中包含主板，主板上安装有通信接口 101、存储器102、处理器103、通信总线104和摄像头105，其中，通信接口 101、存储器102、处理器103和摄像头105通过通信总线104进行通信，通过摄像头获取生成全景图像所需的原始照片，包括:基准图像和待配准图像，通过处理器对基准图像和待配准图像进行处理，通过存储器存储基准图像和待配准图像以及处理器处理过程中产生的中间过程的图像以及得到的一些处理数据等。
[0077]本发明通过获取变形图像和基准图像的重叠区域的第一类边缘种子点和第二类边缘种子点，以第二类边缘种子点所形成的图像的上边缘上任选一个像素点作为待选缝合线的起点，以第一类边缘种子点所形成的图像的下边缘上任选一个像素点作为待选缝合线的终点，每条待选缝合线从起点开始连续的穿过重叠区域到终点，遍历所有可能的待选缝合线，确定待选缝合线中权值最小的待选缝合线作为最优缝合线，由于每条待选缝合线的起点和终点不固定，起点可以是第二类边缘种子点所形成的图像的上边缘上任意一个像素点，终点可以是第一类边缘种子点所形成的图像的下边缘上任意一个像素点，因此，最优缝合线的选择更加灵活，从而，所确定的最优缝合线更加合理，从而，可以减小人物变形、拼接错位、拼接痕迹明显等问题，提高生成的全景图像的效果。
[0078]下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
[0079]当用户需要拍摄全景图像时，通常会通过摄像头获取到S张从不同角度拍摄的原始照片，其中，S为大于等于2的整数，本发明下述各实施例以S = 3为例进行描述，S取其他值时，其生成全景图像的方法类似，本发明将不再赘述。
[0080]通过摄像头获取到3张图像之后，可进行如下预处理:基准标注和尺寸调整，如图2所示，图2为本发明实施例预处理过程的流程示意图:
[0081]其中，基准标注:根据拍摄的顺序，将居中的图像标注为基准图像，其他两张图像作为待配准图像，待配准图像以基准图像为基准进行配准。
[0082]尺寸调整:尺寸调整为可选步骤，通过采样的方式缩小待配准图像和基准图像的尺寸，以降低计算量，提高生成全景图像的效率。
[0083]如果进行尺寸调整，预处理过程输出尺寸调整后的两张待配准图像和基准图像；如果未进行尺寸调整，预处理过程输出原始尺寸的两张待配准图像和基准图像。
[0084]本发明下述各实施例以预处理过程进行了尺寸调整为例进行描述。
[0085]通过图2的预处理流程确定基准图像和待配准图像之后，可进行配准处理，图像配准是对共享部分场景的两张图像建立某种几何对应关系，并对待配准图像进行相应的几何变形，使变形后的待配准图像与基准图像之间的公共部分对准。图像配准包括:基于像素点的配准和基于特征点的配准，其中，基于特征点的配准对于视角差异很大、对比度或内容变化很大的图像配准问题具有很高的鲁棒性。本发明以基于特征点配准为例进行描述，配准处理的流程示意图如图3所示，通过配准处理之后，得到待配准图像进行几何变形的单应性矩阵，使得根据单应性矩阵几何变形后的待配准图像与基准图像在重叠区域内达到景物区域的配准;将每张待配准图像采用相同的方法与基准图像进行配准，具体如图3所示:
[0086]S301:输入待配准图像和基准图像。
[0087]其中，待配准图像和基准图像为图2中预处理流程标记的结果。
[0088]S302:获取待配准图像或基准图像的人物区域的像素点。
[0089]人物区域识别的一种可能的实现方式如下:
[0090]通过人脸检测技术检测待配准图像或基准图像的人脸区域，只要识别其中一幅图像即可。如图4a所示，图4a为本发明实施例检测人脸区域的示意图；
[0091]根据返回的人脸区域坐标估计人物的其他区域的位置，首先，将图4a中作图中的矩形框区域的宽度左右各缩小I/16，高度上下各扩大I/8，以获得人脸区域更精确的识别，其中，宽度和高度的调整值为经验值，也可以是其他数值，本发明对此不作限制，只要最终能够识别到完整的人脸区域即可;然后，选择肩膀区域左上角的横坐标为人脸区域左上角横坐标向左平移原人脸宽度的3/4，肩膀区域左上角纵坐标向下平移原人脸高度的1.25倍，肩膀区域的宽度对称选取，即肩膀区域的总宽度为原人脸区域宽度的2.5倍，肩膀区域的高度延伸到图像的下边缘，识别结果如图4b所示，图4b通过遮挡的方式标记识别到的人物区域，图4b为本发明实施例识别人物区域的示意图，也可以不通过遮挡的方式标记识别到的人物区域，例如，通过勾勒轮廓等，只要能够区别出人物区域和景物区域即可，对此，本发明不作限制。
[0092]S303:获取待配准图像和基准图像中除人物区域的像素点之外的特征点。
[0093]分别检测待配准图像和基准图像的特征点，在检测特征点时，剔除识别到的人物区域的像素点。
[0094]S304:对特征点进行匹配，获得R组匹配特征点对。
[0095]特征点的匹配是将相同的特征点进行配对，如图5所示，图5为本发明实施例特征点匹配的效果一示意图；其中，连线的两个点表示得到的匹配特征点对。
[0096]可选地，得到的匹配特征点对可能存在错误匹配的特征点对或者无效的匹配特征点对(如人物区域的特征点对)，则需要采取一些方法(例如:RANSAC)将错误匹配的特征点对或无效的匹配特征点对甄别并剔除，如图6所示，图6是对图5中的特征点对进行甄别并剔除后的效果不意图。
[0097]其中，R为大于等于预设阈值的整数。预设阈值因所采用的方法不同，大小不同，采用随机抽样一致(RANdom SAmple Consensus，简称:RANSAC)算法时，预设阈值通常取16 ；即最终的匹配特征点对大于等于16对。
[0098]当最终获得的匹配特征点对个数小于预设阈值时，则需要增加一些人物区域的匹配特征点对，使得有足够的匹配特征点对。
[0099]S305:根据R组匹配特征点对，估计待配准图像几何变形的单应性矩阵。
[0100]S306:根据单应性矩阵获取待配准图像对应的变形图像。
[0101]其中，变形图像和基准图像在重叠区域内，达到景物区域的配准，如图7所示，图7为本发明实施例的变形图像和基准图像示意图，其中，左图为变形图像，右图为基准图像。
[0102]S307:根据单应性矩阵获取变形图像和基准图像的重叠区域。
[0103]S308:以重叠区域中基准图像的像素点作为样本点，估计变形图像相对于基准图像的曝光差异函数。
[0104]S309:根据曝光差异函数对变形图像进行亮度调整。
[0105]在上述实施例中，通过识别人物区域，分离人物区域和景物区域，对景物区域进行配准，从而，使景物区域能够达到更精确的配准。并根据单应性矩阵获取变形图像和基准图像的重叠区域，以重叠区域中基准图像的像素点作为样本点，估计变形图像相对于基准图像的曝光差异函数，根据曝光差异函数对变形图像进行亮度调整。
[0106]图8为本发明全景图像的生成方法实施例的流程示意图，本实施例的方法如下:
[0107]S801:获取变形图像和基准图像的重叠区域。
[0108]变形图形是将待配准图像根据单应性矩阵几何变形后得到的。
[0109]根据单应性矩阵即可获取到变形图像和基准图像的重叠区域。
[0110]S802:获取重叠区域的第一类边缘种子点和第二类边缘种子点。
[0111]其中，第一类边缘种子点的一侧的像素点属于所述重叠区域，另一侧的像素点属于所述基准图像，所述第二类边缘种子点的一侧的像素点属于所述重叠区域，另一侧的像素点属于所述变形图像。如图9所示，其中，901上的点为第一类边缘种子点，902上的点为第二类边缘种子点。
[0112]S803:确定最优缝合线。
[0113]将第一类边缘种子点和第二类边缘种子点的端权值(terminal weight)、非种子点的之间的边权值(edge weight)代入图割算法，得到变形图像和基准图像在重叠区域内的所有像素点的二值标签。
[0114]标签为O的像素点和第一类边缘种子点取自基准图像；
[0115]标签为I的像素点和第二类边缘种子点取自变形图像。
[0116]所述最优缝合线为N条待选缝合线中权值最小的待选缝合线，其中，每条待选缝合线的起点为从所述第二类边缘种子点所形成的图形的上边缘上任选的一个像素点，每条待选缝合线的终点为从所述第一类边缘种子点所形成的图形的下边缘上任选的一个像素点，所述每条待选缝合线从所述起点开始连续的穿过所述重叠区域到所述终点，每条待选缝合线的权值为所述待选缝合线所切割M条边的权值的和，每条边连接两个相邻的像素点，所述N为大于等于2的整数，所述M为大于等于2的整数。
[0117]即:以第二类边缘种子点所形成的图像的上边缘上任选一个像素点作为待选缝合线的起点，以第一类边缘种子点所形成的图像的下边缘上任选一个像素点作为待选缝合线的终点，每条待选缝合线从起点开始连续的穿过重叠区域到终点，遍历所有可能的待选缝合线，确定待选缝合线中权值最小的待选缝合线作为最优缝合线，每条待选缝合线的权值为所述待选缝合线所切割M条边的权值的和，每条边连接两个相邻的像素点。
[0118]S804:根据最优缝合线，生成全景图像。
[0119]若在预处理模块中通过采样的方式缩小待配准图像和基准图像的尺寸，则需要将通过上述步骤得到的单应性矩阵、曝光差异函数和最优缝合线对所述待配准图像的原始图像和所述基准图像的原始图像进行处理;对处理后的图像应用柱面投影，减轻物体的畸变，计算柱面投影图像的最大内接矩阵，裁剪后生成全景图像。
[0120]本实施例，通过获取变形图像和基准图像的重叠区域的第一类边缘种子点和第二类边缘种子点，以第二类边缘种子点所形成的图像的上边缘上任选一个像素点作为待选缝合线的起点，以第一类边缘种子点所形成的图像的下边缘上任选一个像素点作为待选缝合线的终点，每条待选缝合线从起点开始连续的穿过重叠区域到终点，遍历所有可能的待选缝合线，确定待选缝合线中权值最小的待选缝合线作为最优缝合线，由于每条待选缝合线的起点和终点不固定，起点可以是第二类边缘种子点所形成的图像的上边缘上任意一个像素点，终点可以是第一类边缘种子点所形成的图像的下边缘上任意一个像素点，因此，最优缝合线的选择更加灵活，从而，所确定的最优缝合线更加合理，从而，可以减小人物变形、拼接错位、拼接痕迹明显等问题，提高生成的全景图像的效果。
[0121 ]在上述实施例中，可选地，在确定最优缝合线之前，还可以包括:
[0122]获取重叠区域的人脸种子点，人脸种子点用于标记重叠区域内人脸区域的像素点的来源，来源为变形图形或者基准图像;人脸种子点包括第一类人脸种子点和第二类人脸种子点，具体地标记方法如下:
[0123]1、如果重叠区域中，某完整人脸区域来自基准图像，则标记为第一类人脸种子点；
2、如果重叠区域中，某不完整人脸区域来自基准图像，则标记为第二类人脸种子点；3、如果重叠区域中，某完整人脸区域来自变形图像，且与重叠区域中来自基准图像的任一完整人脸区域不相交，则标记为第二类人脸种子点;4、如果重叠区域中，某完整人脸区域来自变形图像，且与重叠区域中来自基准图像的另一完整人脸区域相交，则标记为第一类人脸种子点;5、如果重叠区域中，某不完整人脸区域来自基准图像，则标记为第一类人脸种子点。
[0124]获取所述重叠区域相邻的两个像素点之间的边的初始权值，重叠区域相邻的两个像素点是指重叠区域内的非种子点，所述非种子点是指除第一类边缘种子点、第二类边缘种子点和人脸种子点之外的像素点，其中，所述初始权值为:
[0125]max(|rl-rl，|，|gl-gl，|，|bl-bl，|)+max(|r2~r2，|，|g2_g2，|，|b2~b2，|)
[0126]其中，(rl，gl，bl)和(rr，gl’，br)为所述相邻的两个像素点中的一个像素点分别在所述变形图像和所述基准图像中的红绿蓝1?8值，&2^2々2)和(^’^2’々2’)为所述相邻的两个像素点中另一个像素点分别在所述变形图像和所述基准图像中的RGB值；
[0127]采用1gist i c函数对所述初始权值进行放大，得到每个初始权值对应的权值。1gistic函数如图10所示，图10为本发明实施例的logistic函数的示意图，通过该函数对初始权重值进行放大，初始权重值越小，放大倍数越接近于I，初始权重值越大，放大倍数越接近于1000，放大倍数随初始权重增长的速度先块后慢，通常，明显没有配准的变放大倍数都接近于1000。
[0128]相应地，确定最优缝合线时，获取将第一类边缘种子点、第二类边缘种子点、第一类人脸种子点和第二类人脸种子点的端权值(terminal weight)、非种子点的之间的边权值(edge weight)代入图割算法，得到变形图像和基准图像在重叠区域内的所有像素点的二值标签。
[0129]标签为O的像素点和第一类边缘种子点、取自基准图像；
[0130]标签为I的像素点和第二类边缘种子点取自变形图像。
[0131]根据单应性矩阵、曝光差异函数和最优缝合线，生成全景图像，全景图像的效果如图11所示。
[0132]本实施例，通过对初始权重值放大可以避免局部权重值过大的问题，可以有效避开人脸区域等无法精确配准的图像区域，可以提高生成的全景图像的效果。
[0133]图12为本发明全景图像的生成装置实施例的结构示意图，本实施例的装置包括配准模块1201和融合模块1202，其中，配准模块1201用于获取变形图像和基准图像的重叠区域;融合模块1202用于重叠区域的第一类边缘种子点和第二类边缘种子点，其中，第一类边缘种子点的一侧的像素点属于重叠区域，另一侧的像素点属于基准图像，第二类边缘种子点的一侧的像素点属于重叠区域，另一侧的像素点属于变形图像;融合模块1202还用于确定最优缝合线，最优缝合线为N条待选缝合线中权值最小的待选缝合线，其中，每条待选缝合线的起点为从第二类边缘种子点所形成的图形的上边缘上任选的一个像素点，每条待选缝合线的终点为从第一类边缘种子点所形成的图形的下边缘上任选的一个像素点，每条待选缝合线从起点开始连续的穿过重叠区域到终点，每条待选缝合线的权值为待选缝合线所切割M条边的权值的和，每条边连接两个相邻的像素点，N为大于等于2的整数，M为大于等于2的整数;融合模块1202还用于根据最优缝合线，生成全景图像。
[0134]在上述实施例中，融合模块1202还用于获取重叠区域相邻的两个像素点之间的边的初始权值，其中，初始权值为:
[0135]max(|rl-rl，|，|gl-gl，|，|bl-bl，|)+max(|r2~r2，|，|g2_g2，|，|b2~b2，|)
[0136]其中，(rl，gl，bl)和(rr，gl’，br)为相邻的两个像素点中的一个像素点分别在变形图像和基准图像中的红绿蓝10值，&2^2々2)和&2’^2’瓜’)为相邻的两个像素点中另一个像素点分别在变形图像和基准图像中的RGB值；
[0137]融合模块1202还用于采用logistic函数对初始权值进行放大，得到每个初始权值对应的权值。
[0138]在上述实施例中，融合模块1202还用于获取重叠区域的人脸种子点，人脸种子点用于标记重叠区域内人脸区域的像素点的来源，来源为变形图像或基准图像；
[0139]其中，每条待选缝合线从起点开始连续的穿过重叠区域的非种子点之间的边到终点，非种子点为重叠区域中除第一类边缘种子点、第二类边缘种子点和人脸种子点之外的像素点。
[0140]在上述实施例中，配准模块1201具体用于获取待配准图像或基准图像的人物区域的像素点；获取待配准图像和基准图像中除人物区域的像素点之外的特征点；对特征点进行匹配，获得R组匹配特征点对，其中，R为大于等于预设阈值的整数;根据R组匹配特征点对，估计待配准图像几何变形的单应性矩阵;根据单应性矩阵获取待配准图像对应的变形图像;根据单应性矩阵获取变形图像和基准图像的重叠区域。
[0141]在上述实施例中，配准模块1201还用于以重叠区域中基准图像的像素点作为样本点，估计变形图像相对于基准图像的曝光差异函数;根据曝光差异函数对变形图像进行亮度调整。
[0142]上述实施例的装置可用于执行图8所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0143]本发明还提供一种全景图像的生成装置，如图1所示，包括:
[0144]通信接口 101、存储器102、处理器103、通信总线104和摄像头105，其中，通信接口101、存储器102和处理器103和摄像头105通过通信总线104通信；
[0145]摄像头105用于获取基准图像和待配准图像；
[0146]存储器102用于存放程序，处理器103用于执行存储器102存储的程序;程序用于执行以下步骤:
[0147]获取变形图像和基准图像的重叠区域；
[0148]获取重叠区域的第一类边缘种子点和第二类边缘种子点，其中，第一类边缘种子点的一侧的像素点属于重叠区域，另一侧的像素点属于基准图像，第二类边缘种子点的一侧的像素点属于重叠区域，另一侧的像素点属于变形图像；
[0149]确定最优缝合线，最优缝合线为N条待选缝合线中权值最小的待选缝合线，其中，每条待选缝合线的起点为从第二类边缘种子点所形成的图形的上边缘上任选的一个像素点，每条待选缝合线的终点为从第一类边缘种子点所形成的图形的下边缘上任选的一个像素点，每条待选缝合线从起点开始连续的穿过重叠区域到终点，每条待选缝合线的权值为待选缝合线所切割M条边的权值的和，每条边连接两个相邻的像素点，N为大于等于2的整数，M为大于等于2的整数；
[0150]根据最优缝合线，生成全景图像。
[0151]上述实施例的装置可用于执行图8所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0152]本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤;而前述的存储介质包括:R0M、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
[0153]最后应说明的是:以上各实施例仅用以说明本发明的技术方案，而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
【主权项】
1.一种全景图像的生成方法，其特征在于，包括: 获取变形图像和基准图像的重叠区域； 获取所述重叠区域的第一类边缘种子点和第二类边缘种子点，其中，所述第一类边缘种子点的一侧的像素点属于所述重叠区域，另一侧的像素点属于所述基准图像，所述第二类边缘种子点的一侧的像素点属于所述重叠区域，另一侧的像素点属于所述变形图像； 确定最优缝合线，所述最优缝合线为N条待选缝合线中权值最小的待选缝合线，其中，每条待选缝合线的起点为从所述第二类边缘种子点所形成的图形的上边缘上任选的一个像素点，每条待选缝合线的终点为从所述第一类边缘种子点所形成的图形的下边缘上任选的一个像素点，所述每条待选缝合线从所述起点开始连续的穿过所述重叠区域到所述终点，每条待选缝合线的权值为所述待选缝合线所切割M条边的权值的和，每条边连接两个相邻的像素点，所述N为大于等于2的整数，所述M为大于等于2的整数； 根据所述最优缝合线，生成全景图像。2.根据权利要求1所述的方法，其特征在于，所述确定最优缝合线之前，还包括: 获取所述重叠区域相邻的两个像素点之间的边的初始权值，其中，所述初始权值为: max(Irl-rl，|，|gl-gl，|，|bl-bl，|)+max(|r2-r2，|，|g2_g2，|，|b2~b2，|) 其中，&1^1，131)和(^’^1’，131’)为所述相邻的两个像素点中的一个像素点分别在所述变形图像和所述基准图像中的红绿蓝1?8值，&2^2々2)和(^’^2’々2’)为所述相邻的两个像素点中另一个像素点分别在所述变形图像和所述基准图像中的RGB值； 采用logistic函数对所述初始权值进行放大，得到每个初始权值对应的权值。3.根据权利要求2所述的方法，其特征在于，还包括: 获取所述重叠区域的人脸种子点，所述人脸种子点用于标记所述重叠区域内人脸区域的像素点的来源，所述来源为所述变形图像或所述基准图像； 其中，所述每条待选缝合线从所述起点开始连续的穿过所述重叠区域的非种子点之间的边到所述终点，所述非种子点为所述重叠区域中除所述第一类边缘种子点、所述第二类边缘种子点和所述人脸种子点之外的像素点。4.根据权利要求1?3任一项所述的方法，其特征在于，所述获取变形图像和基准图像的重叠区域，包括: 获取待配准图像或基准图像的人物区域的像素点； 获取所述待配准图像和所述基准图像中除所述人物区域的像素点之外的特征点； 对所述特征点进行匹配，获得R组匹配特征点对，其中，所述R为大于等于预设阈值的整数； 根据所述R组匹配特征点对，估计所述待配准图像几何变形的单应性矩阵； 根据所述单应性矩阵获取所述待配准图像对应的变形图像； 根据所述单应性矩阵获取所述变形图像和所述基准图像的重叠区域。5.根据权利要求4所述的方法，其特征在于，所述根据所述单应性矩阵获取所述变形图像和所述基准图像的重叠区域之后，还包括: 以所述重叠区域中所述基准图像的像素点作为样本点，估计所述变形图像相对于所述基准图像的曝光差异函数； 根据所述曝光差异函数对所述变形图像进行亮度调整。6.一种全景图像的生成装置，其特征在于，包括: 配准模块，用于获取变形图像和基准图像的重叠区域； 融合模块，用于所述重叠区域的第一类边缘种子点和第二类边缘种子点，其中，所述第一类边缘种子点的一侧的像素点属于所述重叠区域，另一侧的像素点属于所述基准图像，所述第二类边缘种子点的一侧的像素点属于所述重叠区域，另一侧的像素点属于所述变形图像； 所述融合模块还用于确定最优缝合线，所述最优缝合线为N条待选缝合线中权值最小的待选缝合线，其中，每条待选缝合线的起点为从所述第二类边缘种子点所形成的图形的上边缘上任选的一个像素点，每条待选缝合线的终点为从所述第一类边缘种子点所形成的图形的下边缘上任选的一个像素点，所述每条待选缝合线从所述起点开始连续的穿过所述重叠区域到所述终点，每条待选缝合线的权值为所述待选缝合线所切割M条边的权值的和，每条边连接两个相邻的像素点，所述N为大于等于2的整数，所述M为大于等于2的整数； 所述融合模块还用于根据所述最优缝合线，生成全景图像。7.根据权利要求6所述的装置，其特征在于，所述融合模块还用于获取所述重叠区域相邻的两个像素点之间的边的初始权值，其中，所述初始权值为: max(Irl-rl，|，|gl-gl，|，|bl-bl，|)+max(|r2-r2，|，|g2_g2，|，|b2~b2，|) 其中，&1^1，131)和(^’^1’，131’)为所述相邻的两个像素点中的一个像素点分别在所述变形图像和所述基准图像中的红绿蓝1?8值，&2^2々2)和(^’^2’々2’)为所述相邻的两个像素点中另一个像素点分别在所述变形图像和所述基准图像中的RGB值； 所述融合模块还用于采用logistic函数对所述初始权值进行放大，得到每个初始权值对应的权值。8.根据权利要求7所述的装置，其特征在于，所述融合模块还用于获取所述重叠区域的人脸种子点，所述人脸种子点用于标记所述重叠区域内人脸区域的像素点的来源，所述来源为所述变形图像或所述基准图像； 其中，所述每条待选缝合线从所述起点开始连续的穿过所述重叠区域的非种子点之间的边到所述终点，所述非种子点为所述重叠区域中除所述第一类边缘种子点、所述第二类边缘种子点和所述人脸种子点之外的像素点。9.根据权利要求6?8任一项所述的装置，其特征在于，所述配准模块具体用于获取待配准图像或基准图像的人物区域的像素点;获取所述待配准图像和所述基准图像中除所述人物区域的像素点之外的特征点;对所述特征点进行匹配，获得R组匹配特征点对，其中，所述R为大于等于预设阈值的整数;根据所述R组匹配特征点对，估计所述待配准图像几何变形的单应性矩阵;根据所述单应性矩阵获取所述待配准图像对应的变形图像;根据所述单应性矩阵获取所述变形图像和所述基准图像的重叠区域。10.根据权利要求9所述的装置，其特征在于，所述配准模块还用于以所述重叠区域中所述基准图像的像素点作为样本点，估计所述变形图像相对于所述基准图像的曝光差异函数;根据所述曝光差异函数对所述变形图像进行亮度调整。11.一种全景图像的生成装置，其特征在于，包括: 通信接口、存储器、处理器、通信总线和摄像头，其中，所述通信接口、所述存储器和所述处理器和所述摄像头通过所述通信总线通信； 所述摄像头用于获取基准图像和待配准图像； 所述存储器用于存放程序，所述处理器用于执行所述存储器存储的程序;所述程序用于执行以下步骤: 获取变形图像和基准图像的重叠区域； 获取所述重叠区域的第一类边缘种子点和第二类边缘种子点，其中，所述第一类边缘种子点的一侧的像素点属于所述重叠区域，另一侧的像素点属于所述基准图像，所述第二类边缘种子点的一侧的像素点属于所述重叠区域，另一侧的像素点属于所述变形图像； 确定最优缝合线，所述最优缝合线为N条待选缝合线中权值最小的待选缝合线，其中，每条待选缝合线的起点为从所述第二类边缘种子点所形成的图形的上边缘上任选的一个像素点，每条待选缝合线的终点为从所述第一类边缘种子点所形成的图形的下边缘上任选的一个像素点，所述每条待选缝合线从所述起点开始连续的穿过所述重叠区域到所述终点，每条待选缝合线的权值为所述待选缝合线所切割M条边的权值的和，每条边连接两个相邻的像素点，所述N为大于等于2的整数，所述M为大于等于2的整数； 根据所述最优缝合线，生成全景图像。
【文档编号】G06T3/40GK105869113SQ201610179612
【公开日】2016年8月17日
【申请日】2016年3月25日
【发明人】张帆, 张一帆, 李楠, 孔玲军
【申请人】华为技术有限公司