本发明涉及图像处理领域,特别是涉及在gpu上实现双鱼眼图像实时全景图像拼接方法及系统。
背景技术:
全景图像作为一种能为用户提供超大视野观察的实景图片,广泛应用于虚拟旅游、增强现实、工程开发、抢险救灾、机器人导航等多个领域;其中基于图像拼接的全景图像生成主要包括以下三种方式:(1)采用多镜头的特制设备,比如facebooksurround360、goproodyssey等,但这类设备价格昂贵,普通大众往往承受不起;(2)通过单镜头旋转一周,采集多张图像拼接,但这类方法拍摄时间过长,仅适用于静态场景;(3)基于鱼眼图像拼接,因为鱼眼镜头的视角可以达到甚至超过180°,所以理论上两张鱼眼图像就可得到全景图像,这种方法成本较低,操作简单,效果显著,基于鱼眼图像拼接的全景图像生成方法,需将至少两张图像拼接在一起,这就需要保证图像中有重叠部分,而重叠部分的检测主要包括两种方式:一种是采用标定方法,在标定环境中拍摄图像,建立校正模型,求解得到校正拼接参数,最后以这些参数校正图像;另一种是采用特征点匹配方法,提取图像特征点(如尺度不变特征转换、加速稳健特征等),利用特征点确定图像间的重叠区域。然而无论哪种方式,拼接校正的计算过程复杂且速度慢,无法应用于机器人导航等对实时性要求较高的领域。
技术实现要素:
本发明的目的是提供在gpu上实现双鱼眼图像实时全景图像拼接方法及系统,以解决无法快速且实时拼接成全景图像的问题。
为实现上述目的,本发明提供了如下方案:
一种在gpu上实现双鱼眼图像实时全景图像拼接方法,包括:
获取标定全景图像;
根据所述标定全景图像的生成过程确定第一鱼眼镜头查找表;所述第一鱼眼镜头查找表为所述标定全景图像中的每个像素点对应到第一鱼眼图像中的每个像素点的坐标值数组;
根据所述标定全景图像的生成过程确定第二鱼眼镜头查找表;所述第二鱼眼镜头查找表为所述标定全景图像中的每个像素点对应到第二鱼眼图像中的每个像素点的坐标值数组;
根据所述标定全景图像、所述第一鱼眼镜头查找表以及所述第二鱼眼镜头查找表确定融合度查找表;所述融合度查找表为由所述第一鱼眼图像、所述第二鱼眼图像的重叠区域的融合度数组和所述第一鱼眼图像、所述第二鱼眼图像的非重叠区域的融合度数组组成;
根据所述第一鱼眼镜头查找表、所述第二鱼眼镜头查找表以及所述融合度查找表确定期望全景图像。
可选的,所述根据所述标定全景图像的生成过程确定第一鱼眼镜头查找表,具体包括:
获取所述标定全景图像的第一标定像素点;所述标定全景图像包括多个第一标定像素点;
判断所述第一标定像素点是否与所述第一鱼眼图像中的第一鱼眼像素点相对应,得到第一判断结果;
若所述第一判断结果表示为所述第一标定像素点与所述第一鱼眼像素点相对应,获取所述第一鱼眼像素点的坐标,建立所述第一鱼眼镜头查找表。
可选的,所述根据所述标定全景图像的生成过程确定第二鱼眼镜头查找表,具体包括:
若所述第一判断结果表示为所述第一标定像素点未与所述第一鱼眼像素点相对应,判断所述第一标定像素点是否与第二鱼眼图像中的第二鱼眼像素点相对应,得到第二判断结果;
若所述第二判断结果表示为所述第一标定像素点与所述第二鱼眼像素点相对应,获取所述第二鱼眼像素点的坐标,建立所述第二鱼眼镜头查找表。
可选的,所述获取所述第二鱼眼像素点的坐标,建立所述第二鱼眼镜头查找表之后,还包括:
获取所述重叠区域的最大宽度;
获取所述第一标定像素点距离所述第一鱼眼图像的底部边缘的距离;
根据所述最大宽度和所述距离确定所述第一鱼眼图像的融合度;
根据所述第一鱼眼图像的融合度确定所述第二鱼眼图像的融合度;
若所述第二判断结果表示为所述第一标定像素点未与所述第二鱼眼像素点相对应,确定所述第一鱼眼图像的融合度为1,确定所述第二鱼眼图像的融合度为0;
若所述第一判断结果表示为所述第一标定像素点未与所述第一鱼眼像素点相对应,确定所述第一鱼眼图像的融合度为0,确定所述第二鱼眼图像的融合度为1。
可选的,所述根据所述第一鱼眼镜头查找表、所述第二鱼眼镜头查找表以及所述融合度查找表确定期望全景图像,具体包括:
获取实际拍摄的全景图像的第一实际像素点;
判断所述第一实际像素点在所述第一鱼眼镜头查找表内是否存在对应的第一查询坐标,得到第三判断结果;
若所述第三判断结果表示为所述第一实际像素点在第一鱼眼镜头查找表内存在对应的第一查询坐标,判断所述第一实际像素点在所述第二鱼眼镜头查找表内是否存在对应的第二查询坐标,得到第四判断结果;
若所述第四判断结果表示为所述第一实际像素点在所述第二鱼眼镜头查找表内存在对应的第二查询坐标,获取所述第一查询坐标在所述第一鱼眼图像上的第一颜色值和所述第二查询坐标在所述第二鱼眼图像上的第二颜色值;
在所述融合度查找表查找所述第一实际像素点处的融合度值;
根据所述第一颜色值、所述第二颜色值以及所述融合度值确定所述期望全景图像内第一期望像素点的第一期望颜色值;所述第一期望像素点与所述第一实际像素点相对应;所述第一期望颜色值包括多个;
根据多个所述第一期望颜色值确定期望全景图像;
若所述第四判断结果表示为所述第一实际像素点在所述第二鱼眼镜头查找表内未存在对应的第二查询坐标,确定所述第一查询坐标在所述第一鱼眼图像上对应的颜色值为所述第一期望像素点的第二期望颜色值;所述第二期望颜色值包括多个;
根据多个所述第二期望颜色值确定期望全景图像。
一种在gpu上实现双鱼眼图像实时全景图像拼接系统,包括:
标定全景图像获取模块,用于获取标定全景图像;
第一鱼眼镜头查找表确定模块,用于根据所述标定全景图像的生成过程确定第一鱼眼镜头查找表;所述第一鱼眼镜头查找表为所述标定全景图像中的每个像素点对应到第一鱼眼图像中的每个像素点的坐标值数组;
第二鱼眼镜头查找表确定模块,用于根据所述标定全景图像的生成过程确定第二鱼眼镜头查找表;所述第二鱼眼镜头查找表为所述标定全景图像中的每个像素点对应到第二鱼眼图像中的每个像素点的坐标值数组;
融合度查找表确定模块,用于根据所述标定全景图像、所述第一鱼眼镜头查找表以及所述第二鱼眼镜头查找表确定融合度查找表;所述融合度查找表为由所述第一鱼眼图像、所述第二鱼眼图像的重叠区域的融合度数组和所述第一鱼眼图像、所述第二鱼眼图像的非重叠区域的融合度数组组成;
期望全景图像确定模块,用于根据所述第一鱼眼镜头查找表、所述第二鱼眼镜头查找表以及所述融合度查找表确定期望全景图像。
可选的,所述第一鱼眼镜头查找表确定模块,具体包括:
第一标定像素顶获取单元,用于获取所述标定全景图像的第一标定像素点;所述标定全景图像包括多个第一标定像素点;
第一判断单元,用于判断所述第一标定像素点是否与所述第一鱼眼图像中的第一鱼眼像素点相对应,得到第一判断结果;
第一鱼眼镜头查找表建立单元,用于若所述第一判断结果表示为所述第一标定像素点与所述第一鱼眼像素点相对应,获取所述第一鱼眼像素点的坐标,建立所述第一鱼眼镜头查找表。
可选的,所述第二鱼眼镜头查找表确定模块,具体包括:
第二判断单元,用于若所述第一判断结果表示为所述第一标定像素点未与所述第一鱼眼像素点相对应,判断所述第一标定像素点是否与第二鱼眼图像中的第二鱼眼像素点相对应,得到第二判断结果;
第二鱼眼镜头查找表建立单元,用于若所述第二判断结果表示为所述第一标定像素点与所述第二鱼眼像素点相对应,获取所述第二鱼眼像素点的坐标,建立所述第二鱼眼镜头查找表。
可选的,所述第二鱼眼镜头查找表建立单元之后,还包括:
最大宽度获取子单元,用于获取所述重叠区域的最大宽度;
底部边缘距离获取子单元,用于获取所述第一标定像素点距离所述第一鱼眼图像的底部边缘的距离;
第一融合度确定子单元,用于根据所述最大宽度和所述距离确定所述第一鱼眼图像的融合度;
第二融合度确定子单元,用于根据所述第一鱼眼图像的融合度确定所述第二鱼眼图像的融合度;
第三融合度确定子单元,用于若所述第二判断结果表示为所述第一标定像素点未与所述第二鱼眼像素点相对应,确定所述第一鱼眼图像的融合度为1,确定所述第二鱼眼图像的融合度为0;
第四融合度确定子单元,用于若所述第一判断结果表示为所述第一标定像素点未与所述第一鱼眼像素点相对应,确定所述第一鱼眼图像的融合度为0,确定所述第二鱼眼图像的融合度为1。
可选的,所述期望全景图像确定模块,具体包括:
第一实际像素点获取单元,用于获取实际拍摄的全景图像的第一实际像素点;
第三判断单元,用于判断所述第一实际像素点在所述第一鱼眼镜头查找表内是否存在对应的第一查询坐标,得到第三判断结果;
第四判断单元,用于若所述第三判断结果表示为所述第一实际像素点在第一鱼眼镜头查找表内存在对应的第一查询坐标,判断所述第一实际像素点在所述第二鱼眼镜头查找表内是否存在对应的第二查询坐标,得到第四判断结果;
颜色值获取单元,用于若所述第四判断结果表示为所述第一实际像素点在所述第二鱼眼镜头查找表内存在对应的第二查询坐标,获取所述第一查询坐标在所述第一鱼眼图像上的第一颜色值和所述第二查询坐标在所述第二鱼眼图像上的第二颜色值;
融合度值查找单元,用于在所述融合度查找表查找所述第一实际像素点处的融合度值;
第一期望颜色值获取单元,用于根据所述第一颜色值、所述第二颜色值以及所述融合度值确定所述期望全景图像内第一期望像素点的第一期望颜色值;所述第一期望像素点与所述第一实际像素点相对应;所述第一期望颜色值包括多个;
第一期望全景图像确定单元,用于根据多个所述第一期望颜色值确定期望全景图像;
第二颜色值确定单元,用于若所述第四判断结果表示为所述第一实际像素点在所述第二鱼眼镜头查找表内未存在对应的第二查询坐标,确定所述第一查询坐标在所述第一鱼眼图像上对应的颜色值为所述第一期望像素点的第二期望颜色值;所述第二期望颜色值包括多个;
第二期望全景图像确定单元,用于根据多个所述第二期望颜色值确定期望全景图像。
根据本发明提供的具体实施例,本发明公开了以下技术效果:本发明公开了全景图像拼接方法及系统,建立第一鱼眼镜头查找表、第二鱼眼镜头查找表以及融合度查找表,从上述三个查找表中直接找出实际拍摄的全景图像在鱼眼图像中的像素值和融合度值,确定期望全景图像,从而能够快速实时的将两个图像拼接成期望全景图像。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明所提供的全景图像拼接方法流程图;
图2为本发明所提供的基于查找表的全景图像处理的原理图;
图3为本发明所提供的全景图像拼接系统结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供在gpu上实现双鱼眼图像实时全景图像拼接方法及系统,以解决无法快速且实时拼接成全景图像的问题。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明所提供的全景图像拼接方法流程图,如图1所示,一种在gpu上实现双鱼眼图像实时全景图像拼接方法,包括:
步骤101:获取标定全景图像;
步骤102:根据所述标定全景图像的生成过程确定第一鱼眼镜头查找表;所述第一鱼眼镜头查找表为所述标定全景图像中的每个像素点对应到第一鱼眼图像中的每个像素点的坐标值数组。
所述标定全景图像的生成过程可以为在自制的特殊标定环境下采集两幅鱼眼图像,提取图像的有效区域,按照柱面校正模型,将有效区域映射到圆柱面上,展开成两幅矩形图像,通过标定线的位置关系,平移图像并形成柱面全景图,最终将柱面全景图转换为球面全景图,得到标定全景图像,所述标定全景图像的获取方法包括但不限于上述方法。
所述步骤102具体包括:获取所述标定全景图像的第一标定像素点;所述标定全景图像包括多个第一标定像素点;判断所述第一标定像素点是否与所述第一鱼眼图像中的第一鱼眼像素点相对应,若是,获取所述第一鱼眼像素点的坐标,建立所述第一鱼眼镜头查找表。
步骤103:根据所述标定全景图像的生成过程确定第二鱼眼镜头查找表;所述第二鱼眼镜头查找表为所述标定全景图像中的每个像素点对应到第二鱼眼图像中的每个像素点的坐标值数组。
所述步骤103具体包括:若所述第一标定像素点未与所述第一鱼眼像素点相对应,判断所述第一标定像素点是否与第二鱼眼图像中的第二鱼眼像素点相对应,若是,获取所述第二鱼眼像素点的坐标,建立所述第二鱼眼镜头查找表。
第一鱼眼镜头查找表、第二鱼眼镜头查找表分别记录的是标定全景图像与第一鱼眼图像、第二鱼眼图像之间的坐标映射关系。若标定全景图像某个像素点(x,y)对应于第一鱼眼图像的像素(u1,v1),则第一鱼眼镜头查找表的像素(x,y)会记录由坐标(u1,v1)编码得到的颜色值r1g1b1a1;若全景图像像素(x,y)与第一鱼眼图像无关,则查找表像素(x,y)则将(0,0)编码得到的值记录为r1g1b1a1;同理,若全景图像某个像素(x,y)对应于鱼眼图像二的像素(u2,v2),则查找表二的像素(x,y)中记录由由坐标(u2,v2)编码得到的颜色值r2g2b2a2,反之则将(0,0)编码得到的值记录为r2g2b2a2。
步骤104:根据所述标定全景图像、所述第一鱼眼镜头查找表以及所述第二鱼眼镜头查找表确定融合度查找表;所述融合度查找表为由所述第一鱼眼图像以及所述第二鱼眼图像的重叠区域的融合度数组和所述第一鱼眼图像、所述第二鱼眼图像的非重叠区域的融合度数组组成。
所述步骤104具体包括:
判断所述第一标定像素点是否与所述第一鱼眼像素点相对应,若否,确定所述第一鱼眼图像的融合度为0,确定所述第二鱼眼图像的融合度为1,若是,判断所述第一标定像素点是否与所述第二鱼眼像素点相对应,若是,获取所述重叠区域的最大宽度;获取所述第一标定像素点距离所述第一鱼眼图像的底部边缘的距离;根据所述最大宽度和所述距离确定所述第一鱼眼图像的融合度;根据所述第一鱼眼图像的融合度确定所述第二鱼眼图像的融合度;若否,确定所述第一鱼眼图像的融合度为1,确定所述第二鱼眼图像的融合度为0。
融合度由二维信息α、β组成,分别为第一鱼眼图像的融合度和第二鱼眼图像的融合度。若实际全景图像像素只取自于第一鱼眼图像,则α记为1;若实际全景图像像素只取自于第二鱼眼图像,则α记为0;若全景图像像素取自两幅鱼眼图像的重叠区域,则
步骤105:根据所述第一鱼眼镜头查找表、所述第二鱼眼镜头查找表以及所述融合度查找表确定期望全景图像。
所述步骤105具体包括:获取实际拍摄的全景图像的第一实际像素点;
判断所述第一实际像素点在所述第一鱼眼镜头查找表内是否存在对应的第一查询坐标,若是,判断所述第一实际像素点在所述第二鱼眼镜头查找表内是否存在对应的第二查询坐标,若是,获取所述第一查询坐标在所述第一鱼眼图像上的第一颜色值和所述第二查询坐标在所述第二鱼眼图像上的第二颜色值;在所述融合度查找表查找所述第一实际像素点处的融合度值;根据所述第一颜色值、所述第二颜色值以及所述融合度值确定所述期望全景图像内第一期望像素点的第一期望颜色值;所述第一期望像素点与所述第一实际像素点相对应;所述第一期望颜色值包括多个;根据多个所述第一期望颜色值确定期望全景图像;若否,确定所述第一查询坐标在所述第一鱼眼图像上对应的颜色值为所述第一期望像素点的第二期望颜色值;所述第二期望颜色值包括多个;根据多个所述第二期望颜色值确定期望全景图像。
首先,对于每个像素点分别采样第一鱼眼镜头查找表、第二鱼眼镜头查找表以及融合度查找表查找出纹理中查询对应的图像颜色,并将颜色值解码为第一查询坐标、第二查询坐标和融合度值。
要渲染的矩形大小与第一鱼眼镜头查找表、第二鱼眼镜头查找表以及融合度查找表的大小相同,均以左上角为原点,以水平向右为x轴,以竖直向下为y轴,建立坐标系。由于要渲染的矩形图像中的坐标与三个查找表的坐标是一一对应的,图2为本发明所提供的基于查找表的全景图像处理的原理图,如图2所示,设片段着色器中像素点的纹理坐标为(x,y),则其在三个查找表在坐标系下对应的坐标也为(x,y)。
仍在片段着色器中,根据所解码出的每个像素点的第一查询坐标、第二查询坐标,分别在第一鱼眼图像、第二鱼眼图像上采样对应坐标下的第一颜色值、第二颜色值;分别取出第一鱼眼镜头查找表、第二鱼眼镜头查找表在坐标(x,y)处的取值r1g1b1a1、r2g2b2a2,从而解码出(x,y)在鱼眼图像一、鱼眼图像二上的查询坐标(u1,v1)、(u2,v2);取得鱼眼图像一(u1,v1)处的颜色值r1g1b1,取得鱼眼图像二(u2,v2)处的颜色值r2g2b2,取出融合度查找表(x,y)处的融合度值(α,β)。
仍在片段着色器中,根据所得到第一颜色值和第二颜色值及所得到的融合度值计算出每个像素点的纹理。计算像素点(x,y)出的颜色值为rgb=r1g1b1*α+r2g2b2*β,则片段着色器中(x,y)出的纹理坐标即为rgb,得到期望全景图像,上述渲染得到的矩形图像即为最终的期望全景图像。
所得到期望全景图像是一张纵横向比为1:2的图像,使用专门的播放器实现球面全景漫游。
本发明执行一次校正拼接预处理过程,记录最终全景图像坐标与鱼眼图像坐标之间的映射关系,生成第一鱼眼图像查找表、第二鱼眼图像查找表以及融合度查找表。对于新的输入任务,从三个查找表中直接找出最终全景图像在鱼眼图像中的像素值和融合度值,在图形处理器(graphicsprocessingunit,gpu)中计算得到全景图像,简化了计算过程,利用gpu并行处理的特点,可以达到实时拼接校正的效果。
图3为本发明所提供的全景图像拼接系统结构图,如图3所示,一种在gpu上实现双鱼眼图像实时全景图像拼接系统,包括:
标定全景图像获取模块301,用于获取标定全景图像。
第一鱼眼镜头查找表确定模块302,用于根据所述标定全景图像的生成过程确定第一鱼眼镜头查找表;所述第一鱼眼镜头查找表为所述标定全景图像中的每个像素点对应到第一鱼眼图像中的每个像素点的坐标值数组。
所述第一鱼眼镜头查找表确定模块302,具体包括:第一标定像素顶获取单元,用于获取所述标定全景图像的第一标定像素点;所述标定全景图像包括多个第一标定像素点;第一判断单元,用于判断所述第一标定像素点是否与所述第一鱼眼图像中的第一鱼眼像素点相对应,得到第一判断结果;第一鱼眼镜头查找表建立单元,用于若所述第一判断结果表示为所述第一标定像素点与所述第一鱼眼像素点相对应,获取所述第一鱼眼像素点的坐标,建立所述第一鱼眼镜头查找表。
第二鱼眼镜头查找表确定模块303,用于根据所述标定全景图像的生成过程确定第二鱼眼镜头查找表;所述第二鱼眼镜头查找表为所述标定全景图像中的每个像素点对应到第二鱼眼图像中的每个像素点的坐标值数组。
所述第二鱼眼镜头查找表确定模块303,具体包括:第二判断单元,用于若所述第一判断结果表示为所述第一标定像素点未与所述第一鱼眼像素点相对应,判断所述第一标定像素点是否与第二鱼眼图像中的第二鱼眼像素点相对应,得到第二判断结果;第二鱼眼镜头查找表建立单元,用于若所述第二判断结果表示为所述第一标定像素点与所述第二鱼眼像素点相对应,获取所述第二鱼眼像素点的坐标,建立所述第二鱼眼镜头查找表。
融合度查找表确定模块304,用于根据所述标定全景图像、所述第一鱼眼镜头查找表以及所述第二鱼眼镜头查找表确定融合度查找表;所述融合度查找表为由所述第一鱼眼图像以及所述第二鱼眼图像的重叠区域的融合度数组和所述第一鱼眼图像、所述第二鱼眼图像的非重叠区域的融合度数组组成。
所述融合度查找表确定模块304,具体包括:第三判断单元,用于判断所述第一标定像素点是否与所述第一鱼眼像素点相对应,得到第三判断结果;第四判断单元,用于若所述第三判断结果表示为所述第一标定像素点与所述第一鱼眼像素点相对应,判断所述第一标定像素点是否与所述第二鱼眼像素点相对应,得到第三判断结果;最大宽度获取单元,若所述第三判断结果表示为所述第一标定像素点与所述第二鱼眼像素点相对应,获取所述重叠区域的最大宽度;距离获取单元,用于获取所述第一标定像素点距离所述第一鱼眼图像的底部边缘的距离;第一鱼眼图像融合度第一确定单元,用于根据所述最大宽度和所述距离确定所述第一鱼眼图像的融合度;第二鱼眼图像融合度确定单元,用于根据所述第一鱼眼图像的融合度确定所述第二鱼眼图像的融合度;融合度确定单元,若所述第三判断结果表示为所述第一标定像素点未与所述第二鱼眼像素点相对应,确定所述第一鱼眼图像的融合度为1,确定所述第二鱼眼图像的融合度为0;第一鱼眼图像融合度第二确定单元,用于若所述第三判断结果表示为所述第一标定像素点未与所述第一鱼眼像素点相对应,确定所述第一鱼眼图像的融合度为0,确定所述第二鱼眼图像的融合度为1。
期望全景图像确定模块305,用于根据所述第一鱼眼镜头查找表、所述第二鱼眼镜头查找表以及所述融合度查找表确定期望全景图像。
所述期望全景图像确定模块305,具体包括:第一实际像素点获取单元,用于获取实际拍摄的全景图像的第一实际像素点;第三判断单元,用于判断所述第一实际像素点在所述第一鱼眼镜头查找表内是否存在对应的第一查询坐标,得到第三判断结果;第四判断单元,用于若所述第三判断结果表示为所述第一实际像素点在第一鱼眼镜头查找表内存在对应的第一查询坐标,判断所述第一实际像素点在所述第二鱼眼镜头查找表内是否存在对应的第二查询坐标,得到第四判断结果;颜色值获取单元,用于若所述第四判断结果表示为所述第一实际像素点在所述第二鱼眼镜头查找表内存在对应的第二查询坐标,获取所述第一查询坐标在所述第一鱼眼图像上的第一颜色值和所述第二查询坐标在所述第二鱼眼图像上的第二颜色值;融合度值查找单元,用于在所述融合度查找表查找所述第一实际像素点处的融合度值;第一期望颜色值获取单元,用于根据所述第一颜色值、所述第二颜色值以及所述融合度值确定所述期望全景图像内第一期望像素点的第一期望颜色值;所述第一期望像素点与所述第一实际像素点相对应;所述第一期望颜色值包括多个;第一期望全景图像确定单元,用于根据多个所述第一期望颜色值确定期望全景图像;第二颜色值确定单元,用于若所述第四判断结果表示为所述第一实际像素点在所述第二鱼眼镜头查找表内未存在对应的第二查询坐标,确定所述第一查询坐标在所述第一鱼眼图像上对应的颜色值为所述第一期望像素点的第二期望颜色值;所述第二期望颜色值包括多个;第二期望全景图像确定单元,用于根据多个所述第二期望颜色值确定期望全景图像。
本发明公开了在gpu上实现双鱼眼图像实时全景图像拼接方法及系统,本发明实际是基于gpu的双目鱼眼全景图像实时拼接方法及系统,将第一鱼眼镜头查找表、第二鱼眼镜头查找表内的坐标作为纹理坐标输入到gpu;通过第一鱼眼镜头查找表及第二鱼眼镜头查找表查询出片段着色器中每个像素点的纹理坐标对应的鱼眼图像像素坐标;取得片段着色器中每个像素点在两幅鱼眼图像上的像素值以及融合度值;计算片段着色器中每个像素点的纹理,得到最终的全景图像。本发明利用gpu并行处理的特点,从融合度查找表中直接找出最终全景图像在鱼眼图像中的像素值和融合度值,在gpu中计算得到全景图像,可以达到实时拼接的效果。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。