全景环视图像拼接方法及系统、电子设备和存储介质与流程

[0001]
本发明涉及图像处理技术领域，尤其涉及一种全景环视图像拼接方法及系统、电子设备和存储介质。


背景技术：

[0002]
汽车通过狭窄道路或是车流穿行在狭窄的停车场中停车，由于驾驶员的视野受限，容易发生碰撞，造成不必要的损失。在自动泊车环境感知方面，将视觉传感器应用于自动泊车使得360度全景环视技术得到了飞快的发展。
[0003]
利用安装与车身前、后、左、右的4路鱼眼摄像头实时获取车身周边的环境信息，实现了汽车车身周围环境零死角检测，提高了驾驶员对于盲区的监测能力，同时也可与图像处理技术相结合，实现车位识别、障碍物检测以及可行驶区域识别等功能，是自动泊车系统的重要组成部分。
[0004]
由于需要考虑到四路摄像头的曝光一致，拼接缝的连续性，现有的环视拼接方法在每帧计算的过程中会反复遍历四路图像的大部分像素值，在低算力平台上会非常影响实时图像数据处理能力。
[0005]
因此，如何在保证视频呈现帧率的条件下，降低拼接过程中的计算复杂程度，成为亟待解决的问题。


技术实现要素：

[0006]
针对现有技术中的缺陷，本发明实施例提供一种全景环视图像拼接方法及系统、电子设备和存储介质，至少解决在鱼眼图像转换为全景环视图时，计算复杂度高，在低算力平台上图像转换的实时性难以保证的技术问题。
[0007]
第一方面，本发明实施例提供一种全景环视图像拼接方法，包括：
[0008]
获取鱼眼图像；
[0009]
确定所述鱼眼图像中的像素点在与所述鱼眼图像存在公共可视区域的图像上的映射关系；
[0010]
根据所述映射关系，将所述鱼眼图像转换为鸟瞰图，根据所述鸟瞰图获得全景环视图像。
[0011]
可选的，在所述全景环视图像拼接方法中，
[0012]
所述确定所述鱼眼图像中的像素点在与所述鱼眼图像存在公共可视区域的图像上的映射关系，包括：
[0013]
对所述鱼眼图像中任一像素点，确定其图像坐标是否处于所述公共可视区域内；
[0014]
若确定属于所述公共可视区域内，获得该像素点的图像坐标与其在所述与所述鱼眼图像存在公共可视区域的图像中对应的像素点图像坐标，构成映射关系；
[0015]
若确定不属于所述公共可视区域，确定该像素点与所述鱼眼图像存在公共可视区域的图像无关。
[0016]
可选的，在所述全景环视图像拼接方法中，
[0017]
所述根据所述映射关系，将所述鱼眼图像转换为鸟瞰图，包括：
[0018]
对属于所述公共可视区域内的像素点，根据像素点的图像坐标在所述鱼眼图像中对应的像素值、像素点的图像坐标在所述鱼眼图像存在公共可视区域的图像中对应的像素值，以及所述映射关系，确定像素点在鸟瞰图中对应的像素值；
[0019]
对不属于所述公共可视区域内的像素点，根据像素点的图像坐标对应的所述鱼眼图像的像素值，确定像素点在鸟瞰图中对应的像素值。
[0020]
可选的，在所述全景环视图像拼接方法中，
[0021]
在所述对属于所述公共可视区域内的像素点，根据像素点的图像坐标在所述鱼眼图像中对应的像素值、像素点的图像坐标在所述鱼眼图像存在公共可视区域的图像中对应的像素值，以及所述映射关系，确定像素点在鸟瞰图中对应的像素值的步骤之前，还包括：
[0022]
确定第一像素点的第一像素值和第二像素值；
[0023]
对比所述第一像素值与所述第二像素值在颜色空间下的差异；
[0024]
确定像素值差异是否大于预设阈值；
[0025]
其中，第一像素点位于所述公共可视区域内；所述第一像素值为第一像素点在所述鱼眼图像中对应的像素值；所述第二像素点为第一像素点在与所述鱼眼图像存在公共可视区域的图像中对应的像素值。
[0026]
可选的，在所述全景环视图像拼接方法中，
[0027]
所述对属于所述公共可视区域内的像素点，根据像素点的图像坐标在所述鱼眼图像中对应的像素值、像素点的图像坐标在所述鱼眼图像存在公共可视区域的图像中对应的像素值，以及所述映射关系，确定像素点在鸟瞰图中对应的像素值，具体包括：
[0028]
若确定所述像素值差异不大于预设阈值，使用距离加权融合方法确定所述第一像素点在鸟瞰图中对应的像素值；
[0029]
若确定所述像素值差异大于预设阈值，使用定值加权融合方法确定所述第一像素点在鸟瞰图中对应的像素值。
[0030]
可选的，在所述全景环视图像拼接方法中，
[0031]
所述若确定所述像素值差异不大于预设阈值，使用距离加权融合方法确定所述第一像素点在鸟瞰图中对应的像素值，包括：
[0032]
获得所述第一像素点的图像坐标与所述公共可视区域的投影两侧边界的距离；
[0033]
将所述公共可视区域的投影两侧边界的距离作为权重值，实现所述第一像素点像素值的加权融合，确定所述第一像素点在鸟瞰图中对应的像素值。
[0034]
可选的，在所述全景环视图像拼接方法中，
[0035]
所述若确定所述像素值差异大于预设阈值，使用定值加权融合方法确定所述第一像素点在鸟瞰图中对应的像素值，包括：
[0036]
根据预先设置的权重值，实现所述第一像素点像素值的加权融合，确定该像素点在鸟瞰图中对应的像素值。
[0037]
第二方面，本发明实施例提供一种全景环视图像拼接系统，包括：
[0038]
获取模块，用于获取鱼眼图像；
[0039]
确定模块，用于确定所述鱼眼图像中的像素点在与所述鱼眼图像存在公共可视区
域的图像上的映射关系；
[0040]
转换模块，用于根据所述映射关系，将所述鱼眼图像转换为鸟瞰图，根据所述鸟瞰图获得全景环视图像。
[0041]
第三方面，本发明实施例提供一种电子设备，包括存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如上述全景环视图像拼接方法的各个步骤。
[0042]
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述全景环视图像拼接方法的各个步骤。
[0043]
本发明实施例提供的全景环视图像拼接方法及系统、电子设备和存储介质，通过确定图像中每一个像素点的映射关系，能够将算法处理主要集中在四路鱼眼摄像头的公共可视区域，仅需要遍历一遍所有的像素点便可以得到融合后的完整鸟瞰图，该方法算力成本低，在保证视频呈现帧率的条件下，进一步消除拼接缝过度明显的问题，在图像公共区域给相邻摄像头曝光差异、透视差异带来缓冲，使得地面上物体在拼接处过渡有一个渐变的趋势，实现图像拼接处的渐变过度。
附图说明
[0044]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0045]
图1为本发明实施例提供的全景环视图像拼接方法流程图；
[0046]
图2为本发明实施例提供的前向摄像头获取的鱼眼图像；
[0047]
图3为本发明实施例提供的左侧摄像头获取的鱼眼图像；
[0048]
图4为本发明实施例提供的前向鸟瞰图；
[0049]
图5为本发明实施例提供的左侧鸟瞰图；
[0050]
图6为本发明实施例提供的前向鸟瞰图和左侧鸟瞰图拼接示意图；
[0051]
图7为本发明实施例提供的360
°
全景环视图；
[0052]
图8为本发明实施例提供的鸟瞰图局部视角不平衡示意图；
[0053]
图9为本发明实施例提供的定值加权融合方法示意图；
[0054]
图10为本发明实施例提供的全景环视图像拼接系统结构示意图；
[0055]
图11为本发明实施例提供的电子设备的实体结构示意图。
具体实施方式
[0056]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0057]
360环视场景，分四路鱼眼摄像头，左右摄像头安装在后车辆视镜下方，前摄像头安装在车标处和后摄像头安装于后备箱处。每两个相邻的摄像头之间存在20％-30％的公
共可视区域。
[0058]
360环视拼接目前主要技术包括：鱼眼摄像头内参的畸变校正；四路鱼眼摄像头固定在车体外四个位置之后的外参标定，通过透视变换获取鸟瞰视角图像；为保证鸟瞰图像在过渡区域无违和感，需要在相邻摄像头的公共可视区域计算拼接缝，同时需要均衡曝光度，使得车辆同时处在两种不同光照的场景下，拼接缝会因为相邻摄像头曝光度不同而出现拼接缝亮暗过渡明显的现象。
[0059]
图2为本发明实施例提供的前向摄像头获取的鱼眼图像，图3为本发明实施例提供的左侧摄像头获取的鱼眼图像，获取的鱼眼图像如图2和图3所示。
[0060]
图4为本发明实施例提供的前向鸟瞰图，图5为本发明实施例提供的左侧鸟瞰图，按照现有技术中先对各鱼眼图像进行内参去畸变处理后，将会得到如图4和图5所示的前向鸟瞰图和左侧鸟瞰图。
[0061]
图6为本发明实施例提供的前向鸟瞰图和左侧鸟瞰图拼接示意图，如图6所示，若将相邻的前向鸟瞰图和左侧鸟瞰图进行拼接，拼接得到的鸟瞰图之间有一定的重合区域，图中黑线为重合区域的边界。该部分为鱼眼图像(前向)和与之相邻的鱼眼图像(左侧)之间的公共可视区域。
[0062]
基于上述鱼眼图像转鸟瞰图后进行拼接存在重合区域的特点，本发明提供一种全景环视图像拼接方法，使得四路鱼眼图像能够直接一次转换为全景环视图像，无需进行反复的转换计算，节省计算资源，提高图像转换的实时性。图1为本发明实施例提供的全景环视图像拼接方法流程图，如图1所示，该方法包括：
[0063]
步骤s1，获取鱼眼图像；
[0064]
步骤s2，确定所述鱼眼图像中的像素点在与所述鱼眼图像存在公共可视区域的图像上的映射关系；
[0065]
步骤s3，根据所述映射关系，将所述鱼眼图像转换为鸟瞰图，根据所述鸟瞰图获得全景环视图像。
[0066]
具体的，为了方便对本发明实施例进行解释说明，以左摄像图和前摄像头获取的鱼眼图像进行拼接融合为例进行说明，其他相邻摄像头获取的鱼眼图像的拼接融合方法的原理与本发明实施例相同，在此不作过多的解释说明。
[0067]
在步骤s1中，通过鱼眼摄像头，获取鱼眼图像，以四路鱼眼图像中的前向和左侧为例，获取的鱼眼图像如图2和图3所示。
[0068]
在步骤s2中，确定所述鱼眼图像中的任意一像素点在相邻的鱼眼图像上的映射关系。需要说明的是，为方便解释，在本发明实施例中相邻的鱼眼图像即代表与鱼眼图像存在公共可视区域的图像。
[0069]
具体实施时，对于每一个像素点，若其不在鸟瞰图的重合区域范围内，那么其仅对应一张鱼眼图像的映射关系；若像素点在鸟瞰图的重合区域范围内，那么其对应两张相邻的鱼眼图像的映射关系。
[0070]
需要说明的是，重合区域范围大小与事先设定的两相邻鱼眼摄像头的公共可视区域的大小相关，具体可根据实际情况进行调整，本发明实施例对此不做限定。
[0071]
在步骤s3中，根据在步骤s2中获取的鱼眼图像中所有像素点的映射关系，矫正鱼眼图像，对鱼眼图像进行俯视变换，基于鱼眼图像俯视变换获得的鱼眼图像像素点在鸟瞰
图中的像素值，直接对四路鱼眼图像进行拼接融合，将鱼眼图像转换为鸟瞰图，即获得全景环视图。
[0072]
需要说明的是，在本发明实施例中，图4-6仅作为解释本方案的辅助说明，实际上，本方案无需分别将四张鱼眼图像转换成对应的四张鸟瞰图之后，再进行图像拼接处理。直接根据四张鱼眼图像俯视变换后像素点对应在鸟瞰图中的像素值，以及每一像素点对应的映射关系，直接将四张鱼眼图像转换为完整的鸟瞰图(即全景环视图)，如图7所示，图7为本发明实施例提供的360
°
全景环视图。
[0073]
需要说明的是，在本实施例中使用的鱼眼图像为四张，除此之外还可以根据实际需求调整鱼眼摄像头的位置和数量，进一步调整使用鱼眼图像的数量，本实施例对此不做限定。
[0074]
进一步的，在本实施例的基础上，还可以将获得的平面图像转化为三维图像，改善用户体验，更清晰明了地反应车与物体的相对位置关系。
[0075]
本发明实施例提供的全景环视图像拼接方法，通过确定图像中每一个像素点的映射关系，能够将算法处理主要集中在四路鱼眼摄像头的公共可视区域，仅需要遍历一遍所有的像素点便可以得到融合后的完整鸟瞰图，该方法算力成本低，在除去初始化需要的准备计算之外，主循环计算的时间复杂度控制在～o(ab)，a和b分别为鸟瞰图的像素的长和宽。在保证视频呈现帧率的条件下，进一步消除拼接缝过度明显的问题，在图像公共区域给相邻摄像头曝光差异、透视差异带来缓冲，使得地面上物体在拼接处过渡有一个渐变的趋势，实现图像拼接处的渐变过度。
[0076]
基于上述实施例，可选的，在所述全景环视图像拼接方法中，所述确定所述鱼眼图像中的像素点在与所述鱼眼图像存在公共可视区域的图像上的映射关系，包括：
[0077]
对所述鱼眼图像中任一像素点，确定其图像坐标是否处于所述公共可视区域内；
[0078]
若确定属于所述公共可视区域内，获得该像素点的图像坐标与其在所述与所述鱼眼图像存在公共可视区域的图像中对应的像素点图像坐标，构成映射关系；
[0079]
若确定不属于所述公共可视区域，确定该像素点与所述鱼眼图像存在公共可视区域的图像无关。
[0080]
具体的，映射关系实际上反映了鱼眼图像转换为俯视图的过程中，每一个像素点像素值的确定过程。
[0081]
对于每一个像素点，若其图像坐标不处于鱼眼图像与其相邻的鱼眼图像之间的公共可视区域内，意味着转换为鸟瞰图后，该像素点也不在鸟瞰图的重合区域范围内，那么其仅对应一张鱼眼图像的映射关系，也就是说，在由鱼眼图像转换为鸟瞰图时，仅使用一张鱼眼图像中对应像素点的像素值，确定该像素点与所述相邻的鱼眼图像无关。
[0082]
若像素点的图像坐标处于鱼眼图像与其相邻的鱼眼图像之间的公共可视区域内，意味着转换为鸟瞰图后，该像素点也在鸟瞰图的重合区域范围内，那么在其又鱼眼坐标转换为鸟瞰图的时候，像素值与对应两张相邻的鱼眼图像中对应的像素点的像素值有关，获得该像素点的图像坐标与其在所述相邻的鱼眼图像中对应的像素点图像坐标，构成映射关系。
[0083]
例如，假设四路鱼眼图像处理后得到的鸟瞰图应当为一个280*300的图像，在该鸟瞰图中，左上角的像素点的坐标为(0，0)，那么坐标为(2，0)的像素点应当在前向鸟瞰图与
左侧鸟瞰图的重合区域内，此时该像素点在左侧鱼眼图像中有对应的点与之相关，在前向鱼眼图像中同样也存在与之相关的像素点，将其构成映射关系。
[0084]
需要说明的是，以上对应映射关系的构建方法仅作为一个具体的实例对本发明实施例进行解释说明，除此之外，还可以以其他的方式反映映射关系，本实施例对此不做限定。
[0085]
在上述实施例的基础上，本发明实施例通过像素点图像坐标与鱼眼图像与其相邻鱼眼图像之间的巩固可视区域的关系，确定在进行鱼眼图像转换为鸟瞰图时，该像素点的坐标仅与一张鱼眼图像相关，还是与两张鱼眼图像相关，并构建对应的映射关系。以将算法处理主要集中在四路鱼眼摄像头的公共可视区域，降低计算的复杂程度，节约计算资源。
[0086]
基于上述实施例，可选的，在所述全景环视图像拼接方法中，所述根据所述映射关系，将所述鱼眼图像转换为鸟瞰图，包括：
[0087]
对属于所述公共可视区域内的像素点，根据像素点的图像坐标在所述鱼眼图像中对应的像素值、像素点的图像坐标在所述鱼眼图像存在公共可视区域的图像中对应的像素值，以及所述映射关系，确定像素点在鸟瞰图中对应的像素值；
[0088]
对不属于所述公共可视区域内的像素点，根据像素点的图像坐标对应的所述鱼眼图像的像素值，确定像素点在鸟瞰图中对应的像素值。
[0089]
具体的，像素点的映射关系，实质上目的在于实现在鱼眼图像转换为鸟瞰图像过程中，像素值的变换。也就是说，在鱼眼图像转换为鸟瞰图的同时，实现对重合区域像素值的重新计算，一步实现转换与重合区域的优化。
[0090]
根据映射关系，确定在转换为鸟瞰图时，需要使用的鱼眼图像对应的像素值。
[0091]
对属于公共可视区域内的像素点，根据该像素点的图像坐标在鱼眼图像与其相邻的鱼眼图像中对应的像素值，以及所述映射关系，确定该像素点在鸟瞰图中对应的像素值；
[0092]
对不属于所述公共可视区域内的像素点，根据该像素点的图像坐标对应的所述鱼眼图像的像素值，确定该像素点在鸟瞰图中对应的像素值。
[0093]
基于上述实施例，可选的，在所述全景环视图像拼接方法中，在所述对属于所述公共可视区域内的像素点，根据像素点的图像坐标在所述鱼眼图像中对应的像素值、像素点的图像坐标在所述鱼眼图像存在公共可视区域的图像中对应的像素值，以及所述映射关系，确定像素点在鸟瞰图中对应的像素值的步骤之前，还包括：
[0094]
确定第一像素点的第一像素值和第二像素值；
[0095]
对比所述第一像素值与所述第二像素值在颜色空间下的差异；
[0096]
确定像素值差异是否大于预设阈值；
[0097]
其中，第一像素点位于所述公共可视区域内；所述第一像素值为第一像素点在所述鱼眼图像中对应的像素值；所述第二像素点为第一像素点在与所述鱼眼图像存在公共可视区域的图像中对应的像素值。
[0098]
具体的，图8为本发明实施例提供的鸟瞰图局部视角不平衡示意图，如图8所示，立体障碍物在跨越融合区域的过程中会出现视角不平衡的情况，图8中，锥桶在左、前摄像头公共可视区域内由于视角差异造成的重影。因此，需要在匀色过程中增加重叠像素差异的判断。
[0099]
在本发明实施例中，为了进一步增强对重合区域融合的优化，在鱼眼图像转化为
鸟瞰图时采用了不同的像素值确定方法，使得图像能够解决立体障碍物出现重影的情况，改善视角不平衡的问题。
[0100]
在进行图像转换前，事先设置像素差异阈值，比对鱼眼图像中对应的像素值与相邻的鱼眼图像中对应的像素值在颜色空间下的差异，确定像素值差异是否大于预设阈值。根据比对得到的结果，选择使用的像素值融合方法。
[0101]
需要说明的是，上述颜色空间包括rgb颜色空间、hsi颜色空间和hvs颜色空间等，可根据实际情况进行选择，除此之外，阈值的大小也可以根据实际情况进行设定，本实施例对此不做限定。
[0102]
基于上述实施例，可选的，在所述全景环视图像拼接方法中，所述对属于所述公共可视区域内的像素点，根据像素点的图像坐标在所述鱼眼图像中对应的像素值、像素点的图像坐标在所述鱼眼图像存在公共可视区域的图像中对应的像素值，以及所述映射关系，确定像素点在鸟瞰图中对应的像素值，具体包括：
[0103]
若确定所述像素值差异不大于预设阈值，使用距离加权融合方法确定所述第一像素点在鸟瞰图中对应的像素值；
[0104]
若确定所述像素值差异大于预设阈值，使用定值加权融合方法确定所述第一像素点在鸟瞰图中对应的像素值。
[0105]
具体的，根据鱼眼图像中对应的像素值与相邻的鱼眼图像中对应的像素值在颜色空间下的差异的大小，确定采用的像素值融合方式。
[0106]
当像素值差异不大于预设阈值时，使用距离加权融合方法确定该像素点在鸟瞰图中对应的像素值。距离加权融合方式中，权值的大小是不固定的，跟像素点的位置有关，使用距离加权融合方式，能够有效的将像素点的图像坐标位置反映到像素点上，有效的改善融合时两鱼眼图像存在明暗差异的情况，实现降低两相邻鱼眼图像融合区域过渡的异常感，给曝光差异、透视差异带来缓冲，使得地面上物体在拼接处过渡有一个渐变的趋势。
[0107]
当像素值差异大于预设阈值时，使用定值加权融合方法确定该像素点在鸟瞰图中对应的像素值。选取合适的权值进行加权平均融合，能够根据像素点的位置，选择更多的保留一方鱼眼图像中像素值。改善图片中存在的虚化问题，使得图像更真实。
[0108]
基于上述实施例，可选的，在所述全景环视图像拼接方法中，所述若确定所述像素值差异不大于预设阈值，使用距离加权融合方法确定所述第一像素点在鸟瞰图中对应的像素值，包括：
[0109]
获得所述第一像素点的图像坐标与所述公共可视区域的投影两侧边界的距离；
[0110]
将所述公共可视区域的投影两侧边界的距离作为权重值，实现所述第一像素点像素值的加权融合，确定所述第一像素点在鸟瞰图中对应的像素值。
[0111]
具体的，图6为本发明实施例提供的前向鸟瞰图和左侧鸟瞰图拼接示意图，如图6所示，图中实线为公共可视区域的投影两侧边界，图中点p所在的图像坐标记为(x，y)，图中虚线为p点到投影两侧边界的距离。
[0112]
在确定像素值差异不大于预设阈值后，获得该像素点的图像坐标与所述公共可视区域的投影两侧边界的距离；
[0113]
将所述公共可视区域的投影两侧边界的距离作为权重值，实现该像素点像素值的加权融合，确定该像素点在鸟瞰图中对应的像素值。
[0114]
在最终的360环视俯视图上的像素值为以整体鸟瞰图来看，任意一点p
(x,y)
的像素值为各摄像头外参定义的透视变换关系为：
[0115]
p
dst
(x，y)＝p
src
(map
x
(x，y)，map
y
(x，y))
[0116]
查找出原图p
src
像素点映射到鸟瞰图之前的图像坐标对应的像素值。
[0117]
仍旧以前向和左侧为例，如图6所示，以重合区域的上边界为左侧摄像头的俯视投影边界l_left，点p到直线l_left的距离为在左侧鱼眼图像中的像素值为以重合区域的下边界为前方摄像头的俯视投影边界l_front，p到直线l_front的距离为在前向鱼眼图像中的像素值为
[0118]
像素点p在最终的360环视俯视图上的像素值为
[0119][0120]
需要说明的是，除了使用像素点到投影两侧边界的距离作为加权融合的权值之外，可以理解的是，本发明实施例提到的距离，还可是像素点在水平垂直方向引出的两条直线与投影两侧边界线的交点之间的距离，以此作为加权融合的权值。
[0121]
基于上述实施例，可选的，在所述全景环视图像拼接方法中，所述若确定所述像素值差异大于预设阈值，使用定值加权融合方法确定所述第一像素点在鸟瞰图中对应的像素值，包括：
[0122]
根据预先设置的权重值，实现所述第一像素点像素值的加权融合，确定该像素点在鸟瞰图中对应的像素值。
[0123]
具体的，图9为本发明实施例提供的定值加权融合方法示意图，如图9所示，图中像素点p的坐标为(x，y)。在确定像素值差异大于预设阈值后，根据预先设置的权重值，实现该像素点像素值的加权融合，确定该像素点在鸟瞰图中对应的像素值。
[0124]
由于权值是固定的，首先需要根据像素点的坐标，选择更多的保留哪一方鱼眼图像中像素值。
[0125]
例如根据融合区域角点的坐标，获取融合区域角点(m，n)与边界点连接线的斜率，根据斜率的比较，确定像素点和该斜线的位置关系。
[0126]
根据斜率确定点的位置关系具体公式为：
[0127][0128]
由上述公式可知，若满足该公式中的关系，则表示该像素点位于斜线的上方，也就是说更多的保留像素点p在前向鱼眼图像中的像素值。相对应的，对于改斜线下方的像素点，意味着更多的保留点p在左侧鱼眼图像中的像素值，需要对融合公式进行简单的改写，将权值k赋予左侧鱼眼图像的像素值。
[0129]
对于任意一点p
(x,y)
在最终的360环视俯视图上的像素值为
[0130]
其中，为像素点p在左侧鱼眼图像中的像素值，为像素点p在前向鱼眼图像中的像素值。
[0131]
权值k取大于0.75小于0.9的值，选取该取值范围内的权值可以在一定程度的虚化融合后的图像，降低立体障碍物在临界位置过渡的异常感，和地面灯光反射效果，能够有效改善图片融合效果。
[0132]
需要说明的是，本实施例仅针对前向鱼眼图像和左侧鱼眼图像的融合，针对其他侧鱼眼图像的融合方法与本发明实施例的基本方法相同，仅需要进行简单的调整，本实施例在此不作赘述。
[0133]
除此之外，在本发明实施例中，距离加权融合方法和定值加权融合方法均是针对处于公共可视区域的像素点实现的，对于不处于公共可视区域的像素点，仅需要将其在对应鱼眼图像中的像素值转换为鸟瞰图中对应的像素值即可，具体的转换方法及相应的公式，本实施例不做限定。
[0134]
图10为本发明实施例提供的全景环视图像拼接系统结构示意图，如图10所示，全景环视图像拼接系统，包括：
[0135]
获取模块101，用于获取鱼眼图像；
[0136]
确定模块102，用于确定所述鱼眼图像中的像素点在与所述鱼眼图像存在公共可视区域的图像上的映射关系；
[0137]
转换模块103，用于根据所述映射关系，将所述鱼眼图像转换为鸟瞰图，根据所述鸟瞰图获得全景环视图像。
[0138]
具体的，为了方便对本发明实施例进行解释说明，以左摄像图和前摄像头获取的鱼眼图像进行拼接融合为例进行说明，其他相邻摄像头获取的鱼眼图像的拼接融合方法的原理与本发明实施例相同，在此不作过多的解释说明。
[0139]
获取模块101，用于通过鱼眼摄像头，获取鱼眼图像，以四路鱼眼图像中的前向和左侧为例，获取的鱼眼图像如图2和图3所示。
[0140]
确定模块102，用于确定所述鱼眼图像中的任意一像素点在相邻的鱼眼图像上的映射关系。
[0141]
对于每一个像素点，若其不在鸟瞰图的重合区域范围内，那么其仅对应一张鱼眼图像的映射关系；若像素点在鸟瞰图的重合区域范围内，那么其对应两张相邻的鱼眼图像的映射关系。
[0142]
需要说明的是，重合区域范围大小与事先设定的两相邻鱼眼摄像头的公共可视区域的大小相关，具体可根据实际情况进行调整，本发明实施例对此不做限定。
[0143]
转换模块103，用于根据确定模块102获取的鱼眼图像中所有像素点的映射关系，将鱼眼图像转换为鸟瞰图。
[0144]
需要说明的是，在本发明实施例中，图4-6仅作为解释本方案的辅助说明，实际上，本方案无需分别将四张鱼眼图像转换成对应的四张鸟瞰图之后，再进行图像拼接处理。直接根据四张鱼眼图像，以及每一像素点对应的映射关系，直接将四张鱼眼图像转换为完整
的鸟瞰图，如图7所示，图7为本发明实施例提供的完整鸟瞰图。
[0145]
本发明实施例提供的全景环视图像拼接系统，通过确定图像中每一个像素点的映射关系，能够将算法处理主要集中在四路鱼眼摄像头的公共可视区域，仅需要遍历一遍所有的像素点便可以得到融合后的完整鸟瞰图，该方法算力成本低，在除去初始化需要的准备计算之外，主循环计算的时间复杂度控制在～o(ab)，a和b分别为鸟瞰图的像素的长和宽。在保证视频呈现帧率的条件下，进一步消除拼接缝过度明显的问题，在图像公共区域给相邻摄像头曝光差异、透视差异带来缓冲，使得地面上物体在拼接处过渡有一个渐变的趋势，实现图像拼接处的渐变过度。
[0146]
需要说明的是，本发明实施例提供的全景环视图像拼接系统用于执行上述全景环视图像拼接方法，其具体的实施方式与方法实施方式一致，在此不再赘述。
[0147]
图11为本发明实施例提供的电子设备的实体结构示意图，如图11所示，所述电子设备可以包括：处理器(processor)111、通信接口(communication interface)112、存储器(memory)113和通信总线(bus)114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信。处理器111可以调用存储器113中的逻辑指令，以执行上述电力需求负荷预测方法，包括：获取鱼眼图像；确定所述鱼眼图像中的像素点在与所述鱼眼图像存在公共可视区域的图像上的映射关系；根据所述映射关系，将所述鱼眼图像转换为鸟瞰图，根据所述鸟瞰图获得全景环视图像。
[0148]
此外，上述的存储器113中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0149]
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的全景环视图像拼接方法，包括：获取鱼眼图像；确定所述鱼眼图像中的像素点在与所述鱼眼图像存在公共可视区域的图像上的映射关系；根据所述映射关系，将所述鱼眼图像转换为鸟瞰图，根据所述鸟瞰图获得全景环视图像。
[0150]
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的以执行全景环视图像拼接方法，包括：获取鱼眼图像；确定所述鱼眼图像中的像素点在与所述鱼眼图像存在公共可视区域的图像上的映射关系；根据所述映射关系，将所述鱼眼图像转换为鸟瞰图，根据所述鸟瞰图获得全景环视图像。
[0151]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其
中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0152]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0153]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。