一种应用于车辆的全景图像拼接方法与流程

1.本发明涉及车辆的图像拼接领域，特别是涉及一种应用于车辆的全景图像拼接方法。


背景技术：

2.近年来随着科学技术不断进步，推着汽车技术朝着智能化方向前进，人们对智能汽车提出较多的要求，不再仅把汽车看成是简单的代步工具，而是需要汽车具备自动驾驶、车载娱乐等功能，提升汽车用户的舒适度。车载娱乐功能的开发，使得人们可以利用进行网上购物、听音乐、看电影。同时利用车载摄像头对车外的风景进行拍摄。但是由于摄像头视野有限，如果在自驾旅行过程中，需要拍摄道路两旁的风景时，形成全景图像时，现有技术中需要配置多个摄像头同时拍摄，但是需要在车顶安装多个摄像头，导致成本高。


技术实现要素：

3.基于现有技术中存在的缺陷，本发明提供一种应用于车辆的全景图像拼接方法，包括：
4.获取车顶摄像头发送的图像imagel，创建与imagel图像大小相同的图像，像素用相同常量填充的消缝图像；
5.将imagel图像和消缝图像进行柱面投影，获取柱面投影图像以及柱面投影消缝图像；获取相邻拼接的柱面投影图像相互匹配的特征点对；
6.利用变化矩阵分别对柱面投影图像和对应的柱面投影消缝图像进行投影变换；通过对经过投影变化后的柱面投影图像、柱面投影消缝图像进行图像融合；将融合的图像进行组合，获取全景图像。
7.一种应用于车辆的全景图像拼接方法，进一步可选的，对柱面投影图像和柱面投影消缝图像进行边缘填充，使填充后的图像不小于相邻图像拼接后形成的图像的大小。
8.一种应用于车辆的全景图像拼接方法，进一步可选的，通过利用棋盘格对车顶摄像头进行校正，利用张正友法标定车载摄像头的内参和外参数；
9.若车顶摄像头为鱼眼镜头，需要对鱼眼镜头进行畸变校正，获得畸变校正系数；
10.启动全景拍摄模式，利用可旋转的车顶摄像头进行多角度旋转拍摄，获取原始序列图像，通过畸变矫正后获得用于拼接的图像imagel。
11.一种应用于车辆的全景图像拼接方法，进一步可选的，柱面图像的方法具体包括：
12.构建柱面投影关系式，将图像通过柱面投影关系式转化为柱面投影图像；
13.通过双线性插值计算每个像素点的精确位置，得到投影后的图像；
14.通过自适应阈值将对柱面投影图像进行二值化处理，进行轮廓检测，获取轮廓坐标，从而根据轮廓坐标获取新的投影图像；
15.通过边缘调整策略将图像四周预设范围内存在的角点置0。
16.一种应用于车辆的全景图像拼接方法，进一步可选的，当图像进行柱面投影后，相
互匹配的特征点对通过sift算法获取。
17.一种应用于车辆的全景图像拼接方法，进一步可选的，sift算法具体包括：
18.将图像高斯模糊去除次要信息，将图像降采样成不同的octave，octave内用不同的高斯核卷积；
19.找到差分金字塔中的极值点，对极值点进行对比测试和边缘测试；
20.关键点邻域梯度方法直方图确定关键点主方向；
21.统计特征点领域梯度方向直方图，获得特征描述算子；
22.通过获取相邻图像的特征描述算子的两两比较找出相互匹配的若干对相互匹配的特征点。
23.一种应用于车辆的全景图像拼接方法，进一步可选的，对sift算法获得的匹配特征点对进行预处理，获取高质量的匹配特征点对，其中，通过预设模型对所有相互匹配的特征点对进行通过计算q值的方式进行质量评价，然后根据q值降序排列，然后过滤掉q小于预设阈值p1的匹配特征点对，剩余的匹配特征点对形成高质量的匹配特征点对。
24.一种应用于车辆的全景图像拼接方法，进一步可选的，从高质量的匹配特征点对中随机选取用于估计模型参数最少的匹配特征点对，然后计算出透视变化矩阵th；
25.将参考图像所有相互匹配的特征点对中的其中一个特征点利用透视变化矩阵th进行透视变换，并计算待拼接的柱面投影图像中所对应特征点与经过透视变化的特征点的距离dh；
26.当匹配特征点对中获得dh小于预设比较阈值c2，判定该点为内点inlier，反之为就判定为外点outlier；
27.然后统计内点inlier的总数inlier_num，当inlier_num处于预设阈值范围内时就判定该模型为最优模型，并记录该模型下的统计误差；
28.统计误差定义为在透视变换矩阵th的条件下，所有dh距离的累加和；
29.遍历高质量的匹配特征点对，获得不同匹配特征点对获得的透视变换矩阵th对应统计误差，获取最小统计误差对应的所有内点为最优内点集合。
30.一种应用于车辆的全景图像拼接方法，进一步可选的，当获得变化矩阵ma后，分别将待拼接图像以及对应的消缝图像通过ma进行投影到相邻图像的坐标系，获得第一融合图像和第一融合消缝图像，使待拼接的坐标基准进行统一。
31.一种应用于车辆的全景图像拼接方法，进一步可选的，图像融合的方法包括：
32.获取第二融合图像组、第二融合图像相邻的拼接图像组、第二融合消缝图像组，依次从第二融合图像组、第二融合图像相邻的拼接图像组、第二融合消缝图像组分别取出对应大小相同的图像，然后进融合；、
33.融合方式公式如下：
34.imgs[i]＝imgb1[i]*seam_img[i]+imgb2[i]*(1-seam_img[i])
[0035]
其中，i表示融合图像组中对应的图像的索引，imgb1[i]表示顺序为i第二融合图像，imgb2[i]表示顺序为i的第二融合图像相邻的拼接图像，seam_img[i]表示顺序为i的第二融合消缝图像；imgs[i]表示顺序为i的融合第三融合图像；
[0036]
将融合的图像添加入新的图像融合组中形成第三融合图像组；
[0037]
获取第三融合图像组，按照图像大小对第三融合图像组的中图像进行排序；
[0038]
取出第一幅图像，对第一幅图像进行上采样后使图像等于第二幅图像的大小后，再加上第二幅图像获得结果记为accumulated_img；
[0039]
然后对accumulated_img进行上采样，使得经过上采样的图像等于第三幅图像的大小后，再加上第三幅图像；
[0040]
依次类推进行遍历，最终获得图像为全景图像。
[0041]
有益效果：
[0042]
1.本发明提供的技术方案中，通过可旋转的车顶摄像头，对车顶周围进行拍摄，将获得的图像进行拼接，获取全景图像，仅用一个车顶摄像就可以完成了。
[0043]
2.在图像拼接过程中，为了使得重合区域的图像不出现色差和拼接缝的问题，本实施例创建消缝图像，并且经过将将不成图像大小进行先进行上采样后形成图像组，然后在进行下采样后形成的图像组进行对应的累计，获得全景图像。避免色差和拼接缝的产生。
[0044]
3.本发明提供的技术方案中，还对拼接缝形成的图像进行自适应裁切，最大程度的保留全景图像边缘的成像质量。
附图说明
[0045]
以下附图仅对本发明做示意性说明和解释，并不限定本发明的范围。
[0046]
图1为本发明一实施例中图像的全景拼接方法流程图。
[0047]
图2为本发明一实施例中拼接图像的预处理方法流程图。
[0048]
图3为本发明一实施例中全景图像进行自适应裁切的方法流程图。
具体实施方式
[0049]
为了对本文的技术特征、目的和效果有更加清楚的理解，现对照附图说明本发明的具体实施方式，在各图中相同的标号表示相同的部分。为使图面简洁，各图中的示意性地表示出了与本发明相关部分，而并不代表其作为产品的实际结构。另外，为使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。
[0050]
关于控制系统，功能模块、应用程序(app)本领域技术人员熟知的是，其可以采用任何适当的形式，既可以是硬件也可以是软件，既可以是离散设置的多个功能模块，也可以是集成到一个硬件上的多个功能单元。作为最简单的形式，所述控制系统可以是控制器，例如组合逻辑控制器、微程序控制器等，只要能够实现本技术描述的操作即可。当然，控制系统也可以作为不同的模块集成到一个物理设备上，这些都不偏离本发明的基本原理和保护范围。
[0051]
本发明中“连接”，即可包括直接连接、也可以包括间接连接、通信连接、电连接，特别说明除外。
[0052]
本文中所使用的术语仅为了描述特定实施方案的目的并且不旨在限制本公开。如本文中所使用地，单数形式“一个”、“一种”、以及“该”旨在也包括复数形式，除非上下文明确地另作规定。还将理解的是，当在说明书中使用时，术语“包括”和/或“包含”是指存在有所陈述的特征、数值、步骤、操作、元件和/或组分，但是并不排除存在有或额外增加一个或多个其它的特征、数值、步骤、操作、元件、组分和/或其组成的群组。作为在本文中所使用
的，术语“和/或”包括列举的相关项的一个或多个的任何和全部的组合
[0053]
应当理解，此处所使用的术语“车辆”或“车辆的”或其它类似术语一般包括机动车辆，例如包括运动型多用途车辆(suv)、公共汽车、卡车、各种商用车辆的乘用汽车，包括各种舟艇、船舶的船只，航空器等等，并且包括混合动力车辆、电动车辆、可插式混合动力电动车辆、氢动力车辆以及其它替代性燃料车辆(例如源于非石油的能源的燃料)。正如此处所提到的，混合动力车辆是具有两种或更多动力源的车辆，例如汽油动力和电力动力两者的车辆。
[0054]
此外，本公开的控制器可被具体化为计算机可读介质上的非瞬态计算机可读介质，该计算机可读介质包含由处理器、控制器或类似物执行的可执行程序指令。计算机可读介质的示例包括，但不限于，rom、ram、光盘(cd)-rom、磁带、软盘、闪存驱动器、智能卡和光学数据存储设备。计算机可读记录介质也可分布在通过网络耦合的计算机系统中，使得计算机可读介质例如通过远程信息处理服务器或控制器区域网络(can)以分布式方式存储和执行。
[0055]
本发明提供基于一种全景图像拼接算法，如图1至图3所示，具体至少包括：
[0056]
获取车顶摄像头发送的图像imagel，创建与imagel图像大小相同的图像，像素用相同常量填充的消缝图像；
[0057]
将imagel图像和消缝图像进行柱面投影，获取柱面投影图像以及柱面投影消缝图像；
[0058]
对柱面投影图像和柱面投影消缝图像进行边界填充，使边界填充后的图像不小于相邻图像拼接后形成的图像的大小；
[0059]
获取相邻拼接的柱面投影图像相互匹配的特征点对；
[0060]
利用相互匹配的特征点对构建透射变换关系计算变化矩阵；
[0061]
获取相邻拼接图像的变换矩阵；
[0062]
利用变化矩阵分别对柱面投影图像和对应的柱面投影消缝图像进行投影变换；通过对经过投影变化后的柱面投影图像、柱面投影消缝图像进行图像融合；将融合的图像进行组合，获取全景图像。
[0063]
具体地，参见图2，车顶摄像头的图像获取具体包括：
[0064]
通过棋盘格对车顶摄像头进行校正，利用张正友法标定车载摄像头的内外参数；
[0065]
若车顶摄像头为鱼眼镜头，需要对鱼眼镜头进行畸变校正，获得畸变校正系数；
[0066]
启动全景拍摄模式，利用安装在车顶可旋转摄像头进行多角度旋转拍摄，获取原始序列图像，通过畸变矫正后获得图像imagel；
[0067]
具体地，为了拼接后的图像更符合人眼的观察效果，本实施中将图像进行柱面投影后在进行拼接。相比传统的柱面投影，本实施例对柱面投影的方法进行改进：
[0068]
创建跟用于拼接图像大小相同的消缝图像，消缝图像中所有的像素都置1或者小于等于255的整数；
[0069]
分别对图像imagel、消缝图像进行柱面投影，获取柱面投影图像和柱面投影消缝图像；
[0070]
柱面图像的方法具体包括如下步骤：
[0071]
构建柱面投影关系式，将图像通过柱面投影关系式转化为柱面投影图像；
[0072]
通过双线性插值计算每个像素点的精确位置，得到投影后的图像。
[0073]
柱面投影关系式为：
[0074][0075][0076]
其中，u,v为投影后图像的像素坐标，x,y投影前的图像像素坐标，f为相机的焦距，width和height分别为投影前图像的宽、高；
[0077]
具体地，通过柱面投影后，基于无人机成像特点，申请人发现在其边缘会产生较多outlier的点，outlier的点会影响后面的角点检测。因此通过自适应阈值将对柱面投影图像进行二值化处理，进行轮廓检测，获取轮廓坐标，从而根据轮廓坐标获取新的柱面投影图像、新的柱面投影消缝图像，消除outlier范围的点；
[0078]
通过边缘调整策略将图像四周的预设范围的存在的角点置0；
[0079]
当进行柱面投影后，对通过sift算法获取相互匹配特征点对；
[0080]
sift算法具体步骤包括：
[0081]
将图像高斯模糊去除次要信息，将图像降采样成不同的octave，octave内用不同的高斯核卷积；
[0082]
找到差分金字塔中的极值点，对极值点进行对比测试和边缘测试；
[0083]
关键点邻域梯度方法直方图确定关键点主方向；
[0084]
统计特征点领域梯度方向直方图，获得特征描述算子；
[0085]
通过获取相邻图像的特征描述算子的两两比较找出相互匹配的若干对相互匹配的特征点。
[0086]
具体地，车载摄像头通常采用鱼眼摄像头，可视范围大，图像之间的重叠区域的特征点相对于其它场景，其特征点成百上千个特征点。由于图像受制光照、拍摄角度影响，其获取的角点可能存在假的角点。再加上计算误差，使得获得的角度中存在误差较大的角点，这些角点如果参与匹配，一方面会导致匹配时间较长，另一方面，错误的角点也会导致重叠区域图像的扭曲。为了解决该问题，本实施例采用如下解决方法：
[0087]
通过预设模型对所有相互匹配的特征点对进行质量评价计算q值，然后根据q值降序排列，然后过滤掉q小于预设阈值p的匹配特征点对，形成高质量的匹配特征点对；
[0088]
具体地，预设模型可以为投影的单应性矩阵、相似距离，可以为通过聚类方式，通过计算特征点的相似距离q值进行判断；
[0089]
从高质量的匹配特征点对中随机选取模型参数估计的最少的数据，然后计算出透视变化方程；
[0090]
具体地，模型参数选择随机4个匹配的特征点对，通过透视变换估计变化矩阵变换th；
[0091]
将参考图像所有相互匹配的特征点对中的其中一个特征点进行利用透视变化矩阵th进行透视变换，并计算待拼接图像中所对应特征点与经过透视变化的特征点的距离dh；
[0092]
当特征点数据中获得的dh小于预设比较阈值c2，就判定该点为内点inlier，反之
为就判定为外点outlier；
[0093]
然后统计内点inlier的总数inlier_num，当inlier_num处于预设阈值范围内时就判定该模型为最优模型，并记录该模型下的统计误差；
[0094]
统计误差定义为在透视变换矩阵th的条件下，所有dh距离的累计和；
[0095]
然后重复上述过程，当计算得到变化矩阵变换th，获得相应th对应统计误差，获取统计误差最小对应的所有内点为最优内点集合，即获得最终匹配的相互匹配特征点对。
[0096]
具体地，当拼接图像进行柱面投影后，为了能够进行拼接，需要进行坐标统一基准，这样后面具备重叠区域能够找到融合的坐标基准。
[0097]
利用计算得出待拼接图像的匹配特征点对，获取拼接投影变换的变换矩阵ma。
[0098]
具体地包括：
[0099]
获取相邻图像匹配特征点对feature_points1,feature_points2；
[0100]
通过匹配特征点feature_points1,feature_points2对，构建利用投射变化关系式获取变化矩阵；
[0101]
feature_points2＝ma*feature_points1
[0102]
由于feature_points2和feature_points1的坐标都已知，将坐标代入，获得变化矩阵ma；
[0103]
具体地，当获得变化矩阵ma后，通过ma将待拼接图像投影至与其相邻图像的坐标系，使相邻拼接图像的坐标基准进行统一；
[0104]
具体地，本实施例中，分别将待拼接图像以及对应的消缝图像通过ma进行投影到相邻图像的坐标系，获得第一融合图像和第一融合消缝图像，使待拼接的坐标基准进行统一，有利于做相邻图像进行拼接。
[0105]
具体地，图像融合较为关键，如果融合不好，会在重叠区域内产生较大的拼接缝或或者色差，为了解决该问题，本实施例提供以下解决方案，具体如下：
[0106]
获取第一融合图像、第一融合消缝图像、以及与第一融合图像相邻的拼接图像；
[0107]
设置预设整数阈值c2，分别对第一融合图像、第一融合消缝图像、第一融合图像相邻的拼接图像进行2n倍下采样，n的取值为[0,c2]的整数，如c2可以等于4或5；
[0108]
将获取的下采样的图像进行存储，形成第一融合图像组，第一融合消缝图像组，第一相拼拼接图像组；
[0109]
具体地，由于进行2n倍下采样，经过采样后，形成对应的图像数组，如若c2等于n，第一融合图像进行采样后，形成1,2,4。。。，2
c2
幅下降的图像组成第一融合图像组。
[0110]
分别将第一融合图像组或第一融合图像相邻的拼接图像，依次从底层至次顶层的顺序，下层图像减去上层图像经过的2倍上采样形成的图像和顶层图像，记为第二融合图像组或第二融合图像相邻的拼接图像组；
[0111]
获取第二融合图像组或第二融合图像相邻的拼接图像组中的对应顺序的图像大小，从第一消缝图像组选取对应大小的图像组成第二融合消缝图像组。
[0112]
具体地，当得到拼接图像处理好后，对相邻的拼接图像进行融合。
[0113]
具体地，图像融合的方法如下：
[0114]
获取第二融合图像组、第二融合图像相邻的拼接图像组、第二融合消缝图像组，依次从第二融合图像组、第二融合图像相邻的拼接图像组、第二融合消缝图像组分别取出对
应大小相同的图像，然后进行如下融合：
[0115]
imgs[i]＝imgb1[i]*seam_img[i]+imgb2[i]*(1-seam_img[i])，
[0116]
其中，i表示融合图像组中对应的图像的索引，imgb1[i]表示顺序为i第二融合图像，imgb2[i]表示顺序为i的第二融合图像相邻的拼接图像，seam_img[i]表示顺序为i的第二融合消缝图像；imgs[i]表示顺序为i的融合第三融合图像；
[0117]
将融合的图像添加入新的图像融合组中形成第三融合图像组；
[0118]
获取第三融合图像组，按照图像大小对第三融合图像组的中图像进行排序；
[0119]
取出第一幅图像，对第一幅图像进行上采样后使图像小于等于第二幅图像的大小后，再加上第二幅图像获得结果记为accumulated_img；
[0120]
然后对accumulated_img进行上采样，使得经过上采样的图像小于等于第三幅图像的大小后，再加上第三幅图像；
[0121]
依次类推进行遍历，将最终获得的图像为全景图像。
[0122]
具体地，由于全景图像拼接存在可能存在很多幅图像，进行图像拼接时，是暗转顺序进行拼接的，如有四幅图像进行拼接，现将前2幅图像进行拼接融合后，再与第三幅图像进行拼接，依次类推，获得最终的全景图像。
[0123]
具体地，获得的融合图像进行再次拼接融合，直至遍历用于拼接的图像后，获得最终的全景图像。
[0124]
具体地，由于采用多幅图像进行拼接，在本实施采用柱面投影和边缘调整策略的情况下，在图像沿y轴方向的上边缘和下边缘会产生不规则的黑边，为了去除黑边并且尽可能保留拼接图像的完整，本实施例提供一种自适应不规则黑边去除方法，如图3所示，具体包括：
[0125]
将获取的全景图像转化为灰度图；对灰度图进行二值化，预设比较值阈值为c3；
[0126]
当灰度图的像素值大于c3时，灰度图的像素值置255，当灰度图的像素值小于c3时，灰度图的像素值置0，获得二值图像；
[0127]
具体地，c3可以设置2～10之内的数；
[0128]
设置自适应比较基准阈值tc＝全景图像的宽度/l，l为50～200
[0129]
对二值图像沿着y轴从上至下开始遍历，判断在相同yi坐标下面，二值图的所有(x，yi)中的像素值等于0的坐标点数小于tc时，获取图像的上边界top_border＝yi，其中x取值范围为[0,全景图像的宽度]，
[0130]
对二值图像沿着y轴从下至上开始遍历，判断在相同yi坐标下面，二值图的所有(x，yi)中的像素值等于0的坐标点数小于tc时，获取图像的下边界bottom_border＝yi，其中x取值范围为[0,全景图像的宽度]，
[0131]
通过获取的上边界和下边界对在全景图上截取对应的图像获得最终的全景图像。
[0132]
以上所述的仅是本发明的优选实施方式，本发明不限于以上实施例。本领域的技术人员可以清楚，该实施例中的形式不局限于此，同时可调整方式也不局限于此。可以理解，本领域技术人员在不脱离本发明的基本构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。