图像生成方法、装置、设备及可读存储介质与流程

1.本发明涉及图像处理技术领域，尤其涉及一种图像生成方法、装置、设备及可读存储介质。


背景技术：

2.随着汽车技术的发展，车载全景环视系统avm和自动泊车系统应用越来越广泛。在avm和自动泊车系统的使用过程中，传统的全景环视系统一般只能显示车辆四周的图像，包括鸟瞰视图和3d旋转视图，而无法显示车辆底部的影像，因此不能满足部分泊车场景的需求，从而导致用户体验不佳。现有技术中，为了解决此需求，提供了一种基于车速及方向盘转角生成车辆底部图像，但是此方法依赖于车身尺寸信息及车身运动信息，计算量大且受外部的影响大，该方法对算力的要求高且鲁棒性与抗干扰性能弱，若上述信息有误差，则导致生成的车辆底部图像效果不佳，影响用户使用。


技术实现要素：

3.本发明的主要目的在于提供一种图像生成方法、装置、设备及可读存储介质，旨在解决现有技术中车载全景环视系统不能监测到车底图像，对车底状况无法确认的技术问题。
4.第一方面，本发明提供一种图像生成方法，所述图像生成方法包括：
5.获取当前采集的第二全景影像以及上一次采集的第一全景影像；
6.获取至少3个特征点分别在第一全景影像及第二全景影像中对应的坐标；
7.根据所述至少3个特征点分别在第一全景影像及第二全景影像中对应的坐标，计算得到第一全景影像与第二全景影像的位置映射关系；
8.根据所述位置映射关系从第一全景影像中查找与第二全景影像中的车辆底部影像对应的重叠区域图像，以所述重叠区域图像拼接到第二全景影像中的车辆底部区域，以生成第二全景影像中的车辆底部影像。
9.可选的，所述获取至少3个特征点分别在第一全景影像及第二全景影像中对应的坐标的步骤包括：
10.基于orb算法在第一全景影像的感兴趣区域中提取第一点集合，基于orb算法在第二全景影像的感兴趣区域中提取第二点集合；
11.计算第一点集合的第一描述子矩阵，计算第二点集合的第二描述子矩阵；
12.对第一描述子矩阵以及第二描述子矩阵进行匹配，基于匹配结果删除匹配值不满足阈值的匹配点组合；
13.从剩余的匹配点组合中选取至少三个有效匹配点组合，其中每个有效匹配点组合包含一个在第一全景影像中的第一匹配点以及一个在第二全景影像中的第二匹配点，其中，第一匹配点与第二匹配点的全局坐标一致；
14.以所述每个有效匹配点组合的第一匹配点在第一全景影像中的局部坐标以及第
二匹配点在第二全景影像中的局部坐标，作为一个特征点分别在第一全景影像及第二全景影像中对应的坐标。
15.可选的，所述获取至少3个特征点分别在第一全景影像及第二全景影像中对应的坐标的步骤还包括：
16.在第一全景影像的感兴趣区域选取n个点，以所述每个点为中心的预设像素区域为一个第一模板，得到n个第一模板；
17.在第二全景影像的感兴趣区域选取n个点，以所述每个点为中心的预设像素区域为一个第二模板，得到n个第二模板；
18.将n个第一模板与n个第二模板进行匹配，得到至少三个有效匹配模板组合，其中每个有效匹配模板组合包含一个在第一全景影像中的第一匹配点以及一个在第二全景影像中的第二匹配点，其中，第一匹配点与第二匹配点的全局坐标一致；
19.以所述每个有效匹配模板组合的第一匹配点在第一全景影像中的局部坐标以及第二匹配点在第二全景影像中的局部坐标，作为一个特征点分别在第一全景影像及第二全景影像中对应的坐标。
20.可选的，所述感兴趣区域靠近车底区域，所述感兴趣区域面积小于预设面积。
21.可选的，根据所述位置映射关系从第一全景影像中查找与第二全景影像中的车辆底部影像对应的重叠区域图像，以所述重叠区域图像拼接到第二全景影像中的车辆底部区域，以生成第二全景影像中的车辆底部影像的步骤包括：
22.检测所述位置映射关系是否有效；
23.若有效，则根据所述位置映射关系从第一全景影像中查找与第二全景影像中的车辆底部影像对应的重叠区域图像，以所述重叠区域图像拼接到第二全景影像中的车辆底部区域，以生成第二全景影像中的车辆底部影像。
24.可选的，所述检测所述位置映射关系是否有效的步骤包括：
25.根据所述位置映射关系确定旋转角度和综合平移量；
26.检测所述旋转角度是否处于预设旋转角度范围以及检测所述综合平移量是否处于预设综合平移量范围；
27.若旋转角度处于预设旋转角度范围且综合平移量处于预设综合平移量范围，则确定所述位置映射关系有效，否则，确定所述位置映射关系无效。
28.可选的，在所述检测所述位置映射关系是否有效的步骤之后包括：
29.若所述位置映射关系无效，则获取上一次确定的有效的位置映射关系；
30.根据所述上一次确定的有效的位置映射关系从第一全景影像中查找与第二全景影像中的车辆底部影像对应的重叠区域图像，以所述重叠区域图像拼接到第二全景影像中的车辆底部区域，以生成第二全景影像中的车辆底部影像。
31.第二方面，本发明还提供一种图像生成装置，所述图像生成装置包括：
32.第一获取模块，用于获取当前采集的第二全景影像以及上一次采集的第一全景影像；
33.第二获取模块，用于获取至少3个特征点分别在第一全景影像及第二全景影像中对应的坐标；
34.计算模块，用于根据所述至少3个特征点分别在第一全景影像及第二全景影像中
对应的坐标，计算得到第一全景影像与第二全景影像的位置映射关系；
35.拼接模块，用于根据所述位置映射关系从第一全景影像中查找与第二全景影像中的车辆底部影像对应的重叠区域图像，以所述重叠区域图像拼接到第二全景影像中的车辆底部区域，以生成第二全景影像中的车辆底部影像。
36.可选的，所述获取至少3个特征点分别在第一全景影像及第二全景影像中对应的坐标，所述第二获取模块，用于：
37.基于orb算法在第一全景影像的感兴趣区域中提取第一点集合，基于orb算法在第二全景影像的感兴趣区域中提取第二点集合；
38.计算第一点集合的第一描述子矩阵，计算第二点集合的第二描述子矩阵；
39.对第一描述子矩阵以及第二描述子矩阵进行匹配，基于匹配结果删除匹配值不满足阈值的匹配点组合；
40.从剩余的匹配点组合中选取至少三个有效匹配点组合，其中每个有效匹配点组合包含一个在第一全景影像中的第一匹配点以及一个在第二全景影像中的第二匹配点，其中，第一匹配点与第二匹配点的全局坐标一致；
41.以所述每个有效匹配点组合的第一匹配点在第一全景影像中的局部坐标以及第二匹配点在第二全景影像中的局部坐标，作为一个特征点分别在第一全景影像及第二全景影像中对应的坐标。
42.可选的，所述获取至少3个特征点分别在第一全景影像及第二全景影像中对应的坐标，所述第二获取模块，还用于：
43.在第一全景影像的感兴趣区域选取n个点，以所述每个点为中心的预设像素区域为一个第一模板，得到n个第一模板；
44.在第二全景影像的感兴趣区域选取n个点，以所述每个点为中心的预设像素区域为一个第二模板，得到n个第二模板；
45.将n个第一模板与n个第二模板进行匹配，得到至少三个有效匹配模板组合，其中每个有效匹配模板组合包含一个在第一全景影像中的第一匹配点以及一个在第二全景影像中的第二匹配点，其中，第一匹配点与第二匹配点的全局坐标一致；
46.以所述每个有效匹配模板组合的第一匹配点在第一全景影像中的局部坐标以及第二匹配点在第二全景影像中的局部坐标，作为一个特征点分别在第一全景影像及第二全景影像中对应的坐标。
47.可选的，所述根据所述位置映射关系从第一全景影像中查找与第二全景影像中的车辆底部影像对应的重叠区域图像，以所述重叠区域图像拼接到第二全景影像中的车辆底部区域，以生成第二全景影像中的车辆底部影像，所述图像生成装置，还包括检测模块，用于：
48.检测所述位置映射关系是否有效；
49.若有效，则根据所述位置映射关系从第一全景影像中查找与第二全景影像中的车辆底部影像对应的重叠区域图像，以所述重叠区域图像拼接到第二全景影像中的车辆底部区域，以生成第二全景影像中的车辆底部影像。
50.可选的，所述检测所述位置映射关系是否有效，所述检测模块，还用于：
51.根据所述位置映射关系确定旋转角度和综合平移量；
52.检测所述旋转角度是否处于预设旋转角度范围以及检测所述综合平移量是否处于预设综合平移量范围；
53.若旋转角度处于预设旋转角度范围且综合平移量处于预设综合平移量范围，则确定所述位置映射关系有效，否则，确定所述位置映射关系无效。
54.可选的，在所述检测所述位置映射关系是否有效的步骤之后，所述拼接模块，还用于：
55.若所述位置映射关系无效，则获取上一次确定的有效的位置映射关系；
56.根据所述上一次确定的有效的位置映射关系从第一全景影像中查找与第二全景影像中的车辆底部影像对应的重叠区域图像，以所述重叠区域图像拼接到第二全景影像中的车辆底部区域，以生成第二全景影像中的车辆底部影像。
57.第三方面，本发明还提供一种图像生成设备，所述图像生成设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的图像生成程序，其中所述图像生成程序被所述处理器执行时，实现如上述所述的图像生成方法的步骤。
58.第四方面，本发明还提供一种可读存储介质，所述可读存储介质上存储有图像生成程序，其中所述图像生成程序被处理器执行时，实现如上述所述的图像生成方法的步骤。
59.本发明中，获取当前采集的第二全景影像以及上一次采集的第一全景影像；获取至少3个特征点分别在第一全景影像及第二全景影像中对应的坐标；根据所述至少3个特征点分别在第一全景影像及第二全景影像中对应的坐标，计算得到第一全景影像与第二全景影像的位置映射关系；根据所述位置映射关系从第一全景影像中查找与第二全景影像中的车辆底部影像对应的重叠区域图像，以所述重叠区域图像拼接到第二全景影像中的车辆底部区域，以生成第二全景影像中的车辆底部影像。通过本发明可以解决现有的车载全景环视系统不能监测到车底图像，对车底状况无法确认的问题，实现了根据车底图像对车底状况的监测，满足了泊车的需求，并在一定程度上对计算量的要求小，抗干扰性能强。
附图说明
60.图1为本发明实施例方案中涉及的图像生成设备的硬件结构示意图；
61.图2为本发明图像生成方法一实施例的流程示意图；
62.图3为本发明图像生成方法一实施例的全景影像示意图；
63.图4为本发明图像生成方法一实施例的感兴趣区域示意图；
64.图5为本发明图像生成方法一实施例的生成底部图像的示意图；
65.图6为本发明图像生成装置一实施例的功能模块示意图。
66.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
67.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
68.第一方面，本发明实施例提供一种图像生成设备。
69.参照图1，图1为本发明实施例方案中涉及的图像生成设备的硬件结构示意图。本发明实施例中，图像生成设备可以包括处理器1001(例如中央处理器central processing unit，cpu)，通信总线1002，用户接口1003，网络接口1004，存储器1005。其中，通信总线1002
用于实现这些组件之间的连接通信；用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)；网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真wireless
‑
fidelity，wi
‑
fi接口)；存储器1005可以是高速随机存取存储器(random access memory，ram)，也可以是稳定的存储器(non
‑
volatile memory)，例如磁盘存储器，存储器1005可选的还可以是独立于前述处理器1001的存储装置。本领域技术人员可以理解，图1中示出的硬件结构并不构成对本发明的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
70.继续参照图1，图1中作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及图像生成程序。其中，处理器1001可以调用存储器1005中存储的图像生成程序，并执行本发明实施例提供的图像生成方法。
71.本发明实施例提供了一种图像生成方法。
72.参照图2，图像生成方法一实施例的流程示意图。
73.本实施例中，所述图像生成方法包括：
74.步骤s10，获取当前采集的第二全景影像以及上一次采集的第一全景影像；
75.参照图3，图3为本发明图像生成方法一实施例的全景影像示意图。
76.本实施例中，当用户在全景系统界面点击进入车底透明模式，底部图像生成程序开始运行，车辆全景环视系统avm通过车身前后左右方向各一个摄像头采集原始图像，并将原始图像拼接得到车身四周的全景影像，保存当前拼接好的全景影像。通过获取连续两次采集得到的全景影像并对两次采集得到的全景影像的位置映射关系求解得到这连续两次中最近一次采集得到的全景影像中的车辆底部图像，即获取当前采集的第二全景影像及上一次采集的第一全景影像，并计算得到当前采集的第二全景影像及上一次采集的第一全景影像的位置映射关系用于生成当前采集的第二全景影像中的车辆底部图像为一个底部图像生成程序运行周期，在这个运行周期中的第二全景影像中的车辆底部图像生成后，若底部图像生成程序仍在运行，则进入下一个运行周期，获取当前运行周期内当前时刻采集的全景影像作为第二全景影像以及上一运行周期中填充了生成的车辆底部影像的第二全景影像作为当前运行周期的第一全景影像。其中所述全景影像如图3所示，图示所述阴影部分t表示4个原始摄像头采集拼接的可视区域，所述空白部分k表示车底图像，在实际显示中，在底部图像生成程序开始运行时获得的第一全景影像中初始的车底图像不可视以预设颜色如灰底来显示，当根据第一全景影像得到第二全景影像的底部图像时，并将其填充进第二全景影像的车底区域后，后面每次获得的全景影像包括摄像头采集拼接成的可视区域与填充了的可视的车底区域以及以预设颜色如灰底来显示的不可视的车底区域。
77.步骤s20，获取至少3个特征点分别在第一全景影像及第二全景影像中对应的坐标；
78.本实施例中，当获取到本运行周期内当前时刻的第二全景影像与上一时刻的第一全景影像时，从第一全景影像与第二全景影像中查找图像里所共有的像素点，并根据共有的像素点在第一全景影像与第二全景影像中的不同坐标来计算第一全景影像与第二全景影像的位置映射关系，这两张图像里所共有的像素点即为特征点，其中所述特征点在第一全景影像与第二全景影像中的不同坐标是基于局部坐标系来得到的，所述局部坐标系为第一全景影像与第二全景影像的像素点坐标系，以第一全景影像或第二全景影像的对应角点
为原点，所述角点可以是第一全景影像或第二全景影像上的左上角、左下角、右上角、右下角的像素点，以此角点沿第一全景影像或第二全景影像的两边延伸出去的直线为x轴与y轴。查找所述特征点的过程中包括特征提取与特征匹配，不同的特征提取有不同的对应的特征匹配算法，包括基于特征的匹配方法与基于模板的匹配方法等。当查找到有最少2个特征点分别在第一全景影像及第二全景影像中对应的坐标即可以计算出第一全景影像与第二全景影像的位置映射关系，但是为了保证所得位置映射关系的精确度，至少需要查找得到3个特征点分别在第一全景影像及第二全景影像中对应的坐标。
79.进一步的，一可选实施例中，所述步骤s20包括：
80.基于orb算法在第一全景影像的感兴趣区域中提取第一点集合，基于orb算法在第二全景影像的感兴趣区域中提取第二点集合；
81.计算第一点集合的第一描述子矩阵，计算第二点集合的第二描述子矩阵；
82.对第一描述子矩阵以及第二描述子矩阵进行匹配，基于匹配结果删除匹配值不满足阈值的匹配点组合；
83.从剩余的匹配点组合中选取至少三个有效匹配点组合，其中每个有效匹配点组合包含一个在第一全景影像中的第一匹配点以及一个在第二全景影像中的第二匹配点，其中，第一匹配点与第二匹配点的全局坐标一致；
84.以所述每个有效匹配点组合的第一匹配点在第一全景影像中的局部坐标以及第二匹配点在第二全景影像中的局部坐标，作为一个特征点分别在第一全景影像及第二全景影像中对应的坐标。
85.本实施例中，通过orb算法从第一全景影像的感兴趣区域中提取第一点集合以及在第二全景影像的感兴趣区域中提取第二点集合，当采用orb算法做特征提取从而得到第一点集合与第二点集合时，可以计算出所得的第一点集合与第二点集合中每个点在同一全局坐标系上的坐标从而得到第一点集合的第一描述子矩阵与第二点集合的第二描述子矩阵，并且可以通过计算所述第一描述子矩阵里所描述的每个点与第二描述子矩阵里所描述的每个点在同一全局坐标系上的坐标的距离来进行特征匹配，其中计算所述两点坐标之间的距离的方法有欧氏距离、汉明距离、余弦距离等，所述全局坐标系是根据每个运行周期内的第一全景影像来确定，基于第一全景影像中车身的中心为原点，以车身的轴向为x轴，以车身的朝向为y轴。若两点坐标之间的距离大于预先设定的阈值，则判定这两点坐标不符合匹配值要求不能作为一个有效匹配点组合，因此要删除匹配值不满足阈值的匹配点组合。当第一点集合的第一描述子矩阵与第二点集合的第二描述子矩阵所描述的所有点都匹配完成，最后从剩余的匹配值满足阈值的匹配点组合中选取至少三个有效匹配点组合来计算第一全景影像与第二全景影像的位置映射关系，这样既保证了精度，也对计算力的要求降低。其中，每个有效匹配点组合包含一个在第一全景影像中的第一匹配点以及一个在第二全景影像中的第二匹配点，第一匹配点与第二匹配点的全局坐标一致。以每个有效匹配点组合的第一匹配点在第一全景影像中的局部坐标以及第二匹配点在第二全景影像中的局部坐标，作为一个特征点分别在第一全景影像及第二全景影像中对应的坐标。
86.进一步的，一可选实施例中，所述步骤s20还包括：
87.在第一全景影像的感兴趣区域选取n个点，以所述每个点为中心的预设像素区域为一个第一模板，得到n个第一模板；
88.在第二全景影像的感兴趣区域选取n个点，以所述每个点为中心的预设像素区域为一个第二模板，得到n个第二模板；
89.将n个第一模板与n个第二模板进行匹配，得到至少三个有效匹配模板组合，其中每个有效匹配模板组合包含一个在第一全景影像中的第一匹配点以及一个在第二全景影像中的第二匹配点，其中，第一匹配点与第二匹配点的全局坐标一致；
90.以所述每个有效匹配模板组合的第一匹配点在第一全景影像中的局部坐标以及第二匹配点在第二全景影像中的局部坐标，作为一个特征点分别在第一全景影像及第二全景影像中对应的坐标。
91.本实施例中，提供了不同于上述基于特征的匹配方法，本方法是基于模板的匹配，先分别在第一全景影像与第二全景影像的感兴趣区域里选取n个固定点，可以是间隔固定选取，并以第一全景影像中的这n个点中的每个点为中心的预设像素区域为一个第一模板，得到n个第一模板，以此类推，以第二全景影像中的这n个点中的每个点为中心的预设像素区域为一个第二模板，得到n个第二模板，再根据模板匹配技术得到至少三个有效匹配模板组合，其中，每个有效匹配模板组合包含一个在第一全景影像中的第一匹配点以及一个在第二全景影像中的第二匹配点，其中，第一匹配点与第二匹配点的全局坐标一致。以每个有效匹配模板组合的第一匹配点在第一全景影像中的局部坐标以及第二匹配点在第二全景影像中的局部坐标，作为一个特征点分别在第一全景影像及第二全景影像中对应的坐标。其中，为了满足精确度的要求同时减少计算量，一般选取15
‑
20个点即可，且以这些点为中心得到的图像模板也不宜过大或过小，模板过大，图像处理计算量较大，对于嵌入式系统硬件要求过高；模板过小，特征过小，匹配准确率会大大降低，造成无法检测到，因此可以根据avm拼接帧率和车速情况，以这些点为中心，选取30
×
30像素的模板。
92.进一步的，一可选实施例中，所述感兴趣区域靠近车底区域，所述感兴趣区域面积小于预设面积。
93.参照图4，图4为本发明图像生成方法一实施例的感兴趣区域示意图。
94.本实施例中，如图4所示，所述感兴趣区域m在全景图中靠近车底区域的周围，所述感兴趣区域m是根据平台的算力与场景要求来选取，先基于平台的算力要求与场景要求预先设定感兴趣区域m的面积，再确定感兴趣区域m中角点的位置坐标，根据此角点的位置坐标选取一块小于预设感兴趣区域m面积的感兴趣区域。相较于现有技术中对整个全景图像所有区域的选取，选取一部分感兴趣区域m来获取特征点组合，对整体计算能力的需求降低了。
95.步骤s30，根据所述至少3个特征点分别在第一全景影像与第二全景影像中对应的坐标，计算得到第一全景影像与第二全景影像的位置映射关系；
96.本实施例中，根据所得的至少3个特征点分别在第一全景影像与第二全景影像中对应的坐标，可以得到从第一全景影像到第二全景影像的变换关系，当车辆前进或后退时，变换关系为平移变换；当车辆转弯时，变换关系为平移加旋转组合，因此，车辆的全景图像从第一全景影像到第二全景影像的变换关系可近似为旋转和平移变换关系，这种变换方式为刚体仿射变换，由图像透视变换的相关理论可知，这种刚体仿射变换得到的矩阵有6个自由度，4个旋转自由度与2个平移自由度，根据所得的至少3个特征点分别在第一全景影像与第二全景影像中对应的坐标可以得到这6个自由度的公式从而得到一个2
×
3阶的矩阵，使
用计算机视觉与机器学习库中的求取仿射变换函数来求解矩阵里这6个自由度的公式的数值以得到从第一全景影像到第二全景影像的旋转关系及平移关系，从而得到第一全景影像与第二全景影像的位置映射关系。
97.步骤s40，根据所述位置映射关系从第一全景影像中查找与第二全景影像中的车辆底部影像对应的重叠区域图像，以所述重叠区域图像拼接到第二全景影像中的车辆底部区域，以生成第二全景影像中的车辆底部影像。
98.参照图5，图5为本发明图像生成方法一实施例的生成底部图像的示意图。
99.本实施例中，如图5所示，上述计算所得的车辆处于a处时的第一全景影像与车辆处于b处时的第二全景影像的位置映射关系，可以根据所述位置映射关系得到车辆处于a处时的第一全景影像在车辆处于b处时的第二全景影像上的映射图，在第一全景影像上确定与第二全景影像的车底区域重叠的图像区域，如图5上的重叠区域p，从第一全景影像上提取重叠区域p的图像，将重叠区域p的图像拼接至第二全景影像的车底区域中的对应位置，生成所述车辆处于b处时的第二全景影像中的车辆底部影像，显示到全景环视系统的屏幕，将拼接了车辆底部影像的第二全景影像保存，并作为下一运行周期的第一全景影像。其中，将重叠区域p的图像拼接至第二全景影像的车底区域中的对应位置的过程中，图像拼接重叠的边缘会有明显的痕迹即图像拼接的边界有明显的拼接线，所以可以用opengl开放图形库中的图片拼接镶嵌算法，对图像拼接的边界进行渐变融合，消除掉图像拼接边界的拼接线，以提高第二全景影像中的车辆底部影像在车载全景环视系统的屏幕中所显示图像的质量。
100.进一步的，一可选实施例中，所述步骤s40包括：
101.检测所述位置映射关系是否有效；
102.若有效，则根据所述位置映射关系从第一全景影像中查找与第二全景影像中的车辆底部影像对应的重叠区域图像，以所述重叠区域图像拼接到第二全景影像中的车辆底部区域，以生成第二全景影像中的车辆底部影像。
103.本实施例中，当计算得到第一全景影像与第二全景影像的位置映射关系时，还需要检测所得的位置映射关系是否有效，若经过解析得到的位置映射关系有效，才能使用所述判定有效的位置映射关系从第一全景影像中查找与第二全景影像中的车辆底部影像对应的重叠区域图像，以所述重叠区域图像拼接到第二全景影像中的车辆底部区域，以生成第二全景影像中的车辆底部影像。
104.进一步的，一可选实施例中，所述检测所述位置映射关系是否有效的步骤包括：
105.根据所述位置映射关系确定旋转角度和综合平移量；
106.检测所述旋转角度是否处于预设旋转角度范围以及检测所述综合平移量是否处于预设综合平移量范围；
107.若旋转角度处于预设旋转角度范围且综合平移量处于预设综合平移量范围，则确定所述位置映射关系有效，否则，确定所述位置映射关系无效。
108.本实施例中，当计算得到第一全景影像与第二全景影像的位置映射关系时，还需要检测所得的位置映射关系是否有效，根据位置映射关系的计算可知检测位置映射关系是否有效包括检测根据所得位置映射关系得到的旋转角度和综合平移量是否处于预设的范围中，若旋转角度处于预设旋转角度范围且综合平移量处于预设综合平移量范围，则确定
所述位置映射关系有效，否则只要有一个条件不满足，就可以确定所述位置映射关系无效。例如，一般情况下，车载全景环视系统avm的使用需要满足以下前提条件：车辆速度v在0
‑
20km/h范围内；amv帧率f在20
‑
25fps范围内；车轮转角在
‑
38
°‑
+38
°
范围内；avm俯视图图像坐标比例尺s：80pixs/m。若所述avm应用在车身轴距处于2.5m
‑
3.5m范围内，轮距处于1.6m
‑
2.0m范围内的车型上，则可以通过公式1：计算得出旋转角度θ的范围为[
‑
6.63
°
，+6.63
°
]，并以此得出的范围作为该车型的预设的旋转角度的范围；通过公式2：计算得出综合平移量的范围为[
‑
29.6，+29.6]，并以此得出的范围作为该车型的预设的综合平移量的范围。此时将解析出来的位置映射关系中的旋转角度θ及平移量t
x
、t
y
组合得到的综合平移量与预设的旋转角度和综合平移量的范围进行对比，若对比得到解析出来的位置映射关系中的旋转角度θ及平移量t
x
、t
y
组合得到的综合平移量其中有一项不处于预设的旋转角度和综合平移量的范围，即可以判定计算所得的位置映射关系无效。
[0109]
进一步的，一可选实施例中，在所述检测所述位置映射关系是否有效的步骤之后包括：
[0110]
若所述位置映射关系无效，则获取上一次确定的有效的位置映射关系；
[0111]
根据所述上一次确定的有效的位置映射关系从第一全景影像中查找与第二全景影像中的车辆底部影像对应的重叠区域图像，以所述重叠区域图像拼接到第二全景影像中的车辆底部区域，以生成第二全景影像中的车辆底部影像。
[0112]
本实施例中，若根据检测结果得到旋转角度和综合平移量至少有一个不处于预设的范围中，则确定所得位置映射关系无效时，要获取上一个运行周期计算得到的并判定有效的位置映射关系，再根据所述上一次确定的有效的位置映射关系从第一全景影像中查找与第二全景影像中的车辆底部影像对应的重叠区域图像，以所述重叠区域图像拼接到第二全景影像中的车辆底部区域，以生成第二全景影像中的车辆底部影像。
[0113]
本实施例中，获取当前采集的第二全景影像以及上一次采集的第一全景影像；获取至少3个特征点分别在第一全景影像及第二全景影像中对应的坐标；根据所述至少3个特征点分别在第一全景影像及第二全景影像中对应的坐标，计算得到第一全景影像与第二全景影像的位置映射关系；根据所述位置映射关系从第一全景影像中查找与第二全景影像中的车辆底部影像对应的重叠区域图像，以所述重叠区域图像拼接到第二全景影像中的车辆底部区域，以生成第二全景影像中的车辆底部影像。通过本发明可以解决现有的车载全景环视系统不能监测到车底图像，对车底状况无法确认的问题，实现了根据车底图像对车底状况的监测，满足了泊车的需求，并在一定程度上对计算量的要求小，抗干扰性能强。
[0114]
第三方面，本发明实施例还提供一种图像生成装置。
[0115]
参照图6，图像生成装置一实施例的功能模块示意图。
[0116]
本实施例中，所述图像生成装置包括：
[0117]
第一获取模块10，用于获取当前采集的第二全景影像以及上一次采集的第一全景影像；
[0118]
第二获取模块20，用于获取至少3个特征点分别在第一全景影像及第二全景影像中对应的坐标；
[0119]
计算模块30，用于根据所述至少3个特征点分别在第一全景影像及第二全景影像中对应的坐标，计算得到第一全景影像与第二全景影像的位置映射关系；
[0120]
拼接模块40，用于根据所述位置映射关系从第一全景影像中查找与第二全景影像中的车辆底部影像对应的重叠区域图像，以所述重叠区域图像拼接到第二全景影像中的车辆底部区域，以生成第二全景影像中的车辆底部影像。
[0121]
进一步的，一可选实施例中，所述获取至少3个特征点分别在第一全景影像及第二全景影像中对应的坐标，所述第二获取模块20，用于：
[0122]
基于orb算法在第一全景影像的感兴趣区域中提取第一点集合，基于orb算法在第二全景影像的感兴趣区域中提取第二点集合；
[0123]
计算第一点集合的第一描述子矩阵，计算第二点集合的第二描述子矩阵；
[0124]
对第一描述子矩阵以及第二描述子矩阵进行匹配，基于匹配结果删除匹配值不满足阈值的匹配点组合；
[0125]
从剩余的匹配点组合中选取至少三个有效匹配点组合，其中每个有效匹配点组合包含一个在第一全景影像中的第一匹配点以及一个在第二全景影像中的第二匹配点，其中，第一匹配点与第二匹配点的全局坐标一致；
[0126]
以所述每个有效匹配点组合的第一匹配点在第一全景影像中的局部坐标以及第二匹配点在第二全景影像中的局部坐标，作为一个特征点分别在第一全景影像及第二全景影像中对应的坐标。
[0127]
进一步的，一可选实施例中，所述获取至少3个特征点分别在第一全景影像及第二全景影像中对应的坐标，所述第二获取模块20，还用于：
[0128]
在第一全景影像的感兴趣区域选取n个点，以所述每个点为中心的预设像素区域为一个第一模板，得到n个第一模板；
[0129]
在第二全景影像的感兴趣区域选取n个点，以所述每个点为中心的预设像素区域为一个第二模板，得到n个第二模板；
[0130]
将n个第一模板与n个第二模板进行匹配，得到至少三个有效匹配模板组合，其中每个有效匹配模板组合包含一个在第一全景影像中的第一匹配点以及一个在第二全景影像中的第二匹配点，其中，第一匹配点与第二匹配点的全局坐标一致；
[0131]
以所述每个有效匹配模板组合的第一匹配点在第一全景影像中的局部坐标以及第二匹配点在第二全景影像中的局部坐标，作为一个特征点分别在第一全景影像及第二全景影像中对应的坐标。
[0132]
进一步的，一可选实施例中，所述根据所述位置映射关系从第一全景影像中查找与第二全景影像中的车辆底部影像对应的重叠区域图像，以所述重叠区域图像拼接到第二全景影像中的车辆底部区域，以生成第二全景影像中的车辆底部影像，所述图像生成装置，还包括检测模块，用于：
[0133]
检测所述位置映射关系是否有效；
[0134]
若有效，则根据所述位置映射关系从第一全景影像中查找与第二全景影像中的车辆底部影像对应的重叠区域图像，以所述重叠区域图像拼接到第二全景影像中的车辆底部
区域，以生成第二全景影像中的车辆底部影像。
[0135]
进一步的，一可选实施例中，所述检测所述位置映射关系是否有效，所述检测模块，还用于：
[0136]
根据所述位置映射关系确定旋转角度和综合平移量；
[0137]
检测所述旋转角度是否处于预设旋转角度范围以及检测所述综合平移量是否处于预设综合平移量范围；
[0138]
若旋转角度处于预设旋转角度范围且综合平移量处于预设综合平移量范围，则确定所述位置映射关系有效，否则，确定所述位置映射关系无效。
[0139]
进一步的，一可选实施例中，在所述检测所述位置映射关系是否有效的步骤之后，所述拼接模块40，还用于：
[0140]
若所述位置映射关系无效，则获取上一次确定的有效的位置映射关系；
[0141]
根据所述上一次确定的有效的位置映射关系从第一全景影像中查找与第二全景影像中的车辆底部影像对应的重叠区域图像，以所述重叠区域图像拼接到第二全景影像中的车辆底部区域，以生成第二全景影像中的车辆底部影像。
[0142]
其中，上述图像生成装置中各个模块的功能实现与上述图像生成方法实施例中各步骤相对应，其功能和实现过程在此处不再一一赘述。
[0143]
第四方面，本发明实施例还提供一种可读存储介质。
[0144]
本发明可读存储介质上存储有图像生成程序，其中所述图像生成程序被处理器执行时，实现如上述的图像生成方法的步骤。
[0145]
其中，图像生成程序被执行时所实现的方法可参照本发明图像生成方法的各个实施例，此处不再赘述。
[0146]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0147]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0148]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备执行本发明各个实施例所述的方法。