车位匹配方法、装置、电子设备及计算机可读存储介质与流程

文档序号:31443495发布日期:2022-09-07 11:22阅读:128来源:国知局
车位匹配方法、装置、电子设备及计算机可读存储介质与流程

1.本发明涉及自动泊车技术领域,具体涉及一种车位匹配方法、装置、电子设备及计算机可读存储介质。


背景技术:

2.目前自动泊车功能已经开始在很多车辆上搭载,驾驶员开车进入车库,行驶过程中车载系统通过车辆周围的四个或者多个相机图像拼接成环视图,之后送入车位匹配算法匹配车位。当车辆的车位匹配算法探测到合适的车位就会展示给用户,当用户选择某个车位之后泊车程序会自动将车泊入指定车位,泊入车位过程完全不用用户控制车辆。
3.泊车功能中用到的重要算法就是车位匹配算法,此算法有很多种实现,有通过鱼眼图或者环视图利用分割算法检测车位线,然后组合成车位,有通过环视图检测车位入口角点,然后将入口角点组合成车位。检测入口角点的技术有很多种,比如先检测到入口区域,再提取入口区域图像将入口角点精确定位,最终得到车位入口角点,或者直接一次性回归出入口角点。检测到的车位入口角点通过两两组合形成车位。
4.车位匹配算法的准确率依赖于图像的稳定性,也就是图像各个区域都需要看得清楚。然而,因为车辆上使用的摄像头多是鱼眼摄像头,正对摄像头区域图像质量高但是在摄像头边缘,特别是两个摄像头视野交叉区域的环视图像质量比较差,环视拼接算法生成的环视图在两个摄像头的视野交叉区域一般都比较模糊,甚至有重影等现象,这对车位匹配算法非常不友好,会导致车位匹配算法计算出错误的车位入口角点坐标或者角度,甚至直接导致无法检测到车位入口角点,从而极大影响了车位匹配算法的准确率。


技术实现要素:

5.本发明所要解决的技术问题在于,提供一种车位匹配方法、装置、电子设备及计算机可读存储介质,能够减少单帧环视图像因各个区域画质不稳定导致的车位匹配准确率下降。
6.依据本发明的第一方面,提供了一种车位匹配方法实施例,包括:
7.获取同一时刻的车辆在世界坐标系中的当前坐标和航向角信息以及所述车辆的单帧环视图像;
8.对所述单帧环视图像进行车位入口角点检测,得到每个车位入口角点的综合置信度和每个车位入口角点在所述单帧环视图像上的图片坐标;;其中,所述综合置信度根据角点置信度、位置置信度和所述车位入口角点距离车辆的距离置信度三个方面的置信度信息得到;
9.根据所述车辆的当前坐标和航向角信息以及每个车位入口角点的综合置信度,将所述每个车位入口角点的所述图片坐标映射到所述世界坐标系中得到世界角点图;
10.根据所述世界角点图中的车位入口角点的坐标匹配出车位。
11.作为上述方案的改进,所述根据所述世界角点图中的车位入口角点的坐标匹配出
车位,包括:
12.对后续的每个单帧环视图像进行车位入口角点检测,得到每个单帧环视图像的每个车位入口角点的综合置信度和每个车位入口角点在所述单帧环视图像上的图片坐标;
13.将得到的后续的每个单帧环视图像的每个车位入口角点在所述单帧环视图像上的图片坐标映射到所述世界坐标系,得到所述车位入口角点在所述世界坐标系中的坐标;
14.根据后续的多个单帧环视图像的每个车位入口角点的综合置信度和每个所述车位入口角点在所述世界坐标系中的坐标,更新所述世界角点图;
15.根据更新的所述世界角点图中的车位入口角点的坐标匹配出车位。
16.作为上述方案的改进,所述车辆的单帧环视图为对所述车辆摄像头实时采集的多路周围环境图像拼接而成,对所述单帧环视图像进行车位入口角点检测,得到每个车位入口角点的综合置信度,包括:
17.将所述单帧环视图像输入到车位匹配模型,得到每个车位入口角点的角点置信度;
18.根据所述单帧环视图的拼接质量和所述车位入口角点在所述单帧环视图像上的坐标,得到所述车位入口角点的位置置信度;
19.根据所述车位入口角点距离所述车辆上最近的摄像头的距离,得到所述车位入口角点的距离置信度;
20.根据所述角点置信度、所述位置置信度和所述距离置信度得到所述车位入口角点的综合置信度。
21.作为上述方案的改进,所述根据所述角点置信度、所述位置置信度和所述距离置信度得到所述车位入口角点的综合置信度,包括:
22.将检测到的每个车位入口角点的角点置信度、位置置信度和距离置信度,输入到下述加权公式,得到每个所述车位入口角点的综合置信度:
23.totalconf=αc
corner
+βc
img
+γc
dist
24.其中c
corner
为角点置信度,c
img
为位置置信度,c
dist
为距离置信度,α、β、γ为权重系数。
25.作为上述方案的改进,所述根据后续的多个单帧环视图像的每个车位入口角点的综合置信度和每个所述车位入口角点在所述世界坐标系中的坐标,更新所述世界角点图,包括:
26.在检测到的某个车位入口角点在之前帧已经被检测过的情况下,将所述车位入口角点的新计算出的综合置信度与其当前的综合置信度进行比较,若新计算出的综合置信度大于当前的综合置信度,则将所述世界坐标系中的所述车位入口角点的坐标更新为新坐标;
27.在首次检测到某个车位入口角点的情况下,将首次检测到的所述车位入口角点在所述世界坐标系内的坐标直接更新至所述世界角点图中。
28.依据本发明的第二方面,提供了一种车位匹配装置实施例,包括:
29.车辆信息获取模块,用于获取同一时刻的车辆在世界坐标系中的当前坐标和航向角信息以及所述车辆的单帧环视图像;
30.入口角点检测模块,用于对所述单帧环视图像进行车位入口角点检测,得到每个
车位入口角点的综合置信度和每个车位入口角点在所述单帧环视图像上的图片坐标;其中,所述综合置信度根据角点置信度、位置置信度和所述车位入口角点距离车辆的距离置信度三个方面的置信度信息得到;
31.坐标映射模块,用于根据所述车辆的当前坐标和航向角信息以及每个车位入口角点的综合置信度,将所述每个车位入口角点的所述图片坐标映射到所述世界坐标系中得到世界角点图;
32.车位匹配模块,用于根据所述世界角点图中的车位入口角点的坐标匹配出车位。
33.作为上述方案的改进,车位匹配模块包括角点图更新单元,所述角点图更新单元用于:
34.对后续的每个单帧环视图像进行车位入口角点检测,得到每个单帧环视图像的每个车位入口角点的综合置信度和每个车位入口角点在所述单帧环视图像上的图片坐标;
35.将得到的后续的每个单帧环视图像的每个车位入口角点在所述单帧环视图像上的图片坐标映射到所述世界坐标系,得到所述车位入口角点在所述世界坐标系中的坐标;
36.根据后续的多个单帧环视图像的每个车位入口角点的综合置信度和每个所述车位入口角点在所述世界坐标系中的坐标,更新所述世界角点图;
37.所述车位匹配模块,具体用于根据更新的所述世界角点图中的车位入口角点的坐标匹配出车位。
38.作为上述方案的改进,所述车辆信息获取模块包括环视图拼接单元,环视图拼接单元用于将所述车辆摄像头实时采集的多路周围环境图像拼接成单帧环视图像;
39.所述入口角点检测模块包括:
40.角点置信度单元,用于将所述单帧环视图像输入到车位匹配模型,得到每个车位入口角点的角点置信度;
41.位置置信度单元,用于根据所述单帧环视图的拼接质量和所述车位入口角点在所述单帧环视图像上的坐标,得到所述车位入口角点的位置置信度;
42.距离置信度单元,用于根据所述车位入口角点距离所述车辆上最近的摄像头的距离,得到所述车位入口角点的距离置信度;
43.综合置信度计算单元,用于根据所述角点置信度、所述位置置信度和所述距离置信度得到所述车位入口角点的综合置信度。
44.作为上述方案的改进,所述综合置信度计算单元具体用于,
45.将检测到的每个车位入口角点的角点置信度、位置置信度和距离置信度,输入到下述加权公式,得到每个所述车位入口角点的综合置信度:
46.totalconf=αc
corner
+βc
img
+γc
dist
47.其中c
corner
为角点置信度,c
img
为位置置信度,c
dist
为距离置信度,α、β、γ为权重系数。
48.作为上述方案的改进,所述角点图更新单元具体用于,
49.在检测到的某个车位入口角点在之前帧已经被检测过的情况下,将所述车位入口角点的新计算出的综合置信度与其当前的综合置信度进行比较,若新计算出的综合置信度大于当前的综合置信度,则将所述世界坐标系中的所述车位入口角点的坐标更新为新坐标;
50.在首次检测到某个车位入口角点的情况下,将首次检测到的所述车位入口角点在所述世界坐标系内的坐标直接更新至所述世界角点图中。
51.依据本发明的第三方面,提供了一种电子设备实施例,包括:存储器和处理器,
52.所述存储器中存储有计算机程序,所述计算机程序由所述处理器加载并执行,以实现前述的车位匹配方法的步骤。
53.依据本发明的第四方面,还提供了一种计算机可读存储介质实施例,其上存储有一个或多个计算机程序,所述一个或多个计算机程序被处理器执行时实现前述的车位匹配方法的步骤。
54.实施本发明的各实施例,具有如下有益效果:
55.本发明的各实施例通过获取同一时刻的车辆在世界坐标系中的当前坐标和航向角信息以及车辆的单帧环视图像,然后对该单帧环视图像进行车位入口角点检测,得到每个车位入口角点的综合置信度和每个车位入口角点在单帧环视图像上的图片坐标,接着根据车辆的当前坐标和航向角信息以及每个车位入口角点的综合置信度,将每个车位入口角点的图片坐标映射到世界坐标系中得到世界角点图,之后根据世界角点图中的车位入口角点的坐标匹配出车位。由于本发明的各实施例是在世界角点图中进行的车位入口角点的坐标匹配,考虑到车位入口角点在世界坐标系中是稳定的,而且该世界角点图是根据综合置信度得到,综合置信度综合了角点置信度、位置置信度和距离置信度三个方面的置信度信息,因此保证了世界角点图中的车位入口角点的坐标信息的全面性和真实性,能够从一定程度上克服单帧环视图像因各个区域画质不稳定导致的车位匹配精度不高的缺陷,提高了车位匹配的准确率。
56.在优选实施例中,通过后续的多个单帧环视图像的每个车位入口角点的综合置信度和每个车位入口角点在世界坐标系中的坐标,更新世界角点图,然后根据更新的世界角点图中的车位入口角点的坐标匹配出车位。由于车位入口角点在世界坐标系中是稳定的,即使在不同帧的环视图像的不同位置检测到同一个车位入口角点,但是映射到世界坐标系中仍然是在相同位置。因此优选实施例可以融合多帧的车位入口角点的信息,仅保留车位清晰时候的车位入口角点的坐标数据,能够极大提高车位匹配准确率。
附图说明
57.通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
58.图1是本发明提供的一种车位匹配方法实施例的流程示意图;
59.图2是本发明提供的一种环视图像上的位置置信度高低示意图;
60.图3是本发明提供的一种车位匹配装置实施例的框图;
61.图4是本发明提供的另一种车位匹配装置实施例的框图;
62.图5是本发明提供的一种电子设备实施例的结构示意图。
具体实施方式
63.下面将参照附图更详细地描述本发明的示例性实施例。提供这些实施例是为了能
够更透彻地理解本发明,并且能够将本发明的范围完整的传达给本领域的技术人员。虽然附图中显示了本发明的示例性实施例,然而应当理解,可以以各种形式实现本发明而不应被这里阐述的实施例所限制。
64.图1是本发明提供的一种车位匹配方法实施例的流程示意图,参见图1,该方法实施例包括如下步骤s110至步骤s160:
65.步骤s110,获取同一时刻的车辆在世界坐标系中的当前坐标和航向角信息以及该车辆的单帧环视图像。
66.为实现智能泊车功能,在车辆四周一般至少安装有四个摄像头,分布在车身左侧、右侧、后侧和前侧。多路周围环境图像包括车身左侧图像、车身右侧图像、车身后侧图像及车身前侧图像,但不以此为限制。车载系统通过将车辆周围的四个或者多个相机图像拼接成环视图,之后送入车位匹配算法匹配车位。环视图像也叫做俯视图像,车载系统会将这些摄像头的相机图像融合成一张俯视图像,就像从车辆正上方看下去一样。
67.车辆上一般都会将拼接出的环视图像显示在中控屏上,方便用户查看车辆四周的环境,环视图像非常适合用于检测车位,并且在环视图像中的坐标很容易就能转换到世界坐标系中,方便指引泊车程序控制车辆泊入车位。
68.车辆上的摄像头基本上都会使用鱼眼相机,因为鱼眼相机是视野比较大的摄像头,一般水平和垂直fov(field of view,视场角)都会超过120
°
。鱼眼相机输出的鱼眼图像在摄像头正中区域图像质量比较高,但边缘图像畸变比较严重,质量比较低,拼接为环视图像后表现为两个摄像头的视野交叉区域的图像质量较差,这对车位搜索模型非常不利,会降低视野交叉区域的车位搜索准确率。
69.在获取车辆摄像头实时采集的多路周围环境图像的同时,还同步获取车载计算单元实时上报的车辆在世界坐标系中的当前坐标和航向角信息,其中,世界坐标系是指在车辆启动泊车功能时以地面为平面,以车辆当前所在点为原点构建的平面坐标系。这样可以保证拼接得到的单帧环视图像与车辆的当前位置对应。
70.步骤s120,对单帧环视图像进行车位入口角点检测,得到每个车位入口角点的综合置信度和每个车位入口角点在该单帧环视图像上的图片坐标;其中,综合置信度根据角点置信度、位置置信度和车位入口角点距离车辆的距离置信度三个方面的置信度信息得到。
71.车位入口角点是指车位入口两侧的点,加上另外两个点就可以组成一个矩形车位。本发明实施例是使用事先训练好的车位匹配模型直接检测环视图中的车位入口角点。车位匹配模型的输入是单帧环视图像,车位匹配模型的输出是检测到的每个车位入口角点在该单帧环视图像上的图片坐标以及对应每个车位入口角点的综合置信度。
72.置信度(confidence)在各种深度学习算法中出现,在对象检测算法中主要用于表征对象检测结果可靠程度,在关键点算法中主要用于表征关键点检测结果可靠程度,取值范围一般为0-1,越大代表结果越可靠。
73.本方法实施例中,车位匹配模型在对单帧环视图像进行车位入口角点检测过程中,对检测到的每个车位入口角点除了输出角点置信度外,还输出位置置信度以及车位入口角点距离车辆的距离置信度。
74.考虑到车辆的单帧环视图为对车辆摄像头实时采集的多路周围环境图像拼接而
成,对单帧环视图像进行车位入口角点检测,得到每个车位入口角点的综合置信度,具体可以是:
75.将单帧环视图像输入到车位匹配模型,得到每个车位入口角点的角点置信度;根据单帧环视图的拼接质量和车位入口角点在该单帧环视图像上的坐标,得到车位入口角点的位置置信度;根据车位入口角点距离车辆上最近的摄像头的距离,得到车位入口角点的距离置信度;然后根据角点置信度、位置置信度和距离置信度得到车位入口角点的综合置信度。
76.物体距离摄像头越近,检测到的信息比如坐标角度等就更加准确,所以有必要加上车位入口角点距离车辆上最近的摄像头的距离因素作为距离置信度。
77.距离置信度的推算公式例如可以是c
dist
=2(1-sigmoid(dist)),dist为环视图像上车位入口角点与距离它最近的摄像头的距离。其中,sigmoid函数是一个在生物学中常见的s型函数,也称为s型生长曲线。在信息科学中,由于其单增以及反函数单增等性质,sigmoid函数常被用作神经网络的阈值函数,将变量映射到0,1之间。
78.在距离摄像头同等距离的位置,处于环视图不同区域其模糊程度也不同,所以也有必要加上车位入口角点在单帧环视图像上的坐标因素作为位置置信度。
79.由于拼接得到的环视图像在不同区域的图像质量有差异,一般而言,正对摄像头区域的图像质量高但是在两个摄像头视野交叉区域的图像质量比较差,因此可以根据车位入口角点在单帧环视图像上的坐标大致推算出位置置信度。
80.图2是本发明提供的一种环视图像上的位置置信度高低示意图。参见图2,第一区域21为正对摄像头的区域,这些区域的图片亮度较高,代表位置置信度较高,第二区域22为两个摄像头视野交叉区域,这些区域的图片亮度较低,代表位置置信度越低。
81.在一个具体实施例中,根据角点置信度、位置置信度和距离置信度得到车位入口角点的综合置信度,包括:
82.将检测到的每个车位入口角点的角点置信度、位置置信度和距离置信度,输入到下述加权公式,得到每个车位入口角点的综合置信度:
83.totalconf=αc
corner
+βc
img
+γc
dist
84.其中c
corner
为角点置信度,c
img
为位置置信度,c
dist
为距离置信度,α、β、γ为权重系数。
85.上述计算综合置信度的加权公式已经过无数次试验证明有效。各权重系数的取值需考虑的因素包括摄像头的安装位置、单帧环视图像的拼接质量等。
86.可见,综合置信度综合考虑了摄像头的安装位置、单帧环视图像的拼接质量等信息,相比于仅采用单一模型置信度(模型仅输出角点置信度)的方案,车位定位更准确。
87.步骤s130,根据车辆的当前坐标和航向角信息以及每个车位入口角点的综合置信度,将每个车位入口角点的图片坐标映射到世界坐标系中得到世界角点图。
88.本步骤s130是根据车位匹配模型的输出结果和车载计算单元上报的车辆在世界坐标系中的当前坐标和航向角信息构建世界角点图。其中,世界角点图(global corner map)是指将单帧环视图像中检测出的车位入口角点投射到世界坐标系后形成的平面图。世界角点图中的每个车位入口角点记录有各自对应的综合置信度。
89.本步骤s130具体可以是,首先筛选出综合置信度大于某个置信度阈值的车位入口
角点,该置信度阈值例如可以是0.5,但不以此为限制。然后根据同步获取的车辆当前坐标和航向角信息,将这些筛选出的车位入口角点在单帧环视图像上的图片坐标映射到世界坐标系中的坐标,也即从图形坐标系映射到世界坐标系来构建世界角点图,世界角点图中记录有每个车位入口角点对应的综合置信度。当然也可以将所有检测到的车位入口角点均从图形坐标系映射到世界坐标系中,不使用置信度阈值筛选车位入口角点。
90.通过构建世界角点图,可以将单帧环视图像中检测出的多个车位入口角点绘制到世界角点图的同一个平面中,然后在世界角点图上根据车位入口角点的坐标进行两两组合匹配出车位,有助于快速识别出车位。
91.步骤s140,根据世界角点图中的车位入口角点的坐标匹配出车位。
92.本步骤s140具体可以是,对世界角点图中的所有车位入口角点的坐标进行两两组合匹配出车位入口两侧的点,加上另外两个点就可以组成一个矩形车位。
93.需要说明的是,在匹配过程中考虑的因素不限于车位入口角点在世界角点图中的坐标值,还可能包括入口角点的类型,例如“t”型车位角、“l”型车位角等因素,还可能包括入口角点的方向等因素。车位入口角点的坐标、类型及方向等信息均可以通过训练车位匹配模型进行输出。
94.本方法实施例是在世界角点图中进行的车位入口角点的坐标匹配,考虑到车位入口角点在世界坐标系中是稳定的,而且该世界角点图是根据综合置信度得到,综合置信度综合了角点置信度、位置置信度和距离置信度三个方面的置信度信息,因此保证了世界角点图中的车位入口角点的坐标信息的全面性和真实性,能够从一定程度上克服单帧环视图像因各个区域画质不稳定导致的车位匹配精度不高的缺陷,提高了车位匹配的准确率。
95.考虑到随着车辆在搜索车位过程中的不断移动,处于摄像头视野交叉区域的车位总会随着车辆的移动而出现在正对摄像头的高质量区域的事实情况,在一种优选实施例中,上述步骤s140在根据世界角点图中的车位入口角点的坐标匹配出车位过程中,包括:
96.对后续的每个单帧环视图像进行车位入口角点检测,得到每个单帧环视图像的每个车位入口角点的综合置信度和每个车位入口角点在该单帧环视图像上的图片坐标;
97.将得到的后续的每个单帧环视图像的每个车位入口角点在该单帧环视图像上的图片坐标映射到世界坐标系,得到车位入口角点在世界坐标系中的坐标;
98.根据后续的多个单帧环视图像的每个车位入口角点的综合置信度和每个车位入口角点在世界坐标系中的坐标,更新世界角点图;
99.根据更新的世界角点图中的车位入口角点的坐标匹配出车位。
100.由于车位入口角点在世界坐标系中是稳定的,因此即使车位匹配模型在不同帧的环视图像的不同位置扫描到同一个车位入口角点,但是映射到世界坐标系中仍然是在相同位置。
101.在多帧融合的时候如果新一帧环视图像检测出来的同一个车位入口角点有更高的置信度,就更新这个车位入口角点在世界角点图中记录的信息,否则丢弃掉。因此,上述的“根据后续的多个单帧环视图像的每个车位入口角点的综合置信度和每个车位入口角点在世界坐标系中的坐标,更新所述世界角点图”的步骤,具体可以是:
102.在检测到的某个车位入口角点在之前帧已经被检测过的情况下,将该车位入口角点的新计算出的综合置信度与其当前的综合置信度进行比较,若新计算出的综合置信度大
于当前的综合置信度,则将世界坐标系中的该车位入口角点的坐标更新为新坐标;
103.在首次检测到某个车位入口角点的情况下,将首次检测到的车位入口角点在世界坐标系内的坐标直接更新至世界角点图中。
104.也即是说,如果后续的单帧环视图像检测到的某个车位入口角点在之前帧已经被检测到过,则将该车位入口角点的新的综合置信度与其当前的综合置信度进行比较,如果新的综合置信度大于当前的综合置信度,则在世界坐标系中使用该车位入口角点的新坐标更新当前坐标,否则丢弃掉该车位入口角点的新坐标。如果后续的单帧环视图像检测到的某个车位入口角点在之前帧未被检测到过,则在世界坐标系中记录下该车位入口角点的坐标。
105.这样通过融合多帧环视图像,在世界角点图中记录下每帧环视图像检测到的车位入口角点的坐标,并且对同一个车位仅保留置信度高的车位入口角点的坐标,从而不断地更新世界角点图,让世界角点图仅保留图像最清晰时候的车位入口角点的坐标。
106.由于车辆在不断移动,对于同一个车位总有一个时刻能够清晰出现在摄像头高质量区域,因此融合多帧环视图像后得到的世界角点图,其上记录的车位入口角点的坐标基本上都是对应环视图像的高质量区域。即使随着车辆前进车位又移动到低质量区域,依然能够借助世界角点图准确识别,从而极大的提高车位搜索准确度。
107.与前述的车位匹配方法同属于一个技术构思,本发明还提供了一种车位匹配装置实施例。图3是本发明提供的一种车位匹配装置实施例的框图,参见图3,本实施例的车位匹配装置300包括:
108.车辆信息获取模块310,用于获取同一时刻的车辆在世界坐标系中的当前坐标和航向角信息以及该车辆的单帧环视图像;
109.入口角点检测模块320,用于对单帧环视图像进行车位入口角点检测,得到每个车位入口角点的综合置信度和每个车位入口角点在该单帧环视图像上的图片坐标;其中,综合置信度根据角点置信度、位置置信度和车位入口角点距离车辆的距离置信度三个方面的置信度信息得到;
110.坐标映射模块330,用于根据车辆的当前坐标和航向角信息以及每个车位入口角点的综合置信度,将每个车位入口角点的图片坐标映射到世界坐标系中得到世界角点图;
111.车位匹配模块340,用于根据世界角点图中的车位入口角点的坐标匹配出车位。
112.其中,世界坐标系是指在车辆启动泊车功能时以地面为平面,以车辆当前所在点为原点构建的平面坐标系。通过同步获取车辆摄像头实时采集的多路周围环境图像,以及车载计算单元实时上报的车辆在世界坐标系中的当前坐标和航向角信息,可以保证拼接得到的单帧环视图像与车辆的当前位置对应。
113.在上述图3提供的车位匹配装置实施例的基础上,本发明还提供了另一种车位匹配装置实施例。图4是本发明提供的另一种车位匹配装置实施例的框图。参见图4,本实施例的车位匹配装置400包括:车辆信息获取模块410,入口角点检测模块420,坐标映射模块430和车位匹配模块440,各模块的功能说明参见图3的车位匹配装置300。
114.在一种优选实施例中,参见图4,车位匹配模块440包括角点图更新单元41,该角点图更新单元441用于:
115.对后续的每个单帧环视图像进行车位入口角点检测,得到每个单帧环视图像的每
个车位入口角点的综合置信度和每个车位入口角点在单帧环视图像上的图片坐标;
116.将得到的后续的每个单帧环视图像的每个车位入口角点在单帧环视图像上的图片坐标映射到世界坐标系,得到该车位入口角点在世界坐标系中的坐标;
117.根据后续的多个单帧环视图像的每个车位入口角点的综合置信度和每个所述车位入口角点在世界坐标系中的坐标,更新世界角点图;
118.与之对应地,车位匹配模块440,具体用于根据更新的世界角点图中的车位入口角点的坐标匹配出车位。
119.在一种优选实施例中,仍参见图4,车辆信息获取模块410包括环视图拼接单元411,该环视图拼接单元411用于将车辆摄像头实时采集的多路周围环境图像拼接成单帧环视图像。
120.入口角点检测模块420包括:
121.角点置信度单元421,用于将单帧环视图像输入到车位匹配模型,得到每个车位入口角点的角点置信度;
122.位置置信度单元422,用于根据单帧环视图的拼接质量和车位入口角点在该单帧环视图像上的坐标,得到车位入口角点的位置置信度;
123.距离置信度单元423,用于根据车位入口角点距离车辆上最近的摄像头的距离,得到车位入口角点的距离置信度;
124.综合置信度计算单元424,用于根据角点置信度、位置置信度和距离置信度得到车位入口角点的综合置信度。
125.也即是说,角点置信度对应车位匹配模型输出的模型置信度,位置置信度根据所述单帧环视图像的拼接质量以及车位入口角点在所述单帧环视图像上的坐标推算出,距离置信度根据车位入口角点距离车辆上最近的车载摄像头的距离推算出。
126.在一个优选实施例中,综合置信度计算单元424具体用于,
127.将检测到的每个车位入口角点的角点置信度、位置置信度和距离置信度,输入到下述加权公式,得到每个车位入口角点的综合置信度:
128.totalconf=αc
corner
+βc
img
+γc
dist
129.其中c
corner
为角点置信度,c
img
为位置置信度,c
dist
为距离置信度,α、β、γ为权重系数。各权重系数的取值需考虑的因素包括摄像头的安装位置、单帧环视图像的拼接质量等。
130.在一个优选实施例中,角点图更新单元441具体用于:
131.在检测到的某个车位入口角点在之前帧已经被检测过的情况下,将该车位入口角点的新计算出的综合置信度与其当前的综合置信度进行比较,若新计算出的综合置信度大于当前的综合置信度,则将世界坐标系中的该车位入口角点的坐标更新为新坐标;
132.在首次检测到某个车位入口角点的情况下,将首次检测到的车位入口角点在世界坐标系内的坐标直接更新至世界角点图中。
133.本发明的车位匹配装置两个实施例中的各个单元模块实现过程,具体可以参见方法实施例的对应步骤,在此不再赘述。
134.与前述的车位匹配方法同属于一个技术构思,本发明还提供了一种电子设备实施例。参见图5,本发明提供的电子设备500实施例包括:存储器510和处理器520,其中,存储器510可能是内存,例如高速随机存取存储器(random-access memory,ram),也可能是非易失
性存储器(non-volatile memory),例如至少一个磁盘存储器等。存储器510中存储有计算机程序,该计算机程序由处理器520加载并执行,以实现前述的车位匹配方法实施例的步骤。
135.在硬件层面上,该电子设备500还可以选择性的包括有业务所需要的显示面板530、接口模块540、通信模块550等硬件。存储器510、处理器520以及显示面板530、接口模块540、通信模块550等可以通过内部总线相互连接,该内部总线可以是isa(industry standard architecture,工业标准体系结构)总线、pci(peripheral component interconnect,外设部件互连标准)总线或eisa(extended industry standard architecture,扩展工业标准结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图5中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
136.本发明还提出了一种计算机可读存储介质实施例,该计算机可读存储介质存储一个或多个计算机程序,该一个或多个计算机程序被处理器执行时实现前述的车位匹配方法实施例的步骤,并具体用于执行:
137.获取同一时刻的车辆在世界坐标系中的当前坐标和航向角信息以及所述车辆的单帧环视图像;
138.对所述单帧环视图像进行车位入口角点检测,得到每个车位入口角点的综合置信度和每个车位入口角点在所述单帧环视图像上的图片坐标;其中,所述综合置信度根据角点置信度、位置置信度和所述车位入口角点距离车辆的距离置信度三个方面的置信度信息得到;
139.根据所述车辆的当前坐标和航向角信息以及每个车位入口角点的综合置信度,将所述每个车位入口角点的所述图片坐标映射到所述世界坐标系中得到世界角点图;
140.根据所述世界角点图中的车位入口角点的坐标匹配出车位。
141.本领域内的技术人员应明白,本发明各实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个包含有计算机程序的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
142.这些计算机程序也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
143.这些计算机程序也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
144.在一个典型的配置中,计算机设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flash ram)。内存是计算机可读存储介质的示例。
145.计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读存储介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
146.还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
147.以上仅为本发明的实施例而已,并不用于限制本发明。对于本领域技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本发明的权利要求范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1