自动泊车建图与定位的系统及其方法与流程

1.本发明涉及自动驾驶技术领域，具体涉及一种自动泊车建图与定位的方法。


背景技术：

2.随着车载人工智能开发，对于自动驾驶车辆于自动泊车的功能需求增加，特别是特定停车场域的自动泊车技术。自动泊车最重要的即是定位与建立停车场域的地图。室外场域通常通过全球卫星定位系统(gps)来实现定位，而相对的精度不佳，至于室内停车场域则受到建筑物遮蔽gps信息无法实现定位。因此同步定位与地图建立(simultaneous localization and mapping)技术便使用在以视觉辨识的方式实现车辆定位及建置停车场域地图。一般的作法是自动驾驶车辆利用单个单目摄像头，在车辆行驶在停车场域的路径上，通过计算机视觉(computer vision)创建一个与真实环境相匹配的点云地图，在进行后续自动泊车功能时，可通过地图的建立，来确定车辆自身在地图中的位置，然而这样的地图对于车辆在实际定位位姿时，往往产生辨识不佳的结果，特别是对于停车场域无特定结构或是场景变异度较低的状况。


技术实现要素：

3.为解决上述技术问题而提供了一种自动泊车建图与定位的系统及其方法。
4.本发明的目的可以通过以下的技术方案来实现：
5.一种自动泊车建图与定位的系统，包括：
6.影像信息接收模块，接收来自至少两个单目摄影机拍摄车辆周围环境的连续影像信息，
7.车辆信息总成接口，接收来自车辆的行车数据信息，
8.处理单元在所述车辆周围环境的连续影像信息的每一帧内产生具有深度信息的特征点，并匹配所述特征点与所述车辆的行车数据信息后，构建三维点云地图，
9.储存模块，储存所述三维点云地图，
10.其中，车辆重新定位时，所述处理单元可根据所述影像信息接收模块接收所述至少两个单目摄影机实时拍摄的车辆周围环境的实时影像信息，并用以比对所述已储存的三维点云地图来确定所述至少两个单目摄影机的定位位姿。
11.所述车辆周围环境的连续影像信息至少包括车辆前方及车辆后方影像信息。
12.所述车辆周围环境的连续影像信息至少包括车辆前方影像信息、车辆后方影像信息、车辆左右两侧的影像信息。
13.所述处理单元具有语意运算，可去除所述三维点云地图中的动态特征点。
14.所述车辆左右两侧的影像信息与所述车辆前方影像信息及所述车辆后方影像信息有影像重叠区。
15.以及，
16.一种自动泊车建图与定位的方法，包括：
17.接收来自至少两个单目摄影机拍摄车辆周围环境的连续影像信息，
18.接收来自车辆的行车数据信息，
19.在所述车辆周围环境的连续影像信息的每一帧内产生具有深度信息的特征点，并匹配所述特征点与所述车辆的行车数据信息后后，构建三维点云地图，
20.储存所述构建的三维点云地图，
21.其中，车辆重新定位时，根据所述影像信息接收模块接收所述至少两个单目摄影机实时拍摄的车辆周围环境的实时影像信息，并用以比对所述已储存的三维点云地图来确定所述至少两个单目摄影机的定位位姿。
22.所述车辆周围环境的连续影像信息至少包括车辆前方及车辆后方影像信息。
23.所述车辆周围环境的连续影像信息至少包括车辆前方影像信息、车辆后方影像信息、车辆左右两侧的影像信息。
24.还包括语意运算，可去除所述三维点云地图中的动态特征点。
25.所述车辆左右两侧的影像信息与所述车辆前方影像信息及所述车辆后方影像信息有影像重叠区。
26.本发明具有以下优点：
27.1、在自动泊车建立停车场域地图时，由于本发明的系统接收来自至少两个单目摄影机拍摄车辆周围环境的连续影像信息，可以涵盖所有车辆周围环境的视野，亦即构成一个全景的视野，提高在建构停车场域的三维点云地图的完整度，同时，为了达到更精确的停车场域的三维点云地图，本发明可经由语意运算去除所述三维点云地图中的动态特征点。
28.2、由于本发明装载于车辆前方、车辆后方及车辆左右两侧的单目摄像头，经由前后影像帧的取代方式，可减少镜头造成影像边缘的失真情形，提高在建构停车场域的三维点云地图的完整度与准确性。
29.3、在自动泊车的定位时，如面对重复性较高的停车场域，或是车辆行进的角度有偏移时，由于这些单目摄像头实时拍摄的影像信息的不同，可快速找到这些单目摄像头对应于停车场域的三维点云地图定位位姿，进而得到车辆定位位姿。
附图说明
30.图1是本发明的一种自动泊车建图与定位的系统的结构示意图；
31.图2是本发明的一种自动泊车建图与定位的方法流程图；
32.图3是本发明的第一实施方式的单目摄影机设置于车辆的示意图；
33.图4是本发明的第二实施方式的单目摄影机设置于车辆的示意图。
具体实施方式
34.为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，
本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
35.在本发明的描述中，需要理解的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或组件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
36.在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
37.在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个组件内部的连通或两个组件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
38.下面结合附图与具体实施方式对本发明作进一步详细描述：
39.请参考图1，本发明公开了一种自动泊车建图与定位的系统100包括影像信息接收模块101、车辆信息总成接口102、处理单元103与储存模块104。
40.影像信息接收模块101用来接收连续影像信息，并具有图像处理单元(isp,image signal processor)，可处理如镜头矫正、像素矫正、颜色插值、bayer噪声去除、白平衡矫正、色彩矫正、gamma矫正、色彩空间转换等功能。影像信息接收模块101一般可具有lvds(low voltage differential signaling，低电压差分信号)或mipi csi传输接口(未标示)。本发明中，连续影像信息来自至少两个设置于车辆车辆上的单目摄像头，而单目摄像头通常安装在车辆的外侧，避免受到车辆本身的视野遮蔽，其主是用来拍摄车辆周围环境的连续影像信息，为了能获取较好的影像质量，影像信息可以为lvds格式信息。
41.车辆信息总成接口102连接车辆can总线，接收来自车辆的行车数据信息。车辆的行车数据信息包括例如包括车速、引擎转速、转向角、加速度、档位等，甚至可以包括来自装载于车辆的惯性测量单元(inertial measurement unit)以及轮速计、gps等有关可以测量车辆移动距离的感测信息。
42.处理单元103为本发明的主要的运算单元，通常处理单元103的处理器是dsp(digital signal processor，数字信号处理器)。dsp适合用来进行各种乘加运算(sop：sum of products)，例如：有限脉冲响应滤波运算(fir：finite impulse response)、无限脉冲响应滤波运算(iir：infinite impulse response)、离散傅立叶变换(dft：discrete fourier transform)、离散余弦转换(dct：discrete cosine transform)、点积运算(dot product)、卷积运算(convolution)，以及矩阵多项式的求值运算等。处理单元103连接影像信息接收模块101，运算自影像信息接收模块101转换后的影像信息，处理单元103同时与车辆信息总成接口102连接，接收来自车辆的行车数据信息，因此根据车辆周围环境的连续影像信息及行车数据信息，可以在自动泊车建图功能开启时，开始构建三维点云地图，并于车辆重新定位时，比对三维点云地图，来得到至少两个单目摄影机的定位位姿。
43.储存模块104主要功能是储存影像信息或/及各式行车数据信息，以及储存三维点云地图。储存模块105可以是内建的集成电路的存储器，也可以是外接式的存储装置，如ssd或sd卡。同时，储存模块104与处理单元103连接，可根据处理单元103产生的信息进行数据
的储存。
44.请一并参考图1、图2及图3为根据本发明的一种自动泊车建图与定位的系统100运作的实施方式。本发明的自动泊车建图与定位的系统100安装于车辆上，并进行以下的步骤:
45.步骤s01，接收来自至少两个单目摄影机拍摄车辆周围环境的连续影像信息及接收来自车辆的行车数据信息。用户在车辆上开启自动泊车功能时，必须先进行第一次建图模式，因此在开启自动泊车功能后，用户必须自行驾驶至停车场域内的停车格(通常有画设车网格线)或特定停车空间中，在用户自行驾驶的过程中，本发明中的系统100便通过影像信息接收模块101来接收装设在车辆前方及车辆后方(如图3)的至少两个单目摄像头拍摄车辆周围环境的连续影像信息，这些连续影像信息涉及到单目摄像头的内外参数，因此必须校正。在本实施例中，单目摄像头具有广视角或是鱼眼镜头，使得这些装设于车辆前方及后方的单目摄像头所拍摄的连续影像信息，可以涵盖所有车辆周围环境的视野，亦即构成一个全景的视野。而这些单目摄像头必须有较好的焦距，对于距离20米以内的拍摄显得清晰，让用户在自行驾驶的过程中，能完整收集停车场域的场景影像，以利车辆在行驶至特定停车格或是停车空间的路径上，在车辆周围环境的影像信息的每一帧均有对应完整的三维点云地图。同时间，车辆信息总成接口102连接车辆can总线，接收来自车辆的行车数据信息。而这些车辆的行车数据信息主要是测量车辆移动距离及速度的感测信息，以作为匹配车辆周围环境的连续影像信息的实际距离信息。
46.步骤s02，在车辆周围环境的连续影像信息的每一帧内产生具有深度信息的特征点。主要是由处理单元103对连续影像信息进行特征点的提取，而本发明采取的特征点运算是以模型基底(model-based)来取代计算机视觉(computer vision)的方式进行，主要针对影像信息的每一帧中，特别具有停车场域内常见的柱子、墙壁、路标、符号等(但不限于上述)的点、边角、纹路等特征，估算各特征点的描述子(descriptor)，随着车辆的移动，根据将前后帧特征点的描述子做一对一的特征点的配对，并计算配对后特征点在立体坐标上的投影变化，最后得到连续影像信息的每一帧内具有深度信息的特征点。
47.步骤s03，匹配所述特征点与所述车辆的行车数据信息。由于影像信息是连续帧数构成的记录，影像的前后帧反应的是时间差，而在s02步骤中，即使处理单元103对连续影像信息的每一帧产生具有深度信息的特征点，但会与实际车辆行驶的距离间存在一定的差异，因此本实施例中，处理单元103根据步骤s01中，通过车辆信息总成接口102接收来自车辆的行车数据信息，特别是惯性测量单元(inertial measurement unit)以及轮速计等有关可以测量车辆移动距离的感测信息，当影像的前后帧对应的车辆移动距离已知时，便可以三角测量原理匹配所述特征点与所述车辆的行车信息后，得到实际特征点的深度信息。此外，针对影像中所有特征点的标记，处理单元103具有语意运算，可去除所述三维点云地图中的动态特征点，其目的是对用户第一次建图而言，停车场域可能包括多数动态物体，如停放好的车辆、行人、可移动的消防设备等，若这些动态物体于建图时被视为特征点而成为三维点云地图的一部分，则会在后续用户开启自动泊车时，随着动态物体位置的改变或移动，造成自动泊车功能定位上的失效。因此，通过处理单元103的语意运算，其做法可在所述影像信息的每一帧根据语意运算所框选处的区域内的动态特征点予以删除，即不储存这些具有动态特征点的信息于三维点云地图中，而在用户下一次执行自动泊车功能时，通过本
系统可以再次将这些已删除的动态特征点在三维点云地图的区域，根据当时拍摄到的影像信息所产生的新的特征点，适度地更新这些原来在三维点云地图中不具有特征点的区域，因此提高停车场域地图的精度。
48.步骤s04，储存三维点云地图。此步骤即针对已经建立好的三维点云地图将储存于储存模块104中，而储存的信息可以包括各个单目摄像头拍摄的连续影像信息，也包括这些单目摄像头对应于三维点云地图的相对坐标。甚至储存模块104可以储存用户于不同停车场域建立的三维点云地图，或是同一停车场域不同时间的三维点云地图，更进一步地，可以储存各停车场域经语意运算动态特征点后的建图完整度指数，以及来自车辆的gps信息、惯性测量单元信息等。这些储存于储存模块104的信息，将可以被读取、重新写入或是通过网络传输至云服务器以作为优化地图、信息交换的用途。
49.步骤s05，比对单目摄影机实时拍摄的车辆周围环境的实时影像信息及已储存的三维点云地图来确定所述至少两个单目摄影机的定位位姿。当用户于步骤s04完成建立并储存三维点云地图，于再次启动自动泊车功能且车辆重新定位时，处理单元103读取储存单元104内已经储存的三维点云地图，并同时接收这些单目摄像头(本实施例中是设置于车辆前方及车辆后方的至少两个单目摄像头)实时拍摄的车辆周围环境的实时影像信息，经计算这些实时影像信息的特征点，且同时比对已储存的三维点云地图后，便可快速取得这些至少两个单目摄影机的定位位姿，而进而得到车辆在三维点云地图的坐标位置，达到快速定位。
50.由于本实施方式的至少两个装载于车辆前方及后方的单目摄像头可以涵盖所有车辆周围环境的视野，亦即构成一个全景的视野，提高在建构停车场域的三维点云地图的完整度，此外，在车辆重新定位时，这些单目摄像头实时拍摄的影像信息的不同，可快速找到这些单目摄像头对应于停车场域的三维点云地图定位位姿，进而得到车辆定位位姿。
51.请参考图4为根据本发明的一种自动泊车建图与定位的系统100运作的第二实施方式。本实施方式的自动泊车建图与定位的系统100及操作方法与第一实施方式并无差异，但本实施方式中影像信息接收模块101，接收来车辆前方影像信息、车辆后方影像信息、车辆左右两侧的影像信息，亦即单目摄像头安装于车辆的前方、后方、左右两侧，用以拍摄车辆周围环境的连续影像信息，构成一个全景的视野。由于单目摄像头的视角较广，除了相对影像的深度信息的可信度会降低，而单目摄像头所搭载的镜头，在影像靠近成像边缘会容易造成失真(distortion)，而失真的影像信息在构建停车场域的全景视野的三维点云地图时，特别是影像前后帧的特征点匹配时(步骤s03)，会造成匹配不佳，甚至对于同一物体上的特征点的匹配异常，因此本实施方式除了接收来车辆前方影像信息及车辆后方影像信息，更同时接收来自车辆左右两侧的影像信息，而这些车辆左右两侧的影像信息与车辆前方影像信息及车辆后方影像信息有影像重叠区。由于这些来自这些单目摄像头拍摄的影像信息是同步且实时的影像，在影像重叠区的部分，除了确定全景视野的三维点云地图可以被这些单目摄像头的视野完全涵盖之外，对于这些影像重叠区，处理单元103给予标记而不计算影像信息的特征点，随着车辆移动位姿的改变，这些重叠且可能失真较高的影像信息，会被后续的车辆左右两侧的影像信息给取代，取代后的影像信息就可以减少因车辆前方及车辆后方的单目摄像头中的镜头造成的影像边缘的失真现象，大幅改善对于三维点云地图的准确性。
52.同样地，由于本实施方式的装载于车辆前方、车辆后方及车辆左右两侧的单目摄像头可以涵盖所有车辆周围环境的视野，亦即构成一个全景的视野，并可减少影像的失真，提高在建构停车场域的三维点云地图的完整度与准确性，此外，在车辆重新定位时，这些单目摄像头实时拍摄的影像信息的不同，可快速找到这些单目摄像头对应于停车场域的三维点云地图定位位姿，进而得到车辆定位位姿。
53.对于使用自动泊车功能的用户来说，由于本发明至少包括两个单目摄像头，在自动泊车的定位时，如面对重复性较高的停车场域，或是车辆行进的角度有偏移时，由于这些单目摄像头实时拍摄的实时影像信息的不同，可快速找到这些单目摄像头对应于停车场域的三维点云地图定位位姿，进而得到车辆定位位姿。为了达到更精确的停车场域的三维点云地图，本发明可经由语意运算去除所述三维点云地图中的动态特征点，因此，通过重复进行前述s01至s04的步骤可使停车场域的精度达到优化为止。
54.以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内，当可利用上述揭示的方法及技术内容作出些许的更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。