利用面结构光的泊车系统及其操作方法与流程

1.本发明一般涉及智能驾驶领域，并且更具体地涉及用于利用面结构光的泊车系统及其操作方法。


背景技术：

2.现阶段，随着智能驾驶的发展，各种自动泊车系统应运而生。现有的泊车系统通常仅基于二维图像，无法识别地面凹陷、凸起或悬空障碍物等复杂且测量难度大的三维形貌信息，使得各种障碍物在自动泊车过程中有可能被忽略，在泊车过程中对车体或障碍物造成伤害。同时，由于车辆周围环境的复杂、时间空间有限、行车速度等因素使得在泊车过程中无法快速确定避障路线，效率和精度不高从而限制了自动泊车系统的应用。
3.因此，本领域亟需一种提高了对障碍物的识别能力、识别精度且能够快速实现识别的泊车系统。


技术实现要素：

4.以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在标识出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以作为稍后给出的更加详细的描述之序。
5.为了解决上述问题，本方面提出了一种用于利用面结构光的泊车系统及其操作方法。
6.在一个方面，提供了一种利用面结构光的泊车系统，所述泊车系统包括：第一照明模块，其用于投射面结构光；成像模块，所述成像模块与所述第一照明模块的红外光的光谱以及环境光的可见光的光谱相匹配，其用于至少部分地基于所述可见光来生成地形的二维图像并且至少部分地基于所述面结构光来生成所述地形的三维图像；以及控制模块，其用于：融合所述二维图像和所述三维图像以构建所述地形的三维形貌信息图；以及至少部分地基于所述三维形貌信息图来生成避障路线以供所述泊车系统在自动泊车时使用。
7.优选地，所述成像模块生成所述三维图像包括：利用所述面结构光对所述地形以及所述地形上的凸起、凹陷或悬空的障碍物进行三维扫描以获得所述障碍物的深度信息；以及至少部分地基于扫描结果来生成所述三维图像。
8.优选地，所述控制模块生成所述避障路线包括：在所述三维形貌信息图中检测到所述障碍物的参数超过阈值时，生成要绕过所述障碍物或触发警报的指令。
9.优选地，所述控制模块至少部分地基于所述三维形貌信息图以及车辆的移动速率和移动方向来更新所生成的避障路线，所述车辆的移动速率和移动方向至少部分地基于所述二维图像中不同帧的相对关系来确定。
10.优选地，其特征在于，所述泊车系统的用户接口设备上呈现以下至少一者：所述三维形貌信息图、对所述三维形貌信息图的更新、所述避障路线、或对所述避障路线的更新。
11.优选地，所述面结构光利用led结构光或者vcsel结构光中的至少一者，并且其中所述面结构光是网格结构光、线条结构光、点阵结构光或编码结构光中的至少一者。
12.优选地，所述泊车系统进一步包括第二照明模块，其用于投射可见光；以及至少一个运动传感器，其用于在车辆的运动过程中检测车辆的移动速率和移动方向。
13.在另一个方面，还提供了一种利用面结构光进行自动泊车的操作方法，所述操作方法包括：投射面结构光；至少部分地基于环境中的可见光来生成地形的二维图像并且至少部分地基于所述面结构光来生成所述地形的三维图像；融合所述二维图像和所述三维图像以构建所述地形的三维形貌信息图；以及至少部分地基于所述三维形貌信息图来生成避障路线以供泊车系统在自动泊车时使用。
14.优选地，生成所述三维图像包括：利用所述面结构光对所述地形以及所述地形上的凸起、凹陷或悬空的障碍物进行三维扫描以获得所述障碍物的深度信息；以及至少部分地基于扫描结果来生成所述三维图像。
15.优选地，生成所述避障路线包括：在所述三维形貌信息图中检测到所述障碍物的参数超过阈值时，生成要绕过所述障碍物或触发警报的指令。
16.优选地，所述方法包括至少部分地基于所述三维形貌信息图以及车辆的移动速率和移动方向来更新所生成的三维形貌信息图和避障路线，所述车辆的移动速率和移动方向至少部分地基于所述二维图像中不同帧的相对关系来确定。
17.在又一个方面，还提供了一种电子设备，包括处理器和存储器，所述存储器存储有程序指令；所述处理器运行程序指令实现如前述方法所述的用于利用面结构光进行自动泊车的操作方法。
18.在又另一方面，提供了一种用于执行前述方法所述的用于利用面结构光进行自动泊车的中任一项的方法的装置。
19.在又另一方面，提供了一种存储指令的非瞬态计算机可读存储介质，所述指令当被计算机执行时，使所述计算机执行前述方法所述的用于利用面结构光进行自动泊车的中任一项的方法。
20.提供本发明内容是为了以简化的形式来介绍一些概念，这些概念将在下面的具体实施方式中进一步描述。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。各实施例的其他方面、特征和/或优点将部分地在下面的描述中阐述，并且将部分地从描述中显而易见，或者可以通过本公开的实践来学习。
附图说明
21.为了能详细地理解本发明的上述特征所用的方式，可以参照各实施例来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而应该注意，附图仅示出了本发明的某些典型方面，故不应被认为限定其范围，因为该描述可以允许有其它等同有效的方面。在附图中，类似附图标记始终作类似的标识。要注意，所描述的附图只是示意性的并且是非限制性的。在附图中，一些部件的尺寸可放大并且出于解说性的目的不按比例绘制。
22.图1解说了根据本发明的一实施例的泊车系统的示例的示图。
23.图2解说了根据本发明的一实施例的用于利用面结构光的泊车系统的过程流的示例的示图。
24.图3解说了根据本发明的一实施例的支持利用面结构光的设备的框图的示图。
25.图4解说了根据本发明的一实施例的用于利用面结构光进行泊车的操作方法的示例的示图。
26.图5解说了根据本发明的一实施例的用于利用面结构光进行泊车的装置的示例的示图。
具体实施方式
27.为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。在以下详细描述中，阐述了许多具体细节以提供对所描述的示例性实施例的透彻理解。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节中的一些或全部的情况下实践所描述的实施例。在其他示例性实施例中，没有详细描述公知的结构或处理步骤，以避免不必要地模糊本公开的概念。
28.在本说明书中，除非另有说明，否则通过本说明书使用的术语“a或b”指的是“a和b”和“a或b”，而不是指a和b是排他性的。
29.图1解说了根据本发明的一实施例的泊车系统的示例的示图。该示例车辆100能够与其他车辆和/或实体进行通信。
30.如图所示，在示例性地描绘的车辆100中，可装载有泊车系统。该泊车系统可以是可操作用于使得车辆100能够自主地泊车的系统，其可以是独立的系统，诸如可以是与车辆100分开的系统，也可以是与车载计算机、处理器等相结合的系统。其可被车辆100或任何其他系统或设备利用和/或集成到其中以与车辆进行无线通信，如先前所描述的。当被车辆100利用时，泊车系统可以包括或被集成到车辆计算机系统中，该车辆计算机系统被用于管理与车辆的导航和/或自动驾驶有关的一个或多个系统，以及与其他板载系统和/或其他交通实体进行通信。在本技术的实施例中，泊车系统可包括车辆100的自立设备或组件，其可与车辆100的其他组件/设备通信地耦合。
31.在本技术的实施例中，该泊车系统可包括：用于投射面结构光的第一照明模块。附加地，还可包括用于投射可见光的第二照明模块。例如，第一照明模块所投射的面结构光可以利用发光二极管(led)结构光和/或利用垂直腔面发射激光器(vcsel)结构光。在本技术的实施例中，第一照明模块所投射的面结构光可以具有例如940nm波长。在本技术的实施例中，第一照明模块所投射的红外面结构光可以是网格结构光、线条结构光、点阵结构光或编码结构光。如图所示，一般地，上述照明模块被安装在车辆的后备箱、舱口或后保险杠上。应理解，图中所描绘的照明模块的位置仅为了示例性地解说本技术的技术方案，而非旨在进行限定。
32.在本技术的实施例中，附加地或替换地，该泊车系统可进一步包括至少一个运动传感器，其用于在车辆的运动过程中检测车辆100的移动速率和移动方向。例如，运动传感器可被用于确定车辆的某些实时特性，诸如位置、速度、加速度等。在本技术的实施例中，可以将与车辆正在以5千米/小时(km/h)的移动速度在东偏南5度方向上后退等与车辆移动有关的实时测得的参数发送给车辆的处理器以供后续确定车辆位置和障碍物参数(诸如尺
寸、高度、障碍物材质等)时使用。应理解，该运动传感器可包括但不限于一个或多个惯性传感器和/或其它传感器(例如，加速度计、陀螺仪、相机、摄像机、磁力计、高度计、话筒、邻近度传感器、光传感器、气压计等)。车辆100还可具有用于检测对象并且测量到那些对象的距离的激光雷达(lidar)。该lidar通常安装在车顶，然而，如果存在多个lidar单元，则它们可能绕车辆的前部、后部和侧面取向。车辆100可具有其他各种位置相关的系统，各种无线通信接口(诸如wan、wlan、v2x)、radar(通常在前保险杠中)和sonar(通常位于车辆的两侧，若存在)。还可存在各种车轮传感器和传动系传感器，诸如轮胎压力传感器、加速度计、陀螺仪和车轮旋转检测和/或计数器。在一实施例中，经由各种传感器(诸如lidar、radar、相机、gnss和sonar)确定的距离测量和相对位置可以与汽车大小和形状信息以及关于传感器位置的信息相结合，以确定不同车辆的表面之间的距离和相对位置，以使得从传感器到另一车辆或两个不同传感器之间的距离或向量递增式地增大以计及传感器在每个车辆上的定位。应理解，上述描述旨在提供包括泊车系统100的车辆的实施例中各种传感器的示例，而并非用于限定。
33.在本技术的实施例中，该泊车系统可进一步包括成像模块(诸如相机、运动相机、摄像机、摄像头等)，成像模块分别与第一照明模块所投射的面结构光和环境光的中的可见光的光谱相匹配。例如，在一方面，成像模块可以至少部分地基于环境光中的可见光和/或第二照明模块所投射的可见光来生成地形的二维图像。在本技术的实施例中，成像模块可以基于所生成的地形的二维图像，标识二维图像的坐标原点，例如，可以将图像中亮度最高的点、成像质量最高的点、距离车辆某一指定距离的点、车辆与障碍物的最近点、或者车辆与障碍物连线的中点、相机感光成像元件(光电传感器)的中心像素、图像右上等某个固定像素等等标识为坐标原点。应理解，标识二维图像的坐标原点可以包括：将图像中各个像素点的亮度进行比较，并且随后将亮度最高的点标识为坐标原点以改善成像的精度。附加地或替换地，标识二维图像的坐标原点可以包括：将图像中相机感光成像元件(光电传感器)的中心像素点标识为坐标原点以减少图像处理成本。如所解说的和先前所讨论的，车辆100可以具有安装在后视镜上的相机、安装在前翼子板上的相机、安装在侧视镜上的相机以及后置相机。
34.在另一方面，成像模块至少部分地基于第一照明模块所投射的面结构光来生成地形以及障碍物的三维图像。在本技术的实施例中，成像模块生成三维图像包括：在车辆100的移动方向上，利用所投射的结构光对地形以及地形上的障碍物进行三维扫描以获得该障碍物的深度信息，从而确定该障碍物的三维参数数据(包括深度信息)以及拟合(例如，重构)出该障碍物的三维模型。例如，可以基于三维参数数据将障碍物区分为凸起、凹陷或悬空的障碍物。对于在地面上凸起的物体而言，三维参数数据可包括该物体的高度、宽度、长度等，或者对于在地面上凹陷的物体而言，三维参数数据可包括该物体的深度、宽度、长度等，或者对于在地面上悬空的物体而言，三维参数数据可包括该物体的高度、宽度、长度、距离水平面的高度等等。从而可以基于包括三维参数数据在内的扫描结果生成(例如，拟合出)该障碍物的三维模型图像。
35.在本技术的实施例中，该泊车系统可进一步包括控制模块，其用于融合上述二维图像和上述三维图像以构建地形的三维形貌信息图。例如，可以测量该三维障碍物在三维空间中与坐标原点的距离，并且将三维障碍物置于二维图像中，从而融合二维图像和三维
图像以构建地形的三维形貌信息。基于可见光和结构光对生成的图像进行融合处理，可见光成像的分辨率高，补偿结构光分辨率低的情况；结构光提供三维信息，补偿可见光只有二维信息的情况，提高了对障碍物的识别能力、识别精度、识别速度。融合过程可以包括例如，经过计算/处理器处理以使得相机红外像素成像和rgb像素成像视场范围一致并且像素坐标一一对应，其中rgb像素坐标e：(xa,yb)对应红外像素坐标f：(xp,yq)，经过结构光处理可以输出f点的深度zc，通过对应关系与rgb像素形成的平面二维信息叠加形成数据矩阵：(xa,yb,zc)，随后赋予平面二维信息以三维信息，从而提供系统对障碍物的识别依据，构建具有深度信息的三维形貌信息。
36.进一步地，该泊车系统可以至少部分地基于该三维形貌信息图来生成避障路线以供泊车系统在自动泊车时使用。在本技术的实施例中，控制模块生成避障路线可包括：在三维形貌信息图中检测到障碍物的参数超过阈值时，确定要绕过该障碍物并且生成相应的指令。优选地，可以根据三维参数数据在包括常见障碍物的数据库中进行查找和匹配，或者使用经训练的神经网络进行识别，从而确定形成障碍物的类型，诸如石块、交通锥、坑洞等等。在本技术的实施例中，在障碍物类型识别方面，可以根据泊车环境常见物体的特征或形状特点，通过标注障碍物的类型经过提取有效的特征进行训练，从而识别障碍物类型，帮助车辆上的处理系统更好的决策是否可以通过该障碍物。类似地，例如，停车场上的地锁、挡轮器，可以通过其特有特征轮廓来确认车辆车身可以压过此类障碍物，而凹凸特征不明显的石块或地面不影响泊车，可以确定车辆可以压过此类障碍物，带有明显边缘特征的立体对象，比如盒子、三角警示牌，可以通过二维图像和结构光数据明显探测出来，而确定要绕过此类障碍物并且生成相应的指令。优选地，泊车系统可以在检测到行车路线上的障碍物例如交通锥高度为30厘米(cm)，并且系统所设置的高度阈值为10cm时，将车辆路线设计成绕过该障碍物行进。优选地，泊车系统可以在检测到行车路线上的障碍物例如坑洞深度为3cm，并且系统所设置的深度阈值为5cm时，将车辆路线设计成不需要对坑洞进行避让。优选地，当识别出障碍物为停车场上的地锁、挡轮器等等时，可以与该障碍物或管理该障碍物的路侧单元等通信并且发送指令使得该障碍物改变形态(例如，使得地锁下降)。优选地，控制模块还可以在检测到障碍物的参数超过阈值时生成触发警报的指令。例如，在测得的车辆与障碍物之间的邻近度小于指定的距离(例如，当邻近度小于等于30cm)时，可触发警报从而提醒驾驶员。替换地，还可以向控制车辆的装置发出指令以阻止车辆继续在行驶方向上行进、向相反方向行进、控制车速、左转右转等操作等等。
37.传统二维的图像感知基于地平面假设进行障碍物的距离判断，缺少深度信息，依赖于二维成像的特征，精度低，对图像传感器要求高，易受环境亮度、图像内复杂度等的影响，出现判断偏差。若障碍物悬空，仅基于障碍物的高度来确定距离，会导致距离判断会偏远，车辆车身容易碰撞到障碍物。相比较而言，可以基于障碍物(例如，底部)距离水平面的第二高度与阈值的比较来确定距离，从而避免发生碰撞。室内的泊车场景环境复杂，容易出现悬空障碍物(例如，悬空的广告牌等)。通过结构光算法识别悬空、凸起、凹陷的障碍物，可以有效的减少碰撞的几率。
38.在本技术的实施例中，泊车系统可以基于所生成避障路线，向控制车辆的装置发出指令以执行自动泊车操作。自动泊车操作可以由控制车辆的装置结合车辆引擎、电门等动力装置来执行，在此不进行赘述。
39.在本技术的实施例中，控制模块可至少部分地基于三维形貌信息图以及车辆的移动速率和移动方向来更新所生成的避障路线。在本技术的实施例中，车辆的移动速率和移动方向可以至少部分地基于二维图像中不同帧的相对关系来确定。附加地或替换地，车辆的移动速率和移动方向可以由运动传感器测量并且传送给车载系统中的处理器。例如，随着车辆的行进速度和方向的变化，对三维形貌信息图不停地进行修正，并且避障路线也随之变化。应理解，可控制车辆相应地执行自动泊车。
40.在本技术的实施例中，可以泊车系统的用户接口设备上呈现以下至少一者：三维形貌信息图、对三维形貌信息图的更新、避障路线、或对避障路线的更新。例如，车辆可以包括一个或多个输入设备，其可包括与用户接口有关的设备(例如，触摸屏、触摸板、话筒、按键、拨号盘，开关等等)和/或与导航、自动驾驶有关的设备、等等。类似地，一个或多个输出设备可涉及与用户进行交互(例如，经由显示器、发光二极管(led)、扬声器等)和/或与导航、自动驾驶有关的设备、等等。可以在车载显示器上实时地显示三维形貌信息图、对三维形貌信息图的更新、避障路线、或对避障路线的更新。例如，控制模块还可以生成两条或更多条避障路线在用户接口设备上显示以供车辆上的用户选择。
41.图2解说了根据本发明的一实施例的用于利用面结构光的泊车系统的过程流的示例的示图。
42.如图所示，在210处的面结构光照明可是由图1中所描述的第一照明模块来执行，其可以提供红外面结构光照明。在220处，地形上的目标障碍物将反射面结构光，使得面结构光的线条或点阵发生变形，从而根据变形的状况可以计算出障碍物(凸起、凹陷或者悬空障碍物)的尺寸参数。进一步地，所反射的结构光在230处由成像系统的相机红外像素接收到，并且转换成相应的三维障碍物数据。
43.类似地，在240处的环境光照明可以是周围的环境光(例如，白天环境或有强路灯的环境)也可以由图1中所描述的第二照明模块来提供可见光照明(例如，夜晚环境或地下室环境)。在250处，地面以及周边环境中的物体(包括障碍物)将会反射可见光。进一步地，所反射的可见光在260处由成像系统的相机rgb像素接收到，并且转换成相应的二维地形地貌数据。进一步地，还可以至少部分地基于二维图像中不同帧的相对关系来确定车辆的移动速率和移动方向。
44.在270处，与三维障碍物数据和二维地形地貌数据相关联的图像可以被成像系统融合，从而构建细化的三维形貌信息图。例如，可以经过计算/处理器处理以使得相机红外像素成像和rgb像素成像视场范围一致并且像素坐标一一对应，其中rgb像素坐标e：(xa,yb)对应红外像素坐标f：(xp,yq)，经过结构光处理可以输出f点的深度zc，通过对应关系与rgb像素形成的平面二维信息叠加形成数据矩阵：(xa,yb,zc)，随后赋予平面二维信息以三维信息，从而提供系统对障碍物的识别依据，构建具有深度信息的三维形貌信息。
45.应注意，图2仅旨在提供利用面结构光的泊车系统的过程流的一般化解说，可恰适地利用其中任何或全部步骤。
46.图3是根据本发明的一实施例的支持利用面结构光的设备300的实施例的框图。应注意，图3仅旨在提供各种组件的一般化解说，可恰适地利用其中任何或全部组件。可以注意，在一些实例中，由图3所解说的组件可被局部化成单个物理设备和/或分布在各种联网设备之间，例如，其可以位于车辆100或其他实体上的不同物理位置。
47.设备300被示为包括可经由总线305电耦合(或者可以恰适地以其他方式处于通信)的硬件元件。硬件元件可以包括(诸)处理单元310，其可以包括但不限于一个或多个通用处理器、一个或多个专用处理器(诸如数字信号处理(dsp)芯片、图形加速处理器、专用集成电路(asic)等等)、和/或其它处理结构或装置。
48.设备300还可包括一个或多个输入设备370，其可包括与用户接口有关的设备(例如，触摸屏、触摸板、话筒、按键、拨号盘，开关等等)和/或与导航、自动驾驶有关的设备、等等。类似地，一个或多个输出设备315可涉及与用户进行交互(例如，经由显示器、发光二极管(led)、扬声器等)和/或与导航、自动驾驶有关的设备、等等。
49.设备300还可包括无线通信接口330，该无线通信接口330可包括但不限于调制解调器、网卡、红外通信设备、无线通信设备和/或芯片组(诸如设备、wifi设备、wimax设备、wan设备和/或各种蜂窝设备等)等等。无线通信接口330可以使设备300能够与其他设备进行通信。这可以包括先前描述的实施例的各种形式的通信。并且如此，它可以能够传送直接通信、广播无线信号、接收直接和/或广播无线信号等等。相应地，无线通信接口330可以能够发送和/或接收来自各种rf信道/频带的rf信号。使用无线通信接口330的通信可以经由发送和/或接收无线信号334的一个或多个无线通信天线332来执行。
50.设备300可进一步包括(诸)传感器340。传感器340可包括但不限于一个或多个惯性传感器和/或其它传感器(例如，加速度计、陀螺仪、相机、磁力计、高度计、话筒、邻近度传感器、光传感器、气压计等)。传感器340可被用于例如确定车辆的某些实时特性，诸如位置、速度、加速度等。
51.设备300可进一步包括存储器360和/或与存储器360处于通信。存储器360可包括但不限于本地和/或网络可访问存储、磁盘驱动器、驱动器阵列、光学存储设备、固态存储设备(诸如随机存取存储器(ram)和/或只读存储器(rom))，其可以是可编程的、可快闪更新的等等。此类存储设备可被配置成实现任何恰适的数据存储，包括但不限于各种文件系统、数据库结构、和/或诸如此类。
52.设备300的存储器360还可包括软件元件(图3中未示出)，这些软件元件包括操作系统、设备驱动程序、可执行库、和/或其他代码(诸如一个或多个应用程序)，这些软件元件可包括由各种实施例提供的计算机程序、和/或可被设计成实现如本文中所描述的方法、和/或配置如本文中所描述的系统。存储在存储器360中并且由(诸)处理单元310执行的软件应用可被用于实现车辆100的功能性，如本文所描述的。此外，关于本文讨论的(诸)方法描述的一个或多个规程可被实现为可由设备300(和/或设备300内的(诸)处理单元310或dsp 320)执行的存储器360中的代码和/或指令，包括以下描述的图4的方法中所解说的功能。在一方面，那么此类代码和/或指令可以被用来配置和/或适配通用计算机(或者其他设备)来执行根据所描述的方法的一个或多个操作。
53.图4解说了根据本发明的一实施例的用于利用面结构光进行泊车的操作方法的示例的示图。
54.方法400可包括：在操作410投射面结构光。该操作可以类似于如由参见图1和图2中所描述的，使用第一照明模块来执行。优选地，第一照明模块所投射的红外面结构光可以利用led结构光或者vcsel结构光中的至少一者。优选地，还可以使用第二照明模块来投射可见光。优选地，操作410可由照明模块510来具体实现，如以下更详细描述的。
55.方法400还可包括：在操作420至少部分地基于环境中的的可见光来生成地形的二维图像并且至少部分地基于所投射的面结构光来生成所述地形的三维图像。该操作可以类似于如由参见图1和图2中所描述的，可以利用所投射的面结构光对所述地形以及所述地形上的凸起、凹陷或悬空的障碍物进行三维扫描以获得所述障碍物的深度信息；至少部分地基于扫描结果来生成所述三维图像。优选地，可以使用各种车载的传感器来确定车辆的某些实时特性，诸如位置、速度、加速度等。优选地，操作420可由成像模块520来具体实现，如以下更详细描述的。
56.方法400还可包括：在操作430融合所述二维图像和所述三维图像以构建所述地形的三维形貌信息图。方法400还可包括：在操作440至少部分地基于所述三维形貌信息图来生成避障路线以供泊车系统在自动泊车时使用。这些操作可以类似于如由参见图1和图2中所描述的，可以基于二维图像中的坐标原点、障碍物的三维参数数据来生成三维形貌信息图。优选地，可以在所述三维形貌信息图中检测到所述障碍物的参数超过阈值时，生成要绕过所述障碍物或触发警报的指令。优选地，可以基于所述三维形貌信息图以及所述车辆的移动速率和移动方向来更新所生成的避障路线。优选地，操作430和440可由控制模块530来具体实现，如以下更详细描述的。
57.图5是根据一实施例的车辆调动协调的方法500的流程图。替换实施例可以通过组合、分离或以其他方式变化在图5中解说的框中描述的功能性来变化功能。图5的方法500解说了根据一实施例的可如何实现以上所描述的(例如，关于图1)的车辆的功能性。由此，用于执行图5中所解说的一个或多个框的功能性的装置可以包括车辆100的硬件和/或软件组件，该车辆100(如先前所提及的)可包括在图3中所解说并且在以上所描述的设备300的一个或多个组件。
58.在框510，该功能性包括投射面结构光。优选地，还可以投射可见光。用于执行框510的功能性的照明模块510可包括设备的一个或多个软件和/或硬件组件，诸如总线305、(诸)处理单元310、存储器360、和/或在图3中解说的设备300的其他软件和/或硬件组件。
59.在框520，该功能性包括至少部分地基于环境中的可见光来生成地形的二维图像并且至少部分地基于所投射的面结构光来生成所述地形的三维图像。优选地，可以使用各种车载的传感器来确定车辆的某些实时特性，诸如位置、速度、加速度等。用于执行框520的功能性的成像模块520包括设备的一个或多个软件和/或硬件组件，诸如总线305、(诸)处理单元310、存储器360、和/或在图3中解说的设备300的其他软件和/或硬件组件。
60.在框530，该功能性包括融合所述二维图像和所述三维图像以构建所述地形的三维形貌信息图；以及至少部分地基于所述三维形貌信息图来生成避障路线以供泊车系统在自动泊车时使用。用于执行框530的功能性的控制模块530可包括设备的一个或多个软件和/或硬件组件，诸如总线305、(诸)处理单元310、存储器360、和/或在图3中解说的设备300的其他软件和/或硬件组件。
61.而且，本技术的实施例还公开了一种包括存储于其上的计算机可执行指令的计算机可读存储介质，所述计算机可执行指令在被处理器执行时使得所述处理器执行本文所述的各实施例的方法。
62.此外，本技术的实施例还公开了一种装置，该装置包括处理器以及存储有计算机可执行指令的存储器，所述计算机可执行指令在被处理器执行时使得所述处理器执行本文
所述的各实施例的方法。
63.此外，本技术的实施例还公开了一种利用面结构光的泊车设备，该设备包括用于实现本文所述的各实施例的方法的装置。在一方面，该系统包括：用于投射面结构光的装置；用于至少部分地基于环境中的可见光来生成地形的二维图像并且至少部分地基于所投射的面结构光来生成所述地形的三维图像的装置；用于融合所述二维图像和所述三维图像以构建所述地形的三维形貌信息图的装置；以及用于至少部分地基于所述三维形貌信息图来生成避障路线以供泊车系统在自动泊车时使用的装置。
64.以上描述了根据本发明的实现利用面结构光的泊车系统及其控制方法，相对现有技术而言，本发明的方法至少具有以下优点：
65.1.两套成像系统，一套是针对面结构光的成像系统，另一套是可任选的针对可见光的成像系统，成像系统可以基于可见光和面结构光对生成的图像进行融合处理；
66.2.可见光成像的分辨率高，补偿面结构光分辨率低的情况；
67.3.面结构光提供三维信息，补偿可见光只有二维信息的情况，提高了对障碍物的识别能力、识别精度、识别速度。
68.在整个说明书中已经参照“实施例”，意味着特定描述的特征、结构或特性包括在至少一个实施例中。因此，这些短语的使用可以不仅仅指代一个实施例。此外，所描述的特征、结构或特性可以在一个或多个实施例中以任何合适的方式组合。
69.以上描述的方法和装置的各个步骤和模块可以用硬件、软件、或其组合来实现。如果在硬件中实现，结合本公开描述的各种说明性步骤、模块、以及电路可用通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、或其他可编程逻辑组件、硬件组件、或其任何组合来实现或执行。通用处理器可以是处理器、微处理器、控制器、微控制器、或状态机等。如果在软件中实现，则结合本公开描述的各种说明性步骤、模块可以作为一条或多条指令或代码存储在计算机可读介质上或进行传送。实现本公开的各种操作的软件模块可驻留在存储介质中，如ram、闪存、rom、eprom、eeprom、寄存器、硬盘、可移动盘、cd-rom、云存储等。存储介质可耦合到处理器以使得该处理器能从/向该存储介质读写信息，并执行相应的程序模块以实现本公开的各个步骤。而且，基于软件的实施例可以通过适当的通信手段被上载、下载或远程地访问。这种适当的通信手段包括例如互联网、万维网、内联网、软件应用、电缆(包括光纤电缆)、磁通信、电磁通信(包括rf微波和红外通信)、电子通信或者其他这样的通信手段。
70.在各实施例中给出的数值仅作为示例，而不作为对本发明范围的限制。此外，作为一个整体技术方案，还存在其他没有被本发明权利要求或说明书所列举的元器件或者步骤。而且，一个元器件的单个名称不排除该元器件的其他名称。
71.还应注意，这些实施例可能是作为被描绘为流程图、流图、结构图、或框图的过程来描述的。尽管流程图可能会把诸操作描述为顺序过程，但是这些操作中有许多操作能够并行或并发地执行。另外，这些操作的次序可被重新安排。
72.所公开的方法、装置和系统不应以任何方式被限制。相反，本公开涵盖各种所公开的实施例(单独和彼此的各种组合和子组合)的所有新颖和非显而易见的特征和方面。所公开的方法、装置和系统不限于任何具体方面或特征或它们的组合，所公开的任何实施例也不要求存在任一个或多个具体优点或者解决特定或所有技术问题。
73.本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护范围之内。
74.相关领域的技术人员可以认识到，可以在没有一个或多个具体细节的情况下或者利用其他方法、资源、材料等来实践这些实施例。在其他情况下，众所周知的结构、资源，或者仅仅为了观察实施例的模糊方面而未详细示出或描述操作。
75.虽然已经说明和描述了实施例和应用，但是应该理解，实施例不限于上述精确配置和资源。在不脱离所要求保护的实施例的范围的情况下，可以在本文公开的方法和系统的布置，操作和细节中进行对本领域技术人员显而易见的各种修改、替换和改进。
76.如本文中所使用的术语“和”、“或”以及“和/或”可包括还预期至少部分地取决于使用此类术语的上下文的各种含义。通常，“或”如果被用于关联一列表，诸如a、b或c，则旨在表示a、b和c(这里使用的是包含性的含义)以及a、b或c(这里使用的是排他性的含义)。另外，本文所使用的术语“一个或多个”可用于描述单数形式的任何特征、结构或特性，或者可用于描述多个特征、结构或特征或其某种其他组合。但是，应注意，这仅是说明性示例，并且所要求保护的主题内容不限于此示例。
77.虽然已经解说并描述了目前被认为是示例特征的内容，但是本领域技术人员将理解，在不脱离所要求保护的主题的情况下，可以进行各种其他修改，并且可以替换等同物。附加地，可以作出许多修改以使特定场景适应于要求保护的主题内容的教导，而不脱离本文所描述的中心概念。