用于使用激光点云进行物体检测的方法和系统的制作方法
【专利说明】用于使用激光点云进行物体检测的方法和系统
[0001]相关申请的交叉引用
[0002]本申请要求于2014年4月25日提交的美国专利申请第14/262,651号的优先权，其全部内容通过引用结合于此。
【背景技术】
[0003]除非在本文中另有指示，否则本部分中描述的材料并不是本申请中的权利要求的现有技术，并且也不因包括在本部分中而被承认是现有技术。
[0004]车辆可使用由传感器提供的信息来导航行驶路线。因此，车辆的计算装置可处理从车辆传感器接收到的信息以避免与障碍物碰撞并确保正确的导航。这种车辆通常装备有各种类型的传感器以便检周遭中的物体。例如，自主车辆可包括激光、声纳、RADAR、相机以及其它扫描和记录来自车辆的周遭的数据的装置。来自这些装置中的一个或多个的传感器数据可用于检测物体及其各自的特性(位置、形状、前进方向、速度等)。该检测和识别对自主车辆的安全操作是有用的。
【发明内容】
[0005]本申请公开了涉及用于使用激光点云进行物体检测的方法和系统的实施例。
[0006]在一个示例中，本申请描述了一种方法。该方法可包括在计算装置处接收指示车辆的环境的激光数据，并且激光数据包括与环境中的一个或多个物体相关联的多个数据点。该方法还可包括，基于多个传感器数据点，生成包括指示相对于车辆的环境中的一个或多个物体的相应位置的多个像素的二维距离图像。另外，该方法可包括修正生成的二维距离图像以向多个像素中的映射到缺少激光数据的环境中的一个或多个物体的一个或多个部分的一个或多个给定像素提供相应值。在一些情况下，修正生成的二维距离图像以向一个或多个给定像素提供相应值是基于多个像素中的位于二维距离图像中的多个像素的一个或多个给定像素附近的各个邻近像素的。该方法可包括基于修正的二维距离图像，确定多个像素中的与环境中的一个或多个物体的相应表面(surface)相对应的一组或多组像素的多个法向量，并且基于一组或多组像素的多个法向量，将指示车辆的环境中的一个或多个物体的物体识别信息提供给车辆的一个或多个系统。
[0007]在另一示例中，本申请描述了一种非暂态计算机可读介质，其上存储有在由计算装置运行时引起该计算装置执行功能的指令。所述功能可包括接收指示车辆的环境的激光数据，并且激光数据包括与环境中的一个或多个物体相关联的多个数据点。所述功能还可包括，基于多个传感器数据点，生成包括指示相对于车辆的环境中的一个或多个物体的相应位置的多个像素的二维距离图像。另外，所述功能可包括修正生成的二维距离图像以向多个像素中的映射到缺少激光数据的环境中的一个或多个物体的一个或多个部分的一个或多个给定像素提供相应值。在一些情况下，修正生成的二维距离图像以向一个或多个给定像素提供相应值是基于多个像素中的位于二维距离图像中的多个像素的一个或多个给定像素附近的各个邻近像素的。所述功能可包括基于修正的二维距离图像，确定多个像素中的与车辆的环境中的一个或多个物体的相应表面相对应的一组或多组像素的多个法向量，并且基于一组或多组像素的多个法向量，将指示车辆的环境中的一个或多个物体的物体识别信息提供给车辆的一个或多个系统。
[0008]在又一示例中，本申请描述了一种系统。所述系统可包括至少一个处理器。所述系统还可包括其上存储有可运行指令的存储器，所述可运行指令在由至少一个处理器运行时引起该系统执行功能，所述功能包括接收指示车辆的环境的激光数据，并且激光数据包括与环境中的一个或多个物体相关联的多个数据点。所述功能还可包括，基于多个传感器数据点，生成包括指示相对于车辆的环境中的一个或多个物体的相应位置的多个像素的二维距离图像。另外，所述功能可包括，修正生成的二维距离图像以向多个像素中的映射到缺少激光数据的环境中的一个或多个物体的一个或多个部分的一个或多个给定像素提供相应值。在一些情况下，修正生成的二维距离图像以向一个或多个给定像素提供相应值是基于多个像素中的位于二维距离图像中的多个像素的一个或多个给定像素附近的各个邻近像素的。所述功能可包括基于修正的二维距离图像，确定多个像素中的与环境中的一个或多个物体的相应表面相对应的一组或多组像素的多个法向量，并且基于一组或多组像素的多个法向量，将指示车辆的环境中的一个或多个物体的物体识别信息提供给车辆的一个或多个系统。
[0009]在另一示例中，提供一种系统，其包括用于实时生成非结构化和结构化激光点云的装置。所述系统还可包括用于接收指示车辆的环境的激光数据的装置，并且激光数据包括与环境中的一个或多个物体相关联的多个数据点。所述系统还可包括用于基于多个传感器数据点生成包括指示相对于车辆的环境中的一个或多个物体的相应位置的多个像素的二维距离图像的装置。此外，所述系统还可包括用于修正生成的二维距离图像以向多个像素中的映射到缺少激光数据的环境中的一个或多个物体的一个或多个部分的一个或多个给定像素提供相应值的装置。在一些情况下，所述系统可包括用于修正生成的二维距离图像以向一个或多个给定像素提供相应值基于多个像素中的位于二维距离图像中的多个像素的一个或多个给定像素附近的各个邻近像素的装置。所述系统可包括用于基于修正的二维距离图像确定多个像素中的与环境中的一个或多个物体的相应表面相对应的一组或多组像素的多个法向量的装置，以及用于基于一组或多组像素的多个法向量将指示车辆的环境中的一个或多个物体的物体识别信息提供给车辆的一个或多个系统的装置。
[0010]前述概要仅是说明性的，并且并不意在以任何方式进行限制。除了上述的说明性方面、实施例及特征之外，进一步的方面、实施例及特征将通过参考图和下面的详细描述而变得明显。
【附图说明】
[0011 ] 图1是依据示例实施例的示例车辆的简要框图。
[0012]图2图示了依据示例实施例的示例车辆。
[0013]图3是用于使用激光点云进行物体检测的示例方法的流程图。
[0014]图4是图示出二维距离图像的一部分中的像素的示例图。
[0015]图5A从前侧视图示出了示例车辆并图示了由示例车辆的计算装置使用传感器数据生成的虚拟二维距离图像的部分。
[0016]图5B从侧视图示出了示例车辆并图示了由示例车辆的计算装置使用传感器数据生成的二维距离图像的额外的部分。
[0017]图5C从后视图示出了示例车辆并图示了由示例车辆的计算装置使用传感器数据生成的二维距离图像的部分。
[0018]图f5D从另一后视图示出了示例车辆并图示了由示例车辆的计算装置使用传感器数据生成的二维距离图像的部分。
[0019]图6是图示出一组像素的法向量计算的示例图。
[0020]图7是图示出包括在计算装置上运行计算机过程的计算机程序的示例计算机程序产品的概念性局部视图的示意图。
【具体实施方式】
[0021]以下详细描述参考附图对所公开的系统和方法的各种特征和功能进行了描述。在图中，除非上下文另外指出，否则相似的符号标识相似的组件。本文中所描述的说明性系统和方法实施例并非意图进行限制。可容易理解，所公开的系统和方法的某些方面可以按多种不同的配置进行布置和组合，所有这些都在本文中被设想到。
[0022]车辆，诸如自主或无人驾驶车辆，可在不需要驾驶员提供导引和控制的情况下导航行驶路线。为了实现安全、自主导航，车辆可利用从与车辆相关联的传感器获取的关于车辆周围的局部环境的数据。自主车辆可包括被配置为接收和处理在车辆操作时从传感器接收到的关于附近环境的信息的一个或多个计算装置。处理信息可使得计算装置能够在车辆行驶经过变化的环境时向车辆的系统提供信息和/或指令，以执行安全导航策略。
[0023]在一个示例实施例中，车辆在于车辆的一个或多个计算装置处接收到指示环境的激光数据的同时可进行导航。例如，车辆包括被配置为捕捉传感器数据的LIDAR模块，所述传感器数据诸如是由与环境中的一个或多个物体相关联的数据点组成的激光数据。类似地，车辆还可包括被配置为提供可用于物体检测的传感器数据的其它类型的传感器，诸如深度相机。例如，计算装置可接收在结构化三维(3D)点云和/或非结构化3D点云中的指示环境的数据点。在一些情况下，计算装置可接收在像栅格那样的点云内的数据点。激光数据可包括含有指示相对于车辆的环境中的物体的位置的信息的数据点。在其它示例中，激光数据可包括关于车辆的环境的其它信息。
[0024]在操作期间，计算装置可使用激光数据点来生成包括指示环境中的物体的位置的像素的二维(2D)距离图像。作为示例，计算装置可将激光数据点投影到位于车辆周围或在虚拟渲染中虚拟地位于车辆周围的概念性2D圆柱表面，以使得像素对应于激光数据点内的数据。作为结果的生成的2D距离图像可包括具有指示环境中的信息的值的像素，并且还可包括可不具有来自激光数据点的值的一些像素。缺失值的像素可对应于计算装置未接收到指示性的激光数据的物体的部分。在一些示例实施例中，计算装置可在完成接收整个点云之前开始生成2D距离图像的部分。例如，当从LIDAR模块接收到点时，计算装置可形成2D距离图像的部分。
[0025]此外，车辆的计算装置可修正2D距离图像来填充由没有值的像素造成的空白(gap)。例如，计算装置可使用2D距离图像中位于一个或多个空白附近的各个邻近元素来确定要分配给原本没有值的空白中的像素的平均值。计算装置可使用经修正的2D距离图像来确定可与车辆的环境中的一个或多个物体的相应表面相对应的像素组的一个或多个法向量。
[0026]在一些示例中，计算装置可使用表面法线(normal)和平面分割(segmentat1n)过程来对所获取的传感器数据中的平面进行分类(例如，将像素组与环境中的表面关联)，这可帮助车辆进行物体识别和避障。当车辆导航时，计算装置可形成对环境内的物体的虚拟地图绘制(mapping)。另外，计算装置可使用像素组的法向量以及平面分割来将关于环境的物体识别信息提供给车辆系统，车辆可在操作期间使用所述物体识别信息来确定合适的导航策略。
[0027]现在将更详细地描述本公开范围内的示例系统。通常，示例系统可实现在汽车上或可采取汽车的形式。然而，示例系统还可实现在其它车辆上或采取其它车辆的形式，诸如轿车、卡车、摩托车、公交车、船、飞机、直升机、割草机、休旅车、游乐园车辆、农业设备、施工设备、有轨电车、高尔夫球车、火车和电车。其它车辆也是可能的。<