本公开大体涉及将自动化车辆附近的地面覆盖物分类的地面分类器系统，并且更具体地涉及一种系统，该系统基于由激光雷达指示的地面片段的激光雷达特性和由相机指示的地面片段的相机特性确定地面片段的分类。
背景技术：
能够区分自动化车辆正在行驶的表面的组成或类型对自动化车辆是有利的。例如，如果自动化车辆的行驶路径是在雪或碎石上，那么自动化车辆的动态行为与当自动化车辆行驶在诸如混凝土或沥青的路面上时的动态行为不同。能够区分路面与碎石或草地对确定铺设的道路的边缘的相对位置也是有用的。需要的是能够区分或识别各种类型的地面分类(诸如混凝土、沥青、碎石、灰尘、草地、雪等)的系统。
技术实现要素：
相机图像已经被自动化车辆广泛使用于通过使用计算机视觉和图像处理技术对物体进行分类。最近，由于高质量的障碍物检测，激光雷达变得更常见。此外，为了提供三维(3d)测量，大多数激光雷达为激光雷达检测到的每个云点提供激光雷达特性(诸如强度值)，其中，例如，强度是对物体反射由激光雷达发射的激光脉冲的反射值的指示。强度值可以基于本领域已知的从激光雷达强度导出的平均值、中值、直方图或其他处理的测量值。本文中描述的是一种用于通过使用由激光雷达指示的激光雷达特性和在由相机渲染的图像中指示的相机特性对地面(诸如草地和沥青)进行分类的系统。
根据一个实施例，提供了将靠近自动化车辆的地面覆盖物分类的地面分类器系统。该系统包括激光雷达、相机、和控制器。激光雷达检测关于主车辆的视场的点云。相机渲染视场的图像。控制器与相机和激光雷达通信。控制器被配置成限定将点云分离成地面片段的阵列的激光雷达网格，并且限定将图像分离成单元格的阵列的相机网格。点云与图像对准使得地面片段与单元格对准。控制器进一步被配置成确定地面片段内云点的高度。当高度小于高度阈值时，地面片段被确定为地面。控制器被配置成确定地面片段内云点的激光雷达特性，确定单元格内像素的相机特性，并且当地面片段被确定为地面时，确定地面片段的分类，其中地面片段的分类基于激光雷达特性和相机特性来确定。
阅读优选实施例的下列详细描述并参考各个附图，进一步的特征和优点将更加显而易见，优选实施例只是作为非限制性示例给出的。
附图说明
现在将参考各个附图通过示例的方式来描述本发明，其中：
图1是根据一个实施例的地面分类器系统的示图；以及
图2是根据一个实施例的图1的系统使用的传感器的视场的图示。
具体实施方式
图1示出了地面分类器系统10(下文称为系统10)的非限制性示例。作为操作自动化车辆(例如主车辆14)的一部分，系统10将靠近(即包围、附近、或在由系统10使用的传感器的视野内)主车辆14的地面覆盖物12(图2)分类。如本文中使用的，术语地面覆盖物指暴露在靠近主车辆的地面表面上的材料或物质。作为示例，地面覆盖物12可以是沥青、混凝土、车道标记、草地、碎石、灰尘、雪等，但不限于此。主车辆14可能能够在地面覆盖物的这些和其他示例中的很多上行驶。然而，认识到，一些表面相比其他是优选的。例如，在混凝土上行驶通常是优选的而非雪或冰。
如本文所使用的，术语“自动化车辆”可应用于当主车辆14正以自动模式(即，完全自主模式)操作的情况，其中主车辆14的人类操作者(未示出)可几乎不用做指定目的地以外的事情以便操作主车辆14。然而，完全自动化不是必需的。构想到，当主车辆14以手动模式被操作时本文中提供的教导是有用的，在手动模式下，自动化程度或等级可能仅仅是系统10向总体上控制着主车辆14的转向、油门和刹车的人类操作者提供可听或可视的警告。例如，系统10可仅根据需要帮助人类操作者避免在较不理想的地面覆盖物的实例上行驶：例如冰或雪。
继续参考图1和图2，系统10包括激光雷达16，激光雷达16在主车辆14周围或附近检测在激光雷达16的视场22中检测到的云点20的点云18。如在这里使用的，点云18指的是由激光雷达16检测到的云点20的全集，并且云点20可以被用于指点云18的一些特定子集。如本领域技术人员所理解的，由激光雷达16检测到的云点的每个实例通常由相对于通常被安装在主车辆14上的激光雷达16的距离24和方向26，以及由位于云点的任何东西反射的激光雷达激光束的强度28来表征。图2的非限制性示例将点云18示为仅覆盖视场22的一部分，但是这样做仅仅是为了简化说明。构想到，点云18可覆盖图2中建议的更大的距离，并且点云18可覆盖主车辆14周围360°视场。
系统10还包括渲染视场22的图像32(图2)的相机30。如上，仅仅为了简化示例，图像32的非限制性示例不覆盖主车辆14周围的360°视场。虽然图2被示出为黑白图，但是相机30优选为彩色相机，使得颜色信息(例如色度，饱和度)可用于帮助分类地面覆盖物12，如稍后将更详细解释的。虽然图1将激光雷达16和相机30示出为组合单元，但这不是必需的。激光雷达16和相机30处于同一位置可以是优选的，因为它使得点云18与图像32对准更简单。此外，即使激光雷达16和相机30处于同一位置，期望点云18和图像32的进一步电子对准将改善本文所述的系统10的整体性能。已知各种将点云18和图像32对准的方法。
系统10还包括与相机30和激光雷达16通信的控制器34。该通信可以通过有线、光缆、无线通信、或上述任何组合，如本领域技术人员已知。控制器34可包括诸如微处理器的处理器(未具体示出)或其它控制电路，诸如模拟和/或数字控制电路，包括应当为本领域技术人员熟知的用于处理数据的专用集成电路(asic)。控制器34可包括用以存储一个或多个例程、阈值和所捕捉的数据的存储器(未具体示出)，包括非易失性存储器，诸如电可擦除可编程只读存储器(eeprom)。一个或多个例程可以由处理器执行，以基于由控制器34从激光雷达16和相机30接收到的信号，执行用于确定地面覆盖物12的分类36的步骤，如本文所描述的。
控制器34被配置成或被编程为限定将点云18分离成地面片段40的阵列的激光雷达网格38。在系统10的一个实施例中，激光雷达网格38可以是基于经验测试来预先确定的，使得每个地面片段40的大小是固定的，其对应于图2中示出的。注意到，图2中示出的激光雷达网格38的非限制性示例非常粗糙，因此每个地面片段40比构想到用于系统10的实际实现的大得多。这样做指示为了简化绘图。作为实例，在系统10的实际实现中的每个地面片段40的示例大小可以是二十厘米的平方(0.02mx0.02m)。
在另一个实施例中，激光雷达网格38可以是基于点云18内每个云点20的激光雷达特性(例如，距离24、方向26、和/或强度28)动态确定的。例如，控制器34可以通过选择彼此相邻并且具有相同或大约相同的强度值28的云点20的实例形成不规则形状的地面片段。虽然比激光雷达网格38的固定或预期实例更复杂，但这种实施方式能够更好地确定地面覆盖物12例如从沥青过渡到碎石的道路边缘的相对位置。
图2中示出的地面片段40可表示地面覆盖物的任意分割。这可导致地面片段40的实例由分类36的多于单个选择来表征。由此，分类器可能无法区分一个分类与另一个的准确分界。在另一个实施例中，地面可首先通过使用图像32中的强度28和/或信息被分割。地面覆盖物12的分割然后可被分段并按顺序分类以更好地分离具有相同分类的地面覆盖物12的区域。
控制器34也被配置成限定将图像32分离成单元格46的阵列的相机网格44。如上文所提出的，除了激光雷达16和相机30的物理对准之外，控制器34可提供电子对准，使得点云18和图像32对准，使得地面片段40的阵列的地面片段50与单元格46的阵列的单元格52对准。
作为确定地面覆盖物12的地面片段50的分类36的第一步，控制器34被配置成确定地面片段50内云点的实例的高度54。本领域技术人员将认识到，云点的高度54可以基于距离24和方向26被确定，其可以用方位角和仰角来表示。当高度54小于高度阈值58(例如十厘米(0.01m)时)，地面片段50可被确定为地面56。如果地面片段50内云点20中的一些或全部不小于高度阈值58，则地面片段50可被确定为非地面。
作为下一步，系统10，或更具体地控制器34，确定地面片段50内云点20的激光雷达特性42(例如，距离24、方向26、和/或强度28)。由于反射率值经常是地面覆盖物12的分类36的强指示，目标或期望是确定地面片段50或视场22内其他地方的地面覆盖物12的反射率值。反射率值可基于强度28被确定，但是强度28可随距离24和/或方向26变化。就是说，地面覆盖物12的分类36被表征为反射率值，并且反射率值影响强度28。然而，例如，随着距离24增加，云点20的实例的强度28将减小。也已知强度28可随着方向26变化。就是说，观察地面覆盖物12的角度将对强度28有影响。强度28、距离24和方向26之间的关系对激光雷达领域技术人员是已知的，所以在本公开的很多实例中，强度28和反射率值是可互换的术语。
控制器34也被配置成确定位于单元格52内的图像32内的像素70的相机特性(例如，色度84、亮度88、饱和度78、和/或温度96)。认识到，强度28单独对于区分地面覆盖物12的特定实例的分类36是不够的，并且相机30单独也是不够的。然而，发现激光雷达特性42和相机特性60的组合对于区分地面覆盖物12的许多实例的分类36是有效的。因此，控制器34还被配置成当地面片段被确定为地面56时，确定地面片段50的分类36，其中地面片段50的分类36基于激光雷达特性42和相机特性60被确定。
通常，通过比较由激光雷达16和相机30指示的各种特性(例如，激光雷达特性42、相机特性60)和各种特性阈值/范围值72完成分类36，以确定问题中的地面覆盖物12的分类36。构想到，可能与受监督式机器学习结合的经验测试将被用于“训练”控制器34以确定分类36。机器学习算法从示例训练集建立模型，并使用模型以对新数据集进行预测。机器学习的优点是它可以合并来自训练数据的人类知识，并且可以是便宜的和灵活的。
最近，深度神经网络(dnn)已经获得了普及，因为它们在挑战性应用中胜过传统机器学习方法。神经网络是具有输入节点、隐藏层和输出节点的计算图。大部分使用深度学习的工作都集中在分类上，并且有兴趣将dnn的能力扩展到定位视场中的对象。也构想到，这个训练或校准过程的结果对于不同的制造商、模型、激光雷达16的激光波长等将是不同的。
以下是系统10如何利用激光雷达特性42和相机特性60来确定地面覆盖12物的分类，或更具体地是由地面片段50限定的区域内的地面覆盖物12的分类的非限制性示例。在系统10的一个示例性实施例中，当由激光雷达16指示的地面片段50的强度28小于强度阈值76并且由相机30指示的单元格52的饱和度78小于饱和度阈值80时，地面片段50的分类36被确定为沥青74。就是说，因为沥青74的典型示例通常是无反射并且具有低颜色饱和度，强度28(即反射率值)和饱和度78二者都相对低。
在系统10的另一个示例性实施例中，当由激光雷达16指示的地面片段50的强度28大于强度阈值76并且由相机30指示的单元格52的色度84在色度范围94内时，地面片段50的分类36被确定为草地82。就是说，草地具有相对高的反射因子，因此强度28大于强度阈值，并且色调84在绿色到棕色或棕褐色的范围内。
在系统10的另一个示例性实施例中，当由激光雷达16指示的地面片段50的强度28大于强度阈值76并且由相机30指示的单元格52的亮度88大于亮度阈值90时，地面片段50的分类36被确定为车道标记86。就是说，车道标记86的典型示例具有相对高的反射因子，因此强度28大于强度阈值，并且亮度88(有时被称为强度，但是这里使用亮度以避免与激光雷达16提供的强度28混淆)相对高，即大于亮度阈值90。
在系统10的另一个示例性实施例中，当由激光雷达16指示的地面片段50的强度28大于强度阈值76并且由相机30指示的单元格52的饱和度78小于饱和度阈值80时，地面片段50的分类36被确定为雪92。
相机特性60的另一个示例是温度96，如果相机30如此装备的话。构想到，为地面覆盖物的不同区域指示的温度的相对比较可被用于进一步确定地面覆盖物12的分类36。例如，在晴天，沥青74的温度96预期是高于草地82的温度96。
进一步构想到，当地面片段50的分类和毗邻地面片段98的毗邻分类是相等的(例如，二者都是沥青，或二者都是碎石)时，地面片段50可与毗邻地面片段98相关联以形成集群100。
因此，提供了一种地面分类器系统(系统10)、用于系统10的控制器34和操作系统10的方法。系统10组合来自关于激光雷达16和相机30的关于地面覆盖物12的信息以确定地面覆盖物12的部分(即，地面片段50)的分类36。
尽管已经根据本发明的优选实施例描述了本发明，但是并不旨在受限于此，而是仅受随后的权利要求书中所阐述的范围限制。