检测陌生标志的制作方法

相关申请的交叉引用

本申请要求于2018年12月14日提交的序列号为16/220,225的申请的权益，其公开内容通过引用纳入本文。

背景技术：

自主车辆，例如在自主驾驶模式下运行时不需要人类驾驶员的车辆，可用于帮助将乘客或物品从一个位置运输到另一个位置。自主车辆的一个重要组件是感知系统，其允许车辆使用传感器，例如相机、雷达、lidar传感器、和其他类似设备，来感知和解释其周围环境。例如，感知系统和/或车辆的计算设备可以处理来自这些传感器的数据以便识别对象以及其特性，例如位置、形状、大小、方位、加速度或减速度、速度、类型等。此信息对于车辆的计算系统为车辆做出恰当的驾驶决策是重要的。

技术实现要素：

本公开的方面提供了用于确定陌生标志的标志类型的方法。所述方法可以包括：由一个或多个处理器接收由车辆的感知系统生成的图像；由一个或多个处理器识别图像中与交通标志对应的图像数据；由一个或多个处理器将与交通标志对应的图像数据输入到标志类型模型中；由一个或多个处理器确定标志类型模型不能识别交通标志的类型；由一个或多个处理器确定交通标志的一个或多个属性；由一个或多个处理器将交通标志的一个或多个属性与其他交通标志的已知属性进行比较；由一个或多个处理器基于比较交通标志的一个或多个属性来确定所述交通标志的标志类型；以及由一个或多个处理器基于交通标志的标志类型在自主驾驶模式下控制车辆。

在一些情况中，其他交通标志的已知属性可以存储在一对多数据结构中。

在一些情况中，标志类型模型不能识别交通标志的类型包括模型不能识别最小置信水平的交通标志的标志类型。

在一些情况中，交通标志的一个或多个属性是使用图像处理技术确定的。

在一些情况中，属性可以包括标志类型、颜色、形状、反射系数、布置、文本、图形或附件中的一个或多个。

在一些情况中，所述方法还可以包括通过将交通标志的一个或多个属性与其他交通标志的已知属性进行比较来确定交通标志的内容。在一些示例中，交通标志的内容可以是告知性的或指示性的。在一些示例中，基于交通标志的标志类型在自主驾驶模式下控制车辆可以包括基于交通标志的标志类型不采取动作。

在一些情况中，交通标志的标志类型可以包括禁令、警告、指路、服务、娱乐、施工或学校区域中的一个或多个。

在一些情况中，基于交通标志的标志类型在自主驾驶模式下控制车辆可以包括：确定交通标志的内容是对动作的指示；以及执行该动作。

本公开的方面可以提供一种用于确定陌生标志的标志类型的系统。所述系统可以包括一个或多个处理器，并且该一个或多个处理器可以被配置为：接收由车辆的感知系统生成的图像；识别图像中与交通标志对应的图像数据；将与交通标志对应的图像数据输入到标志类型模型中；确定标志类型模型不能识别交通标志的类型；确定交通标志的一个或多个属性；将交通标志的一个或多个属性与其他交通标志的已知属性进行比较；通过比较交通标志的一个或多个属性来确定交通标志的标志类型；以及基于交通标志的标志类型在自主驾驶模式下控制车辆。

在一些情况中，其他交通标志的已知属性可以存储在一对多数据结构中。

在一些情况中，其他交通标志的已知属性可以由操作人员和/或使用图像处理技术手动标记。

在一些情况中，可以使用图像处理技术来确定交通标志的一个或多个属性。

在一些情况中，属性可以包括标志类型、颜色、形状、反射系数、布置、文本、图形或附件中的一个或多个。

在一些情况中，一个或多个处理器还可以被配置为通过将交通标志的一个或多个属性与其他交通标志的已知属性进行比较来确定交通标志的内容。在一些示例中，交通标志的内容是告知性的或指示性的。在一些示例中，基于交通标志的标志类型在自主驾驶模式下控制车辆可以包括基于标志类型不采取动作。在一些示例中，其中基于交通标志的标志类型在自主驾驶模式下控制车辆可以包括：确定交通标志的内容是对动作的指示；以及执行该动作。

在一些情况中，系统可以包括车辆。

附图说明

图1是根据示例性实施例的示例车辆的功能图。

图2是根据本公开的方面的地图信息的示例。

图3是根据本公开的方面的车辆的示例外部视图。

图4是根据本公开的方面的示例系统的直观图。

图5是根据本公开的方面的图4的系统的功能图。

图6是根据本公开的方面的示例相机图像。

图7是根据本公开的方面的示例图像和对应的标记。

图8是根据本公开的方面的示例图像以及对应的标记和属性。

图9是根据本公开的方面的示例图像。

图10是根据本公开的方面的示例图像。

图11是根据本公开的方面的示例流程图。

图12是根据本公开的方面的示例流程图。

具体实施方式

概述

本技术涉及使用交通标志的特性来确定自主车辆是否应该执行动作。人类驾驶员在旅途中经常遇到交通标志并做出反应。在这方面，人类驾驶员在观察到交通标志时可以响应于该交通标志而采取特定动作或根本不采取任何动作。例如，人类驾驶员可以观察到停车标志并停下他们正在驾驶的车辆。在另一示例中，人类驾驶员可以观察到用于休息区的交通标志并且响应于观察到该交通标志而根本不采取任何动作。

不具备与人类相同的对交通标志进行推理的能力的自主车辆也必须确定响应于交通标志何时采取以及何时不采取动作。在这方面，自主车辆使用的地图信息可显示特定交通标志所在的位置。例如，所有停车标志的位置都可在地图信息中找到并且自主车辆可以在那些位置停车。然而，交通标志可以被移动、移除或替换为不同的标志，从而使地图信息不准确。这样，当没有检测到交通标志或检测到新标志时，车辆可以向人类操作人员发送远程协助请求以便接收指令，从而导致行程延迟。而且，需要大量资源来绘制每个交通标志的地图并确保此类地图信息是最新的。

为了解决这些问题，自主车辆可实时检测交通标志并确定响应于检测到该交通标志及其内容而要采取的恰当的动作。例如，自主车辆上的一个或多个传感器可检测车辆附近的交通标志。与交通标志对应的传感器数据可以由自主车辆的一个或多个计算设备来分析并且可确定交通标志的特性，例如其类型和其他属性，例如颜色、形状、反射系数、布置、文本、图形、附件等。在一些情况中，机器学习模型可用于辅助确定标志类型。取决于交通标志类型，以及交通标志的一些潜在的其他属性，可以确定标志的内容(例如，指示性内容、告知性内容等)。基于标志的类型和内容，可确定车辆是否应该执行动作。

本文描述的特征可以允许自主车辆实时检测和响应于交通标志，而不需要那些交通标志被预先识别，或者更确切地说，已经被存储在车辆的地图信息中。这在未绘制地图的区域或地图不正确或不是最新的区域中可特别有帮助。而且，本文描述的特征可允许自主车辆识别机器学习模型无法识别或在地图信息中找不到的交通标志，例如临时或手工制作的标志。这样，即使对于陌生标志，自主车辆也能够确定是否应该采取动作。此外，标志内容的检测和识别可以有助于将陌生标志添加到地图数据中，特别是如果新识别的标志是通常被添加到地图数据中的类型。

此外，当车辆检测到(即，成功确定)标志类型但不能确定其内容时，本文描述的特征可以允许协助请求被人类操作人员优先处理。在这方面，当车辆遇到可能影响车辆的安全运行的陌生标志(例如禁令标志)时，车辆的协助请求对于人类操作人员而言可以优先于针对不影响车辆的安全运行的陌生标志(例如娱乐标志)的协助请求。在一些情况下，当车辆检测到具有特定标志类型的陌生标志时，可以不作出协助请求并且/或者人类操作人员可以忽视这样的请求。

示例系统

如图1所示，根据本公开的一个方面的车辆100包括各种组件。虽然本公开的某些方面对于特定类型的车辆特别有用，但是车辆可以是任何类型的车辆，包括但不限于轿车、卡车、摩托车、公共汽车、休闲车等。车辆可以具有一个或多个计算设备，例如包含一个或多个处理器120、存储器130和通常存在于通用计算设备中的其他组件的计算设备110。

存储器130存储可由一个或多个处理器120访问的信息，包括可由处理器120执行或以其他方式使用的指令134和数据132。存储器130可以是能存储可由处理器访问的信息的任何类型，包括计算设备可读介质，或存储可借助电子设备读取的数据的其他介质，例如硬盘驱动器、存储卡、rom、ram、dvd或其他光盘，以及其他可写和只读存储器。系统和方法可以包括前述的不同组合，由此指令和数据的不同部分存储在不同类型的介质上。

指令134可以是由处理器直接(例如机器代码)或间接(例如脚本)执行的任何指令集。例如，指令可作为计算设备代码存储在计算设备可读介质上。在那方面，本文中可以互换使用术语“指令”和“程序”。指令可以目标代码格式存储以由处理器直接处理，或可以以包括按需解释或提前编译的脚本或独立源代码模块集合的任何其他计算设备语言存储。下文将更详细地解释指令的功能、方法和例程。

处理器120可以根据指令134来检索、存储或修改数据132。例如，虽然要求保护的主题不受任何特定数据结构的限制，但是数据可以存储在计算设备寄存器中、作为具有多个不同字段和记录的表存储在关系数据库中、存储在xml文档或平面文件中。数据也可以被格式化为任何计算设备可读格式。

一个或多个处理器120可以是任何传统处理器，例如市售的cpu或gpu。可替换地，一个或多个处理器可以是专用设备，例如asic或其他基于硬件的处理器。虽然图1将计算设备110的处理器、存储器和其他元件功能性地示出在同一框内，但本领域普通技术人员将理解，处理器、计算设备或存储器实际上可以包括可以存放在或可以不存放在同一物理壳体内的多个处理器、计算设备或存储器。例如，存储器可以是位于与计算设备110的壳体不同的壳体中的硬盘驱动器或其他存储介质。因此，对处理器或计算设备的引用将被理解为包括对可以并行操作或可以不并行操作的处理器或计算设备或存储器的集合的引用。

计算设备110可以包括通常与计算设备关联使用的所有组件，诸如上述处理器和存储器，以及用户输入150(例如，鼠标、键盘、触摸屏和/或麦克风)和各种电子显示器(例如，具有屏幕的监视器或可操作用于显示信息的任何其他电子设备)。在该示例中，车辆包括内部电子显示器152以及一个或多个扬声器154以提供信息或视听体验。就此而言，内部电子显示器152可以位于车辆100的车厢内，并且可以由计算设备110用于向车辆100内的乘客提供信息。

计算设备110还可包括一个或多个无线网络连接156，以促进与其他计算设备的通信，例如下面详细描述的客户端计算设备和服务器计算设备。无线网络连接可以包括短距离通信协议，例如蓝牙、低功耗蓝牙(lowenergy，le)，蜂窝连接以及各种配置和协议，包括因特网、万维网、内联网、虚拟专用网、广域网、本地网络、使用一个或多个公司专有通信协议的私有网络、以太网、wifi和http以及上述各项的各种组合。

在一个示例中，计算设备110可以是并入车辆100中的自主驾驶计算系统。自主驾驶计算系统可能够与车辆的各个部件进行通信，以便在自主驾驶模式下控制车辆。例如，回到图1，计算设备110可以与车辆100的各个系统，例如减速系统160、加速系统162、转向系统164、信令系统166、规划系统168、定位系统170和感知系统172，进行通信以便在自主驾驶模式下根据存储器130的指令134控制车辆100的运动、速度等。再者，尽管这些系统被示出为在计算设备110的外部，但实际上，这些系统也可以作为用于控制车辆100的自主驾驶计算系统被并入计算设备110中。

作为示例，计算设备110可以与减速系统160和加速系统162进行交互以便控制车辆的速度。类似地，计算设备110可以使用转向系统164以便控制车辆100的方向。例如，如果车辆100被配置为在道路上使用，例如轿车或卡车，则转向系统可以包括控制车轮的角度以使车辆转向的组件。计算设备110可以使用信令系统166以便例如通过在需要时打开转向灯或刹车灯来向其他驾驶员或车辆发信号通知车辆的意图。

计算设备110可以使用规划系统168以便确定并遵循到某个位置的路线。在这方面，规划系统168和/或数据132可存储详细的地图信息，例如，高度详细的地图，其标识道路的形状和高程、车道线、十字路口、人行横道、限速、交通信号、建筑物、标志、实时交通信息、靠边停车点、植被或其他此类对象和信息。

图2是包括十字路口202和204的一段道路的地图信息200的示例。地图信息200可以是存储在计算设备110的存储器130中的地图信息的本地版本。地图信息的其他版本也可以存储在下文进一步讨论的存储系统450中。在该示例中，地图信息200包括识别车道线210、212、214、交通灯220、222、停车线224、人行横道230、232、人行道240和交通标志250、252的形状、位置和其他特性的信息。地图信息在本文中被描绘为基于图像的地图，但地图信息不必是完全基于图像的。例如，地图信息可以包括一个或多个道路图形或例如道路、车道、十字路口以及这些特征之间的连接的信息的图形网络，这些特征之间的连接可以由路段表示。每个特征可以存储为图形数据，并且可以与诸如地理位置及其是否链接到其他相关特征(例如，停车标志可以链接到道路和十字路口等)的信息相关联。在一些示例中，相关联的数据可以包括道路图的基于网格的索引，以允许高效地查找某些道路图特征。

计算设备110可以使用定位系统170以便确定车辆在地图上和/或地球上的相对或绝对位置。例如，定位系统170可包括全球定位系统(gps)接收器，以确定设备的纬度、经度和/或海拔位置。其他位置系统，例如基于激光的定位系统、惯性辅助gps或基于相机的定位，也可以用于识别车辆的位置。车辆的位置可以包括绝对地理位置，例如纬度、经度和海拔，以及相对位置信息，例如相对于紧接其周围的其他轿车的位置，相对位置通常可以以比绝对地理位置更少的噪声来确定。

定位系统170还可以包括与计算设备110通信的其他设备，例如加速度计、陀螺仪或另一方向/速度检测设备，以确定车辆的方向和速度或其变化。仅作为示例，加速设备可以确定其相对于重力方向或垂直于其的平面的俯仰、偏航或滚转(或其变化)。该设备还可以追踪速度的增加或减少以及这种变化的方向。如本文所述设备提供的位置和方位数据可以被自动地提供给计算设备110、其他计算设备及前述的组合。

感知系统172还包括一个或多个组件，用于检测车辆外部的对象，例如其他车辆、道路上的障碍物、交通信号、标志、树木等。例如，感知系统172可以包括激光器、声纳、雷达、相机和/或记录可以由计算设备110处理的数据的任何其他检测设备。在车辆是诸如厢式旅行车的乘用车的情况下，厢式旅行车可以包括安装在车顶或其他适宜位置的激光器或其他传感器。例如，图3是车辆100的示例性外部视图。在该示例中，车顶壳体310和圆顶壳体312可以包括光检测和测距(lightdetectionandranging，lidar)传感器以及各种相机和雷达单元。另外，位于车辆100前端的壳体320和在车辆驾驶员侧和乘客侧的壳体330、332可以分别存放lidar传感器。例如，壳体330位于门360的前面。车辆100还包括用于雷达单元和/或相机的壳体340、342，它们同样位于车辆100的车顶。附加的雷达单元和相机(未示出)可以位于车辆100的前端和后端和/或沿车顶或车顶壳体310的其他位置。

在一个示例中，计算设备110可以是自主驾驶计算系统或并入车辆100中的控制计算设备。自主驾驶计算系统可能够与车辆的各个组件进行通信以便根据存储器130的主要车辆控制代码控制车辆100的运动。例如，返回图1，计算设备110可以与车辆100的各个系统，例如减速系统160、加速系统162、转向系统164、信令系统166、规划系统168、定位系统170、感知系统172和动力系统174(即车辆的引擎或发动机)，进行通信，以便根据存储器130的指令134控制车辆100的运动、速度等。再者，虽然这些系统被示出为在计算设备110的外部，但实际上，这些系统也可以同样作为用于控制车辆100的自主驾驶计算系统并入计算设备110中。

车辆的各个系统可以使用自主车辆控制软件来运行以确定如何控制车辆并控制车辆。作为示例，感知系统172的感知系统软件模块可以使用由自主车辆的一个或多个传感器(例如相机、lidar传感器、雷达单元、声纳单元、等)生成的传感器数据来检测和识别对象以及它们的特性。这些特性可以包括位置、类型、行进方向、方位、速度、加速度、加速度的变化、大小、形状等。在一些情况中，特性可以输入到行为预测系统软件模块中，该行为预测系统软件模块使用基于对象类型的各种行为模型输出检测到的对象的预测的未来行为。在其他情况中，特性可以输入到一个或多个检测系统软件模块中，例如被配置为检测已知交通信号的状态的交通灯检测系统软件模块、被配置为从车辆的一个或多个传感器生成的传感器数据检测施工区的施工区检测系统软件模块以及被配置为从车辆的传感器生成的传感器数据检测应急车辆的应急车辆检测系统。这些检测系统软件模块中的每一个可以使用各种模型来输出施工区或物体是应急车辆的似然性。检测到的对象、预测的未来行为、来自检测系统软件模块的各种似然性、识别车辆环境的地图信息、来自定位系统170的识别车辆的位置和方位的位置信息、车辆的目的地以及来自车辆的各个其他系统的反馈可输入到规划系统168的规划系统软件模块中。规划系统和/或计算设备110可以使用该输入来生成供车辆在将来的某一短时段内遵循的路线和轨迹。计算设备110的控制系统软件模块可以被配置为，例如通过控制车辆的制动、加速和转向来控制车辆的运动，以便遵循轨迹。

计算设备110可以通过控制各个组件来控制车辆。例如，作为示例，计算设备110可以使用来自详细地图信息和规划系统168的数据完全自主地将车辆导航到目的地位置。计算设备110可以使用定位系统170来确定车辆的位置，以及当需要安全到达该位置时可以使用感知系统172来检测和响应于对象。再者，为了这样做，计算设备110可生成轨迹并使车辆遵循这些轨迹，例如，通过使车辆加速(例如，通过由加速系统162向引擎或动力系统174供应燃料或其他能量)、减速(例如，通过减少供应给引擎或动力系统174的燃料、换档及/或通过由减速系统160施加制动)、改变方向(例如，通过由转向系统164使车辆100的前轮或后轮转向)以及发信号通知这种变化(例如，通过打开信令系统166的转向灯)。因此，加速系统162和减速系统160可以是包括车辆引擎和车辆车轮之间的各个组件的动力传动系统的一部分。再者，通过控制这些系统，计算设备110还可以控制车辆的动力传动系统以便自主地操纵车辆。

车辆100的计算设备110还可以从其他计算设备接收或向其他计算设备传输信息，其他计算设备例如作为运输服务的一部分的那些计算设备以及其他计算设备。图4和图5分别是示例系统400的直观图和功能图，该示例系统400包括经由网络460连接的多个计算设备410、420、430、440和存储系统450。系统400还包括车辆100、以及可以与车辆100相同或相似地配置的车辆100a、100b。尽管为了简单起见仅描绘了少数车辆和计算设备，但是典型的系统可以包括多得多的车辆和计算设备。

如图4所示，计算设备410、420、430、440中的每一个可以包括一个或多个处理器、存储器、数据和指令。这样的处理器、存储器、数据和指令可以类似于计算设备110的一个或多个处理器120、存储器130、数据132和指令134进行配置。

网络460和介于中间的节点可以包括各种配置和协议，包括短距离通信协议，例如蓝牙、低功耗蓝牙、因特网、万维网、内联网、虚拟专用网、广域网、本地网络、使用一个或多个公司专有通信协议的私有网络、以太网、wifi和http、以及上述各项的各种组合。能够与其他计算设备之间来回传输数据的任何设备，例如调制解调器和无线接口，可以促进这种通信。

在一个示例中，一个或多个计算设备110可以包括具有多个计算设备的一个或多个服务器计算设备(例如负载平衡服务器场)，其与网络的不同节点交换信息以用于从其他计算设备接收数据，处理数据，向其他计算设备传输数据。例如，一个或多个计算设备410可包括能够通过网络460与车辆100的计算设备110或车辆100a、100b的类似计算设备以及计算设备420、430、440进行通信的一个或多个服务器计算设备。例如，车辆100、100a、100b可以是能从服务器计算设备410发送和接收信息的车辆车队的一部分。此外，服务器计算设备410可以使用网络460来发送信息以及在显示器(例如计算设备420、430、440的显示器424、434、444中的一个或多个)上向用户(例如用户422、432、442中的一个或多个)呈现信息，。在这方面，计算设备420、430、440可以被认为是客户端计算设备。

如图4所示，每个客户端计算设备420、430、440可以是打算供用户422、432、442中的一个或多个使用的个人计算设备，并且具有通常与个人计算设备相关使用的所有组件，包括一个或多个处理器(例如，cpu)、存储数据和指令的存储器(例如，ram和内部硬盘驱动器)、诸如显示器424、434、444的显示器(例如，具有屏幕的监视器、触摸屏、投影仪、电视或其他可操作用来显示信息的设备)、以及用户输入设备426、436、446(例如，鼠标、键盘、触摸屏或麦克风)。客户端计算设备还可包括用于记录视频流的相机、扬声器、麦克风、网络接口设备、以及用于将这些元件彼此连接的所有组件。

尽管客户端计算设备420、430和440每个可以包括全尺寸的个人计算设备，但是它们可以替代地包括能够通过诸如因特网的网络与服务器无线地交换数据的移动计算设备。仅作为示例，客户端计算设备420可以是移动电话，或诸如启用无线的pda、平板pc、可穿戴计算设备或系统，或能够经由因特网或其他网络获取信息的上网本的设备。在另一个示例中，客户端计算设备430可以是可穿戴计算系统，如图4所示的手表。作为示例，用户可以使用小键盘、键区、麦克风，使用利用相机的可视信号、或触摸屏来输入信息。

与存储器130一样，存储系统450可以是能够存储服务器计算设备可访问的信息的任何类型的计算机化存储器，例如硬盘驱动器、存储卡、rom，ram、dvd、cd-rom、具有写功能的存储器和只读存储器。另外，存储系统450可以包括分布式存储系统，其中数据存储在物理上可以位于相同或不同地理位置的多个不同存储设备上。如图4和图5所示，存储系统450可以经由网络460连接到计算设备，和/或可以直接连接到或合并到计算设备110、410、420、430、440等的任何一个中。

存储系统450可以存储如下文更详细描述的各种类型的信息。服务器计算设备，例如一个或多个服务器计算设备410，可以检索或以其他方式访问该信息，以便执行本文所描述的一些或全部特征。

例如，存储系统450可以存储由车辆的感知系统，例如车辆100的感知系统172，捕获的传感器数据。该传感器数据可以包括多个图像472。该多个图像可以包括由自主车辆的感知系统捕获的图像，以便提供可能出现在那些图像中的标志的类型。例如，多个图像可以是由安装在一个或多个车辆，例如车辆100或100a，上的静止和/或视频相机或其他传感器捕获的图像或帧，并经由网络460上传或以其他方式发送到存储系统450进行存储。因此，图像可以准确地反映从车辆的相机或感知系统的角度对道路和各种对象的感知。如下文进一步讨论的，这些图像中的至少一些可以与标记和其他信息相关联。如本文所讨论的，存储系统450还可以存储交通标志类型和它们各自的属性。

每个图像可以与识别图像被捕获的位置和方位的位置信息和/或更多细节相关联，例如根据与其他图像的比较和/或根据与所述图像同时由感知系统172的lidar传感器捕获的lidar传感器数据确定的图像内各表面的地理信息。例如，lidar传感器数据可以包括对应于将lidar传感器产生的光反射回lidar传感器的表面的位置和强度(或反射率)的数据点。该信息可用于确定相机图像中那些表面的对应关系。

存储系统450以及车辆100的数据132可以存储一个或多个模型470以及每个这样的模型的模型参数值474。例如，存储系统可以存储用于确定交通标志类型和上下文的一个或多个模型。模型470可以包括分类器，例如人工神经网络、深度神经网络、决策树、提升树等。此外，存储系统450可以包括训练子系统476，其可用于训练如下文进一步讨论的模型。在一些情况中，存储系统可以存储如本文所述的分层数据结构478。

与存储器130一样，存储系统450可以是能够存储可由服务器计算设备410访问的信息的任何类型的计算机存储装置，例如硬盘驱动器、存储卡、rom、ram、dvd、cd-rom、可写和只读存储器。此外，存储系统450可以包括分布式存储系统，其中数据存储在多个不同的存储设备上，这些存储设备可物理上位于相同或不同的地理位置。存储系统450可经由如图4所示的网络460连接到计算设备和/或可直接连接到或并入计算设备110、410、420、430、440等中的任何一个。

示例方法

除了上述和图中所示的操作之外，现将对各种操作进行描述。应当理解的是，以下操作不必按照下面描述的精确顺序进行。而是，可以以不同的顺序或同时对各个步骤进行处理，并且还可以添加或省略步骤。

如上所述，模型470可以获得交通标志的特性并输出交通标志类型。在这方面，交通标志类型可以包括禁令、警告、指路、服务、娱乐、施工、学校区域等。在一些情况中，某些标志，例如停车标志或铁路交叉口标志，可以被认为是标志类型。

为了能够使用模型470来识别交通标志类型，模型首先可被“离线”训练，即提前和/或在远程计算设备处训练，然后经由网络460和无线网络连接156发送到车辆100。例如，服务器计算设备410中的一个或多个可以通过首先从存储系统450检索训练数据来生成模型参数值474。

例如，一个或多个服务器计算设备410可检索图像集合。如上所述，这些图像可以包括存储系统450的与交通标志可能可见的位置相对应的多个图像472，例如与已知交通标志相距预定距离并且朝向已知交通标志的图像。例如，由安装在车辆，例如车辆100，上的相机或其他传感器捕获的图像可以被检索和/或包括在该集合中，其中相机在交通标志的特定距离内并且朝向交通标志。图6是当车辆接近地图信息的十字路口204时由车辆100的感知系统172的相机捕获的示例相机图像600。在该示例中，交通标志253和车道216的一部分在相机图像600中被捕获。该相机图像可以被处理并用于生成用于模型的初始训练数据。如上所述，存储系统的图像可以与识别图像被捕获的位置和方位的信息相关联。

模型470的初始训练数据可以以各种方式从该图像集合生成。例如，人类操作人员可通过查看图像、在交通标志周围绘制边界框、以及识别交通标志的类型来标记交通标志的图像以及交通标志的类型。此外或可替代地，现有模型或图像处理技术可以用于标记交通标志的图像以及交通标志的类型。

给定可以被视为训练输入的交通标志的图像和可以被视为训练输出的指示交通标志类型的标记，可对模型进行训练来输出在捕获的图像中找到的交通标志的类型。换句话说，训练输入和训练输出用于对模型进行关于其将获得什么输入以及将生成什么输出的训练。例如，模型可接收图像753、754和253，如图7所示。模型还可以接收指示每个图像显示的标志类型的标记763、764和773，包括“禁令标志”、“警告标志”和“娱乐标志”。在一些情况中，标志的类型可以是特定的，例如“让行标志”和“前方铁路交叉口”，如图7的标记763和764进一步所示的。基于此训练数据，模型可以学习识别类似的交通标志。在这方面，训练可以提高模型的精度，使得用于训练模型的训练数据(输入和输出)越多，模型在识别标志类型方面的精度就越高。

在一些情况中，模型可以被配置为提供指示标志内容的附加标记。在这方面，在机器学习模型的训练过程中，训练数据可以包括与交通标志的属性对应的标记。例如，如图8所示，指示服务标志的属性的标记863，包括“矩形形状”、“蓝色”和说明“服务区，下一个右侧出口”的“文本”，可以与指示标志类型为服务标志的标记一起输入到机器学习模型中。这样，当在服务标志853和标记863的图像上运行训练模型时，模型可以习得标志853是指示前方服务区的服务标志。基于此确定，模型可以学习包括诸如“矩形形状”、“蓝色”和说明“服务区，下一个右侧出口”的“文本”的属性的其他标志也可以是服务标志。

一旦模型470被训练，它就可以被发送或以其他方式加载到计算系统的存储器，例如车辆100的存储器150中以供使用。例如，当车辆，例如车辆100，四处行驶时，车辆的感知系统172可以捕获其周围环境的传感器数据。该传感器数据，包括交通标志的任何图像，可以由计算设备110周期性地或连续地输入到模型470中。模型470然后可以为图像中的每个交通标志提供对应的标志类型。例如，车辆，诸如车辆100，可以捕获图像，例如包含标志953的图像900，如图9所示。模型可以输出指示标志类型是“警告标志”的标记。在一些情况中，模型还可以提供标志的特定类型。例如，模型可以为标志953输出“警告标志”和“前方铁路交叉口”标志类型。然后可以使用提供的标志类型和属性来确定如何控制车辆以便对如本文所述的检测到的标志做出适当的响应。

对于指示由模型输出的特定标志类型的每个标记，模型可以确定并分配指示输出标记是正确的概率的置信水平。在一些情况中，模型可能不能为输入到模型中的交通标志图像确定指示交通标志类型的标记。在这种情况下，模型可以将交通标志图像归类为“无法识别”或“未知”。指示具有未能满足特定阈值水平的置信水平的特定标志类型的标记也可以归类为无法识别或未知。在一些情况中，自主车辆，例如车辆100，可能会遇到通过模型470或在地图信息内无法识别或无法以特定置信度识别(例如，模型不能确定满足特定置信度阈值的交通标志类型)的交通标志。然而，交通标志通常根据诸如联邦高速公路管理局的政府机构的规定按类型归类，尽管规定可能因地区/国家等而有所变化。因此，大多数交通标志可以根据特定属性，例如颜色和形状，是否满足对应于特定标志类型的规定进行归类。分配给每种类型的交通标志的属性可以是基于颜色或形状的。例如，红色标志可以是禁令标志(例如，停止和让行标志)，黄色标志可以是警告标志(例如，铁路或前方让行标志)，指路标志可以是绿色的(例如，道路出口标志)，临时交通管制标志可以是橙色的(例如前方道路施工标志)，娱乐标志可以是棕色的(例如野餐区标志)，服务标志可以是蓝色的(例如服务区标志)，等。

然而，许多交通标志是独特的或相对晦涩的(统称为“陌生标志”)，并且，虽然这些陌生标志可能会根据标志类型遵守规定，但它们的内容可能无法被机器学习模型识别，特别是当机器学习模型尚未被提供对应于该陌生标志的类型和内容的训练数据时。而且，一些交通标志可能不遵守规定或以其他方式不符合典型的交通标志类别。例如，led板或手工制作的标志可能不符合典型的交通标志类别或不遵守规定。例如，包括说明“前方施工”消息的led板或指示汽车转弯的手工制作的临时标志可能不符合“临时交通管制”标志的规定并且可能通过模型，例如模型470，无法识别或无法以足够高的置信度识别。

为了确定陌生标志的类型和内容，可以将陌生标志的属性与已知标志的属性进行比较。在这点上，已知交通标志的属性可以由人类操作人员和/或使用如本文所述的图像处理技术来标记。然后，可以将标记的属性排列在数据结构中，例如数据结构478，其可以是关系数据库或支持一对多映射的另一相联结构。例如，可以标记已知标志的属性，例如其类型、颜色、形状、反射系数、布置、文本、图形、附件等，并且这些标记可以被存储到数据结构中。例如，交通标志853的属性的标记863可以存储在关于交通标志853的数据结构中，例如存储在存储器450中。计算设备，例如车辆100中的计算设备110，可以将陌生标志的属性与数据结构中的属性进行比较以确定陌生标志的类型和内容。虽然这里的示例描述了在实施机器学习模型，例如模型470，之后将陌生标志的属性与数据结构中的属性进行比较以确定陌生标志的类型和内容，但是可在未实施机器学习模型的情况下或实施机器学习模型之前进行属性的比较。

在一个示例中，自主车辆的传感器，例如感知系统172中的传感器，可以在其行驶时捕获包含道路216上方的陌生交通标志253的图像600，如图6所示。计算设备110可以尝试通过将交通标志的属性与数据结构中的属性进行比较来确定陌生交通标志253的类型和内容。例如，计算设备110可以确定陌生交通标志具有矩形形状、棕色和书写文本的属性。这些属性可以与数据结构中的标志的属性进行比较并且，基于该比较，可以确定该陌生交通标志与娱乐标志一致。在另一个示例中，可以确定捕获的交通标志具有八边形形状、红色和文本的属性。计算设备110可以将这些属性与数据结构中的标志的属性进行比较并且确定所捕获的交通标志与具有“停止”的指令性内容的禁令标志相匹配。

计算设备110可以使用标志的附加属性来确定标志的内容。在这方面，可以分析标志的文本或图形以确定标志的内容。例如，图10的陌生标志1053可以被确定为是具有文本1054的“娱乐标志”。车辆的计算设备，例如计算设备110，可以例如使用光学字符识别(ocr)来分析文本1054，以确定说明“约塞米蒂国家公园，下一个右侧出口”的文本1054。基于该文本，计算设备110可以确定标志1053的内容是告知性的，并提供到约塞米蒂国家公园的指示。在这方面，车辆的计算设备可以识别文本内的一个或多个关键字，例如附近地标/地点的名称、指向词语和/或数字。基于这些关键字，车辆的计算设备可以确定标志的内容。例如，计算设备110可以从文本1054确定关键字“约塞米蒂国家公园”和“下一个”和“右侧出口”，并且基于这些关键字确定标志1053的内容是提供到约塞米蒂国家公园的方向的信息。可以基于图形做出类似的确定。例如，指向右侧的箭头可导致计算设备确定标志的内容是指示靠右侧绕行。

基于标志类型和/或内容，自主车辆的各个系统可以确定是否采取动作。在这方面，一些标志可以自动触发车辆动作，例如禁令标志、警告标志、指路标志、施工标志等。例如，车辆的规划系统168可以分别在遇到停车标志、绕行标志或限速标志时指示车辆100停止、改变路线或改变速度。除非车辆100意图行驶到那些区域，否则其他标志，例如娱乐或服务区标志，可以被车辆的规划系统168忽略。

图11是根据本公开的方面的示例流程图1100，其可以由一个或多个计算设备的一个或多个处理器执行，例如计算设备110的处理器120，以便训练机器学习模型来确定标志类型。在框1110处，接收包括图像和对应于图像内的至少一个交通标志的相关联标记的图像数据。可以使用图像数据训练模型，使得模型被配置为响应于接收交通标志的图像而输出交通标志的标志类型和/或内容，如框1120所示。

图12是根据本公开的方面的示例流程图1200，其可由一个或多个计算设备的一个或多个处理器执行，例如计算设备110的处理器120，以确定标志类型并基于确定的标志类型控制车辆。在框1210处，车辆的感知系统生成的图像可以由一个或多个处理器接收。在框1220处，一个或多个处理器可以识别图像中对应于交通标志的图像数据，并且在框1230处，可以将对应于交通标志的图像数据输入到模型中以生成交通标志的标志类型。在框1240处，一个或多个处理器可以确定标志类型模型不能识别交通标志的类型，并且在框1250处，确定交通标志的一个或多个属性。一个或多个处理器可以将交通标志与其他交通标志的已知属性进行比较，如框1260所示。基于比较交通标志的一个或多个属性，可以确定交通标志的标志类型，如框1270所示。车辆可以由一个或多个处理器基于交通标志的标志类型在自主驾驶模式下进行控制，如框1280所示。

除非另有说明，否则上述可替代示例不是相互排斥的，而是可以以各种组合实施以实现独特的优点。由于可以在不背离权利要求所限定的主题的情况下利用以上讨论的特征的这些和其他变形以及组合，因此，对实施例的以上描述应当通过说明的方式而不是通过限制权利要求所限定的主题的方式来理解。另外，所提供的本文中描述的示例以及表达为“诸如”、“包括”等的用语不应被解释为将权利要求的主题限制于特定示例。相反，这些示例旨在说明许多可能的实施例中的仅仅一个。此外，不同附图中的相同附图标记可以标识相同或相似的元件。