用于驾驶员辅助的系统及方法与流程

本公开内容涉及用于道路标志显示扩增的系统和方法，并且更具体地，涉及使得能够检测、提供和显示补充道路标志信息以供车辆操作者或自驾驶车辆控制系统。

背景技术：

存在用于向机动车辆的驾驶员提供辅助的各种系统。例如，一个这样的辅助领域涉及自动道路标志识别和显示。

道路标志识别可以通过使用适当的设备(例如，诸如摄像机的光学设备)来感知或检测机动车辆的周围环境来实现。这些系统例如可从汽车制造商以及也可从便携式导航设备(pnd)的制造商处商购获得。pnd系统基于gps信号和地图数据以向驾驶员提供与道路标志有关的信息。

一些现有系统实现了用于提高识别精度和鲁棒性的摄像机设备。车辆制造商使用前置摄像头设备和用于将信号和与车辆的行驶状态有关的数据进行组合的装置。另一选择是用于将信号与导航设备组合的装置。

在这样的系统中存在诸如以下问题：将向驾驶员显示特定管制值维持多长时间(即，多长时间是相关的这样的值)；当连续识别出多个标识时如何做；以及车辆改变方向或穿过交叉路口将如何影响管制值的显示。另外，由于某些标识的一些部分可能无法被识别设备识别到，因此可能存在关于某个标识何地和/或何时生效的问题。

us2017/0092125公开了一种用于检测限速标志的驾驶支持设备，并且基于由车辆导航系统提供的信息附条件地显示限速信息一段时间。

技术实现要素：

本发明人已经认识到某些限速标志可能具有条件和/或限制，例如，关于他们适用于哪个车道和/或在一天的哪几个小时期间适用指示值，以及单独的图像识别系统可能经常不足以确保向驾驶员正确地显示限制/条件信息和/或向控制系统提供限制/条件信息。因此，本配置旨在解决该问题。

根据本公开内容的实施方式，提供了一种用于车辆的驾驶员辅助系统。该系统包括：光学识别装置，其被配置成获取与车辆附近的管制标识有关的数据，所述数据包括至少摄像机检测到的管制值；位置提供装置，其被配置成提供指示车辆的位置的位置信息以及与该位置附近的特征有关的地图信息，所述特征包括基于地图的管制值、条件标识、当前路段信息和下一路段信息中的至少一个；以及处理装置，其被配置成基于摄像机检测到的管制值、基于地图的管制值以及下一路段信息和/或条件标识的存在来验证驾驶员辅助信息和/或对驾驶员辅助信息的显示进行扩增。

在验证和/或扩增期间，处理装置可以被配置成：确定地图信息中是否存在条件标识；确定摄像机检测到的管制值与基于地图的管制值是否相等；以及当摄像机检测到的管制值与基于地图的管制值相等时，并且当存在条件标识时，使用扩增了条件标识的摄像机检测到的管制值对显示设备进行更新。

在验证和/或扩增期间，处理装置可以被配置成：根据当前路段信息确定车辆是否在出入管控道路上；确定摄像机检测到的管制值是否小于基于地图的管制值；以及当车辆在出入管控道路上并且摄像机检测到的管制值小于基于地图的管制值时，使用扩增了出口车道标识的摄像机检测到的管制值对显示设备进行更新。

处理装置还可以被配置成：在更新显示设备之前根据位置信息和下一路段信息来确定下一路段是否包括出口车道以及确定由当前路段信息确定的车辆正在行驶的当前路段的剩余距离是否小于预定长度，并且如果任一个或两个条件都不成立，则使得仅显示摄像机检测到的管制值。

摄像机检测到的管制值和基于地图的管制值可以包括限速值，以及条件标识可以包括有效时间段和出口车道标识中的至少一个。

根据本公开内容的另一实施方式，提供了一种用于辅助车辆的操作者的方法。该方法包括：获取与车辆附近的管制标识有关的光学数据，所述光学数据包括至少摄像机检测到的管制值；提供指示车辆的位置的位置信息以及与该位置附近的特征有关的地图信息，所述特征包括基于地图的管制值、条件标识、当前路段信息和下一路段信息中的至少一个；以及基于摄像机检测到的管制值、基于地图的管制值以及下一路段信息和/或条件标识的存在来验证驾驶员辅助信息和/或对驾驶员辅助信息的显示进行扩增。

验证和/或扩增可以包括：确定地图信息中是否存在条件标识；确定摄像机检测到的管制值与基于地图的管制值是否相等；以及当摄像机检测到的管制值与基于地图的管制值相等时，并且当存在条件标识时，在显示设备上显示扩增了条件标识的摄像机检测到的管制值。

另外，显示扩增了条件标识的摄像机检测到的管制值的第二条件可以是基于地图的管制值被链接至条件标识。

验证和/或扩增可以包括：根据当前路段信息确定车辆是否在出入管控道路上；确定摄像机检测到的管制值是否小于基于地图的管制值；以及当车辆在出入管控道路上并且摄像机检测到的管制值小于基于地图的管制值时，向操作者显示扩增了出口车道标识的摄像机检测到的管制值。

该方法可以包括：在进行显示之前根据位置信息和下一路段信息来确定下一路段是否包括出口车道以及确定由当前路段信息确定的车辆正在行驶的当前路段的剩余距离是否小于预定长度，并且如果至少一个条件不成立，则使得仅显示摄像机检测到的管制值。

摄像机检测到的管制值和基于地图的管制值可以包括限速值，以及条件标识可以包括有效时间段(例如，雪天、雨天、黑暗等期间)或出口车道标识之一。

根据本公开内容的又一实施方式，提供了一种车辆，该车辆包括上面描述的驾驶员辅助系统。

除非另有矛盾，否则可以对上面描述的元件与说明书内的元件进行组合。

应当理解，如所要求保护的，前述一般描述和下面的详细描述仅是示例性和说明性的，并且不限制本公开内容。

被合并至本说明书且构成本说明书的一部分的附图示出了本公开内容的实施方式，并连同说明书一起用于对实施方式的原理进行说明。

附图说明

图1示出了根据本公开内容的实施方式的示例性驾驶员辅助系统；

图2示出了具有管制标识和条件信息的示例性道路段上的车辆；

图3a至图3d示出了根据本公开内容的实施方式的实际的、摄像机检测到的、基于地图的以及所显示的管制标识和条件信息；

图4是突出根据本公开内容的实施方式的示例性方法的流程图；

图5a示出了具有管制标识和明确的条件信息的示例性出入管控道路；

图5b示出了具有管制标识和隐含的条件信息的示例性出入管控道路；

图5c示出了根据本公开内容的实施方式的实际的、摄像机检测到的和所显示的管制标识和条件信息；

图6是突出根据本公开内容的实施方式的另一示例性方法的流程图；以及

图7是用于帮助理解当前路段和下一路段的图示。

具体实施方式

现在将详细参照本公开内容的示例性实施方式，该示例性实施方式的示例在附图中示出。贯穿附图，将尽可能使用相同的附图标记指代相同或相似的部分。

图1示出了根据本公开内容的实施方式的示例性驾驶员辅助系统1。驾驶员辅助系统1可以包括诸如电子控制单元(ecu)10的处理装置、诸如摄像机的图像获取装置15、一个或更多个传感器20、系统控制器32以及显示设备25等。

还提供了与位置提供装置相对应的全球定位系统(gps)17以用于提供与车辆的位置有关的地图数据(例如，诸如坐标的位置信息)以及与车辆附近的特征(例如，管制标识、当前路段信息、下一路段信息如出口车道等)有关的特征信息。

图7是用于帮助理解当前路段75和下一路段90的图示。地图数据可以分为以下部分：当前路段c，85(例如，车辆2当前正在其上行驶的道路的一部分，例如长度为500m)和下一路段n…n+i，90(例如，通过现有的距离，车辆可能在其上行驶的道路的一部分或多部分，即当前路段信息示例性的500m之外的任何可能的交叉路口/道路段)。每个路段的长度可以基于例如所使用的gps软件、车辆2的内部逻辑等来预先确定。与这些路段相关联的信息可以包括例如道路等级(例如，出入管控公路、乡郊道路等)、出口匝道、道路施工、交通信号灯、方向标识等。

与光学识别装置相对应的图像获取装置15可以包括例如一个或更多个摄像机和/或被配置成从车辆周围的区域(例如，向前移动的车辆的前方)中获得光学数据的其他合适的设备。图像获取装置15可以被配置成对从车辆的周围环境中获得的数据进行处理以确定管制标识50(例如，诸如限速标志、区域标识标志等的道路标志)的存在。这样的图像获取装置15在本领域中是已知的，并且本领域技术人员将理解，可以在不脱离本公开内容的范围的情况下在本系统中实现任何这样的图像获取装置15。

图像获取装置15可以被定位在车辆2上以提供车辆2的周围环境的足够视场4(例如，跨约180度的前视图和侧视图)。例如，一个或更多个图像获取装置15可以被定位在风挡后面、前保险杠上、侧视镜上、后视镜上和/或车辆2上的其他合适的安装位置以提供接近车辆附近的管制标识50的视场4，包括目前行驶的高速公路的出口车道(即，出口匝道)的那些管制标识。根据一些实施方式，出于美学原因，可能期望使图像获取装置15的可见度最小化，并且本领域技术人员将理解，找到适合于实现该目标的安装位置同时还提供车辆2周围的足够视场是合理的考虑。

如在本文中在涉及视场时使用的术语“足够”将意指使图像获取装置15具有以下能力的视场：识别在移动车辆周围的道路上存在的管制标识50并且在显示设备25上以至少百分之95的识别成功率将与所述管制标识有关的信息显示给车辆的驾驶员。

图像获取装置15可以被配置成向ecu10提供与车辆2的周围环境有关的数据包括管制标识50。这样的数据可以包括例如管制值(例如，限速和/或区域标识)。图像获取装置15可以经由有线连接、无线连接或用于将数据传送至ecu10的其他合适的方法将这样的数据提供至ecu10。例如，图像获取装置15可以包括用于将数据发送至ecu10的无线通信装置(例如，符合ieee802.11的wi-fi硬件)和/或可以使用来自图像获取装置15的数据的其他设备。可替选地或另外地，例如出于安全目的，可以提供有线连接。可以提供这样的有线连接例如以在无线连接停止工作的情况下提供故障保护。

在获取与管制标识有关的数据时，图像获取装置15可以被配置成向数据分配时间标识(例如，时间戳)和/或位置标识(例如，坐标信息)。可替选地，ecu10可以被配置成在从图像获取装置15接收到数据时向数据分配时间标识。通过向通过图像获取装置15获得的数据分配时间标识，ecu10可以跟踪数据的寿命(age)(即，自管制标识被图像获取装置15识别到开始经过的时间)等。

一个或更多个传感器20可以被配置成将与车辆的状态有关的状态信息发送至ecu10。例如，车辆的状态可以包括车辆行驶的速度、车辆行驶的方向、车辆正在和/或已经经历的方向的变化、方向盘的位置、车辆已经行驶的距离等。

因此，一个或更多个传感器20可以包括例如方向盘位置传感器、车速传感器、横摆率传感器等。与图像获取装置15类似，这样的传感器可以被配置成将这样的状态信息无线地和/或通过有线方式提供至ecu10，并且还可以包括持续时间信息。ecu10可以跟踪与状态信息相关联的持续时间信息。

ecu10可以包括被配置成操纵数据、执行计算、执行用于决策的代码、向车辆2的操作者显示信息和/或控制系统控制器32以对车辆2的一个或更多个系统(例如，转向、制动等)采取行动的任何合适的设备以执行本公开内容的实施方式。例如，ecu10可以包括各种模拟和/或数字电路，并且可以包括诸如risc处理器、i386处理器、asic处理器等的集成电路。通常，现代车辆中的车载计算机包括这样的处理器，并且本领域技术人员将理解，该ecu10可以包括在这样的车载计算机中或者可以单独提供。本领域技术人员还将理解，本文描述的示例性电路和处理器不旨在进行限制，并且可以实现任何合适的设备。

ecu10可以链接至与车辆2相关联的一个或更多个数据库和/或其他存储器(例如，ram、rom等)以使得能够存储与车辆相关的数据以及可以在诸如管制标识验证的车辆功能的处理期间利用的值(例如阈值)。本领域技术人员将认识到，本文讨论的与任何这样的数据库和/或存储器有关的信息不旨在进行限制。

ecu10可以被配置成从图像获取装置15接收数据并提供与本公开内容相关联的功能。例如，ecu10可以同时从图像获取装置15和一个或更多个传感器接收与管制标识有关的数据(例如，流数据)。这样的数据可以包括例如限速和/或交叉路口信息。

ecu10还可以被配置成从gps17接收数据，所述数据包括位置信息和与车辆2的位置附近的特征有关的地图信息。位置信息可以包括例如使得能够固定/确定车辆2在地图上的位置的全局坐标、指示车辆2当前在其上行驶的路段(即当前路段)和可能的未来行驶路径(即下一路段)的当前路段信息和下一路段信息以及与这些当前路段和下一路段有关的信息(例如，出入管控公路、市区等)等。

地图信息中包括的特征可以包括例如以管制的限速指示为特征的限速标志、出口车道、条件标识(例如，有效时间、禁止时间、天气状况、季节等)、地形等。本领域技术人员将认识到，地图信息中可以根据需要存在更多或更少的特征，详细程度取决于例如地图信息提供者等。本领域技术人员还将认识到，gps17可以形成ecu10的一部分、可以与ecu10分离或者可以在不脱离本公开内容范围的情况下实现gps17与ecu10之间的任何级别的组合。

ecu10可以链接至一个或更多个接口，例如网络接口，其可以被配置成无线地和/或通过有线方式接收由图像获取装置15、gps17、传感器20等提供的数据和信息。此外，尽管gps17被描述为存在于车辆2上，但是本领域技术人员将理解，包括当前路段和下一路段的特征的某些地图数据可以例如经由4g远程地存储和发送至gps17和/或ecu10以使得最新信息可用。

根据一些实施方式，车辆2可以包括一个或更多个系统控制器32，所述一个或更多个系统控制器32可以被配置成从ecu10接收信息和/或命令并且执行那些命令以控制各种车辆系统(例如，转向、制动、加速器等)。这样的设备可以被配置成有效地操作车辆2的控制系统32例如以操作转向系统、制动系统、加速系统等。

这样的设备可以包括一个或更多个伺服马达、致动器等，其可以从车辆2的一个或更多个系统(例如ecu10)接收指令。基于这些指令，可以由操作员控制车辆2、可以由ecu10结合系统控制32控制车辆2或者同时由操作者和ecu10结合系统控制32控制车辆2(例如，系统控制器32在紧急停止情况下提供转向和制动辅助)。

显示设备25可以被配置成向车辆2的驾驶员显示由ecu10提供的信息。图2示出了提供车辆2的驾驶员可能感兴趣的信息的示例性显示设备25。如图2所示，在显示设备25上当前向驾驶员显示的信息中包括有效限速。

显示设备25可以是用于向车辆2的驾驶员提供可见和/或可听信息的任何合适的设备。例如，显示设备25可以包括(例如，在驾驶员前面的风挡上的)平视显示设备、监示器、嵌入式显示设备等。

基于通过图像获取装置15获得的摄像机检测到的管制值、由gps17提供的基于地图的管制值以及提供至ecu10的条件标识、当前路段和/或下一路段信息，ecu10可以被配置成执行用于向车辆2的操作者显示、更新和/或扩增信息显示的各种操作。

出于说明本公开内容的第一实施方式的目的，将描述使用扩增了有效时间段的条件标识51的限速标志50的示例。此外将描述再次使用限速标志但考虑了出口车道作为出入管控公路上的条件标识的第二示例。然而，本领域的技术人员将理解，这些仅是示例性的且不旨在进行限制。

图4是突出用于执行本公开内容的实施方式的示例性方法的流程图，并且还可以通过参照图3a至图3c来更好地理解。

当车辆2沿着当前路段85行驶时，图像获取装置15可以检测各种管制标识例如限速标志90等(步骤405)。当检测到新识别的管制标识50例如如图3a所示的具有条件标识51的标识50时，ecu10和/或图像获取装置15可以确定管制标识50是否为指示管制值的限速标志，并且如果不是，则出于本公开内容的目的而忽略管制标识50(步骤405：否)。本领域技术人员将理解，对于在本公开内容的实施方式下未处理的管制标识50，可以在其他期望操作的环境中采取其他动作。

当图像获取装置检测到指示限速的管制标识50时(步骤405：是)，如图3b所示，通常图像获取装置15主要仅感知限速指示以使得能够确定限速管制值。然后，ecu10可以执行验证摄像机检测到的限速并且针对车辆2的当前位置确定是否存在条件信息的下一检查(步骤410)。为了验证摄像机检测到的限速值，将根据通过图像获取装置15获得的管制标识50确定的限速值与针对车辆2在其上行驶的当前路段85从存储在与gps17相关联的地图信息中的特征(即管制值)中获得的基于地图的限速值进行比较。除此之外，例如，可以从gps17获得的地图信息中的特征通常包括图3c所描绘的信息。如果根据通过图像获取装置15捕获的管制标识50确定的管制值不等于针对当前路段85从gps17获得的值(步骤410：否)，则ecu10使显示设备25仅显示根据从图像获取装置15接收到的管制标识50确定的值(步骤415)。

如果根据通过图像获取装置15捕获的管制标识50确定的管制值等于针对当前路段85从gps17获得的值，则ecu10基于由gps17确定的车辆2的位置进行检查以确定针对管制标识50是否存在条件标识。例如，如图2所示，每天09:00至19:00期间在当前路段85上120km/h的管制值是有效的，本领域技术人员将认识到这种情况是示例性而非限制性的。

存储在gps17的地图信息中的特征应当反映该条件标识，并且当ecu10确定这样的条件标识存在时(步骤410：是)，如图3d所示，显示设备25会扩增显示经验证的限速和条件标识两者(步骤420)。另外，当例如由车辆2的操作员指示时，ecu10可以使车辆控制系统32操作车辆使得车速与所指示的值匹配(或在期望的预定范围例如百分之5内)。

如上所述，本领域技术人员将认识到上面描述的示例并不旨在进行限制。条件标识可以是例如示出一周的有效天数、有效天气条件、有效季节(例如，仅冬季和春季)等的标识，或者可以是条件标识的任意组合(例如，教学日5:00-9:00)。任何这样的配置都旨在落入本公开内容的范围内。

转至图5a至图5c和图6，将描述本公开内容的第二实施方式。如图5a所示，车辆2可能正在当前路段85上行驶，并且可以通过图像获取装置15检测到管制标识50(步骤605)。在本示例中，管制标识50与包括当前路段85的出入管控公路的出口车道90相关联。如图5a所示，与管制标识50一起还存在条件标识51，条件标识51明确地指示：管制标识50适用于出入管控公路的出口车道90。可替选地，如图5b所示，管制标识50可以不包括条件标识51，但是，车辆的操作者理解，根据管制标识50的布置，该管制标识隐含地适用于出口车道90。

当图像获取装置15检测到管制标识50时(步骤605：是)，ecu10可以向gps17请求与当前路段85有关的地图信息以确定当前路段85是否为出入管控道路(例如，公路、快车道、高速公路等)。这样的信息通常与地图信息相关联地存储在gps17中存储的特征信息中。如果确定车辆当前不在出入管控道路上行驶(步骤610：否)，则ecu10使显示设备25显示通过图像获取装置15检测到的管制标识(步骤615)。

如果基于存储在来自gps17的地图信息中的特征确定车辆2正在出入管控道路上行驶(步骤610：是)，则ecu10进行检查以确定与管制标识50的相关联的摄像机检测到的管制值是否小于根据基于从gps17获得的车辆2的位置信息的地图信息确定的与当前路段85相关联的基于地图的管制值(步骤620)。

如果基于地图的管制值不小于通过图像获取装置15检测到的摄像机检测到的管制值(步骤620：否)，则这意指针对出入管控道路新的限速生效，并且更新显示设备25以显示摄像机检测到的管制值(步骤615)。如果基于地图的管制值小于摄像机检测到的管制值(步骤620：是)，则ecu10基于位置信息、基于当前路段85在从gps17获得的任何下一路段中检查出入管控道路的出口匝道是否在车辆2附近(步骤625)，如果在当前路段85或下一路段上均未发现出口匝道(步骤625：否)，则摄像机检测到的管制值是出入管控道路的新的限速值，并在显示设备25上显示摄像机检测到的管制值。如果当前路段85或车辆可能行驶的下一路段包括出口匝道90(步骤625：是)，则可以执行可选步骤以确定当前路段85上剩余的距离以查看该距离是否小于阈值(例如250米)。在没有执行该可选步骤的情况下或者当确定剩余距离小于阈值时(步骤630：是)，则更新显示设备25以显示通过图像获取装置15检测到的摄像机检测到的管制值，并且如图5c的最右边的表示所示的增加管制值(即，速度限度)仅适用于出口匝道90的条件标识(步骤635)。可替选地或另外地，ecu10可以基于由gps17提供的信息来确定车辆是否可能利用出口匝道90，并且当车辆2进入出口匝道90时，使系统控制器32采取适当的行动来限制车辆2的速度。

在执行可选步骤630并且确定当前路段85上的剩余距离大于阈值的情况下，则在没有任何条件标识的情况下使显示设备25显示通过图像获取装置15检测到的摄像机检测到的管制值(步骤615)。

贯穿该描述——包括权利要求书，除非另有说明，否则术语“包括”应理解为与“包括至少一个”同义。另外，除非另外说明，否则该描述——包括权利要求书——中所阐述的任何范围应理解为包括其端值。所描述的元件的特定值应被理解为在本领域技术人员已知的可接受的制造或工业公差内，并且对术语“基本上”和/或“约”和/或“通常”的任何使用应被理解为均在这样的可接受的公差范围内。

在引用国家、国际或其他标准机构的任何标准(例如iso等)的情况下，这样的引用旨在引用截止本说明书的优先权日的国家或国际标准机构定义的标准。对这些标准的任何随后的实质性改变均不旨在修改本公开内容和/或权利要求书的范围和/或定义。

尽管本文已经参考特定实施方式描述了本公开内容，但是应当理解，这些实施方式仅是本公开内容的原理和应用的说明。

旨在将说明书和示例仅视为示例性的，本公开内容的真实范围由所附权利要求书指示。