用于确定车辆的驾驶策略的方法和设备与流程

本发明总体上涉及车辆或机器人领域，更具体地涉及一种用于确定车辆的驾驶策略的方法和设备。

背景技术：

自主驾驶技术已经被研究了许多年，并且所提出的益处中的许多益处已经在各种各样的应用中得到证实。交通灯通过标准颜色的显示灯来控制道路的使用。绿灯意味着通过时间段，而红灯指示对应道路/十字路口的阻挡时间段。此外，在许多国家、例如中国和加拿大，交通灯可能具有计数信息以告诉当前的灯状态将剩余多长时间。例如，挨着交通灯布置的显示器示出倒数信息，该倒数信息指示交通灯的当前状态仍持续多少秒。

交通灯检测是驾驶员辅助系统(das)的一部分，所述驾驶员辅助系统是安装在车辆中的提供安全驾驶指导的应用。“realtimevisualtrafficlightsrecognitionbasedonspotlightdetectionandadaptivetrafficlightstemplates”,decharette,raoul和fawzinashashibi,intelligentvehiclessymposium,2009ieee；ieee,2009年示出了高度自动化驾驶(had)车辆识别交通灯状态，并且适当地反应、例如当灯是红色时停止并且当灯变绿时通过。

然而，所述现有的had车辆在交通灯的状态改变之前既不调整、也不规划车辆的驾驶速度(例如变慢或加速)，这可能导致紧急刹车或低效的驾驶行为。此外，车辆的突然停止不仅影响驾驶舒适度，而且还可能导致交通事故。

技术实现要素：

本发明的任务是提供一种用于在交通灯的当前状态变为下一状态之前基于交通灯所示的信息确定车辆的驾驶策略的方法和设备。

以上提及的任务可以通过权利要求1以及权利要求6、11和12来解决。有利的特征也在从属权利要求中被定义。

本发明的实施例提供了一种用于构造环境模型的方法、装置、系统和车辆，它们能够在交通灯的当前状态变为下一状态之前基于交通灯所示的信息确定车辆的驾驶策略。

因此，提供了一种用于确定车辆的驾驶策略的计算机实现方法。用于确定车辆的驾驶策略的方法包括：

-获得车辆的定位信息；

-获得车辆的驾驶路线；

-获得车辆的当前驾驶速度(v)；

-检测并且解释交通灯的当前状态；

-识别交通灯的当前状态的持续时间(t)；

-检测相关的停止线；

-获得停止线与车辆之间的距离(d)；并且

-根据交通灯的当前状态、交通灯的当前状态的持续时间(t)、交通停止线与车辆之间的距离(d)以及当前驾驶速度(v)来确定是否改变当前的驾驶速度。

根据本发明的方法检测交通灯状态和计数信息，并且使用这样的信息来规划和改变车辆的纵向行为(速度)。基于交通灯倒数信息，车辆可以识别交通灯的状态何时将改变，并且因此可以根据交通灯的当前状态、交通灯的当前状态的持续时间(t)、交通停止线与车辆之间的距离(d)以及当前驾驶速度(v)来调整驾驶速度。因此，可以实现燃料高效的刹车/停止以及十字路口前面的安全的且舒适的驾驶体验。而且，由于使用交通灯的持续时间信息，可以避免由车辆的突然停止引起的交通事故。

在一种可能的实现方式中，步骤“检测并且解释交通灯的当前状态”包括：

-在数字地图中找到交通灯，其中，交通灯与车辆的定位信息和驾驶路线相关；

-从数字地图获得交通灯的位置；

-通过使用图像传感器、根据交通灯的位置获得交通灯的图像；

-识别交通灯的颜色；并且

-基于交通灯的颜色，确定交通灯的当前状态是阻挡时间段、还是通过时间段。

车辆配备有数字导航地图，在该数字导航地图中预先存储了道路信息和交通灯(以及它们在各种驾驶车道和路线上的控制逻辑)。定位系统可以通知本车辆在该地图上的准确位置。基于这样的信息，根据本发明的方法决定哪个交通灯与其驾驶路线相关。然后，来自该地图的交通灯的位置和通过使用相机检测的交通灯的位置被投影到同一个坐标系中(例如要么是全局地图画面、本车辆画面，要么是相机图像画面)，并且可以通过将来自所述地图的交通灯与交通灯的检测图像进行比较来执行来自所述地图的交通灯和真实环境之间的最佳匹配。一旦最佳匹配被找到，就可以通过使用车辆的定位和所述地图中的对应的交通灯信息来找到相关的交通灯，所述相关的交通灯指示用于车辆的相关交通控制信息。

在另一可能的实现方式中，步骤“识别交通灯的当前状态的持续时间(t)”包括：

-在交通灯的图像中检测交通灯的计时器；并且

-通过检测并且识别交通灯的倒数计时器来获得交通灯的当前状态的持续时间(t)，其中，倒数计时器指示交通灯的当前状态的持续时间。

所述倒数计数器是针对向行人和人类驾驶员指示交通灯的当前状态的持续时间(t)。根据本发明，数字倒数计时信息由相机系统检测，并且数字通过图像识别算法来识别。因此，车辆还可以通过识别交通灯所示的当前状态的持续时间信息利用这样的信息来规划驾驶策略。此外，根据本发明，在现有的交通灯上不需要附加的装置或基础设施改变。

在一种进一步的可能的实现方式中，步骤“检测相关的停止线”包括：

-从所述数字地图获得相关的停止线的位置，其中，所述相关的停止线是与交通灯和车辆的驾驶路线相关的停止线。

在一种进一步的可能的实现方式中，步骤“获得停止线与车辆之间的距离(d)”包括：

-基于车辆的定位信息和停止线的位置来计算车辆和停止线之间的距离(d)。

在进一步的可能的实现方式中，步骤“根据交通灯的当前状态、交通灯的当前状态的持续时间(t)、交通停止线与车辆之间的距离(d)以及当前驾驶速度(v)来确定是否改变当前驾驶速度”包括：

-在交通灯的当前状态是阻挡时间段的情况下，如果v>d/t，则确定驾驶速度必须被降低；和/或

-在交通灯的当前状态是通过时间段的情况下，如果v>d/t，则确定驾驶速度应保持高于d/t。

根据另一个方面，提供了一种用于确定车辆的驾驶策略的数据处理装置。所述用于确定车辆的驾驶策略的数据处理装置包括：

-定位信息获得模块，所述定位信息获得模块配置为获得车辆的定位信息；

-路线获得模块，所述路线获得模块配置为获得车辆的驾驶路线；

-速度获得模块，所述速度获得模块配置为获得车辆的当前驾驶速度(v)；

-交通灯检测和解释模块，所述交通灯检测和解释模块配置为检测交通灯的当前状态；

-持续时间识别模块，所述持续时间识别模块配置为识别交通灯的当前状态的持续时间(t)；

-停止线检测模块，所述停止线检测模块配置为检测相关的停止线；

-距离获得模块，所述距离获得模块配置为获得停止线与车辆之间的距离(d)；以及

-确定模块，所述确定模块配置为根据交通灯的当前状态、交通灯的当前状态的持续时间(t)、交通停止线与车辆之间的距离(d)以及当前驾驶速度(v)来改变当前驾驶速度。

在一种可能的实现方式中，所述交通灯检测和解释模块(204)被进一步配置为：

-在数字地图中找到交通灯，其中，交通灯与车辆的定位信息和驾驶路线相关；

-从数字地图获得交通灯的位置；

-通过使用图像传感器根据交通灯的位置获得交通灯的图像；

-识别交通灯的颜色；并且

-基于交通灯的颜色，确定交通灯的当前状态是阻挡时间段、还是通过时间段。

在一种进一步的可能的实现方式中，所述持续时间识别模块被进一步配置为：

-在交通灯的图像中检测交通灯的计时器；并且

-通过检测并且识别交通灯的倒数计时器来获得交通灯的当前状态的持续时间(t)，其中，倒数计时器指示交通灯的当前状态的持续时间。

在一种进一步的可能的实现方式中，所述停止线检测模块被进一步配置为从所述数字地图获得相关的停止线的位置，其中，所述相关的停止线是与交通灯和车辆的驾驶路线相关的停止线。

在一种进一步的可能的实现方式中，所述距离获得模块被进一步配置为基于车辆的定位信息和停止线的位置来计算车辆和停止线之间的距离(d)。

在一种进一步的可能的实现方式中，所述确定模块被进一步配置为：

-在交通灯的当前状态是阻挡时间段的情况下，如果v>d/t，则确定驾驶速度必须被降低；和/或

-在交通灯的当前状态是通过时间段的情况下，如果v>d/t，则确定驾驶速度应保持高于d/t。

根据另一方面，提供了一种用于确定车辆的驾驶策略的系统。所述系统包括以上提及的数据处理装置、至少一个图像传感器、数字地图和定位模块。

根据另一进一步的方面，提供了一种包括以上提及的系统的车辆。

基于交通灯倒数信息，当交通灯的状态将变为下一状态时，车辆可以得到所述信息，因此可以根据交通灯的当前状态、交通灯的当前状态的持续时间(t)、交通停止线与车辆之间的距离(d)以及当前驾驶速度(v)来预见性地调整驾驶速度。因此，可以实现燃料高效的刹车/停止以及十字路口前面的安全的且舒适的驾驶体验。而且，由于使用交通灯的持续时间信息，可以避免由车辆的突然停止引起的交通事故。

而且，本发明使用用于指示行人和人类驾驶员的信息来规划驾驶策略，这不需要进一步的基础设施要求、例如用于现有的交通灯的v2x通信设备。

附图说明

为了更清楚地描述本发明的实施例中的技术解决方案，以下简要地介绍了描述实施例所需的附图。显然，以下描述中的附图仅示出了本发明的一些实施例，并且本领域的普通技术人员仍可以在没有创造性的努力的情况下从这些附图推导另外的附图。

图1示出本发明的一种可能的应用场景；

图2是根据本发明的方法的一种实施例的示意图；

图3是根据本发明的数据处理装置的一种实施例的示意图；

图4是交通灯检测和数字识别处理的框图；

图5a和5b示出具有倒数计时器的交通灯的例子。

具体实施方式

下面参照本发明的实施例中的附图清楚地且完整地描述了本发明的实施例中的技术解决方案。显然，所描述的实施例是本发明的一些、但不是所有的实施例。本领域的普通技术人员在没有创造性的努力的情况下基于本发明的实施例获得的所有其他的实施例应落入在本发明的保护范围内。

图1例示说明汽车10、交通灯20以及与交通灯20和汽车10相对应的停止线30。图像记录装置11(例如相机和摄像机)装配在汽车10上并且配置为感测并且记录汽车10的环境的图像数据。

交通灯包括灯部分21，所述灯部分通过示出不同的颜色以及箭头形状的指令来指示不同的交通状态。例如，红色灯指示阻挡时间段，绿色灯指示通过时间段。交通灯进一步包括指示当前状态的持续时间t的显示器22，尤其是显示器可以示出指示交通灯的当前状态仍持续多少秒的倒数。如图1所示，汽车10正在以速度v朝向交通灯20以及停止线30驾驶。

汽车上的相机11接收并且记录交通灯20和停止线30的图像，然后向驾驶策略确定模块提供对应的传感器数据。

图2示出根据本发明的用于确定车辆的驾驶策略的方法100的框图。

在步骤101中，从车载定位系统(例如gps或自定位模块)获得车辆的定位信息。

在步骤102中，可以从车载导航模块获得包括驾驶路线规划的导航信息。

在步骤103中，从速度传感器接收车辆的当前驾驶速度v。

在步骤104和105中，将从具有倒数计时器的交通灯接收交通控制信息的任务划分为两个部分，其中，第一部分处理交通灯的检测。通过用使用阈值化的颜色分割提取交通灯和计时器显示器的候选区域来检测改变的交通灯。通过比较作为阈值化的结果而获得的红色像素计数与绿色像素计数来检测主要交通灯。第二部分用通过水平和垂直扫描而被分割和提取的颜色分割来识别计时器显示器(例如led)中的数字。然后将提取的图像的大小调整为标准大小，该图像然后被转换为其二进制形式，并且将静态宽度的边界框放置在提取的led的每段的上方。对于所有的段获得每个led段的开/关状态，并且基于每个led段状态的不同组合，可以识别数字。因此，可以在合理的时间内检测并且识别主导的交通灯和信号计时。

根据步骤104，检测并且解释交通灯的当前状态。尤其是，车辆配备有数字导航地图，在该数字导航地图中，预先存储了道路信息和交通灯(以及它们在各种驾驶车道和路线上的控制逻辑)。定位系统可以通知本车辆在该地图上的位置。基于这样的信息，根据本发明的方法决定哪个交通灯与其驾驶路线相关。

用于确定车辆的驾驶策略的数据处理装置在数字导航地图中找到交通灯，其中，交通灯与车辆的定位信息和驾驶路线相关，然后从数字地图获得交通灯的位置。可以通过使用图像传感器(例如相机或摄像机)来根据交通灯的位置获取交通灯的图像。然后，来自该地图的交通灯的位置和通过使用相机检测的交通灯的位置被投影到同一个坐标系中(例如要么是全局地图画面、本车辆画面，要么是相机图像画面)，并且可以通过将来自所述地图的交通灯与交通灯的图像进行比较来执行来自所述地图的交通灯和真实环境之间的最佳匹配。一旦最佳匹配被找到，就可以通过使用车辆的定位和所述地图中的对应的交通灯信息来找到相关的交通灯，所述相关的交通灯指示用于车辆的相关的交通控制信息。

此外，将通过使用交通灯的图像的颜色分割来识别交通灯的颜色；然后，可以根据交通灯的颜色来确定交通灯的当前状态，其中，通常，红色指示道路/十字路口的阻挡时间段，而绿灯意味着通过时间段。

在步骤105中，识别交通灯的当前状态的持续时间(t)，从而在交通灯的图像中检测交通灯的计时器。尤其是，可以根据交通灯的图像来检测并且识别交通灯的当前状态的持续时间(t)，所述交通灯的图像包括交通灯的倒数计时器的图像。可以用通过水平和垂直扫描而被分割和提取的颜色分割来识别计时器显示器(例如led)中的数字。然后将提取的图像的大小调整为标准大小，该图像然后被转换为其二进制形式，并且将静态宽度的边界框放置在提取的led的每段的上方。对于所有的段获得每个led段的开/关状态，并且基于每个led段状态的不同组合，可以识别数字。因此，可以在合理的时间内检测并且识别主导的交通灯和信号计时。

图4示出交通灯检测和数字识别处理的框图。交通灯检测是通过输入图像的基于r、g、b颜色阈值化的颜色分割进行的。主导的发光的交通灯可以通过该方法被非常好地识别，而不管交通灯的大小和形状如何。交通灯中的一些还包括用于倒数计时器的led显示器。交通灯上的这些计时器对于驾驶员和行人是有用的，以便规划在灯变红之前是否有足够的时间尝试穿过十字路口以及反过来灯变绿之前的时间量。显示器中的数字被分割并且被识别。

阈值化可以提供基于图像的前景区域和背景区域中的不同的强度或颜色来执行分割的容易且方便的方式。另外，检查图像的哪些区域由其值位于指定范围或强度带或颜色带内的像素组成。重要的像素被分离。因此，可以通过设置阈值来识别输入图像中的红灯、黄灯和绿灯的存在。

一旦颜色分割完成，就将红色像素的总数与绿色像素的总数进行比较，然后基于相应颜色的像素的计数得出结论。

为了从交通灯的先前获得的图像提取数字(交通信号中的计时器值)，水平地和垂直地进行分割。

在步骤106中，通过使用图像传感器(例如相机)来检测相关的停止线。尤其是，可以从数字地图获得相关的停止线的位置，其中，所述相关的停止线是与交通灯和车辆的驾驶路线相关的停止线。

车辆配备有数字导航地图，在该数字导航地图中预先存储了道路信息和交通灯(以及它们在各种驾驶车道和路线上的控制逻辑)。定位系统可以通知本车辆在该地图上的准确位置。基于这样的信息，根据本发明的方法决定哪个停止线与其驾驶路线和检测到的交通灯相关。然后，可以从所述地图获得停止线的位置。一旦所述相关的停止线的位置/定位被获得，就根据步骤107，可以根据车辆的定位以及所述相关的停止线的位置/定位来计算停止线与车辆之间的距离(d)。

在步骤108中，可以根据交通灯的当前状态、交通灯的当前状态的持续时间(t)、交通停止线与车辆之间的距离(d)以及当前驾驶速度(v)来确定是否改变当前驾驶速度并且决定新的合适的驾驶速度。

在交通灯的当前状态是阻挡时间段的情况下，车辆必须根据速度和阻挡时间段的持续时间来决定它是否将受到红色交通灯的影响。尤其是，如果v>d/t，则车辆不能通过阻挡区域并且必须在停止线前面停下来。因此，在这种情况下，驾驶速度太快并且应被降低。

在交通灯的当前状态是通过时间段的情况下，车辆必须确定倒数计时器所示的时间是否足够通过交通灯。尤其是，如果v>d/t，则车辆可以通过以速度v驾驶来通过阻挡区域，而不必在停止线的前面停下来。因此，在这种情况下，驾驶速度应保持高于d/t，以使得车辆可以在交通灯的通过时间段期间通过停止线。

图4示出根据本发明的数据处理装置200的示意图。数据处理装置200可以在车辆或机器人中实现。

数据处理装置200可以实现以上提及的用于确定车辆的驾驶策略的方法。数据处理装置200包括：定位信息获得模块201，其配置为获得车辆的定位信息；路线获得模块202，其配置为获得车辆的驾驶路线；速度获得模块203，其配置为获得车辆的当前驾驶速度v；交通灯检测和解释模块204，其配置为检测交通灯的当前状态；持续时间识别模块205，其配置为识别交通灯的当前状态的持续时间t；停止线检测模块206，其配置为检测相关的停止线；距离获得模块207，其配置为获得停止线与车辆之间的距离d；以及确定模块208，其配置为根据交通灯的当前状态、交通灯的当前状态的持续时间t、交通停止线与车辆之间的距离d以及当前驾驶速度v来确定是否改变当前的驾驶速度。

交通灯检测和解释模块204进一步配置为：在数字地图中找到交通灯，其中，交通灯与车辆的定位信息和驾驶路线相关；从数字地图获得交通灯的位置；通过使用图像传感器来根据交通灯的位置获取交通灯的图像；识别交通灯的颜色；并且基于交通灯的颜色来确定交通灯的当前状态是阻挡时间段、还是通过时间段。

持续时间识别模块205进一步配置为：在交通灯的图像中检测交通灯的计时器；并且通过检测并且识别交通灯的倒数计时器来获得交通灯的当前状态的持续时间t，其中，倒数计时器指示交通灯的当前状态的持续时间。

此外，停止线检测模块206配置为从所述数字地图获得相关的停止线的位置，其中，所述相关的停止线是与交通灯和车辆的驾驶路线相关的停止线。

距离获得模块207进一步配置为基于车辆的定位信息和停止线的位置来计算车辆和停止线之间的距离(d)。

而且，确定模块208进一步配置为：在交通灯的当前状态是阻挡时间段的情况下，如果v>d/t，则确定驾驶速度必须被降低；和/或在交通灯的当前状态是通过时间段的情况下，如果v>d/t，则确定驾驶速度应保持高于d/t。

一种用于执行确定车辆的驾驶策略的方法的系统包括以上提及的数据处理装置、至少一个图像传感器(例如相机、摄像机和立体相机)、数字地图和定位模块。

图5a和5b示出具有倒数计时器的交通灯20的例子。倒数计时器22可以如图5a中所示那样被布置在交通灯21的下面，但是也可以如图5b中所示那样被挨着交通灯21布置。