用于模仿前车的系统和方法与流程

文档序号:20190006发布日期:2020-03-27 19:33阅读:156来源:国知局
用于模仿前车的系统和方法与流程

本申请是申请日为2014年12月4日,申请号为201480074153.9(pct/ib2014/003151),发明名称为“用于模仿前车的系统和方法”的专利申请的分案申请。

所述本公开总体涉及自主车辆导航,更具体地,涉及使用相机提供自主车辆导航特征的系统和方法。



背景技术:

随着技术的不断进步,能够在道路上导航的完全自主车辆的目标是即将达到。首先,自主车辆能够识别其环境并且在无操作人员输入的情况下导航。自主车辆还可考虑各种因素并且基于这些因素做出适当的决定,以安全而准确地到达预期目的地。例如,当车辆惯常地在道路上行进时会遇到诸如其它车辆和行人的各种对象。自主驱动系统可在车辆环境中辨识这些对象,并且采取适当的而及时的动作来避免碰撞。另外,自主驱动系统可识别其它指示器,诸如交通信号、交通标志和车道标记,所述其它指示器规范车辆移动(例如,当车辆必须停止以及可行驶时,车辆不能超过的速度,车辆必须定位在道路上,等等)。自主驱动系统可能需要确定车辆何时应该变道、路口转弯、改变道路,等等。根据这些示例显而易见的是,许多因素可能需要解决,以便提供能够安全而准确地导航的自主车辆。



技术实现要素:

与本公开相一致的实施方式提供用于自主车辆导航的系统和方法。公开的实施方式可使用相机来提供自主车辆导航特征。例如,与公开的实施方式相一致,公开的系统可包括一个、两个或更多个相机,用于监测车辆环境并且基于对由所述相机中的一个或多个捕获的图像的分析来产生导航响应。

与公开的实施方式相一致,提供了一种用于车辆的驾驶员辅助导航系统。所述系统可包括:至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;根据所述多个图像确定在所述车辆的第一侧上的第一车道约束;根据所述多个图像确定与在所述车辆的所述第一侧相反的所述车辆的第二侧上的第二车道约束,其中所述第一车道约束和第二车道约束限定所述车辆行进的车道,并且其中第一距离对应于所述车辆的所述第一侧与所述第一车道约束之间的距离,并且第二距离对应于所述车辆的所述第二侧与所述第二车道约束之间的距离;基于所述多个图像来确定车道偏移条件是否存在于所述车辆的所述第一侧上;如果车道偏移条件存在于所述车辆的所述第一侧上,则致使所述车辆在所述第一车道约束和第二车道约束内行进,使得所述第一距离大于所述第二距离;基于所述多个图像来确定车道偏移条件是否存在于所述车辆的所述第二侧上;并且如果车道偏移条件存在于所述车辆的所述第二侧上,则致使所述车辆在所述第一车道约束和第二车道约束内行进,使得所述第一距离小于所述第二距离。

与公开的实施方式相一致,所述至少一个处理装置可进一步构造成如果基于所述多个图像确定车道偏移条件存在于所述车辆的所述第一侧和第二侧两者上,则致使所述第一距离与所述第二距离大致相同。所述至少一个处理装置可构造成基于所述多个图像来确定车道偏移条件是否基本上不存在,并且如果所述车道偏移条件基本上不存在,则致使所述车辆在所述第一车道约束和第二车道约束内行进,使得所述第一距离基本上等于所述第二距离。如果所述驾驶员辅助导航系统确定车道偏移条件存在,则所述至少一个处理装置可构造成致使所述第一距离比所述第二距离大至少1.25倍。替代地,所述至少一个处理装置可进一步构造成致使所述第一距离比所述第二距离大至少2倍。如果所述驾驶员辅助导航系统确定所述车道偏移条件包括弯路,则所述至少一个处理装置可构造成致使所述车辆在所述第一车道约束和第二车道约束内行进,使得所述第一距离朝向弯道的相对于所述车辆的外侧,并且所述第二距离朝向所述弯道的相对于所述车辆的内侧。如果所述驾驶员辅助导航系统确定所述车道偏移条件包括在所述车道的一侧上存在一个或多个对象,则所述至少一个处理装置可构造成致使所述车辆在所述第一车道约束和第二车道约束内行进,使得朝向所述一个或多个对象提供大于所述第二距离的所述第一距离。所述一个或多个对象可包括停放的车、墙和/或行人,并且可具有距路面大于10cm的高度。所述第一车道约束和第二车道约束中的至少一个可包括标记在路面上的线、路面的路边或者路面宽度的确定的中点。确定车道偏移条件是否存在于所述车辆的所述第一侧可基于目标对象在所述车辆的所述第一侧上的位置来执行。致使所述车辆在所述第一车道约束和第二车道约束内行进使得所述第一距离大于所述第二距离可基于所述车辆的驾驶员的输入而撤销。

与另一公开的实施方式相一致,一种车辆可包括:第一车辆侧;与所述第一车辆侧相反的第二车辆侧;至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;根据所述多个图像确定在所述第一车辆侧上的第一车道约束;根据所述多个图像确定在所述第二车辆侧上的第二车道约束,其中所述第一车道约束和第二车道约束限定所述车辆行进的车道,并且其中第一距离对应于所述第一车辆侧与所述第一车道约束之间的距离,并且第二距离对应于所述第二车辆侧与所述第二车道约束之间的距离;基于所述多个图像来确定车道偏移条件是否存在于所述第一车辆侧上;如果车道偏移条件存在于所述第一车辆侧上,则致使所述车辆在所述第一车道约束和第二车道约束内行进,使得所述第一距离大于所述第二距离;基于所述多个图像来确定车道偏移条件是否存在于所述第二车辆侧上;并且如果车道偏移条件存在于所述第二车辆侧上,则致使所述车辆在所述第一车道约束和第二车道约束内行进,使得所述第一距离小于所述第二距离。

与公开的实施方式相一致,所述至少一个处理装置可进一步构造成如果基于所述多个图像确定车道偏移条件存在于所述第一车辆侧和第二车辆侧两者上,则致使所述第一距离与所述第二距离大致相同。所述至少一个处理装置可构造成基于所述多个图像来确定车道偏移条件是否基本上不存在,并且如果所述车道偏移条件基本上不存在,则致使所述车辆在所述第一车道约束和第二车道约束内行进,使得所述第一距离基本上等于所述第二距离。所述车道偏移条件可包括弯路,并且所述至少一个处理装置可构造成致使所述车辆在所述第一车道约束和第二车道约束内行进,使得所述第一距离朝向弯道的相对于所述车辆的外侧,并且所述第二距离朝向所述弯道的相对于所述车辆的内侧。所述车道偏移条件可包括在所述车道的一侧上存在一个或多个对象,并且所述至少一个处理装置可构造成致使所述车辆在所述第一车道约束和第二车道约束内行进,使得朝向所述一个或多个对象提供大于所述第二距离的所述第一距离。所述第一车道约束和第二车道约束中的至少一个可包括路面的路边和/或路面宽度的确定的中点。确定车道偏移条件是否存在于所述车辆的第一侧可基于目标对象在所述车辆的第一侧上的位置来执行。致使所述车辆在所述第一车道约束和第二车道约束内行进使得所述第一距离大于所述第二距离可基于所述车辆的驾驶员的输入而撤销。

与另一公开的实施方式相一致,提供了一种用于导航车辆的方法。所述方法可包括:使用至少一个图像捕获装置来获取车辆附近区域的多个图像;根据所述多个图像确定所述车辆的第一侧上的第一车道约束;根据所述多个图像确定与所述车辆的所述第一侧相反的所述车辆的第二侧上的第二车道约束,其中所述第一车道约束和第二车道约束限定所述车辆行进的车道,并且其中第一距离对应于所述车辆的所述第一侧与所述第一车道约束之间的距离,并且第二距离对应于所述车辆的所述第二侧与所述第二车道约束之间的距离;基于所述多个图像来确定车道偏移条件是否存在于所述车辆的所述第一侧上;如果车道偏移条件存在于所述车辆的所述第一侧上,则致使所述车辆在所述第一车道约束和第二车道约束内行进,使得所述第一距离大于所述第二距离;基于所述多个图像来确定车道偏移条件是否存在于所述车辆的所述第二侧上;以及如果车道偏移条件存在于所述车辆的所述第二侧上,则致使所述车辆在所述第一车道约束和第二车道约束内行进,使得所述第一距离小于所述第二距离。

与公开的实施方式相一致,提供了一种用于车辆的驾驶员辅助导航系统。所述系统可包括:至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;根据所述多个图像确定多个可用行进车道之中的当前行进车道;以及如果所述当前行进车道与预定的默认行进车道不相同则致使所述车辆变道。

与公开的实施方式相一致,所述预定的默认行进车道可以是所述多个可用行进车道之中的最右车道。所述至少一个处理装置可构造成在致使所述车辆变道之前激活转向信号。所述至少一个处理装置可构造成在致使所述车辆变道之前产生语音通知。所述至少一个处理装置可构造成在致使所述车辆变道之前产生语音指示。可基于所述车辆附近区域的所述多个图像、基于从全球定位系统接收的数据和/或基于从用户接收的输入来确定所述预定的默认行进车道。

与另一公开的实施方式相一致,一种车辆可包括:主体;至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;根据所述多个图像确定多个可用行进车道之中的当前行进车道;以及如果所述当前行进车道与预定的默认行进车道不相同则致使所述车辆变道。

与公开的实施方式相一致,所述预定的默认行进车道可以是所述多个可用行进车道之中的最右车道。所述至少一个处理装置可构造成在致使所述车辆变道之前激活转向信号。所述至少一个处理装置可构造成在致使所述车辆变道之前产生语音通知。所述至少一个处理装置可构造成在致使所述车辆变道之前产生语音指示。可基于所述车辆附近区域的所述多个图像、基于从全球定位系统接收的数据和/或基于从用户接收的输入来确定所述预定的默认行进车道。

与另一公开的实施方式相一致,提供了一种用于导航车辆的方法。所述方法可包括:使用至少一个图像捕获装置来获取车辆附近区域的多个图像;根据所述多个图像确定多个可用行进车道之中的当前行进车道;以及如果所述当前行进车道与预定的默认行进车道不相同则致使所述车辆变道。

与公开的实施方式相一致,所述预定的默认行进车道可以是所述多个可用行进车道之中的最右车道。可在致使所述车辆变道之前激活转向信号。可基于所述车辆附近区域的所述多个图像来确定所述预定的默认行进车道。

与公开的实施方式相一致,提供了一种用于车辆的驾驶员辅助导航系统。所述系统可包括:至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;基于地图数据和车辆位置信息来辨识待导航的弯道;基于反映在所述地图数据中的弯道的至少一个特性来确定所述车辆的初始目标速度;将所述车辆的速度调整至所述初始目标速度;基于所述多个图像来确定弯道的观察到的一个或多个特性;基于所述弯道的观察到的一个或多个特性来确定更新的目标速度;以及将所述车辆的速度调整至所述更新的目标速度。

与公开的实施方式相一致,所述弯道的至少一个特性可包括根据所述地图数据确定的所述弯道的预期曲率半径。所述初始目标速度可基于所述弯道的所述预期曲率半径和侧向加速极限来确定。所述侧向加速极限可介于约0.2米/秒2到3.0米/秒2之间。替代地,所述侧向加速极限可介于约1.5米/秒2到3.0米/秒2之间。所述侧向加速极限可基于由所述多个图像确定的道路宽度来调整。所述弯道的观察到的一个或多个特性可包括通过分析所述多个图像确定的所述弯道的实际曲率半径。所述更新的目标速度可基于所述弯道的所述实际曲率半径和侧向加速极限来确定。所述弯道的观察到的一个或多个特性可包括通过分析所述多个图像确定的所述弯道的实际曲率半径的变化率。所述弯道的观察到的一个或多个特性可包括通过分析所述多个图像确定的与所述弯道关联的转弯倾斜度。所述弯道的观察到的一个或多个特性可包括通过分析所述多个图像确定的与由一个或多个道路标志传达的所述弯道相关的信息。所述初始目标速度还可基于所述至少一个图像捕获装置的焦距范围。所述初始目标速度还可基于确定交通灯是否沿着所述弯道定位。所述初始目标速度还可基于确定交通灯是否位于所述弯道之后的预定距离内。

与另一公开的实施方式相一致,一种车辆可包括:主体;至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;基于地图数据和车辆位置信息来辨识待导航的弯道;基于反映在所述地图数据中的弯道的至少一个特性来确定所述车辆的初始目标速度;将所述车辆的速度调整至所述初始目标速度;基于所述多个图像来确定弯道的观察到的一个或多个特性;基于所述弯道的观察到的一个或多个特性来确定更新的目标速度;以及将所述车辆的速度调整至所述更新的目标速度。

与公开的实施方式相一致,所述弯道的至少一个特性可包括根据所述地图数据确定的所述弯道的预期曲率半径。所述初始目标速度可基于所述弯道的所述预期曲率半径和侧向加速极限来确定。所述侧向加速极限可基于由所述多个图像确定的道路宽度来调整。所述弯道的观察到的一个或多个特性可包括通过分析所述多个图像确定的所述弯道的实际曲率半径。所述更新的目标速度可基于所述弯道的所述实际曲率半径和侧向加速极限来确定。所述弯道的观察到的一个或多个特性可包括通过分析所述多个图像确定的所述弯道的实际曲率半径的变化率。所述弯道的观察到的一个或多个特性可包括通过分析所述多个图像确定的与所述弯道关联的转弯倾斜度。所述弯道的观察到的一个或多个特性可包括通过分析所述多个图像确定的与由一个或多个道路标志传达的所述弯道相关的信息。所述初始目标速度还可基于所述至少一个图像捕获装置的焦距范围。所述初始目标速度还可基于确定交通灯是否沿着所述弯道定位。所述初始目标速度还可基于确定交通灯是否位于所述弯道之后的预定距离内。

与另一公开的实施方式相一致,提供了一种用于导航车辆的方法。所述方法可包括:使用至少一个图像捕获装置来获取车辆附近区域的多个图像;基于地图数据和车辆位置信息来辨识待导航的弯道;基于反映在所述地图数据中的弯道的至少一个特性来确定所述车辆的初始目标速度;将所述车辆的速度调整至所述初始目标速度;基于所述多个图像来确定弯道的观察到的一个或多个特性;基于所述弯道的观察到的一个或多个特性来确定更新的目标速度;以及将所述车辆的速度调整至所述更新的目标速度。

与公开的实施方式相一致,提供了一种用于主车辆的驾驶员辅助导航系统。所述系统可包括:至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取主车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;根据所述多个图像中的至少一些图像来确定所述主车辆的第一侧上的第一车道约束;根据所述多个图像中的至少一些图像来确定与所述主车辆的所述第一侧相反的所述主车辆的第二侧上的第二车道约束,其中所述第一车道约束和第二车道约束限定所述主车辆行进的车道;致使所述主车辆在所述第一车道约束和第二车道约束内行进;在所述多个图像中定位前车;基于所述多个图像来确定所述前车采取的至少一个动作;以及致使所述主车辆模仿所述前车的所述至少一个动作。

与公开的实施方式相一致,所述第一车道约束和第二车道约束中的至少一个可包括标记在路面上的线。所述第一车道约束和第二车道约束中的至少一个可包括路面的路边。所述第一车道约束和第二车道约束中的至少一个可包括路面宽度的确定的中点。所述前车采取的所述至少一个动作可包括转弯,并且所述至少一个处理装置可致使所述主车辆执行开始于所述前车启动其转弯的地点处的类似转弯。所述前车采取的所述至少一个动作可包括加速。所述前车采取的所述至少一个动作可包括制动。所述前车采取的所述至少一个动作可包括在所述前车的邻近所述第一车道约束的那一侧提供第一偏移距离,所述第一偏移距离不同于所述前车的邻近所述第二车道约束的那一侧的第二偏移距离。所述至少一个处理装置可进一步构造成基于所述多个图像或者基于地图数据和位置信息来确定所述前车是否在路口处转弯,并且如果确定所述前车是在路口处转弯,则拒绝模仿所述前车的所述转弯。所述至少一个处理装置可构造成基于所述多个图像或者基于地图数据和位置信息来确定所述前车是否在路口处转弯、确定所述前车是否在所述路口内变道,如果确定所述前车是在路口处转弯并且在所述路口内不变道则模仿所述前车的所述转弯,并且如果确定所述前车是在路口处转弯但在所述路口内变道则拒绝模仿所述前车的所述转弯。所述至少一个处理装置可构造成:基于所述多个图像来获取第一前车,基于所述多个图像来获取第二前车,并且如果基于所述多个图像确定所述第一前车继续行进的路径的转弯半径小于所述第二前车跟随的路径,则致使所述主车辆模仿所述第一前车。所述至少一个处理装置可构造成:确定所述前车的位置信息并且将所述位置信息与预定地图数据比较,通过跟踪所述前车相对于所述预定地图数据的移动为所述前车创建导航历史,并且基于所述前车的所述导航历史来确定是否致使所述主车辆模仿所述前车的所述至少一个动作。所述至少一个处理装置可构造成:当所述导航历史指示所述前车已成功导航至少一个前转弯时,甚至在基于所述多个图像未检测到转弯的情况下,致使所述主车辆模仿所述前车的转弯。

与另一公开的实施方式相一致,一种主车辆可包括:主体;至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取主车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;根据所述多个图像中的至少一些图像来确定在所述主车辆的第一侧上的第一车道约束;根据所述多个图像中的至少一些图像来确定在与所述主车辆的所述第一侧相反的所述主车辆的第二侧上的第二车道约束,其中所述第一车道约束和第二车道约束限定所述主车辆行进的车道;致使所述主车辆在所述第一车道约束和第二车道约束内行进;在所述多个图像中定位前车;基于所述多个图像来确定所述前车采取的至少一个动作;以及致使所述主车辆模仿所述前车的所述至少一个动作。

与公开的实施方式相一致,所述第一车道约束和第二车道约束中的至少一个可包括标记在路面上的线。所述第一车道约束和第二车道约束中的至少一个可包括路面的路边。所述第一车道约束和第二车道约束中的至少一个可包括路面宽度的确定的中点。所述前车采取的所述至少一个动作可包括转弯,并且所述至少一个处理装置可致使所述主车辆执行开始于所述前车启动其转弯的地点处的类似转弯。所述前车采取的所述至少一个动作可包括加速。所述前车采取的所述至少一个动作可包括制动。所述前车采取的所述至少一个动作可包括在所述前车的邻近所述第一车道约束的那一侧提供第一偏移距离,所述第一偏移距离不同于所述前车的邻近所述第二车道约束的那一侧的第二偏移距离。所述至少一个处理装置可进一步构造成基于所述多个图像或者基于地图数据和位置信息来确定所述前车是否在路口处转弯,并且如果确定所述前车是在路口处转弯,则拒绝模仿所述前车的所述转弯。所述至少一个处理装置可构造成基于所述多个图像或者基于地图数据和位置信息来确定所述前车是否在路口处转弯、确定所述前车是否在所述路口内变道,如果确定所述前车是在路口处转弯并且在所述路口内不变道则模仿所述前车的所述转弯,并且如果确定所述前车是在路口处转弯但在所述路口内变道则拒绝模仿所述前车的所述转弯。所述至少一个处理装置可构造成:基于所述多个图像来获取第一前车,基于所述多个图像来获取第二前车,并且如果基于所述多个图像确定所述第一前车继续行进的路径的转弯半径小于所述第二前车跟随的路径,则致使所述主车辆模仿所述第一前车。所述至少一个处理装置可构造成:确定所述前车的位置信息并且将所述位置信息与预定地图数据比较,通过跟踪所述前车相对于所述预定地图数据的移动为所述前车创建导航历史,并且基于所述前车的所述导航历史来确定是否致使所述主车辆模仿所述前车的所述至少一个动作。所述至少一个处理装置可构造成:当所述导航历史指示所述前车已成功导航至少一个前转弯时,甚至在基于所述多个图像未检测到转弯的情况下,致使所述主车辆模仿所述前车的转弯。

与另一公开的实施方式相一致,提供了一种用于导航主车辆的方法。所述方法可包括:使用至少一个图像捕获装置来获取主车辆附近区域的多个图像;根据所述多个图像中的至少一些图像来确定在所述主车辆的第一侧上的第一车道约束;根据所述多个图像中的至少一些图像来确定在与所述主车辆的所述第一侧相反的所述主车辆的第二侧上的第二车道约束,其中所述第一车道约束和第二车道约束限定所述主车辆行进的车道;致使所述主车辆在所述第一车道约束和第二车道约束内行进;在所述多个图像中定位前车;基于所述多个图像来确定所述前车采取的至少一个动作;以及致使所述主车辆模仿所述前车的所述至少一个动作。

与公开的实施方式相一致,提供了一种用于用户车辆的驾驶员辅助导航系统。所述系统可包括:至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取用户车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;根据所述多个图像确定在所述用户车辆的第一侧上的第一车道约束;根据所述多个图像确定在与所述用户车辆的所述第一侧相反的所述用户车辆的第二侧上的第二车道约束,其中所述第一车道约束和第二车道约束限定所述用户车辆行进的车道;基于所述多个图像来获取目标车辆;如果确定所述目标车辆行进的车道不同于所述用户车辆行进的车道则使所述用户车辆能够超越所述目标车辆;基于所述多个图像来监测所述目标车辆的位置;以及如果确定所述目标车辆正进入所述用户车辆行进的车道,则致使所述用户车辆在完成所述超越之前中止所述超越。

与公开的实施方式相一致,致使所述用户车辆中止所述超越的步骤可包括致使施加所述用户车辆中的制动器。致使所述用户车辆中止所述超越的步骤可包括产生语音通知。致使所述用户车辆中止所述超越的步骤可包括致使所述用户车辆停止加速。监测所述目标车辆的位置的步骤可包括估算所述目标车辆的速度。所述第一车道约束和第二车道约束中的至少一个可包括标记在路面上的线、路面的路边和/或路面宽度的确定的中点。

与另一公开的实施方式相一致,一种用户车辆可包括:至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取用户车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;根据所述多个图像确定在所述用户车辆的第一侧上的第一车道约束;根据所述多个图像确定在与所述用户车辆的所述第一侧相对的所述用户车辆的第二侧上的第二车道约束,其中所述第一车道约束和第二车道约束限定所述用户车辆行进的车道;基于所述多个图像来获取目标车辆;如果确定所述目标车辆行进的车道不同于所述用户车辆行进的车道则使所述用户车辆能够超越所述目标车辆;基于所述多个图像来监测所述目标车辆的位置;以及如果确定所述目标车辆正进入所述用户车辆行进的车道,则致使所述用户车辆在完成所述超越之前中止所述超越。

与公开的实施方式相一致,致使所述用户车辆中止所述超越可包括致使施加所述用户车辆中的制动器。致使所述用户车辆中止所述超越可包括产生语音通知。致使所述用户车辆中止所述超越可包括致使所述用户车辆停止加速。监测所述目标车辆的位置可包括估算所述目标车辆的速度。所述第一车道约束和第二车道约束中的至少一个可包括标记在路面上的线、路面的路边和/或路面宽度的确定的中点。

与另一公开的实施方式相一致,提供了一种用于导航用户车辆的方法。所述方法可包括:使用至少一个图像捕获装置来获取用户车辆附近区域的多个图像;根据所述多个图像确定在所述用户车辆的第一侧上的第一车道约束;根据所述多个图像确定与在所述用户车辆的所述第一侧相反的所述用户车辆的第二侧上的第二车道约束,其中所述第一车道约束和第二车道约束限定所述用户车辆行进的车道;基于所述多个图像来获取目标车辆;如果确定所述目标车辆行进的车道不同于所述用户车辆行进的车道则使所述用户车辆能够超越所述目标车辆;基于所述多个图像来监测所述目标车辆的位置;以及如果确定所述目标车辆正进入所述用户车辆行进的车道,则致使所述用户车辆在完成所述超越之前中止所述超越。

与公开的实施方式相一致,致使所述用户车辆中止所述超越的步骤可包括致使施加所述用户车辆中的制动器。致使所述用户车辆中止所述超越的步骤可包括致使所述用户车辆停止加速。所述第一车道约束和第二车道约束中的至少一个可包括标记在路面上的线、路面的路边和/或路面宽度的确定的中点。

与公开的实施方式相一致,提供了一种用于用户车辆的驾驶员辅助导航系统。所述系统可包括:至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取用户车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;根据所述多个图像确定在所述用户车辆的第一侧上的第一车道约束;根据所述多个图像确定在与所述用户车辆的所述第一侧相反的所述用户车辆的第二侧上的第二车道约束,其中所述第一车道约束和第二车道约束限定所述用户车辆行进的车道;基于所述多个图像来确定是否有侵入车辆从所述用户车辆的一侧接近;以及致使所述用户车辆维持当前速度并且在所述第一车道约束和第二车道约束内行进,使得在所述用户车辆的所述侵入车辆正接近的那一侧的第一距离大于第二距离。

与公开的实施方式相一致,所述至少一个处理装置可进一步构造成如果对所述多个图像的分析指示所述侵入车辆已越过至少一个碰撞阈值则致使所述用户车辆采取躲避动作。所述躲避动作可包括变道、变动路线和/或制动。所述至少一个碰撞阈值可包括在所述用户车辆与所述侵入车辆之间维持的最小预定距离。所述至少一个碰撞阈值可包括将要碰撞的时间。所述至少一个处理装置可构造成在完成所述躲避动作之后致使所述用户车辆返回到所述用户车辆最初行进的车道的中央。所述至少一个图像捕获装置可具有至少140度的视场。所述至少一个处理装置可构造成在响应于侵入车辆进行制动之后致使所述用户车辆恢复预设速度。所述至少一个处理装置可构造成致使所述用户车辆返回到所述第一车道约束和第二车道约束内的车道地点,使得在响应于侵入车辆而变动路线之后,所述用户车辆与所述第一车道约束之间的所述第一距离基本上等于所述用户车辆与所述第二车道约束之间的所述第二距离。

与另一公开的实施方式相一致,一种用户车辆可包括:至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取用户车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;根据所述多个图像确定在所述用户车辆的第一侧上的第一车道约束;根据所述多个图像确定在与所述用户车辆的所述第一侧相反的所述用户车辆的第二侧上的第二车道约束,其中所述第一车道约束和第二车道约束限定所述用户车辆行进的车道;基于所述多个图像来确定是否有侵入车辆从所述用户车辆的一侧接近;以及致使所述用户车辆维持当前速度并且在所述第一车道约束和第二车道约束内行进,使得在所述用户车辆的所述侵入车辆正接近的那一侧的第一距离大于第二距离。

与公开的实施方式相一致,所述至少一个处理装置可进一步构造成如果所述对多个图像的分析指示所述侵入车辆已越过至少一个碰撞阈值则致使所述用户车辆采取躲避动作。所述躲避动作可包括变道、变动路线和/或制动。所述至少一个碰撞阈值可包括在所述用户车辆与所述侵入车辆之间维持的最小预定距离。所述至少一个碰撞阈值可包括将要碰撞的时间。所述至少一个处理装置可构造成在完成所述躲避动作之后致使所述用户车辆返回到所述用户车辆最初行进的车道的中央。所述至少一个图像捕获装置可具有至少140度的视场。所述至少一个处理装置可构造成在响应于侵入车辆进行制动之后致使所述用户车辆恢复预设速度。所述至少一个处理装置可构造成致使所述用户车辆返回到所述第一车道约束和第二车道约束内的车道地点,使得在响应于侵入车辆而变动路线之后,所述用户车辆与所述第一车道约束之间的所述第一距离基本上等于所述用户车辆与所述第二车道约束之间的所述第二距离。

与另一公开的实施方式相一致,提供了一种用于导航用户车辆的方法。所述方法可包括:使用至少一个图像捕获装置来获取用户车辆附近区域的多个图像;根据所述多个图像确定在所述用户车辆的第一侧上的第一车道约束;根据所述多个图像确定在与所述用户车辆的所述第一侧相反的所述用户车辆的第二侧上的第二车道约束,其中所述第一车道约束和第二车道约束限定所述用户车辆行进的车道;基于所述多个图像来确定是否有侵入车辆从所述用户车辆的一侧接近;以及致使所述用户车辆维持当前速度并且在所述第一车道约束和第二车道约束内行进,使得在所述用户车辆的所述侵入车辆正接近的那一侧的第一距离大于第二距离。

与公开的实施方式相一致,提供了一种用于主车辆的驾驶员辅助导航系统。所述系统可包括:至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取主车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;识别所述多个图像内的目标对象;经由所述多个图像监测所述目标对象的运动以及所述主车辆与所述目标对象之间的距离;基于监测的运动以及所述主车辆与所述目标对象之间的距离来确定所述主车辆与所述目标对象之间的拦截时间的指示器;以及基于所述拦截时间与多个预定拦截阈值的比较来产生所述主车辆的响应。

与公开的实施方式相一致,所述目标对象可以是在与所述主车辆不同的车道中行进的目标车辆。所述拦截时间可基于由所述多个图像确定的被跟踪对象的速度的指示器。所述拦截时间可基于由所述多个图像确定的所述被跟踪对象的加速度的指示器。所述至少一个处理装置可进一步构造成确定所述目标对象是否在与所述主车辆相同的车道中行进,并且如果确定所述目标对象是在与所述主车辆不同的车道中行进则放弃所述主车辆的所述响应。确定所述目标对象是否在与所述主车辆相同的车道中行进可基于所述多个图像。确定所述目标对象是否在与所述主车辆相同的车道中行进可基于所述主车辆的预定地图数据或偏航率中的至少一者。如果拦截时间的所述指示器指示所述目标对象在相对于所述车辆的第一拦截阈值的外侧,则所述响应可基于与所述目标对象关联的平均运动轮廓。如果拦截时间的所述指示器指示所述目标对象在相对于所述车辆的所述第一拦截阈值与第二拦截阈值之间,则所述响应可基于所述目标对象的实际运动。如果拦截时间的所述指示器指示所述目标对象在所述第二拦截阈值内,则所述响应可包括紧急避让动作。所述紧急避让动作可包括变道和/或紧急制动。

与另一公开的实施方式相一致,一种主车辆可包括:主体;至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取主车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;识别所述多个图像内的目标对象;经由所述多个图像监测所述目标对象的运动以及所述主车辆与所述目标对象之间的距离;基于监测的运动以及所述主车辆与所述目标对象之间的距离来确定所述主车辆与所述目标对象之间的拦截时间的指示器;以及基于所述拦截时间与多个预定拦截阈值的比较来产生所述主车辆的响应。

与公开的实施方式相一致,所述目标对象可以是在与所述主车辆不同的车道中行进的目标车辆。所述拦截时间可基于由所述多个图像确定的被跟踪对象的速度的指示器。所述拦截时间可基于由所述多个图像确定的所述被跟踪对象的加速度的指示器。所述至少一个处理装置可进一步构造成确定所述目标对象是否在与所述主车辆相同的车道中行进,并且如果确定所述目标对象是在与所述主车辆不同的车道中行进则放弃所述主车辆的所述响应。确定所述目标对象是否在与所述主车辆相同的车道中行进可基于所述多个图像。确定所述目标对象是否在与所述主车辆相同的车道中行进可基于所述主车辆的预定地图数据或偏航率中的至少一者。如果拦截时间的所述指示器指示所述目标对象在相对于所述车辆的第一拦截阈值的外侧,则所述响应可基于与所述目标对象关联的平均运动轮廓。如果拦截时间的所述指示器指示所述目标对象在相对于所述车辆的所述第一拦截阈值与第二拦截阈值之间,则所述响应可基于所述目标对象的实际运动。如果拦截时间的所述指示器指示所述目标对象在所述第二拦截阈值内,则所述响应可包括紧急避让动作。所述紧急避让动作可包括变道和/或紧急制动。

与另一公开的实施方式相一致,一种用于导航主车辆的方法可包括:经由至少一个图像捕获装置获取主车辆附近区域的多个图像;识别所述多个图像内的目标对象;基于所述多个图像来监测所述目标对象的运动以及所述主车辆与所述目标对象之间的距离;基于监测的运动以及所述主车辆与所述目标对象之间的距离来确定所述主车辆与所述目标对象之间的拦截时间的指示器;以及基于所述拦截时间与多个预定拦截阈值的比较来产生所述主车辆的响应。

与公开的实施方式相一致,提供了一种用于车辆的驾驶员辅助导航系统。所述系统可包括:至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;基于所述多个图像的分析来识别用于停止所述车辆的触发器;以及基于识别的所述触发器,根据制动轮廓来致使所述车辆停止,如基于对所述多个图像的分析确定的,所述制动轮廓包括与第一减速率关联的第一区段、具有小于所述第一减速率的第二减速率的第二区段以及在接近目标停止地点时使制动水平降低的第三区段。

与公开的实施方式相一致,到达所述目标停止地点可伴随着制动压力的释放。所述触发器可包括对象。所述对象可包括所述车辆前方的另一车辆。所述触发器可包括交通灯信号、停止标志和/或限速标志。所述至少一个处理装置可进一步构造成提供识别所述触发器的语音通知。所述至少一个处理装置可构造成产生指示所述车辆正制动的语音通知。

与另一公开的实施方式相一致,一种车辆可包括:主体;至少一个图像捕获装置,所述至少一个图像捕获装置被构造成获取车辆附近区域的多个图像;数据接口;以及至少一个处理装置。所述至少一个处理装置可构造成:经由所述数据接口接收所述多个图像;基于对所述多个图像的分析来识别用于停止所述车辆的触发器;以及基于识别的所述触发器,根据制动轮廓来致使所述车辆停止,如基于所述多个图像的分析确定的,所述制动轮廓包括与第一减速率关联的第一区段、具有小于所述第一减速率的第二减速率的第二区段以及在接近目标停止地点时使制动水平降低的第三区段。

与公开的实施方式相一致,到达所述目标停止地点可伴随着制动压力的释放。所述触发器可包括对象。所述对象可包括所述车辆前方的另一车辆。所述触发器可包括交通灯信号、停止标志和/或限速标志。所述至少一个处理装置可进一步构造成提供识别所述触发器的语音通知。所述至少一个处理装置可构造成产生指示所述车辆正制动的语音通知。

与另一公开的实施方式相一致,提供了一种用于导航车辆的方法。所述方法可包括:经由至少一个图像捕获装置获取车辆附近区域的多个图像;基于对所述多个图像的分析来识别用于停止所述车辆的触发器;以及基于识别的所述触发器,根据制动轮廓来致使所述车辆停止,如基于所述多个图像的分析确定的,所述制动轮廓包括与第一减速率关联的第一区段、具有小于所述第一减速率的第二减速率的第二区段以及在接近目标停止地点时使制动水平降低的第三区段。

与其它公开的实施方式相一致,非临时性计算机可读的存储介质可存储程序指令,该程序指令由至少一个处理装置执行并且执行本文中描述的任何方法。

前面的总体描述和以下详细描述仅是示例性和说明性的并不限制权利要求书。

附图说明

并入本公开并构成本公开一部分的附图图示了各种公开的实施方式。在图中:

图1是与公开的实施方式相一致的示例性系统的概略表示。

图2a是包括与公开的实施方式相一致的系统的示例性车辆的概略侧视图表示。

图2b是与公开的实施方式相一致的图2a所示车辆和系统的概略顶视图表示。

图2c是包括与公开的实施方式相一致的系统的车辆的另一实施方式的概略顶视图表示。

图2d是包括与公开的实施方式相一致的系统的车辆的又一实施方式的概略顶视图表示。

图2e是包括与公开的实施方式相一致的系统的车辆的又一实施方式的概略顶视图表示。

图2f是与公开的实施方式相一致的示例性车辆控制系统的概略表示。

图3a是与公开的实施方式相一致的车辆的内部的概略表示,包括用于车辆成像系统的后视镜和用户接口。

图3b是与公开的实施方式相一致的构造成定位在后视镜后面并且抵着车辆挡风玻璃的相机安装件的示例的图示。

图3c是与公开的实施方式相一致的图3b所示的视角不同的相机安装件的图示。

图3d是与公开的实施方式相一致的构造成定位在后视镜后面并且抵着车辆挡风玻璃的相机安装件的示例的图示。

图4是与公开的实施方式相一致的构造成存储用于执行一个或多个操作的指令的存储器的示例性框图。

图5a是示出与公开的实施方式相一致的用于基于单眼图像分析来产生一个或多个导航响应的示例性过程的流程图。

图5b是示出与公开的实施方式相一致的用于检测一组图像中的一个或多个车辆和/或行人的示例性过程的流程图。

图5c是示出与公开的实施方式相一致的用于检测一组图像中的路标和/或车道几何信息的示例性过程的流程图。

图5d是示出与公开的实施方式相一致的用于检测一组图像中的交通灯的示例性过程的流程图。

图5e是示出与公开的实施方式相一致的用于基于车辆路径来产生一个或多个导航响应的示例性过程的流程图。

图5f是示出与公开的实施方式相一致的用于确定前车是否变道的示例性过程的流程图。

图6是示出与公开的实施方式相一致的用于基于立体图像分析来产生一个或多个导航响应的示例性过程的流程图。

图7是示出与公开的实施方式相一致的用于基于三组图像分析来产生一个或多个导航响应的示例性过程的流程图。

图8a是与公开的实施方式相一致的在第一车道约束和第二车道约束内行进的示例性车辆的概略表示,其中车道偏移条件存在于第一车辆侧。

图8b是与公开的实施方式相一致的在第一车道约束和第二车道约束内行进的示例性车辆的概略表示,其中车道偏移条件存在于第二车辆侧。

图8c是与公开的实施方式相一致的在弯路上的第一车道约束和第二车道约束内行进的示例性车辆的概略表示。

图8d是与公开的实施方式相一致的在第一车道约束和第二车道约束内行进的示例性车辆的概略表示,其中车道偏移条件存在于第一车辆侧和第二车辆侧两者上。

图9是与公开的实施方式相一致的示例性导航系统的存储器的概略表示。

图10是与公开的实施方式相一致的用于导航车辆的示例性方法的流程图。

图11是与公开的实施方式相一致的在默认车道内行进包括导航系统的示例性车辆的概略表示。

图12a是与公开的实施方式相一致的示例性导航系统的存储器的概略表示。

图12b是与公开的实施方式相一致的用于导航车辆的示例性过程的流程图。

图13a和图13b是与公开的实施方式相一致的接近以及导航具有一个或多个特性的弯道的示例性车辆的概略表示。

图14是与公开的实施方式相一致的构造成存储用于执行一个或多个操作的指令的存储器的示例性框图。

图15是示出与公开的实施方式相一致的用于基于被检测弯道和观察的弯道特性来控制车辆速度的示例性过程的流程图。

图16a至图16d是与公开的实施方式相一致的模仿前车一个或多个动作的主车辆的概略表示。

图17是与公开的实施方式相一致的构造成存储用于执行一个或多个操作的指令的存储器的示例性框图。

图18是示出与公开的实施方式相一致的用于致使主车辆模仿前车一个或多个动作的示例性过程的流程图。

图19是示出与公开的实施方式相一致的用于致使主车辆拒绝模仿前车转弯的示例性过程的流程图。

图20是示出与公开的实施方式相一致的用于致使主车辆模仿或拒绝前车转弯的示例性过程的流程图。

图21是示出与公开的实施方式相一致的用于致使主车辆模仿前车一个或多个动作的另一示例性过程的流程图。

图22是示出与公开的实施方式相一致的用于基于导航历史来致使主车辆模仿前车一个或多个动作的示例性过程的流程图。

图23是与公开的实施方式相一致的在另一车辆行进所沿着的道路上的第一车道约束和第二车道约束内行进的示例性车辆的概略表示。

图24a是与公开的实施方式相一致的存储用于在侵入车辆之中导航车辆的指令的存储器的概略表示。

图24b是与公开的实施方式相一致的用于在侵入车辆之中导航车辆的示例性过程的流程图。

图25是与公开的实施方式相一致的在另一车辆行进所沿着的道路上的第一车道约束和第二车道约束内行进的示例性车辆的概略表示。

图26是与公开的实施方式相一致的存储用于检测以及响应于车辆交通侧向侵入的指令的存储器的概略表示。

图27是与公开的实施方式相一致的用于检测以及响应于车辆交通侧向侵入的示例性过程的流程图。

图28a和图28b是与公开的实施方式相一致的产生主车辆响应的概略表示。

图29是与公开的实施方式相一致的构造成存储用于执行一个或多个操作的指令的存储器的示例性框图。

图30是示出与公开的实施方式相一致的用于产生主车辆响应的示例性过程的流程图。

图31是示出与公开的实施方式相一致的用于拒绝产生主车辆响应的示例性过程的流程图。

图32a是与公开的实施方式相一致的使对象存在于车辆附近的示例性车辆的概略表示。

图32b图示了与公开的实施方式相一致的示例性制动轮廓。

图33是与公开的实施方式相一致的示例性导航系统的存储器的概略表示。

图34是与公开的实施方式相一致的用于在导航车辆的同时实施制动轮廓的示例性方法的流程图。

具体实施方式

以下详细描述参照附图。在可能的情况下,相同的附图标记在图中和以下描述中用来指相同或类似的部分。虽然本文中描述了若干说明性实施方式,但是可以进行修改、改写及其它实施。例如,对图中图示的部件可做出替换、添加或修改,并且本文中描述的说明性方法可通过将步骤替换、重新排序、移除或添加至公开的方法进行修改。因此,以下详细描述并不限于公开的实施方式和示例。相反,适当范围由所附权利要求限定。

公开的实施方式提供使用相机来提供自主导航特征的系统和方法。在各种实施方式中,所述系统可包括监测车辆的环境的一个、两个或更多个相机。在一个实施方式中,所述系统可监测并调整车辆与车道边界之间的自由空间,车辆在所述车道内行进。在另一实施方式中,所述系统可选择特定车道作为车辆在行进同时使用的默认车道。在另一实施方式中,所述系统可控制车辆在不同场景(诸如转弯时)中的速度。在又一实施方式中,所述系统可模仿前车的动作。在又一实施方式中,所述系统可监测目标车辆并且在某些条件下(例如,如果目标车辆行进的车道不同于所述车辆行进的车道)使所述车辆能够超越目标车辆。在再一实施方式中,所述系统可响应于侧向侵入车辆(诸如试图进入所述车辆行进的车道中的车辆)来产生自然感觉。

图1是与示例性公开的实施方式相一致的系统100的框图表示。取决于特定实施的要求,系统100可包括各种部件。在一些实施方式中,系统100可包括处理单元110、图像获取单元120、位置传感器130、一个或多个存储器单元140、150、地图数据库160和用户接口170。处理单元110可包括一个或多个处理装置。在一些实施方式中,处理单元110可包括应用处理器180、图像处理器190或任何其它合适的处理装置。类似地,取决于特定应用的要求,图像获取单元120可包括任何数目的图像获取装置和部件。在一些实施方式中,图像获取单元120可包括一个或多个图像捕获装置(例如,相机),诸如图像捕获装置122、图像捕获装置124和图像捕获装置126。系统100可还包括数据接口128,该数据接口128将处理装置110和图像获取装置120通信连接。例如,数据接口128可包括用于将由图像获取装置120获取的图像数据发送到处理单元110的任何一个或多个有线和/或无线链路。

应用处理器180和图像处理器190两者均可包括各种类型的处理装置。例如,应用处理器180和图像处理器190中的任一者或两者可包括微处理器、预处理器(诸如图像预处理器)、图形处理器、中央处理单元(cpu)、支持电路、数字信号处理器、集成电路、存储器或适于运行应用程序以及图像处理和分析的任何其它类型的装置。在一些实施方式中,应用处理器180和/或图像处理器190可包括任何类型的单核或多核处理器、移动装置微控制器、中央处理单元,等等。可使用各种处理装置,包括例如可购自诸如等等制造商的处理器,并且可包括各种结构(例如,x86处理器、等等)。

在一些实施方式中,应用处理器180和/或图像处理器190可包括任何可购自的eyeq系列处理器芯片。这些处理器设计各包括具有本地存储器和指令集的多处理单元。这样的处理器可包括用于接收来自多个图像传感器的图像数据的视频输入,并且还可包括视频输出功能。在一个示例中,使用在332mhz下操作的90纳米微米技术。结构组成如下:两个浮点、超线程32位risccpu(核)、五个视觉计算引擎(vce)、三个矢量微码处理器denali64位移动ddr控制器、128位内部超音速互连、双16位视频输入控制器和18位视频输出控制器、16通道dma以及若干外设。mips34kcpu管理五个vce、三个vmptm和dma、第二mips34kcpu和多通道dma以及其它外设。五个vce、三个和mips34kcpu可以执行多功能捆绑应用程序所需要的密集的视觉计算。在另一示例中,为第三代处理器并且比强大六倍的可在公开的实施方式中使用。

虽然图1描绘了包括在处理单元110中的两个分离处理装置,但是可使用或多或少的处理装置。例如,在一些实施方式中,单个处理装置可用于完成应用处理器180和图像处理器190的任务。在其它实施方式中,这些任务可由多于两个处理装置执行。

处理单元110可包括各种类型的装置。例如,处理单元110可包括各种装置,诸如控制器、图像预处理器、中央处理单元(cpu)、支持电路、数字信号处理器、集成电路、存储器或任何其它类型的用于图像处理和分析的装置。图像预处理器可包括用于捕获、数字化并处理来自图像传感器的图像的视频处理器。cpu可包括任何数目的微控制器或微处理器。支持电路可以是本领域普遍公知的任何数目的电路,包括高速缓存、电源、时钟和输入输出电路。存储器可存储软件,该软件当由处理器执行时会控制系统的操作。存储器可包括数据库和图像处理软件。存储器可包括任何数目的随机存取存储器、只读存储器、闪速存储器、盘驱动器、光学存储介质、磁带存储介质、可去除存储介质及其它类型的存储介质。在一个实例中,存储器可从处理单元110分离。在另一实例中,存储器可集成到处理单元110中。

每个存储器140、150可包括软件指令,该软件指令当由处理器(例如,应用处理器180和/或图像处理器190)执行时可控制系统100的各方面的操作。这些存储器单元可包括各种数据库和图像处理软件。存储器单元可包括随机存取存储器、只读存储器、闪速存储器、盘驱动器、光学存储介质、磁带存储介质、可去除存储介质和/或任何其它类型的存储介质。在一些实施方式中,存储器单元140、150可从应用处理器180和/或图像处理器190分离。在其它实施方式中,这些存储器单元可集成到应用处理器180和/或图像处理器190中。

位置传感器130可包括适于确定与系统100的至少一个部件关联的地点的任何类型的装置。在一些实施方式中,位置传感器130可包括gps接收器。这样的接收器可以通过处理全球定位系统卫星传播的信号来确定用户位置和速度。来自位置传感器130的位置信息可供应用处理器180和/或图像处理器190使用。

用户接口170可包括适于向来自系统100的一个或多个用户的输入提供信息或者用于接收所述输入的任何装置。在一些实施方式中,用户接口170可包括用户输入装置,包括例如触摸屏、麦克风、键盘、指针装置、跟踪轮、相机、旋钮、按钮,等等。在这样的输入装置的情况下,用户能够通过以下手段向系统100提供信息输入或命令:键入指令或信息、提供语音命令、使用按钮、指针或眼跟踪功能在屏幕上选择菜单选项或者用于将信息与系统100通信的任何其它合适的技术。

用户接口170可配备有一个或多个处理装置,该一个或多个处理装置被构造成向用户提供信息或从用户接收信息并且处理该信息以供例如应用处理器180使用。在一些实施方式中,这样的处理装置可执行指令以辨识并跟踪眼移动、接收并解译语音命令、辨识并解译在触摸屏上做出的触摸和/或手势、响应于键盘输入或菜单选择,等等。在一些实施方式中,用户接口170可包括显示器、扬声器、触觉装置和/或用于向用户提供输出信息的任何其它装置。

地图数据库160可包括用于存储对系统100有用的地图数据的任何类型的数据库。在一些实施方式中,地图数据库160可包括各种条目的在参考坐标系中与位置相关的数据,所述条目包括道路、水特征、地理特征、企业、关注点、餐厅、加油站,等等。地图数据库160不仅可存储这样的条目的地点,而且可存储与这些条目相关的描述词(包括例如,与任何存储特征关联的名称)。在一些实施方式中,地图数据库160可与系统100的其它部件物理定位。替代地或另外,地图数据库160或其一部分可相对于系统100的其它部件(例如,处理单元110)远程定位。在这样的实施方式中,来自地图数据库160的信息可通过网络的有线或无线数据连接(例如,通过蜂窝网络和/或因特网,等等)下载。

图像捕获装置122、124和126可各包括适于从环境中捕获至少一个图像的任何类型的装置。而且,任何数目的图像捕获装置可用于获取图像以输入到图像处理器。一些实施方式可仅包括单个图像捕获装置,而其它实施方式可包括两个、三个或者甚至四个以上图像捕获装置。图像捕获装置122、124和126将在下面参照图2b至图2e进一步描述。

系统100或其各种部件可整合到各种不同的平台中。在一些实施方式中,系统100可包括在如图2a所示的车辆200上。例如,如上面相对于图1描述的,车辆200可配备有处理单元110和系统100的任何其它部件。而在一些实施方式中,车辆200可仅配备有单个图像捕获装置(例如,相机),在诸如结合图2b至图2e讨论的其它实施方式中,可使用多个图像捕获装置。例如,如图2a所示的车辆200的图像捕获装置122和124中的任一者可以是adas(先进驾驶员辅助系统)成像组的一部分。

包括在车辆200上作为图像获取单元120的一部分的图像捕获装置可定位在任何合适的地点处。在一些实施方式中,如图2a至图2e和图3a至图3c所示,图像捕获装置122可位于后视镜附近。该位置可提供视线(类似于车辆200的驾驶员的视线),可帮助确定对驾驶员而言什么是可见的,什么是不可见的。图像捕获装置122可定位在后视镜附近的任何地点处,但将图像捕获装置122放置在镜子的在驾驶员的那一侧上可进一步帮助获得表示驾驶员视场和/或视线的图像。

针对图像获取单元120的图像捕获装置,还可使用其它地点。例如,图像捕获装置124可位于车辆200的保险杠之上或之中。这样的地点可尤其适合具有宽视场的图像捕获装置。位于保险杠上的图像捕获装置的视线可以不同于驾驶员的视线,因此,保险杠图像捕获装置和驾驶员可能并不总是看到相同的对象。图像捕获装置(例如,图像捕获装置122、124和126)也可位于其它地点中。例如,图像捕获装置可位于车辆200的一个或两个侧视镜之上或之中、车辆200的车顶上、车辆200的发动机罩上、车辆200的行李箱上、车辆200的侧面,安装在车辆200的任何窗口上、定位在车辆200的任何窗口的后面或前面,以及安装在车辆200的正面和/或背面的光图之中或附近,等等。

除了图像捕获装置,车辆200可包括系统100的各种其它部件。例如,处理单元110可包括在车辆200上,与车辆的发动机控制单元(ecu)或者集成或者分离。车辆200还可配备有诸如gps接收器的位置传感器130,并且还可包括地图数据库160以及存储器单元140和150。

图2a是与公开的实施方式相一致的示例性车辆成像系统的概略侧视图表示。图2b是图2a所示的实施方式的概略顶视图图示。如图2b中图示的,公开的实施方式可包括车辆200,车辆200在其主体中包括系统100,系统100具有定位在后视镜附近和/或车辆200的驾驶员附近的第一图像捕获装置122、定位在车辆200的保险杠区域(例如,保险杠区域210中的一个)之上或之中的第二图像捕获装置124,以及处理单元110。

如图2c中图示的,图像捕获装置122和124两者均可定位在后视镜附近和/或车辆200的驾驶员附近。另外,虽然在图2b和图2c中示出了两个图像捕获装置122和124,但是应该理解的是,其它实施方式可包括多于两个图像捕获装置。例如,在图2d和图2e示出的实施方式中,第一图像捕获装置122,第二图像捕获装置124和第三图像捕获装置126被包括在车辆200的系统100中。

如图2d中图示的,图像捕获装置122可定位在后视镜附近和/或车辆200的驾驶员附近,并且图像捕获装置124和126可定位在车辆200的保险杠区域(例如,保险杠区域210中的一个)之上或之中。并且如图2e所示,图像捕获装置122、124和126可定位在后视镜附近和/或车辆200的驾驶员座椅附近。公开的实施方式并不限于任何特定数目和构造的图像捕获装置,并且图像捕获装置可定位在车辆200内和/或上的任何适当的地点中。

应理解的是,公开的实施方式并不限于车辆并且可以应用在其它背景中。还应理解的是,公开的实施方式并不限于特定类型的车辆200并且可应用于所有类型的车辆,包括汽车、卡车、拖车和其它类型的车辆。

第一图像捕获装置122可包括任何合适类型的图像捕获装置。图像捕获装置122可包括光轴。在一个实例中,图像捕获装置122可包括具有全局快门的aptinam9v024wvga传感器。在其它实施方式中,图像捕获装置122可提供1280x960像素的分辨率并且可包括卷帘快门。图像捕获装置122可包括各种光学元件。在一些实施方式中,例如,可包括一个或多个透镜,为图像捕获装置提供期望的焦距和视场。在一些实施方式中,图像捕获装置122可与6mm透镜或12mm透镜关联。在一些实施方式中,如图2d中图示的,图像捕获装置122可构造成捕获具有期望视场(fov)202的图像。例如,图像捕获装置122可构造成具有常规的fov,诸如在40度到56度的范围内,包括46度fov、50度fov、52度fov以上。替代地,图像捕获装置122可构造成具有23度到40度范围内的窄fov,诸如28度fov或36度fov。另外,图像捕获装置122可构造成具有100度到180度范围内的宽fov。在一些实施方式中,图像捕获装置122可包括宽角度的保险杠相机或者具有直到180度fov。

第一图像捕获装置122可相对于与车辆200关联的场景获取多个第一图像。多个第一图像中的每个均可被获取,作为可使用卷帘快门捕获的一系列图像扫描线。每个扫描线均可包括多个像素。

第一图像捕获装置122可具有与获取第一系列图像扫描线中的每个关联的扫描速率。扫描速率可指这样的速率,即在所述速率下,图像传感器可以获取与包括在特定扫描线中的每个像素关联的图像数据。

例如,图像捕获装置122、124和126可包含任何合适类型和数目的图像传感器,包括ccd传感器或cmos传感器。在一个实施方式中,cmos图像传感器可连同卷帘快门一起采用,使得一行中的每个像素一次读取一个,并且该行的扫描在一行接一行的基础上进行,直到整个图像帧已被捕获。在一些实施方式中,该行可相对于帧从上到下依次捕获。

使用卷帘快门可导致不同行中的像素在不同的时间被曝光并被捕获,这可致使被捕获的图像帧的歪斜和其它图像伪影。另一方面,当图像捕获装置122被构造成用全局或同步快门操作时,所有像素都可曝光持续相同的时间量并且在共同的曝光周期中。结果是,从采用全局快门的系统中收集的帧的图像数据表示整个fov(诸如fov202)在特定时间的快照。对比之下,在卷帘快门应用中,帧中的每行均被曝光,并且数据在不同的时间被捕获。由此,移动的对象可能在具有卷帘快门的图像捕获装置中呈现失真。该现象将在下面更详细地描述。

第二图像捕获装置124和第三图像捕获装置126可以是任何类型的图像捕获装置。如同第一图像捕获装置122,图像捕获装置124和126中的每个均可包括光轴。在一个实施方式中,图像捕获装置124和126中的每个均可包括具有全局快门的aptinam9v024wvga传感器。替代地,图像捕获装置124和126中的每个均可包括卷帘快门。如同图像捕获装置122,图像捕获装置124和126可构造成包括各种透镜和光学元件。在一些实施方式中,与图像捕获装置124和126关联的透镜可提供等于或窄于与图像捕获装置122关联的fov(诸如fov202)的fov(诸如fov204和206)。例如,图像捕获装置124和126可具有40度、30度、26度、23度、20度或以下的fov。

图像捕获装置124和126可相对于与车辆200的关联的场景获取多个第二图像和第三图像。多个第二图像和第三图像中的每个均可获取为可使用卷帘快门捕获的第二系列和第三系列的图像扫描线。每个扫描线或行均可具有多个像素。图像捕获装置124和126可具有与获取包括在第二系列和第三系列中的每个图像扫描线关联的第二扫描速率和第三扫描速率。

每个图像捕获装置122、124和126均可相对于车辆200定位在任何合适的位置和取向。可选择图像捕获装置122、124和126的相对定位以帮助将从图像捕获装置获取的信息融合到一起。例如,在一些实施方式中,与图像捕获装置124关联的fov(诸如fov204)可与关联图像捕获装置122的fov(诸如fov202)和关联图像捕获装置126的fov(诸如fov206)部分地或完全地地重叠。

图像捕获装置122、124和126可位于车辆200上任何合适的相对高度处。在一个实例中,在图像捕获装置122、124和126之间可能存在高度差,这可提供足够的视差信息来实现立体分析。例如,如图2a所示,两个图像捕获装置122和124处于不同的高度处。例如,在图像捕获装置122、124和126之间还可能存在侧向位移差,为处理单元110的立体分析给出额外视差信息。侧向位移差可记作dx,如图2c和图2d所示。在一些实施方式中,前后位移(例如,范围位移)可能存在于图像捕获装置122、124和126之间。例如,图像捕获装置122可位于图像捕获装置124和/或图像捕获装置126后面的0.5米到2米以上。这种类型的位移可使图像捕获装置之一能够覆盖其它图像捕获装置的潜在盲点。

图像捕获装置122可具有任何合适的分辨率功能(例如,与图像传感器关联的像素数目),并且与图像捕获装置122关联的图像传感器的分辨率可大于、小于或等于与图像捕获装置124和126关联的图像传感器的分辨率。在一些实施方式中,与图像捕获装置122和/或图像捕获装置124和126关联的图像传感器可具有640x480、1024x768、1280x960的分辨率或具有任何其它合适的分辨率。

帧速率(例如,在移动到捕获与下一个图像帧关联的像素数据之前图像捕获装置获取一个图像帧的一组像素数据的速率)可以是可控的。与图像捕获装置122关联的帧速率可大于、小于或等于与图像捕获装置124和126关联的帧速率。与图像捕获装置122、124和126关联的帧速率可取决于可能影响帧速率的计时的各种因素。例如,图像捕获装置122、124和126中的一个或多个可包括在获取与图像捕获装置122、124和/或126中的图像传感器的一个或多个像素关联的图像数据之前或之后强加的可选像素延迟周期。一般,对应于每个像素的图像数据可根据装置的时钟速率获取(例如,每个时钟周期一个像素)。另外,在包括卷帘快门的实施方式中,图像捕获装置122、124和126中的一个或多个可包括在获取与图像捕获装置122、124和/或126中的图像传感器的一行像素关联的图像数据之前或之后强加的可选水平消隐周期。进一步,图像捕获装置122、124和/或126中的一个或多个可包括在获取与图像捕获装置122、124和126的图像帧关联的图像数据之前或之后强加的可选垂直消隐周期。

这些计时控制可使与图像捕获装置122、124和126关联的帧速率同步,甚至当每个图像捕获装置的线扫描速率不同时亦如此。另外,如将在下面更详细地讨论的,在其它因素(例如,图像传感器分辨率、最大线扫描速率,等等)之中,这些可选计时控制可使图像捕获装置122的fov与图像捕获装置124和126的一个或多个fov重叠的区域的图像捕获同步,甚至当图像捕获装置122的视场不同于图像捕获装置124和126的fov时亦如此。

图像捕获装置122、124和126的帧速率计时可取决于关联的图像传感器的分辨率。例如,假设两个装置有类似的线扫描速率,如果一个装置包括分辨率为640x480的图像传感器并且另一装置包括分辨率为1280x960的图像传感器,则将需要更多时间来获取来自具有更高分辨率的传感器的图像数据的帧。

可影响图像捕获装置122、124和126的图像数据获取的计时的另一因素是最大线扫描速率。例如,获取包括在图像捕获装置122、124和126中的图像传感器的一行图像数据将需要一些最小时间量。假设没有添加像素延迟周期,则获取一行图像数据的该最小时间量将与特定装置的最大线扫描速率相关。提供较高最大线扫描速率的装置潜在地提供比具有较小最大线扫描速率的装置更大的帧速率。在一些实施方式中,图像捕获装置124和126中的一个或多个的最大线扫描速率可大于与图像捕获装置122关联的最大线扫描速率。在一些实施方式中,图像捕获装置124和/或126的最大线扫描速率可以是图像捕获装置122的最大线扫描速率的1.25倍、1.5倍、1.75倍或2倍以上。

在另一实施方式中,图像捕获装置122、124和126可具有相同的最大线扫描速率,但图像捕获装置122可在小于或等于其最大扫描速率的扫描速率下操作。所述系统可构造成使得图像捕获装置124和126中的一个或多个在等于图像捕获装置122的线扫描速率的线扫描速率下操作。在其它实例中,所述系统可构造成使得图像捕获装置124和/或图像捕获装置126的线扫描速率可以是图像捕获装置122的线扫描速率的1.25倍、1.5倍、1.75倍或2倍以上。

在一些实施方式中,图像捕获装置122、124和126可以是非对称的。即,它们可包括具有不同视场(fov)和焦距的相机。例如,图像捕获装置122、124和126的视场可包括相对于车辆200的环境的任何期望区域。在一些实施方式中,图像捕获装置122、124和126中的一个或多个可构造成获取来自车辆200前方、车辆200后方、车辆200侧方或它们的组合的环境的图像数据。

进一步,与每个图像捕获装置122、124和/或126关联的焦距可以是可选的(例如,通过包括适当的透镜等等),使得每个装置均获取在相对于车辆200的期望距离范围处的对象的图像。例如,在一些实施方式中,图像捕获装置122、124和126可获取距车辆几米内的特写对象的图像。图像捕获装置122、124和126还可构造成获取更远离车辆的范围(例如,25m、50m、100m、150m以上)的对象的图像。进一步,图像捕获装置122、124和126的焦距可选择为使得一个图像捕获装置(例如,图像捕获装置122)可以获取相对接近车辆(例如,10m内或20m内)的对象的图像,而其它图像捕获装置(例如,图像捕获装置124和126)可以获取距车辆200更远的对象(例如,大于20m、50m、100m、150m,等等)的图像。

根据一些实施方式,一个或多个图像捕获装置122、124和126的fov可具有宽角度。例如,尤其对于可用于捕获车辆200附近的区域的图像的图像捕获装置122、124和126,可有利的是具有140度的fov。例如,图像捕获装置122可用于捕获车辆200右方或左方的区域的图像,并且在这样的实施方式中,图像捕获装置122可期望的是具有宽fov(例如,至少140度)。

与图像捕获装置122、124和126中的每个关联的视场可取决于相应的焦距。例如,随着焦距的增加,对应的视场降低。

图像捕获装置122、124和126可构造成具有任何合适的视场。在一个特定示例中,图像捕获装置122可具有46度的水平fov,图像捕获装置124可具有23度的水平fov,并且图像捕获装置126可具有介于23度到46度之间的水平fov。在另一实例中,图像捕获装置122可具有52度的水平fov,图像捕获装置124可具有26度的水平fov,并且图像捕获装置126可具有26度到52度之间的水平fov。在一些实施方式中,图像捕获装置122的fov与图像捕获装置124和/或图像捕获装置126的fov的比率可从1.5变化到2.0。在其它实施方式中,该比率可在1.25到2.25之间变化。

系统100可构造成使得图像捕获装置122的视场与图像捕获装置124和/或图像捕获装置126的视场至少部分地或完全地重叠。在一些实施方式中,系统100可构造成使得图像捕获装置124和126的视场例如落入(例如,窄于)图像捕获装置122的视场内并且与图像捕获装置122的视场共享共同的中心。在其它实施方式中,图像捕获装置122、124和126可捕获相邻fov,或者可使它们的fov部分地重叠。在一些实施方式中,图像捕获装置122、124和126的视场可对准,使得较窄fov图像捕获装置124和/或126的中心可位于较宽fov装置122的视场的下半部中。

图2f是与公开的实施方式相一致的示例性车辆控制系统的概略表示。如图2f中指示的,车辆200可包括节流系统220、制动系统230和转向系统240。系统100可经一个或多个数据链路(例如,用于发送数据的任何有线和/或无线的一个或多个链路)向节流系统220、制动系统230和转向系统240中的一个或多个提供输入(例如,控制信号)。例如,基于对由图像捕获装置122、124和/或126获取的图像的分析,系统100可向节流系统220、制动系统230和转向系统240中的一个或多个提供控制信号,以(例如,通过致使加速、转弯、车道移位,等等)导航车辆200。进一步,系统100可接收来自节流系统220、制动系统230和转向系统240中的一个或多个的输入,指示车辆200的操作条件(例如,速度,车辆200是否制动和/或转弯,等等)。下面,进一步细节结合图4至图7来提供。

如图3a所示,车辆200还可包括用于与车辆200的驾驶员或乘客交互的用户接口170。例如,在车辆应用中,用户接口170可包括触摸屏320、旋钮330、按钮340和麦克风350。车辆200的驾驶员或乘客还可使用手柄(例如,位于车辆200的转向柱之上或附近,例如包括转向信号手柄)、按钮(例如,位于车辆200的方向盘上)等,以与系统100交互。在一些实施方式中,麦克风350可定位成与后视镜310相邻。类似地,在一些实施方式中,图像捕获装置122可位于后视镜310附近。在一些实施方式中,用户接口170还可包括一个或多个扬声器360(例如,车辆音频系统的扬声器)。例如,系统100可经由扬声器360提供各种通知(例如,提示)。

图3b至图3d是与公开的实施方式相一致的示例性相机安装件370的图示,相机安装件370被构造成定位在后视镜(例如,后视镜310)后面并且抵着车辆挡风玻璃。如图3b所示,相机安装件370可包括图像捕获装置122、124和126。图像捕获装置124和126可定位在遮光板380后面,遮光板380可与车辆挡风玻璃齐平并且包括薄膜和/或抗反射材料的组合物。例如,遮光板380可定位成使得其抵着具有配合斜度的车辆挡风玻璃而对准。在一些实施方式中,例如,如图3d中描绘的,图像捕获装置122、124和126中的每个均可定位在遮光板380后面。公开的实施方式并不限于任何特定构造的图像捕获装置122、124和126、相机安装件370和遮光板380。图3c是图3b中示出的相机安装件370从正面视角的图示。

如受益于本公开的本领域技术人员将了解的,对于前面的公开的实施方式可做出许多变型和/或修改。例如,并非所有部件对于系统100的操作都是至关重要的。进一步,任何部件都可位于系统100的任何适当的部分中,并且所述部件可重新布置成各种构造,同时提供公开的实施方式的功能性。因此,前面的构造是示例并且与上面讨论的构造无关,系统100可以提供宽范围的功能性,用以分析车辆200的周边环境并且响应于所述分析来导航车辆200。

如下面进一步详细地讨论且与各种公开的实施方式相一致,系统100可提供与自主驱动和/或驾驶员辅助技术相关的各种特征。例如,系统100可分析图像数据、位置数据(例如,gps地点信息)、地图数据、速度数据和/或来自包括在车辆200中的传感器的数据。系统100可收集来自例如图像获取单元120、位置传感器130及其它传感器的数据以供分析。进一步,系统100可分析所收集的数据以确定车辆200是否应该采取某些动作,然后在无人为干预的情况下自动采取确定的动作。例如,当车辆200在无人为干预的情况下导航时,系统100可(例如,通过向节流系统220、制动系统230和转向系统240中的一个或多个发送控制信号)自动控制车辆200的制动、加速和/或转向。进一步,系统100可分析所收集的数据并发出警告,和/或基于所收集的数据的分析来提示车辆驾乘人员。

进一步,与公开的实施方式相一致,由系统100提供的功能性可致使车辆200采取不同的动作以在车道内和/或相对于其它车辆和/或对象来导航车辆200。例如,系统100可调整车辆200相对于车辆200行进的车道和/或相对于定位在车辆200附近的对象的定位,针对车辆200选择特定车道以在行进的同时使用,并且响应于侵入车辆(诸如试图进入车辆200行进的车道中的车辆)采取动作。另外,系统100可控制车辆200在不同场景(诸如当车辆200进行转弯时)下的速度。系统100可进一步致使车辆200模仿前车的动作或监测目标车辆,并且导航车辆200使之超越目标车辆。下面提供关于系统100所提供的各种实施方式的额外细节。

朝前多成像系统

如上面讨论的,系统100可提供使用多相机系统的驱动辅助功能性。多相机系统可使用面对车辆向前方向的一个或多个相机。在其它实施方式中,多相机系统可包括面对车辆侧面或车辆后面的一个或多个相机。在一个实施方式中,例如,系统100可使用双相机成像系统,其中第一相机和第二相机(例如,图像捕获装置122和124)可定位在车辆(例如,车辆200)的前面和/或侧面。第一相机的视场可大于、小于第二相机的视场,或者与第二相机的视场部分地重叠。另外,第一相机可连接到第一图像处理器,以执行第一相机所提供的图像的单眼图像分析,并且第二相机可连接到第二图像处理器,以执行第二相机所提供的图像的单眼图像分析。第一图像处理器和第二图像处理器的输出(例如,处理后的信息)可组合。在一些实施方式中,第二图像处理器可接收来自第一相机和第二相机两者的图像以执行立体分析。在另一实施方式中,系统100可使用三相机成像系统,其中每个相机均具有不同的视场。因此,这样的系统可基于从位于车辆前面和侧面两者的变化距离处的对象得到的信息做出决定。提到单眼图像分析可指这样的实例,即:基于从单个观察点(例如,从单个相机)捕获的图像来执行图像分析。立体图像分析可指这样的实例,即:基于用图像捕获参数的一个或多个变型捕获的两个或更多个图像来执行图像分析。例如,适于执行立体图像分析的被捕获图像可包括采取以下手段捕获的图像:根据两个或更多个不同位置,从不同的视场,使用不同的焦距,结合视差信息,等等。

例如,在一个实施方式中,系统100可实施使用图像捕获装置122-126的三相机构造。在这样的构造中,图像捕获装置122可提供窄视场(例如,34度,或选自约20度到45度范围的其它值,等等),图像捕获装置124可提供宽视场(例如,150度或选自约100度到约180度范围的其它值),并且图像捕获装置126可提供中间视场(例如,46度或选自约35度到约60度范围的其它值)。在一些实施方式中,图像捕获装置126可作为主相机或主要相机。图像捕获装置122-126可定位在后视镜310后面并且基本上并排定位(例如,6cm间隔)。进一步,在一些实施方式中,如上面讨论的,图像捕获装置122-126中的一个或多个可安装在与车辆200的挡风玻璃齐平的遮光板380后面。这样的遮光可将来自车内的任何反射对图像捕获装置122-126造成的影响降到最低。

在另一实施方式中,如上面结合图3b和图3c讨论的,宽视场相机(例如,上面示例中的图像捕获装置124)可安装得低于窄的主视场相机(例如,上面示例中的图像装置122和126)。该构造可提供来自宽视场相机的自由视线。为了减少反射,相机可安装得接近车辆200的挡风玻璃,并且可包括相机上的偏光器用以抑制反射光。

三相机系统可提供某些性能特性。例如,一些实施方式可包括如下能力:基于另一相机的检测结果来验证一个相机针对对象的检测。在上面讨论的三相机构造中,处理单元110可包括例如三个处理装置(例如,如上面讨论的,三个eyeq系列的处理器芯片),每个处理装置均专用于处理由图像捕获装置122-126中的一个或多个捕获的图像。

在三相机系统中,第一处理装置可接收来自主相机和窄视场相机两者的图像,并且执行窄fov相机的视觉处理以例如检测其它车辆、行人、车道标线、交通标志、交通灯及其它道路对象。进一步,第一处理装置可计算主相机和窄相机的图像之间的像素差距并且创建车辆200的环境的三维重构。然后,第一处理装置可将三维重构与三维地图数据组合,或者与基于另一相机的信息计算的三维信息组合。

第二处理装置可接收来自主相机的图像并且执行视觉处理以检测其它车辆、行人、车道标线、交通标志、交通灯及其它道路对象。另外,第二处理装置可计算相机位移,并且基于该位移计算连续图像之间的像素差距并创建场景的三维重构(例如,根据运动的结构)。第二处理装置可将来自基于运动的三维重构的结构发送到第一处理装置以与立体三维图像组合。

第三处理装置可接收来自宽fov相机的图像并且处理所述图像,以检测车辆、行人、车道标线、交通标志、交通灯及其它道路对象。第三处理装置可进一步执行额外处理指令以分析图像来识别在图像中移动的对象,诸如变道的车辆、行人,等等。

在一些实施方式中,使基于图像的信息流被独立地捕获并处理可提供:提供系统冗余的机会。例如,这样的冗余可包括:使用第一图像捕获装置和从该装置处理的图像以验证和/或补充通过捕获并处理至少来自第二图像捕获装置的图像信息而获得的信息。

在一些实施方式中,系统100可使用两个图像捕获装置(例如,图像捕获装置122和124)来为车辆200提供导航辅助,并且使用第三图像捕获装置(例如,图像捕获装置126)以提供冗余并验证从其它两个图像捕获装置接收的数据的分析。例如,在这样的构造中,图像捕获装置122和124可为系统100的立体分析提供图像以导航车辆200,而图像捕获装置126可为系统100的单眼分析提供图像以提供冗余并验证基于从图像捕获装置122和/或图像捕获装置124捕获的图像而获得的信息。即,图像捕获装置126(及对应的处理装置)可被认为提供冗余子系统,以提供对从图像捕获装置122和124得到的分析的检查(例如,提供自动紧急制动(aeb)系统)。

本领域技术人员将辨识到,上面的相机构造、相机放置、相机数目、相机地点等等仅是示例。这些部件及相对于整体系统描述的其它部件可组装并用在各种不同构造中而不脱离公开的实施方式的范围。下面是关于多相机系统的使用的进一步细节,用以提供驾驶员辅助和/或自主车辆功能性。

图4是与公开的实施方式相一致的存储器140和/或150的示例性功能框图,存储器140和/或150可存储/编程有用于执行一个或多个操作的指令。虽然以下是参照存储器140,但是本领域技术人员将辨识到,指令可存储在存储器140和/或150中。

如图4所示,存储器140可存储单眼图像分析模块402、立体图像分析模块404、速度和加速度模块406以及导航响应模块408。公开的实施方式并不限于任何特定构造的存储器140。进一步,应用处理器180和/或图像处理器190可执行存储于包括在存储器140中的任何模块402-408之中的指令。本领域技术人员将理解,以下讨论中对处理单元110的引用可单独或共同地指应用处理器180和图像处理器190。因此,任何以下过程的步骤可由一个或多个处理装置执行。

在一个实施方式中,单眼图像分析模块402可存储指令(诸如计算机视觉软件),当由处理单元110执行时,该指令执行由图像捕获装置122、124和126之一获取的一组图像的单眼图像分析。在一些实施方式中,处理单元110可将来自一组图像的信息与额外的感觉信息(例如,来自雷达的信息)组合,以执行单眼图像分析。如下面结合图5a至图5d描述的,单眼图像分析模块402可包括用于检测一组图像内的一组特征(诸如车道标记、车辆、行人、道路标志、高速公路出口匝道、交通灯、危险对象及与车辆环境关联的任何其它特征)的指令。基于此分析,系统100(例如,经由处理单元110)可在车辆200中产生一个或多个导航响应,诸如转弯、车道移位、加速度改变,等,这在下面结合导航响应模块408讨论。

在一个实施方式中,立体图像分析模块404可存储指令(诸如计算机视觉软件),当由处理单元110执行时,该指令执行通过选自任何图像捕获装置122、124和126的图像捕获装置的组合而获取的第一组和第二组图像的立体图像分析。在一些实施方式中,处理单元110可将来自第一组和第二组图像的信息与额外感觉信息(例如,来自雷达的信息)组合,以执行立体图像分析。例如,立体图像分析模块404可包括用于基于图像捕获装置124获取的第一组图像和图像捕获装置126获取的第二组图像来执行立体图像分析的指令。如下面结合图6描述的,立体图像分析模块404可包括用于检测第一组和第二组图像内的一组特征(诸如车道标记、车辆、行人、道路标志、高速公路出口匝道、交通灯、危险对象,等)的指令。基于此分析,处理单元110可在车辆200中产生一个或多个导航响应,诸如转弯、车道移位、加速度改变,等,这在下面结合导航响应模块408讨论。

在一个实施方式中,速度和加速度模块406可存储构造成分析从车辆200的一个或多个计算机电装置接收的数据的软件,所述计算机电装置被构造成致使车辆200的速度和/或加速度改变。例如,处理单元110可执行与速度和加速度模块406关联的指令,以基于从执行单眼图像分析模块402和/或立体图像分析模块404得到的数据来计算车辆200的目标速度。例如,这样的数据可包括:目标位置、速度和/或加速度;车辆200相对于近旁车辆、行人或道路对象的位置和/或速度;车辆200相对于道路的车道标记的位置信息,等。另外,处理单元110可基于感觉输入(例如,来自雷达的信息)和来自车辆200的其它系统(诸如车辆200的节流系统220、制动系统230和/或转向系统240)的输入来计算车辆200的目标速度。基于计算出的目标速度,处理单元110可向车辆200的节流系统220、制动系统230和/或转向系统240发送电子信号,以通过例如物理踩下制动器或松开车辆200的加速器来触发速度和/或加速度的改变。

在一个实施方式中,导航响应模块408可存储可由处理单元110执行的软件,以基于从单眼图像分析模块402和/或立体图像分析模块404的执行得到的数据来确定期望导航响应。这样的数据可包括与近旁车辆、行人和道路对象关联的位置和速度信息、车辆200的目标位置信息,等。另外,在一些实施方式中,导航响应可(部分地或完全地)基于地图数据、车辆200的预定位置和/或车辆200与从单眼图像分析模块402和/或立体图像分析模块404的执行而检测的一个或多个对象之间的相对速度或相对加速度。导航响应模块408还可基于感觉输入(例如,来自雷达的信息)和来自车辆200的其它系统(诸如车辆200的节流系统220、制动系统230和转向系统240)的输入来确定期望导航响应。基于所述期望导航响应,处理单元110可向车辆200的节流系统220、制动系统230和转向系统240发送电子信号,以触发期望导航响应,例如,通过使车辆200的方向盘转动以实现预定角度旋转。在一些实施方式中,处理单元110可使用导航响应模块408的输出(例如,期望导航响应)作为输入,以执行速度和加速度模块406来计算车辆200的速度改变。

图5a是示出与公开的实施方式相一致的用于基于单眼图像分析来产生一个或多个导航响应的示例性过程500a的流程图。在步骤510,处理单元110可经由处理单元110与图像获取单元120之间的数据接口128接收多个图像。例如,包括在图像获取单元120中的相机(诸如具有视场202的图像捕获装置122)可捕获车辆200的前面(例如,或是车辆的侧面或后面)的区域的多个图像并且经数据连接(例如,数字、有线、usb、无线、蓝牙,等等)将图像发送到处理单元110。在步骤520,处理单元110可执行单眼图像分析模块402以分析多个图像,这在下面结合图5b至图5d进一步详细地描述。通过执行所述分析,处理单元110可检测一组图像内的一组特征,诸如车道标记、车辆、行人、道路标志、高速公路出口匝道、交通灯,等。

在步骤520,处理单元110还可执行单眼图像分析模块402以检测各种道路危险,例如,卡车轮胎的一部分、跌落的道路标志、松动的货物、小动物,等。道路危险可能存在结构、形状、大小和颜色上的变化,可能使检测这样的危险更具挑战性。在一些实施方式中,处理单元110可执行单眼图像分析模块402,以对多个图像进行多帧分析来检测道路危险。例如,处理单元110可估算连贯图像帧之间的相机运动,并且计算帧之间的像素差距以构建道路的三维地图。然后,处理单元110可使用三维地图来检测路面以及存在于路面上方的危险。

在步骤530,处理单元110可执行导航响应模块408,以基于步骤520执行的分析以及如上面结合图4描述的技术来产生车辆200的一个或多个导航响应。例如,导航响应可包括转弯、车道移位、加速度改变,等。在一些实施方式中,处理单元110可使用从执行速度和加速度模块406得到的数据,以产生一个或多个导航响应。另外,多个导航响应可同时、顺次或按其任何组合而发生。例如,处理单元110可致使车辆200变换一个车道,然后通过例如向车辆200的转向系统240和节流系统220依次发送控制信号来加速。替代地,处理单元110可致使车辆200制动,同时通过例如向车辆200的制动系统230和转向系统240同时发送控制信号来使变道。

图5b是示出与公开的实施方式相一致的用于检测一组图像中的一个或多个车辆和/或行人的示例性过程500b的流程图。处理单元110可执行单眼图像分析模块402以实施过程500b。在步骤540,处理单元110可确定表示可能的车辆和/或行人的一组候选对象。例如,处理单元110可扫描一个或多个图像,将所述图像与一个或多个预定图案比较,并且在每个图像内识别可包含关注对象(例如,车辆、行人,或其一部分)的可能地点。预定图案可采取实现高比率“错误击中”和低比率“未击中”这样的方式来设计。例如,处理单元110可使用与预定图案低阈值的相似度来识别候选对象作为可能的车辆或行人。这样做可允许处理单元110减少未击中(例如,未识别)表示车辆或行人的候选对象的概率。

在步骤542,处理单元110可过滤这一组候选对象以基于分类标准来排除某些候选(例如,无关或不太相关的对象)。这样的标准可从与存储在数据库(例如,存储在存储器140中的数据库)中的对象类型关联的各种属性得到。属性可包括对象形状、尺寸、质地、(例如,相对于车辆200的)位置,等。由此,处理单元110可使用一组或多组标准以拒绝来自一组候选对象的错误候选。

在步骤544,处理单元110可分析图像的多个帧,以确定一组候选对象中的对象是否表示车辆和/或行人。例如,处理单元110可跨越连贯的帧来跟踪被检测候选对象并且积累与被检测对象关联的逐帧数据(例如,大小、相对于车辆200的位置,等等)。另外,处理单元110可估算被检测对象的参数并且将对象的逐帧位置数据与预测位置比较。

在步骤546,处理单元110可构建被检测对象的一组测量结果。例如,这样的测量结果可包括与被检测对象关联的(相对于车辆200的)位置、速度和加速度值。在一些实施方式中,处理单元110可基于以下技术来构建测量结果:基于估算技术使用一系列基于时间的观察(诸如卡尔曼滤波器或线性二次估算(lqe));和/或基于不同对象类型(例如,汽车、卡车、行人、自行车、道路标志,等等)的可用建模数据。卡尔曼滤波器可基于对象尺度的测量结果,其中尺度测量结果与将要碰撞的时间(例如,车辆200到达对象的时间量)成比例。由此,通过执行步骤540-546,处理单元110可识别出现在一组被捕获图像内的车辆和行人并且得到与车辆和行人关联的信息(例如,位置、速度、大小)。基于识别和得到的信息,处理单元110可产生车辆200的一个或多个导航响应,这在上面结合图5a描述。

在步骤548,处理单元110可执行一个或多个图像的光流分析,以减少检测“错误击中”以及未击中表示车辆或行人的候选对象的概率。光流分析可指的是,例如,分析相对于与其它车辆和行人关联的一个或多个图像中的车辆200的运动图案,并且区别于路面运动。处理单元110可通过观察跨越多个图像帧(在不同的时间被捕获)的对象的不同位置来计算候选对象的运动。处理单元110可使用位置和时间值作为用于计算候选对象运动的数学模型的输入。由此,光流分析可提供检测在车辆200近旁的车辆和行人的另一种方法。处理单元110可与步骤540-546组合来执行光流分析,为检测车辆和行人提供冗余并且增加系统100的可靠性。

图5c是示出与公开的实施方式相一致的用于检测一组图像中的路标和/或车道几何信息的示例性过程500c的流程图。处理单元110可执行单眼图像分析模块402以实施过程500c。在步骤550,处理单元110可通过扫描一个或多个图像来检测一组对象。为了检测一段车道标记、车道几何信息及其它相关路标,处理单元110可过滤一组对象以排除确定无关的这些对象(例如,轻微的坑洼、小石头,等等)。在步骤552,处理单元110可将步骤550中检测的属于相同路标或车道标线的区段分组到一起。基于该分组,处理单元110可建立表示被检测区段的模型,诸如数学模型。

在步骤554,处理单元110可构建与被检测区段关联的一组测量结果。在一些实施方式中,处理单元110可创建被检测区段从图像平面向现实世界平面的投影。该投影可使用第三多项式来表征,该第三多项式具有对应于物理属性(诸如位置、斜度、曲率和被检测道路的曲率衍生)的系数。在生成投影时,处理单元110可考虑路面改变,以及与车辆200关联的俯仰和横摆速率。另外,处理单元110可通过分析存在于路面上的位置和运动线索来建模道路标高。进一步,处理单元110可通过跟踪一个或多个图像中的一组特征点来估算与车辆200关联的俯仰和横摆速率。

在步骤556,处理单元110可通过例如跟踪跨越连贯图像帧的被检测区段以及积累与被检测区段关联的逐帧数据来执行多帧分析。在处理单元110执行多帧分析时,在步骤554构建的一组测量结果可变得更可靠并且与更高的置信水平关联。由此,通过执行步骤550-556,处理单元110可识别出现在一组被捕获图像内的路标并且得到车道几何信息。基于该识别和得到的信息,处理单元110可产生车辆200的一个或多个导航响应,这在上面结合图5a描述。

在步骤558,处理单元110可考虑额外信息源来进一步在其周边环境的背景下建立车辆200的安全模型。处理单元110可使用安全模型来限定以下背景,即:系统100可采取安全的方式来执行车辆200的自主控制。为了建立安全模型,在一些实施方式中,处理单元110可考虑其它车辆的位置和运动、被检测道路的路边和障碍和/或从地图数据(诸如地图数据库160的数据)提取的总体道路形状描述。通过考虑额外信息源,处理单元110可提供冗余来检测路标和车道几何形状并且增加系统100的可靠性。

图5d是示出与公开的实施方式相一致的用于检测一组图像中的交通灯的示例性过程500d的流程图。处理单元110可执行单眼图像分析模块402以实施过程500d。在步骤560,处理单元110可扫描一组图像并且识别出现在可能包含交通灯的图像中的地点处的对象。例如,处理单元110可过滤被识别对象以构建一组候选对象,排除不可能对应于交通灯的这些对象。过滤可基于与交通灯关联的各种属性(诸如形状、尺寸、质地、(例如,相对于车辆200的)位置,等)来完成。这样的属性可基于交通灯和交通控制信号的多个示例并且存储在数据库中。在一些实施方式中,处理单元110可在反映可能交通灯的一组候选对象上执行多帧分析。例如,处理单元110可跟踪跨越连贯图像帧的候选对象,估算候选对象的现实世界位置,并且过滤出移动的那些对象(不可能是交通灯)。在一些实施方式中,处理单元110可执行候选对象的颜色分析,并且识别出现在可能交通灯内侧的被检测颜色的相对位置。

在步骤562,处理单元110可分析枢纽的几何形状。该分析可基于以下的任何组合:(i)在车辆200的任一侧的检测的车道数目;(ii)在道路上检测的标记(诸如箭头标线);以及(iii)从地图数据(诸如地图数据库160的数据)提取的枢纽的描述。处理单元110可使用从执行单眼分析模块402得到的信息来进行分析。另外,处理单元110可确定在步骤560检测的交通灯与出现在车辆200附近的车道之间的对应性。

在车辆200接近枢纽时,在步骤564,处理单元110可更新与被分析的枢纽几何形状和被检测交通灯关联的置信水平。例如,与实际出现在枢纽处的交通灯数目比较,估算的出现在枢纽处的交通灯数目可能影响置信水平。由此,基于该置信水平,处理单元110可授权车辆200的驾驶员进行控制,以便改进安全条件。通过执行步骤560-564,处理单元110可识别出现在一组被捕获图像内的交通灯并且分析枢纽几何形状信息。基于该识别以及分析,处理单元110可产生车辆200的一个或多个导航响应,这在上面结合图5a描述。

图5e是示出与公开的实施方式相一致的用于基于车辆路径来在车辆200中产生一个或多个导航响应的示例性过程500e的流程图。在步骤570,处理单元110可构建与车辆200关联的初始车辆路径。车辆路径可使用以坐标(x,z)表达的一组点来表示,并且一组点的两点之间的距离di可落入1米到5米的范围内。在一个实施方式中,处理单元110可使用诸如左右道路多项式的两个多项式来构建初始车辆路径。处理单元110可计算两个多项式之间的几何中点,并且如果有偏移的话,使包括在所得的车辆路径中的每个点偏移预定偏移量(例如,智能车道偏移),(零偏移可对应于行进在车道的中间)。偏移的方向可垂直于车辆路径中的任何两点之间的区段。在另一实施方式中,处理单元110可使用一个多项式和估算的车道宽度使车辆路径的每个点偏移达:估算的车道宽度的一半加上预定偏移量(例如,智能车道偏移)。

在步骤572,处理单元110可更新在步骤570构建的车辆路径。处理单元110可使用更高分辨率来重新构建在步骤570构建的车辆路径,使得表示车辆路径的一组点的两点之间的距离dk小于上面描述的距离di。例如,距离dk可落入0.1米到0.3米的范围内。处理单元110可使用抛物面样条算法来重新构建车辆路径,这可产生对应于车辆路径的总长度的累计距离向量s(即,基于表示车辆路径的一组点)。

在步骤574,处理单元110可基于在步骤572构建的更新车辆路径来确定前瞻点(以坐标(xl,zl)表达)。处理单元110可从累计距离向量s提取前瞻点,并且前瞻点可与前瞻距离和前瞻时间关联。下限范围可从10米到20米的前瞻距离可计算为车辆200的速度和前瞻时间的乘积。例如,随着车辆200的速度降低,前瞻距离也可减小(例如,直到前瞻距离达到下限)。范围可从0.5秒到1.5秒的前瞻时间可与在车辆200中产生导航响应相关联的一个或多个控制环的增益(诸如跟踪控制环的航向误差)成反比。例如,跟踪控制环的航向误差的增益可取决于偏航率环的带宽、转向致动器环、汽车侧向动态,等。由此,跟踪控制环的航向误差的增益越大,前瞻时间越短。

在步骤576,处理单元110可基于在步骤574确定的前瞻点来确定航向误差和偏航率命令。处理单元110可通过计算前瞻点的反正切(例如,arctan(xl/zl))来确定航向误差。处理单元110可将偏航率命令确定为航向误差和高水平控制增益的乘积。如果前瞻距离未处于下限,则高水平控制增益可等于:(2/前瞻时间)。以其它方式,高水平控制增益可等于:(车辆200的2倍速度/前瞻距离)。

图5f是示出与公开的实施方式相一致的用于确定前车是否变道的示例性过程500f的流程图。在步骤580,处理单元110可确定与前车(例如,行进在车辆200之前的车辆)关联的导航信息。例如,处理单元110可使用上面结合图5a和图5b描述的技术来确定前车的位置、速度(例如,方向和速度)和/或加速度。处理单元110还可使用上面结合图5e描述的技术来确定一个或多个道路多项式、(与车辆200关联的)前瞻点和/或缓慢移动踪迹(例如,描述前车采取的路径的一组点)。

在步骤582,处理单元110可分析在步骤580确定的导航信息。在一个实施方式中,处理单元110可计算缓慢移动踪迹与道路多项式(例如,沿着踪迹)之间的距离。如果沿着踪迹的该距离的方差超过预定阈值(例如,笔直道路上为0.1米到0.2米,适度弯曲的道路上为0.3米到0.4米,并且急剧弯曲的道路上为0.5米到0.6米),处理单元110可确定:前车可能变道。在检测有多个车辆行进在车辆200之前的情况下,处理单元110可比较与每个车辆关联的缓慢移动踪迹。基于该比较,处理单元110可确定:缓慢移动踪迹与其它车辆的缓慢移动踪迹不匹配的车辆可能变道。处理单元110可另外将(与前车关联的)缓慢移动踪迹的曲率与前车行进的道路区段的预期曲率比较。预期曲率可从地图数据(例如,地图数据库160的数据)、道路多项式、其它车辆的缓慢移动踪迹、关于道路的现有知识等之中提取。如果缓慢移动踪迹与道路区段的预期曲率的曲率差超过预定阈值,则处理单元110可确定:前车可能变道。

在另一实施方式中,处理单元110可在具体时间段(例如,0.5秒到1.5秒)内将前车的瞬时位置与(与车辆200关联的)前瞻点比较。如果前车瞬时位置与前瞻点之间的距离在具体时间段期间变化,并且变化的累计总和超过预定阈值(例如,笔直道路上为0.3米到0.4米,适度弯曲的道路上为0.7米到0.8米,并且急剧弯曲的道路上为1.3米到1.7米),则处理单元110可确定:前车可能变道。在另一实施方式中,处理单元110可通过将沿着踪迹行进的侧向距离与缓慢移动踪迹的预期曲率比较来分析缓慢移动踪迹的几何形状。预期曲率半径可根据下面的计算来确定:(δz2+δx2)/2/(δx),其中δx表示行进的侧向距离,并且δz表示行进的纵向距离。如果行进的侧向距离与预期曲率之间的差超过预定阈值(例如,500米到700米),则处理单元110可确定:前车可能变道。在另一实施方式中,处理单元110可分析前车的位置。如果前车的位置掩盖了道路多项式(例如,前车覆盖在道路多项式的顶部),则处理单元110可确定:前车可能变道。在前车的位置使得另一车辆被检测位于前车之前并且两个车辆的缓慢移动踪迹不平行的情况下,处理单元110可确定:(更接近的)前车可能变道。

在步骤584,处理单元110可基于在步骤582执行的分析来确定前车200是否变道。例如,处理单元110可基于在步骤582执行的各个分析的加权平均来做出确定。在这样的方案之下,例如,处理单元110基于特定类型的分析做出的前车可能变道的决定可被分配值“1”(而“0”表示确定前车不可能变道)。在步骤582执行的不同分析可被分配不同的权重,并且公开的实施方式并不限于任何特定组合的分析和权重。

图6是示出与公开的实施方式相一致的用于基于立体图像分析来产生一个或多个导航响应的示例性过程600的流程图。在步骤610,处理单元110可经由数据接口128接收第一和第二多个图像。例如,包括在图像获取单元120中的相机(诸如具有视场202和204的图像捕获装置122和124)可捕获车辆200前方的区域的第一和第二多个图像并且经数字连接(例如,usb、无线、蓝牙,等等)将第一和第二多个图像发送到处理单元110。在一些实施方式中,处理单元110可经由两个或更多个数据接口接收第一和第二多个图像。公开的实施方式并不限于任何特定的数据接口构造或协议。

在步骤620,处理单元110可执行立体图像分析模块404来执行第一和第二多个图像的立体图像分析,以创建车辆前方道路的三维地图并且检测图像内的特征,诸如车道标记、车辆、行人、道路标志、高速公路出口匝道、交通灯、道路危险,等。立体图像分析可采取类似于上面结合图5a至图5d描述的步骤的方式执行。例如,处理单元110可执行立体图像分析模块404以检测第一和第二多个图像内的候选对象(例如,车辆、行人、路标、交通灯、道路危险,等等),基于各种标准来过滤出候选对象的子集,并且执行多帧分析、构建测量结果并确定其余候选对象的置信水平。在执行上面的步骤时,处理单元110可考虑来自第一和第二多个图像两者的信息,而非单独来自一组图像的信息。例如,处理单元110可针对出现在第一和第二多个图像两者中的候选对象分析像素水平数据(或来自两个被捕获图像流之中的其它数据子集)的差别。作为另一示例,处理单元110可通过观察对象出现在多个图像中的一个之中但不出现在另一个中或者相对于出现在两个图像流中的对象可能存在的其它差别来估算候选对象(例如,相对于车辆200)的位置和/或速度。例如,相对于车辆200的位置、速度和/或加速度可基于与出现在图像流的一者或两者中的对象关联的特征的轨迹、位置、移动特性等等来确定。

在步骤630,处理单元110可基于在步骤620执行的分析和上面结合图4描述的技术来执行导航响应模块408,以在车辆200中产生一个或多个导航响应。例如,导航响应可包括转弯、车道移位、加速度改变、速度改变、制动,等。在一些实施方式中,处理单元110可使用从执行速度和加速度模块406中得到的数据,以产生一个或多个导航响应。另外,多个导航响应可同时、顺次或按其任何组合而发生。

图7是示出与公开的实施方式相一致的用于基于对三组图像的分析来产生一个或多个导航响应的示例性过程700的流程图。在步骤710,处理单元110可经由数据接口128接收第一、第二和第三多个图像。例如,包括在图像获取单元120中的相机(诸如具有视场202、204和206的图像捕获装置122、124和126)可捕获车辆200前方和/或侧面的区域的第一、第二和第三多个图像并且经数字连接(例如,usb、无线、蓝牙,等等)将第一、第二和第三多个图像发送到处理单元110。在一些实施方式中,处理单元110可经由三个以上数据接口接收第一、第二和第三多个图像。例如,图像捕获装置122、124、126中的每个均可具有关联的数据接口用于与处理单元110通信数据。公开的实施方式并不限于任何特定的数据接口构造或协议。

在步骤720,处理单元110可分析第一、第二和第三多个图像以检测图像内的特征,诸如车道标记、车辆、行人、道路标志、高速公路出口匝道、交通灯、道路危险,等。该分析可采取类似于上面结合图5a至图5d和图6描述的步骤的方式执行。例如,处理单元110可对第一、第二和第三多个图像中的每个执行单眼图像分析(例如,经由执行单眼图像分析模块402并且基于上面结合图5a至图5d描述的步骤)。替代地,处理单元110可对第一和第二多个图像、第二和第三多个图像和/或第一和第三多个图像执行立体图像分析(例如,经由执行立体图像分析模块404并且基于上面结合图6描述的步骤)。对应于第一、第二和/或第三多个图像的分析的处理后的信息可加以组合。在一些实施方式中,处理单元110可执行单眼图像分析和立体图像分析的组合。例如,处理单元110可对第一多个图像执行单眼图像分析(例如,经由执行单眼图像分析模块402)以及对第二和第三多个图像执行立体图像分析(例如,经由执行立体图像分析模块404)。图像捕获装置122、124和126的构造(包括其相应地点和视场202、204和206)可影响对第一、第二和第三多个图像进行的分析的类型。公开的实施方式并不限于特定构造的图像捕获装置122、124和126,或者对第一、第二和第三多个图像进行的分析的类型。

在一些实施方式中,处理单元110可基于在步骤710和720获取并分析的图像来执行系统100的测试。这样的测试可向某些构造的图像捕获装置122、124和126提供系统100的整体性能的指示器。例如,处理单元110可确定“错误击中”(例如,系统100不正确地确定存在车辆或行人的情况)和“未击中”的比例。

在步骤730,处理单元110可基于从第一、第二和第三多个图像中的两者得到的信息来在车辆200中产生一个或多个导航响应。选择第一、第二和第三多个图像中的两者可取决于各种因素,例如,多个图像中的每个中检测的对象的数目、类型和大小。处理单元110还可基于以下做出选择:图像质量和分辨率、图像中反射的有效视场、被捕获帧的数目、关注的一个或多个对象实际出现在帧中的程度(例如,对象出现的帧的百分比、出现在每个这样的帧中的对象的比例,等等),等。

在一些实施方式中,处理单元110可通过确定从一个图像源得到的信息与从其它图像源得到的信息的一致程度来选择从第一、第二和第三多个图像中的两者得到的信息。例如,处理单元110可组合从图像捕获装置122、124和126中的每个得到的被处理信息(不论通过单眼分析、立体分析或两者的任何组合)并且确定跨越从图像捕获装置122、124和126中的每个捕获的图像呈现一致的视觉指示器(例如,车道标记、被检测车辆及其地点和/或路径、被检测交通灯,等等)。处理单元110还可排除跨越被捕获图像不一致的信息(例如,变道的车辆,指示太接近车辆200的车辆的车道模型,等等)。由此,处理单元110可基于一致和不一致信息的确定来选择从第一、第二和第三多个图像中的两者得到的信息。

例如,导航响应可包括转弯、车道移位、加速度改变,等。处理单元110可基于在步骤720执行的分析以及上面结合图4描述的技术来产生一个或多个导航响应。处理单元110还可使用从执行速度和加速度模块406得到的数据,以产生一个或多个导航响应。在一些实施方式中,处理单元110可基于车辆200与任何第一、第二和第三多个图像内的被检测对象之间的相对位置、相对速度和/或相对加速度来产生一个或多个导航响应。多个导航响应可同时、顺次或按其任何组合而发生。

智能车道偏移

系统100可提供驾驶员辅助功能性,以监测并且调整车辆200与车辆200的行进边界(例如,车道边界)之间的自由空间。车道可指车辆的指定或预期行进路径并且可具有标记边界(例如,道路上的线)或未标记边界(例如,道路路边、道路障碍、护栏、停放的车辆,等等)。例如,默认地,系统100可最大化或增加车辆200与当前车道边界之间的自由空间。进一步,在某些条件下,系统100可使车辆200朝向当前行进车道的一侧偏移而不离开车道。例如,在车辆200围绕弯道行进的情况下,系统100可降低朝向弯道内侧的偏移(例如,调整车辆200的位置使之更接近弯道的内侧)。作为另一示例,在障碍(诸如停放的车、行人或骑自行车的人)存在于车道一侧的情况下,系统100可在车辆200的存在障碍的那一侧增加偏移(例如,调整车辆200的位置使得更远离障碍)。

图8a图示了行进在道路800上的车辆200,其中可使用用于识别车道约束并且在车道约束内操作车辆200的公开的系统和方法。如图所示,车辆200可具有第一车辆侧802,第一车辆侧802距第一车道约束810可以是第一距离805。类似地,车辆200可具有与第一车辆侧802相反的第二车辆侧812,并且第二车辆侧812距第二车道约束820可以是第二距离815。以这种方式,第一车道约束810和第二车道约束820可限定可供车辆200行进的车道。

处理单元110可构造成基于处理单元110可经由数据接口128接收的由图像捕获装置122-126获取的多个图像来确定第一车道约束810和第二车道约束820。根据一些实施方式,第一车道约束810和/或第二车道约束820可由可见的车道边界(诸如标记在路面上的虚线或实线)识别。另外地或替代地,第一车道约束810和/或第二车道约束820可包括路面的路边或障碍。另外地或替代地,第一车道约束810和/或第二车道约束820可包括标记物(例如,博茨点)。根据一些实施方式,处理单元110可通过识别路面宽度的中点来确定第一车道约束810和/或第二车道约束820。根据一些实施方式,如果处理单元110仅识别第一车道约束810,则处理单元110可诸如基于估算的车道宽度或道路宽度来估算第二车道约束820。当例如指定道路车道的线未被喷涂或以其它方式贴标签时,处理单元110可采取这种方式识别车道约束。

检测第一车道约束810和/或第二车道约束820可包括:处理单元110确定其在相机坐标系统中的三维模型。例如,第一车道约束810和/或第二车道约束820的三维模型可由第三多项式描述。除了三维建模第一车道约束810和/或第二车道约束820,处理单元110可执行主机运动参数(诸如车辆200的速度、偏航和俯仰速率以及加速度)的多帧估算。可选地,处理单元110可检测静态和移动车辆及其位置、航向、速度和加速度(都相对于车辆200)。处理单元110可进一步确定道路标高模型以将从多个图像获取的所有信息转换为三维空间。

一般,作为默认条件,车辆200可在第一车道约束和第二车道约束810和/或820内相对居中地行进。然而,在一些情形下,环境因素可使之非期望或不可行,诸如当对象或结构存在于道路的一侧的时候。由此,可存在以下情形,即车辆200可期望或有利地更接近一个车道约束或另一个。处理单元110还可构造成确定被称为车道偏移条件的这样的情形是否基于多个图像存在。

为了确定车道偏移条件是否存在,处理单元110可构造成确定一个或多个对象825存在于车辆200附近。例如,对象825可包括在道路800上行进的另一车辆,诸如汽车、卡车或摩托车。对于每个对象825,处理单元110可确定偏移轮廓。偏移轮廓可包括确定在其当前预测位置中对象825是否将位于车辆200的预定范围内。如果处理单元110确定对象825位于或将位于车辆200的预定范围内,则处理单元110可确定:为使车辆200绕过对象825,在第一车道约束810和第二车道约束820内是否有足够的空间。如果没有足够的空间,则处理单元110可执行变道。如果有足够的空间,则处理单元110可确定在车辆200与对象825之间的距离接近之前是否有足够的时间绕过对象825。如果有足够的时间,则处理单元110可启动或激活偏移机动以绕过对象825。偏移机动可由处理单元110执行,使得车辆200的移动对驾驶员而言平稳而舒适。例如,偏移摆率可大约为0.15米/秒到0.75米/秒。偏移机动可执行为使得偏移机动的最大振幅将发生在车辆200与对象825之间的间距缩短的时候。如果没有足够的时间,则处理单元110可启动制动(例如,通过向制动系统230发送电子信号),然后启动偏移机动。

在为每个对象825设定好每个偏移轮廓均之后,处理单元可组合偏移轮廓,使得与车辆200绕过的每个对象825保持最大侧向距离。即,偏移机动可被修改和/或执行为使得车辆200与车辆200绕过的每个对象825之间的侧向距离被最大化。

另外地或替代地,对象825可以是停放或静止的车辆、墙或人(诸如行人)或自行车交通。处理单元110可确定:基于对象825的某些特性存在车道偏移条件。例如,处理单元110可确定:如果对象825的高度超过预定阈值,诸如距路面10cm,则对象825构成车道偏移条件。以这种方式,处理单元110可构造成过滤出将不会出现车道偏移条件的对象,诸如小件碎片。

另外地或替代地,处理单元110可构造成基于目标对象830在车辆第一侧802的位置来确定车道偏移条件是否存在于第一车辆侧802。目标对象830可包括构成车道偏移条件的一个或多个对象。另外地或替代地,目标对象830可不构成车道偏移条件。例如,目标对象830可以是街道标志或足够远离行进车道或足以不频繁发生的其它对象(不构成车道偏移条件)。处理单元110可构造成如果这样的目标对象830被检测则得出结论车道偏移条件不存在。

处理单元110可构造成致使车辆200行进,使得第一距离805和第二距离810基本不同,以避免或保持更远离对象825。例如,如果车道偏移条件存在于第一车辆侧802,则处理单元110可构造成致使车辆200在第一车道约束810和第二车道约束820内行进,使得第一距离805大于第二距离815。这例如在图8a中图示。替代地,如果车道偏移条件存在于第二车辆侧812上,则处理单元110可创建或执行这样的偏移轮廓,该偏移轮廓被构造成致使车辆200在第一车道约束810和第二车道约束820内行进,使得第一距离805小于第二距离815。这例如在图8b中图示。

作为另一示例,停放的车辆可位于车辆200的一侧,并且行人可位于车辆200的另一侧。在这样的情形下,系统100可确定:期望减小车辆200与停放的车辆之间的距离,以便在车辆200与行人之间提供更多空间。因此,处理单元110可致使车辆200行进,使得停放的车辆之间的距离减小。

第一车辆侧802和第二车辆侧812的识别需要不是静态的,使得在不同的时间点,处理单元110可将第一车辆侧802识别为车辆200的驾驶员侧或乘客侧。例如,取决于一个或多个对象825存在于车辆200的哪一侧,第一车辆侧802的识别可改变,使得如果基于对象825存在一个车道偏移条件,则对象825存在于第一车辆侧802上。在这样的情形下,处理单元110可创建或执行这样的偏移轮廓,该偏移轮廓被构造成致使车辆200在第一车道约束810和第二车道约束820内行进,使得大于第二距离815的第一距离805被朝向对象825提供。

根据一些实施方式,当车道偏移条件存在于第一车辆侧802时,处理单元110可创建这样的偏移轮廓,该偏移轮廓被构造成致使车辆200在第一车道约束810和第二车道约束820内行进,使得第一距离805比第二距离815大至少1.25倍。另外地或替代地,当车道偏移条件存在于第一车辆侧802上时,处理单元110可创建这样的偏移轮廓,该偏移轮廓被构造成致使车辆200在第一车道约束810和第二车道约束820内行进,使得第一距离805比第二距离815大至少2倍。

在一些实施方式中,如图8c所示,处理单元110可确定车道偏移条件存在于第一车辆侧802和第二车辆侧812两者上。然后,处理单元110可针对该偏移条件创建这样的偏移轮廓,该偏移轮廓被构造成致使车辆200在第一车道约束810和第二车道约束820内行进,使得第一距离805基本上等于第二距离815。

处理单元110可构造成使得用于移动对象825以及静止对象825的偏移轮廓优先。例如,处理单元110可优先偏移轮廓,以保持车辆200与移动对象825和/或静态对象825之间的预定距离。处理单元200可基于某些车道特性(诸如弯道)优先这些偏移条件(优于这些偏移条件)。最后优先车道偏移条件可包括模仿前车。

处理单元110可将偏移轮廓或偏移条件化为期望的前瞻点,该期望的前瞻点可位于由第一车道约束810和第二车道约束820限定的车道的中间处。处理单元110可基于前瞻点和偏移轮廓来计算并实施偏航率命令。偏航率命令可用于基于偏航率命令和车辆200的通过使用陀螺仪测量的偏航率来计算扭矩命令。处理单元110可向车辆200的转向系统(例如,转向系统240)发送扭矩命令。

根据一些实施方式,诸如经由用户接口170,来自车辆200的驾驶员的输入可撤销处理单元110。例如,用户输入可撤销处理单元110的控制,致使车辆200在第一车道约束810和第二车道约束820内行进,使得第一距离805大于第二距离815。

另外地或替代地,处理单元110可构造成基于由图像捕获装置122捕获的多个图像来确定车道偏移条件是否基本上不存在。这可包括以下情形,其中低于某些大小阈值的一个或多个对象825被检测,和/或当无对象825被检测时,被检测的一个或多个对象825位于距车道约束的预定距离的外侧。在这样的情形下,处理单元110可构造成致使车辆200在第一车道约束810和第二车道约束820内行进,使得第一距离805等于或基本上等于第二距离815。

如图8d中图示的,车道偏移条件可包括弯路。处理单元110可构造成致使车辆200在第一车道约束810和第二车道约束820内行进,使得第一距离805相对于车辆200朝向弯路的外侧,并且第二距离815相对于车辆200朝向弯路的内侧。例如,第一距离805可小于第二距离815。

图9是与公开的实施方式相一致的存储器140和/或150的示例性框图,存储器140和/或150可存储用于执行一个或多个操作的指令。如图9中图示的,存储器140可存储用于执行本文中描述的车道偏移条件检测和响应的一个或多个模块。例如,存储器140可存储车道约束模块910和车道偏移模块920。应用处理器180和/或图像处理器190可执行存储在任何模块910和920(包括在存储器140中)中的指令。本领域技术人员将理解的是,以下讨论对处理单元110的引用可单独或共同指应用处理器180和图像处理器190。因此,任何以下过程的步骤可由一个或多个处理装置执行。

车道约束模块910可存储指令,当由处理单元110执行时,该指令可检测并且限定第一车道约束810和第二车道约束820。例如,车道偏移模块910可处理从至少一个图像捕获装置122-124接收的多个图像,以检测第一车道约束810和第二车道约束820。如上面讨论的,这可包括识别喷涂的车道线和/或测量路面的中点。

车道偏移模块920可存储指令,当由处理单元110执行时,该指令可检测车道偏移条件的存在和/或识别车道偏移条件是否存在于第一车辆侧802和/或第二车辆侧812上。例如,车道偏移模块920可处理多个图像,以检测对象825存在于第一车辆侧802和/或第二车辆侧812上。车道偏移模块920可处理多个图像,以检测车辆200行进的道路中的弯道。另外地或替代地,车道偏移模块920可接收来自指示存在对象825和/或弯曲车道的另一模块或其它系统的信息。车道偏移模块920可执行控制,以改变车辆200相对于第一车道约束810和/或第二车道约束820的位置。例如,如果车道偏移模块920确定车道偏移条件仅在第一车辆侧802上,则车道偏移模块920可使车辆200移动得更接近第二车道约束820。另一方面,如果车道偏移模块920确定车道偏移条件仅在第一车辆侧812上,则车道偏移模块920可使车辆200移动得更接近第一车道约束810。

图10图示了与公开的实施方式相一致的用于导航车辆200的过程1000。过程1000可识别限定了车辆行进的行进车道的车道约束。过程1000包括:响应于检测车道偏移条件而致使车辆200行进得更接近一个或另一个车道约束,诸如第一车道约束810或第二车道约束820。以这种方式,过程1000可用于在车道约束内驾驶车辆200以及考虑可能更期望使车辆200在第一车道约束810和第二车道约束820内移位的环境因素。

在步骤1010,过程1000可包括:使用至少一个图像捕获装置122、124和/或126来获取车辆200附近区域的多个图像。例如,处理单元110可经由数据接口128接收多个图像。例如,处理单元110可构造成确定一个或多个对象825存在于道路的一侧上。例如,对象825可以是停放或静止的车辆、墙或人(诸如行人)或自行车交通。处理单元110可基于对象825的某些特性来确定车道偏移条件是否存在。例如,处理单元110可确定:如果对象825的高度超过预定阈值,诸如距路面10cm,则对象825构成车道偏移条件。以这种方式,处理单元110可构造成过滤出将不会出现车道偏移条件的对象,诸如小件碎片。

另外地或替代地,处理单元110可构造成基于目标对象830在车辆第一侧802上的位置来确定车道偏移条件是否存在于第一车辆侧802上。目标对象830可以是构成车道偏移条件的一个或多个对象。另外地或替代地,目标对象830可不构成车道偏移条件。例如,目标对象830可以是道路障碍或街道标志。处理单元110可构造成:如果这样的目标对象830被检测则得出结论车道偏移条件不存在。

在步骤1020,过程1000可根据多个图像确定在第一车辆侧802的第一车道约束和在第二车辆侧812的第二车道约束。例如,处理单元110可构造成基于经由数据接口128接收的多个图像来确定第一车道约束810和第二车道约束820。

在步骤1030,过程1000可确定车道偏移条件是否存在于第一车辆侧802上。如果车道偏移条件确实存在于第一车辆侧802上,则在步骤1040,过程1000可包括:致使车辆200在第一车道约束810和第二车道约束820内行进,使得第二距离815小于第一距离805。处理单元110可构造成致使车辆200行进,使得第一距离805和第二距离810基本上不同,以避免或保持更远离对象825。例如,如果车道偏移条件存在于第一车辆侧802上,则处理单元110可构造成致使车辆200在第一车道约束810和第二车道约束820内行进,使得第一距离805大于第二距离815。这例如在图8a中图示。替代地,如果车道偏移条件存在于第二车辆侧812上,则处理单元110可构造成致使车辆200在第一车道约束810和第二车道约束820内行进,使得第一距离805小于第二距离815。这例如在图8b中图示。例如,为了根据过程1000导航车辆200,处理单元110可向车辆200的节流系统220、制动系统230和/或转向系统240中的一个或多个发送电子信号。

如果车道偏移条件不存在于第一车辆侧802上,则在步骤1050中,方法可包括:确定车道偏移条件是否存在于第二车辆侧812上。如果车道偏移条件存在于第二车辆侧812上,所述方法可包括:致使车辆200在第一车道约束810和第二车道约束820之间行进,使得第一距离805小于第二距离815。

将车辆导航至默认车道

系统100可提供驾驶员辅助功能性,用于监测车辆200在当前行进车道中的地点并且如果当前行进车道并非预定的默认行进车道则使车辆200进入预定的默认行进车道。预定的默认行进车道可由用户输入限定和/或作为处理从至少一个图像捕获装置122-126接收的图像的结果。

系统100还可为车辆200的驾驶员和乘客和/或其它驾驶员提供即将发生车辆200向预定的默认行进车道变道的通知。例如,系统100可激活定位在保险杠区域210之一处或附近的转向信号。另外地或替代地,系统100可诸如通过扬声器360发出语音通知。当车辆行进时,车辆200可使用系统100将特定车道选择为预定的默认行进车道。当车辆200行进的当前车道(例如,当前行进车道)不同于预定的默认行进车道时,系统100可致使车辆200做出变道,例如,进入预定的默认行进车道。

图11图示了在道路800的当前行进车道1110中行进的车辆200。根据一些实施方式,车辆200可具有预定的默认行进车道1120。例如,预定的默认行进车道1120可以是道路800的最右车道。导航系统100可构造成确定车辆200是否行进在预定的默认行进车道1120中,如果否,则致使车辆200改变至预定的默认行进车道1120。例如,处理单元110可构造成将当前行进车道1110与预定的默认行进车道1120进行比较,并且致使车辆200返回到预定的默认行进车道1120。

根据一些实施方式,处理单元110可基于由图像捕获装置122-126中的一个或多个获取的多个图像来检测预定的默认行进车道1120中的对象1130。处理单元110可通过使用上面结合图5a至图5d描述的技术来分析图像而检测车辆200相对于对象1130的位置和速度。根据一些实施方式,处理单元110可确定车辆200是否应该超越对象1130。这可能期望的是,例如车辆200相对于对象1130的速度和/或加速度超过某一阈值。

图12a是与公开的实施方式相一致的存储器140的示例性框图,存储器140可存储用于执行一个或多个操作的指令。如图12a中图示的,存储器140可存储用于执行本文中描述的默认行进车道和当前行进车道的检测和响应的一个或多个模块。例如,存储器140可存储当前车道检测模块1210、默认车道检测模块1220和动作模块1230。

当前车道检测模块1210可存储指令,当由处理单元110执行时,该指令可检测并且限定当前行进车道1110。例如,处理单元110可执行当前车道检测模块1212,以处理从至少一个图像捕获装置122-124接收的多个图像并且检测当前行进车道1110。这可包括检测车辆200相对于道路800的路边、道路800的中点和/或车道标记物(诸如喷涂的车道线)的相对位置。处理单元110可通过使用上面结合图5a至图5d描述的技术来分析图像而检测车辆200相对于道路800的位置。

默认车道检测模块1220可存储指令,当由处理单元110执行时,该指令可识别预定的默认行进车道1120并且将默认车道检测模块1220与由当前车道检测模块1210识别的当前行进车道1110进行比较。默认车道检测模块1220可基于用户输入和/或从至少一个图像捕获装置122-124接收的多个图像来识别预定的默认行进车道1120。例如,用户可通过扬声器360接收的语音命令或者通过选择显示在触摸屏320上的菜单来选择默认车道。

在一些实施方式中,预定的默认行进车道1120可以是最右行进车道,或者可以是具有更期望特征的车道。例如,默认车道检测模块1220可包括指令,该指令用于选择交通量更少的车道、最接近车辆200速度行进的车辆的车道和/或最接近一个接近出口或车辆200将转向的街道的车道。在一些实施方式中,预定的默认行进车道1120可基于从位置传感器130(诸如全球定位系统)接收的数据来确定。

动作模块1230可存储指令,当由处理单元110执行时,该指令可产生识别当前行进车道1110和预定的默认行进车道1120的响应。例如,处理单元110可执行动作模块1230,以在当前行进车道1110与预定的默认行进车道1120不相同的情况下致使车辆200变道。另外地或替代地,动作模块1230可启动变道的通知,诸如激活转向信号210或者产生语音通知。

动作模块1230可包括致使处理单元110确定车辆200是否应该移出预定的默认行进车道1120的指令。例如,动作模块1230可确定:预定的默认行进车道1120中的对象1130应该由车辆200绕过。

动作模块1230可进一步包括致使处理单元110确定进行变道是否安全的指令。例如,在执行变道之前,处理单元110可基于例如使用上面结合图5a至图5d描述的技术进行的多个图像的分析来评估确定道路800的一个或多个特性。如果分析指示变道条件是不安全的,则处理单元110可确定:车辆200应该保持在当前车道中。

动作模块1230可包括用于操纵车辆200以机动离开和返回到预定的默认行进车道1120(诸如绕过对象1130)的额外指令。当执行这些指令时,处理单元110可使用车辆200的估算运动来估算预定的默认行进车道1120的地点。这在以下情形下可能是有利的,即预定的默认行进车道1120不能保持为由图像捕获装置122-124检测到。

处理单元110可构造成执行偏移轮廓,该偏移轮廓使车辆200从预定的默认行进车道1120偏移完整的车道宽度,其可基于被检测的车道标记物之间的距离来估算。由偏移轮廓限定的偏移机动可由处理单元110执行,使得车辆200的移动对驾驶员而言平稳而舒适。例如,偏移摆率可大约为0.15米/秒到0.75米/秒。在偏移机动期间,处理单元110可执行来自动作模块1230的指令,该指令切换至跟随当前行进车道1110的中央。这些指令可包括从跟随带偏移的预测车道逐渐过渡到跟随当前行进车道1110。逐渐过渡可通过限定期望的前瞻点来完成,使得不允许在时间中的改变多于建议的摆率(可约为0.25米/秒)。

用于使车辆200从预定的默认行进车道1120过渡的指令可用于使车辆200过渡回到预定的默认行进车道中。例如,处理单元110可构造成执行偏移轮廓,该偏移轮廓使车辆200从当前行进车道1110偏移完整车道宽度,其可基于被检测的车道标记物之间的距离来估算。由偏移轮廓限定的偏移机动可由处理单元110执行,使得车辆200的移动对驾驶员而言平稳而舒适。例如,偏移摆率可大约为0.15米/秒到0.75米/秒。在偏移机动期间,处理单元110可执行来自动作模块1230的指令,该指令切换至跟随预定的默认行进车道1120的中央。这些指令可包括从跟随带偏移的预测车道逐渐过渡到跟随预定的默认行进车道1120。逐渐过渡可通过限定期望的前瞻点来完成,使得不允许在时间中的改变多于建议的摆率(可约为0.25米/秒)。

在使车辆200在两个车道之间过渡的一个或多个步骤,处理单元110可基于前瞻点和偏移轮廓来计算并实施偏航率命令。偏航率命令可用于基于偏航率命令和使用陀螺仪测量的车辆200的偏航率来计算扭矩命令。处理单元110可向车辆200的转向系统(例如,转向系统240)发送扭矩命令。

图12b图示了与公开的实施方式相一致的用于将车辆200导航至默认车道的过程1250。根据一些实施方式,过程1250可由导航系统100的一个或多个部件(诸如至少一个处理单元110)实施。过程1250可识别车辆200的当前行进车道1110并且将之与预定的默认行进车道1120比较,以确定车辆200是否行进在预定的默认行进车道1120内。如果车辆200并未行进在预定的默认行进车道1120中,则处理单元110可致使车辆200变道,使得导航至默认行进车道1120。

在步骤1260,图像捕获装置122-124中的一个或多个可获取车辆200附近区域的多个图像。处理单元110可经由数据接口128接收多个图像。

在步骤1270,处理单元110可执行当前车道检测模块1210以检测并且限定当前行进车道1110。例如,处理单元110可处理多个图像,以例如检测车辆200相对于道路100的路边、道路100的中点和/或喷涂的车道标记物的相对位置。处理单元110可通过使用上面结合图5a至图5d描述的技术来分析图像而检测车辆200相对于道路800的位置。

在步骤1280,处理单元110可执行默认车道检测模块1220,以识别预定的默认行进车道1120并且将默认车道检测模块1220与由当前车道检测模块1210识别的当前行进车道1110比较。默认车道检测模块1220可基于用户输入和/或从至少一个图像捕获装置122-124接收的多个图像来识别预定的默认行进车道1120。

例如,如上面讨论的,处理单元110可基于任何数目的因素来确定预定的默认行进车道1120。预定的默认行进车道1120可以是在多个行进车道1110和1120之中的最右车道。另外地或替代地,预定的默认行进车道1120的确定可基于通过处理多个图像经由用户接口170从用户接收的输入,和/或基于从位置传感器130(诸如全球定位系统)接收的数据。预定的默认行进车道1120可在每次车辆行程确定一次,或者定期确定。例如,预定的默认行进车道1120可响应于给定地点的条件动态地确定。

如果当前车道1110与预定的默认行进车道1120不相同,则处理单元110可执行动作模块1230以致使车辆100导航至默认行进车道1120。例如,处理单元110可向车辆200的节流系统220、制动系统230和/或转向系统240中的一个或多个发送电子信号,以触发期望的响应。例如,处理单元110可致使转向系统240将车辆200的方向盘转向以实现预定角度的旋转。

进一步,在执行变道之前,处理单元110可确定变道是否安全(例如,路中没有车辆或对象)。如上面讨论的,处理单元110可基于例如使用上面结合图5a至图5d描述的技术进行的多个图像的分析来评估道路800的一个或多个特性。如果变道条件是不安全的,则处理单元110可确定:车辆200应该保持在当前车道中。

在一些实施方式中,执行动作模块1230可启动变道的通知。例如,处理单元110可产生信号以激活转向信号和/或经由扬声器360产生语音通知。因此,这样的通知可发生在车辆200变道之前。在其它实施方式中,执行动作模块1230可向车辆200的驾驶员启动在不致使变道发生的情况下则车辆200并未行进在默认车道中的通知。因此,在这样的实施方式中,车辆200的驾驶员可确定是否手动采取动作以及使车辆200转向以变道。

在一些实施方式中,系统100可通知车辆200的用户和/或车辆200附近的其它驾驶员:如果车辆200将移向预定的默认行进车道1120,则车辆200将变道。例如,处理单元110可在致使车辆200变道之前激活车辆200的转向信号。另外地或替代地,通知附近的其它驾驶员的语音通知可由处理单元110产生。语音通知可经由例如蓝牙发送到包括在其它近旁车辆中的接收器。另外地或替代地,至少一个处理单元110可在致使车辆200切换车道之前致使语音指示器通知车辆200的驾驶员。以这种方式,车辆200的驾驶员可以预料:控制系统100将施加在车辆200上。

控制转弯车辆的速度

系统100可提供驾驶员辅助功能性,用于控制车辆200在不同场景(诸如做出转弯(例如,通过弯道)时)下的速度(即,速度和/或方向)。例如,系统100可构造成使用地图、位置和/或视觉数据的组合,以控制车辆200在转弯时的速度。特别是,系统100可控制车辆200在接近弯道时(在导航弯道的同时)和/或在离开弯道时的速度。系统100可考虑用以控制速度的不同因素,这取决于在给定的时间车辆200相对于弯道的位置。例如,系统100可初始响应于获知到弯道位于车辆200之前的某一距离来致使车辆200减速。然而,在车辆200转弯经过弯道的同时,系统100可基于对弯道特性的分析来致使车辆200加速和/或改变方向。

图13a和图13b是与公开的实施方式相一致的使车辆(例如,车辆200)接近并导航具有道路1300的一个或多个特性的弯道的概略表示。如图13a中图示的,视觉指示器(诸如位于道路1300附近的道路标志1302)可告知车辆200弯道在前面。响应于由道路标志1302提供的警告,车辆200的驾驶员和/或为车辆200提供驾驶员辅助功能性的系统100可调整车辆200的速度(例如,通过减速和/或转向),以安全地导航弯道。

在车辆200接近弯道时,系统100可通过使用车辆200的图像捕获装置122和/或124(可以是相机)来检测车道宽度1306和弯道半径1308。基于弯道半径1308、车道宽度1306以及使用图像捕获装置122和/或124检测的与弯道关联的其它特性,系统100可调整车辆200的速度。具体地,系统100可调整车辆200接近弯道和/或车辆200导航弯道时的速度。系统100还可响应于例如出现在弯道之后的交通灯1304来调整车辆200离开弯道时的速度。下面结合图14和图15描述关于调整车辆200的速度以及检测车道宽度1306、曲率半径或弯道半径1308及与弯道关联的特性的进一步细节。

在一些实施方式中,系统100可基于地图数据和/或车辆位置信息(例如,gps数据)来辨识将被导航的弯道。系统100可基于反映在地图数据中的弯道的一个或多个特性来确定车辆的初始目标速度。系统100可将车辆的速度调整至初始目标速度,并且基于由图像捕获装置122-126中的一个或多个获取的一个或多个图像来确定弯道的观察到的一个或多个特性。系统100可基于弯道的观察到的一个或多个特性来确定更新的目标速度,并且将车辆的速度调整至更新的目标速度。

图14是与公开的实施方式相一致的存储器的示例性框图,该存储器被构造成存储用于执行一个或多个操作的指令。如图14中指示的,存储器140可存储弯道辨识模块1402、特性观察模块1404和速度模块1406。公开的实施方式并不限于任何特定构造的存储器140。进一步,处理单元110可执行存储在任何模块1402-1406(包括在存储器140中)中的指令。

在一个实施方式中,弯道辨识模块1402可存储软件指令(诸如计算机视觉软件),当由处理单元110执行时,该软件指令通过例如分析一组或多组图像和/或使用地图和/或位置数据(例如,存储在地图数据库160中的数据)来检测弯道。图像组可由图像捕获装置122、124和126中的一个或多个获取。基于该分析,系统100(例如,经由处理单元110)可致使车辆200的速度改变。例如,如果处理单元110检测到存在位于车辆200之前的最小阈值距离内的弯道,则处理单元110可致使车辆200的速度降低预定的量和/或将车辆200的方向调整特定的角度。

在一个实施方式中,特性观察模块1404可存储软件指令(诸如计算机视觉软件),当由处理单元110执行时,该软件指令观察与系统100(例如,经由执行弯道辨识模块1402)检测的弯道关联的特性。处理单元110可通过分析由图像捕获装置122、124和126中的一个或多个获取的一组或多组图像和/或使用地图和/或位置数据(例如,存储在地图数据库160中的数据)来观察与被检测弯道关联的特性。该分析可产生与弯道关联的信息,诸如弯道半径1308、车道宽度1306、曲率的程度、曲率变化率、转弯倾斜度、弯道的长度或弧长,等。这些特性可包括估值(例如,使用预先存在的数据和/或基于这样的数据的数学模型计算的弯道特性)和实际值(例如,通过分析弯道的被捕获图像计算的弯道特性)。基于该分析,处理单元110可致使车辆200的速度改变。例如,鉴于与位于车辆200之前25米的弯道关联的曲率变化率较高,处理单元110可致使车辆200的速度降低和/或将车辆200的方向调整特定的角度。

在一个实施方式中,速度模块1406可存储被构造成分析来自一个或多个计算机电装置的数据的软件指令,该一个或多个计算机电装置被构造成确定目标速度并且致使车辆200的速度改变为目标速度。例如,处理单元110可执行速度模块1406,以基于从执行弯道辨识模块1402和特性观察模块1404得到的数据来计算车辆200的目标速度。例如,这样的数据可包括初始目标位置和初始速度、更新目标位置和更新速度、最终目标位置和最终速度,等。另外,处理单元110可基于来自车辆200的其它系统(诸如车辆200的节流系统220、制动系统230和/或转向系统240)的输入来计算车辆200的速度。基于计算的目标速度,处理单元110可向车辆200的节流系统220、制动系统230和/或转向系统240发送电子信号(例如,经由控制器区域网络总线(“can总线”)),以通过例如物理踩下制动器、松开车辆200的加速器或者使车辆200沿特定方向转向(例如,以特定角度)来触发车辆200的速度和/或方向的改变。速度增加可与对应的加速度(例如,介于0.2米/秒2到3.0米/秒2之间)关联。反过来,速度降低可与对应的减速度关联。另外,加速度或减速度可基于道路类型(例如,高速公路、城市街道、乡村道路,等等)、近旁任何速度约束的存在(例如,急剧弯道、交通灯)以及道路宽度或车道宽度1306。出于本公开的目的,减速可指具有负值的加速度。

图15是示出与公开的实施方式相一致的用于基于被检测弯道和观察的弯道特性和/或关于弯道的地图数据来控制车辆速度的示例性过程1500的流程图。在步骤1510,处理单元110可经由位于处理单元110与图像获取单元120之间的数据接口128接收多个图像。例如,包括在图像获取单元120中的相机(诸如图像捕获装置122)可捕获多个图像并且经数字连接(例如,usb、无线、蓝牙,等等)将图像发送到处理单元110。在一些实施方式中,处理单元110可经由多个数据接口接收多于一个的多个图像。例如,处理单元110可从图像捕获装置122、124、126中的每个接收多个图像,图像捕获装置122、124、126中的每个均可具有关联的数据接口用于与处理单元110通信数据。公开的实施方式并不限于任何特定的数据接口构造或协议。

在步骤1520,处理单元110可执行弯道辨识模块1502,以基于例如地图和/或位置数据(例如,存储在地图数据库160中的数据)来检测位于车辆200之前的弯道。这样的数据可指示存在于于给定道路上的弯道的地点。数据可指示特定弯道的绝对位置(例如,经由gps坐标)或弯道的相对位置(例如,通过相对于车辆200、道路标志1302、交通灯1304和/或其它描述性地标来描述弯道)。在一些实施方式中,处理单元110可执行弯道辨识模块1502,以通过分析多个图像来检测弯道。该分析可使用上面结合图5a至图5d和图6描述的技术来进行。

在步骤1530,处理单元110可执行速度模块1406,以基于例如从执行弯道辨识模块1402得到的数据来确定车辆200的初始目标速度。初始目标速度可反映车辆200的速度和方向以安全地进入即将到来的弯道,并且可使用上面结合图14描述的技术来确定。例如,速度模块1406可基于与即将到来的弯道关联的已知或估算的特性(诸如弯道半径1308和转弯倾斜度)来确定初始目标速度。速度模块1406可依据数学模型和/或公式并且基于各种约束来计算初始目标速度。在一些实施方式中,例如,速度模块1406可基于交通灯(诸如交通灯1304)存在于弯道之前、期间或之后、天气条件(例如,小雨、大雨、大风、多云,等等)、道路条件(例如,柏油路、土路、坑洼,等等)、限速、近旁存在车辆或行人等等来确定初始目标速度。初始目标速度还可基于与车辆200关联的侧向加速极限。在一些实施方式中,侧向加速极限可在0.2米/秒2到3.0米/秒2的范围内并且可取决于弯道特性、道路宽度或车道宽度1306来调整。另外,初始目标速度可基于与一个或多个相机(诸如图像捕获装置122和124)关联的焦距范围。

例如,速度模块1406可基于车辆200之前的道路的曲率半径来确定初始目标速度。速度模块1406可确定距车辆200的各种距离处的曲率半径并且以向量r(1:n)存储信息。在一个实施方式中,速度模块1406可确定以下地点的曲率半径:(1)车辆200的当前位置;(2)距车辆200的距离d终点,其中d终点表示车辆200之前的、道路特性的认识允许系统100控制车辆200的导航响应使得驾驶员可感觉舒适的距离;以及(3)距车辆200的增量距离,诸如每1米,等等。距离d终点的值可取决于车辆200的当前速度vego。例如,vego的值越大(例如,车辆200行进得越快),d终点的值越大(例如,可考虑越长的距离为系统100提供足够的时间来提供导航响应,诸如基于接近急剧转弯或弯道来舒适地减小车辆200的速度)。在一个实施方式中,d终点可根据以下公式计算:d终点=(vego2/2)/(0.7/40*vego+0.5)。由此,向量d(1:n)=[1:1:n],其中n=向下取整(d终点)。

在一些实施方式中,速度模块1406可基于侧向加速度约束a最大(例如,最大允许的侧向加速度)来确定初始目标速度。a最大可落入1.5米/秒2到3.5米/秒2的范围内。基于a最大和(上面讨论的)曲率半径向量r,速度模块1406可将(例如,距车辆200的当前位置的不同点或距离处的)车辆200的速度限制为速度v极限,计算为:v极限(1:n)=(a最大*r(1:n))1/2。另外,根据v极限的确定而导出的减速度约束可计算为:dec极限=最小{((v极限(1:n)2-vego2)/2),最大{d最小,d(1:n)-2*vego}},其中d最小等于40米。d最小的值可表示对车辆200的驾驶员而言减速感觉舒适的点。

在一些实施方式中,速度模块1406可基于曲率摆率约束slew最大(可基于曲率变化率)来确定初始目标速度。slew最大可落入0.5米/秒3到1.5米/秒3的范围内。速度模块1406可根据以下公式来确定v极限:v极限(1:n)=(slew最大/abs{{1/r(1:n)}’})1/3。进一步,速度模块1406可根据以下公式来确定dec极限:dec极限=最小{((v极限(1:n)2-vego2)/2),最大{d最小,d(1:n)-2*vego}},其中d最小等于40米。

在一些实施方式中,速度模块1406可确定舒适约束,使得在车辆200经历各种导航响应(诸如转弯或导航弯道)的同时车辆200的驾驶员是舒适的。速度模块1406可根据以下公式来确定v极限:v极限(1:n)=4/500*r(1:n)+22.5。进一步,速度模块1406可根据以下公式来确定dec极限:dec极限=最小{((v极限(1:n)2-vego2)/2),最大{d最小,d(1:n)-2*vego}},其中d最小等于40米。

速度模块1406可通过使用与每个约束关联计算的dec极限的最小值来合并上面确定的三个约束,即侧向加速度约束、曲率摆率约束和舒适约束。在合并约束之后,速度模块1406可根据以下公式通过确定调整车辆200的速度的量来达到初始目标速度,记作v舒适:v舒适=v舒适(先前)+dec极限*δt,其中v舒适(先前)表示车辆200的先前速度(例如,先前确定的速度、在速度模块1406做任何调整之前的车辆200的速度,等等),并且δt表示确定v舒适与v舒适(先前)之间的时间。

在步骤1540,处理单元110可执行速度模块1406以将车辆200的速度调整至在步骤1530确定的初始目标速度。基于车辆200的当前速度以及在步骤1530确定的初始目标速度,处理单元110可向车辆200的节流系统220、制动系统230和/或转向系统240发送电子信号,以将车辆200的速度改变至初始目标速度。进一步,一个或多个致动器可控制节流系统220、制动系统230和/或转向系统240。例如,处理单元110可发送电子信号,致使系统100物理地踩下制动器达预定的量或者部分地松开车辆200的加速器。进一步,处理单元110可发送电子信号,致使系统100将车辆200沿特定方向转向。在一些实施方式中,加速度(或减速度)的幅值可基于车辆200的当前速度与初始目标速度之间的差。当该差较大时(例如,当前速度比初始目标速度大10km/hr),例如,系统100可通过采取使减速度最大化并且导致车辆200在最短的时间量内尽可能安全地实现初始目标速度的方式制动来改变当前速度。替代地,系统100可采取使减速度降到最低并且导致车辆200逐渐实现初始目标速度的方式来施加制动。更一般地,系统100可将当前速度改变至初始目标速度,根据任何特定的制动轮廓(例如,前两秒要求高制动水平且随后三秒要求低制动水平的制动轮廓)。公开的实施方式并不限于任何特定的制动轮廓或制动方式。

在步骤1550,处理单元110可执行特性观察模块1404,以基于例如分析使用上面结合图5a至图5d描述的技术进行的多个图像来确定位于车辆200之前的弯道的一个或多个特性。例如,所述特性可包括与下列关联的估值和/或实际值:弯道半径1308、道路宽度或车道宽度1306、曲率的程度、曲率变化率、转弯倾斜度,等。例如,所述特性还可包括由一个或多个道路标志(诸如道路标志1302)传达的信息。此外,所述特性可包括被检测弯道的长度或弧长(可以是车辆200在接近弯道时的速度的函数)。处理单元110可执行特性观察模块1404,以基于数学模型和/或公式来计算与这些特性(例如,弯道半径1308、曲率的程度、曲率变化率、弯道弧长,等等)关联的值。在一些实施方式中,处理单元110可执行特性观察模块1404,以构建将弯道曲率表达为距离(例如,行进的距离)的函数的数学模型。这样的模型可能受约束,诸如最大侧向加速度约束(例如,在1.5米/秒2到3.0米/秒2的范围内)和/或最大侧向加速度衍生约束(例如,在0.8米/秒2到1.2米/秒2的范围内)。这些约束可产生车辆200的最大速度(作为行进距离的函数)。

在步骤1560,处理单元110可执行速度模块1406,以基于在步骤1550确定的特性来计算更新的目标速度。更新的目标速度可反映车辆200的更新速度和/或方向以安全地执行下列的任何组合:(i)进入即将到来的弯道;(ii)导航通过弯道;或(iii)离开弯道。更新的目标速度可使用上面结合图14和步骤1530描述的技术来确定。例如,速度模块1406可基于与弯道关联的特性并且基于数学模型和/或公式来确定更新的目标速度。

在步骤1570,处理单元110可执行速度模块1406,以将车辆200的速度调整至在步骤1560确定的更新的目标速度。这种调整可使用上面结合步骤1540描述的技术来完成。例如,基于车辆200的当前速度以及在步骤1560确定的更新的目标速度,处理单元110可向车辆200的节流系统220、制动系统230和/或转向系统240发送电子信号(例如,经由can总线),以将车辆200的速度改变至更新的目标速度。在这一点,车辆200的当前速度不一定与在步骤1530确定的初始目标速度相同。例如,处理单元110可在步骤1560已经确定更新的目标速度,同时将车辆200的速度调整至初始目标速度。这可能真正存在于车辆200的速度与初始目标速度的差较大(例如,大于10km/hr)并且关联的加速度较小的情况下。

在一些实施方式中,系统100可基于对弯道特性的继续观察(例如,基于描绘弯道的车辆200接近的部分的图像数据)来常规更新到目标速度。另外,在系统100将车辆200导航通过弯道之后,系统100可致使车辆200加速至新的目标速度,该新的目标速度适于行进道路的不带弯道的区段,这通过分析由系统100获取的地图数据、位置数据和/或图像数据而确定。

模仿前车

系统100可提供驾驶员辅助功能性,用于致使车辆200模仿(或者拒绝模仿)不同场景(诸如当前车切换车道、加速或转弯时)下的前车。例如,系统100可构造成通过分析多个图像来检测前车并且确定前车采取的一个或多个动作。在一些场景下,诸如当前车在路口处转弯时,系统100可构造成致使车辆200拒绝模仿转弯。在其它场景下,诸如当前车在路口处转弯且在路口内不变道时,系统100可构造成致使车辆200模仿转弯。系统100还可构造成基于前车的导航历史致使车辆200模仿前车的一个或多个动作。

图16a和图16b是与公开的实施方式相一致的模仿前车200b在道路1600a上的一个或多个动作的主车辆200a的概略表示。如图16a和图16b中图示的,主车辆200a可在道路1600a的同一车道中行进的同时追踪前车200b。车道可具有左边缘1620、右边缘1630和中点1610,w1和w2分别指示车道的左半边和右半边。主车辆200a和前车200b可定位在车道中,使得车辆都不居中于中点1610上。如图所示16a,例如,主车辆200a可居中于中点1610的右边,使得主车辆200a与左边缘1620之间的距离c1大于主车辆200a与右边缘1630之间的距离c2。对比之下,前车200b可居中于中点1610的左边,使得前车200b与左边缘1620之间的距离c3小于前车200b与右边缘1630之间的距离c4。主车辆200a和前车200b的位置可以有不同的构造。例如,主车辆200a和前车200b可定位在道路1600a上的任何地方。进一步,虽然图16a描绘了具有相机系统的前车200b,但是公开的实施方式并不限于前车200b包括相机系统的构造。

主车辆200a的系统100可致使主车辆200a模仿前车200b的一个或多个动作。如图16b所示,例如,主车辆200a可模仿前车200b执行的车道移位。在模仿车道移位之后,距离c1可等于距离c3,并且距离c2可等于距离c4。在一些实施方式中,主车辆200a可模仿前车200b执行的车道移位,使得距离c1和c3与c2和c4不等。例如,在主车辆200a模仿主车辆200b的向左车道移位并且(在车道移位之后)定位至主车辆200a的左边的情况下,c1将小于c3并且c2将大于c4。替代地,在主车辆200a模仿主车辆200b的向左车道移位并且定位至主车辆200a的右边的情况下,c1将大于c3并且c2将小于c4。

图16c和图16d是与公开的实施方式相一致的模仿前车200b在道路1600b上的一个或多个动作的主车辆200a的概略表示。如图16c中图示的,主车辆200a可在前车200b后面行进,前车200b可在路口处左转弯。主车辆200a的系统100可致使主车辆200a模仿前车200b的左转弯,如图16d所示。系统100可基于各种因素(诸如前车200b是否在路口内转弯的同时变道、与前车200b关联的导航历史、主车辆200a与前车200b之间的相对速度差,等)来致使主车辆200a模仿左转弯。另外,主车辆200a可在各种条件下(诸如基于前车200b是否沿着与主车辆200a行进沿着的路线的相同路线或相同部分行进)模仿前车200b。关于系统100可致使主车辆200a模仿前车200b的一个或多个动作的场景的进一步细节在下面结合图17至图22描述。

在一些实施方式中,系统100可构造成确定是否模仿前车的特定移动。例如,系统100可确定:前车的某些移动不需要被模仿,因为这种移动不影响前车的路线。例如,系统100可确定:移动的少量改变(诸如在特定车道内移动)不需要被模仿。在其它实施方式中,系统100可实施平稳操作以过滤出前车的少量移动。平稳操作可致使主车辆实施前车的更显著和/或重要的移动(例如,变道),同时过滤出较少量的不会影响前车的整体路线的移动。

图17是与公开的实施方式相一致的存储器的示例性框图,该存储器被构造成存储用于执行一个或多个操作的指令。如图17所示,存储器140可存储车道约束模块1702、动作检测模块1704和动作响应模块1706。公开的实施方式并不限于任何特定构造的存储器140。进一步,处理单元110可执行存储在任何模块1702-1706(包括在存储器140中)中的指令。

在一个实施方式中,车道约束模块1702可存储软件指令(诸如计算机视觉软件),当由处理单元110执行时,该软件指令确定与主车辆200a的行进车道关联的一个或多个约束。车道约束可包括车道的中点1610、左边缘1620和右边缘1630。车道约束还可包括标记在道路1600a或1600b的表面上的一个或多个线或其它符号。处理单元110可执行车道约束模块1702,以通过例如分析一组或多组图像和/或使用地图和/或位置数据(例如,存储在地图数据库160中的数据)来确定约束。图像组可由图像捕获装置122、124和126中的一个或多个获取。基于该分析,系统100(例如,经由处理单元110)可致使主车辆200a在由左边缘1620和右边缘1630限定的车道内行进。在一些实施方式中,如果距离c1或c2之一小于预定阈值,则系统100可致使主车辆200a远离左边缘1620或右边缘1630。

在一个实施方式中,动作检测模块1704可存储软件指令(诸如计算机视觉软件),当由处理单元110执行时,该软件指令检测在主车辆200a前方行进的前车200b采取的一个或多个动作。前车200b可在与主车辆200a相同或不同的车道中行进。处理单元110可执行动作检测模块1704,以通过例如分析由图像捕获装置122、124和126中的一个或多个获取的一组或多组图像来检测前车200b采取的一个或多个动作。基于该分析,例如,处理单元110可确定前车200b已变换车道、已转弯、加速、减速、施加制动等。作为另一示例,前车200b可执行机动,使得前车200b的邻近第一车道约束的那一侧的第一偏移距离不同于前车200b的邻近第二车道约束的那一侧的第二偏移距离。例如,处理单元110可基于上面结合图5a至图5d描述的技术来执行这种分析。

在一个实施方式中,动作响应模块1706可存储软件指令(诸如计算机视觉软件),当由处理单元110执行时,该软件指令基于系统100(例如,经由执行动作检测模块1704)检测的前车200b所采取的一个或多个动作来确定主车辆200a采取的一个或多个动作。例如,处理单元110可执行动作响应模块1706,以确定是否模仿前车200b的一个或多个动作。该确定可基于前车200b的动作(例如,转弯、车道移位,等等)的性质、与主车辆200a关联的信息(例如,距车道路边的速度、距离c1和c2,等等)、道路和环境条件(例如,坑洼、大雨或风,等等),等。在处理单元110确定模仿前车200b的一个或多个动作的情况下,处理单元110可通过以下手段完成这:例如向主车辆200a的节流系统220、制动系统230和/或转向系统240发送电子信号(例如,经由can总线),以触发转弯、车道移位、主车辆200a的速度改变和/或方向改变。处理单元110可使用上面结合图4至图7描述的技术以致使主车辆200a模仿一个或多个动作。为了模仿一个或多个动作,系统100可向节流系统220、制动系统230和转向系统240中的一个或多个提供控制信号,以(例如,通过致使加速、转弯、车道移位,等等)导航车辆200。进一步,一个或多个致动器可控制节流系统220、制动系统230和/或转向系统240。

图18是示出与公开的实施方式相一致的用于致使主车辆200a模仿前车200b的一个或多个动作的示例性过程的流程图。在步骤1810,处理单元110可经由位于处理单元110与图像获取单元120之间的数据接口128接收多个图像。例如,包括在图像获取单元120中的相机(诸如图像捕获装置122)可捕获多个图像并且经数字连接(例如,usb、无线、蓝牙,等等)将图像发送到处理单元110。在一些实施方式中,处理单元110可经由多个数据接口接收多于一个的多个图像。例如,处理单元110可从图像捕获装置122、124、126中的每个接收多个图像,图像捕获装置122、124、126中的每个均可具有关联的数据接口用于与处理单元110通信数据。公开的实施方式并不限于任何特定的数据接口构造或协议。

在步骤1820和1830,处理单元110可执行车道约束模块1702,为主车辆200a的每侧确定与主车辆200a的行进车道关联的约束。处理单元110可通过分析在步骤1810接收的图像来确定约束。由此,在步骤1820,处理单元110可确定在主车辆200a的第一侧上的第一车道约束(例如,主车辆200a的左侧与车道的左边缘1620之间的距离,c1),以及在步骤1830,确定在与第一侧相反的第二侧上的第二车道约束(例如,主车辆200a的右侧与车道的右边缘1620之间的距离,c2)。在一些实施方式中,处理单元110可通过使用地图和/或指示主车辆200a相对于车道的中点1610、左边缘1620和右边缘1630的位置的位置数据(例如,存储在地图数据库160中的数据)来确定约束。处理单元110可基于分析在步骤1810接收的图像以及地图和/或位置数据两者来确定约束;这样做可增加与约束关联的置信水平。

在步骤1840,处理单元110可执行车道约束模块1702,以致使主车辆200a在步骤1820和1830确定的车道约束内行进。例如,主车辆200a的左侧可定位至左边缘1620的左边,或者主车辆200a的右侧可定位至右边缘1630的右边。在这样的情景下,处理单元110可向主车辆200a的节流系统220、制动系统230和/或转向系统240发送电子信号(例如,经由can总线),以致使主车辆200a调整其位置并且在车道约束内行进。

在步骤1850,处理单元110可执行动作检测模块1704,以通过分析图像将前车200b定位在在步骤1810接收的图像内。处理单元110可使用上面结合图5a和图5b描述的技术来检测车辆在图像中的存在。对于每个被检测车辆,处理单元110可构建被检测车辆相对于主车辆200a的位置、速度(例如,速度和方向)和加速度的多帧模型。处理单元110可使用上面结合图5a和图5b描述的技术来构建这样的模型。另外,处理单元110可确定与每个被检测车辆关联的行进车道,基于例如车道或其它道路标记以及在步骤1820和1830确定的车道约束。处理单元110可确定前车200b为最接近的被检测车辆,并且在与主车辆200a相同的车道中行进。在步骤1860,处理单元110可执行动作检测模块1704,以确定步骤1850在图像内检测的前车200b所采取的一个或多个动作。例如,处理单元110可确定:前车200b已变换车道、已转弯、加速、减速,等。另外,处理单元110可分析图像,以确定与前车200b关联的特性,诸如其(例如,相对于主车辆200a的)速度和位置。这些确定可基于上面结合图5a和图5b描述的技术。在一些实施方式中,处理单元110可分析图像,以确定与前车200b执行的动作关联的特性。例如,在前车200b转弯的情况下,处理单元110可确定前车200b正好在开始转弯之前的位置信息、前车200b在完成转弯时的位置信息、转弯半径以及描述前车200b在转弯时的速度改变(例如,经过一段时间)的速度轮廓。

在步骤1870,处理单元110可执行动作响应模块1706,以致使主车辆200a模仿在步骤1850确定的前车200b的一个或多个动作。例如,处理单元110可向主车辆200a的节流系统220、制动系统230和/或转向系统240发送电子信号(例如,经由can总线),以触发主车辆200a的转弯、车道移位、速度改变和/或方向改变。另外,处理单元110可构建一组路径点,以引导主车辆200a的位置和速度改变。路径点可基于由多项式(例如,第三多项式)和与目标车辆(诸如前车200b)关联的目标坐标表示的车道标线(例如,中点1610、左边缘1620、右边缘1630,等等)。处理单元110可调整多项式的系数,使得路径点超越目标坐标。处理单元110还可基于预定偏移量使路径点(例如,相对于左边缘1620和右边缘1630)偏移。在处理单元110调整多项式系数并使路径点偏移时,处理单元110还可针对形成在路径点之间的每个得到的区段来计算局部曲率信息。

在一些实施方式中,处理单元110(例如,经由执行动作响应模块1706)可在与两个车辆关联的某一位置、速度和/或加速度约束内致使主车辆200a模仿前车200b。例如,约束可能需要主车辆200a与前车200b之间的预定最小距离(例如,安全距离)或车辆之间的速度和/或加速度的预定最大差。由此,如果模仿前车200b执行的动作将违反一个或多个约束(例如,模仿加速将导致主车辆200a太接近前车200b),则处理单元110可致使主车辆200a拒绝模仿前车200b的一个或多个动作。另外,甚至在模仿前车200b执行的动作(例如,车道移位)的同时,处理单元110可致使主车辆200a跟随前车200b的速度轮廓并且维持与前车200b的预定距离或安全距离。处理单元110完成这可通过致使主车辆200a:(i)当间距大于预定最小距离时,不断缩短与前车200b的距离差距;(ii)不断缩短主车辆200a与前车200b的速度之间的差距;以及(iii)将前车200b的加速度匹配至与预定约束一致的程度。为了控制这些动作应该执行到什么程度,处理单元110可基于与前车200b的当前预测距离实时将每个动作与权重关联。由此,例如,在与前车200b的距离减小时,更大的权重可加到减速上,而非匹配前车200b的加速。

作为另一示例,在主车辆200a以大于前车200b速度的速度接近前车200b的情况下,处理单元110可致使主车辆200a逐渐减速,使得当两个车辆之间的距离等于预定安全距离(诸如最小跟随距离)时,两个车辆的速度相同。在另一示例中,在前车200b突然出现在主车辆200a前方的情况下,致使两个车辆之间的距离小于最小跟随距离,处理单元110可致使主车辆200a逐渐减速以避免更接近前车200b,同时增加车辆之间的距离直到该距离到达最小跟随距离。

图19是示出与公开的实施方式相一致的用于致使主车辆200a拒绝模仿前车200b的转弯的示例性过程1900的流程图。在步骤1910,如上面结合图18的步骤1810描述的,处理单元110可经由位于处理单元110与图像获取单元120之间的数据接口128接收多个图像。在步骤1920,如上面结合图18的步骤1850描述的,处理单元110可执行动作检测模块1704,以通过分析图像将前车200b定位在步骤1910接收的图像内。在步骤1925,处理单元110可执行动作检测模块1704,以使用上面结合图18的步骤1860描述的技术来确定前车200b是否在路口处转弯。如果确定前车200b在路口处转弯(步骤1925,是),则在步骤1930,处理单元110可致使主车辆200a拒绝模仿前车200b的转弯。否则(步骤1925,否),过程1900结束。

图20是示出与公开的实施方式相一致的用于致使主车辆200a模仿或拒绝前车200b的转弯的示例性过程2000的流程图。在步骤2010,如上面结合图18的步骤1810描述的,处理单元110可经由位于处理单元110与图像获取单元120之间的数据接口128接收多个图像。在步骤2020,如上面结合图18的步骤1850描述的,处理单元110可执行动作检测模块1704,以通过分析图像将前车200b定位在步骤2010接收的图像内。在步骤2025,处理单元110可执行动作检测模块1704,以使用上面结合图18的步骤1860描述的技术来确定前车200b是否在路口处转弯。如果确定前车200b在路口处转弯(步骤2025,是),则在步骤2035,处理单元110可执行动作检测模块1704,以使用上面结合图18的步骤1860描述的技术来确定前车200b是否在路口内变道。否则(步骤2025,否),过程2000结束。如果确定前车200b在路口内变道(步骤2035,是),则在步骤2050,处理单元110可致使主车辆200a拒绝模仿前车200b的转弯。否则(步骤2035,否),在步骤2040,处理单元110可致使主车辆200a模仿前车200b的转弯。

图21是示出与公开的实施方式相一致的用于致使主车辆200a模仿第一前车的一个或多个动作的另一示例性过程2100的流程图。在步骤2110,如上面结合图18步骤1810描述的,处理单元110可经由位于处理单元110与图像获取单元120之间的数据接口128接收多个图像。在步骤2120和2130,如上面结合图18的步骤1850描述的,处理单元110可执行动作检测模块1704,以通过分析图像将第一和第二前车定位在步骤2110接收的图像内。在步骤2135,处理单元110可执行动作检测模块1704,以使用上面结合图18的步骤1860描述的技术来确定第一前车路径的转弯半径是否小于第二前车路径。如果确定第一前车路径的转弯半径小于第二前车路径(步骤2135,是),则在步骤2140,处理单元110可致使主车辆200a模仿第一前车的转弯。否则(步骤2135,否),过程2100结束。

图22是示出与公开的实施方式相一致的用于基于导航历史来致使主车辆200a模仿前车200b的一个或多个动作的示例性过程2200的流程图。在步骤2210,如上面结合图18的步骤1810描述的,处理单元110可经由位于处理单元110与图像获取单元120之间的数据接口128接收多个图像。在步骤2220,如上面结合图18的步骤1850描述的,处理单元110可执行动作检测模块1704,以通过分析图像将前车200b定位在步骤2210接收的图像内。

在步骤2230,处理单元110可通过分析在步骤2210接收的图像来确定前车200b的位置信息。前车200b的位置信息可指示前车200b相对于主车辆200a的位置。处理单元110可通过使用上面结合图5a至图5d描述的技术来分析图像以得到前车200b的位置信息以及前车200b采取的一个或多个动作。

在步骤2240,处理单元110可将在步骤2230确定的前车200b的位置信息与预定地图数据(例如,存储在地图数据库160中的数据)比较。例如,通过将位置信息与预定地图数据比较,处理单元110可得到前车200b的位置坐标。另外,处理单元110可使用预定地图数据,作为与在步骤2230确定的位置信息关联的置信水平的指示器。

在步骤2250,处理单元110可通过例如跟踪前车200b采取的动作来创建与前车200b关联的导航历史。处理单元110可将前车200b采取的动作(例如,在步骤2230根据分析图像而确定)与步骤2240的预定地图数据关联。由此,导航历史可指示执行某些动作(例如,转弯、车道移位,等等)的前车200b处于某一位置坐标。

在步骤2260,处理单元110可执行动作响应模块1706,以基于在步骤2250创建的导航历史并且使用上面结合图18的步骤1870描述的技术来确定是否致使主车辆200a模仿前车200b的一个或多个动作。例如,甚至在根据分析图像(例如,在步骤2230)没有检测到转弯的情况下,当导航历史指示前车200b已成功导航至少一先个前转弯时,处理单元110(例如,经由动作响应模块1706)可致使主车辆200a模仿前车200b的转弯。更一般地,在导航历史指示前车200b已成功执行这样的动作的情况下,处理单元110可致使主车辆200a模仿前车200b采取的动作。

导航车辆以超越另一车辆

系统100可提供驾驶员辅助功能性,用于监测车辆200附近并且倘若变道被认为置于致使诸如与另一车辆(例如,目标车辆)碰撞的风险下则中止变道。例如,如果确定目标车辆位于与车辆200不同的车道中,则系统100可使车辆200能够完成对目标车辆的超越。如果,在完成超越之前,系统100确定目标车辆正进入车辆200的行进车道,系统100可致使车辆200中止超越。例如,中止超越可包括致使车辆200制动或致使车辆200停止加速。

如图23中图示的,车辆200可行进在道路2300上。车辆200可配备有系统100并且可实施任何公开的实施方式来识别车道约束以及在车道约束内操作车辆200。系统100还可促进车辆200做出的变道。例如,系统100可确定情形是否允许车辆200安全地变道,如果在变道期间情形改变,则致使车辆200中止变道。

如图23所示并且如先前相对于图8a至图8d讨论的,车辆200可包括第一车辆侧802,第一车辆侧802距第一车道约束2302可以是第一距离805。类似地,车辆200可包括与第一车辆侧802相反的第二车辆侧812,并且第二车辆侧812距第二车道约束2304可以是第二距离815。以这种方式,第一车道约束810和第二车道约束2304可限定车辆200可行进的车道2330。

系统100可基于由图像捕获装置122-126中的一个或多个获取的多个图像来确定第一车道约束2302和第二车道约束2304。根据一些实施方式,第一车道约束2302和/或第二车道约束2304可由可见的车道边界(包括标记在路面上的线)识别。另外地或替代地,第一车道约束2302和/或第二车道约束2304可包括路面的路边。根据一些实施方式,系统100可通过识别路面宽度2320的中点(或者车辆200可用作导航基准的任何其它合适的道路特征)来确定第一车道约束2302和/或第二车道约束2304。例如,当指定道路车道的线未被喷涂或以其它方式贴标签时,系统100可采取这种方式识别车道约束。

当超越目标车辆2310时,车辆200的变道可能由于目标车辆2330的轨迹改变而复杂化。由此,系统100可基于对图像捕获装置122-126中的一个或多个获取的多个图像的分析来识别目标车辆2310。系统100还可识别目标车辆2310行进的第二车道2340。进一步,系统100可确定第二车道2340是否不同于车辆200行进的车道2330。如果第二车道2340不同于车道2330,则系统100可构造成使车辆200能够超越目标车辆2310。

系统100还可基于多个图像来监测目标车辆2310。例如,系统100可监测目标车辆2310的位置,诸如监测目标车辆2310相对于车辆200、相对于第一车道约束2302和/或第二车道约束2304的位置、绝对位置或相对于另一基准点的位置。另外地或替代地,监测目标车辆2310的位置可包括估算目标车辆2310的速度。

如果系统100确定目标车辆2310正进入车辆200行进的车道2330,则系统100可致使车辆200中止对目标车辆2310的超越。例如,系统100可致使车辆200停止加速或进行制动。另外地或替代地,系统100可发布语音通知,诸如通知车辆200的驾驶员中止变道。

图24a是与公开的实施方式相一致的存储器140的示例性框图,该存储器140可存储用于执行一个或多个操作的指令。如图24a中图示的,存储器140可存储用于识别目标车辆的一个或多个模块和本文中描述的响应。例如,存储器140可存储车道约束模块2400、目标车辆获取模块2410和动作模块2415。

在一个实施方式中,车道约束模块2400可存储指令,当由处理单元110执行时,该指令可检测并且限定第一车道约束2302和第二车道约束2304。例如,处理单元110可执行车道偏移模块2400,以处理从至少一个图像捕获装置122-124接收的多个图像并且检测第一车道约束2302和第二车道约束2304。如上面讨论的,这可包括识别喷涂的车道线或标记物和/或测量路面的中点。处理单元110可基于上面结合图5a至图5d描述的技术来执行这种分析。

在一些实施方式中,目标获取模块2410可存储指令,当由处理单元110执行时,该指令可检测目标车辆2310的存在并且监测目标车辆2310的位置。例如,目标获取模块2410可处理多个图像,以检测并监测目标车辆2310。另外地或替代地,当执行目标获取模块2410时,处理单元110可接收来自指示目标车辆2310的存在和/或地点的另一模块或其它系统的信息。处理单元110可基于上面结合图5a至图5d描述的技术来执行这种分析。

处理单元110可构造成确定一个或多个对象(诸如车辆200附近的目标车辆2310)的存在。例如目标车辆2310可包括在车辆200附近行进的另一车辆,诸如汽车、卡车或摩托车。对于每个目标车辆2310,处理单元110可确定偏移轮廓。偏移轮廓可包括确定在其当前预测位置中目标车辆2310是否将位于车辆200的预定范围内。如果处理单元110确定目标车辆2310位于或将位于车辆200的预定范围内,则处理单元可确定:为使车辆200绕过目标车辆2310,在第一车道约束810和第二车道约束820内是否有足够的空间。如果没有足够的空间,则处理单元110可执行变道。如果有足够的空间,则处理单元110可确定在车辆200与目标车辆2310之间距离缩短之前是否有足够的时间绕过目标车辆2310。如果有足够的时间,则处理单元110可启动或激活偏移机动以绕过目标车辆2310。偏移机动可由处理单元110执行,使得车辆200的移动对驾驶员而言平稳而舒适。例如,偏移摆率可大约为0.15米/秒到0.75米/秒。偏移机动可执行为使得偏移机动的最大振幅将发生在车辆200与对象825之间的间距缩短的时候。如果没有足够的时间,则处理单元110可启动制动,然后启动偏移机动。

进一步,处理单元110可执行动作模块2415,以中止车辆200超越目标车辆2310的计划。如果目标车辆2310不在车辆200的车道2330中,则包括在动作模块1230中的指令可使车辆200能够超越目标车辆2330。然而,如果执行目标车辆获取模块2410指示目标车辆2310正变道进入车辆200的车道2330,则处理单元110可执行包括在动作模块2415中的指令以中止车辆200的变道。例如,处理单元110可向车辆200的节流系统220、制动系统230和/或转向系统240发送电子信号以中止变道。另外地或替代地,处理单元可致使语音通知发出。

图24b图示了与公开的实施方式相一致的用于导航侵入车辆之中的车辆的示例性过程2420的流程图。过程2420可识别限定了车辆(例如,车辆200)行进的行进车道的车道约束,识别并监测目标车辆(例如,车辆2310),并且使车辆能够超越目标车辆或者如果确定目标车辆正进入车辆的行进车道则中止超越。

在步骤2430,图像捕获装置122、124和/或126中的至少一个可获取车辆200附近区域的多个图像。例如,包括在图像获取单元120中的相机(诸如图像捕获装置122)可捕获多个图像并且经数字连接(例如,usb、无线、蓝牙,等等)将图像发送到处理单元110。在一些实施方式中,处理单元110可经由多个数据接口接收多于一个的多个图像。例如,处理单元110可从图像捕获装置122、124、126中的每个接收多个图像,图像捕获装置122、124、126中的每个均可具有关联的数据接口用于与处理单元110通信数据。公开的实施方式并不限于任何特定的数据接口构造或协议。

接下来,在步骤2440,处理单元110可使用经由数据接口128接收的多个图像来确定在第一车辆侧802上的第一车道约束和在第二车辆侧812上的第二车道约束。例如,作为实施步骤2440的一部分,处理单元110可执行车道约束模块910的指令。进一步,作为确定第一车道约束和第二车道约束的一部分,处理单元110可使用上面结合图5a至图5d讨论的过程中的一个或多个。

在步骤2450,处理单元110可获取目标车辆2310。为了获取目标车辆2310,处理单元110可执行目标车辆获取模块2410。例如,处理单元110可执行指令来分析获取的图像,以识别目标车辆2310行进的第二车道2340并且确定目标车辆2310是否在车辆200行进的车道2330中行进。这种确定可基于上面结合图5a至图5d描述的技术。

在步骤2455,处理单元110可确定目标车辆2310行进的第二车道2340是否不同于车辆200行进的车道2330。

在步骤2460,如果第二车道2340不同于车辆200行进的车道2330,则处理单元110可使车辆200能够超越目标车辆2310。为了使车辆200能够超越目标车辆2310,处理单元可执行动作模块2415。

接下来,在步骤2465,处理单元110可执行目标获取模块2410以监测目标车辆2310。这可包括估算目标车辆2310的速度并且确定目标车辆2310诸如相对于车辆200的地点。

步骤2470可包括确定目标车辆2310是否已进入车道2330。如果处理单元110确定目标车辆2310尚未进入车道2330,则在步骤2480,处理单元110可允许车辆200完成超越。

在步骤2490,如果处理单元110确定目标车辆2310已进入车道2330(或者正进入车道2330或以其它方式处于将要把车辆2310带入车道2330中的轨迹上),则处理单元110可执行动作模块2415以中止超越。例如,这可包括经由扬声器360向车辆200的驾驶员发布语音通知。另外地或替代地,步骤2490可包括执行包括在动作模块2415中的指令,以致使处理单元110向车辆200的节流系统220、制动系统230和/或转向系统240发送电子信号,从而中止变道。

导航车辆以避免侵入交通

系统100可提供驾驶员辅助功能性,用于监测车辆200附近并且响应于侵入车辆200的另一车辆的存在。监测车辆200附近可包括监测碰撞阈值。例如碰撞阈值可包括将要碰撞的时间或车辆200与其它交通之间的最小预定距离。系统100可进一步致使车辆200采取躲避动作以避免侵入交通。例如,躲避动作可包括制动、变道或以其它方式变动车辆200的路线。

如图25中图示的,车辆200可在道路2500上行进。车辆200可包括用于检测并响应于侵入交通的系统100。例如,车辆200可确定另一车辆正进入车辆200的行进车道,或者以其它方式确定另一车辆正越过碰撞阈值。车辆200可能通过诸如变动路线、制动或加速而对侵入车辆做出反应。

如相对于图8a至图8d讨论的并且如图25所示,车辆200可包括第一车辆侧802,第一车辆侧802距第一车道约束2502可以是第一距离805。类似地,车辆200可包括与第一车辆侧802相反的第二车辆侧812,并且第二车辆侧812距第二车道约束2504可以是第二距离815。以这种方式,第一车道约束2502和第二车道约束2504可限定车辆200可行进的车道2505。

系统100可基于由图像捕获装置122-126中的一个或多个获取的多个图像来确定第一车道约束2502和第二车道约束2504。根据一些实施方式,第一车道约束2502和/或第二车道约束2504可由可见的车道边界(诸如标记在路面上的线)识别。另外地或替代地,第一车道约束2502和/或第二车道约束2504可包括路面的路边。根据一些实施方式,系统100可通过识别路面宽度的中点2520(或者任何其它合适的道路特征车辆200可用作导航基准)来确定第一车道约束2502和/或第二车道约束2502。当例如指定道路车道的线未被喷涂或以其它方式贴标签时,系统100可采取这种方式识别车道约束。

检测第一车道约束2502和/或第二车道约束2504可包括处理单元110确定它们在相机坐标系统中的三维模型。例如,第一车道约束2502和/或第二车道约束2504的三维模型可由第三多项式描述。除了第一车道约束2502和/或第二车道约束2504的三维建模,处理单元110可估算运动参数,诸如车辆200的速度、偏航和俯仰速率以及加速度。可选地,处理单元可检测静态和移动车辆及其位置、航向、速度和加速度(都相对于车辆200)。处理单元110可确定道路标高模型以将从多个图像获取的信息转换为三维空间。

车辆200的驾驶员无法假设的是,如果使交通移位到车辆200所行驶的车道2505中是安全的,则在相邻或附近相邻车道中行进的其它交通将仅变道。由此,可期望考虑并监测在近旁车道中行进的交通,以检测对于车辆200的车道2505的侧向侵入,使得车辆200可对侧向侵入做出反应以避免碰撞。系统100可基于多个图像来识别侵入车辆2510并且确定侵入车辆2510正接近车辆200。然后,系统100可产生动作来考虑侵入车辆。例如,系统100可致使车辆200维持当前速度并且在第一车道约束2502和第二车道约束2504内行进,使得在侵入车辆2510接近的第一车辆侧802上的第一距离2530大于第二距离2540。

处理单元110可构造成确定车辆200附近的一个或多个侵入车辆2510的存在。对于每个侵入车辆2510,处理单元110可确定偏移轮廓。偏移轮廓可包括确定在其当前预测位置中侵入车辆2510是否将位于车辆200的预定范围内。如果处理单元110确定侵入车辆2510位于或将位于车辆200的预定范围内,则处理单元可确定:为使车辆200绕过侵入车辆2510,在第一车道约束2502和第二车道约束2504内是否有足够的空间。如果没有足够的空间,则处理单元110可执行变道。如果有足够的空间,则处理单元110可确定在车辆200与侵入车辆2510之间距离缩短之前是否有足够的时间绕过侵入车辆2510。

例如,如果有足够的时间,则处理单元110可启动或激活偏移机动以绕过侵入车辆2510。偏移机动可由处理单元110执行,使得车辆200的移动对驾驶员而言平稳而舒适。例如,偏移摆率可大约为0.15米/秒到0.75米/秒。偏移机动可执行为使得偏移机动的最大振幅将发生在车辆200与侵入车辆2510之间的间距缩短的时候。如果没有足够的时间,则处理单元110可启动制动(例如,经由向制动系统230发送电子信号),然后启动偏移机动(例如,通过向节流系统220和/或转向系统240发送电子信号)。

系统100可基于由图像捕获装置122-126中的一个或多个获取的多个图像来确定:侵入车辆2510已越过至少一个碰撞阈值。例如,至少一个碰撞阈值可包括车辆200与侵入车辆2510之间的最小预定距离2550。例如,如图25中图示的,侵入车辆2510示出为超过最小预定距离2550。另外地或替代地,至少一个碰撞阈值可包括车辆200与侵入车辆2510将要碰撞的时间。基于时间的碰撞阈值可基于下列来确定:车辆200与侵入车辆2510之间的距离、车辆200和/或侵入车辆2510的速度、车辆200和/或侵入车辆2510的侧向速度和/或车辆200和/或侵入车辆2510的加速度。基于碰撞时间的碰撞阈值可设定为允许系统100有足够的时间来有效进行躲避动作以避免碰撞。

如果系统100确定至少一个碰撞阈值已被越过,则系统100可致使车辆200采取躲避动作。例如,这可包括致使车辆200的其它子系统操作。由此,系统100可操作成通过与节流系统220、制动系统230和/或转向系统240通信来致使车辆200的速度增加,以改变车辆200的速度和/或方向。

躲避动作可包括致使车辆200变道。可期望在例如车辆200在多车道高速公路上行进的情况下响应,并且系统100确定:变道远离侵入车辆2510将避免碰撞。躲避动作可包括使车辆200变动其路线。另外地或替代地,躲避动作可包括变动车辆200的路线。例如,为了采取躲避动作,处理单元110可向节流系统220、制动系统230和/或转向系统240发送电子信号。

系统100还可构造成在躲避动作已完成之后致使车辆200采取动作。例如,系统100可致使车辆200返回到车辆200行进的车道2505的中点2520。另外地或替代地,系统100可在响应于侵入车辆2510制动之后致使车辆200恢复预设速度。

图26是与公开的实施方式相一致的存储器140的示例性框图,该存储器140可存储用于检测并且响应于车辆的交通侧向侵入的指令。如图26中图示的,存储器140可存储车道约束模块2610、侵入车辆获取模块2620和动作模块2630。

在一个实施方式中,车道约束模块2610可存储指令,当由处理单元110执行时,该指令可检测并且限定第一车道约束2502和第二车道约束2504。例如,处理单元110可执行车道偏移约束模块2610,以处理从至少一个图像捕获装置122-126接收的多个图像并且检测第一车道约束2502和第二车道约束2504。如上面讨论的,这可包括识别喷涂的车道线和/或测量路面的中点。处理单元110可基于上面结合图5a至图5d描述的技术来执行这种分析。

在一个实施方式中,侵入车辆获取模块2620可存储指令,当由处理单元110执行时,该指令可检测侵入车辆2510的存在并且监测侵入车辆2510。例如,侵入车辆获取模块2620可包括用于确定侵入车辆2510关于车辆200的相对地点的指令。在一些实施方式中,这可包括监测侵入车辆200的速度。根据一些实施方式,侵入车辆获取模块2620可确定侵入车辆2510是否已超过碰撞阈值。例如,碰撞阈值可以是车辆200与侵入车辆2510之间的最小预定距离。如果侵入车辆2510比最小预定距离更接近车辆200,则处理单元110可确定侵入车辆2510的确在侵入并且执行指令以避免与侵入车辆2510碰撞。

另外地或替代地,碰撞阈值可包括碰撞时间。基于时间的碰撞阈值可基于下列来确定:车辆200与侵入车辆2510之间的距离、车辆200和/或侵入车辆2510的速度、车辆200和/或侵入车辆2510的侧向速度和/或车辆200和/或侵入车辆2510的加速度。基于碰撞时间的碰撞阈值可设定为允许处理单元110和系统100有足够的时间来有效进行躲避动作以避免碰撞。

进一步,处理单元110可执行动作模块2630,以响应于侵入车辆2510的检测和/或越过碰撞阈值。例如,动作模块2630可包括这样的指令,该指令用于致使车辆200维持当前速度并且在第一车道约束2502和第二车道约束2504内行进,使得第一距离2530大于第二距离2540。第一距离2530可位于车辆200的与侵入车辆2510相同的那一侧上,使得车辆200在仍位于第一车道约束2502和第二车道约束2504内的同时更远离侵入车辆2510。如果处理单元110确定碰撞阈值已被越过,则处理单元110可执行动作模块2630,以致使车辆200采取躲避动作,诸如变动路线、制动和/或变道。动作模块2630还可包括这样的指令,在完成躲避动作之后,该指令致使车辆200恢复路线。例如,在制动或返回到车道2505的中央之后,处理单元110可致使车辆200恢复预设速度。

图27图示了与公开的实施方式相一致的检测并且响应于车辆的交通侧向侵入的示例性过程2720的流程图。过程2720可识别限定车辆行进的行进车道的车道约束,确定侵入车辆2510是否接近,并且致使车辆200维持当前速度并在第一车道约束2501和第二车道约束2504内行进,使得在车辆200的侵入车辆2510接近的那一侧上的第一距离2530大于第二距离2540。

在步骤2730,至少一个图像捕获装置122、124和/或126可获取车辆200附近区域的多个图像。例如,包括在图像获取单元120中的相机(诸如图像捕获装置122)可捕获多个图像并且经数字连接(例如,usb、无线、蓝牙,等等)将图像发送到处理单元110。在一些实施方式中,处理单元110可经由多个数据接口接收多于一个的多个图像。例如,处理单元110可从图像捕获装置122、124、126中的每个接收多个图像,图像捕获装置122、124、126中的每个均可具有关联的数据接口用于与处理单元110通信数据。公开的实施方式并不限于任何特定的数据接口构造或协议。

接下来,在步骤2740,处理单元110可使用经由数据接口128接收的多个图像来确定在第一车辆侧802上的第一车道约束和在第二车辆侧812上的第二车道约束。例如,作为实施步骤2740的一部分,处理单元110可执行车道约束模块2610的指令。进一步,作为确定第一车道约束和第二车道约束的一部分,处理单元110可使用上面结合图5a至图5d讨论的过程中的一个或多个。

在步骤2750,处理单元110可确定侵入车辆2510是否接近。为了做出这种确定,处理单元110可执行侵入车辆获取模块2620。侵入车辆获取模块2620可包括处理图像以检测其它交通的指令。这可包括在车辆200的特定范围内识别车辆,诸如邻近车辆200的那些车辆。这些邻近车辆可能是侵入车辆2510。

一旦侵入车辆2510被识别,处理单元就可确定关于车辆2510的更多信息。例如,在步骤2555,处理单元110可确定目标车辆2330是否已超过碰撞阈值。例如,碰撞阈值可以是车辆200与侵入车辆2510之间的最小预定距离。如果侵入车辆2510比最小预定距离更接近车辆200,则处理单元110可确定侵入车辆2510的确在侵入并且执行指令以避免与侵入车辆2510碰撞。

另外地或替代地,碰撞阈值可以是碰撞时间。基于时间的碰撞阈值可基于下列来确定:车辆200与侵入车辆2510之间的距离、车辆200和/或侵入车辆2510的速度、车辆200和/或侵入车辆2510的侧向速度和/或车辆200和/或侵入车辆2510的加速度。基于碰撞时间的碰撞阈值可设定为允许处理单元110和系统100有足够的时间来有效进行躲避动作以避免碰撞。

在步骤2760,处理单元110可致使车辆200维持当前速度并且在第一车道约束2502和第二车道约束2504内行进。为了致使车辆200以这种方式操作,处理单元110可执行动作模块2630。另外地或替代地,步骤2760可包括执行动作模块1230上的指令,以致使处理单元110向车辆200的加速器2610、制动器2620和/或转向系统发送电子信号,致使车辆200维持当前速度并且在第一车道约束810和第二车道约束820内行进。

在步骤2755,如果处理单元110确定碰撞阈值已被超过,则处理单元110可采取躲避动作。躲避动作可包括致使车辆200变道。可期望响应的是,例如,车辆200在多车道高速公路上行进,并且系统100确定变道远离侵入车辆2510将避免碰撞。躲避动作可包括使车辆200变动其路线。另外地或替代地,躲避动作可包括变动车辆200的路线。例如,处理单元110可通过向车辆200的节流系统220、制动系统230和/或转向系统240发送电子信号来采取躲避动作。在完成躲避动作之后,在步骤2780,处理单元110可控制车辆200恢复其原先的导航(例如,恢复导航至期望的地点)。

车辆导航的多阈值反应区

系统100可提供驾驶员辅助功能性,用于产生车辆200的响应,诸如制动、加速、切换车道、转弯和/或其它导航响应。例如,如果系统100检测存在着位于车辆200之前以慢于车辆200的速度行进的另一车辆,系统100可通过制动致使车辆200以减小其速度。系统100可施加制动轮廓,该制动轮廓考虑到风险(例如,碰撞的风险)的即时性,为驾驶员提供自然驾驶感觉。

例如,取决于与另一车辆碰撞的情形和确定性风险,系统100可产生各种不同响应。如果目标车辆在前面足够远并且碰撞的确定性风险较低,则系统100响应于前面目标车辆的速度或方向改变可不采取动作。当目标车辆可能更近时或者当碰撞的风险上升超过预定水平时,系统100可产生响应,诸如制动,等等。当碰撞风险甚至更高时(例如,系统100确定碰撞将迫在眉睫而无躲避动作),系统100可致使车辆100采取躲避动作,诸如最大或近乎最大制动、方向改变,等等。

图28a和图28b是与公开的实施方式相一致的主车辆200a在道路2800上的概略表示。在一些实例中,道路2800可分为两个车道,车道2810和车道2820。诸如目标车辆200b的目标对象可在同一车道(例如,如图28a和图28b所示的车道2820)的主车辆200a之前行进或在不同车道中。如图28a描绘的示例所示,主车辆200a和目标车辆200b可分离距离d1。在图28a描绘场景之后的给定时间里,如图28b所示,主车辆200a和目标车辆200b可分离距离d2,其中d2小于d1。例如,主车辆200a能以大于目标车辆200b的速度行进,致使车辆之间的距离从d1降至d2。

作为另一示例,主车辆200a和目标车辆200b能以相同的速度行进,直到目标车辆200b通过制动减少其速度,或者主车辆200a通过加速增加其速度,致使车辆之间距离从d1降至d2。作为另一示例,目标车辆200b可从主车辆200a的一侧侵入。在一些情形下,如果目标车辆200b在主车辆200a之前或者远离主车辆200a足够距离(例如,五米以上,10米以上,等等)并且移向主车辆200a,系统100可不采取任何动作。然而,如果目标车辆200b继续移动而更接近主车辆200a,则系统100可致使主车辆200a制动、改变速度和/或变道。例如,如果目标车辆200b在预定阈值(例如,五米内)内,则主车辆200a可采取动作。涉及主车辆200a和目标车辆200b的相对速度和位置可以有不同的场景,并且公开的实施方式并不限于任何特定情景。

在一些实施方式中,多阈值反应区可向用户提供自然感觉驾驶经历。例如,如上面讨论的,如果碰撞风险较低,则系统100可忽略目标车辆200b的移动。结果是,当不存在碰撞风险时(例如,当目标车辆200b在100米之前时,主车辆200a将不需要模仿目标车辆200b的每个运动),主车辆200a可不响应于目标车辆200b的移动或动作。然而,如果目标车辆200b接近主车辆200a和/或如果系统100确定碰撞风险较高,则可采取响应式机动,通过增加主车辆200a与目标车辆200b之间的空间使得用户感觉更安全。如果系统100确定撞击可能迫在眉睫,则系统100可采取更激进的动作而不会致使用户感到惊讶,因为为避免碰撞该动作可能是必要的。

因此,在一些实施方式中,系统100可将不同的反应区与不同程度的响应动作关联。例如,在一些实施方式中,当目标车辆200b在第一阈值内时(例如,当目标车辆200b远离主车辆200a时),系统100可不采取动作;当目标车辆200b在第二阈值内时(例如,当目标车辆200b更接近主车辆200a时),系统100可采取中等动作;并且当目标车辆200在第三阈值内时(例如,当目标车辆200b足够接近主车辆200a存在碰撞风险时),系统100可采取更激进的动作。在与第一阈值关联的第一反应区中,当与目标车辆200b关联的距目标的估算距离比预定安全距离大两倍时,系统100可不采取动作。在一些实施方式中,在与目标车辆200b关联的距目标的估算距离落入预定安全距离的1.5倍到2.5倍的范围内的情况下,可应用第一反应区。

距目标的估算距离可以是主车辆200a与目标车辆200b之间的当前距离加上该距离经预测时间(例如,在0.1秒到1.0秒的范围内,取决于与系统100关联的因素,诸如速度跟踪控制环、致动器和车辆动态)后的预期改变。预期距离改变可计算为:(v目标-v主)*t预测+((a目标-a主)*t预测1/2),其中v目标和v主分别对应于目标车辆200b和主车辆200a的速度,a目标和a主分别对应于目标车辆200b和主车辆200a的加速度,并且t预测对应于预测时间。选择逼近系统100的整体反应时间的预测时间可考虑以下事实,即主车辆200a的期望导航响应可不立即实施,从而可为主车辆200a的驾驶员和/或乘客提供平稳的自然驾驶经历。

预定安全距离可定义为:最大{d静态,d动态}。可落入2米到10米范围内的d静态可表示车辆停止和/或低速移动时主车辆200a与另一车辆(诸如目标车辆200b)之间的期望安全距离。d动态可表示车辆以大于低速的速度移动时的期望安全距离,并且可计算为:t安全*最小(v目标,v主),其中v目标和v主分别对应于目标车辆200b和主车辆200a的速度。t安全可落入0.5秒到2.5秒的范围内,并且可根据驾驶员的喜好由主车辆200a的驾驶员经由用户接口170调整。由此,驾驶员能够控制主车辆200a与其它车辆之间系统100维持的距离。

在与第二阈值关联的第二反应区中,系统100可将目标车辆200b放置在安全区中并且向由目标车辆200b执行的不同机动施加不同的权重。例如,在目标车辆200b可接近安全区的下边界时,例如,与目标车辆200b关联的距目标的估算距离可接近预定安全距离(上面结合第一反应区讨论过),系统100可以向机动减速分配更大的权重(例如,模仿更多)并且向机动加速分配更小的权重(例如,模仿更少)。在一些实施方式中,下边界可落入预定安全距离的0.5倍到1.5倍的范围内(取决于驾驶员的喜好)。反过来,在目标车辆200b接近安全区的上边界时,例如,与目标车辆200b关联的距目标的估算距离可接近预定安全距离的两倍,系统100可以向机动减速分配更小的权重(例如,模仿更少)并且向机动加速分配更大的权重(例如,模仿更多)。在一些实施方式中,下边界可落入预定安全距离的1.5倍到2.5倍的范围内(取决于驾驶员的喜好)。

在与第三阈值关联的第三反应区中,当与目标车辆200b关联的距目标的估算距离小于预定安全距离时,系统100可将目标车辆200b放置在危险区中。在该情景下,系统100可致使主车辆200a模仿(例如,立即模仿)目标车辆200b执行的任何减速机动(同时不考虑任何加速机动)。在一些实施方式中,在与目标车辆200b关联的距目标的估算距离落入预定安全距离的0.5倍到1.5倍的范围内(取决于驾驶员的喜好)的情况下,可应用第一反应区。

在一些实施方式中,系统100可产生主车辆200a的响应,诸如制动。如图28b中指示的,例如,主车辆200a与目标车辆200b之间的距离可从d1降至d2。取决于距离d2并且延伸至在碰撞之前的时间,系统100可致使主车辆200a减少其速度以避免与目标车辆200b碰撞。另外,还基于例如在碰撞之前的时间,当致使主车辆200a减少其速度时,系统100可施加一个或多个制动轮廓。由此,如果在碰撞之前的时间(和/或距离d2)超过第一预定阈值,则系统100可致使主车辆200a以渐进的方式制动、变道和/或改变速度,而如果在碰撞之前的时间(和/或距离d2)低于第二预定阈值,则系统100可致使主车辆200a制动、变道和/或以更快速的方式改变速度。

图29是与公开的实施方式相一致的存储器的示例性框图,该存储器被构造成存储用于执行一个或多个操作的指令。如图29所示,存储器140可存储目标监测模块2902、拦截时间模块2904和动作响应模块2906。公开的实施方式并不限于任何特定构造的存储器140。进一步,处理单元110可执行存储在任何模块2902-2906(包括在存储器140中)中的指令。

在一个实施方式中,目标监测模块2902可存储软件指令(诸如计算机视觉软件),当由处理单元110执行时,该软件指令识别并且监测出现在表示主车辆200附近环境的多个图像中的目标对象(诸如目标车辆200b)。出于本公开的目的,目标对象也可被称为目标车辆200b,但是目标对象可以是行人、道路危险(例如,大的碎片),等。多个图像可由图像捕获装置122、124和126中的一个或多个获取。处理单元110可执行目标监测模块2902,以使用上面结合图5a至图5d描述的技术通过例如分析多个图像来识别并且监测目标车辆200b。由此,目标监测模块2902可跟踪不同的变量,诸如与目标车辆200b关联的运动(例如,行进方向和轨迹)、速度和加速度,以及主车辆200a与目标车辆200b之间的距离。这样的信息可不断地或者以预定的间隔跟踪。

在一个实施方式中,拦截时间模块2904可存储软件指令,当由处理单元110执行时,该软件指令确定主车辆200a和目标车辆200b之间的拦截时间的指示器。拦截时间可指在主车辆200a与目标车辆200b接触(例如,碰撞)之前的时间量。处理单元110可执行拦截时间模块2904,以基于分析由图像捕获装置122、124和126中的一个或多个获取的图像来确定拦截时间的指示器。例如,拦截时间模块2904可使用例如目标车辆200b(相对于主车辆200a)的位置、速度和/或加速度的一系列基于时间的观察(诸如卡尔曼滤波器或线性二次估算(lqe))来做出确定。卡尔曼滤波器可基于目标车辆200b的尺度的测量结果,其中尺度测量结果与拦截时间成比例。

在一个实施方式中,动作响应模块2906可存储软件指令(诸如计算机视觉软件),当由处理单元110执行时,该软件指令在主车辆200a中产生一个或多个响应。所述响应可基于目标车辆200b的识别和监测(例如,经由执行目标监测模块2902来执行)和/或主车辆200a与目标车辆200b之间的拦截时间的指示器(例如,经由执行拦截时间模块2904确定)。处理单元110可通过例如(例如,经由can总线)向主车辆200a的节流系统220、制动系统230和/或转向系统240发送电子信号来在主车辆200a中产生一个或多个响应,以制动、加速或触发主车辆200a的转弯、车道移位和/或方向改变。处理单元110可使用扩展的卡尔曼滤波器来估算与目标车辆200b和主车辆200a关联的数据,诸如:速度、加速度、转弯率、俯仰角、俯仰速率、目标车辆200b相对于主车辆200a的位置和航向、目标车辆200b的大小、道路几何形状,等。例如,处理单元110可接收来自主车辆200a上的部件(诸如里程表、惯性测量单元(imu)、图像处理器190,等)的测量结果。由此,处理单元110可使用从运动的运动学公式得到的状态公式、刚性约束和运动假设来计算与目标车辆200b和/或主车辆200a关联的数据,其中公式的输入可包括来自主车辆200a上的部件的测量结果。处理单元110还可使用上面结合图4至图7描述的技术,以产生主车辆200a的一个或多个响应。

图30是示出与公开的实施方式相一致的用于产生主车辆的响应的示例性过程3000的流程图。在步骤3010,处理单元110可经由位于处理单元110与图像获取单元120之间的数据接口128接收多个图像。例如,包括在图像获取单元120中的一个或多个相机可捕获主车辆200a前方(例如,或车辆的侧方或后面)的区域的多个图像并且经数据连接(例如,数字、有线、usb、无线、蓝牙,等等)将图像发送到处理单元110。

在步骤3020,处理单元110可执行目标监测模块2902,以识别多个图像内的目标对象(诸如目标车辆200b)。例如,目标监测模块2902可使用上面结合图5a和图5b描述的技术来检测图像中的车辆的存在。基于图像数据、位置数据(例如,gps地点信息)、地图数据、主车辆200a的偏航率、车道或其它道路标记、速度数据和/或包括在主车辆200a中的传感器的数据,多个车辆(和/或对象)可在与主车辆200a相同的车道或不同的车道中被检测,并且距主车辆200a的距离是变化的。在检测多个车辆的情景下,目标监测模块2902可将目标车辆200b确定为在与主车辆200a相同的车道中行进和/或最接近主车辆200a的车辆。

在步骤3030,处理单元110可执行目标监测模块2902,以监测在步骤3020识别的目标车辆200b。例如,目标监测模块2902可跟踪与目标车辆200b关联的信息,诸如运动(例如,行进方向和轨迹)、速度和加速度,以及主车辆200a与目标车辆200b之间的距离。目标监测模块2902可使用上面结合图5a至图5d描述的技术通过分析多个图像来不断地或者以预定的间隔跟踪这样的信息。在步骤3040,处理单元110可执行拦截时间模块2904,以确定主车辆200a与目标车辆200b之间的拦截时间的指示器。拦截时间模块2904可通过跟踪在一个或多个时间周期上目标车辆200b(相对于主车辆200a)的位置、速度和/或加速度来做出确定。拦截时间模块2904可使用上面结合图5a和图5b描述的技术来跟踪这样的信息。

在步骤3050,处理单元110可执行动作响应模块2906,以产生主车辆200a的一个或多个响应。例如,处理单元110可(例如,经由can总线)向主车辆200a的节流系统220、制动系统230和/或转向系统240发送电子信号,以制动、加速或触发主车辆200a的转弯、车道移位和/或方向改变。进一步,一个或多个致动器可控制节流系统220、制动系统230和/或转向系统240。例如,处理单元110可发送电子信号,致使系统100物理地踩下制动器达预定的量或者部分地松开车辆200的加速器。进一步,处理单元110可发送致使系统100车辆200沿特定方向转向的电子信号。这样的响应可基于(在步骤3030执行的)目标车辆200b的监测和/或(在步骤3040确定的)主车辆200a与目标车辆200b之间的拦截时间的指示器。在一些实施方式中,拦截时间可与一个或多个预定阈值(例如,第一和第二拦截阈值)比较。例如,如果拦截时间的指示器指示目标对象在特定拦截阈值内(例如,在第二拦截阈值内),则所述响应可包括紧急避让动作。紧急避让动作可包括变道和/或紧急制动。

阈值可表达为时间的单位。由此,例如,如果拦截时间的指示器指示目标车辆200b在第一阈值之外(例如,在主车辆200a与目标车辆200b之间的碰撞之前的时间超过第一阈值),则动作响应模块2906可基于与目标车辆200b关联的平均运动轮廓来在主车辆200a中产生响应。与目标车辆200b关联的平均运动轮廓可表示目标车辆200b针对特定阈值的平均位置和/或平均速度。在一些实施方式中,如果目标车辆200b为某一距离和/或以某一速度行进,则系统100可不采取动作。例如,如果目标车辆200b在主车辆200a之前或者距离足够远离主车辆200a(例如,五米、10米,等等),则系统100可不采取任何动作,除非目标车辆200b更接近主车辆200。

如果拦截时间的指示器指示目标车辆200b在第一阈值与第二阈值之间(例如,在主车辆200a与目标车辆200b之间的碰撞之前的时间落入第一阈值与第二阈值之间),则动作响应模块2906可基于与目标车辆200b关联的实际运动来产生主车辆200a的响应。实际运动可表示目标车辆200b的位置和/或速度(例如,并未平均或延迟),如果拦截时间的指示器指示目标车辆200b在第二阈值内(例如,在主车辆200a与目标车辆200b之间的碰撞之前的时间低于第二阈值),则动作响应模块2906可产生主车辆200a的紧急动作(诸如变道或紧急制动)。

图31是示出与公开的实施方式相一致的用于拒绝在主车辆中产生响应的示例性过程3100的流程图。在步骤3110,如上面结合图30的步骤3010描述的,处理单元110可经由位于处理单元110与图像获取单元120之间的数据接口128接收多个图像。

在步骤3120,如上面结合图30的步骤3020描述的,处理单元110可执行目标监测模块2902,以通过分析图像将目标对象(例如,目标车辆200b)定位在步骤3010接收的图像内。在步骤3125,处理单元110可执行目标监测模块2902,以使用上面结合图30的步骤3030描述的技术来确定目标对象(例如,目标车辆200b)是否在不同于主车辆200a的车道中行进。如果确定目标车辆200b在不同于主车辆200a的车道中行进(步骤3125,是),则在步骤3130,处理单元110可拒绝在主车辆200a中产生响应。替代地,如果系统100确定目标车辆200b不构成迫在眉睫的碰撞风险(例如,目标车辆200b在与主车辆200a非相交的轨线上或者潜在的将要碰撞的时间超过阈值,使得目标对象在目前的时间里不构成迫在眉睫的风险),在步骤3130,处理单元110可拒绝在主车辆200a中产生响应。否则(步骤3125,否),过程3100可结束且不发生响应。

使用多区段制动轮廓来停止自主驱动车辆

系统100可提供驾驶员辅助功能性,用于监测并且响应于环境条件以控制车辆200的制动。例如,系统100可基于多个图像来检测触发车辆200停止的对象。例如,该对象可包括车辆200附近的另一车辆、交通灯和/或交通标志。系统100可使用制动轮廓来减速和/或停止车辆200。根据一些实施方式,制动轮廓可包括在不同阶段执行减速的多个区段。例如,制动轮廓可致使系统100以降速的减速度停止车辆200。

通过提供包括多个区段的制动轮廓,系统100可致使车辆200以对驾驶员和/或乘客而言感觉自然的方式操作。例如,当驾驶员在交通灯处停止车辆时,从施加的时刻直到车辆停止的时刻,制动器通常不以恒速来施加。以这样的方式操作制动器导致终止时突然停止。相反,驾驶员可首先平缓地施加制动器,然后增加压力,进而在车辆到达其目标停止地点时,驾驶员可降低制动水平,直到在汽车停止的时刻到达零(或零附近)。以这种方式操作车辆可提供自然停止过程,即,驾驶员可首先致使逐步减速,所以车辆不会经历突然初始减速然后终止,使得车辆不会突然停止。

系统100可提供可根据对车辆200的驾驶员和/或乘客而言感觉自然的方法来实施制动的自主车辆导航。例如,在一些实施方式中,系统100可致使图像捕获装置122-126中的一个或多个获取车辆200附近区域的多个图像。处理装置110可经由数据接口128接收多个图像,并且基于对多个图像的分析来识别用于停止车辆200的触发器(例如,对象、交通灯和/或交通标志)。基于被识别的触发器,系统100可根据制动轮廓致使车辆200停止。在一些实施方式中,如基于对多个图像的分析而确定的,制动轮廓可包括多个区段(例如,包括:与第一减速率关联的第一区段;包括小于第一减速率的第二减速率的第二区段;以及在接近目标停止地点时使制动水平降低的第三区段)。

图32a图示了在包括对象3220的道路3210上行进的车辆200。系统100可识别触发器(例如,对象3220)以使车辆200相对于触发器的检测而停止。例如,在触发器被检测到之后系统100可首先使车辆200减速,并且在到达对象3220之前使车辆200停止。

处理单元110可构造成基于由图像捕获装置122-126中的一个或多个获取的多个图像来确定用于停止车辆200的触发器。处理单元110可经由数据接口128从图像捕获装置122-126接收图像。根据一些实施方式,触发器可包括对象3220。例如,对象3220可以是道路2810上的另一车辆。根据一些实施方式,如果对象3220在车辆200的某一附近区域内,则处理单元110可识别触发器。例如,识别触发器可取决于对象3220与车辆200之间的相对距离。进一步,这种识别可选地考虑对象3220与车辆200之间的相对速度和/或相对加速度。

另外地或替代地,触发器可包括交通标志,诸如图32a中示出的交通标志3240。例如,交通标志3240可以是停止标志和/或限速标志。根据一些实施方式,处理单元110可处理多个图像以确定交通标志3240的内容,作为确定触发器是否存在的一部分。例如,如果车辆200超过限速,则处理单元110可基于由交通标志3240规定的限速来确定触发器的存在。作为另一示例,如果黄灯亮和/或红灯亮,则处理单元110可基于交通灯2830来确定触发器的存在。

基于多个图像,处理单元110可确定目标停止地点3250,一旦执行制动轮廓,车辆200就将停止在目标停止地点3250处。到达目标停止地点3250可伴随着车辆200的制动压力的释放。目标停止地点3250可基于交通灯3230和/或交通标志3240的地点,使得车辆200符合交通灯3230和/或交通标志3240。替代地,目标停止地点3250可基于对象3220,使得车辆200在到达对象3220之前停止。因此,目标停止地点3250可基于对象3220的地点,以避免车辆200与对象3220之间的碰撞。在一些实施方式中,目标停止地点3250的更新可基于从多个图像获得的新的信息,诸如新识别的目标、新的可见障碍、新的可见标志,等等。

图32b图示了与公开的实施方式相一致的示例性制动轮廓。在图32b示出的示例中,制动轮廓包括四个区段。然而,区段的数目是示例性的,并且与公开的实施方式相一致的制动轮廓可包括任何适当数目的区段(例如,2个、3个、4个、5个、6个等等区段)。

在区段1中,系统100可准备可能的制动情景。例如,在该区中,系统100可接收关于即将到来的路口(例如,具有交通灯的路口)的信息(例如,地图数据和/或图像数据)。系统100可逐渐减小车辆200的速度(例如,取决于路口的特性,车辆200的速度可逐渐减小至约70-50km/hr)。系统100可产生速度调整,例如,大约在枢纽之前的100-200米平均减速度约0.2-0.4米/秒2(最大约0.5米/秒2)。通过在区段1中降低车辆200的速度,系统100可为车辆200的驾驶员和/或乘客提供系统100知晓接近路口的置信度。

在区段2中,系统100可施加强大的制动。在该区段中,系统100可基于对图像数据的分析来接收信息,例如,交通灯变红和/或在车辆200行进线中的路口处存在停止车辆。系统100可致使车辆200在该区中经历显著的速度减小,同时距停止线或停止车辆的距离仍较大。这样做可为车辆200的驾驶员和/或乘客提供舒适的感觉,系统100将具有足够多的空间来完成制动机动。该区可远离停止线大约30-100米,并且平均减速度可约为1.5-2.5米/秒2(最大约为3.5米/秒2)。

在区段3中,系统100可做出适度制动调整。例如,在该区段中,系统100可根据距停止线或停止车辆的剩余距离并且基于车辆200的当前速度和减速度来调整车辆200的速度。通过做出这种调整,系统100可为车辆200的驾驶员和/或乘客提供如下指示:系统100正释放大部分制动功率,同时速度仍减小,但慢于之前。该区可远离停止线或停止车辆大约5-30米,并且平均减速度可约为0.5-1.5米/秒2(最大约为2米/秒2)。

在区段4中,系统100可做出小幅制动调整。在该区段中,系统100能以逐渐变为零的非常低的速度缩短距停止线或停止车辆的剩余距离。在该区中,驾驶员和/或乘客可感觉车辆200缓缓地滑动到位(例如,在停止线处或在另一车辆后面)。该区可构成距停止线或停止车辆的大约最后5-7米,并且平均减速度可约为0.3-0.5米/秒2(最大约为1米/秒2)。

图33是与公开的实施方式相一致的存储器140和/或150的示例性框图,该存储器140和/或150可存储用于执行一个或多个操作的指令。如图33中图示的,存储器140可存储用于执行本文中描述的触发器检测和响应的一个或多个模块。例如,存储器140可存储触发器识别模块3300和动作响应模块3310。

触发器识别模块3300可存储指令,当由处理单元110执行时,该指令可检测用于停止车辆200的触发器的存在。例如,触发器识别模块3300可处理从至少一个图像捕获装置122-124接收的多个图像,以检测触发器的存在。如上面讨论的,这可包括识别对象3220、交通灯3230和/或交通标志3240。

动作响应模块3310可存储指令,当由处理单元110执行时,该指令可响应于触发器的存在。例如,动作响应模块3310可执行控制,以减速和/或停止车辆200。例如,动作响应模块3310可执行制动轮廓,以减速和/或停止车辆200。动作响应模块3310可基于制动轮廓的数目并且基于例如环境因素、被检测触发器的类型和车辆200的速度来确定执行多个制动轮廓中的一个。为了基于被检测触发器将车辆200导航至停止,处理单元110可向车辆200的节流系统220、制动系统230和/或转向系统240中的一个或多个发送电子信号。进一步,一个或多个致动器可控制节流系统220、制动系统230和/或转向系统240。例如,处理单元110可发送电子信号,致使系统100物理地踩下制动器达预定的量。

图34图示了与公开的实施方式相一致的用于导航车辆200的过程3400。过程3000可识别用于停止车辆200的触发器(例如,对象、车辆、交通灯、交通标志,等等)并且响应于触发器的检测来执行制动轮廓。过程3400可检测各种类型的触发器,以确定执行多个制动轮廓中的哪一个。

制动轮廓可基于被检测触发器的类型和/或与被检测触发器相关的其它环境条件(例如,距对象的距离)。例如,在一些实施方式中,制动轮廓可包括多个区段(例如,三个区段)。在三区段制动轮廓中,制动轮廓的第一区段可与第一减速率关联,制动轮廓的第二区段可包括小于第一减速率的第二减速率,并且制动轮廓的第三区段可包括在接近目标停止地点时致使制动水平降低,这基于对由图像捕获装置122-126中的一个或多个获取的多个图像的分析来确定。例如,在一些实施方式中,第一区段可致使车辆200逐步增加减速度,第二区段可致使车辆200恒速减速,并且第三区段可致使车辆200将其减速率逐步降低至零(或附近零)。

在步骤3410,过程3400可使用图像捕获装置122-126中的至少一个来获取车辆200附近区域的多个图像。例如,处理单元110可经由数据接口128接收多个图像。处理单元110可构造成基于获取的图像来确定存在一个或多个对象和/或位于道路3210之上或附近的标志。例如,处理单元110可构造成确定对象3220、交通灯3230和/或交通标志3240的存在。处理单元110可进一步构造成读取交通标志3240的内容。例如,处理单元110可构造成在限速标志与停止标志之间进行区分。进一步,处理单元110可构造成基于交通标志3240来处理图像以确定限速。

在步骤3420,过程300可包括用于停止车辆200的触发器。例如,处理单元110可基于对象3220在车辆200附近区域内的存在来识别触发器。另外地或替代地,处理单元110可基于交通灯3230的当前信号状态来识别触发器。根据一些实施方式,如果不是绿灯,则处理单元110可确定交通灯3230构成触发器。根据一些实施方式,例如,如果交通标志3240是停止标志,则处理单元110可确定交通标志3240构成触发器。在一些实施方式中,如果交通标志3240是限速标志并且车辆200超过限速,则交通标志3240可构成触发器。进一步在一些实施方式中,处理单元110可致使系统100提供语音通知,识别触发器和/或指示车辆200正制动或正要开始制动。

在处理单元110识别触发器之后,在步骤3430,处理单元110可根据制动轮廓来致使车辆200减速和/或停止。在一些实施方式中,制动轮廓可包括一定数目的轮廓区段。制动轮廓的不同轮廓区段可由时间周期和/或车辆速度限定。例如,处理单元110可依据持续预定时间段或直到车辆200的速度到达目标值的第一轮廓区段来执行车辆200的控制。目标值可以是预定速度,或者可以是车辆200过去在执行制动轮廓之前的行进的速度的百分比。为了实施制动轮廓,处理单元110可向车辆200的节流系统220、制动系统230和/或转向系统240中的一个或多个发送电子信号。进一步,一个或多个致动器可控制节流系统220、制动系统230和/或转向系统240。

如上面讨论的,根据一些实施方式,制动轮廓的轮廓区段可对应于减速率。例如,制动轮廓可包括多个区段,并且第一区段可与第一减速率关联。制动轮廓可进一步包括与第二减速率关联的第二区段。第二减速率可小于第一减速率。

进一步,如上面讨论的,根据一些实施方式,制动轮廓可包括第三轮廓区段,其中制动水平的降低是车辆200与产生触发器的潜在因素(例如,对象3220、交通灯3230、交通标志3240)之间的距离的函数。例如,制动轮廓可包括在车辆200接近目标停止地点3250时降低制动水平。进一步,到达目标停止地点3250可伴随着车辆200的制动压力的释放。

出于图示的目的,前面的描述已呈现。并非穷尽且并不限于公开的具体形式或实施方式。考虑到说明书和公开的实施方式的实践,修改和改写对本领域技术人员将是明显的。另外,虽然公开的实施方式的各方面描述为存储在存储器中,但是本领域技术人员将了解到,这些方面也可以存储在其它类型的诸如二级存储装置的计算机可读介质上,例如,硬盘或cdrom,或其它形式的ram或rom、usb介质、dvd、蓝光或其它光驱介质。

基于书面描述和公开方法的计算机程序在有经验的开发人员的技术内。各种程序或程序模块可以使用本领域技术人员公知的任何技术来创建或者可以结合现有软件设计。例如,程序段或程序模块可以设计或借助.netframework、.netcompactframework(及相关语言,诸如visualbasic、c,等等)、java、c++、objective-c、html、html/ajax组合、xml或包括java小程序的html。

而且,虽然说明性实施方式已在本文中描述,具有等同元件、修改、省略、组合(例如,跨各实施方式的方面)、改写和/或变更的任何及所有实施方式的范围将基于本公开被本领域技术人员了解。权利要求书中的限制应解译宽泛地基于权利要求书中采用的语言,并不限于本说明书或本申请审查期间描述的示例。示例应被解释为非排他性的。此外,公开方法中的步骤能以任何方式修改,包括重新排序各步骤和/或插入或删除步骤。因此,预期说明书和示例考虑为仅是说明性的,真正的范围和精神由以下权利要求书及其完整的等同范围指示。

相关申请的交叉引用

本申请要求以下的优先权:2013年12月4日提交的美国临时专利申请号61/911,490;2014年5月14日提交的美国临时专利申请号61/993,084;2014年5月14日提交的美国临时专利申请号61/993,111;2014年6月23日提交的美国临时专利申请62/015,524;2014年7月9日提交的美国临时专利申请62/022,221;2014年8月21日提交的美国临时专利申请号62/040,224;以及2014年8月21日提交的美国临时专利申请62/040,269。所有前述申请的整体内容都通过引用并入本文。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1