针对车辆的摄像机和V2V数据的传感器融合的制作方法

本申请要求在2015年7月20日提交的美国临时专利申请号62/194,349的权益，所述美国临时专利申请号的主题事项通过引用被并入在本文中。

技术领域

本发明一般涉及用于机动车辆的驾驶员辅助系统，并且更特别地涉及融合来自光学传感器和车辆对车辆通信子系统的数据的驾驶员辅助系统。

背景技术：

本部分中的陈述仅仅提供与本公开相关的背景信息，并且可以或可以不构成现有技术。

已知能够向主车辆标识其他接近的机动车辆并且向主车辆的操作员警告可能与主车辆的驾驶路径相交的其他车辆的运动的机动车辆感测系统。已知能够利用从以上指出的感测系统所接收的数据并且制定改变诸如以减少主车辆驾驶速度、应用刹车、提供音频和视觉警告信号等的其他机动车辆感测系统。已知的系统可以利用接收与一个或多个其他车辆相关的视觉数据的摄像机系统，并且可以利用计算机系统来执行计算并且生成车辆命令指令。其他已知的系统包含车辆对车辆（V2V）系统，其允许多个车辆彼此通信。

虽然常规的车辆通信和感测系统是有效的，但是对于改进车辆通信和感测系统的数据质量、故障保险、诊断、鲁棒性和准确性的改进的车辆通信和感测系统存在空间。

技术实现要素：

在本发明的一个方面中，提供一种用于融合由主车辆和至少一个远程车辆对车辆（V2V）通信装备车辆所检测的传感器信息的方法。该方法包含收集来自视觉子系统的光学传感器的视觉数据，并且生成基础车道模型和基础置信水平。该方法进一步包含收集来自V2V子系统的接收器的V2V数据。该方法进一步包含从视觉数据生成基础车道模型和基础置信水平。该方法进一步包含把V2V数据、基础车道模型、和基础置信水平融合在一起。该方法进一步包含从融合在一起的V2V数据、基础车道模型和基础置信水平生成最终车道模型和最终置信水平，以及向最终车道模型分配优先级。

在本发明的另一个方面中，最终置信水平指示最终车道模型比基础车道模型更准确。

在本发明的还有另一个方面中，基础车道模型和最终车道模型包括针对主车辆和针对主车辆周围的预限定区域之内的任何物体的车道定位、车道标记、车道曲率、速度和轨道数据。

在本发明的还有另一个方面中，V2V数据包括针对与主车辆通信并且在主车辆周围的预限定区域之内的任何远程V2V装备车辆、以及针对由与主车辆通信并且在主车辆周围的预限定区域之内的任何远程V2V车辆所感测的任何物体的车道定位、速度、和轨道数据。

在本发明的还有另一个方面中，把V2V数据、基础车道模型、和基础置信水平融合在一起进一步包括将视觉数据与V2V数据相比较并且确定视觉数据和V2V数据的相对准确性和精度。

在本发明的还有另一个方面中，向最终车道模型分配优先级进一步包括确定物体在最终车道模型中相对于主车辆的位置并且当该物体处于也由主车辆占据的车道中时向该物体分配高优先级。

在本发明的还有另一个方面中，该方法进一步包括向至少一个高级驾驶员辅助系统（ADAS）发送命令，并且其中至少一个ADAS执行避开高优先级已被分配到的物体的功能。

在本发明的还有另一个方面中，提供一种使用车辆对车辆（V2V）通信和光学传感器来向高级驾驶员辅助系统（ADAS）清点（inventory）并传送相对于多个物体的主车辆位置的方法。该方法包含从光学传感器捕获具有第一多个物体和车道标记的路段的图像。该方法进一步包含分析所述图像并且确定第一多个物体中的每一个的第一状态、第一多个物体中的每一个的第一位置、车道标记相对于第一多个物体中的每一个以及相对于主车辆的位置。该方法进一步包含向第一状态、第一位置、以及第一多个物体的每一个分配第一置信水平。该方法进一步包含处理所述图像以确定所述路段、车道标记、和第一多个物体的第一本地动态地图。该方法进一步包含由在主车辆周围的预定区域之内的V2V装备车辆接收信号，其中所述信号包含第二多个物体中的每一个的第二状态和第二多个物体中的每一个的第二位置。该方法进一步包含向第二状态、第二位置、和第二多个物体分配第二置信水平。该方法进一步包含由V2V装备车辆处理所述信号以确定所述路段和第二多个物体的第二本地动态地图。该方法进一步包含将第一本地动态地图和第二本地动态地图相组合并且生成第三本地动态地图，其中所述第三本地动态地图包含第三多个物体中的每一个的第三状态以及第三多个物体中的每一个的第三位置。该方法进一步包含向第三多个物体的第三状态和第三位置分配第三置信水平和优先级，以及向ADAS传送相对于主车辆的位置的第三多个物体的第三状态和第三位置的优先级，其中ADAS自动避开第三多个物体。

在本发明的还有另一个方面中，生成第三本地动态地图进一步包括将所述信号与所述图像相融合，其中第三本地动态地图包含车道标记相对于第三多个物体的位置。

在本发明的还有另一个方面中，分配第三置信水平进一步包括第三置信水平大于第一置信水平和第二置信水平。

在本发明的还有另一个方面中，向第三多个物体分配优先级进一步包括向处于由主车辆共享的车道中并且处于主车辆的路径中的物体分配高优先级，其中所述车道由车道标记所限定。

在本发明的还有另一个方面中，向ADAS传送进一步包括当物体处于主车辆的路径中时应用主车辆制动系统以避开处于由主车辆共享的车道中的物体。

在本发明的还有另一个方面中，向ADAS传送进一步包括应用主车辆转向（steer）系统并且指引主车辆保持在车道之内。

在本发明的还有另一个方面中，一种用于融合由主车辆和至少一个远程车辆对车辆（V2V）通信装备车辆所检测的传感器信息的系统包含具有光学传感器的视觉子系统和具有接收器的V2V子系统。该系统进一步包含与视觉子系统和V2V子系统通信的控制器，所述控制器具有用于储存控制逻辑的存储器和被配置为执行控制逻辑的处理器，所述控制逻辑包含用于收集来自视觉子系统的视觉数据并且从所述视觉数据生成基础车道模型和基础置信水平的第一控制逻辑。该系统进一步包括：处理器包含用于收集来自V2V子系统的V2V数据并且用于把V2V数据和基础车道模型以及基础置信水平融合在一起的第二控制逻辑。该系统进一步包括：处理器包含用于从融合后的V2V数据、基础车道模型和基础置信水平生成最终车道模型和最终置信水平的第三控制逻辑，以及处理器包含用于向最终车道模型分配优先级的第四逻辑。

在本发明的还有另一个方面中，最终置信水平指示最终车道模型比基础车道模型更准确。

在本发明的还有另一个方面中，基础和最终车道模型包括针对主车辆和针对在主车辆周围的预限定区域之内的任何物体的车道定位、车道标记、车道曲率、速度和轨道数据。

在本发明的还有另一个方面中，V2V数据包括针对与主车辆通信并且在主车辆周围的预限定区域之内的任何远程V2V装备车辆、以及针对由与主车辆通信并且在主车辆周围的预限定区域之内的任何远程V2V车辆所感测的任何物体的车道定位、速度、和轨道数据。

在本发明的还有另一个方面中，控制器融合在一起进一步包括将视觉数据与V2V数据相比较并且确定视觉数据和V2V数据的准确性和精度。

在本发明的还有另一个方面中，第四逻辑进一步包括确定物体在最终车道模型中相对于主车辆的位置并且当物体处于也由主车辆占据的车道中时向所述物体分配高优先级。

在本发明的还有另一个方面中，关于已被分配高优先级的物体的信息被传递到至少一个ADAS，并且至少一个ADAS执行避开所述物体的功能。

附图说明

在本文中描述的绘图仅仅为了图解的目的并且不旨在以任何方式限制本公开的范围。

图1是根据本发明的原理的融合来自视觉子系统和V2V子系统的组合的数据的方法和系统的主车辆的图；

图2是根据本发明的原理的融合来自视觉子系统和V2V通信子系统的组合的数据的方法和系统的图；以及

图3是根据本发明的原理的融合来自视觉子系统和V2V通信子系统的组合的数据的方法的流程图。

具体实施方式

下面的描述在本质上仅仅是示例性的并且不旨在限制本公开、应用或用途。

参考图1和2，一般地由参考数字10指示用于把视觉或光学数据与车辆对车辆（V2V）数据融合在一起的系统。系统10一般包含具有视觉子系统14和车辆对车辆（V2V）通信子系统16的主车辆12。视觉子系统14和V2V通信子系统16与控制器18通信。一般地，系统10在控制器18之内连续地收集来自视觉子系统14和V2V子系统16的数据并将其融合在一起。来自视觉子系统14和V2V子系统16的经收集和融合在一起的数据被发送到主车辆12之内的车辆控制系统引擎控制单元（ECU）20。车辆控制系统ECU 20解析经收集和融合在一起的数据并且命令由主车辆12进行的动作，诸如高级驾驶员辅助系统（ADAS）功能。

视觉子系统14包含一个或多个光学传感器或摄像机22。摄像机22可操作以收集围绕主车辆12的预限定区域中的视觉信息。来自摄像机22的视觉数据被传送到控制器18。V2V子系统16包含接收器24，所述接收器24可操作以接收来自在图2中由参考数字26指示的远程V2V装备车辆的无线数据。从接收器24接收的V2V数据可以包含GPS数据、摄像机数据、和/或物体列表。V2V数据被传送到控制器18。

控制器18是非广义的电子控制设备，其具有预编程的数字计算机或处理器28、用于储存诸如控制逻辑、指令、图像数据、查找表等之类的数据的存储器或非暂时性计算机可读介质30、以及多个输入/输出外设或端口32。处理器28被配置为执行控制逻辑或指令。控制器18可以具有与处理器28通信的附加的处理器或附加的集成电路，诸如用于分析视觉数据的感知逻辑电路或专用V2V电路。

车辆控制系统ECU 20可以是任何车辆控制系统，诸如制动控制系统、油门（throttle）控制系统、转向控制系统、车体控制系统等。车辆控制系统ECU 20包含使车辆系统自动化、适应、或增强以便增加车辆安全性和/或操作员驾驶性能的ADAS功能。例如，车辆控制系统ECU 20可以包含ADAS技术，所述ADAS技术通过实施安全措施（诸如自主地控制主车辆12）来警告驾驶员潜在的问题或者避免碰撞。车辆控制系统ECU 20还可以包含ADAS部件，所述ADAS部件增强某些系统，诸如自动化照明、自动化停车、自适应巡航控制、自动化制动、或使用摄像机技术的改进的盲点消除。

现参照图3并且继续参考图1和2，一般地由参考数字100指示用于把来自视觉子系统14和V2V子系统16的数据融合在一起的方法。为了图解的目的，将关于在示例性路段34上操作的主车辆12（在图2中示出）来描述方法100。路段34具有车道L₁、L₂、L₃、至L_n。应该领会到路段34可以具有如一个那么少的车道而不脱离本公开的范围。由车道标记36限定车道L₁至L_n。车道标记36可以是反光漆、反射物、交通锥标或柱标（barrel）、凹槽等。路段34被图解为部分弯曲的，但是可以具有任何形状并且具有任何拓扑而不脱离本公开的范围。

在本示例中，路段34被填充以多个物体38，包含两个远程V2V装备车辆26、一个非通信车辆40、和一个道路危险物42。应该领会到路段34可以通过任何数量和组合的远程V2V装备车辆26、非通信车辆40、和道路危险物42来填充。非通信车辆40可以是没有V2V系统的车辆或可以是设置在主车辆12的通信范围之外的远程V2V装备车辆26。道路危险物42可以是路段34上的任何事物，包含行人、动物、碎片、施工桶（construction barrel）、报废的车辆等。

方法100在块104和106处开始。在块104处，摄像机22连续地捕获路段34的视觉数据。视觉数据可以处于相对于主车辆12的前向弧或环绕视角中。在本示例中，视觉数据包含多个物体38。在块108处，控制器18连续分析由摄像机22在块104处捕获的视觉数据并且生成第一物体列表和第一信息集合。第一物体列表被填充以多个物体38。第一信息集合包括由控制器18基于来自摄像机22的视觉数据所生成的物体特性。在一个方面中，第一信息集合包含对应于第一物体列表之内的多个物体38中的每一个的第一大小和第一位置。第一大小和第一位置动态地更新。第一大小和第一位置示意地示出为在图2中由参考数字44指示的具有小虚线的虚线框。由于摄像机或处理不准确性，物体38中的每一个的第一大小和第一位置44可以偏离物体38中的每一个的实际大小和位置。控制器18使用多个物体38中的每一个的动态更新的第一大小和第一位置44来确定针对第一物体列表中的多个物体38中的每一个的相对位置和速度。

在块110处，控制器18生成路段34和多个物体38的第一动态模型。第一动态模型包含路段34的第一地图，其中多个物体38被定位在第一地图之内。路段34的第一地图包含表征车道L₁至L_n的第一车道信息，其包含第一车道计数、第一车道宽度46、以及第一车道曲率48等。方法继续到块112，在块112中控制器18把第一车道信息置信水平分配给路段34的第一动态模型。第一置信水平是对来自摄像机22的数据的可靠性的评估。第一置信水平可以基于摄像机22的已知公差、范围、视场和/或视觉保真度。

在块106处，主车辆12的V2V子系统16从远程V2V装备车辆26连续接收与路段34有关的V2V数据。V2V数据可以经由任何无线通信方法（包含专用短程通信（DSRC））发送到接收器24。V2V数据可以包含几何位置系统信息、光检测及测距（LIDAR）、无线电检测及测距（RADAR）、和/或相对于远程V2V装备车辆26中的每一个的前向弧或环绕视角中的视觉数据。在本示例中，V2V数据包含多个物体38。在块114处，控制器18连续分析由接收器24在块106处接收的V2V数据并且生成第二物体列表和第二信息集合。第二物体列表被填充以多个物体38。第二信息集合包括由控制器18基于来自接收器24的V2V数据所生成的物体特性。在一个方面中，第二信息集合包含对应于第二物体列表之内的多个物体38中的每一个的第二大小和第二位置。第二大小和第二位置动态地更新。第二大小和第二位置示意地示出为在图2中由参考数字50指示的具有大虚线的虚线框。由于摄像机、GPS、LIDAR、RADAR或处理不准确性，物体38中的每一个的第二大小和第二位置50可以偏离物体38中的每一个的实际大小和位置。控制器18使用多个物体38中的每一个的动态更新的第二大小和第二位置50来确定针对第二物体列表中的多个物体38中的每一个的相对位置和速度。

在块116处，控制器18生成路段34和多个物体38的第二动态模型。第二动态模型包含路段34的第二地图，其中多个物体38定位在第二地图之内。路段34的第二地图包含表征车道L₁至L_n的第二车道信息，其包含第二车道计数、第二车道宽度46'、以及第二车道曲率48'等。该方法继续到块118，在块118中控制器18把第二车道信息置信水平分配给路段34的第二动态模型。第二置信水平是对来自V2V子系统16的数据的可靠性的评估。第二置信水平可以基于远程V2V装备车辆26的GPS、LIDAR、RADAR、和/或摄像机22的已知公差、范围、视场和/或数据保真度。

在块120处，控制器18基于第一置信水平执行路段34的第一动态模型的第一加权分析。在一个方面中，第一动态模型的第一加权分析包含对相对于多个物体38中的每一个的第一大小和第一位置44、第一车道宽度46、以及第一车道曲率48中的每一个进行定性评估。第一大小和第一位置44的定性评估相对于第一置信水平被加权，并且针对第一信息集合生成经加权的第一动态模型。此外，控制器18基于第二置信水平执行路段34的第二动态模型的第二加权分析。在一个方面中，第二动态模型的第二加权分析包含对相对于多个物体38中的每一个的第二大小和第二位置50、第二车道宽度46'、以及第二车道曲率48'中的每一个进行定性评估。第二大小和第二位置50的定性评估相对于第二置信水平被加权，并且针对第二信息集合生成经加权的第二动态模型。在第一和第二加权动态模型中的每一个中，相应的第一和第二信息集合之内的信息当被分配更高的置信水平时被给出更大的权重。例如，在从0 - 5的置信水平尺度上，靠近主车辆摄像机22的范围的外围的道路危险物42可以被分配低置信水平，诸如1。分配低评级是因为摄像机22的已知公差、范围、视场、和/或视觉保真度在外围处与在非常靠近摄像机的视场以及在摄像机的视场之内相比是相对更低的。进一步参考以上示例，非常靠近摄像机22的视场以及在摄像机22的视场之内的道路危险物42可以被分配高置信水平评级，诸如4或5。在一方面中，由具有高保真度的远程V2V装备车辆26所检测并且在远程V2V装备车辆26的GPS、LIDAR、RADAR、和/或摄像机22的已知公差、范围和视场之内的道路危险物42将被分配高置信水平。此外，在块120处，控制器18将融合的物体列表和融合的动态地图相组合以创建表征车道L₁至L_n的融合的车道信息，包含融合的车道计数、融合的车道宽度46''、和融合的车道曲率48''等。

在块122 处，控制器18针对在块120处生成的融合的物体列表和融合的动态模型生成融合的置信水平。融合的置信水平是第一置信水平和第二置信水平的改良。为了生成融合的置信水平，控制器18运算（tally）通过第一或第二加权分析分配给多个物体38中的任一个的置信水平，并且根据融合的物体列表中的物体的所分配的置信水平对多个物体38应用附加的仔细检查（scrutiny）。

方法然后进行到块124，在块124中控制器18将融合的置信水平与第一置信水平和第二置信水平相比较。如果融合的置信水平低于第一置信水平或第二置信水平中的任一个，或者如果融合的置信水平低于组合的第一和第二置信水平，则方法返回到块102，并且控制器18再一次收集来自摄像机22和V2V子系统16的数据。然而，如果融合的置信水平大于组合的第二置信水平和第一置信水平，则方法进行到块126。

在块126处，如果多个物体38中的任一个由视觉子系统14或V2V子系统16中的仅一个所检测，则单检测的物体接收来自做出该检测的无论哪个系统的仅单个权重。例如，在图2中，非通信车辆40由于仅由V2V子系统16所检测而被描绘为仅具有第二大小和第二位置50。在该示例中，因为非通信车辆40仅被单检测，所以它仅接收单个置信水平评价，并且因此仅接收单个权重和仔细检查。通过将融合的置信水平与第一和第二置信水平相比较，可以忽略错误的视觉或V2V数据。针对附加的示例，可以由V2V子系统16接收错误的或被黑客攻击的（hacked）V2V消息，所述消息声明道路危险物42存在于靠近主车辆的位置中以及存在于与主车辆相同的车道中，其中实际上不存在道路危险物42。在该示例中，从摄像机22所检索的视觉数据将不示出道路危险物42。虽然V2V标识的道路危险物42被分配高置信水平，但是因为道路危险物42将是单检测的物体，所以当与来自摄像机22的视觉数据融合时，关于错误报告的道路危险物42的融合的置信水平将显著降低，并且降低的融合的置信水平将更准确。

然而，当多个物体38中的任一个被单检测时，单检测的物体由做出该检测的视觉子系统14和V2V子系统16中的无论哪个连续监视以确定单检测的物体中的每一个存在于哪个车道中。此外，单检测的物体可以由视觉子系统14和V2V子系统16两者所检测，如果单检测的物体进入到每一个相应的子系统的范围和视场中的话。

在块128处，控制器18确定多个物体38中的哪一个处于感兴趣的车道中。在一个方面中，感兴趣的车道是其中主车辆12正在行进的车道L₁，以及与其中主车辆正在行进的车道紧邻的车道L₂、L₃。由控制器18在块130处向处于感兴趣的车道中的多个物体38中的任一个动态分配高优先级状态。由于路段22上的多个物体38中的物体处于相对于主车辆12的运动中，所以控制器18通过连续地重复块102与130之间的方法来连续地更新融合的物体列表、融合的动态地图、以及融合的车道信息。一旦控制器18在块128处向物体分配高优先级值并且在块130处针对车辆控制系统ECU 20 ADAS功能处理它，则生成到车辆控制系统（诸如主车辆12制动系统或转向系统）的输出。在若干方面中，可以向处于与主车辆12邻近的车道或相同车道中的物体给出高优先级状态。在一个方面中，当高优先级状态被分配给在与主车辆12相同车道中的物体时，控制器18使用车辆控制系统ECU 20来执行ADAS功能（诸如碰撞避免），并且车辆控制系统ECU 20使用主车辆12制动系统。在一方面中，当物体处于邻近车道中时物体可以被分配高优先级并且车辆控制系统ECU 20 ADAS功能是车道改变辅助。当车辆控制系统ECU 20 ADAS功能是车道改变辅助时，车辆控制系统ECU 20使用主车辆12转向系统。因此，根据融合的物体列表和融合的车道信息的物体的区分优先次序列表被发送到车辆控制系统ECU 20以用于在各种ADAS应用中处理。

在块132中，车辆控制系统ECU 20根据来自控制器18的物体的区分优先次序列表所规定的要求执行ADAS功能。虽然因为如以上所描述的那样车辆控制系统ECU 20作用于已由两个独立系统验证的区分优先次序的物体和车道信息，所以车辆控制系统ECU 20以改进的性能执行ADAS功能，但是车辆控制系统ECU 20继续能够根据来自视觉子系统14和V2V子系统16中的仅一个的输入执行ADAS功能。

本发明的描述在本质上仅仅是示例性的，并且不脱离本发明的要旨的变化旨在处于本发明的范围之内。这样的变化不被看作与本发明的精神和范围的背离。