冰和雪的检测系统和方法与流程

本公开涉及车辆系统，并且更具体地，涉及检测道路上存在的冰或雪的系统和方法。

背景技术：

机动车辆和其他车辆为商业、政府和私人实体提供了很大一部分交通工具。例如自主车辆的车辆在道路表面上行驶，可能会经历在道路表面上的冰或雪的积聚。由于道路表面的牵引力的丧失以及引起的车辆控制的损失，道路上冰或雪的存在给车辆带来潜在的风险。因此，道路表面上的冰或雪对于在具有冰或雪的道路上行驶的车辆的乘客有造成伤害的风险。检测道路上的冰或雪可以减少事故和对车辆乘客潜在伤害的可能性。

技术实现要素：

根据本发明，提供一种方法，包括：

响应于接收到表明在靠近车辆的道路上的冰或雪的可能性的天气数据来激活冰和雪检测系统；

从多个车辆传感器接收数据；

分析接收的数据以识别道路上的冰或雪；和

响应于道路上的冰或雪的识别，而进行以下操作：

调整车辆操作；并且

将冰或雪状况报告给共享数据库。

根据本发明的一个实施例，该方法进一步包括融合从多个车辆传感器接收的数据。

根据本发明的另一个实施例，其中分析接收的数据以识别道路上的冰或雪包括：

确定道路表面的当前高度；

将道路表面的当前高度与先前记录的道路表面的高度进行比较；和

如果道路表面的当前高度大于先前记录的道路表面的高度，则确定道路上存在冰或雪。

根据本发明的另一个实施例，其中分析接收的数据以识别道路上的冰或雪包括：

确定道路表面的当前反射率；

将道路表面的当前反射率与先前记录的道路表面的反射率进行比较；和

如果道路表面的当前反射率大于先前记录的道路表面的反射率，则确定道路上存在冰或雪。

根据本发明的另一个实施例，其中道路表面反射率包括视觉反射率、激光雷达反射率和雷达反射率中的至少一个。

根据本发明的另一个实施例，其中分析接收的数据以识别道路上的冰或雪包括：

确定道路表面的当前道路几何结构；

将道路表面的当前道路几何结构与先前记录的道路表面的道路几何结构进行比较；和

如果道路表面的当前道路几何结构比先前记录的道路表面的道路几何结构更不规则，则确定道路上存在冰或雪。

根据本发明的另一个实施例，其中调整车辆操作包括降低车辆速度、接合四轮驱动系统的主动离合器、避免车辆速度的突然变化和避免前轮的突然转向中的至少一个。

根据本发明的另一个实施例，其中将冰或雪状况报告给共享数据库包括报告与冰或雪状况相关联的地理位置。

根据本发明的另一个实施例，该方法进一步包括响应于识别道路上的冰或雪而尝试操纵绕过冰或雪。

根据本发明的另一个实施例，其中车辆是自主车辆。

根据本发明，提供一种方法，包括：

响应于接收到表明在靠近车辆的道路上的冰或雪的可能性的天气数据来激活冰和雪检测系统；

从车载摄像机接收图像数据；

从车载激光雷达系统接收激光雷达数据；

分析接收到的图像数据和激光雷达数据以识别道路上的冰或雪；和

响应于在道路上识别的冰或雪，执行以下中的至少一个：降低车辆的速度、接合四轮驱动系统的离合器、避免车辆速度的突然变化和避免车辆的前轮的突然转向。

根据本发明的另一个实施例，该方法进一步包括：

从车载雷达系统接收雷达数据；和

分析接收的雷达数据以识别道路上的冰或雪。

根据本发明的另一个实施例，该方法进一步包括将冰或雪状况和冰或雪的地理位置报告给共享数据库。

根据本发明的另一个实施例，该方法进一步包括融合图像数据和激光雷达数据。

根据本发明的另一个实施例，其中分析接收的图像数据和激光雷达数据包括：

确定道路表面的当前高度；

将道路表面的当前高度与先前记录的道路表面的高度进行比较；和

如果道路表面的当前高度大于先前记录的道路表面的高度，则确定道路上存在冰或雪。

根据本发明的另一个实施例，其中分析接收的图像数据和激光雷达数据包括：

确定道路表面的当前反射率；

将道路表面的当前反射率与先前记录的道路表面的反射率进行比较；和

如果道路表面的当前反射率大于先前记录的道路表面的反射率，则确定道路上存在冰或雪。

根据本发明的另一个实施例，其中道路表面反射率包括视觉反射率、激光雷达反射率和雷达反射率中的至少一个。

根据本发明的另一个实施例，其中分析接收的图像数据和激光雷达数据包括：

确定道路表面的当前道路几何结构；

将道路表面的当前道路几何结构与先前记录的道路表面的道路几何结构进行比较；和

如果道路表面的当前道路几何结构比先前记录的道路表面的道路几何结构更不规则，则确定道路上存在冰或雪。

根据本发明，提供一种装置，包括：

摄像机，摄像机配置为捕获车辆的前方区域的图像数据；

激光雷达系统，激光雷达系统配置为捕获与车辆的前方区域相关联的激光雷达数据；和

冰和雪检测系统，冰和雪检测系统配置为分析图像数据和激光雷达数据以识别车辆的前方区域中的冰或雪，其中冰和雪检测系统进一步配置为基于在车辆的前方区域识别到冰或雪来调整至少一个车辆操作。

根据本发明的另一个实施例，该装置进一步包括车辆控制致动器，车辆控制致动器配置为通过调整车辆的转向或制动系统来执行至少一个车辆操作。

附图说明

参考以下附图描述了本公开的非限制性和非穷举性实施例，其中相同的附图标记在各个附图中表示相同部件，除非另有说明。

图1是示出了包括冰和雪检测系统的车辆控制系统的实施例的框图；

图2是示出了冰和雪检测系统的实施例的框图；

图3示出了用于检测道路上的冰或雪的方法的实施例；

图4示出了响应于检测到道路上的冰或雪而调整车辆操作的方法的实施例；

图5示出了在道路上接近冰或雪的车辆的实施例。

具体实施方式

在下面的公开内容中，参考形成本文一部分的附图，并且其中通过图示的方式示出了可以实施本公开的具体实施方式。应当理解，在不脱离本公开的范围的情况下，可以使用其他实施方式并且可以进行结构改变。说明书中提及的“一个实施例”、“实施例”、“示例性实施例”等表明所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可以不一定包括特定特征、结构或特性。此外，这样的短语不一定指代相同的实施例。进一步地，当结合实施例描述特定特征、结构或特性时，无论是否有明确说明，结合其他实施例来改变这样的特征、结构或特性，被认为是在本领域技术人员的知识范围内。

本文公开的系统、装置和方法的实现可以包括或利用包括计算机硬件的专用或通用计算机，该计算机硬件如本文所讨论的例如一个或多个处理器和系统存储器。在本公开的范围内的实施方式还可以包括用于携带或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。携带计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实施方式可以包括至少两种截然不同的计算机可读介质：计算机存储介质(装置)和传输介质。

计算机存储介质(装置)包括ram(随机存取存储器)、rom(只读存储器)、eeprom(电可擦除可编程只读存储器)、cd-rom(光盘只读存储器)、固态硬盘(“ssd”)(例如，基于ram)、闪速存储器、相变存储器(“pcm”)、其它存储器类型、其他光盘存储器、磁盘存储器或其他磁存储装置、或可用于以计算机可执行指令或数据结构的形式存储期望的程序代码手段的并且可以由通用或专用计算机访问的任何其他介质。

本文公开的设备、系统和方法的实现可以通过计算机网络进行通信。“网络”被定义为使得能够在计算机系统和/或模块和/或其他电子装置之间传送电子数据的一个或多个数据链路。当信息通过网络或其他通信连接(硬连线的、无线或硬连线或无线的组合之一)传输或提供给计算机时，计算机将连接正确地视为传输介质。传输介质可以包括网络和/或数据链路，该传输介质可以用于以计算机可执行指令或数据结构的形式携带期望的程序代码手段，并且该传输介质可由通用或专用计算机访问。上述的组合也应包括在计算机可读介质的范围内。

计算机可执行指令包括例如在处理器执行时使通用计算机、专用计算机或专用处理装置执行某个功能或功能组的指令和数据。计算机可执行指令可以是例如二进制文件、诸如汇编语言的中间格式指令、或者甚至是源代码。尽管主题是用特定于结构特征和/或方法行为的语言描述的，但是应当理解，在所附权利要求中限定的主题不一定限于本文所描述的特征或行为。相反，所描述的特征和行为被公开为实现权利要求的示例形式。

本领域技术人员将理解，本公开可以在具有许多类型的计算机系统配置的网络计算环境中实施，计算机系统配置包括：车载计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手支持装置、多处理器系统、基于微处理器或可编程消费电子产品、网络个人计算机(pc)、小型计算机、大型计算机、移动电话、个人数字助理(pda)、平板电脑、寻呼机、路由器、交换机、各种存储装置等。本公开还可以在分布式系统环境中实施，其中，通过网络链接(通过硬连线数据链路、无线数据链路、或通过硬连线和无线数据链路的组合之一)的本地和远程计算机系统都执行任务。在分布式系统环境中，程序模块可以位于本地和远程两者存储装置中。

进一步地，在适当的情况下，本文描述的功能可以在硬件、软件、固件、数字部件或模拟部件中的一个或多个中执行。例如，一个或多个专用集成电路(asic)可以被编程为执行本文所描述的一个或多个系统和程序。在整个描述和权利要求中使用某些术语来指代特定的系统部件。如本领域技术人员将理解的，部件可以由不同的名称被引用。本文档不打算在名称不同而不是功能不同的部件之间作区分。

应当注意，本文讨论的传感器实施例可以包括计算机硬件、软件、固件或其任何组合，以执行其功能的至少一部分。例如，传感器可以包括被配置为在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑电路/电路。本文中提供的这些示例装置的目的在于说明，并不旨在限制。本公开的实施例可以在相关领域的技术人员已知的更多类型的装置中实现。

本公开的至少一些实施例针对包含存储在任何计算机可用介质上的这种逻辑(例如，以软件的形式)的计算机程序产品。当在一个或多个数据处理装置中执行时，这种软件导致装置如本文所描述地被操作。

图1是示出了包括冰和雪检测系统104的车辆控制系统100的实施例的框图。自动驾驶/辅助系统102可以用于自动化或控制车辆的操作或者向人类驾驶员提供帮助。例如，自动驾驶/辅助系统102可以控制车辆的制动、转向、座椅安全带张力、加速度、灯、警报、驾驶员通知、无线电、车辆锁或任何其他辅助系统中的一个或多个。在另一示例中，自动驾驶/辅助系统102可能不能提供驾驶(例如、转向、加速或制动)的任何控制，但是可以提供通知和警报以帮助人类驾驶员安全行驶。车辆控制系统100包括冰和雪检测系统104，该系统104与车辆控制系统中的各种部件相互作用以检测并且响应车辆附近的道路上的冰或雪。在一个实施例中，冰和雪检测系统104检测车辆路径中的冰或雪(例如，在车辆的前方)，并且调整一个或多个车辆操作以避免冰/雪或允许车辆安全地驾驶穿过冰/雪。尽管在图1中示出了冰和雪检测系统104作为单独的部件，在替代实施例中，冰和雪检测系统104可以并入到自动驾驶/辅助系统102或任何其他车辆部件中。

车辆控制系统100还包括用于检测附近物体的存在或者确定母车辆(例如，包括车辆控制系统100的车辆)的位置的一个或多个传感器系统/装置。例如，车辆控制系统100可以包括雷达系统106、一个或多个激光雷达(lidar)系统108、一个或多个摄像机系统110、全球定位系统(gps)112和/或超声波系统114。一个或多个摄像机系统110可以包括安装到车辆(例如，车辆的后部)的后视摄像机、前视摄像机和侧视摄像机。摄像机系统110还可以包括一个或多个内部摄像机，该内部摄像机捕获车辆内的乘客和其他物体的图像。车辆控制系统100可以包括数据存储器116，该数据存储器116用于存储导航和安全的相关或有用的数据，诸如地图数据、行驶历史或其他数据。此外，数据存储器116可以存储由当前车辆先前检测到的或由其他车辆报告的冰或雪有关的信息。车辆控制系统100还可以包括用于与移动或无线网络、其他车辆、基础设施或任何其它通信系统进行无线通信的收发器118。

车辆控制系统100可以包括车辆控制致动器120，以控制诸如电动马达、开关或其他致动器的车辆的驱动的各个方面，从而控制制动、加速、转向、座椅安全带张力、门锁等。车辆控制系统100还可以包括一个或多个显示器122、扬声器124或其他装置，使得可以向人类驾驶员或乘客提供通知。显示器122可以包括可以由车辆的驾驶员或乘客看到的抬头显示器、仪表板显示器或指示器、显示屏幕或任何其他视觉指示器。扬声器124可以包括车辆的声音系统的一个或多个扬声器，或者可以包括专用于向驾驶员或乘客通知的扬声器。

应当理解，图1的实施例仅作为示例给出。在不脱离本公开的范围的情况下，其他实施例可以包括较少的或附加的部件。另外，示出的部件可以被组合或包括在其他组件中而不限于此。

在一个实施例中，自动驾驶/辅助系统102配置为控制母车辆的驾驶或导航。例如，自动驾驶/辅助系统102可以控制车辆控制致动器120来驾驶通过道路、停车场、车道或其他位置上的路径。例如，自动驾驶/辅助系统102可以基于由任何部件106-118提供的信息或感知数据来确定路径。还可以基于操纵车辆绕过在道路上的接近的冰或雪区块的路线来确定路径。传感器系统/装置106-110和114可用于获得实时传感器数据，使得自动驾驶/辅助系统102可以实时地辅助驾驶员或驾驶车辆。

图2是示出了冰和雪检测系统104的实施例的框图。如图2所示，冰和雪检测系统104包括通信管理器202、处理器204和存储器206。通信管理器202允许冰和雪检测系统104与诸如自动驾驶/辅助系统102的其他系统通信。处理器204执行各种指令以实现如本文所讨论的由冰和雪检测系统104提供的功能。存储器206存储这些指令以及由处理器204和包含在冰和雪检测系统104中的其他模块和部件使用的其它数据。

另外，冰和雪检测系统104包括图像处理模块208，图像处理模块208从一个或多个摄像机系统110接收图像数据，并且识别例如车辆附近的道路上的冰或雪。在一些实施例中，图像处理模块208包括冰和雪检测算法，该算法识别车辆前方道路的图像中的冰或雪的区块。激光雷达处理模块210从一个或多个激光雷达系统108接收激光雷达数据，并且识别例如车辆前方道路上的冰或雪。类似地，雷达处理模块212从一个或多个雷达系统106接收雷达数据，以识别例如在车辆的规划路径中的冰或雪。

冰和雪检测系统104还包括地图和行驶历史模块214，行驶历史模块214从一个或多个数据源接收道路图信息，并且从数据存储器116接收车辆行驶历史数据。在一些实施例中，地图和行驶历史模块214使用道路图和行驶历史数据来检测道路表面高度(或海拔)的差异，以表明在道路表面上冰或雪积聚的可能性。数据分析模块216对从任何数量的传感器和/或数据源接收的数据执行各种操作，以检测道路表面上的冰或雪的存在。

另外，冰和雪检测系统104包括天气监控器218，天气监控器218监控车辆附近的天气状况，并且从任何数量的数据源接收天气相关的数据。如本文所讨论的，车辆操作管理器220基于道路上的冰或雪的检测来调整各种车辆操作。车辆牵引管理器222监控车辆的轮胎与道路表面之间的车辆的牵引力，以检测道路表面上的轮胎的任何滑动或打滑。这种滑动或打滑可能表明在道路表面上存在冰或雪。

图3示出了用于检测道路上的冰或雪的方法300的实施例。最初，在框302处，车辆从天气服务提供商或其他天气数据源接收当前天气数据。在一些实施例中，当车辆附近的天气状况很可能在道路表面上产生冰或雪时，冰和雪检测系统104被激活。例如，如果车辆附近的天气晴朗且温度显著高于冰点，则可能无需操作冰和雪检测系统104。然而，如果温度下降得更接近冰点，并且检测到降水(或由天气数据的预测)，则冰和雪检测系统104可以被激活以监控道路上的冰或雪。

方法300继续，在框304处，因为冰和雪检测系统104从一个或多个源接收道路状况数据和行驶历史信息。可以从任何数量的数据源(例如旅行数据源、天气数据源、其他组织、其他车辆、其他个人等)接收道路状况数据。示例道路状况数据可以表明道路结冰的重大可能性或者道路中实际冰或雪的报告。行驶历史信息包括例如在先前驾驶活动期间由车辆获得的道路信息和相关数据。

在框306处，冰和雪检测系统104对图像数据、激光雷达数据和雷达数据进行融合，然后分析该融合数据以识别道路上的冰或雪。例如，融合数据可以提供接近的环境的更完整的覆盖。一种类型的传感器可以“填充”另一传感器类型的间隙，从而补偿特定传感器的弱点。通过组合来自多个传感器的数据，组合的置信水平可能更大，因为置信水平基于来自不同类型的传感器的多组数据。在一些实施例中，图像数据、激光雷达数据和雷达数据主要与车辆前方的区域相关联(例如，车辆正在接近的区域)。在其他实施例中，图像数据、激光雷达数据和雷达数据与车辆侧面和/或车辆后方的区域相关联。在框308处，如果未识别出雪或冰，则方法300继续接收并且分析数据以在将来的时间检测可能的冰或雪。

在特定实施例中，通过确定道路表面的当前高度(例如海拔)并且将该高度与先前记录的道路表面高度或来自道路图数据的高度数据进行比较，以在道路上检测到冰或雪。如果道路表面的当前高度大于先前记录的道路表面的高度，则所描述的系统和方法确定在道路上存在冰或雪。道路表面高度的增加归因于道路上的冰或雪的积聚，造成道路表面高于先前记录的外貌。如果多个车辆传感器检测到增加的道路表面高度，则与检测到增加的道路表面高度的单个传感器相比，获得更大的置信水平。在特定实施例中，一个或多个激光雷达系统108确定道路表面的当前高度。

在其他实施例中，通过确定道路表面的当前反射率并且将道路表面的当前反射率与先前记录的道路表面的反射率进行比较，以在道路上检测到冰或雪。如果道路表面的当前反射率大于先前记录的道路表面的反射率，则所描述的系统和方法确定道路上存在冰或雪。道路表面反射率的增加归因于道路上冰或雪的积聚，导致比非结冰的道路表面更大的反射率。在一些实施例中，反射率包括视觉反射率、激光雷达反射率和雷达反射率中的一种或多种。在具体实施例中，雷达系统106、激光雷达系统108和摄像机系统110中的一个或多个用于确定道路表面是否具有冰或雪的外观的特征。

在特定实施例中，通过确定道路表面的当前道路几何结构并且将道路表面的当前道路几何结构与先前记录的道路表面的道路几何结构进行比较，以在道路上检测冰或雪。道路几何结构包括粗糙度(或其他不规则性)、平滑度或其他道路特征。如果道路表面的当前道路几何结构与先前记录的道路表面的道路几何结构不同，则所描述的系统和方法确定在道路上存在冰或雪。改变的道路几何结构可能是由于道路上的冰或雪积聚造成的，导致比非结冰的道路表面更粗糙的道路。在一些实施例中，使用道路表面上的激光雷达点云中的点的位置来确定道路表面的粗糙度。在其他实施例中，由摄像机系统110捕捉的图像检测道路表面上的视觉粗糙度。

在框310处，如果方法300检测到道路上的冰或雪，则基于冰或雪来调整车辆操作。如关于图4更详细地讨论的，调整车辆操作以操纵绕过道路上的冰/雪(如果可能的话)，或者改善车辆在冰或雪上驾驶的控制。在框312处，冰或雪状况以及与冰和雪相关联的地理位置被报告到共享数据库(或其他数据存储机制)。这个冰或雪状况报告代表了可能在同一道路上行驶的其他车辆或者可能经历类似冰或雪状况的同一区域其他道路上行驶的其他车辆所使用的道路状况数据。在一些实施例中，冰/雪状况和地理位置也记录在车辆的行驶历史中。在框310处，除了调整车辆操作之外，在框314处，方法300的一些实施例还尝试操纵车辆绕过冰或雪，从而避免道路的潜在的滑的区域。

图4示出了响应于检测道路上的冰或雪而调整车辆操作的方法400的实施例。最初，在框402处，冰和雪检测系统104检测道路上的冰或雪，例如关于图3所讨论的。在一些实施例中，在框404处，方法400降低了车辆的速度，使得车辆以较慢的速度穿过冰或雪，在该速度下驾驶员或自动驾驶/辅助系统102可以更好地维持车辆的控制。在特定情况下，在框406处，用于四轮驱动系统的主动离合器被接合。因此，不是等到车辆开始在冰/雪上滑动或打滑时，而是使主动离合器接合，以使得四轮驱动系统积极地操作以维持车辆的牵引力并且当驾驶穿过冰或雪时改善车辆的控制。

在一些实施例中，在框408处，冰和雪检测系统104避免了车辆速度突然的变化(例如，突然的加速或突然的减速)，这可能导致车辆失去对道路的牵引力并且可能失去对车辆的控制。此外，在框410处，冰和雪检测系统104避免了前轮的突然转向，这可能导致车辆失去对道路的牵引力。如果需要转向，则冰和雪检测系统104尝试进行小的转向改变，同时维持在车辆的轮胎和道路之间的牵引力。在框412处，方法400继续监控车辆与道路表面的牵引力，并且进行必要的调整，以维持在车辆的轮胎与道路之间的牵引力。

在一些实施例中，关于图4讨论的调整是通过向一个或多个车辆控制致动器120发送适当的指令来实现的。例如，可以将指令发送到车辆控制致动器120以控制制动、加速和转向。

图5示出了在道路上接近冰或雪的车辆的实施例500。车辆502沿着道路506行进并且正在接近道路上的一块冰/雪504。一个或多个车辆传感器(例如，雷达系统106、激光雷达系统108和摄像机系统110)可以检测冰/雪504，如虚线508所示，表示由传感器识别的检测区域。在一些实施例中，车辆可以尝试操纵绕过在道路上的接近的冰或雪。然而，在图5的示例中，车辆502不能在没有驾驶离开道路或者驾驶到迎面而来的交通中的情况下操纵绕过冰/雪。在这种情况下，这里描述的系统和方法调整车辆502的操作，以增加车辆502在其驾驶通过冰/雪504时维持控制的可能性。

尽管在本文中描述了本公开的各种实施例，但是应当理解，它们仅以示例的方式呈现，而不是限制。对于相关领域的技术人员显而易见的是，在不脱离本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。因此，本公开的宽度和范围不应该由所描述的示例性实施例中的任何一个限制，而应仅根据所附权利要求及其等同物来限定。本说明书是为了说明和描述的目的。它不是穷举的，也不是将本公开限制为所公开的精确形式。鉴于所公开的教导，许多修改和变化是可能的。此外，应当注意，本文讨论的任何或全部替代实施方式可以以任何期望的组合来使用，以形成本公开的附加混合实施方式。