基于相机图像信号处理来生成和使用道路摩擦估计的方法和系统与流程

本公开总体涉及基于相机图像处理来生成和使用道路摩擦估计(rfe)的方法和系统。更具体地，本公开涉及基于前视相机图像处理来生成和使用rfe的方法和系统。对前视相机图像进行预处理、区块分割、使用视角变换转换成鸟瞰图(bev)图像、区块量化、以及最后分类，以获得道路摩擦估计(也称为rfe)。产生的rfe可用于为驾驶员提供信息、自动控制相关车辆的运动、和/或通知基于云的警报服务以增强驾驶员安全性。该rfe固有地包括在车辆和驾驶员遇到这种情况之前警告驾驶员和/或引起对危险行驶状况产生车辆响应的时间组成(temporalcomponent)。这提供了预测性手段。

背景技术：

存在用于确定路面状况(rsc)的各种常规方法和系统。这些方法和系统中的大多数依赖于分析下视相机图像，提供关于车辆正下方的路面的信息。这些方法和系统中的一些依赖于将圆形光聚焦在车辆前方并分析相应的前视相机图像，测量基于强度的特征，诸如关注区域(roi)内的平均像素强度、方差像素强度和最大像素强度，并实施概率二元分类器(probabilisticbinaryclassifier)，以便划分干、湿、雪和冰rsc，可选地随后进行融合过程以生成用于制动、转向和加速度传感器的控制参数。这些方法和系统中的其它方法和系统利用前视相机图像，将前视相机图像转换成空间频谱，并分析对应于不同rsc的相关频率分布。这些方法和系统中的另一些方法和系统利用前视相机图像并应用极化滤波器(polarizationfilter)和小波变换来划分不同的rsc。然而，这些方法和系统都没有超出rsc来准确地生成和使用rfe。这是根本区别。

rfe估计了在道路与车辆轮胎之间、横过和沿着道路、尤其是沿着抵靠道路表面的轮轨的摩擦水平。存在用于估计和计算rfe的各种常规方法和系统。然而，这些方法和系统中的大多数依赖于使用一维(1-d)车载传感器、应用基于物理的模型。这些方法通常导致rfe的低可用性(通常约3-5％)，在大多数时间导致不可接受地低的可信度。在这种基于物理的模型中，仅在轮胎和道路之间发生非常显著的滑动时才出现高可信度。因此，实时rfe是零星的并且预测能力受到牵制，从而减少了得到的驾驶员信息的价值、延迟和/或限制了相关车辆的运动的自动控制、和/或达不到大多数基于云的警报服务的实际要求。这会危害驾驶员安全性。

因此，需要基于前视相机图像和信号处理来生成和利用rfe的先进方法和系统，以实现改善的准确性、高可用性、以及对可行驶环境条件的增强的预测能力，同时有效地运行。

技术实现要素：

在各种示例性实施方式中，本公开提供了基于前视相机图像和信号处理来生成和利用rfe的方法和系统，该rfe指示道路表面和车辆轮胎之间的预期摩擦水平。对前视相机图像进行预处理、区块分割(横向地和纵向地，由轮轨等定义)、转换成bev图像以提供车辆前方可行驶表面的易于处理的区块、区块量化、并且最后分类，以获得rfe。产生的rfe可用于给驾驶员提供信息、自动控制相关车辆的运动、和/或通知基于云的警报服务以增强驾驶员安全性。该rfe固有地包括在车辆和驾驶员遇到这种情况之前警告驾驶员和/或引起对危险驾驶状况产生车辆响应的时间组成。这提供了预测手段。本公开的方法和系统可以与其它常规车载传感器和系统的操作集成，诸如提供制动/加速、横向/纵向移动和/或扭矩控制的那些车载传感器和系统。与现有的基于图像的rsc分类模型相比，该方法和系统具有改善的准确性、增加的可用性(即使当不存在显著的轮胎力时)和增强的预测能力，同时以相对低的计算复杂度有效地运行。

在一个示例性实施方式中，本公开提供了一种基于车辆相机图像处理来生成和利用道路摩擦估计(rfe)的方法，其包括：从车辆相机获得路面的图像；将图像分割成多个区块；转换图像的路面视角；基于对多个区块中的每个区块的图像分析，量化多个区块中的每个区块以确定给定路面摩擦状况的概率；基于多个区块的确定的概率对多个区块的组进行分类，以形成路面的rfe；以及以下中的一个或多个：(1)警告驾驶员路面摩擦状况，(2)向车辆网络报告路面摩擦状况，以及(3)响应于生成的路面的rfe，限制和/或修改车辆运行参数。优选地，车辆相机是前视车辆相机，并且图像是前视图像。可以等同地使用侧视图像和合成图像。该方法还包括预处理图像以对图像进行最初分类，其中可能导致可变rfe的某些分类基于路面上的相对车轮位置经受更准确地确定rfe的进一步处理，不会导致可变rfe的某些分类不经受更准确地确定rfe的进一步处理。例如，与“干”路面状况相关联的图像意味着高摩擦或高rfe，因此这种图像不需要经受区块分割和量化。然而，与“有雪”路面状况相关联的图像需要被区块分割和量化以确定轮轨相对于可行驶表面上的雪和冰的相对位置，这进而指示车辆所经历的道路摩擦。将图像分割成多个区块包括将图像分割成车辆前方的多个行和列，其中使用至少2行和至少3列。优选地，存在于路面上的轮轨(wheeltrack)包含在多个列中的两个列内。转换图像的路面视角包括将图像的路面视角从前视视角转换为俯视鸟瞰图(bev)视角。可选地，在转换图像的视角之前执行将图像分割成多个区块，使得多个区块的视角也被转换。量化多个区块中的每个区块以确定给定路面摩擦状况的概率包括，从每个区块提取多个颜色/纹理特征，并给每个区块分配对应于每个区块的各区块组成的概率分数。量化多个区块中的每个区块以确定给定路面摩擦状况的概率还包括，组合多个概率分数以确定一组区块的合成概率分数。最后，基于多个区块的确定的概率对多个区块的组进行分类包括，给每个确定的概率分配一个分类分数并组合多个分类分数以生成相对于车辆位置的路面的rfe。

在另一示例性实施方式中，本公开提供了一种基于车辆相机图像处理来生成和利用道路摩擦估计(rfe)的系统，其包括：被构造为提供路面图像的车辆相机；以及存储机器可读指令的存储器，当由处理器执行时，可读指令使系统：将图像分割成多个区块；转换图像的路面视角；基于对多个区块中的每个区块的图像分析，量化多个区块中的每个区块以确定给定路面摩擦状况的概率；基于多个区块的确定的概率对多个区块的组进行分类，以形成路面的rfe；以及以下中的一个或多个：(1)警告驾驶员路面摩擦状况，(2)向车辆网络报告路面摩擦状况，以及(3)响应于生成的路面的rfe，限制和/或修改车辆运行参数。优选地，车辆相机是前视车辆相机，并且图像是前视图像。可以等同地使用侧视图像和合成图像。处理器还使系统预处理图像以对图像进行最初分类，其中可能导致可变rfe的某些分类基于路面上的相对车轮位置经受更精确地确定rfe的进一步处理，不会导致可变rfe的分类不经受更准确地确定rfe的进一步处理。例如，与“干”路面状况相关联的图像意味着高摩擦或高rfe，因此这种图像不需要经受区块分割和量化。然而，与“有雪”路面状况相关联的图像需要被区块分割和量化以确定轮轨相对于可行驶表面上的雪和冰的相对位置，这进而指示车辆经历的道路摩擦。将图像分割成多个区块包括将图像分割成车辆前方的多个行和列，其中使用至少2行和至少3列。优选地，存在于路面上的轮轨包含在多个列中的两个列内。转换图像的路面视角包括将图像的路面视角从前视视角转换为俯视鸟瞰图(bev)视角。可选地，在转换图像的视角之前将图像分割成多个区块，使得多个区块的视角也被转换。量化多个区块中的每个区块以确定给定路面摩擦状况的概率包括，从每个区块中提取多个颜色/纹理特征，并给每个区块分配对应于每个区块的各区块组成的概率分数。量化多个区块中的每个区块以确定给定路面摩擦状况的概率还包括，组合多个概率分数以确定一组区块的合成概率分数。最后，基于多个区块的确定的概率对多个区块的组进行分类包括，给每个确定的概率分配一个分类分数并组合多个分类分数以生成相对于车辆位置的路面的rfe。

附图说明

本文参考各种附图示出和描述了本公开，其中适当地，相同的附图标记用于指示相同的方法步骤/系统部件，并且其中：

图1是示出了本公开的用于生成rfe的方法的一个示例性实施方式的流程图，其包括预处理、区块分割、bev转换、区块量化和分类步骤；

图2是分别示出了本公开的用于生成rfe的方法的区块分段和bev转换步骤的示例性实施方式的一系列图像；

图3是示出了本公开的用于生成rfe的方法的区块量化步骤的一个示例性实施方式的一系列图像，其突出显示了好行驶(wellploughed)(高摩擦)路面、部分积雪覆盖/斑块(中摩擦)路面，以及大致积雪覆盖/斑块(低摩擦)路面；以及

图4是示出了车辆中实施的本公开的用于生成rfe的系统的一个示例性实施方式的示意图。

具体实施方式

现在具体参考图1，在一个示例性实施方式中，本公开的rfe生成方法10包括以下步骤：预处理12、区块分割14、bev转换16、区块量化18和分类20，其中每个步骤由诸如车载电子控制单元(ecu)104(图4)等的处理器执行。这些步骤中的每个步骤在图像11上运行，图像11优选地从车载前视相机102(图4)或能够看到车辆(未示出)前方给定距离(例如50米)的类似装置获得。

首先对图像11进行预处理。在该预处理步骤12中，图像11被大致分类为干/湿/雪/泥/等。可以使用本领域普通技术人员已知的任何新颖或常规方法进行rsc分类。例如，可以使用分析路面、天空和周围环境之间的颜色/纹理差异的机器学习/深度学习或神经网络方法将图像11分类为给定rsc。这有助于从进一步的rfe处理中删除所选图像。例如，如果图像11可以立即被分类为“干”，则不需要进一步的区块分割、量化和分类，因为所有区块都是同质的并且呈现高rfe。例如，不能以预定可信度立即分类为“干”的图像11进入进一步的rfe处理。

接下来，对经过预处理的图像11进行区块分割，如图2所示。在该区块分割步骤14中，图像11，尤其是图像11中示出的路面，经由横向(即，水平)线30和纵向(即，竖直)线32划分成离散区域，从而在路面上形成m×n的区块矩阵34。由于图像11是从前视相机102(图4)获得的，所以它是具有消失点(vanishingpoint)的透视图像11。因此，横向线30基本是平行的，而纵向线32基本上随着与相机102的距离汇聚。在该示例性实施方式中，示出并使用5×3的区块矩阵34，尽管如此。对于本领域普通技术人员而言明显的是，可以等同地使用其它数量的区块36(列和行)。在该5×3的区块矩阵34中，列2和4被构造成基本上对应并包含示出的轮轨38，而列3被构造成基本上在示出的轮轨38之间。根据美国惯例，列1与迎面而来的车道相邻，第5列与路肩相邻。虽然不是绝对必需的，但是重要的是，使用足够的行来给生成的rfe提供时间维度，其中图像11示出并充分分析车辆尚未遇到的足够的路面。此外，至少3×2的区块矩阵34是优选的，例如每个区块36横向覆盖1-2m，纵向覆盖10-15m，从而提供足够且可变的路面覆盖和上述时间维度。不同的相机视野、分辨率和校准可以指示/允许等同地利用其它尺寸。通常，5×3的区块矩阵34提供30-50m的rfe距离。应当注意，图像11可以是从多个相机102获得的拼接图像，而基本上无需改变这里描述的处理步骤。

接下来，对经过预处理、区块分割的图像11进行视角转换，如图2中再次示出的。在该视角转换步骤16中，图像11，具体是已经经由横向(即，水平)线30和纵向(即，竖直)线32划分成离散区域、在路面上形成m×n的区块矩阵34、在图像11中示出的路面被转换为俯视bev图像11。由于图像11最初是从前视相机102(图4)获得的，所以它是具有消失点的透视图像11。因此，横向线30基本是平行的，而纵向线32基本上随着与相机102的距离汇聚。因此，增强了图像11中靠近相机102的像素贡献，而削弱了图像11中远离相机102的像素贡献。在经过bev转换的图像11中，横向线30和纵向线32都基本上平行并且彼此垂直。这提高了处理效率并均衡了像素贡献。此外，在该示例性实施方式中，示出并使用了5×3的区块矩阵34，但是对于本领域普通技术人员而言明显的是，可以等同地使用其它数量的区块36(列和行)。在这个现在“调整过的”5×3区块矩阵34中，列2和4仍被构造成基本上对应并包含示出的轮轨38，而列3仍被构造成基本上在示出的轮轨38之间。根据美国惯例，第1列仍然与迎面而来的车道相邻，第5列仍然与路肩相邻。此外，虽然不是绝对必需的，但重要的是，使用足够的行来给生成的rfe提供时间维度，其中经过bev转换的图像11示出并充分分析车辆尚未遇到的足够的路面。此外，至少3×2的区块矩阵34是优选的，例如其中每个区块36横向覆盖1-2m，纵向覆盖10-15m，从而提供足够且可变的路面覆盖和上述时间维度。不同的相机视野、分辨率和校准可以指示/允许等同地利用其它尺寸。通常，5×3的区块矩阵34提供30-50m的rfe距离。应当注意，经过bev转换的图像11可以是从多个相机102获得的拼接图像，而基本上无需改变这里描述的处理步骤。实际上，如果使用相同的图像标记(例如，轮轨38)，则可以在bev转换16之前或之后应用上述区块分割14。

接下来，对经过预处理、区块分割、bev转换的图像11进行区块量化，如图3所示。在该区块量化步骤18中，给每个区块36确定概率分数40，然后给每个概率分数40分配预定数量的相应级别42中的一个。通过从区块36提取多个(例如，26个)颜色和纹理特征，给每个区块36确定概率分数40。示例性颜色和纹理特征包括但不限于具有和不具有对比度增强的[r，g，b，h，s，v]平面中的像素强度的平均值和标准偏差，以及使用[16×16]块尺寸提取的hog特征的平均值和标准偏差。这些方法是本领域普通技术人员所熟知的。该概率分数的确定输出了对应于各区块组成的概率分数(p_i)40。低概率分数40指示“干”区块36，而高概率分数40指示“有雪”区块36。许多方法可用于生成这些概率分数36，诸如机器学习方法、逻辑回归方法、svm、神经网络方法等。接下来，基于可凭经验或实验确定的阈值{0，th1，th2，th3，1}给每个概率分数40分配预定数量的(例如，4个)相应级别42中的一个。例如：

si＝

1；0≤pi≤th1；＝>干；

2；th1≤pi≤th2；＝>多干，少雪；

3；th2≤pi≤th3；＝>多雪，少干；

4；th3≤pi≤1；＝>雪；

因此，较低的概率分数意味着该结构中的区块雪较少且较干。“冰”区块被识别为si＝[2，3]。这些区块量化阈值根据经验被确定为使区块分类准确度最大化。还可以计算区块36的组的平均值44，诸如每列(如图所示)的平均值。加权重平均值、平均值、中值等也可用于提供通过使用多个行来实现的时间分布信息。对于本领域普通技术人员来说明显的是，可以等同地使用其它分类方案。

现在每个区块36都具有经过分类的概率分数，使用了分类步骤20(图1)，诸如基于规则的分类步骤，其中针对经过预处理、区块分割、bev转换、区块量化的图像11中示出的整个路面制定均一摩擦值rfe。当使用规则时，一个示例性规则是基于计算矩阵34的所有列(1-5)的权重。例如，如果平均概率<＝th1的列的计数大于2，则均一摩擦rfei＝2(即，高mue)。如果平均概率<＝th2且>th1的列的计数大于2，则rfei＝1(即，中mue)，否则，rfei＝0(即，低mue)。对于本领域普通技术人员来说明显的是，可以等同地利用任何分类方法，并且可以使用基于决策树的模型等从较大的训练图像/图像集中学习所有阈值。

还应当注意，在车辆中给定前视相机102(图4)的情况下，不必处理每个图像帧以获得准确且有用的rfe。例如，对于每秒约30帧的记录帧速率，可以每3或4秒处理一次图像帧。这提高了处理效率。此外，区块36(图2和3)可以针对改变的路面尺寸、方向和状况自适应地调整。重要的是，生成的rfe应该适用于车辆控制系统并且一旦生成就云上传。

现在具体参考图4，在一个示例性实施方式中，用于生成rfe的系统100包括上文所述本领域普通技术人员熟知的前视相机102。前视相机图像11从前视相机102传输到车辆的电子控制单元(ecu)104，在ecu104中对前视相机图像11进行上述处理。该ecu104对于本领域普通技术人员来说是熟知的，并且包括适当的存储器和可用于执行本公开的软件应用程序的处理器。ecu104与车辆控制器(vc)106通信并协调其操作，vc106控制车辆的驾驶员警报、云报告和系统致动功能。例如，低rfe状况可以触发通过人机界面(hmi)108(诸如设置在车辆中的显示屏)给驾驶员的“前方路滑”警告。低rfe状况还可以引起在云112中标记“路滑状况”，使得该信息可用于该区域中的其它驾驶员/车辆。最后，低rfe状况可以传送到其它常规车载传感器和控制系统/致动器110，诸如提供制动/加速、横向/纵向移动和/或扭矩控制的那些。然后，这可以提供驾驶员辅助或自动驾驶功能。例如，低rfe状况可以触发自动制动/减速，使得针对当前状况保持安全的行驶速度。

优选地，本公开的软件应用程序实现为存储在存储器中并由处理器执行的编码指令。处理器是用于执行这种编码指令的硬件设备。处理器可以是任何定制或市售的处理器、中央处理单元(cpu)、辅助处理器以及与存储器相关联的若干处理器、基于半导体的微处理器(呈微芯片或芯片组的形式)、或一般而言是用于执行编码指令的任何设备。处理器被构造为执行存储在存储器内的软件、将数据传送到存储器和从存储器传送数据、以及一般而言根据编码指令控制操作。在示例性实施方式中，处理器可以包括移动优化处理器，诸如针对功耗和移动应用进行优化的处理器。i/o接口可用于接收用户输入和/或用于提供系统输出。可以例如经由键盘、触摸屏、滚动球、滚动条、按钮等提供用户输入。可以经由显示设备，诸如液晶显示器(lcd)、触摸屏等提供系统输出。i/o接口还可以包括例如串行端口、并行端口、小型计算机系统接口(scsi)、红外(ir)接口、射频(rf)接口、通用串行总线(usb)接口等。i/o接口可以包括使用户能够与存储器交互的gui。另外，i/o接口还可以包括成像设备，即相机、摄像机等，如上所述。

存储器可以包括任何易失性存储器元件(例如，随机存取存储器(ram，诸如dram、sram、sdram等))、非易失性存储器元件(例如，rom、硬盘驱动器等)及其组合。此外，存储器可以包含电子、磁、光和/或其它类型的存储介质。注意，存储器可以具有分布式架构，其中各种部件彼此远程地定位，但是可以由处理器访问。存储器中的软件可以包括一个或多个软件程序，其中每个软件程序包括用于实现逻辑功能的可执行指令的有序列表。存储器中的软件包括合适的操作系统(o/s)和程序。操作系统基本上控制其它计算机程序的执行，并提供调度、输入-输出控制、文件和数据管理、存储器管理以及通信控制和相关服务。程序可以包括被构造为提供终端用户功能的各种应用程序、插件等。程序可以包括提供各种功能的应用程序或“app”。

因此，本公开提供了基于前视相机图像信号处理来生成和使用rfe的方法和系统，该rfe指示道路表面和车辆轮胎之间的预期摩擦水平。如上所述，对前视相机图像进行预处理、区块分割(横向和纵向地，由轮轨等定义)、转换成bev图像以提供易于处理的平行和垂直线、区块量化以及最后分类。估计均一摩擦水平，其给道路提供块状摩擦估计。产生的rfe可用于提供驾驶员信息、自动控制相关车辆的运动、和/或通知基于云的警报服务以增强驾驶员安全性。该rfe固有地包括在车辆和驾驶员遇到这种情况之前警告驾驶员和/或引起对危险驾驶状况的车辆响应的时间组成。这提供了预测手段。本公开的方法和系统可以与其它常规车载传感器和系统的操作集成，诸如提供制动/加速、横向/纵向移动和/或扭矩控制的那些车载传感器和系统。该方法和系统具有改善的准确性、高可用性(即使当不存在显著的轮胎力时)、以及增强的预测能力，同时有效且廉价地运行。

尽管在此参考优选实施方式及其具体示例说明和描述了本公开，但是对于本领域普通技术人员来说明显的是，其它实施方式和示例可以执行类似的功能和/或实现相同的结果。所有这些等同的实施方式和示例都在本发明的精神和范围内、由本发明设想到、并且旨在由以下非限制性权利要求覆盖以用于所有目的。