路面分类设备以及利用该设备控制车辆的地形模式的系统

相关申请的交叉引用

本申请要求2020年2月21日在韩国知识产权局提交的韩国专利申请no.10-2020-0021780的优先权权益，其全部内容通过引用结合于本文中。

本发明涉及这样一种系统，该系统基于深度学习来识别车辆正在行驶的路面类型(例如，正常、沙地、泥地以及雪地)，并且基于识别出的路面类型来控制车辆的地形模式。

背景技术：

通常，深度学习(或深度神经网络)是一种机器学习，并且由输入与输出之间的几层人工神经网络(artificialneuralnetworks,ann)组成。基于结构、待解决的问题、目的等，所述人工神经网络可以包括卷积神经网络(convolutionneuralnetwork,cnn)、递归神经网络(recurrentneuralnetwork,rnn)等。

深度学习用于解决诸如分类、回归、本地化、检测、分割等各种问题。

用于控制车辆的地形模式的常规系统包括：子系统控制器和确定装置，所述子系统控制器用于以一个子系统控制模式来启动车辆子系统的控制，该子系统控制模式是从与一个或更多个不同的地形类型相对应的多个子系统控制模式中选择出的；所述确定装置用于基于指示车辆行驶期间的地形的多个地形表面信号来确定最适合车辆正在行驶的地形的子系统控制模式。

该常规系统以如下特定方案来计算组合概率值：所述特定方案用于基于多个地形表面信号来确定最适合车辆正在行驶的地形的子系统控制模式。然而，利用组合概率值无法高精度地确定路面的状态。

另外，因为常规系统根据基于动力学的模型来确定路面的状态，因此常规系统是不准确的。

撰写本背景技术中描述的内容是为了增进对本发明的背景的理解，其可以包括本技术所属领域的技术人员未知的内容。

技术实现要素：

本发明旨在解决现有技术中存在的上述问题，同时完整地保留了现有技术所实现的优点。

本发明的一个方面提供了一种路面分类设备以及利用该设备控制车辆的地形模式的系统，其可以基于深度学习来识别车辆正在行驶的路面类型(例如，正常、沙地、泥地以及雪地)，并且基于识别出的路面类型来控制车辆的地形模式，以便可以高精度地识别车辆正在行驶的路面类型，并且可以设置最佳的地形模式，从而不仅能够提高行驶稳定性，而且还能够提高车辆的乘坐舒适性。

本发明构思所解决的技术问题不限于前面提及的问题，并且本发明所属领域的技术人员通过以下描述将清楚地理解本文没有提及的任何其他技术问题。

根据本发明的一个方面，一种路面分类设备包括：存储装置和控制器，所述存储装置用于存储基于深度学习的路面模型；所述控制器利用路面模型来识别车辆当前行驶的路面类型。

控制器可以通过车载网络获得车辆信号，将车辆信号转换为频域信号，然后计算频域信号的每个频段的能量比，基于车辆信号来计算路面状态值，并且基于路面模型来识别与每个频段的能量比和路面状态值相对应的路面类型。

控制器可以将从车载网络获得的参考时间的车辆信号顺序地存储在缓冲器中，并且当缓冲器完全存满时，以具有最旧的车辆信号的存储空间和次最旧的车辆信号的存储空间的次序来顺序地重写具有先前的车辆信号的存储空间。

控制器可以将频域信号分为具有不同大小的多个频段。

控制器可以将低频段的大小设置为大于高频段的大小。

控制器可以计算制动平滑度、操纵平滑度、与使用者的加速意愿相比的加速程度、路面不平度、基于是否涉及esc的设定值、fl车轮的滑移量之和、fr车轮的滑移量之和、rl车轮的滑移量之和、或者rr车轮的滑移量之和的至少一个作为路面状态值。

控制器可以从基于路面模型识别出的路面中去除在参考时间内保持的路面。

在一个实施方案中，路面类型可以包括正常、沙地、泥地或雪地的至少一种。

根据本发明的另一个方面，一种用于控制车辆的地形模式的系统包括：路面分类设备和控制装置，所述路面分类设备利用基于深度学习的路面模型来识别车辆当前行驶的路面类型；所述控制装置基于由路面分类设备识别出的路面类型来设置车辆的地形模式。

即使在车速超过第一参考速度时路面类型已改变，所述控制装置也可以保持当前的地形模式。

即使在车速等于或小于第二参考速度时路面类型已改变，所述控制装置也可以保持当前的地形模式。

当在路面分类设备中发生异常时，控制装置可以保持当前的地形模式。

当行驶异常的情况、环境异常的情况、路面异常的情况或者车辆异常的情况的至少一种情况发生时，所述控制装置可以保持车辆的当前地形模式。

附图说明

通过以下结合附图的具体描述，本发明的以上和其它目的、特征以及优点将更加明显：

图1是根据本发明的示例性实施方案的路面分类设备的配置图；

图2是显示了设置在根据本发明示例性实施方案的路面分类设备中的缓冲器的结构的示例性示意图；

图3是显示了设置在根据本发明的示例性实施方案的路面分类设备中的第一计算装置的操作的示例性示意图；

图4是显示了设置在根据本发明的示例性实施方案的路面分类设备中的后置处理器的操作的示例性示意图，其中分类结果(真实标签：沙地)；

图5是显示了根据本发明的示例性实施方案的路面分类设备的性能的示例性示意图，其中分类结果(真实标签：泥地)；

图6是显示了根据本发明的示例性实施方案的路面分类设备的性能的另一个示例性示意图，其中分类结果(真实标签：正常)；

图7是根据本发明的示例性实施方案的路面分类方法的实施方案流程图；以及

图8显示了用于实现根据本发明的示例性实施方案的路面分类方法的计算系统。

具体实施方式

在下文中，本发明的一些实施方案将参考示例性附图进行详细描述。在将附图标记添加到每个附图的组件中时，应当注意的是，即使相同或等同组件显示在其他附图中，也由相同的附图标记表示。此外，在描述本发明的实施方案时，当确定相关的已知配置或功能会干扰对本发明的实施方案的理解时，将省略对其的详细描述。

在描述根据本发明的实施方案的组件时，可以使用诸如第一、第二、a、b、(a)、(b)等术语。这些术语仅旨在将组件与其他组件相区分，并且这些术语并不限制组件的本质、次序或顺序。除非另有定义，否则本文使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域的普通技术人员通常理解的含义相同的含义。可以进一步理解的是，术语(比如在通常使用的词典中所定义的术语)应被解释为具有与相关技术的上下文中的含义一致的含义，除非在本文中有明确的定义，否则不应以理想化或过于正式的含义来解释。

图1是根据本发明的示例性实施方案的路面分类设备的配置图。

如图1所示，根据本发明的示例性实施方案的路面分类设备100可以包括存储装置10、连接装置20和控制器30。就此而言，基于实现根据本发明的示例性实施方案的路面分类设备100的方案，这些组件可以相互结合并实现为一个组件，或者可以省略一些组件。

在对每个组件的描述中，首先，存储装置10可以存储在基于深度学习来识别车辆正在行驶的路面类型(例如，正常、沙地、泥地和雪地)的过程中所需的各种逻辑、算法和程序。

具体地，存储装置10可以存储在如下过程中所需的各种逻辑、算法和程序：其中，通过车载网络300获得车辆信号，将车辆信号转换为频域信号，然后计算频域信号的每个频段的能量比，基于车辆信号来计算路面状态值，并且根据基于人工神经网络训练的路面模型34来识别与每个频段的能量比和路面状态值相对应的路面类型。

存储装置10可以存储由人工神经网络(其中，深度学习已完成)构成的路面模型。就此而言，人工神经网络可以实现为例如mlp(multi-layerperceptron,多层感知器)，并且可以接收车辆信号的每个频段的能量比和每种类型的路面的路面状态值作为训练数据，以进行深度学习。另外，路面模型具有权重和偏差值。

存储装置10可以包括诸如闪存型、硬盘型、微型以及卡型(例如，sd卡(安全数字卡)或xd卡(extream数字卡))等的至少一种类型的存储器以及ram(随机存取存储器)、sram(静态ram)、rom(只读存储器)、prom(可编程rom)、eeprom(电可擦除prom)、mram(磁性ram)、磁盘和光盘型存储器中的至少一种类型的存储介质。

连接装置20是提供要连接至车载网络的接口的模块。控制器30可以通过连接装置20连接至车载网络，以获得各种信息(信号)。就此而言，车载网络包括can(控制器局域网)、lin(本地互连网络)、flexray、most(面向媒体的系统传输)、以太网等。

控制器30执行整体控制，使得每个组件可以正常地执行其功能。所述控制器30可以以硬件的形式或以软件的形式，或者以硬件和软件的组合的形式来实现。控制器30可以实现为微处理器，但不限于此。

控制器30可以基于深度学习来识别车辆正在行驶的路面类型(例如，正常、沙地、泥地和雪地)。

具体地，控制器30可以在以下过程中执行各种控制：其中，通过车载网络300获得车辆信号，将车辆信号转换为频域信号，然后计算频域信号的每个频段的能量比，基于车辆信号来计算路面状态值，并且根据基于人工神经网络训练的路面模型34来识别与每个频段的能量比和路面状态值相对应的路面类型。

就此而言，路面类型可以包括例如正常、沙地、泥地和雪地。控制器30可以在利用基于人工神经网络训练的路面模型将与每个频段的能量比和路面状态值相对应的路面分类为正常、沙地、泥地或雪地的至少一种的过程中执行各种控制。就此而言，控制器30可以将未被分类为沙地、泥地和雪地的其中一种的路面分类为正常。

另外，控制器30可以通过车载网络300获得下面[表1]所示的车辆信号。

[表1]

就此而言，“tcs(tractioncontrolsystem,牵引力控制系统)标记”、当前档位、目标档位和4轮驱动扭矩代表控制值，而其他值是由各种传感器测得的值。

另外，控制器30可以利用[表1]的车辆信号来计算下面[表2]所示的路面状态值。就此而言，路面状态值是定义为确定路面状态的值。

[表2]

就此而言，vsp表示ems(enginemanagementsystem,发动机管理系统)计算出的车速，long_acc表示纵向加速度，cyl_pres表示制动踏板位置(制动缸压力)，yaw_rate表示横摆率，sas_speed表示方向盘转速，rpm(每分钟转数)表示发动机的转数，long_acc_peak表示纵向加速度信号的最大值，lat_acc_peak表示横向加速度信号的最大值，aps(accelpositionsensor,加速踏板位置传感器)表示加速踏板位置，whl_spd_fl表示左前车轮的转速，whl_spd_fr表示右前车轮的转速，whl_spd_rl表示左后车轮的转速，而whl_spd_rr表示右后车轮的转速。

另外，制动平滑度是表示车辆的制动平滑程度的值，操纵平滑度是表示车辆的操纵平滑程度的值，并且，当涉及esc(电子稳定性控制)时，基于是否涉及esc的设定值为1，当不涉及esc时，基于是否涉及esc的设定值为0。

所述控制器30可以包括缓冲器31、第一计算装置32、第二计算装置33、路面模型34和后置处理器35作为内部组件。在下文中，将参考图2至图4描述内部组件。

图2是显示了设置在根据本发明示例性实施方案的路面分类设备中的缓冲器的结构的示例性示意图。

如图2所示，设置在根据本发明的示例性实施方案的路面分类设备中的缓冲器31可以实现为环形缓冲器，该环形缓冲器以预定时间(例如，1秒)为单位顺序地存储通过连接装置20从车载网络获得的车辆信号(例如，[表1]的车辆信号)，并且当缓冲器完全存满时，以具有最旧的车辆信号的存储空间和次最旧的车辆信号的存储空间的次序，利用具有先前的车辆信号的存储空间顺序地重写新的车辆信号。就此而言，环形缓冲器的大小可以是例如128位。

缓冲器31可以按照如下方案将车辆信号存储在整个存储空间中(例如，8秒的数据存储空间)：存储通过连接装置20从车载网络获得的1秒的车辆信号，然后存储此后获得的1秒的数据。就此而言，可以将存储在缓冲器31的第一空间中的1秒的数据布置为“220”。

图3是显示了设置在根据本发明的示例性实施方案的路面分类设备中的第一计算装置的操作的示例性示意图。

如图3所示，设置在根据本发明的示例性实施方案的路面分类设备中的第一计算装置32首先通过傅立叶变换逻辑将存储在缓冲器31中的时域的车辆信号转换为频域的车辆信号。就此而言，第一计算装置32可以对[表1]所示的21个车辆信号进行傅立叶变换。

此后，第一计算装置32将频域的车辆信号分为多个频段。作为示例，第一计算装置32可以将频域中的车辆信号分为四个频段。就此而言，四个频段的大小可以相同或者也可以不相同。实验的结果是，低频段的大小越大，越能够准确地识别路面类型。就此而言，低频段可以表示等于或低于车辆信号的整个频段的中间的频段。

此后，第一计算装置32计算每个频段的能量。作为参考，用于计算能量的逻辑本身是公知的技术。因此，可以使用任何逻辑，因为该逻辑不是本发明的主旨。

此后，第一计算装置32计算每个频段的能量比。也就是说，第一计算装置32计算每个频段的能量与整个频段的能量之比。

第二计算装置33可以利用通过连接装置20从车载网络300获得的[表1]的车辆信号来计算[表2]所示的路面状态值。

路面模型34是通过接收车辆信号的每个频段的能量比和每种类型的路面的路面状态值来完成深度学习的模型，其例如可以实现为多层感知器(mlp)网络。

所述路面模型34识别与第一计算装置32计算出的车辆信号的每个频段的能量比和第二计算装置33计算出的路面状态值相对应的路面类型。也就是说，路面模型34可以利用基于人工神经网络训练的路面模型将与每个频段的能量比和路面状态值相对应的路面分类为正常、沙地、泥地和雪地的其中一种。

路面模型34可以接收[表1]所示的21个车辆信号的每一个的4个频段的4个能量比(总计84个)，并且接收[表2]所示的9个路面状态值。也就是说，路面模型34可以基于93个数据来识别路面类型。

图4是显示了设置在根据本发明的示例性实施方案的路面分类设备中的后置处理器的操作的示例性示意图。

如图4的“410”所示，由路面模型34分类的路面瞬时改变。这是分类错误，可以由后置处理器35进行补偿。

后置处理器35可以通过将ema(exponentialmovingaverage,指数移动平均线)应用于由路面模型34分类的路面数据来去除瞬时分类的路面。也就是说，后置处理器35可以去除在参考时间(例如，1秒)内保持的路面。去除的结果是“420”。

在一个示例中，根据本发明的示例性实施方案的利用路面分类设备100的车辆的地形模式控制系统200可以包括控制装置210，该控制装置210基于由路面分类设备100分类的路面类型来设置车辆的地形模式。

车辆的地形模式控制系统200的控制装置210可以限制高速时地形模式的改变，以防止由于高速时地形模式的改变而可能发生的风险。例如，即使在车速超过55kph的时候通过路面分类设备100改变路面类型时，车辆的地形模式控制系统200也保持当前的地形模式。

考虑到低速时路面分类设备100的精度较低的现象，车辆的地形模式控制系统200的控制装置210可以限制低速时地形模式的改变。例如，即使在车速等于或小于5kph的时候通过路面分类设备100改变路面类型时，车辆的地形模式控制系统200也保持当前的地形模式。

当与路面分类设备100的通信断开或在路面分类设备100的控制器30中发生错误时，车辆的地形模式控制系统200的控制装置210可以将车辆的地形模式设置为正常。

车辆的地形模式控制系统200的控制装置210可以通过反映车辆的行驶情况，在异常情况下将车辆的地形模式设置为正常或者保持当前的地形模式。所述异常情况如下。

行驶异常的情况可以包括驾驶员的开关操纵，比如行驶模式、电子稳定性控制(esc)关闭、全轮驱动(all-wheeldrive,awd)锁定等，以及向后行驶。

环境异常的情况可以包括强风(风力等于或大于参考值)、大雨(降雨量等于或大于参考值)、大雪(降雪量等于或大于参考值)、低温(温度等于或低于参考值)以及高温(温度等于或高于参考值)。所述强风信息、大雨信息、大雪信息、低温信息以及高温信息可以通过车载网络300从导航装置获得。

路面异常的情况可以包括车辆的左/右车轮的摩擦系数不同的情况、车辆的前/后车轮的摩擦系数不同的情况、一个或更多个车轮不与路面接触的情况、路面频繁改变的情况以及在倾斜道路上行驶的情况。

车辆异常的情况可以包括轮胎的状态(压力、磨损等)异常的情况、防滑链紧固的情况、安装有不同轮胎的情况、超载的情况、超重的情况以及安装有拖车的情况。

图5是显示了根据本发明的示例性实施方案的路面分类设备的性能的示例性示意图。

如图5所示，显示了当车辆在泥泞路面上行驶时，通过安装在车辆上的路面分类设备100所分类的路面。可以看出，尽管存在一些错误，但是当前的路面主要分类为泥地。

图6是显示了根据本发明的示例性实施方案的路面分类设备的性能的另一个示例性示意图。

如图6所示，显示了当车辆在正常路面上行驶时，通过安装在车辆上的路面分类设备100所分类的路面。可以看出，除开始时的大约5秒钟外，当前路面可以分类为正常路面。

图7是根据本发明的示例性实施方案的路面分类方法的流程图。

首先，存储装置10存储基于深度学习的路面模型(701)。

此后，控制器30利用路面模型来识别车辆正在行驶的路面类型(702)。

图8显示了用于实现根据本发明的示例性实施方案的路面分类方法的计算系统。

参考图8，上述的根据本发明的示例性实施方案的路面分类方法也可以经由计算系统来实现。计算系统1000可以包括通过总线1200连接的至少一个处理器1100、存储器1300、用户接口输入装置1400、用户接口输出装置1500、存储装置1600以及网络接口1700。

处理器1100可以是中央处理单元(cpu)或对存储在存储器1300和/或存储装置1600中的指令进行处理的半导体装置。存储器1300和存储装置1600可以包括各种类型的易失性或非易失性存储介质。例如，存储器1300可以包括rom(只读存储器)1310和ram(随机存取存储器)1320。

因此，结合本文公开的实施方案描述的方法或算法的操作可以直接实现为硬件或由处理器1100执行的软件模块，或者其组合形式。软件模块可以驻留在存储介质(即，存储器1300和/或存储装置1600)上，比如ram、闪存、rom、eprom、eeprom、寄存器、硬盘、ssd(固态驱动器)、可移动磁盘、cd-rom。示例性存储介质联接至处理器1100，该处理器1100可以从存储介质读取信息，也可以将信息写入存储介质。在另一种方法中，存储介质可以与处理器1100集成。处理器与存储介质可以驻留在专用集成电路(asic)中。asic可以驻留在用户终端内。在另一种方法中，处理器和存储介质可以作为单独的组件驻留在用户终端中。

以上描述仅说明了本发明的技术构思，并且本领域技术人员可以在不脱离本发明的基本特征的情况下进行各种修改和改变。

因此，本发明公开的实施方案不旨在限制本发明的技术构思，而是对本发明进行说明，并且本发明的技术构思的范围不局限于实施方案。本发明的范围应被解释为由所附权利要求的范围覆盖，并且落入权利要求的范围内的所有技术构思应被解释为包括在本发明的范围内。

根据本发明的实施方案的路面分类设备以及利用该设备控制车辆的地形模式的系统可以基于深度学习来识别车辆正在行驶的路面类型(例如，正常、沙地、泥地以及雪地)，并且基于识别出的路面类型来控制车辆的地形模式，以便可以高精度地识别车辆正在行驶的路面类型，并且可以设置最佳的地形模式，从而不仅能够提高行驶稳定性，而且还能够提高车辆的乘坐舒适性。

在上文中，尽管已经参考示例性实施方案和附图对本发明进行了描述，但是本发明不限于此，而是可以在不脱离所附权利要求所要求保护的本发明的精神和范围的情况下，由本发明所属领域技术人员进行各种修改和改变。