车辆状态控制方法及系统与流程

1.本技术实施例涉及计算机技术领域，尤其涉及车辆状态控制方法及系统。


背景技术：

2.随着计算机技术与电控车辆技术的发展，可以为人们更加智慧化的车辆控制服务，无人驾驶的自动控制也是车辆智能驾驶的主要发展方向，但是，目前的相关技术的自动控制能力不足，还无法实现无需人工干预的端到端全自动控制，并且对于全自动控制的控制效果也缺乏有效的评测方法。


技术实现要素：

3.为了解决上述至少一个技术问题，本技术实施例提供车辆状态控制方法及系统。
4.一方面，本技术实施例提供了一种车辆状态模型训练方法，所述车辆状态模型包括监听数据处理模块、地图信息处理模块、操控信息输入模块、操控预测第一模块、操作预测第二模块、第一评价器组和第二评价器组，所述监听数据处理模块与所述操控信息输入模块相连，所述监听数据处理模块、所述地图信息处理模块均与所述操控预测第一模块相连，所述监听数据处理模块、所述地图信息处理模块均与所述操控预测第二模块相连，所述操控预测第一模块与所述第一评价器组相连，所述操控预测第二模块与所述第二评价器组相连，所述第一评价器组和所述第二评价器组均分别包括至少两个评价器，所述方法包括：
5.获取训练信息，所述训练信息包括样本操控动作、地图环境信息、第一监听信息、第二监听信息、第一运动状态和第二运动状态，所述第一监听信息为所述样本操控动作实施前监听到的总线数据，所述第二监听信息为所述样本操控动作实施后监听到的总线数据，所述第一运动状态为实施所述样本操控动作时的车辆的运动状态，所述第二运动状态为第一运动状态对应的下一个时刻所述车辆的运动状态；
6.将所述样本操控动作输入所述操控信息输入模块；
7.将所述地图环境信息输入所述地图信息处理模块；
8.将所述操控信息输入模块的输出、所述第一监听信息和所述第二监听信息输入所述监听数据处理模块；
9.将所述地图信息处理模块的输出、所述监听数据处理模块的输出和所述第一运动状态输入所述操控预测第一模块，得到第一操控预测结果；
10.将所述地图信息处理模块的输出和所述第二运动状态输入所述操控预测第二模块，得到第二操控预测结果；
11.基于所述第一操控预测结果和所述第二操控预测结果调整相关模块的参数。
12.另一方面，本技术实施例提供一种车辆状态控制方法，所述方法包括：
13.对总线数据进行监听，得到第三监听信息和第四监听信息，所述第四监听信息对应的时刻为所述第三监听信息对应的时刻的下一个时刻；
14.获取参考运动状态，所述参考运动状态为所述第四监听信息对应的时刻下车辆的
运动状态；
15.根据所述第三监听信息和所述第四监听信息确定目标监听差值；
16.将地图环境信息输入地图信息处理模块，得到所述地图信息处理模块的输出；
17.将所述地图信息处理模块的输出、所述目标监听差值和所述参考运动状态输入操控预测第一模块，得到目标预测操控动作；
18.根据所述目标预测操控动作控制所述车辆；
19.其中，所述地图信息处理模块和所述操控预测第一模块均属于车辆状态模型，所述车辆状态模型使用上述的方法训练得到。
20.另一方面，本技术实施例提供一种车辆状态模型训练装置，所述车辆状态模型包括监听数据处理模块、地图信息处理模块、操控信息输入模块、操控预测第一模块、操作预测第二模块、第一评价器组和第二评价器组，所述监听数据处理模块与所述操控信息输入模块相连，所述监听数据处理模块、所述地图信息处理模块均与所述操控预测第一模块相连，所述监听数据处理模块、所述地图信息处理模块均与所述操控预测第二模块相连，所述操控预测第一模块与所述第一评价器组相连，所述操控预测第二模块与所述第二评价器组相连，所述第一评价器组和所述第二评价器组均分别包括至少两个评价器，所述装置包括：
21.训练信息获取模块，用于获取训练信息，所述训练信息包括样本操控动作、地图环境信息、第一监听信息、第二监听信息、第一运动状态和第二运动状态，所述第一监听信息为所述样本操控动作实施前监听到的总线数据，所述第二监听信息为所述样本操控动作实施后监听到的总线数据，所述第一运动状态为实施所述样本操控动作时的车辆的运动状态，所述第二运动状态为第一运动状态对应的下一个时刻所述车辆的运动状态；
22.数据处理模块，用于将所述样本操控动作输入所述操控信息输入模块；将所述地图环境信息输入所述地图信息处理模块；将所述操控信息输入模块的输出、所述第一监听信息和所述第二监听信息输入所述监听数据处理模块；将所述地图信息处理模块的输出、所述监听数据处理模块的输出和所述第一运动状态输入所述操控预测第一模块，得到第一操控预测结果；将所述地图信息处理模块的输出和所述第二运动状态输入所述操控预测第二模块，得到第二操控预测结果；
23.调参模块，用于基于所述第一操控预测结果和所述第二操控预测结果调整相关模块的参数。
24.另一方面，本技术实施例提供一种车辆状态控制系统，所述系统包括：
25.监听模块，用于对总线数据进行监听，得到第三监听信息和第四监听信息，所述第四监听信息对应的时刻为所述第三监听信息对应的时刻的下一个时刻；
26.参考运动状态获取模块，用于获取参考运动状态，所述参考运动状态为所述第四监听信息对应的时刻下车辆的运动状态；
27.监听差值获取模块，用于根据所述第三监听信息和所述第四监听信息确定目标监听差值；
28.环境地图处理模块，用于将地图环境信息输入地图信息处理模块，得到所述地图信息处理模块的输出；
29.操控信息预测模块，用于将所述地图信息处理模块的输出、所述目标监听差值和所述参考运动状态输入操控预测第一模块，得到目标预测操控动作；
30.控制模块，用于根据所述目标预测操控动作控制所述车辆；
31.其中，所述地图信息处理模块和所述操控预测第一模块均属于车辆状态模型，所述车辆状态模型使用上述的方法训练得到。
32.本技术实施例提出了车辆状态控制方法及系统，首先，先训练车辆状态模型，该车辆状态模型主要有两个作用，一个是通过设置两个用于预测操控信息的模块以及各自的评价器组，并通过对用于预测操控信息的模块以及各自的评价器组的参数进行调整，使得用于预测操控信息的模块具备独立预测操控动作的能力，而操控动作就是用于进行车辆控制所需的信息，因此，基于该模块本技术实施例可以进行独立的进行车辆控制而不必再进行人为干预。另一个是该车辆状态模型还能够最终得到每一单个操控动作所对应的监听差异数据，监听差异数据表征的是该每一操控动作发生前后总线上数据的必然差异，通过实际去监听总线中数据的变化，再对比每一单个操控动作所对应的监听差异数据，即可知晓该单个操控动作以及操控动作的组合是否执行到位，从而达到自评测的效果，也就是说本技术实施例还可以独立评测出车辆控制是否到位，并且依然不需要人为干预。综上，本技术实施例可以在不需要人为干预的情况下，独立进行全自动的车辆控制并且判断出车辆控制是否到位。
33.进一步地，本技术实施例进行操控信息预测需要使用地图信息、总线中监听到的信息和车辆的运动状态，也就是说，将可以利用到的信息都有效进行了利用，从而可以确保预测出的操控动作准确合理，确保做出正确的控制决策，决策的正确性使得本技术的实施效果不亚于人工干预下的车辆控制实施效果。
附图说明
34.为了更清楚地说明本技术实施例或相关技术中的技术方案和优点，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本技术实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
35.图1是本说明书实施例提供的车辆状态模型示意图；
36.图2是本技术实施例提供的一种训练方法的流程示意图；
37.图3是本技术实施例提供的一种车辆状态控制方法的流程示意图。
具体实施方式
38.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术实施例一部分实施例，而不是全部的实施例。基于本技术实施例中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术实施例保护的范围。
39.需要说明的是，本技术实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术实施例的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产
品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
40.为了使本技术实施例公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术实施例进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术实施例，并不用于限定本技术实施例。
41.以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
42.本技术实施例提供一种车辆状态模型训练方法，请参考图1，上述车辆状态模型包括监听数据处理模块、地图信息处理模块、操控信息输入模块、操控预测第一模块、操作预测第二模块、第一评价器组和第二评价器组，上述监听数据处理模块与上述操控信息输入模块相连，上述监听数据处理模块、上述地图信息处理模块均与上述操控预测第一模块相连，上述监听数据处理模块、上述地图信息处理模块均与上述操控预测第二模块相连，上述操控预测第一模块与上述第一评价器组相连，上述操控预测第二模块与上述第二评价器组相连，上述第一评价器组和上述第二评价器组均分别包括至少两个评价器。
43.请参考图2，上述方法包括：
44.s101.获取训练信息，上述训练信息包括样本操控动作、地图环境信息、第一监听信息、第二监听信息、第一运动状态和第二运动状态，上述第一监听信息为上述样本操控动作实施前监听到的总线数据，上述第二监听信息为上述样本操控动作实施后监听到的总线数据，上述第一运动状态为实施上述样本操控动作时的车辆的运动状态，上述第二运动状态为第一运动状态对应的下一个时刻上述车辆的运动状态。
45.本技术对于样本操控动作不做限定，其可以是对车辆的单个控制动作或其组合，比如，左转并减速，右转并减速，直行并加速等。地图环境信息为车辆行驶的路段所在的高精地图信息。
46.s102.将上述样本操控动作输入上述操控信息输入模块。
47.具体来说，可以基于上述操控信息输入模块对上述样本操控动作进行信息提取，得到对应的输出，具体来说，就是将样本操控动作提取为可以被其他各相关模块处理的信息，本技术对信息提取不做处理，可以参考现有技术。
48.s103.将上述地图环境信息输入上述地图信息处理模块。
49.具体地，可以基于上述地图信息处理模块对上述地图环境信息进行矢量化处理，得到对应的输出。矢量化处理本技术实施例不做赘述，可以参考现有技术。
50.s104.将上述操控信息输入模块的输出、上述第一监听信息和上述第二监听信息输入上述监听数据处理模块。
51.基于上述第一监听信息和上述第二监听信息的差值可以确定出监听差值信息，这一信息即可作为监听数据处理模块的输出。
52.同时，该监听数据处理模块还可以根据上述操控信息输入模块的输出和上述监听差值信息，得到映射信息，上述映射信息表征上述样本操作动作与监听差值信息的对应关系。举个例子，该监听差值信息指示总线数据的1、3、5、8、9位分别产生了对应的变化，这些
变化很可能是与样本操作动作有关，从而构建映射信息。
53.当然，也可能存在个别变化与样本操作动作无关的情况，比如，只有1、3、5是与该样本操作动作有关，也就是，只要该样本操作动作实施，1、3、5必然产生对应的变化。而8位和9位的变化也体现在该映射信息中，也就是说该映射信息是有噪声的，该噪声可以通过对大量的映射信息进行自相关分析进行排除。本技术实施例使用含有噪声的监听差值信息作为监听数据处理模块的输出，是应为这一噪声仅仅是因为与样本操作动作无关才被视为“噪声”，但是这一噪声也反映了车辆的状态，也是进行操控信息预测的有效数据，因此，也一并由监听数据处理模块输出。
54.s105.将上述地图信息处理模块的输出、上述监听数据处理模块的输出和上述第一运动状态输入上述操控预测第一模块，得到第一操控预测结果。
55.本技术对于操控预测第一模块的结构不做限定，其只需要基于上述地图信息处理模块的输出、上述监听数据处理模块的输出和上述第一运动状态可以输出第一操控预测结果即可，具备预测能力的主流神经网络都可以被选用，因此，结构不申请不做限定。需要提出的是，本技术实施例中各单一的模块的具体结构可以参考现有技术，但是这些模块的有机组合从而形成的本技术中的车辆状态模型，以及对该车辆状态模型的训练方法均为本技术的原创设计。
56.该第一操控预测结果为单一操控动作或其组合。
57.s106.将上述地图信息处理模块的输出和上述第二运动状态输入上述操控预测第二模块，得到第二操控预测结果。
58.s107.基于上述第一操控预测结果和上述第二操控预测结果调整相关模块的参数。
59.具体来说，可以将上述第二操控预测结果输入上述第二评价器组中的各个评价器，得到每一上述评价器根据预设噪声信号输出的第一评价预测信息，上述评价预测信息表征在持续执行上述第二操控预测结果预设时间的假定下的奖励期望值。本技术实施例并不限定所用到的各评价器的具体结构，其可以通过建模方法得到，建模方法使用相关技术即可。从而具备输出奖励期望值的能力，本技术着重体现提出使用奖励期望值进行调参，以及基于奖励期望值进行模型调参的具体步骤，至于评价器的建模过程不做过多赘述。
60.基于各上述第一评价预测信息中的最小值和预设的衰减系数的乘积，确定奖励预测目标。在一些实施例中，可以将于各上述第一评价预测信息中的最小值和预设的衰减系数的乘积在加上一个奖励预设系数，得到该奖励预测目标，但是该衰减系数和该奖励预设系数都可以根据实际情况进行设定。
61.将上述第一操控预测结果输入上述第一评价器组中的各个评价器，得到每一上述评价器根据预设噪声信号输出的第二评价预测信息。第二评价预测信息与第一评价预测信息基于相同发明构思，再此不做赘述。
62.基于各上述第二评价预测信息的加权平方和得到评价预测目标。权值可以根据情况进行设定，在一些场景中，可以都设定为1，即将各上述第二评价预测信息的平方和直接作为评价预测目标。
63.基于上述奖励预测目标和上述评价预测目标之间的差异，对上述操控预测第一模块和上述第一评价器组的参数进行更新。
64.具体来说，以梯度下降的方式调整上述第一评价器组的参数；以梯度上升的方式调整上述操控预测第一模块的参数。并且基于上述操控预测第一模块的参数更新上述操控预测第二模块的参数；基于上述第一评价器组的参数更新上述第二评价器组的参数。基于一个模块去更新另一个模块也可以被认为是参数更新传递，这可以参考现有技术，在此不做限定。当然，其他并未提及的模块的参数不需要进行调整。
65.在训练模型的过程中可以生成大量的映射信息，对全部映射信息进行自相关分析，得到目标映射记录表，上述目标映射记录表中的每一记录表征单一的一个操控动作和对应的监听数据的变化位的对应关系。比如，加速动作对应的是总线数据中第1位和第4位的变化，转向动作对应的是第14位和第63位的变化。
66.本技术实施例还提供一种车辆状态控制方法，如图3所示，上述方法包括：
67.s201.对总线数据进行监听，得到第三监听信息和第四监听信息，上述第四监听信息对应的时刻为上述第三监听信息对应的时刻的下一个时刻。
68.上述第三监听信息对应的时刻可以为该车辆状态控制方法投入使用过程中的任意时刻。
69.s202.获取参考运动状态，上述参考运动状态为上述第四监听信息对应的时刻下车辆的运动状态。
70.s203.根据上述第三监听信息和上述第四监听信息确定目标监听差值。
71.具体来说，该目标监听差值指的就是上述第三监听信息和上述第四监听信息的差值。
72.s204.将地图环境信息输入地图信息处理模块，得到上述地图信息处理模块的输出。
73.该步骤的操作请参考前文。
74.s205.将上述地图信息处理模块的输出、上述目标监听差值和上述参考运动状态输入操控预测第一模块，得到目标预测操控动作。
75.s206.根据上述目标预测操控动作控制上述车辆。其中，上述车辆状态控制方法中使用的各个模块都属于车辆状态模型，上述车辆状态模型使用上述的方法训练得到。
76.显而易见，该车辆控制方法可以全自动影响车辆状态，无需人工干预。并且，还可以将上述目标预测操控动作输入上述车辆状态模型中的监听数据处理模块，得到目标监听差异数据；基于上述目标预测操控动作执行之前的监听数据和上述目标预测操控动作执行之后的监听数据，得到实测监听差异数据；根据上述目标监听差异数据和上述实测监听差异数据之间的差异，对控制结果进行评测。举个例子，基于已知的目标映射记录表和该目标预测操控动作，可以得到在该目标预测操控动作完全实施到位的情况下的监听数据的差异，即目标监听差异数据，将该目标监听差异数据与实测监听差异数据的差异即可判定出该目标预测操控动作是否实施到位，如果不到位的话，哪个环节没有到位，都可以根据分析该目标监听差异数据与实测监听差异数据的差异直接得到，而无需人工干预。
77.在一个实施例中，还提供了一种车辆状态模型训练装置，上述车辆状态模型包括监听数据处理模块、地图信息处理模块、操控信息输入模块、操控预测第一模块、操作预测第二模块、第一评价器组和第二评价器组，上述监听数据处理模块与上述操控信息输入模块相连，上述监听数据处理模块、上述地图信息处理模块均与上述操控预测第一模块相连，
上述监听数据处理模块、上述地图信息处理模块均与上述操控预测第二模块相连，上述操控预测第一模块与上述第一评价器组相连，上述操控预测第二模块与上述第二评价器组相连，上述第一评价器组和上述第二评价器组均分别包括至少两个评价器，上述装置包括：
78.训练信息获取模块，用于获取训练信息，上述训练信息包括样本操控动作、地图环境信息、第一监听信息、第二监听信息、第一运动状态和第二运动状态，上述第一监听信息为上述样本操控动作实施前监听到的总线数据，上述第二监听信息为上述样本操控动作实施后监听到的总线数据，上述第一运动状态为实施上述样本操控动作时的车辆的运动状态，上述第二运动状态为第一运动状态对应的下一个时刻上述车辆的运动状态；
79.数据处理模块，用于将上述样本操控动作输入上述操控信息输入模块；将上述地图环境信息输入上述地图信息处理模块；将上述操控信息输入模块的输出、上述第一监听信息和上述第二监听信息输入上述监听数据处理模块；将上述地图信息处理模块的输出、上述监听数据处理模块的输出和上述第一运动状态输入上述操控预测第一模块，得到第一操控预测结果；将上述地图信息处理模块的输出和上述第二运动状态输入上述操控预测第二模块，得到第二操控预测结果；
80.调参模块，用于基于上述第一操控预测结果和上述第二操控预测结果调整相关模块的参数。
81.在一个实施例中，还提供了一种车辆状态控制系统，上述系统包括：
82.监听模块，用于对总线数据进行监听，得到第三监听信息和第四监听信息，上述第四监听信息对应的时刻为上述第三监听信息对应的时刻的下一个时刻；
83.参考运动状态获取模块，用于获取参考运动状态，上述参考运动状态为上述第四监听信息对应的时刻下车辆的运动状态；
84.监听差值获取模块，用于根据上述第三监听信息和上述第四监听信息确定目标监听差值；
85.环境地图处理模块，用于将地图环境信息输入地图信息处理模块，得到上述地图信息处理模块的输出；
86.操控信息预测模块，用于将上述地图信息处理模块的输出、上述目标监听差值和上述参考运动状态输入操控预测第一模块，得到目标预测操控动作；
87.控制模块，用于根据上述目标预测操控动作控制上述车辆；
88.其中，上述地图信息处理模块和上述操控预测第一模块均属于车辆状态模型，上述车辆状态模型使用上述的方法训练得到。
89.本技术实施例中装置部分、系统部分均分别与各自的方法实施例基于相同发明构思，在此不做赘述。
90.以上仅为本技术实施例的较佳实施例，并不用以限制本技术实施例，凡在本技术实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术实施例的保护范围之内。