感知融合方法、装置、设备及存储介质与流程

1.本技术涉及感知融合技术领域，尤其涉及一种感知融合方法、装置、设备及存储介质。


背景技术：

2.近年来，高级驾驶辅助技术发展如火如荼，人们对于降低事故率、节能减排、降低成本等需求的日益增长，使得高级驾驶辅助汽车备受关注。
3.高级驾驶辅助系统(advanced driving assistance system，adas)是利用车上安装的各式各样的传感器，第一时间收集车内外环境数据，识别或侦测追踪静止的或行进中的人或物，从而能够让驾驶者在最快的时间察觉可能发生的危险，以提高行车安全性的系统。高级驾驶辅助系统中，感知融合模块是整个系统的中枢，负责提供给下游模块最终的感知结果，包括车道线、周围行人、车辆、障碍物以及红绿灯等交通标志。目前感知融合模块通常采用多传感器的方案。
4.由于车辆行驶受天气、道路等多种因素的影响，现有技术在保证车辆的高级驾驶辅助系统的鲁棒性方面有所欠缺。


技术实现要素：

5.本技术提供一种感知融合方法、装置、设备及存储介质，用以解决现有技术在保证车辆的高级驾驶辅助系统的鲁棒性方面有所欠缺的问题。
6.一方面，本技术提供一种感知融合方法，包括：
7.获取所述多个传感器的状态信息、所述多个传感器采集的传感器数据、以及所述车辆所在环境的环境信息；
8.根据所述多个传感器的状态信息、所述多个传感器数据、以及所述环境信息，在所述多个传感器中确定m个目标传感器，所述m为大于或等于1的整数；
9.根据所述m个目标传感器采集的m种传感器数据，确定对所述车辆周围的障碍物进行感知的感知结果；
10.根据所述m个目标传感器和所述感知结果对所述车辆进行控制。
11.可选地，根据所述多个传感器的状态信息、所述多个传感器数据、以及所述环境信息，在所述多个传感器中确定m个目标传感器，包括：
12.根据所述多个传感器的状态信息和所述多个传感器数据，在所述多个传感器中确定至少一个待选传感器，所述待选传感器为正常进行数据采集的传感器；
13.根据所述环境信息，在所述至少一个待选传感器中确定所述m个目标传感器。
14.可选地，所述状态信息包括运行状态、通讯状态和遮挡状态；根据所述多个传感器的状态信息和所述多个传感器数据，在所述多个传感器中确定至少一个待选传感器，包括：
15.根据所述多个传感器的状态信息，在所述多个传感器中确定至少一个第一传感器，所述第一传感器的运行状态为非故障状态、通讯状态为非故障状态、遮挡状态为未被遮
挡状态；
16.确定所述至少一个第一传感器所采集的传感器数据的完整率；
17.根据所述至少一个第一传感器所采集的传感器数据的完整率，在所述至少一个第一传感器中确定所述至少一个待选传感器，所述待选传感器所采集的传感器数据的完整率大于或等于预设阈值。
18.可选地，所述环境信息包括天气类型和光线强度，所述至少一个待选传感器包括如下至少一种：激光雷达、摄像装置和毫米波雷达；
19.根据所述环境信息，在所述至少一个待选传感器中确定所述m个目标传感器，包括：
20.根据所述天气类型，确定所述激光雷达的检测结果，以及根据所述光线强度和所述天气类型，确定所述摄像装置的检测结果，所述检测结果为有效状态或者无效状态；
21.将所述至少一个待选传感器中除所述无效状态之外的其它传感器，确定为所述m个目标传感器。
22.可选地，根据所m个目标传感器采集的m种传感器数据，确定对所述车辆周围的障碍物进行感知的感知结果，包括：
23.若所述m为1，则根据所述m种传感器数据，确定所述感知结果；
24.若所述m大于1，则对所述m种传感器数据进行融合处理，得到融合传感器数据，并根据所述融合传感器数据，确定所述感知结果。
25.可选地，对所述m种传感器数据进行融合处理，得到融合传感器数据，包括：
26.确定所述m种传感器数据的数据类型，所述数据类型为激光雷达类型、图像类型或者毫米波雷达类型；
27.根据所述m种传感器数据的数据类型，确定融合算法，所述融合算法包括：前融合算法和/或后融合算法；
28.根据所述融合算法，对所述m种传感器数据进行融合处理，得到所述融合传感器数据。
29.可选地，根据所述m个目标传感器和所述感知结果对所述车辆进行控制，包括：
30.获取所述m个目标传感器的传感器类型，所述传感器类型为激光雷达类型、摄像类型或毫米波雷达类型；
31.根据所述m个目标传感器的传感器类型，确定对所述车辆进行控制的控制类型，所述控制类型包括如下至少一种：前方碰撞预警类型、车道保持系统，定速巡航类型、自动紧急制动类型、拨杆换道类型或自动换道类型；
32.根据所述控制类型和所述感知结果，对所述车辆进行控制。
33.另一方面，本技术提供一种车辆控制装置，包括：
34.获取模块，用于获取所述多个传感器的状态信息、所述多个传感器采集的传感器数据、以及所述车辆所在环境的环境信息；
35.确定模块，用于根据所述多个传感器的状态信息、所述多个传感器数据、以及所述环境信息，在所述多个传感器中确定m个目标传感器，所述m为大于或等于1的整数；
36.确定模块，还用于根据所述m个目标传感器采集的m种传感器数据，确定对所述车辆周围的障碍物进行感知的感知结果；
37.控制模块，用于根据所述m个目标传感器和所述感知结果对所述车辆进行控制。
38.一种可能的实现方式中，确定模块具体用于：
39.根据所述多个传感器的状态信息和所述多个传感器数据，在所述多个传感器中确定至少一个待选传感器，所述待选传感器为正常进行数据采集的传感器；
40.根据所述环境信息，在所述至少一个待选传感器中确定所述m个目标传感器。
41.一种可能的实现方式中，确定模块具体用于：
42.根据所述多个传感器的状态信息，在所述多个传感器中确定至少一个第一传感器，所述第一传感器的运行状态为非故障状态、通讯状态为非故障状态、遮挡状态为未被遮挡状态；
43.确定所述至少一个第一传感器所采集的传感器数据的完整率；
44.根据所述至少一个第一传感器所采集的传感器数据的完整率，在所述至少一个第一传感器中确定所述至少一个待选传感器，所述待选传感器所采集的传感器数据的完整率大于或等于预设阈值。
45.一种可能的实现方式中，确定模块具体用于：
46.根据所述天气类型，确定所述激光雷达的检测结果，以及根据所述光线强度和所述天气类型，确定所述摄像装置的检测结果，所述检测结果为有效状态或者无效状态；
47.将所述至少一个待选传感器中除所述无效状态之外的其它传感器，确定为所述m个目标传感器。
48.一种可能的实现方式中，确定模块具体用于：
49.若所述m为1，则根据所述m种传感器数据，确定所述感知结果；
50.若所述m大于1，则对所述m种传感器数据进行融合处理，得到融合传感器数据，并根据所述融合传感器数据，确定所述感知结果。
51.一种可能的实现方式中，确定模块具体用于：
52.确定所述m种传感器数据的数据类型，所述数据类型为激光雷达类型、图像类型或者毫米波雷达类型；
53.根据所述m种传感器数据的数据类型，确定融合算法，所述融合算法包括：前融合算法和/或后融合算法；
54.根据所述融合算法，对所述m种传感器数据进行融合处理，得到所述融合传感器数据。
55.一种可能的实现方式中，控制模块具体用于：
56.获取所述m个目标传感器的传感器类型，所述传感器类型为激光雷达类型、摄像类型或毫米波雷达类型；
57.根据所述m个目标传感器的传感器类型，确定对所述车辆进行控制的控制类型，所述控制类型包括如下至少一种：前方碰撞预警类型、车道保持系统，定速巡航类型、自动紧急制动类型、拨杆换道类型或自动换道类型；
58.根据所述控制类型和所述感知结果，对所述车辆进行控制。
59.本技术的第三方面，提供了一种电子设备，包括：
60.处理器和存储器；
61.存储器存储计算机执行指令；
62.处理器执行存储器存储的计算机执行指令，使得电子设备执行第一方面中任一项的方法。
63.本技术的第四方面，提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现如第一方面任一项的硬件外设的驱动程序的确定方法。
64.本实施例提供了一种感知融合方法、装置、设备及存储介质，该方法通过获取多个传感器的状态信息、多个传感器采集的传感器数据、以及车辆所在环境的环境信息；根据多个传感器的状态信息、多个传感器数据、以及环境信息，在多个传感器中确定m个目标传感器，m为大于或等于1的整数；根据m个目标传感器采集的m种传感器数据，确定对车辆周围的障碍物进行感知的感知结果；根据m个目标传感器和感知结果对车辆进行控制。该方法通过传感器状态信息、传感器数据和车辆所在环境的环境信息，在进行感知融合之前排除失效的传感器，只根据正常的传感器以及传感器数据确定障碍物感知结果，使得感知结果的准确性和鲁棒性得以提高，确保了车辆的行驶安全。
附图说明
65.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
66.图1为本技术提供的感知融合方法的具体的应用场景图；
67.图2为本技术实施例提供的感知融合方法流程图一；
68.图3为本技术实施例提供的感知融合方法流程图二；
69.图4a为本技术实施例提供的感知融合方法流程图三；
70.图4b为本技术实施例提供的算法确定流程图；
71.图5为本技术实施例提供的感知融合方法流程图四；
72.图6为本技术实施例提供的一种车辆控制装置的结构示意图；
73.图7为本技术实施例提供的车辆控制设备的硬件结构图。
74.附图标记说明：
75.110-传感器模块；
76.111-激光雷达；
77.112-摄像装置；
78.113-毫米波雷达；
79.120-融合感知模块；
80.121-传感器状态分类器；
81.122-特殊工况评判器；
82.123-融合算法评定器；
83.124-融合算法库；
84.131-预测模块；
85.141-计划模块。
86.通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为
本领域技术人员说明本技术的概念。
具体实施方式
87.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
88.图1为本技术提供的感知融合方法的具体的应用场景图。如图1所示，该应用场景包括：传感器模块110、融合感知模块120、预测模块131以及计划模块141。其中传感器模块110包括激光雷达111、摄像装置112以及毫米波雷达113；融合感知模块120内包括传感器状态分类器121、特殊工况评判器122、融合算法评定器123以及融合算法库124。
89.激光雷达111将点云及雷达状态传递给传感器状态分类器121，摄像装置112将图像及摄像装置状态传递给传感器状态分类器121，毫米波雷达113将目标及雷达状态传递给传感器状态分类器121。
90.特殊工况评判器122是用来判断当前车辆所在环境是否影响传感器的组件。传感器状态分类器121结合特殊工况评判器122将数据传递给融合算法评定器123，在融合算法库124中确定融合算法后，确定了感知结果和系统等级，其中，感知结果包括障碍物的障碍物信息、障碍物与车辆之间的距离或障碍物的移动信息中的至少一种；系统等级是和多个传感器中没有失效的传感器种类相关的参数。
91.预测模块131接收融合感知模块120发送的感知结果，并据此进行轨迹预测，得到预测目标，发送给计划模块141。计划模块141接收融合感知模块120发送的感知结果和系统等级，并据此做出车辆的行为决策和路径计划。
92.本技术提供了一种感知融合方法，该方法获取多个传感器的状态信息、多个传感器采集的传感器数据、以及车辆所在环境的环境信息，通过上述数据确定车辆周围的障碍物的感知结果，在进行感知融合之前排除失效的传感器，只根据正常的传感器以及传感器数据确定障碍物的感知结果，使得感知结果的准确性和鲁棒性得以提高，确保了车辆的行驶安全。
93.本技术提供的感知融合方法，旨在解决现有技术的如上技术问题。
94.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
95.图2为本技术实施例提供的感知融合方法流程图一。如图2所示，本实施例的方法，包括：
96.s201、获取多个传感器的状态信息、多个传感器采集的传感器数据、以及车辆所在环境的环境信息；
97.本实施例中，应用感知融合方法的车辆上设置有多个传感器，包括不同种类的一定数量的传感器。目前针对车辆的目标检测，摄像头、毫米波雷达和激光雷达是最为重要且使用最为广泛的三类传感器。传感器融合感知能够弥补单一传感器的不足，增强对目标的感知能力，可以很好的利用各种传感器的特点，避免在某些工况下暴露出的缺点。但多传感
器的使用也给车辆的驾驶安全带来一定的不稳定性。由于传感器的种类不同，结构不同，使用寿命也不同，因此发生故障的几率比使用单一传感器的方案高。为了确保驾驶安全，考虑传感器故障的情况，增加车辆的鲁棒性和冗余性也是十分必要的。
98.本实施例中，通过获取多个传感器的状态信息和传感器采集的数据，确定传感器失效与否。因为除了传感器本身处于标定状态，其他原因也会导致传感器失效。例如噪声效应等。而通过判断传感器采集的数据是否异常，更能二次确认传感器是否处于失效状态。与此同时，由于车辆的外部环境通常包括大雨大雪大雾等恶劣天气，此时会影响雷达和摄像装置这两种传感器的性能，同时强光或者光线不足的情况下，摄像装置的性能也会大幅度下降。因此获取车辆所在环境的环境信息来进一步确定环境对传感器的影响。
99.本领域的技术人员可以理解，本技术涉及的车辆，可以是重型汽车，也可以是其他类型的车辆。
100.s202、根据多个传感器的状态信息、多个传感器数据、以及环境信息，在多个传感器中确定m个目标传感器，m为大于或等于1的整数；
101.本实施例中，首先根据多个传感器的状态信息和多个传感器数据，排除了所有传感器中，本身处于失效状态的传感器。再通过环境信息，来排除受环境影响的传感器，得到的为目标传感器，即在当前环境下，正常工作的传感器。这里限制目标传感器的数量m为大于或等于1的整数，是因为当传感器全部失效后，就不需要进行后续的操作了。
102.s203、根据m个目标传感器采集的m种传感器数据，确定对车辆周围的障碍物进行感知的感知结果；
103.本实施例中，感知结果是包括障碍物的障碍物信息、障碍物与车辆之间的距离或障碍物的移动信息中的至少一种。在确定目标传感器后，通过对传感器数据进行目标识别，如果传感器数据来自于多个不同类型的传感器，还需要进行目标融合，确定车辆周围的障碍物的位置，速度，加速度等参数。车辆周围的障碍物包括但不限于车辆、行人、道路设施等。
104.s204、根据m个目标传感器和感知结果对车辆进行控制。
105.本实施例中，在获取车辆周围的障碍物的位置，速度，加速度等参数之后，可以对车辆的轨迹进行预测，以便后续进行路径计划。例如检测当前的路口前车因为红灯而静止，右转进入新的道路到达的目的地更节省时间，此时便为车辆计划右转的路径。根据目标传感器可以确定对车辆的控制策略，例如当目标传感器里只有毫米波雷达，说明其他类型的传感器都已经失效，因此当前传感器的结果可信度下降，像定速巡航这类十分依赖传感器的功能被限制不能使用。
106.本实施例提供了一种感知融合方法，该方法通过获取多个传感器的状态信息、多个传感器采集的传感器数据、以及车辆所在环境的环境信息；根据多个传感器的状态信息、多个传感器数据、以及环境信息，在多个传感器中确定m个目标传感器，m为大于或等于1的整数；根据m个目标传感器采集的m种传感器数据，确定对车辆周围的障碍物进行感知的感知结果；根据m个目标传感器和感知结果对车辆进行控制。该方法通过传感器状态信息、传感器数据和车辆所在环境的环境信息，在进行感知融合之前排除失效的传感器，只根据正常的传感器以及传感器数据确定障碍物感知结果，使得感知结果的准确性和鲁棒性得以提高，确保了车辆的行驶安全。
107.图3为本技术实施例提供的感知融合方法流程图二。如图3所示，本实施例的方法在图2所示实施例的基础上，对根据多个传感器的状态信息、多个传感器数据、以及环境信息，在多个传感器中确定m个目标传感器的过程进行详细的表述。
108.s301、根据多个传感器的状态信息，在多个传感器中确定至少一个第一传感器，第一传感器的运行状态为非故障状态、通讯状态为非故障状态、遮挡状态为未被遮挡状态；
109.本实施例中，为了根据多个传感器的状态信息和多个传感器数据，在多个传感器中确定至少一个待选传感器，待选传感器为正常进行数据采集的传感器。首先根据多个传感器的状态信息，确定第一传感器，第一传感器即为传感器本身没有处于标定故障，通讯状态正常，也没有被遮挡的状态，以上都可以根据传感器的状态信息确定。
110.s302、确定至少一个第一传感器所采集的传感器数据的完整率；
111.本实施例中，通过传感器数据的完整率再次确认第一传感器中，是否有失效的传感器。这样做可以排除因为传感器状态信息中不包含的故障。以摄像装置为例，典型的摄像装置是一个相对复杂的子系统，包含一系列光敏元件，将入射光转换成模拟电信号。接着将这些信号数字化，使它们能够被存储、处理和传送到adas系统，以便进一步分析，例如障碍识别。在功能性安全领域，“不安全的故障”是可能导致adas系统做出错误决策的原因。这可能涉及从完整的传感器故障到传感器的单个像素、行或列故障，或模拟/数字电路中的问题。典型的故障可能包括“卡住”像素、电噪声效应、缺失行、缺失列、移位像素、传输错误或色偏。因此可以通过传感器数据的完整率排除上述较为隐蔽的故障。
112.s303、根据至少一个第一传感器所采集的传感器数据的完整率，在至少一个第一传感器中确定至少一个待选传感器，待选传感器所采集的传感器数据的完整率大于或等于预设阈值；
113.本实施例中，考虑到传感器都存在噪声效应，和机械误差，因此不能当传感器数据不完整时就确定传感器故障，而是设定一个预设阈值，当传感器数据的完整率大于或等于预设阈值时，认定传感器为正常状态，即确定了第一传感器中至少一个待选传感器，此时待选传感器即为排除了传感器自身故障的正常传感器。
114.s304、根据天气类型，确定激光雷达的检测结果，以及根据光线强度和天气类型，确定摄像装置的检测结果，检测结果为有效状态或者无效状态；
115.本实施例中，环境信息包括天气类型和光线强度，至少一个待选传感器包括如下至少一种：激光雷达、摄像装置和毫米波雷达。由于大雨、大雪、大雾等恶劣天气下，激光雷达的性能会受到很大影响，输出不可信，因此若确定天气类型为大雨、大雪、大雾等恶劣天气，则判定激光雷达等同于无效。同时，由于大雨、大雪、大雾等恶劣天气以及强光或光线不足情况下，摄像装置的性能会受到很大影响，输出不可信，因此，当确定天气类型为大雨、大雪、大雾等恶劣天气，或者光线强度为强光或光线不足时，则判定摄像装置等同于无效。
116.判断强光或者光线不足时，可以设置两个不同的光线强度阈值，当环境的光线强度在两个阈值之间时，确定当前光线强度为正常，大于较大阈值时为强光，小于较小阈值时为光线不足。
117.s305、将至少一个待选传感器中除无效状态之外的其它传感器，确定为m个目标传感器。
118.本实施例中，在多个传感器中，根据状态信息确定了处于非故障状态的第一传感
器，并排除了数据完整率小于阈值的传感器，确定了待选传感器，随后又排除了受到天气类型和光线强度的传感器，确定了目标传感器。
119.本实施例提供了一种感知融合方法，该方法通过根据多个传感器的状态信息，在多个传感器中确定至少一个第一传感器；确定至少一个第一传感器所采集的传感器数据的完整率；根据至少一个第一传感器所采集的传感器数据的完整率，在至少一个第一传感器中确定至少一个待选传感器；根据天气类型，确定激光雷达的检测结果，以及根据光线强度，确定摄像装置的检测结果；将至少一个待选传感器中除无效状态之外的其它传感器，确定为m个目标传感器。该方法通过根据状态信息、传感器数据的完整率以及环境信息依次排除了无效的传感器，使得用于感知融合的传感器数据都为有效且真实的数据，提升了感知结果的可靠性。
120.图4a为本技术实施例提供的感知融合方法流程图三，图4b为本技术实施例提供的算法确定流程图。如图4a和图4b所示，本实施例的方法在图2所示实施例的基础上，对根据m个目标传感器采集的m种传感器数据，确定对车辆周围的障碍物进行感知的感知结果的过程进行详细的表述。
121.s401、若m为1，则根据m种传感器数据，确定感知结果；
122.本实施例中，若m为1，则说明只有一种传感器数据，此时就根据该种传感器的数据进行融合处理，进而确定感知结果。可以采用多种手段确定融合目标，例如使用利用历史数据训练好的神经网络模型，来确定融合目标。
123.s401、若m大于1，则确定m种传感器数据的数据类型，数据类型为激光雷达类型、图像类型或者毫米波雷达类型；
124.本实施例中，若m大于1，则说明有超过一种传感器数据，此时要首先确定传感器的类型，再根据传感器类型确定融合算法。
125.s402、根据m种传感器数据的数据类型，确定融合算法，融合算法包括：前融合算法和/或后融合算法；
126.本实施例中，确定了传感器的类型之后，据此确定融合算法。融合算法包括前融合算法和后融合算法。前融合算法是指在获取到传感器数据之后，不进行目标检测识别，而是将不同类型的传感器数据直接进行融合，得到融合目标。此时可以采用多种手段确定融合目标，例如使用利用历史数据训练好的神经网络模型，来确定融合目标，融合目标即为障碍物的位置，速度以及加速度等参数。
127.后融合算法是指获取到传感器数据之后，首先对不同类型的传感器数据分别进行目标识别，得到初步目标，在此基础上，将初步目标进行融合，来确定融合目标。后融合算法包括两部分：数据关联和航迹更新。数据关联是指将融合目标与测量目标进行匹配，可以采用多种方法。航迹更新是指将测量目标状态值与融合目标状态值进行融合更新，也可以采用多种方法。
128.本实施例中，根据传感器数据的数据类型确定融合算法，可以遵循指定顺序。例如，考虑到激光雷达的性能在三种传感器中表现较好，因此首先确定激光雷达的失效与否，其次确认摄像装置失效与否，最后确定毫米波雷达失效与否，并依据三个传感器的失效与否确定算法，如图4b所示。其中算法1指以毫米波雷达目标为输出的算法；算法2指以摄像装置目标为输出的算法；算法3指毫米波雷达和摄像装置后融合的算法；算法4指以激光雷达
为输出的算法；算法5指激光雷达和毫米波雷达雷达后融合的算法；算法6指激光雷达和摄像装置前融合的算法；算法7指激光雷达和摄像装置前融合，与毫米波雷达雷达后融合的算法。
129.本领域的技术人员可以理解，根据传感器数据的数据类型确定融合算法，可以采用不同的顺序，算法也不局限于上述的算法。
130.s403、根据融合算法，对m种传感器数据进行融合处理，得到融合传感器数据；
131.本实施例中，以后融合方法中数据关联和航迹更新的过程为例，对根据融合算法处理传感器数据的过程进行说明。其中，进行数据关联时，采取马氏距离进行相似度的计算。首先依靠融合目标与测量目标的速度差、距离差设定门限，接着在门限内可由下式马氏距离公式计算全局融合目标与测量目标之间的相似度：
[0132][0133]
其中，x，z为融合目标和测量目标的状态量，σ为状态量的协方差矩阵。也可以使用jpda算法计算概率来表示相似度。最后，通过匈牙利匹配、km算法等分配算法来将融合目标与测量目标进行匹配。
[0134]
航迹更新以卡尔曼滤波方法为例进行说明，卡尔曼滤波主要分为两个阶段：预测阶段和更新阶段。预测阶段即为卡尔曼滤波器通过上一时刻的目标状态估计结果x’，做出对当前时刻的状态估计预测x。首先如下式计算下一时刻预测值：
[0135]
x＝fx
′
[0136]
p
′
＝fpf
′
+q
[0137]
其中，x’为k-1时刻状态值，x为k时刻预测值，f为状态转移矩阵，p为在k-1时刻的协方差，p’为在k时刻的协方差，q为噪声矩阵。
[0138]
更新阶段是滤波器利用当前时刻的目标状态测量值y优化在预测阶段获得的预估值，获得一个当前时刻更精确的新估计值。根据如下公式计算测量残差y、测量残差协方差s、最优卡尔曼增益k、更新的状态估计x、更新的协方差估计p：
[0139]
y＝z-hx
′
[0140]
s＝hph
′
+r
[0141]
k＝p
′ht
s-1
[0142]
x＝x
′
+ky
[0143]
p＝(i-kh)p
′
[0144]
其中，y为观测值，h为转移矩阵，r为噪声矩阵。
[0145]
s404、根据融合传感器数据，确定感知结果。
[0146]
本实施例中，感知结果为车辆周围的障碍物的位置、速度以及加速度等参数。根据进行过处理的传感器数据，即可确定当前时刻的车辆周围的障碍物的位置、速度以及加速度等参数。
[0147]
本实施例提供了一种感知融合方法，该方法通过判断若m为1，则根据m种传感器数据，确定感知结果；若m大于1，则确定m种传感器数据的数据类型，数据类型为激光雷达类型、图像类型或者毫米波雷达类型；根据m种传感器数据的数据类型，确定融合算法，融合算法包括：前融合算法和/或后融合算法；根据融合算法，对m种传感器数据进行融合处理，得到融合传感器数据；根据融合传感器数据，确定感知结果。该方法通过根据传感器数据的类
型确定对应的融合算法，使得传感器失效的情况下，车辆能自适应的调整融合算法，得到更符合当前情况的感知结果，增加了车辆的鲁棒性。
[0148]
图5为本技术实施例提供的感知融合方法流程图四。如图5所示，本实施例的方法在图2所示实施例的基础上，对根据m个目标传感器和感知结果对车辆进行控制的过程进行详细的表述。
[0149]
s501、获取m个目标传感器的传感器类型，传感器类型为激光雷达类型、摄像类型或毫米波雷达类型；
[0150]
本实施例中，获取目标传感器的传感器类型，是为了确认高级驾驶辅助系统中允许的功能。高级驾驶辅助系统由许多不同的技术组成，通过各项技术的分工汇总最终反馈到车辆，从而达到辅助驾驶的目的。传感器的数据和传感器类型是高级驾驶辅助系统做出功能决策的依据。例如只有毫米波雷达有效时，由于车辆获取的周围障碍物的数据有限，因此不能执行车道保持这样的功能。
[0151]
s502、根据m个目标传感器的传感器类型，确定对车辆进行控制的控制类型，控制类型包括如下至少一种：前方碰撞预警类型、车道保持系统，定速巡航类型、自动紧急制动类型、拨杆换道类型或自动换道类型；
[0152]
本实施例中，高级驾驶辅助系统包括前方碰撞预警、车道保持系统，定速巡航、自动紧急制动、拨杆换道以及自动换道等功能。根据目标传感器的传感器类型确定对车辆进行控制的控制类型，是指满足相关功能运行条件下允许执行该功能，传感器类型和控制类型的具体对应关系可以如下所示。
[0153]
毫米波雷达目标输出，l0级：允许执行的功能为前方碰撞预警；摄像装置目标输出，l1级：允许执行的功能为前方碰撞预警，车道保持系统，定速巡航系统；毫米波雷达和摄像装置后融合，l2级：允许执行的功能为车道保持系统，自动紧急制动系统，定速巡航系统；激光雷达输出，l1级：允许执行的功能为前方碰撞预警，定速巡航；激光雷达和毫米波雷达后融合，l2级，允许执行的功能为自动紧急制动系统，定速巡航系统；激光雷达和摄像装置前融合，l2级以上，允许执行的功能为拨杆换道/自动换道，车道保持系统，自动紧急制动系统，定速巡航系统；激光雷达和摄像装置前融合，毫米波雷达后融合，l2级以上，允许执行的功能为拨杆换道/自动换道，车道保持系统，自动紧急制动系统，定速巡航系统。其中，l0、l1以及l2是指高级驾驶辅助系统的级别。
[0154]
本领域的技术人员可以理解，传感器类型和控制类型的对应关系并不局限于上述表述的关系。
[0155]
s503、根据控制类型和感知结果，对车辆进行控制。
[0156]
本实施例中，在确定了感知结果之后，即可确定车辆周围的障碍物的位置和运动信息，根据控制类型，执行高级驾驶辅助系统的多种功能，达到辅助驾驶员安全驾驶的目的。
[0157]
本实施例提供了一种感知融合方法，该方法通过获取m个目标传感器的传感器类型；根据m个目标传感器的传感器类型，确定对车辆进行控制的控制类型；根据控制类型和感知结果，对车辆进行控制。该方法通过根据传感器类型确定对车辆进行控制的控制类型，考虑了传感器失效情况下，高级辅助驾驶功能的自适应变化，确保了车辆驾驶安全。
[0158]
图6为本技术实施例提供的一种车辆控制装置的结构示意图。本实施例的装置可
以为软件和/或硬件的形式。如图6所示，本技术实施例提供的一种车辆控制装置600，包括获取模块601、确定模块602以及控制模块603，
[0159]
获取模块601，用于获取多个传感器的状态信息、多个传感器采集的传感器数据、以及车辆所在环境的环境信息；
[0160]
确定模块602，用于根据多个传感器的状态信息、多个传感器数据、以及环境信息，在多个传感器中确定m个目标传感器，m为大于或等于1的整数；
[0161]
确定模块602，还用于根据m个目标传感器采集的m种传感器数据，确定对车辆周围的障碍物进行感知的感知结果；
[0162]
控制模块603，用于根据m个目标传感器和感知结果对车辆进行控制。
[0163]
一种可能的实现方式中，确定模块具体用于：
[0164]
根据多个传感器的状态信息和多个传感器数据，在多个传感器中确定至少一个待选传感器，待选传感器为正常进行数据采集的传感器；
[0165]
根据环境信息，在至少一个待选传感器中确定m个目标传感器。
[0166]
一种可能的实现方式中，确定模块具体用于：
[0167]
根据多个传感器的状态信息，在多个传感器中确定至少一个第一传感器，第一传感器的运行状态为非故障状态、通讯状态为非故障状态、遮挡状态为未被遮挡状态；
[0168]
确定至少一个第一传感器所采集的传感器数据的完整率；
[0169]
根据至少一个第一传感器所采集的传感器数据的完整率，在至少一个第一传感器中确定至少一个待选传感器，待选传感器所采集的传感器数据的完整率大于或等于预设阈值。
[0170]
一种可能的实现方式中，确定模块具体用于：
[0171]
根据天气类型，确定激光雷达的检测结果，以及根据光线强度和天气类型，确定摄像装置的检测结果，检测结果为有效状态或者无效状态；
[0172]
将至少一个待选传感器中除无效状态之外的其它传感器，确定为m个目标传感器。
[0173]
一种可能的实现方式中，确定模块具体用于：
[0174]
若m为1，则根据m种传感器数据，确定感知结果；
[0175]
若m大于1，则对m种传感器数据进行融合处理，得到融合传感器数据，并根据融合传感器数据，确定感知结果。
[0176]
一种可能的实现方式中，确定模块具体用于：
[0177]
确定m种传感器数据的数据类型，数据类型为激光雷达类型、图像类型或者毫米波雷达类型；
[0178]
根据m种传感器数据的数据类型，确定融合算法，融合算法包括：前融合算法和/或后融合算法；
[0179]
根据融合算法，对m种传感器数据进行融合处理，得到融合传感器数据。
[0180]
一种可能的实现方式中，控制模块具体用于：
[0181]
获取m个目标传感器的传感器类型，传感器类型为激光雷达类型、摄像类型或毫米波雷达类型；
[0182]
根据m个目标传感器的传感器类型，确定对车辆进行控制的控制类型，控制类型包括如下至少一种：前方碰撞预警类型、车道保持系统，定速巡航类型、自动紧急制动类型、拨
杆换道类型或自动换道类型；
[0183]
根据控制类型和感知结果，对车辆进行控制。
[0184]
本实施例提供的车辆控制的装置，可用于执行上述方法实施例，其实现原理和技术效果类似，本实施例此处不再赘述。
[0185]
图7为本技术实施例提供的车辆控制设备的硬件结构图。如图7所示，该车辆控制设备700包括：
[0186]
处理器701和存储器702；
[0187]
存储器存储计算机执行指令；
[0188]
处理器执行存储器702存储的计算机执行指令，使得电子设备执行如上述的感知融合方法。
[0189]
应理解，上述处理器701可以是中央处理单元(英文：central processing unit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digital signal processor，简称：dsp)、专用集成电路(英文：application specific integrated circuit，简称：asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。存储器702可能包含高速随机存取存储器(英文：random access memory，简称：ram)，也可能还包括非易失性存储器(英文：non-volatile memory，简称：nvm)，例如至少一个磁盘存储器，还可以为u盘、移动硬盘、只读存储器、磁盘或光盘等。
[0190]
本技术实施例相应还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，计算机执行指令被处理器执行时用于实现的感知融合方法。
[0191]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求书指出。
[0192]
应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求书来限制。