使用预测的传感器数据和感知结果的感知系统诊断的制作方法

使用预测的传感器数据和感知结果的感知系统诊断
1.相关申请的交叉引用本公开根据主题涉及2019年7月31日提交的美国专利申请号16/527,561和2019年8月15日提交的美国专利申请号16/541,421。上文引用的申请的整个公开内容通过引用并入本文中。
技术领域
2.本节中提供的信息是为了总体上呈现本公开的背景的目的。当前署名的发明人的工作，就其在本节中所描述的程度而言，以及在提交时可不被另视为现有技术的该描述的各方面，既不明确地也不隐含地被认作为抵触本公开的现有技术。
3.本公开涉及车辆的感知系统，且更特别地涉及用于诊断车辆的感知系统中的故障的系统和方法。


背景技术：

4.车辆包括一个或多个扭矩产生装置，诸如内燃发动机和/或电动马达。车辆的乘客乘坐在车辆的乘客舱（或乘客车厢）内。
5.车辆可包括感测车辆周围环境的一种或多种不同类型的传感器。感测车辆周围环境的传感器的一个示例是摄像机，该摄像机被构造成捕获车辆周围环境的图像。这种摄像机的示例包括前向摄像机、后向摄像机和侧向摄像机。感测车辆周围环境的传感器的另一个示例包括雷达传感器，该雷达传感器被构造成捕获关于车辆周围环境的信息。感测车辆周围环境的传感器的其他示例包括声纳传感器以及光检测和测距（lidar）传感器，这些传感器被构造成捕获关于车辆周围环境的信息。


技术实现要素：

6.一种感知系统包括：感知模块，其被构造成捕获第一传感器数据，该第一传感器数据包括在第一时段中捕获的来自外部传感器和摄像机中的至少一者的数据；预测模块，其被构造成接收第一传感器数据、基于第一传感器数据对于在第一时段之后的第二时段生成预测的传感器数据、接收对于第二时段的第二传感器数据、并输出预测的传感器数据和第二传感器数据之间的比较的结果；以及诊断模块，其被构造成基于比较的结果来选择性地识别感知系统中的故障。
7.在其他特征中，第一传感器数据进一步包括在第一时段之前的时段中捕获的历史传感器数据。
8.在其他特征中，预测模块被构造成进一步基于历史传感器数据生成预测的传感器数据。
9.在其他特征中，比较的结果包括预测的传感器数据和第二传感器数据之间的差的数值表示。
10.在其他特征中，预测模块包括卷积长短时记忆网络。
11.在其他特征中，感知模块进一步被构造成基于第二传感器数据生成感知结果，其中，所述感知结果识别第二传感器数据中所包含的特征。
12.在其他特征中，预测模块被构造成生成预测的感知结果，所述预测的感知结果对应于预测的传感器数据。
13.在其他特征中，预测模块被构造成将预测的感知结果与感知结果进行比较并将预测的感知结果和感知结果之间的比较的结果提供给诊断模块。
14.在其他特征中，诊断模块被构造成进一步基于预测的感知结果和感知结果之间的比较的结果来选择性地识别感知系统中的故障。
15.在其他特征中，该故障对应于外部传感器和摄像机中的至少一者的故障。
16.一种操作感知系统的方法包括：捕获第一传感器数据，其中，该第一传感器数据包括在第一时段中捕获的来自外部传感器和摄像机中的至少一者的数据；基于第一传感器数据对于在第一时段之后的第二时段生成预测的传感器数据；接收对于第二时段的第二传感器数据；输出预测的传感器数据和第二传感器数据之间的比较的结果；以及基于比较的结果来选择性地识别感知系统中的故障。
17.在其他特征中，第一传感器数据进一步包括在第一时段之前的时段中捕获的历史传感器数据。
18.在其他特征中，该方法包括：进一步基于历史传感器数据生成预测的传感器数据。
19.在其他特征中，比较的结果包括预测的传感器数据和第二传感器数据之间的差的数值表示。
20.在其他特征中，该方法包括：使用卷积长短时记忆网络生成预测的传感器数据。
21.在其他特征中，该方法包括：基于第二传感器数据生成感知结果，其中，所述感知结果识别第二传感器数据中所包含的特征。
22.在其他特征中，该方法包括：生成预测的感知结果，所述预测的感知结果对应于预测的传感器数据。
23.在其他特征中，该方法包括：将预测的感知结果与感知结果进行比较并进一步基于预测的感知结果和感知结果之间的比较的结果来选择性地识别感知系统中的故障。
24.在其他特征中，该故障对应于外部传感器和摄像机中的至少一者的故障。
25.一种用于车辆的感知系统包括：外部传感器和摄像机中的至少一者，其布置成提供对应于车辆周围的环境的数据；感知模块，其被构造成：捕获第一传感器数据，该第一传感器数据包括在第一时段中捕获的来自外部传感器和摄像机中的至少一者的数据；捕获第二传感器数据，该第二传感器数据包括在第一时段之后的第二时段中捕获的来自外部传感器和摄像机中的至少一者的数据；以及基于第二传感器数据生成感知结果，所述感知结果识别第二传感器数据中所包含的特征。感知系统进一步包括：预测模块，其被构造成：接收第一传感器数据、第二传感器数据和感知结果；基于第一传感器数据，生成对于第二时段的预测的传感器数据；基于预测的传感器数据生成预测的感知结果；以及输出预测的传感器数据和第二传感器数据之间的第一比较以及预测的感知结果和感知结果之间的第二比较的结果；以及诊断模块，其被构造成基于第一比较和第二比较的结果来选择性地识别感知系统中的故障。
26.本发明提供以下技术方案：
1. 一种感知系统，其包括：感知模块，其被构造成捕获第一传感器数据，其中，所述第一传感器数据包括在第一时段中捕获的来自外部传感器和摄像机中的至少一者的数据；预测模块，其被构造成：（i）接收所述第一传感器数据；（ii）基于所述第一传感器数据对于在所述第一时段之后的第二时段生成预测的传感器数据；（iii）接收对于所述第二时段的第二传感器数据；以及（iv）输出所述预测的传感器数据和所述第二传感器数据之间的比较的结果；以及诊断模块，其被构造成基于所述比较的结果来选择性地识别所述感知系统中的故障。
27.2. 根据方案1所述的感知系统，其中，所述第一传感器数据还包括在所述第一时段之前的时段中捕获的历史传感器数据。
28.3. 根据方案2所述的感知系统，其中，所述预测模块被构造成进一步基于所述历史传感器数据生成所述预测的传感器数据。
29.4. 根据方案1所述的感知系统，其中，所述比较的结果包括所述预测的传感器数据和所述第二传感器数据之间的差的数值表示。
30.5. 根据方案1所述的感知系统，其中，所述预测模块包括卷积长短时记忆网络。
31.6. 根据方案1所述的感知系统，其中，所述感知模块进一步被构造成基于所述第二传感器数据生成感知结果，其中，所述感知结果识别所述第二传感器数据中所包含的特征。
32.7. 根据方案6所述的感知系统，其中，所述预测模块被构造成生成预测的感知结果，所述预测的感知结果对应于所述预测的传感器数据。
33.8. 根据方案7所述的感知系统，其中，所述预测模块被构造成：（i）将所述预测的感知结果与所述感知结果进行比较；以及（ii）将所述预测的感知结果和所述感知结果之间的比较的结果提供给所述诊断模块。
34.9. 根据方案8所述的感知系统，其中，所述诊断模块被构造成进一步基于所述预测的感知结果和所述感知结果之间的比较的结果来选择性地识别所述感知系统中的故障。
35.10. 根据方案1所述的感知系统，其中，所述故障对应于所述外部传感器和所述摄像机中的至少一者的故障。
36.11. 一种操作感知系统的方法，所述方法包括：捕获第一传感器数据，其中，所述第一传感器数据包括在第一时段中捕获的来自外部传感器和摄像机中的至少一者的数据；基于所述第一传感器数据对于在所述第一时段之后的第二时段生成预测的传感器数据；接收对于所述第二时段的第二传感器数据；输出所述预测的传感器数据和所述第二传感器数据之间的比较的结果；以及基于所述比较的结果来选择性地识别所述感知系统中的故障。
37.12. 根据方案11所述的方法，其中，所述第一传感器数据还包括在所述第一时段之前的时段中捕获的历史传感器数据。
38.13. 根据方案12所述的方法，还包括：进一步基于所述历史传感器数据生成所述预测的传感器数据。
39.14. 根据方案11所述的方法，其中，所述比较的结果包括所述预测的传感器数据和所述第二传感器数据之间的差的数值表示。
40.15. 根据方案11所述的方法，还包括：使用卷积长短时记忆网络生成所述预测的传感器数据。
41.16. 根据方案11所述的方法，还包括：基于所述第二传感器数据生成感知结果，其中，所述感知结果识别所述第二传感器数据中所包含的特征。
42.17. 根据方案16所述的方法，还包括：生成预测的感知结果，所述预测的感知结果对应于所述预测的传感器数据。
43.18. 根据方案17所述的方法，还包括：将所述预测的感知结果与所述感知结果进行比较并进一步基于所述预测的感知结果和所述感知结果之间的比较的结果来选择性地识别所述感知系统中的故障。
44.19. 根据方案11所述的方法，其中，所述故障对应于所述外部传感器和所述摄像机中的至少一者的故障。
45.20. 一种用于车辆的感知系统，所述感知系统包括：外部传感器和摄像机中的至少一者，其布置成提供对应于所述车辆周围的环境的数据；感知模块，其被构造成：捕获第一传感器数据，其中，所述第一传感器数据包括在第一时段中捕获的来自所述外部传感器和所述摄像机中的至少一者的数据，捕获第二传感器数据，其中，所述第二传感器数据包括在所述第一时段之后的第二时段中捕获的来自所述外部传感器和所述摄像机中的至少一者的数据，以及基于所述第二传感器数据生成感知结果，其中，所述感知结果识别所述第二传感器数据中所包含的特征；预测模块，其被构造成：（i）接收所述第一传感器数据、所述第二传感器数据和所述感知结果；（ii）基于所述第一传感器数据生成对于所述第二时段的预测的传感器数据；（iii）基于所述预测的传感器数据生成预测的感知结果；以及（iv）输出所述预测的传感器数据和所述第二传感器数据之间的第一比较以及所述预测的感知结果和所述感知结果之间的第二比较的结果；以及诊断模块，其被构造成基于所述第一比较和所述第二比较的所述结果来选择性地识别所述感知系统中的故障。
46.本公开的另外的适用领域将从详细描述、权利要求书和附图变得显而易见。详细描述和特定示例仅旨在用于图示的目的而非旨在限制本公开的范围。
附图说明
47.本公开将从详细描述和附图变得被更充分地理解，其中：图1是示例车辆系统的功能性框图；图2是包括各种外部摄像机和传感器的车辆的功能性框图；图3是感知模块和诊断模块的示例实施方式的功能性框图；图4是示例预测模块的功能性框图；
图5是示例传感器数据预测模块的功能性框图；以及图6图示了诊断与车辆的感知系统相关联的故障的示例方法的步骤。
48.在附图中，附图标记可被重复使用以标识类似和/或相同的元件。
具体实施方式
49.车辆可包括感知系统，该感知系统基于来自外部摄像机和传感器的数据来感知位于车辆周围的物体。外部摄像机的示例包括前向摄像机、后向摄像机和侧向摄像机。外部传感器包括雷达传感器、光检测和测距（lidar）传感器以及其他类型的传感器。
50.根据本公开的原理的预测模块和诊断模块分别被构造成预测传感器数据和感知结果并基于预测的传感器数据和实际的传感器数据的比较以及预测的感知结果和实际的感知结果的比较来选择性地诊断与车辆的感知系统相关联的故障。预测的传感器数据和感知结果可基于历史传感器数据。例如，神经网络可使用历史原始数据来预测传感器数据和感知结果。
51.现在参考图1，呈现了示例车辆系统100的功能性框图。虽然示出并且将描述用于混合动力车辆的车辆系统100，但是本公开也可应用于非混合动力车辆、电动车辆、燃料电池车辆、自主车辆和其他类型的车辆。而且，虽然提供了车辆的示例，但是本申请也可应用于非车辆实施方式。
52.发动机102可燃烧空气/燃料混合物以生成驱动扭矩。发动机控制模块（ecm）106控制发动机102。例如，ecm 106可控制对发动机致动器的致动，发动机致动器诸如为节气门、一个或多个火花塞、一个或多个燃料喷射器、阀致动器、凸轮轴移相器、排气再循环（egr）阀、一个或多个升压装置以及其他合适的发动机致动器。在一些类型的车辆（例如，电动车辆）中，可省略发动机102。
53.发动机102可将扭矩输出到变速器110。变速器控制模块（tcm）114控制变速器110的操作。例如，tcm 114可控制变速器110和一个或多个扭矩转移装置（例如，扭矩转换器、一个或多个离合器等）内的档位选择。
54.车辆系统100可包括一个或多个电动马达。例如，电动马达118可在变速器110内实施，如在图1的示例中所示。电动马达可以在给定的时间充当发电机抑或马达。当充当发电机时，电动马达将机械能转换为电能。电能可以例如用于经由功率控制装置（pcd）130对电池126充电。当充当马达时，电动马达生成可例如用于补充或替代由发动机102输出的扭矩的扭矩。虽然提供了一个电动马达的示例，但是车辆可包括零个或多于一个的电动马达。
55.功率逆变器控制模块（pim）134可控制电动马达118和pcd 130。pcd 130基于来自pim 134的信号将来自电池126的功率施加到电动马达118，并且pcd 130将由电动马达118输出的功率例如提供给电池126。在各种实施方式中，pim 134可被称为功率逆变器模块（pim）。
56.转向控制模块140例如基于车辆内的方向盘的驾驶员转弯和/或来自一个或多个车辆控制模块的转向指令来控制车辆的车轮的转向/转弯。方向盘角度传感器（swa）监测方向盘的旋转位置并基于方向盘的位置生成swa 142。作为示例，转向控制模块140可基于swa 142经由eps马达144来控制车辆转向。然而，车辆可包括另一种类型的转向系统。
57.电子制动控制模块（ebcm）150可选择性地控制车辆的制动器154。车辆的模块可经
由控制器局域网（can）162共享参数。can162也可称为汽车局域网。例如，can 162可包括一个或多个数据总线。通过给定的控制模块可经由can 162将各种参数提供给其他控制模块。
58.驾驶员输入可包括例如可被提供给ecm 106的加速器踏板位置（app）166。制动踏板位置（bpp）170可被提供给ebcm 150。驻车、倒车、空挡、驱动杆（prndl）的位置174可被提供给tcm 114。点火状态178可被提供给车身控制模块（bcm）180。例如，可由驾驶员经由点火钥匙、按钮或开关来输入点火状态178。在给定的时间，点火状态178可以是关闭、附件、运行或起动中的一者。
59.车辆系统100还可包括信息娱乐模块182。信息娱乐模块182控制在显示器184上显示的内容。在各种实施方式中，显示器184可以是触摸屏显示器，并且将指示至显示器184的用户输入的信号传输到信息娱乐模块182。信息娱乐模块182可附加地或替代地从一个或多个其他用户输入装置185（诸如，一个或多个开关、按钮、旋钮等）接收指示用户输入的信号。信息娱乐模块182还可经由一个或多个其他装置来生成输出。例如，信息娱乐模块182可经由车辆的一个或多个扬声器190输出声音。
60.车辆可包括多个外部传感器和摄像机，总体上在图1中由186图示。可基于来自外部传感器和摄像机186的输入来采取一个或多个行动。例如，信息娱乐模块182可经由来自外部传感器和摄像机186的输入在显示器184上显示视频、各种视图和/或警报。
61.作为另一个示例，基于来自外部传感器和摄像机186的输入，感知模块196感知车辆周围的物体以及物体相对于车辆的位置。ecm 106可基于来自感知模块196的输入来调整发动机102的扭矩输出。附加地或替代地，pim 134可基于来自感知模块196的输入来控制去往和/或来自电动马达118的功率流。附加地或替代地，ebcm 150可基于来自感知模块196的输入来调整制动。附加地或替代地，转向控制模块140可基于来自感知模块196的输入来调整转向。根据本公开的原理的车辆系统100被构造成预测传感器数据和感知结果并基于预测的传感器数据和感知结果与实际的传感器数据和感知结果之间的比较来执行诊断，如下文更详细地描述的。
62.车辆可包括未示出的一个或多个附加控制模块，诸如底盘控制模块、电池组控制模块等。车辆可省略所示出和讨论的控制模块中的一个或多个。
63.现在参考图2，呈现了车辆200的功能性框图，该车辆实施图1的车辆系统100并且包括外部传感器和摄像机的示例（例如，对应于如上文在图1中描述的外部传感器和摄像机186）。外部传感器和摄像机186包括被定位成捕获在车辆200外部（车辆200之外）的图像和视频的各种摄像机、以及测量在车辆200外部（车辆200之外）的参数的各种类型的传感器。例如，前向摄像机204捕获在车辆200前方的预定视场（fov）206内的图像和图像的视频。
64.前置摄像机208还可捕获在车辆200前方的预定fov 210内的图像和视频。前置摄像机208可捕获在车辆200前方的预定距离内的图像和视频，并且可位于车辆200前方（例如，在前饰板、格栅或保险杠中）。然而，前向摄像机204可位于更靠后的位置，诸如在车辆200的挡风玻璃处具有后视镜的情况下。前向摄像机204可以不能捕获在前置摄像机208的预定fov的全部或至少一部分内的物品的图像和视频，并且可捕获大于车辆200前方的预定距离的图像和视频。在各种实施方式中，仅可包括前向摄像机204和前置摄像机208中的一个。
65.后置摄像机212捕获在车辆200后方的预定fov 214内的图像和视频。后置摄像机
212可捕获在车辆200后方的预定距离内的图像和视频，并且可位于车辆200的后部处，诸如，靠近后牌照。
66.右摄像机216捕获在车辆200右侧的预定fov 218内的图像和视频。右摄像机216可捕获在车辆200右侧的预定距离内的图像和视频，并且可位于例如右侧后视镜下方。在各种实施方式中，可省略右侧后视镜，并且右摄像机216可位于右侧后视镜将通常所在的位置附近。
67.左摄像机220捕获在车辆200左侧的预定fov 222内的图像和视频。左摄像机220可捕获在车辆200左侧的预定距离内的图像和视频，并且可位于例如左侧后视镜下方。在各种实施方式中，可省略左侧后视镜，并且左摄像机220可位于左侧后视镜将通常所在的位置附近。虽然出于图示性目的而示出了示例fov，但是这些fov可重叠，例如用于更准确和/或包容性的拼接。
68.外部传感器和摄像机186可附加地或替代地包括各种其他类型的传感器，诸如超声波（例如，雷达）传感器。例如，车辆200可包括一个或多个前向超声波传感器（诸如，前向超声波传感器226和230）、一个或多个后向超声波传感器（诸如，后向超声波传感器234和238）。车辆200还可包括一个或多个右侧超声波传感器（诸如，右侧超声波传感器242）以及一个或多个左侧超声波传感器（诸如，左侧超声波传感器246）。摄像机和超声波传感器的位置仅作为示例提供，并且可使用不同的位置。超声波传感器在车辆200周围输出超声波信号。
69.外部传感器和摄像机186可附加地或替代地包括一种或多种其他类型的传感器，诸如一个或多个声纳传感器、一个或多个雷达传感器和/或一个或多个光检测和测距（lidar）传感器。
70.图3是根据本公开的原理的感知系统300的示例实施方式的功能性框图。感知系统300包括感知模块196、预测模块304和诊断模块308。诊断模块308选择性地诊断与感知模块196以及外部传感器和摄像机186相关联的故障。
71.感知模块196包括快照模块312，该快照模块被构造成捕获包括来自外部传感器和摄像机186中的一个的数据的数据（例如，传感器数据）的快照316。快照模块312可每个预定时段捕获新的快照。快照316可包括使用前向摄像机204捕获的前向图像320、捕获前向图像320的时间324（和日期；例如，时间戳）以及在捕获前向图像320时车辆200的位置328。虽然将讨论包括前向图像320的快照316的示例，但是本申请也可应用于来自外部传感器和摄像机186中的其他各者的数据。时钟可跟踪并提供（当前）时间324。全球定位系统（gps）可跟踪并提供（当前）位置328。可获得快照，并且可对于外部传感器和摄像机186中的每一个执行以下操作。
72.特征提取模块332在快照316的前向图像320中识别特征和特征的位置336。特征的示例包括例如物体的边缘、物体的形状等。特征提取模块332可使用一种或多种特征提取算法（诸如，尺度不变特征变换（sift）算法、加速鲁棒特征（surf）算法和/或一种或多种其他特征提取算法）来识别特征和位置。
73.物体模块340基于在快照316的前向图像320中识别的特征来标记快照316的前向图像320中的物体。例如，物体模块340可基于所识别的特征的形状在前向图像320中识别形状并使这些形状与存储在数据库中的物体的预定形状匹配。物体模块340可将与形状匹配
的预定形状的名称或代码字赋于所识别的特征的形状。物体模块340输出感知结果，诸如被标记的物体和位置344。作为另一个示例，深度神经网络模块可实施特征提取模块332和物体模块340两者的功能。这种深度神经网络模块中的前几层执行特征提取的功能，且然后将特征传递到深度神经网络模块中的其余层以执行物体标记的功能。车辆可具有彼此独立的多于一个的特征提取模块。
74.可基于被标记的物体和位置344采取一个或多个行动。例如，信息娱乐模块182可在显示器184上显示视频、各种视图和/或警报。作为另一个示例，ecm 106可基于被标记的物体和位置344来调整发动机102的扭矩输出。附加地或替代地，pim 134可基于被标记的物体和位置344来控制去往和/或来自电动马达118的功率流。附加地或替代地，ebcm 150可基于被标记的物体和位置344来调整制动。附加地或替代地，转向控制模块140可基于被标记的物体和位置344来调整转向。
75.预测模块304还对于第一时段从感知模块196接收传感器数据（例如，快照316）和感知结果（例如，被标记的物体和位置344）。预测模块304被构造成预测对于第二时段的传感器数据和感知结果（例如，其可被称为预测的当前或下一数据帧）并且比较对于第二时段的预测的传感器数据和感知结果与实际的传感器数据和感知结果。诊断模块308被构造成基于预测的传感器数据和感知结果与实际的传感器数据和感知结果之间的比较来执行诊断，如下文更详细地描述的。
76.预测模块304和诊断模块308的全部或部分可在车辆200内实施。替代地，预测模块304和诊断模块308的全部或部分可远程定位，诸如在远程服务器或云计算系统中。如果预测模块304和诊断模块308的全部或部分远程定位，则车辆200可包括一个或多个收发器，所述收发器将数据无线地传输到车辆200和从车辆200无线地传输数据，诸如，经由蜂窝收发器、wifi收发器、卫星收发器和/或另一种合适类型的无线通信。
77.现在参考图4，更详细地示出了预测模块304。预测模块304包括传感器数据预测模块400，该传感器数据预测模块被构造成接收包括当前传感器数据（d
k
）和历史传感器数据（d
k-1
、d
k-2
等）的传感器数据，其中k标识对应于传感器数据的捕获的时段。在接收到当前传感器数据d
k
之后，传感器数据预测模块400还接收下一传感器数据d
k+1
。换句话说，传感器数据包括传感器数据的多个捕获的帧或快照。当前传感器数据对应于所捕获的实际的传感器数据。在一些示例中，传感器数据预测模块400可被构造成存储历史传感器数据和/或从存储位置（例如，缓冲器、远程服务器等）检索历史传感器数据。
78.传感器数据预测模块400基于历史传感器数据（例如，d
k-1
、d
k-2
、d
k-3
等，其对应于在先前时段中d
k
的被缓冲样本）输出预测的传感器数据（d’k
）。例如，传感器数据预测模块400基于历史传感器数据的一个或多个帧来计算预测的传感器数据，如图5中更详细地描述的。预测的传感器数据对应于在最新历史传感器数据帧（例如，d
k-1
）之后的预测的传感器数据。传感器数据比较模块404接收并比较预测的传感器数据d’k
和实际的当前传感器数据d
k
，并且相应地输出比较结果（例如，输出到诊断模块308）。例如，比较结果对应于预测的传感器数据d’k
和实际的传感器数据d
k
之间的差的数值表示。
79.预测的传感器数据还被提供给特征提取模块408。例如，特征提取模块408可被构造成与特征提取模块332类似，并且识别在预测的传感器数据中指示的特征和特征的位置。类似地，物体模块412（例如，以与物体模块340类似的方式构造）基于由特征提取模块408识
别的特征来标记在预测的传感器数据中指示的物体。以这种方式，物体模块412输出预测的感知结果r’k
。
80.感知结果比较模块416接收并比较预测的感知结果r’k
和实际的感知结果r
k
，并且相应地输出比较结果（例如，输出到诊断模块308）。换句话说，预测的感知结果r’k
对应于如根据预测的传感器数据计算的预测结果。相反，实际的感知结果r
k
对应于如在同一时段对于实际的传感器数据计算的实际的预测结果。因此，由感知结果比较模块416输出的比较结果对应于对于实际的传感器数据计算的感知结果和对于预测的传感器数据计算的感知结果之间的差。例如，比较结果对应于预测的感知结果r’k
和实际的感知结果r
k
之间的差的数值表示。
81.现在参考图5，更详细地示出了传感器数据预测模块400。传感器数据预测模块400包括神经或机器学习网络，诸如包括多个卷积神经网络（cnn）层的卷积长短时记忆（lstm）网络500。例如，卷积lstm网络500包括编码器区段504和解码器区段508。编码器区段504和解码器区段508中的每一者包括相应的多个卷积lstm层512。仅例如，编码器区段504和解码器区段508中的每一者包括l个卷积lstm层512，总共为2l个卷积lstm层512。
82.编码器区段504（例如，编码器区段504的第一卷积lstm层512）接收传感器数据d
k-1
（例如，其中k，k-1等对应于时段或时间戳）作为输入。例如，来自相应时段的传感器数据可被提供给缓冲器514，该缓冲器继而将传感器数据输出到编码器区段504。编码器区段504的卷积lstm层512中的每一者将输出（d
k-1, 1
...d
k-1, l
）提供给卷积lstm层512中的下一个。编码器区段504的卷积lstm层512中的最后一个将输出d
k
, l提供给解码器区段508的卷积lstm层512中的第一者。解码器区段508的卷积lstm层512中的每一者将输出（d
k-1, l+1
...d
k-1, 2l-1
）提供给卷积lstm层512中的下一个。卷积lstm层512中的每一者进一步接收卷积lstm层512的相应的先前状态（s
k-2, 1
…
s
k-2, 2l
）和先前输出（d
k-2, 1
…
d
k-2, 2l
）。卷积lstm层512中的最后一个提供对应于预测的传感器数据d’k
的输出d
k-1, 2l
。预测的传感器数据d’k
对应于在包括传感器数据d
k-1
的帧之后的预测的传感器数据帧。
83.传感器数据预测模块400可包括损失函数模块516。损失函数模块516接收并比较预测的传感器数据d’k
和实际的当前传感器数据帧d
k
。损失函数模块516输出预测的传感器数据d’k
和实际的当前传感器数据帧d
k
的比较（例如，预测的传感器数据d’k
和实际的当前传感器数据帧d
k
之间的差或距离）的结果。例如，损失函数模块516的输出可对应于预测的传感器数据d’k
和实际的当前传感器数据帧d
k
之间的均方误差。仅例如，损失函数模块516的输出可根据来指示损失l。损失函数模块516的输出可用于训练卷积lstm网络500。
84.现在参考图6，诊断与车辆的感知系统相关联的故障的示例方法600在604处开始。例如，使用预测模块304和诊断模块308来实施方法600，如上文描述的。在608处，方法600（例如，诊断模块308）接收预测的传感器数据（例如，d’k
）和预测的感知结果（例如，r’k
）以及实际的传感器数据（例如，d
k
）和实际的感知结果（例如，r
k
）。在612处，方法600（例如，诊断模块308）确定预测的传感器数据d’k
和实际的传感器数据d
k
之间的差（例如，δ
d, k
）是否大于或等于第一阈值。如果为真，则方法600继续到616。如果为假，则方法600继续到620。在616处，方法600（例如，诊断模块308）存储和/或输出已在感知系统中检测到第一故障类型的指
示。例如，第一故障类型指示与传感器数据相关联的传感器有故障。然后，方法600在624处结束。
85.在620处，方法600（例如，诊断模块308）确定预测的传感器数据d’k
和实际的传感器数据d
k
之间的差是否小于第二阈值，该第二阈值小于第一阈值。如果为真，则方法600继续到628。如果为假，则方法600继续到632。在632处，方法600（例如，诊断模块308）存储和/或输出已在感知系统中检测到第二故障类型的指示。例如，第二故障类型指示：虽然传感器可能没有故障，但传感器数据结果可能不如期望的那样准确。换句话说，虽然预测的传感器数据d’k
和实际的传感器数据d
k
之间的差不大于或等于第一阈值，但是该差仍比期望的大。然后，方法600在624处结束。
86.在628处，方法600（例如，诊断模块300）确定：（i）预测的感知结果r’k
的第一误差测量值是否大于或等于第三阈值；以及（ii）预测的感知结果r’k
的第二误差测量值是否大于或等于第四阈值。例如，第一和第二误差测量值可基于预测的感知结果r’k
和实际的感知结果r
k
之间的比较。在一个示例中，第一误差测量值对应于假阳性率（即，在预测的感知结果r’k
中指示的、但在实际的感知结果r
k
中未检测到的物体的检测率）。相反，第二误差测量值对应于假阴性率（即，在预测的感知结果r’k
中未检测到的物体相对于在实际的感知结果r
k
中检测到的物体的比率）。如果（i）和（ii）中的任一者为真，则方法600继续到636。如果（i）和（ii）两者都不为真，则方法600继续到640。
87.在636处，方法600（例如，诊断模块308）存储和/或输出已在感知系统中检测到第三故障类型的指示。例如，第三故障类型指示在感知结果的计算中存在故障（例如，与特征提取模块332和/或物体模块340相关联的软件有故障）。然后，方法600在624处结束。
88.在640处，方法600（例如，诊断模块300）确定：（i）第一误差测量值是否小于第五阈值，该第五阈值小于第三阈值；以及（ii）第二误差测量值是否小于第六阈值，该第六阈值小于第四阈值。如果（i）和（ii）两者都为真，则方法600继续到644。如果（i）和（ii）中的任一者都不为真，则方法600继续到648。在648处，方法600（例如，诊断模块308）存储和/或输出已在感知系统中检测到第二故障类型的指示。例如，第二故障类型指示：虽然传感器可能没有故障且感知结果相对准确，但是感知结果可能不如期望的那样准确。然后，方法600在624处结束。
89.在644处，方法600（例如，诊断模块308）存储和/或输出感知系统没有任何故障并且预测和感知结果准确的指示，然后在624处结束。
90.在一些示例中，方法600可响应于确定感知系统具有故障而包括一个或多个故障减轻步骤。例如，方法600可包括警告驾驶员、脱离自主车辆控制、将车辆开到路边、继续操作而不使用被表明为有故障的传感器，等等。换句话说，由于感知系统依赖于接收来自传感器的准确信息和感知结果，因此在传感器中的一个或多个中检测到故障和/或感知结果的计算可指示故障减轻是必要的。因此，故障减轻可包括一个或多个步骤以限制抑或终止感知系统控制车辆的能力并将控制权返还给驾驶员。
91.方法600可连续地、周期性地（例如，在启动车辆之后预定的时间量）和/或有条件地执行，诸如响应于车辆在预定的位置中（例如，每次车辆经过特定的十字路口、经过预定的建筑物或结构附近，等等）。
92.前面的描述本质上仅仅是说明性的，并且决不旨在限制本公开、其应用或使用。本
公开的广泛教导可以以多种形式实施。因此，尽管本公开包括特定示例，但是本公开的真实范围不应受到如此限制，因为在研究附图、说明书和以下权利要求后，其他修改将变得显而易见。应理解，方法内的一个或多个步骤可以以不同次序（或同时）执行，而不更改本公开的原理。进一步地，虽然上文将实施例中的每一个被描述为具有某些特征，但是关于本公开的任何实施例描述的那些特征中的任何一个或多个可以在其他实施例中的任一个中实施和/或与其他实施例中的任一个的特征组合，即使该组合未明确描述。换句话说，所描述的实施例不是相互排斥的，并且一个或多个实施例彼此的组合方式仍然在本公开的范围内。
93.各元件之间（例如，模块、电路元件、半导体层等之间）的空间和功能关系使用各种术语来描述，各种术语包括“连接”、“接合”、“联接”、“相邻”、“紧邻”、“在
……
顶部”、“上方”、“下方”和“设置”。除非明确地描述为“直接”，否则当在上面的公开中描述第一元件和第二元件之间的关系时，该关系可以是在第一元件和第二元件之间不存在其他介入元件的直接关系，但也可以是在第一元件和第二元件之间存在（空间上抑或功能上）一个或多个介入元件的间接关系。如本文中所使用的，短语a、b和c中的至少一者应被解释为使用非排他性逻辑or来表示逻辑（a or b or c）的意思，并且不应被解释为表示“a中的至少一者、b中的至少一者、以及c中的至少一者”的意思。
94.在附图中，如由箭头指示的箭头方向总体上表示图示所关注的信息（诸如，数据或指令）的流动。例如，当元件a和元件b交换多种信息但是从元件a传输到元件b的信息与图示相关时，箭头可从元件a指向元件b。这种单向箭头并不暗示没有其他信息从元件b传输到元件a。此外，对于从元件a发送到元件b的信息，元件b可向元件a发送对于信息的请求或对信息的接收确认。
95.在本申请（包括下面的定义）中，术语“模块”或术语“控制器”可用术语“电路”代替。术语“模块”可指代以下各者、为以下各者的一部分、或包括以下各者：专用集成电路（asic）；数字、模拟或混合模拟/数字分立电路；数字、模拟或混合模拟/数字集成电路；组合逻辑电路；现场可编程门阵列（fpga）；执行代码的处理器电路（共享、专用或组）；存储由处理器电路执行的代码的存储器电路（共享、专用或组）；提供所描述的功能的其他合适的硬件部件；或者以上各者中的一些或全部的组合，诸如在片上系统中。
96.模块可包括一个或多个接口电路。在一些示例中，接口电路可包括连接到局域网（lan）、因特网、广域网（wan）或其组合的有线或无线接口。本公开的任何给定模块的功能可分布在经由接口电路连接的多个模块当中。例如，多个模块可允许负载平衡。在另外的示例中，服务器（也称为远程或云）模块可代表客户端模块完成某种功能。
97.如上文所使用的术语代码可包括软件、固件和/或微代码，并且可指代程序、例程、函数、类、数据结构和/或对象。术语共享处理器电路涵盖单个处理器电路，其执行来自多个模块的一些或所有代码。术语组处理器电路涵盖处理器电路，该处理器电路与附加的处理器电路组合来执行来自一个或多个模块的一些或所有代码。对多个处理器电路的引用涵盖分立管芯上的多个处理器电路、单个管芯上的多个处理器电路、单个处理器电路的多个核、单个处理器电路的多个线程、或以上各者的组合。术语共享存储器电路涵盖单个存储器电路，其存储来自多个模块的一些或所有代码。术语组存储器电路涵盖存储器电路，该存储器电路与附加的存储器组合来存储来自一个或多个模块的一些或所有代码。
98.术语存储器电路是术语计算机可读介质的子集。如本文中所使用的术语计算机可
读介质不涵盖通过介质（诸如，在载波上）传播的瞬时电信号或电磁信号；因此，术语计算机可读介质可被认为是有形的和非暂时性的。非暂时性、有形计算机可读介质的非限制性示例是非易失性存储器电路（诸如，快闪存储器电路、可擦除可编程只读存储器电路或掩模只读存储器电路）、易失性存储器电路（诸如，静态随机存取存储器电路或动态随机存取存储器电路）、磁性存储介质（诸如，模拟或数字磁带或硬盘驱动器）和光学存储介质（诸如，cd、dvd或蓝光光盘）。
99.本申请中所描述的设备和方法可由专用计算机部分或全部实施，该专用计算机通过将通用计算机构造成执行体现在计算机程序中的一个或多个特定功能而创建。上文描述的功能块、流程图组成和其他元件用作软件具体说明，其可以通过熟练技术人员或程序员的例行工作转换成计算机程序。
100.计算机程序包括存储在至少一个非暂时性、有形计算机可读介质上的处理器可执行指令。计算机程序还可包括或依赖于存储的数据。计算机程序可涵盖与专用计算机的硬件交互的基本输入/输出系统（bios）、与专用计算机的特定装置交互的装置驱动程序、一个或多个操作系统、用户应用程序、后台服务、后台应用程序等。
101.计算机程序可包括：（i）要解析的描述性文本，诸如html（超文本标记语言）、xml（可扩展标记语言）或json（javascript对象表示法），（ii）汇编代码，（iii）由编译器从源代码生成的目标代码，（iv）由解释器执行的源代码，（v）由即时编译器编译和执行的源代码等。仅作为示例，可由包括c、c++、c#、objective-c、swift、haskell、go、sql、r、lisp、java
®
、fortran、perl、pascal、curl、ocaml、javascript
®
、html5（超文本标记语言第5版）、ada、asp（动态服务器网页）、php（php：超级文本预处理语言）、scala、eiffel、smalltalk、erlang、ruby、flash
®
、visual basic
®
、lua、matlab、simulink和python
®
的语言使用句法规则编写源代码。