用于车辆的感知链路诊断方法和系统、存储介质与流程

1.本技术涉及车辆传感器系统，具体而言，涉及感知链路诊断方法和系统、存储介质。


背景技术：

2.对车辆周围环境等的感知是自动驾驶和辅助驾驶的重要前提，因而用于处理感知到的数据的感知链路也是自动驾驶系统、辅助驾驶中的重要组成部分。在当下的感知算法和感知链路的开发中基本都采用底层技术驱动和系统集成的方式来实现功能、提升性能。
3.目前，无论是以深度学习为主的计算机视觉技术还是激光雷达技术都已经在实践中证明了功能的可行性和性能的优越性，但在感知链路的安全性方面的研究还比较少。具体而言，从安全的角度来研究如何从自动驾驶系统整体安全的角度着眼来考虑感知链路的安全性的研究项目还不是很多。这主要有两方面原因：首先，支撑感知技术的深度学习、激光雷达硬件等技术还在飞速发展中，技术路线和底层模块单元还没有完全成型，针对具体技术的安全分析可能会事倍功半；其次，有些单独传感器或者感知模块可能有一些自检、fail-safe等安全机制，但这些安全机制还没有完全纳入到自动驾驶系统整体中，与感知链路的所有软硬件以及后续的功能模块一起分析。这也可能产生以下两方面的影响：第一是有些故障可能未必会对后续链路有影响，可以暂时搁置以提升系统整体鲁棒性；第二是有些故障可能只是有前期征兆，暂时不影响后续性能但如果置之不理有可能会发展成比较重大的故障，因此需要定期自检和维护。
4.有鉴于此，需要提出一种对感知链路进行诊断的技术方案。


技术实现要素：

5.本技术的实施例提供了感知链路诊断方法和系统、存储介质，用于对车辆的感知链路的故障情况进行诊断。
6.根据本技术的一方面，提供一种用于车辆的感知链路诊断方法。所述方法包括：向所述感知链路中注入测试数据，并根据所述感知链路关于所述测试数据的处理结果确定其第一工作状态；根据所述感知链路在预定周期内对其传感器所采集的特定信号的处理结果的变化情况确定所述感知链路的第二工作状态；以及基于所述第一工作状态和所述第二工作状态确定所述感知链路的故障情况。
7.在本技术的一些实施例中，可选地，向所述感知链路中注入测试数据，并根据所述感知链路关于所述测试数据的处理结果确定其第一工作状态包括：确定所述感知链路的节点针对所述测试数据的预期处理结果和实际处理结果；以及根据所述节点的所述预期处理结果与所述实际处理结果的比较情况确定所述感知链路的所述第一工作状态。
8.在本技术的一些实施例中，可选地，向所述感知链路中注入测试数据，并根据所述感知链路关于所述测试数据的处理结果确定其第一工作状态还包括：以所述测试数据替换由所述感知链路的相应传感器所采集的实际数据注入到所述感知链路中。
9.在本技术的一些实施例中，可选地，若按照所述感知链路处理顺序的第一个节点的所述实际处理结果与所述预期处理结果的差异超过预设值，则确定该节点出现了故障。
10.在本技术的一些实施例中，可选地，根据所述感知链路在预定周期内对其传感器所采集的特定信号的处理结果的变化情况确定所述感知链路的第二工作状态包括：根据所述感知链路的传感器所采集的特定信号在所述感知链路的至少一个节点上的突变情况确定所述感知链路关于所述特定信号的第二工作状态。
11.在本技术的一些实施例中，可选地，所述突变情况包括以下至少一种情况：所述特定信号的突然消失、突然到达阈值、突然溢出阈值。
12.在本技术的一些实施例中，可选地，根据所述感知链路在预定周期内对其传感器所采集的特定信号的处理结果的变化情况确定所述感知链路的第二工作状态包括：根据所述感知链路的传感器所采集的特定信号在所述感知链路的至少一个节点的变化趋势确定所述感知链路关于所述特定信号的第二工作状态。
13.在本技术的一些实施例中，可选地，所述测试数据包括关于以下项目中的至少一者：图像传感器、激光雷达、毫米波雷达、超声波传感器、红外传感器。
14.根据本技术的另一方面，提供一种用于车辆的感知链路诊断系统。所述系统包括：存储器，其配置成存储指令；处理器，其配置成执行所述指令，使得执行如下过程：向所述感知链路中注入测试数据，并根据所述感知链路关于所述测试数据的处理结果确定其第一工作状态；根据所述感知链路在预定周期内对其传感器所采集的特定信号的处理结果的变化情况确定所述感知链路的第二工作状态；以及基于所述第一工作状态和所述第二工作状态确定所述感知链路的故障情况。
15.根据本技术的另一方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当所述指令由处理器执行时，使得所述处理器执行如上文所述的任意一种方法。
16.根据本技术的另一方面，提供一种车辆，所述车辆包括如上文所述的任意一种系统。
17.根据本技术一些实施例的感知链路诊断方法和系统、存储介质能够对车辆的感知链路是否存在故障以及故障情况进行检测，从而提高感知链路的可靠性、安全性，为车辆自动驾驶、辅助驾驶提供数据支持。
附图说明
18.从结合附图的以下详细说明中，将会使本技术的上述和其他目的及优点更加完整清楚，其中，相同或相似的要素采用相同的标号表示。
19.图1示出了根据本技术的一个实施例的用于车辆的感知链路诊断方法；图2示出了根据本技术的一个实施例的用于车辆的感知链路诊断系统；图3示出了根据本技术的一个实施例的用于车辆的感知链路。
具体实施方式
20.出于简洁和说明性目的，本文主要参考其示范实施例来描述本技术的原理。但是，本领域技术人员将容易地认识到相同的原理可等效地应用于所有类型的感知链路诊断方
法和系统、存储介质，并且可以在其中实施这些相同或相似的原理，任何此类变化不背离本技术的真实精神和范围。
21.根据本技术的一方面，提供一种用于车辆的感知链路诊断方法。如图1所示，用于车辆的感知链路诊断方法10（以下简称方法10）包括：在步骤s102中向感知链路中注入测试数据，并根据感知链路关于测试数据的处理结果确定其第一工作状态；在步骤s104中根据感知链路在预定周期内对感知链路的传感器所采集的特定信号的处理结果的变化情况确定感知链路的第二工作状态；以及在步骤s106中基于第一工作状态和第二工作状态确定感知链路的故障情况。根据方法10的以上步骤能够结合主动注入和被动探测方式，从而可以提高感知链路的自我诊断能力。
22.方法10在步骤s102中通过主动注入方式对感知链路进行检测，从而可以观察感知链路对于人为定制的测试数据的处理情况。具体而言，在步骤s102中通过向感知链路中注入测试数据，并根据感知链路对测试数据的处理结果确定感知链路的工作状态（以下称为第一工作状态以示区别）。本技术的工作状态（包括此处的第一工作状态以及下文将详细描述的第二工作状态等）是指能根据感知链路（具体而言是指其中的节点）的处理结果可以推断出来的各种体现感知链路是否正常工作的信息，以及在未正常工作的情况下能推断出来的故障类型。
23.图3示出了一个用于车辆的感知链路，如图3所示，感知链路30包括了若干节点。应当理解，感知链路的节点数量和类型可以根据感知链路处理的数据类型而变化。以图3所示的图像感知链路30为例，其中包括了节点301（图像传感器节点，例如，cmos（complementary metal-oxide-semiconductor，互补金属氧化物半导体））、节点302（串行器节点）、节点303（解串行器节点）、节点304（图像信号处理器节点）、节点305（存储器节点）、节点306（预处理节点，例如，通过cpu执行）、节点307（存储器节点）、节点308（模型分类节点，例如通过gpu（graphics processing unit，图形处理器）/dla（deep learning accelerator，深度学习加速器）执行）、节点309（存储器节点）、节点310（环境感知节点，例如，通过cpu执行）和节点311（存储器节点），感知链路30的最终处理结果还可以输入到cpu中供结合其他信息继续处理，以便实现诸如自动驾驶或者辅助驾驶之类的功能。图像感知链路30中各个节点的工作原理可以参考现有技术，本文在此不作赘述。
24.如图3中所示出的，本技术中研究的节点是指能够产生初始结果、中间结果、最终结果的处理环节，并且这些处理环节中一部分可能通过相同的硬件实现。例如，图3中所示的节点305、节点307、节点309和节点311都通过存储器暂存上一个节点产生的处理结果，因而通过对存储器中暂存的数据的调取便能实现对该节点处理结果的访问。如所理解的，存储器在感知链路30对测试数据的处理过程中随时间变化将用于承载不同的信息，因而在不同时间（或者说处理的不同环节）访问存储器将得到不同处理节点的处理结果。
25.方法10在步骤s102中可以将测试数据注入到感知链路的处理节点中，例如，可以向感知链路30的处理节点302注入测试数据。这里没有向感知链路30的第一个节点注入数据的原因是节点301作为感知链路的传感器本身没有数据接收能力，亦即，节点301仅用于产生供感知链路30处理的感知数据（传感器数据）。
26.由于注入的是已知的原始测试数据，并且感知链路的具体结构和配置信息也是已知的，因此在感知链路的每一个环节的正确处理结果都是可以预先获知的。例如，可以在工
作正常的感知链路（与待诊断感知链路具有相同的配置，其可以离线构建）中输入作为样本的测试数据，并观察该感知链路的节点对测试数据的处理结果。随后，可以将该感知链路的对测试数据的处理结果记录下来作为预期处理结果，并在诊断车辆中的感知链路时与实际处理结果作比较。
27.在本技术的一些实施例中，当注入的测试数据经过感知链路处理的每一步（如图3所示的每一个处理节点）和预置结果一致时，则可以认为感知链路工作正常。而当某一步的处理结果超出正常结果允许范围，则可以认为感知链路在该步骤出现了故障。具体而言，在步骤s102中可以确定感知链路的节点针对测试数据的预期处理结果和实际处理结果，并且分别根据每一个节点的预期处理结果与实际处理结果的比较情况确定感知链路的第一工作状态。比较情况包括了以下几种可能的情形：节点的实际处理结果与预期处理结果完全一致；节点的实际处理结果与预期处理结果存在差异，但差异在理论/工程实践的允许范围之内；节点的实际处理结果与预期处理结果存在差异，且差异超出了理论/工程实践的允许范围。对于前两种情况可以认为感知链路的该节点工作是正常的，而对于第三种情况则可以认为该节点存在故障。
28.在本技术的一些实施例中，主动注入方式可以通过在传感器侧用预定的原始数据测试数据代替由传感器实时获得的原始数据并注入到感知链路。以图像感知链路为例，如图3所示，测试数据可以代替由节点301（图像传感器，例如，cmos）产生的实时数据并输送到下一个节点302。因而，在步骤s102中可以以测试数据替换由感知链路的相应传感器所采集的实际数据注入到感知链路中。利用测试数据平替掉由传感器产生的数据几乎不需要对感知链路作改动，这种方式能最大程度避免测试过程给感知链路带来的不利影响。
29.在本技术的一些实施例中，若按照感知链路处理顺序的第一个节点的实际处理结果与预期处理结果的差异超过预设值，则确定该节点出现了故障。这里的第一个节点不一定为感知链路上的第一个节点，而是指其实际处理结果与预期处理结果的差异超过预设值的第一个（以感知链路处理顺序计）节点。例如，若图3中的节点302-304的实际处理结果与预期处理结果完全一致，因而节点302-304都是正常工作的。若节点305关于测试数据的实际处理结果与预期处理结果存在差异，且差异超出了理论/工程实践的允许范围，那么可以认定节点305存在故障，此时的节点305就符合上文中“按照感知链路处理顺序其实际处理结果与预期处理结果的差异超过预设值的第一个节点”的定义。至于节点305之后的节点306-311，由于其处理的数据依赖节点305产生的结果，因而可能并不能判断这些节点是否存在故障，只能在节点305的软硬件故障修复后才能继续对下游处理节点进行进一步测试。
30.在本技术的一些示例中，对于测试数据的处理一般可以只跟踪到感知链路中得到感知结果的各个节点即可。但是，为了研究感知结果是否对后续的规控有影响，也可以将注入数据感知链路的处理结果接入后续的融合和规控模块等（位于图3中的节点311之后，未示出），以观测融合和规控模块等是否能够按照既定的结果输出。
31.在本技术的一些示例中，步骤s102中主动注入测试的过程可以在车辆系统启动时运行一次，也可以在需要做检测时触发一次从而保证感知链路运行正常，还可以在实时运行的过程中触发，但在实时运行的过程中需保证不影响感知链路的正常功能。
32.在本技术的一些实施例中，方法10的测试数据可以关于以下传感器而定制：图像传感器、激光雷达、毫米波雷达、超声波传感器、红外传感器。
33.方法10在步骤s104中通过被动检测方式对感知链路进行检测，从而可以观察感知链路对于由传感器实际产生的信号的处理情况。具体而言，在步骤s104中可以根据感知链路在预定周期内对其传感器所采集的特定信号的处理结果的变化情况确定感知链路的工作状态（以下称为第二工作状态以示区别）。本文中的预定周期可以根据传感器信号的特性而设置，具体而言，可以包括用于瞬时突变检测的短周期和用于趋势变化检测的长周期。
34.在本技术的一些实施例中，瞬时突变检测主要需要检测待诊断信号的瞬时的、突然性的变化。具体而言，在步骤s104中可以根据感知链路的传感器所采集的特定信号在至少一个节点上的突变情况确定感知链路关于特定信号的第二工作状态。在本技术的一些实施例中，突变情况包括特定信号的突然消失、突然到达阈值、突然溢出阈值。例如，若需要研究由图像传感器所产生的图像信号，在步骤s104中可以以图像帧的生成时间（例如，20ms）为研究周期，从传感器所产生的信号的像素级、特征级、目标级等进行分类，检测信号的突然消失、突然到达阈值或者溢出、突然的不合理的变化等异常情况，以便诊断出像素故障、特征提取异常、目标删选异常等故障类型。例如，若图像感知链路30的传感器节点301对静止场景进行探测时，产生的图像数据体现出了在个别像素上的无规则“闪动”，那么在步骤s104中可以确定节点301处存在故障，故障类型可能是传感器部分像素异常。
35.在本技术的一些实施例中，长周期趋势检测主要需要对待检测信号进行曲线拟合和长周期分析，以观测某些缓慢的变化和衰减恶化的趋势。具体而言，在步骤s104中可以根据感知链路的传感器所采集的特定信号在至少一个节点的变化趋势确定感知链路关于特定信号的第二工作状态。例如，若需要研究由图像传感器所产生的图像信号，在步骤s104中可以以小时、天为研究周期，观测图像信号中的变化和衰减恶化的趋势，以便诊断出传感器性能老化（硬件故障）、传感器安装固定不牢固导致位置变化（结构故障）、标定参数不适用（软件故障）等故障类型。作为示例的，若图像感知链路30的传感器节点301进行探测时，产生的图像帧的平均亮度在不断降低（例如，以月为单位降低了10），那么在步骤s104中可以确定节点301处存在故障，故障类型可能是传感器老化。
36.方法10在步骤s106中综合主动注入和被动测试的结果对感知链路进行综合性的故障评估。具体而言，可以基于第一工作状态和第二工作状态确定感知链路的故障情况。以图像感知链路为例，方法10能够判断判断的故障类型可以为由外界因素导致的故障（包括传感器遮挡、炫光、弱光、镜头模糊、雨雪雾等）、结构上变化导致的故障（包括撞击、机械磨损、卡滞、固定不牢固、安装位置偏移、过热等）、电气故障（包括过压、欠压、过流、电磁干扰等）、硬件故障（包括芯片故障、板级故障等）以及软件故障（包括固件故障、中间件故障、应用服务软件故障、算法故障等）。
37.根据本技术的另一方面，提供一种用于车辆的感知链路诊断系统。如图2所示，感知链路诊断系统20（以下简称系统20）包括存储器202和处理器204，且存储器202和处理器204可以进行通信。存储器202可以存储指令，处理器204可以执行存储器202中存储的指令，使得处理器204能够执行如上文所述的任意一种感知链路诊断方法。具体而言，处理器204能够执行如下过程：向感知链路中注入测试数据，并根据感知链路关于测试数据的处理结果确定其第一工作状态；根据感知链路在预定周期内对其传感器所采集的特定信号的处理结果的变化情况确定感知链路的第二工作状态；以及基于第一工作状态和第二工作状态确定感知链路的故障情况。上文中关于感知链路诊断方法的描述内容一并引用于此，限于篇
幅本文在此不作赘述。
38.根据本技术的另一方面，提供一种车辆，所述车辆包括如上文所述的任意一种用于车辆的感知链路诊断系统。
39.根据本技术的另一方面，提供一种计算机可读存储介质，其中存储有指令，当所述指令由处理器执行时，使得所述处理器执行如上文所述的任意一种感知链路诊断方法。本技术中所称的计算机可读介质包括各种类型的计算机存储介质，可以是通用或专用计算机能够存取的任何可用介质。举例而言，计算机可读介质可以包括ram、rom、eprom、e2prom、寄存器、硬盘、可移动盘、cd-rom或其他光盘存储器、磁盘存储器或其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码单元并能够由通用或专用计算机、或者通用或专用处理器进行存取的任何其他临时性或者非临时性介质。如本文所使用的盘通常磁性地复制数据，而碟则用激光来光学地复制数据。上述的组合也应当包括在计算机可读介质的保护范围之内。示例性存储介质耦合到处理器以使得该处理器能从/向该存储介质读写信息。在替换方案中，存储介质可以被整合到处理器。处理器和存储介质可驻留在asic（application specific integrated circuit，专用集成电路）中。asic可驻留在用户终端中。在替换方案中，处理器和存储介质可作为分立组件驻留在用户终端中。
40.本技术以上的一些实施例能够结合主动注入和被动探测，从而可以提高感知链路的自我诊断能力，增强感知信息的可信度和鲁棒性，进而提升自动驾驶系统的可靠性和安全性。需要说明的是，以上仅为本技术的具体实施方式，但本技术的保护范围并不局限于此。本领域的技术人员可以根据本技术所披露的技术范围想到其他可行的变化或替换，此等变化或替换皆涵盖于本技术的保护范围之中。在不冲突的情况下，本技术的实施方式及实施方式中的特征还可以相互组合。本技术的保护范围以权利要求的记载为准。