车辆的自动驾驶感知方法、装置、车辆及存储介质与流程

1.本技术涉及汽车智能化应用技术领域，特别涉及一种车辆的自动驾驶感知方法、装置、车辆及存储介质。


背景技术：

2.当前，自动驾驶感知任务大量采用给予神经网络的人工智能算法，研究表明，神经网络在微小扰动(即对抗样本攻击)的情况下并不具有鲁棒性，从而带来了很大的安全隐患。
3.相关技术中，通过对待处理图像进行去噪处理，得到去噪图像；依据去噪图像进行图像数据处理实现对抗样本防御，优化图像数据处理的效果。
4.然而，相关技术通常是将所有数据进行去噪处理，不仅工作量大，降低感知效率，而且无法有效避免感知任务输入数据的噪声问题。


技术实现要素：

5.本技术提供一种车辆的自动驾驶感知方法、装置、车辆及存储介质，以解决了相关技术通常是将所有数据进行去噪处理，导致数据处理的工作量大，感知效率低，无法有效避免感知任务输入数据的噪声等问题。
6.本技术第一方面实施例提供一种车辆的自动驾驶感知方法，包括以下步骤：获取车辆周围环境的初始图片数据；根据所述初始图片数据推理至少一个目标任务，并在推理过程中，检测所述初始图片数据是否存在预设对抗样本；如果所述初始图片数据不存在所述预设对抗样本，则在结束推理后，得到所述初始图片数据的感知结果，否则利用预设去噪策略去噪所述初始图片数据的预设对抗样本，得到去噪后的第一图片数据，并基于所述第一图片数据重新推理得到所述初始图片数据的感知结果。
7.根据上述技术手段，本技术实施例通过对图片数据进行对抗样本检测，基于对抗样本对图片数据进行去噪处理，实现精确去噪，避免所有数据统一去噪带来的巨大工作量，降低去噪处理的工作量，提升处理效率的同时，提升感知效率，从而将对抗样本检测与去噪相结合，系统性地解决感知任务输入数据的噪声问题，有效实现自动驾驶感知系统的加固，有效抵御噪声对输入数据的干扰。
8.可选的，在本技术的一个实施例中，所述根据所述初始图片数据推理至少一个目标任务，并在推理过程中检测所述初始图片数据是否存在预设对抗样本，包括：将所述初始图片数据输入至自动驾驶感知算法的预设神经网络中进行至少一个目标任务的推理；在推理过程中，使用多层留一策略对所述预设神经网络的多个中间层进行预设对抗样本检测，在任意中间层存在预设对抗样本时，判定所述初始图片数据存在所述预设对抗样本，否则判定所述初始图片数据不存在所述预设对抗样本。
9.根据上述技术手段，本技术实施例可以将车辆周围环境的初始图片数据输入至自动驾驶感知算法的神经网络中的多个中间层进行对抗样本检测，判断初始图片数据是否存
在预设对抗样本，从而避免了将没有噪声的数据进行不必要的去噪的问题，实现感知算法的鲁棒加固。
10.可选的，在本技术的一个实施例中，所述利用预设去噪策略去噪所述初始图片数据的预设对抗样本，得到去噪后的第一图片数据，包括：将所述图片数据输入预设高层引导去噪器进行预设对抗样本去噪，得到所述去噪后的第一图片数据。
11.根据上述技术手段，本技术实施例在初始图片数据存在预设对抗样本时，将图片数据输入到高层引导去噪器中进行去噪，从而系统性地解决感知任务输入数据有噪声的问题，使处理后的图像更接近原始图像。
12.可选的，在本技术的一个实施例中，在基于所述第一图片数据重新推理得到所述初始图片数据的感知结果之前，还包括：在推理过程中继续检测所述第一图片数据是否存在所述预设对抗样本；如果所述第一图片数据不存在所述预设对抗样本，则在结束推理后得到所述初始图片数据的感知结果，否则利用预设去噪策略去噪所述第一图片数据的预设对抗样本，得到去噪后的第二图片数据，直到所述不存在所述预设对抗样本或者推理次数达到预设次数时，结束推理，并得到所述初始图片数据的感知结果。
13.根据上述技术手段，本技术实施例可以对得到的第一图像数据新进行对抗样本检测，并重复循环检测对抗样本、对抗样本去噪和再次进行推理的步骤，直到不存在对抗样本或者推理达到一定次数后，结束推理并得到初始图片数据的感知结果，从而满足视觉感知任务的加固要求，提高图像去噪的准确度，使得图像数据处理的效果达到最佳。
14.本技术第二方面实施例提供一种车辆的自动驾驶感知装置，包括：获取模块，用于获取车辆周围环境的初始图片数据；推理模块，用于根据所述初始图片数据推理至少一个目标任务，并在推理过程中，检测所述初始图片数据是否存在预设对抗样本；感知模块，用于如果所述初始图片数据不存在所述预设对抗样本，则在结束推理后，得到所述初始图片数据的感知结果，否则利用预设去噪策略去噪所述初始图片数据的预设对抗样本，得到去噪后的第一图片数据，并基于所述第一图片数据重新推理得到所述初始图片数据的感知结果。
15.可选的，在本技术的一个实施例中，所述推理模块进一步用于将所述初始图片数据输入至自动驾驶感知算法的预设神经网络中进行至少一个目标任务的推理，在推理过程中，使用多层留一策略对所述预设神经网络的多个中间层进行预设对抗样本检测，在任意中间层存在预设对抗样本时，判定所述初始图片数据存在所述预设对抗样本，否则判定所述初始图片数据不存在所述预设对抗样本。
16.可选的，在本技术的一个实施例中，所述感知模块进一步用于将所述图片数据输入预设高层引导去噪器进行预设对抗样本去噪，得到所述去噪后的第一图片数据。
17.可选的，在本技术的一个实施例中，在基于所述第一图片数据重新推理得到所述初始图片数据的感知结果之前，还包括：检测模块，用于在推理过程中继续检测所述第一图片数据是否存在所述预设对抗样本；处理模块，用于如果所述第一图片数据不存在所述预设对抗样本，则在结束推理后得到所述初始图片数据的感知结果，否则利用预设去噪策略去噪所述第一图片数据的预设对抗样本，得到去噪后的第二图片数据，直到所述不存在所述预设对抗样本或者推理次数达到预设次数时，结束推理，并得到所述初始图片数据的感知结果。
18.本技术第三方面实施例提供一种车辆，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的车辆的自动驾驶感知方法。
19.本技术第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的车辆的自动驾驶感知方法。
20.由此，本技术至少具有如下有益效果：
21.1、通过对图片数据进行对抗样本检测，基于对抗样本对图片数据进行去噪处理，实现精确去噪，避免所有数据统一去噪带来的巨大工作量，降低去噪处理的工作量，提升处理效率的同时，提升感知效率，从而将对抗样本检测与去噪相结合，系统性地解决感知任务输入数据的噪声问题，有效实现自动驾驶感知系统的加固，有效抵御噪声对输入数据的干扰。
22.2、可以将车辆周围环境的初始图片数据输入至自动驾驶感知算法的神经网络中的多个中间层进行对抗样本检测，判断初始图片数据是否存在预设对抗样本，从而避免了将没有噪声的数据进行不必要的去噪的问题，实现感知算法的鲁棒加固。
23.3、在初始图片数据存在预设对抗样本时，将图片数据输入到高层引导去噪器中进行去噪，从而系统性地解决感知任务输入数据有噪声的问题，使处理后的图像更接近原始图像。
24.4、可以对得到的第一图像数据新进行对抗样本检测，并重复循环检测对抗样本、对抗样本去噪和再次进行推理的步骤，直到不存在对抗样本或者推理达到一定次数后，结束推理并得到初始图片数据的感知结果，从而满足视觉感知任务的加固要求，提高图像去噪的准确度，使得图像数据处理的效果达到最佳。
25.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
26.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
27.图1为根据本技术实施例提供的一种车辆的自动驾驶感知方法的流程图；
28.图2为根据本技术实施例提供的一种车辆的自动驾驶感知方法示意图；
29.图3为根据本技术实施例提供的一种车辆的自动驾驶感知装置的方框示意图；
30.图4为根据本技术实施例提供的车辆的结构示意图。
31.附图标记说明：获取模块-100、推理模块-200、感知模块-300、存储器-401、处理器-402、通信接口-403。
具体实施方式
32.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
33.下面参考附图描述本技术实施例的车辆的自动驾驶感知方法、装置、车辆及存储
介质。针对上述背景技术中提到的问题，本技术提供了一种车辆的自动驾驶感知方法，在该方法中，通过获取车辆周围环境的初始图片数据；根据初始图片数据推理至少一个目标任务，并在推理过程中，检测初始图片数据是否存在预设对抗样本；如果不存在预设对抗样本，则在结束推理后，得到初始图片数据的感知结果，否则利用预设去噪策略去噪初始图片数据的预设对抗样本，得到去噪后的第一图片数据，并基于第一图片数据重新推理得到初始图片数据的感知结果。由此，本技术实施例将对抗样本检测与去噪进行结合，避免了将没有噪声的数据进行不必要的去噪的问题，从而实现感知算法的鲁棒加固，解决了相关技术通常是将所有数据进行去噪处理，导致数据处理的工作量大，感知效率低，无法有效避免感知任务输入数据的噪声等问题。
34.具体而言，图1为本技术实施例所提供的一种车辆的自动驾驶感知方法的流程示意图。
35.如图1所示，该车辆的自动驾驶感知方法包括以下步骤：
36.在步骤s101中，获取车辆周围环境的初始图片数据。
37.本技术实施例可以将图片数据的对抗样本检测与去噪进行结合，先用多层留一法对数据进行对抗样本检测，将检测到的对抗样本输入到高层引导去噪器中进行去噪，从而系统性地解决感知任务输入数据有噪声的问题，因此，在进行图片数据检测对抗样本之前，本技术实施例可以首先获取车辆周围环境的初始图片数据。在实际执行过程中，本技术实施例可以通过车载摄像头对车辆周围的环境进行拍摄，从而获得车辆周围环境的初始图像数据。
38.在步骤s102中，根据初始图片数据推理至少一个目标任务，并在推理过程中，检测初始图片数据是否存在预设对抗样本。
39.本技术实施例可以将图片数据输入到感知算法的神经网络中进行推理从而得到自动驾驶车辆的目标任务，并在推理过程中检测初始图片数据是否存在会误导自动驾驶车辆进行准确分类，干扰驾驶决策的样本。其中，目标任务包括但不限于目标检测、车道线检测、语义分割等自动驾驶感知任务。
40.在本技术的一个实施例中，根据初始图片数据推理至少一个目标任务，并在推理过程中检测初始图片数据是否存在预设对抗样本，包括：将初始图片数据输入至自动驾驶感知算法的预设神经网络中进行至少一个目标任务的推理；在推理过程中，使用多层留一策略对预设神经网络的多个中间层进行预设对抗样本检测，在任意中间层存在预设对抗样本时，判定初始图片数据存在预设对抗样本，否则判定初始图片数据不存在预设对抗样本。
41.可以理解的是，本技术实施例可以将车辆周围环境的初始图片数据输入至自动驾驶感知算法的神经网络中，使用多层留一策略对神经网络的多个中间层进行对抗样本检测，判断初始图片数据是否存在对抗样本，具体过程如下：
42.1)首先记录单个节点的留一值与原始值的差值
[0043][0044]
2)计算四分位差
[0045]
[0046]
其中，
[0047]
由于存在对抗样本的数据其四分位差会较大，因此，本技术实施例可以根据对抗样本数据四分位差的大小，判断初始图片是否存在对抗样本。
[0048]
在步骤s103中，如果初始图片数据不存在预设对抗样本，则在结束推理后，得到初始图片数据的感知结果，否则利用预设去噪策略去噪初始图片数据的预设对抗样本，得到去噪后的第一图片数据，并基于第一图片数据重新推理得到初始图片数据的感知结果。
[0049]
可以理解的是，本技术实施例可以根据初始图片数据是否存在预设对抗样本判断是否进行对抗样本去噪，若没有检测到对抗样本，则直接完成整个推理过程，得到感知任务的结果；若检测到预设对抗样本，则根据预设去噪策略进行去噪，将去噪后的图片数据进行推理得到感知结果。由此，将对抗样本检测与去噪进行结合，从而系统性地解决感知任务输入数据的噪声问题，实现自动驾驶感知系统的加固，抵御噪声对输入数据的干扰。
[0050]
在本技术的一个实施例中，利用预设去噪策略去噪初始图片数据的预设对抗样本，得到去噪后的第一图片数据，包括：将图片数据输入预设高层引导去噪器进行预设对抗样本去噪，得到去噪后的第一图片数据。
[0051]
可以理解的是，在初始图片数据存在预设对抗样本时，本技术实施例可以将图片数据输入到高层引导去噪器中进行去噪，从而系统性地解决感知任务输入数据有噪声的问题，使处理后的图像更接近原始图像。其中，预设高层引导去噪器可以为特征引导去噪器、分对数引导去噪器等，本领域技术人员可以根据实际情况进行选择，不作具体限定；在本技术实施例中，以特征引导去噪器或分对数引导去噪器为例，以实现对抗样本的有效去噪，满足用户的去噪需求。
[0052]
在本技术的一个实施例中，在基于第一图片数据重新推理得到初始图片数据的感知结果之前，还包括：在推理过程中继续检测第一图片数据是否存在预设对抗样本；如果第一图片数据不存在预设对抗样本，则在结束推理后得到初始图片数据的感知结果，否则利用预设去噪策略去噪第一图片数据的预设对抗样本，得到去噪后的第二图片数据，直到不存在预设对抗样本或者推理次数达到预设次数时，结束推理，并得到初始图片数据的感知结果。
[0053]
可以理解的是，本技术实施例可以在得到初始带有对抗样本并已完成去噪的图片数据后，将去噪后的图片数据再次输入到感知任务的神经网络，为提高效率，可不再做多层留一法的对抗样本检测，在推理后得到初始图片数据的感知结果。但是，对于感知任务对鲁棒性的要求较高，并且算力条件具有冗余，本技术实施例可以对已完成去噪的图片数据重新进行对抗样本检测，并重复循环检测对抗样本、对抗样本去噪和再次进行推理的步骤，直到不存在对抗样本或者推理达到一定次数后，结束推理并得到初始图片数据的感知结果，从而满足视觉感知任务的加固要求，提高图像去噪的准确度，使处理后的图像更接近原始图像。
[0054]
下面将通过一个具体的实现过程对本技术实施例的车辆的自动驾驶感知方法进行详细说明，如图2所示，包括以下步骤：
[0055]
步骤1)将图片数据输入到感知算法的神经网络中进行推理过程；
[0056]
步骤2)使用多层留一法对神经网络的多个中间层进行对抗样本检测，判断该图片是否存在对抗样本；
[0057]
步骤3)若步骤2)没有检测到对抗样本，则直接完成整个推理过程，得到感知任务的结果。若步骤2)检测到对抗样本，则将对应的原始图片输入到高层引导去噪器中进行去噪；
[0058]
步骤4)将去噪后的图片重新输入到神经网络中进行推理，得到感知任务的结果。
[0059]
根据本技术实施例提出的车辆的自动驾驶感知方法，通过获取车辆周围环境的初始图片数据；根据初始图片数据推理至少一个目标任务，并在推理过程中，检测初始图片数据是否存在预设对抗样本；如果不存在预设对抗样本，则在结束推理后，得到初始图片数据的感知结果，否则利用预设去噪策略去噪初始图片数据的预设对抗样本，得到去噪后的第一图片数据，并基于第一图片数据重新推理得到初始图片数据的感知结果。由此，本技术实施例将对抗样本检测与去噪进行结合，从而系统性地解决感知任务输入数据有噪声的问题，实现自动驾驶感知系统的加固，解决了相关技术通常是将所有数据进行去噪处理，导致数据处理的工作量大，感知效率低，无法有效避免感知任务输入数据的噪声等问题。
[0060]
其次参照附图描述根据本技术实施例提出的一种车辆的自动驾驶感知装置。
[0061]
图3是本技术实施例的一种车辆的自动驾驶感知装置的方框示意图。
[0062]
如图3所示，该车辆的自动驾驶感知装置10包括：获取模块100、推理模块200和感知模块300。
[0063]
其中，获取模块100，用于获取车辆周围环境的初始图片数据；推理模块200，用于根据初始图片数据推理至少一个目标任务，并在推理过程中，检测初始图片数据是否存在预设对抗样本；感知模块300，用于如果初始图片数据不存在预设对抗样本，则在结束推理后，得到初始图片数据的感知结果，否则利用预设去噪策略去噪初始图片数据的预设对抗样本，得到去噪后的第一图片数据，并基于第一图片数据重新推理得到初始图片数据的感知结果。
[0064]
在本技术的一个实施例中，推理模块200进一步用于，将初始图片数据输入至自动驾驶感知算法的预设神经网络中进行至少一个目标任务的推理，在推理过程中，使用多层留一策略对预设神经网络的多个中间层进行预设对抗样本检测，在任意中间层存在预设对抗样本时，判定初始图片数据存在预设对抗样本，否则判定初始图片数据不存在预设对抗样本。
[0065]
在本技术的一个实施例中，感知模块300进一步用于，将图片数据输入预设高层引导去噪器进行预设对抗样本去噪，得到去噪后的第一图片数据。
[0066]
在本技术的一个实施例中，在基于第一图片数据重新推理得到初始图片数据的感知结果之前，还包括：检测模块，用于在推理过程中继续检测第一图片数据是否存在预设对抗样本；处理模块，用于如果第一图片数据不存在预设对抗样本，则在结束推理后得到初始图片数据的感知结果，否则利用预设去噪策略去噪第一图片数据的预设对抗样本，得到去噪后的第二图片数据，直到不存在预设对抗样本或者推理次数达到预设次数时，结束推理，并得到初始图片数据的感知结果。
[0067]
需要说明的是，前述对车辆的自动驾驶感知方法实施例的解释说明也适用于该实
施例的车辆的自动驾驶感知装置，此处不再赘述。
[0068]
根据本技术实施例提出的车辆的自动驾驶感知装置，通过获取车辆周围环境的初始图片数据；根据初始图片数据推理至少一个目标任务，并在推理过程中，检测初始图片数据是否存在预设对抗样本；如果不存在预设对抗样本，则在结束推理后，得到初始图片数据的感知结果，否则利用预设去噪策略去噪初始图片数据的预设对抗样本，得到去噪后的第一图片数据，并基于第一图片数据重新推理得到初始图片数据的感知结果。由此，本技术实施例将对抗样本检测与去噪进行结合，避免了将没有噪声的数据进行不必要的去噪的问题，从而实现感知算法的鲁棒加固，解决了相关技术通常是将所有数据进行去噪处理，导致数据处理的工作量大，感知效率低，无法有效避免感知任务输入数据的噪声等问题。
[0069]
图4为本技术实施例提供的车辆的结构示意图。该车辆可以包括：
[0070]
存储器401、处理器402及存储在存储器401上并可在处理器402上运行的计算机程序。
[0071]
处理器402执行程序时实现上述实施例中提供的车辆的自动驾驶感知方法。
[0072]
进一步地，车辆还包括：
[0073]
通信接口403，用于存储器401和处理器402之间的通信。
[0074]
存储器401，用于存放可在处理器402上运行的计算机程序。
[0075]
存储器401可能包含高速ram(random access memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。
[0076]
如果存储器401、处理器402和通信接口403独立实现，则通信接口403、存储器401和处理器402可以通过总线相互连接并完成相互间的通信。总线可以是isa(industry standard architecture，工业标准体系结构)总线、pci(peripheral component，外部设备互连)总线或eisa(extended industry standard architecture，扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0077]
可选的，在具体实现上，如果存储器401、处理器402及通信接口403，集成在一块芯片上实现，则存储器401、处理器402及通信接口403可以通过内部接口完成相互间的通信。
[0078]
处理器402可能是一个cpu(central processing unit，中央处理器)，或者是asic(application specific integrated circuit，特定集成电路)，或者是被配置成实施本技术实施例的一个或多个集成电路。
[0079]
本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的车辆的自动驾驶感知方法。
[0080]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或n个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0081]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性
或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“n个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0082]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更n个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
[0083]
应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，n个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。
[0084]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0085]
尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。