用于自动驾驶系统特征或功能的评估和开发的方法和系统与流程

1.本公开涉及用于车辆的ads功能或特征的性能评估和开发的方法和系统。具体地，一些实施例涉及用于分配资源以用于车辆的ads功能或特征的性能评估和开发的仲裁系统。


背景技术：

2.在过去几年中，与自主车辆相关的研究和开发活动已经呈爆发式增长，并且正在探索许多不同的方法。越来越多的现代车辆具有先进的驾驶员辅助系统(adas)以提高车辆安全性以及更普遍地道路安全性。adas是可以在驾驶时帮助车辆驾驶员的电子系统，adas例如可以由自适应巡航控制(acc)、防碰撞系统、前向碰撞警告等表示。如今，在与adas和自主驾驶(ad)领域两者相关联的许多技术领域内，正在进行研究和开发。adas和ad在本文中将被称为与例如由驾驶自动化的sae j3016级别(0-5)所定义的所有不同自动化级别相对应的通用术语自动驾驶系统(ads)，并且具体地用于级别4和5。
3.在不久的将来，ads解决方案预计将应用于大部分投放市场的新车。ads可以被理解为各种部件的复杂组合，其能够被定义为其中车辆的感知、决策和操作由电子器件和机械而不是人类驾驶员来执行的系统，并且被定义为将自动化引入道路交通。这包括对车辆的处理、目的地以及对周围环境的了解(即感知)。虽然自动化系统可以控制车辆，但它允许人类操作员将全部或至少一些职责留给系统。ads通常组合各种传感器以感知车辆的周围环境，传感器诸如例如雷达、激光雷达、声纳、摄像头、导航系统(例如gps)、里程表和/或惯性测量单元(imu)，高级控制系统可以基于这些传感器来解释传感信息以识别适当的导航路径以及障碍物、自由空间区域和/或相关标志。
4.当前为了ads特征或功能的开发所做的大量工作都围绕着将第一系统安全地推向市场。然而，一旦实现了这一点，那么以安全且高效的方式改进系统以实现成本降低和性能改进将是至关重要的。通常，与ads安全性的开发和验证相关联的成本巨大，尤其是与现场测试和了解系统在交通中的行为方式有关的成本巨大。因此，期待有效地利用每个车辆上的可用资源，无论是用于开发目的的车辆车队(测试车辆)还是已投放市场的车辆车队(量产车辆)。与专用测试车辆相比，利用量产车辆来开发和/或验证新的ads特征(例如，新的感知功能/特征)的优势在于，存在大量的可用车辆(以及因此而产生的大量的潜在训练数据)。
5.换言之，针对开发、评估和测试目的来积累数据可以被论证为与新的或更新的ads特征/功能相关的成本最高的部分之一。通过使用已经上市的车辆(即，“量产车辆”)来提供该数据，既可以缓解对专用开发车辆的需求，又可以充分利用量产车辆中存在的可用资源。
6.相应地，期待能够利用量产平台的现有硬件，以便使用与量产平台中存在的感测输出相同的感测输出来开发新的或更高性能的ads特征。然而，仍然存在着需要克服的技术挑战，这是因为量产平台可能在以下四个方面受到限制：可用功率、可用计算能力、数据存储容量以及用于数据传输的可用带宽。
7.进一步地，可能需要为车队的一些车辆添加新的传感器(即，新的硬件)—无论是通过改装还是作为原装的一部分—用以能够开发出新的且更好的平台感知能力。鉴于上述技术挑战，而且考虑到希望能够同时基于来自一个甚至若干个新硬件部件的输入来开发新特征的情况，这项任务很容易变得难以完成。
8.本领域相应地需要新的解决方案来促进ads特征的开发和验证，以便能够持续地提供更安全且更高性能的系统。


技术实现要素：

9.因此，本发明的目的是提供方法、计算机可读存储介质、系统以及包括这种系统的车辆，它们减轻了目前已知的系统和方法的上述缺点中的全部或至少一部分。
10.该目的通过如所附独立权利要求中定义的方法、计算机可读存储介质、系统以及包括这种系统的车辆来实现。术语示例性在本上下文中将被理解为用作实例、示例或说明。
11.根据本发明的第一方面，提供了一种用于车辆的传感器硬件的优先激活以进行ads特征的开发、评估和/或测试的方法。该方法包括：获取指示车辆的平台约束的集的数据；获取指示针对多个ads特征中的每一个的需求集的数据；以及获取指示针对多个ads特征的优先级方案的数据。该方法进一步包括：获取指示车辆周围环境中的预计该车辆将在未来时刻暴露于其中的预测场景或情境的数据。然后，该方法包括：基于平台约束、需求集、优先级方案以及预测场景或情境来生成仲裁信号，仲裁信号指示针对多个ads特征中的至少一个的传感器硬件激活以及车辆平台的资源分配。此外，该方法包括：根据所生成的仲裁信号来激活传感器硬件以用于数据收集。
12.根据本发明的第二方面，提供了一种(非暂时性)计算机可读存储介质，其存储一个或多个程序，该一个或多个程序被配置为由处理系统(例如，车辆内处理系统)的一个或多个处理器执行，该一个或多个程序包括用于执行根据本文中公开的任何一个实施例的方法的指令。对于本发明的这个方面，存在与前面讨论的本发明的第一方面类似的优点及优选特征。
13.如本文中所使用的术语“非暂时性”旨在描述排除传播电磁信号的计算机可读存储介质(或“存储器”)，但不旨在以其它方式限制短语计算机可读介质或存储器所涵盖的物理计算机可读存储设备的类型。例如，术语“非暂时性计算机可读介质”或“有形的存储器”旨在涵盖不必永久地存储信息的存储设备的类型，包括例如随机存取存储器(ram)。以非暂时性形式存储在有形的计算机可访问存储介质上的程序指令和数据可以进一步通过传输介质或可以经由通信介质(诸如网络和/或无线链路)传送的信号(诸如电信号、电磁信号或数字信号)来传输。因此，如本文中使用的术语“非暂时性”是对介质本身的限制(即，有形的，而不是信号)，而不是对数据存储持久性的限制(例如，ram对比rom)。
14.根据本发明的第三方面，提供了一种用于车辆的(非平台原生)传感器硬件的优先激活以进行ads特征的开发、评估和/或测试的系统。该系统包括仲裁模块和控制模块。仲裁模块被配置为：获取指示车辆的平台约束的集的数据；获取指示针对多个ads特征中的每一个的需求集的数据；以及获取指示针对多个ads特征的优先级方案的数据。仲裁模块进一步被配置为：获取指示车辆周围环境中的预计该车辆将在未来时刻暴露于其中的预测场景或情境的数据。此外，仲裁模块被配置为：基于平台约束、需求集、优先级方案以及预测场景或
情境来生成仲裁信号，仲裁信号指示针对多个ads特征中的至少一个的传感器硬件激活以及车辆平台的资源分配。控制模块被配置为：根据所生成的仲裁信号来激活传感器硬件以用于数据收集。对于本发明的这个方面，存在与前面讨论的本发明的第一方面类似的优点及优选特征。
15.根据本发明的第四方面，提供了一种包括一个或多个(非平台原生)传感器的车辆，该一个或多个传感器被配置为监测车辆的周围环境。车辆进一步包括：根据本文所公开的实施例中的任何一个的用于车辆的(非平台原生)传感器硬件的优先激活以进行ads特征的开发、评估和/或测试的系统。对于本发明的这个方面，存在与前面讨论的本发明的第一方面类似的优点及优选特征。
16.一些实施例的优点在于，提高了(有限的)量产平台资源用于开发使用新的传感器硬件的新的ads特征的利用率。
17.一些实施例的优点在于，由于对量产车队的有效利用，因此可以降低与用于自主和半自主车辆的“下一代”平台的开发和验证相关的成本。此外，减少了对大量“测试车辆”以及相关操作/驾驶人员的需求。
18.一些实施例的优点在于，可以实现有针对性的数据收集，因此可以减少需要存储并传输的数据总量(数据价值的最大化)。
19.一些实施例的优点在于，仅考虑针对ads特征的开发/评估/测试有价值的场景/情境，因此可以减少量产平台资源的不必要消耗，这是因为忽略了非相关的场景/情境(有针对性的数据收集)。
20.在从属权利要求中限定了本发明的其它实施例。应强调，术语“包括/包含”当在本说明书中使用时用来指明所陈述的特征、整体、步骤或部件的存在。它不排除一个或多个其它特征、整体、步骤、部件或它们的组的存在或添加。
21.本发明的这些和其它特征和优点将在下面参考下文中描述的实施例进一步阐明。
附图说明
22.本发明的实施例的其它目的、特征和优点将从以下参考附图的详细描述中显现，在附图中：
23.图1是根据一些实施例的用于车辆的传感器硬件的优先激活以进行ads特征的开发、评估和/或测试的方法的示意性流程图表示。
24.图2是根据一些实施例的用于车辆的传感器硬件的优先激活以进行ads特征的开发、评估和/或测试的方法的示意性流程图表示。
25.图3是根据一些实施例的用于车辆的传感器硬件的优先激活以进行ads特征的开发、评估和/或测试的方法的示意性过程图表示。
26.图4是根据一些实施例的用于车辆的传感器硬件的优先激活以进行ads特征的开发、评估和/或测试的系统的示意性框图表示。
27.图5是根据一些实施例的基于聚类的仲裁的示意图。
28.图6是车辆朝向外部对象沿道路部分移动的一系列示意性俯视图。
29.图7是根据一些实施例的车辆的示意性侧视图，该车辆包括用于车辆的传感器硬件的优先激活以进行ads特征的开发、评估和/或测试的系统。
具体实施方式
30.在以下的详细描述中，将描述本发明的实施例。然而，应理解，不同实施例的特征在实施例之间是可互换的，并且可以以不同的方式来组合，除非另外明确地指示。尽管在以下描述中阐述了许多具体细节以提供对本发明的更透彻的理解，但是对于本领域技术人员而言显而易见的是，可以在没有这些具体细节的情况下对本发明加以实践。在其它情况下，未详细描述众所周知的结构或功能，以免模糊本发明。
31.本领域技术人员将理解，本文中所解释的步骤、服务和功能可以使用单独的硬件电路、使用与编程微处理器或通用计算机一起工作的软件、使用一个或多个专用集成电路(asic：application specific integrated circuit)、现场可编程门阵列(fpga：field programmable gate arrays)和/或使用一个或多个数字信号处理器(dsp：digital signal processor)来实现。还将理解，当采用方法的形式来描述本公开时，本公开还可以体现在一个或多个处理器以及与一个或多个处理器耦接的一个或多个存储器中，其中一个或多个存储器存储一个或多个程序，当由一个或多个处理器执行时，一个或多个程序执行本文中公开的步骤、服务和功能。
32.用于开发、评估和测试目的的数据收集和管理可以被论证为用于实现高性能ads特征的成本最高的部分之一。通过使用已经在客户手中的车辆(在本文中，被称为量产车辆)来提供这些数据，既可以减轻对庞大的专用开发车辆车队的需求，又可以充分利用量产车辆(即，量产平台)中存在的可用资源。如所提及的，除上述内容之外，可能需要为车队中的至少一些车辆添加新的传感器(即，新的硬件)—无论是通过改装还是作为原装的一部分—用以能够开发出新的且更好的平台感知能力。因此，本文中公开的一些实施例提供了一种解决方案，用于决定这些“非平台原生”传感器中的哪些应是可操作的以及何时可操作，以便在平台的约束下跨传感器和ads特征组合来优化开发过程。
33.此外，车辆所面临的大部分状况或情境不太可能产生任何新的或相关的信息/数据以帮助进一步开发由例如ads的感知系统所使用的算法/模型。然而，确保提供相关信息的那些状况得到利用可能对于实现各种ads特征尤其是ads感知特征(诸如，例如对象检测、对象分类、自由空间估计和可驱动区域估计等)的有效开发过程而言是非常重要的。
34.在本上下文中，“ads特征”或“ads功能”可以被理解为功能或算法，该功能或算法以ads的控制块可以操作的格式来向ads的控制块提供对车辆周围世界的解释或理解。因此，在一些实施例中，“ads特征”是感知特征/功能，诸如例如对象检测算法、对象分类算法、自由空间估计算法、车道跟踪算法、道路边缘跟踪算法、对象移动预测算法、自由空间估计算法和可驾驶区域估计算法等。“自由空间估计”可以被理解为对自由空间区域的确定，即，对不存在外部对象(静态对象和动态对象)的区域的估计。人们可以以类似的方式来考虑对“可行驶区域”的估计，其中除了对不存在对象的区域(如在自由空间的情况下)的估计之外，“可行驶区域”估计还包括路面的存在。然而，在一些实施例中，“ads特征”可以是直接链接到传感器硬件的传感器软件，使得“ads特征的开发或评估”可以以提高传感器可靠性为目的。
35.一些实施例提供了在量产平台的约束下提高基于“新的”传感器硬件(即，非平台原生传感器硬件)的各种ads特征的开发效率的手段。例如，如果量产平台使用新型传感器(例如，新的激光雷达设备)进行更新，则会为此出现对新的/更新的ads特征的需求，这些新
的/更新的ads特征可以利用来自这种新型传感器的输出来进一步地扩展ads的能力。具体地，一些实施例提供了用于针对适用的ads特征的模块化开发(例如，评估和学习/训练)的方法和系统，以相对于ads特征的开发需求，在考虑到平台限制的同时，以高效且有效的方式来利用量产平台。
36.相应地，本文中的一些实施例提供了一种模块化架构/平台，用于如果输入数据是可用的，则开环(或者直接在车辆中—也被称为影子模式)或者追溯地进行ads特征的评估和/或学习。更详细地，该架构或平台有效地提供了一种决策，用于激活和停用一个或多个非平台原生传感器，以便提供需要此类输入数据(即，源自一个或多个非平台原生传感器的数据)的ads特征的所提出的模块化开发。然而，这种ads特征不必局限于该类型的输入数据，而是还可以进一步需要以来自平台原生传感器的传感器输出的形式的输入数据。
37.简言之，本文中提出的架构使用平台约束、ads特征间的优先级以及它们的开发需求作为“输入数据”，连同使用ads/车辆将暴露于其中的预测未来条件。处理该输入数据以便传递决策集，该决策集包括关于应针对哪些特征运行哪些开发任务以及何时运行的决策。例如，用于决定是否要存储传感器输出，或者是否应执行车辆内评估或学习周期。该决策集随后被合并以决定需要激活哪些传感器。一旦制定出这些决策，仲裁系统就可以根据哪些ads特征被暴露于哪些条件来进行更新，以便确保可以针对每个ads特征取得持续进展。相应地，本文中提出的架构能够实现依赖于新的硬件的新的ads特征的模块化开发。
38.图1是用于车辆的传感器硬件的优先激活以进行ads特征的开发、评估和/或测试的方法s100的示意性流程图表示。具体地，方法s100适用于车辆的非平台原生(即，新的)传感器硬件的优先激活以进行ads特征的开发、评估和/或测试。
39.方法s100包括获取s101指示车辆的平台约束集的数据。根据一些实施例，平台约束集包括可用功率、可用计算能力、可用数据存储容量和用于数据传输的可用带宽中的至少一个。
40.一般而言，术语“指示”一些信息“的数据”可以被理解为“包括”该信息的“数据”、“与”该信息“相关”但可基于其来导出该信息的“数据”或者采用了指向可从其中检索出该信息的源的指针的形式的数据。
41.进一步地，方法s100包括获取s102指示针对多个ads特征中的每一个的需求集的数据。根据一些实施例，针对多个ads特征中的每一个的需求集包括估计的功耗、估计的计算资源需求、估计的数据存储需求和估计的带宽需求。因此，针对ads特征的“需求集”可以被理解为“算法开发需求集”。
42.更进一步地，方法s100包括获取s103指示针对多个ads特征的优先级方案的数据。在一些实施例中，优先级方案包括每个ads特征相对于多个ads特征中的其它ads特征的预定义开发优先级。
43.方法s100进一步包括获取s104指示车辆周围环境中的预计该车辆将在未来时刻暴露于其中的预测场景或情境的数据。“情境”可以被理解为多个“场景”的时间进展，或者可替代地被表述为一系列连续的“场景”。一般而言，“未来时刻”可以在距当前时刻的几秒钟(例如，1-59秒)之内，或距当前时刻的几分钟(例如，1-20分钟)之内。此外，根据一些实施例，“未来时刻”是当前驾驶会话内的未来时刻。
44.在一些实施例中，获取s104指示预测场景或情境的数据的步骤包括获取s118路线
数据，该路线数据指示车辆在未来时间点所处的地理位置。因此，路线数据可以包括从车辆的导航系统中提供的车辆计划路线。
45.获取s104指示预测场景或情境的数据的步骤可以进一步包括获取s106场景数据，该场景数据指示在未来时刻所处地理位置处的天气预报、一天中的时间、交通条件和环境条件中的至少一个。例如，“交通条件”可以是交通密度(例如，交通拥堵、交通密集(高峰期交通)、交通通畅)。例如，“环境条件”可以是有道路障碍物、车道数量和有合并车道等。
46.此外，获取指示预测场景或情境的数据的步骤可以进一步包括基于所获取s118的路线数据和所获取s106的场景数据来预测s107车辆周围环境中的预计该车辆将在未来时刻暴露于其中的场景或情境。换言之，预测场景或情境可以被理解为由相关度量集组成的预测条件集，例如，所计划的路线和将穿越哪些道路条件以及预测的天气和交通条件。
47.相应地，指示预测场景或情境的数据可以被理解为预计车辆将在未来时刻(例如，从现在起30秒内)暴露于其中的预测条件集。例如，路线数据可以指示预计车辆将在从当前时刻起30秒内在快速路或控制进入的高速公路中的特定部分上行驶。此外，场景数据可以指示快速路中的一部分的天气预报是下雨，并且一天中的时间可以指示车辆在未来时刻将在夜间(即，在低光照条件下)行驶。
48.在一些实施例中，方法s100进一步包括评估s108预测场景或情境以确定分数，该分数指示针对多个ads特征中的每一个在预测场景或情境处使用由所激活的传感器硬件生成的输出数据中的至少一部分作为输入的潜在开发收益。更详细地，可以通过将预测场景或情境(即，预测条件)与针对每个ads特征的“相关评估条件”集进行比较来导出潜在开发收益。
49.在一些实施例中，相关评估条件集以先前收集到的已被用于开发ads特征的数据(即，ads特征已暴露于其的传感器数据)连同ads特征的预定义规范和预定义操作设计域(odd：operational design domain)为基础。此外，相关评估条件集可以进一步受特定于传感器硬件的类型的操作条件的限制。换言之，针对ads特征的“相关评估条件”指示需要由所激活的传感器硬件生成的输出数据中的特定内容以便能够以优化方式来评估ads特征的性能和/或更新ads特征。操作设计域(odd)应被理解为对自动或半自动驾驶系统(即，ad或adas)被设计为在其下运行的操作条件的描述，包括但不限于地理、道路(例如，类型、表面、几何形状、边缘和标记)、环境参数、连通性、周围对象、交通参数和速度限制。因此，与上面的说明性示例结合，其中预测场景或情境指示车辆将在下雨条件下在夜间行驶在快速路上。然后，假设第一ads特征的“相关评估条件”指示第一ads特征将从暴露于这些条件中大大受益，则为第一ads特征确定高的潜在开发收益分数。然而，第二ads特征的“相关评估条件”指示低速且明亮照明条件下的密集城市交通。换言之，夜晚下雨超出了第二ads特征的odd。相应地，相对于第一ads特征的潜在开发收益分数，可以为第二ads特征确定较低的潜在开发收益分数。此外，还有更进一步的参数(如前文中关于路线和场景数据已举例说明的)可被用于确定ads特征在当前背景下的潜在开发收益。然而，这些被认为是本领域技术人员容易理解的，并且为了简洁明了起见，将不再详细地进行阐述。一般而言，如果数据之前没有使用该传感器硬件收集过并且如果它在该ads特征和传感器硬件的规范/odd范围内，则认为该数据是有价值的(即，与高开发收益相关联)。
50.此外，在一些实施例中，通过启发式算法(即，基于规则的算法)来执行评估s108预
测场景或情境的步骤。更详细地，通过设置特定的规则集(通用于或特定于每个ads特征)，就可以在考虑了针对每个ads特征的相关评估条件的情况下有效地评估预测情境。
51.此外，在一些实施例中，通过聚类算法来执行评估s108预测场景或情境的步骤。图5示意性地描绘了根据一些实施例的基于聚类的仲裁的示例。
52.图5的顶部图示了如何配置聚类算法41来将每个ads特征的相关评估条件42a-42c进行聚类。如所提及的，可以从先前收集到的被用于开发ads特征的传感器数据以及ads特征的预定义规范和预定义操作设计域中建模/获取相关评估条件42a-42c。聚类算法41可以是本领域技术人员容易理解的任何适当的算法，诸如例如k均值聚类算法、均值偏移聚类算法和基于密度的有噪声的空间聚类应用(dbscan：density-based spatial clustering of applications with noise)聚类算法等。
53.一旦聚类算法41针对多个ads特征形成了“训练聚类”(也可以被称为子聚类)44a-44c，就可以处理预测场景或情境40，并将其放置在同一“聚类空间”43中。然后，在一些实施例中，基于所放置的预测场景或情境40在聚类空间中相对于每个子聚类44a-44c的位置(参见图6的底部)来确定指示潜在开发收益的分数。换言之，距离d1-d3可以被用于确定指示潜在开发收益的分数，其中较小距离指示相比较大距离更高的开发收益。
54.换言之，评估当前场景或情境的步骤可以相应地包括通过聚类算法41来处理预测场景或情境40，以便将预测场景或情境40放置在聚类空间43中。聚类空间指示基于针对多个ads特征中的每个ads特征的预定义评估条件集而形成的子聚类(训练聚类)44a-44c。进一步地，该方法可以包括基于在聚类空间43中放置的预测场景或情境相对于每个子聚类44a-44c的位置来确定指示潜在开发收益的分数。
55.返回图1，方法s100进一步包括基于平台约束、需求集、优先级方案以及预测场景或情境来生成s105仲裁信号，该仲裁信号指示针对多个ads特征中的至少一个的传感器硬件激活以及车辆平台的资源分配。
56.然而，如所提及的，方法s100可以进一步包括评估s108预测场景或情境以针对每个ads特征确定指示潜在开发收益的分数。相应地，在一些实施例中，进一步根据所确定的“开发收益分数”和优先级方案来生成s105指示传感器硬件激活和资源分配的仲裁信号。
57.进一步地，在一些实施例中，方法s100进一步包括根据仲裁信号来激活s109传感器硬件。换言之，一旦接收到“肯定”仲裁信号，就激活s109该仲裁信号中指示的传感器硬件。
58.转向图2，图2是图1中所描绘的用于车辆的传感器硬件的优先激活以进行ads特征的开发、评估和/或测试的方法s100的流程图表示的继续。更详细地，图2图示了具有在激活s109传感器硬件之后发生的方法/过程步骤的一些示例实施例。
59.相应地，根据一些实施例，一旦传感器硬件已被激活，方法s100就可以进一步包括在一时间段期间存储由所激活的传感器硬件生成的第一组传感器数据。然后，基于由仲裁信号指示的资源分配，方法s100可以进一步包括以下项中的至少一项：
60.·
将第一组传感器数据中的至少一部分传输s111到远程实体以用于离线处理。
61.·
根据资源分配，使用第一组传感器数据中的至少一部分作为输入来评估s112至少一个ads特征的输出。
62.·
根据资源分配，使用第一组传感器数据中的至少一部分作为输入来更新s113至
少一个ads特征。
63.进一步地，根据一些实施例，方法s100包括在一时间段期间存储s114由车辆的平台原生传感器生成的第二组传感器数据。然后，基于由仲裁信号指示的资源分配，执行以下项中的至少一项：
64.·
将第二组传感器数据中的至少一部分传输到远程实体以用于离线处理。
65.·
根据资源分配，使用第二组传感器数据中的至少一部分作为输入来评估至少一个ads特征的输出。
66.·
根据资源分配，使用第二组传感器数据中的至少一部分作为输入来更新至少一个ads特征。
67.术语“传感器数据”在本文中被广义地解释，并且可以包括从ads的感知模块125获取的原始的传感器数据和/或处理后的传感器数据(例如，对象级数据)(即，感知数据)。换言之，所存储的传感器数据可以例如是从第一时间点t1到第二时间点t2连续地和/或间歇地导出的、检测到的对象或对象的状态和/或车辆的定位和/或未来状态的统计和物理模型预测。传感器数据可以存储在数据储存设备(诸如数据缓冲器)中。该时间段以及相应的可选数据缓冲区的长度可以是任何被认为可行的任意大小，例如，考虑到数据容量限制和/或ads的特性，范围可以例如从不到一秒到几分钟，或者更优选地，从几秒到少于一分钟。
68.术语“存储”一系列数据可以指“存储在一个或多个存储器中”、“存储在该车辆上”、“存储在该车辆上的一个或多个存储器中”和/或“以数字和/或电子方式存储”一系列数据，并且进一步指“收集”和/或“获取”一系列数据。另一方面，术语“一系列”数据可以指数据的“数量”、“系列”、“连续流和/或间歇流”和/或“收集”，而“数据”可以指“持续地和/或间歇地收集的数据”。此外，术语“感知”数据可以指“环境评估”数据、“感测”数据和/或“时间依赖性”数据，而“数据”可以指“信息”和/或“估计”。短语在一时间段“期间”存储可以指“针对”一时间段进行存储，而“范围”从第一时间点到第二时间点的时间段可以指从第一时间点“延伸”和/或“发生”到第二时间点的时间段。“时间段”可以指“可预定的时间段”和/或“预定的时间段”。另一方面，“时间点”可以指“时间上的点”，而“从第一时间点到第二时间点”可以指“从第一时间点到随后的第二时间点”。
69.进一步地，根据正在开发的ads特征的类型，将需要不同的平台资源集。此外，可以在线(即，在车辆中)评估和/或更新在量产平台中存在的针对检测能力的改进(例如，在计算足迹、执行时间等方面)的ads特征(例如，ads感知特征/功能)。另一方面，一些ads特征需要训练数据，这些训练数据无法通过与量产输出的比较“被注释”，并且因此为了更新ads特征将需要进行非车载处理。然而，这些仍然可以通过使用量产输出导出性能指标来在线评估。
70.因此，本文中针对ads特征提出了三种不同的可能轨迹：(1)传输数据以用于非车载处理和非车载更新；(2)在线评估；以及(3)在线更新，例如根据联合学习方案。附加地，在(2)中，可以考虑(i)仅发送评估结果，或者(ii)发送整个输入数据(用于评估)以用于非车载处理，例如，如果评估中满足特定阈值。此外，在一些实施例中，本文所讨论的ads特征被限定为需要来自非平台原生传感器(即，“激活s109的传感器硬件”)的输出的ads特征。然而，ads特征不必限于仅依赖于这种类型的输入，而是可以进一步利用由量产平台生成的传感器数据。
71.参考前面提及的“第二轨迹”，评估过程可以例如根据通过引用被并入本文的、标题为“车辆adas或自动驾驶特征的性能监控和评估(performance monitoring and evaluation of a vehicle adas or autonomous driving feature)”的欧洲专利申请第ep19204278.6号的教导来进行。此外，在线更新过程可以例如根据通过引用被并入本文的、标题为“用于自动驾驶系统的感知系统开发的平台(platform for perception system development for automated driving systems)”的欧洲专利申请第ep21158017.0号的教导来进行。
72.简言之，对于评估过程，将所评估的ads特征的输出与“量产基本事实”(也可以被称为“基线世界视图”)即ads世界视图的后处理后的版本进行比较。前面提及的“第三轨迹”(即更新过程)基于类似的方法，其中，后处理后的世界视图，即“量产基本事实”或“基线世界视图”，可以被用作“被注释”的数据或自我监督训练方案中的监督信号。参考图6来进一步地举例说明后处理。术语“世界视图”可以被理解为来自ads的感知输出，即，包括车辆周围环境的表示的数据，该表示基于传感器数据和被配置为将传感器数据处理为场景理解的各种算法/模型。
73.更具体地，图2描绘了车辆1朝向外部对象24沿道路部分移动的一系列(a)-(d)示意性俯视图。每个图示与范围从第一时刻t1到第二时刻t2的时间段21内的时间点相关联。
74.在第一个图示(a)中，车辆1(也可以被称为自我车辆1)正在朝向外部对象移动，在此，外部对象采用卡车24的形式，并且在道路部分的相邻车道上沿相同方向行驶。然而，由于到卡车24的距离，车辆的感知系统/模块可能无法以足够高的精确度来确定该外部对象的位置并将其分类为卡车。这由包围卡车24的框22a以及卡车24的“模糊化的”表示来指示，该“模糊化的”表示被用于示意性地指示检测和分类的“不确定性”。
75.在随后的时刻，即图2的图示(b)，车辆1更靠近该外部对象，与图示(a)中的情况相比，关于外部对象24的位置及类别/类型的不确定性减少，如由框22b的缩小尺寸以及“模糊”的汇聚所指示的。
76.在随后的另一时刻，即图2的图示(c)，车辆1的感知系统/模块能够准确地确定外部对象2的位置并将其分类为卡车2。更具体地，与自我车辆1距离卡车更远时相比，自我车辆1现在离卡车2足够近，能够对其进行分类并以更高的精确度来估计该卡车在道路上的位置。
77.然后，通过适当的过滤技术并基于“情境”的时间进展，人们能够在t1和t2之间的中间时间点23处建立“世界视图”，如图2中的底部图示中所指示的，即在图2的图示(d)中。更详细地，该过滤可以例如基于轨迹、位置等的时间进展，并结合车辆1和外部对象2的预定义模型(例如，运动模型)。该建立的世界视图随后可被用作“基本事实”，用于对各种感知输出进行训练和/或验证，并且具体地用于对从本文中的一个或多个ads特征获取的输出进行训练和/或验证。因此，在一些实施例中，后处理后的世界视图构成针对ads特征的输出的基本事实。
78.根据一些实施例，时间段的范围从第一时间点到第二时间点，并且在该时间段期间存储由ads的感知系统输出的感知数据。相应地，对感知数据进行后处理的步骤可以包括：基于对从第二时间点回到第一时间点t1与第二时间点t2之间的中间时间点的范围内的感知数据的一部分进行后处理来确定训练数据，该训练数据指示车辆周围环境(例如，从鸟
瞰视图的角度来看)。相应地，后处理后的感知数据取决于感知数据的该部分。此外，根据一些实施例，对感知数据的该部分的后处理包括通过反向过滤器来运行感知数据的该部分。在此，反向过滤器被配置为基于感知数据的一组感知参数从中间时间点到第二时间点t2的状态的进展，在中间时间点将该组感知参数对齐。术语“感知参数”可以例如包括一个或多个对象类、对象位置/边界框、道路边缘估计、道路几何估计等。
79.换言之，随着时间从中间时间点23到第二时间点t2的推移，对车辆1的周围环境的了解不断增加，并且通过在反向时间方向上分析数据，人们可以能够在中间时间点以比在“运行时间”时所能达到的更高的精确度来确定车辆1的周围环境中的对象的“状态”(即，类别、位置、轨迹等)。更详细地，后处理可以例如包括通过反向过滤器来运行感知数据，该反向过滤器被配置为例如将对象当前的和预测的未来状态与未来(即，从中间时间点到第二时间点t2)发生的情况对齐。后处理可以包括相较于通过反向过滤器对其进行运行更进一步的处理步骤。更具体地，后处理可以包括融合来自各种传感器的数据，以及对融合后的信息应用反向和前向过滤。用于此目的的适当过滤器可以是例如粒子过滤器或不同类型的卡尔曼过滤器(kalman filter)(例如，扩展的卡尔曼过滤器)。
80.相应地，当获取到特定时间段的后处理后的世界视图时，可以比较对应的输出，即来自主题ads特征的输出，该来自主题ads特征的输出至少部分地基于源自同一时间段的来自所激活的传感器硬件的数据。然而，感知数据的后处理并不是用于执行评估或更新过程的基本要求，这是因为在某些情况下，仅使用来自量产平台的感知模块/系统的输出与主题ads特征的输出进行比较就足够了。
81.继续，图3是示出根据一些实施例的用于车辆的传感器硬件的优先激活以进行ads特征的开发、评估和/或测试的方法的示意性过程图。更详细地，图4示出了从接收到针对特定(非平台原生)传感器的肯定仲裁信号直到接收到否定仲裁信号为止的处理流程。在此，仲裁信号被认为指示特定传感器硬件应在时间t0激活s201。此外，仲裁信号指示记录/评估应在时间t1开始s201，在时间t2停止s203，然后在时间t3停用s204传感器硬件。
82.此外，由于可能有若干个ads特征使用相同的传感器输出数据作为输入，因此可以基于每个受影响的ads特征的需要来确定该时间段(在t0与t3之间)。换言之，在特定时隙(参见例如，t
a1_s
至t
a1_e
、t
a2_s
至t
a2_e
以及t
am_s
至t
am_e
)为每个ads特征分配一些平台资源，并且可以从这些分配的时隙中导出传感器的“激活时间”的持续时间。在此，“s”和“e”分别被用于指示“开始”和“结束”。因此，在一些实施例中，仲裁信号进一步指示一个或多个时隙，在该一个或多个时隙中为一个或多个ads特征分配平台资源。
83.如前所提及的，由仲裁信号所指示的资源分配可以进一步控制是否为特定ads特征分配平台资源以用于将传感器输出传输s205到远程实体或用于在线(即，在车辆中)评估/更新s206 ads特征。
84.可选地，用于执行这些功能的可执行指令被包括在非暂时性计算机可读存储介质中或者在被配置为由一个或多个处理器执行的其它计算机程序产品中。
85.图4是用于车辆的传感器硬件的优先激活以进行ads特征的开发、评估和/或测试的系统10的示意性框图表示。系统10使用平台约束121、ads特征间的开发优先级122和针对每个ads特征的算法开发需求123连同车辆将暴露于其中的预测场景/情境一起作为对仲裁模块127的输入。预测场景/情境可以由预测模块125生成，并且可以采用该车辆将在未来时
刻暴露于其中的周围环境预测条件集的形式。进一步地，这些输入随后由仲裁模块127处理以传递决策集，该决策集包括：
86.·
针对哪个ads特征运行什么开发任务(数据传输、评估、更新)的决策。
87.·
在什么时间(例如，采用分配的时隙的形式)针对每个ads特征运行开发任务的决策。
88.·
在什么时间(例如，采用分配的时隙的形式)激活哪个传感器硬件150a-150n的决策。
89.这些决策可以由在仲裁模块27的输出处生成的仲裁信号来指示，并随后作为输入被提供给控制模块140。控制模块140被配置为合并(每个特征的)这些决策，从而决定需要激活哪些传感器150a-150n。相应地，控制模块140被配置为根据所生成的仲裁信号来激活传感器硬件150a-150n。
90.如本领域技术人员容易理解的，本文所公开的模块和引擎可以包括用于执行所描述的功能的任何适当的硬件和/或软件部件。更详细地，模块和引擎可以包括一个或多个处理器以及与一个或多个处理器耦接的一个或多个存储器，其中一个或多个存储器存储一个或多个程序，当由一个或多个处理器执行时，一个或多个程序执行本文中公开的步骤、服务和功能。
91.更详细地，预测模块125可以被配置为获取路线数据124a，路线数据124a指示车辆在未来时间点的地理位置。此外，预测模块125可以被配置为获取场景数据，该场景数据指示在未来时刻所处地理位置处的天气预报124b、地图数据124c、一天中的时间124d、一个或多个交通条件124e以及一个或多个环境条件124f中的至少一个。预测模块125可以进一步被配置为基于所获取的路线数据124a和场景数据124b-124f来预测车辆周围环境中的预计该车辆将在未来时刻暴露于其中的场景或情境。
92.在图4所描绘的示例实施例中，仲裁模块包括两个部件，即比较器128和优化器129。比较器128被配置为将预测条件(即，预测场景/情境)与每个ads特征的相关评估条件进行比较。优化器129被配置为基于来自比较器128的输出以及平台约束121、优先级方案122和开发需求集123来提供优化的仲裁决策。此外，一旦已经制定出仲裁模块127的决策，针对每个ads特征的评估条件就可以被反馈给仲裁模块127，并且更具体地，可以被反馈给比较器128以便基于制定出的决策来更新针对每个ads特征的相关评估条件。例如，如果ads特征刚刚暴露于基于雨天条件下的传感器数据的更新过程，则可以减少对在雨天条件下进一步训练数据的“需要”。由此可以使“相关评估条件”保持最新，并且可以进一步提高系统10的整体效率。
93.如所提及的，比较器128可以例如通过针对每个ads特征建模的相关评估条件的聚类来实现。因此，在一些实施例中，比较器包括配置有建模的“相关评估条件”的聚类算法。然后，通过使用所形成的聚类空间内的预测条件(即，预测场景/情境)的位置，比较器可以被配置为确定从预测条件的位置到针对每个特征的相关评估条件的距离。相应地，在示例实施例中，这是关于在预测条件下评估哪个特征最有用而实现的不同特征之间的区别性度量。
94.进一步地，控制模块140可以被配置为在一时间段期间存储由所激活的传感器硬件150a-150n生成的第一组传感器数据。此外，根据一些实施例，系统10进一步包括开发引
擎/模块130，开发引擎/模块130被配置为根据由仲裁信号所指示的资源分配来执行数据传输、评估和/或更新过程。更详细地，开发引擎/模块130可以包括评估引擎/模块131，评估引擎/模块131被配置为根据资源分配，使用所存储的第一组传感器数据中的至少一部分作为输入来评估至少一个ads特征的输出。此外，开发引擎/模块130可以包括学习引擎/模块132，学习引擎/模块132被配置为根据资源分配，使用所存储的第一组传感器数据中的至少一部分作为输入来更新至少一个ads特征。此外，在一些实施例中，控制电路被配置为将所存储的第一组传感器数据中的至少一部分传输到远程实体以用于离线处理。通过将数据传输到远程实体(例如，后台或车队管理系统)，可以手动注释所存储的第一组传感器数据，并且然后在受影响的ads特征的主要更新过程中加以利用。数据的传输可以例如由通信模块133经由诸如蜂窝网络(例如4g、nr/5g)的外部通信网络来执行。
95.在一些实施例中，控制模块140可以被配置为在一时间段期间存储由车辆的平台原生传感器(即，由车辆的“量产传感器”)生成的第二组传感器数据160。此外，根据一些实施例，开发引擎/模块130被配置为根据由仲裁信号指示的资源分配，使用第二组传感器数据160来执行数据传输、评估和/或更新过程。更详细地，评估引擎/模块131可以被配置为根据资源分配，使用所存储的第二组传感器数据160中的至少一部分作为输入来评估至少一个ads特征的输出。此外，学习引擎/模块132可以被配置为根据资源分配，使用所存储的第二组传感器数据160中的至少一部分作为输入来更新至少一个ads特征。此外，在一些实施例中，控制电路被配置为将所存储的第二组传感器数据160中的至少一部分传输到远程实体以用于离线处理。
96.如所提及的，本文所讨论的ads特征限于需要来自非平台原生传感器150a-150n的输出的ads特征。然而，ads特征不必限于仅依赖于这种类型的输入，而是可以进一步利用由量产平台生成的传感器数据160。
97.传感器数据可以存储在数据储存设备126(诸如数据缓冲器)中。该时间段以及相应的可选数据缓冲区的长度可以是任何被认为可行的任意大小，例如，考虑到数据容量限制和/或ads的特性，范围可以例如从不到一秒到几分钟，或者更优选地，从几秒到少于一分钟。
98.图7是根据本文所公开的任何实施例的车辆1的示意性侧视图图示，车辆1包括用于车辆的传感器硬件的优先激活以进行ads特征的开发、评估和/或测试的系统10。车辆1进一步包括感知系统6(也可以被称为感知模块或感知块)和定位系统5。感知系统6在本上下文中被理解为如下系统，该系统负责从车载传感器6a、6b、6c、150(诸如摄像头、激光雷达和雷达、超声波传感器)获取原始传感器数据并将该原始数据转换为场景理解。在此，传感器6a、6b、6c可以被称为“平台原生传感器”，而传感器150可以被称为如前述所定义的非平台原生传感器。定位系统5被配置为监测车辆的地理位置和行驶方向，并且可以采用全球导航卫星系统(gnss)的形式，诸如gps(或它的任何其它区域性变体)。然而，定位系统可以可替代地被实现为实时动态(rtk：real time kinematics)gps，以提高准确性。
99.更详细地，感知系统/块6可以指代任何公知的系统和/或功能，例如被包括在车辆1的一个或多个电子控制模块和/或节点中，并且被自适应为和/或被配置为对与车辆1的驾驶相关的感测信息进行解释，用以识别例如障碍物、车道、相关标志物、适当的导航路径等。因此，示例性的感知系统6可以被自适应为依赖并获取来自多个数据源(诸如汽车成像、图
像处理、计算机视觉和/或车内网络等)的输入，并与感测信息相结合。这种示例性的感测信息可以例如从一个或多个可选的周围检测传感器6a-6c、150导出，周围检测传感器6a-6c、150被包括在车辆1中和/或设置在车辆1上。周围检测传感器6a-6c、150可以由被自适应为对车辆1的周围环境和/或行踪位置进行感测和/或感知的任意传感器来表示，并且例如可以指雷达、激光雷达、声纳、摄像头、里程表和/或惯性测量单元中之一或者它们中的一个或多个的组合。
100.系统10包括一个或多个处理器11、存储器12、传感器接口13和通信接口14。处理器11也可被称为控制回路11或控制电路11。控制电路11被配置为执行存储在存储器12中的指令，以执行根据本文中公开的任一实施例的用于车辆的传感器硬件的优先激活以进行ads特征的开发、评估和/或测试的方法。换言之，控制设备10的存储器12可以包括用于存储计算机可执行指令的一个或多个(非暂时性)计算机可读存储介质，计算机可执行指令在由一个或多个计算机处理器11执行时例如可以使计算机处理器11执行本文中描述的技术。存储器12可选地包括高速随机存取存储器，诸如dram、sram、ddr ram或其它随机存取固态存储器设备；并且可选地包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、闪存设备或其它非易失性固态存储设备。
101.进一步地，车辆1可以经由例如无线链路连接到外部网络2(例如，用于检索地图数据、一个或多个ads特征的“全局”更新或者与ads特征相关联的任何方案/需求的更新)。相同的或一些其它的无线链路可被用于与车辆附近的其它车辆或与本地基础设施元件进行通信。蜂窝通信技术可被用于远程通信，诸如与外部网络的通信，并且如果所使用的蜂窝通信技术具有低时延，则它也可被用于车辆之间、车辆到车辆(v2v)之间和/或车辆到基础设施(v2x)之间的通信。蜂窝无线电技术的示例是gsm、gprs、edge、lte、5g和5g nr等，还包括未来的蜂窝解决方案。然而，在一些解决方案中，使用了中短程通信技术，诸如无线局域网(lan)，例如基于ieee802.11的解决方案。etsi正在制定用于车辆通信的蜂窝标准，并且例如，由于低时延以及对高带宽和通信通道的高效处理，5g被认为是适当的解决方案。
102.以上已经参考具体实施例呈现了本发明。然而，除了以上描述的实施例之外的其它实施例也是可能的并且在本发明的范围内。在本发明的范围内，可以提供与以上描述的方法步骤不同的、通过硬件或软件执行该方法的方法步骤。因此，根据示例性实施例，提供了一种非暂时性计算机可读存储介质，该非暂时性计算机可读存储介质存储一个或多个程序，该一个或多个程序被配置为由车辆控制系统的一个或多个处理器执行，该一个或多个程序包括用于执行根据以上讨论的实施例中的任一个实施例的方法的指令。可替代地，根据另一示例性实施例，云计算系统可以被配置为执行本文中呈现的任何方法。云计算系统可以包括分布式云计算资源，该分布式云计算资源在一个或多个计算机程序产品的控制下联合地执行本文中呈现的方法。
103.一般而言，计算机可访问介质可以包括任何有形的或非暂时性存储介质或存储器介质，诸如电子介质、磁性介质或光学介质(例如经由总线耦合到计算机系统的磁盘或cd/dvd-rom)。如本文中所使用的，术语“有形的”和“非暂时性”旨在描述排除传播电磁信号的计算机可读存储介质(或“存储器”)，但不旨在以其它方式限制短语计算机可读介质或存储器所涵盖的物理计算机可读存储设备的类型。例如，术语“非暂时性计算机可读介质”或“有形的存储器”旨在涵盖不必永久地存储信息的存储设备的类型，包括例如随机存取存储器
(ram)。以非暂时性形式存储在有形的计算机可访问存储介质上的程序指令和数据可以进一步通过传输介质或可以经由通信介质(诸如网络和/或无线链路)传送的信号(诸如电信号、电磁信号或数字信号)来传输。
104.(与系统10相关联的)处理器11和仲裁模块可以是或包括用于进行数据或信号处理或者用于执行存储在存储器12中的计算机代码的任何数量的硬件部件。设备10具有相关联的存储器12，并且存储器12可以是用于存储数据和/或计算机代码的一个或多个设备，该数据和/或计算机代码用于完成或促进本说明书中描述的各种方法。存储器可以包括易失性存储器或非易失性存储器。存储器12可以包括数据库部件、对象代码部件、脚本部件或用于支持本说明书的各种活动的任何其它类型的信息结构。根据示例性实施例，任何分布式的或本地的存储器设备可以与本说明书的系统和方法一起使用。根据示例性实施例，存储器12(例如，经由电路或任何其它有线连接、无线连接或网络连接)可通信地连接到处理器11，并且包括用于执行本文中描述的一个或多个过程的计算机代码。
105.应理解，传感器接口14还可以提供直接从传感器6a-6c、150或通过车辆中的专用传感器控制电路6来获取传感器数据的可能性。通信/天线接口13可以进一步提供通过天线8将输出发送到远程位置(例如，远程操作者或控制中心)的可能性。此外，车辆中的一些传感器可以使用本地网络设置(诸如can总线、i2c、以太网和光纤等)与系统10进行通信。通信接口13可以被布置为与车辆的其它控制功能进行通信，并且因此也可以被视为控制接口；然而，可以提供单独的控制接口(未示出)。车辆内的本地通信也可以是具有诸如wifi、lora、zigbee、蓝牙或类似的中/短程技术的协议的无线类型。
106.相应地，应理解，描述的解决方案的部分可以在车辆中、在位于车辆外部的系统中或者在车辆内部与外部的组合中实现；例如在与车辆通信的服务器中，即所谓的云解决方案。例如，传感器数据或感知数据可以被发送到外部系统，并且该系统执行用于评估当前场景或情境的步骤。实施例的不同特征和步骤可以以不同于所描述的组合方式的其它组合方式来进行组合。
107.应注意，词语“包括”并不排除所列出的元件或步骤之外的其它元件或步骤的存在，并且元件之前的词语“一”并不排除多个这种元件的存在。应进一步注意，任何附图标记都不限制权利要求的范围，本发明可以至少部分地借助于硬件和软件两者来实现，并且若干“装置”或“单元”可以由硬件的相同项来表示。
108.尽管附图可以示出方法步骤的特定顺序，但是步骤的顺序可以与所描绘的顺序不同。另外，两个或更多个步骤可以同时地或部分同时地被执行。这种变化将取决于所选择的软件系统和硬件系统以及设计者的选择。所有这些变化都在本发明的范围内。同样地，软件实施方案可以利用具有基于规则的逻辑和其它逻辑的标准编程技术来完成，以完成各种连接步骤、处理步骤、比较步骤和判定步骤。以上提及的和描述的实施例仅作为示例给出，而不应限制本发明。在描述的专利实施例中所要求保护的本发明的范围内的其它解决方案、用途、目的和功能对于本领域技术人员来说应是显而易见的。