用于自主车辆的恶意事件检测的制作方法

1.本公开总体涉及自主车辆。更具体地，本公开涉及用于自主车辆的恶意事件检测。


背景技术：

2.自主车辆技术的一个目标是提供能够安全导航到目的地的车辆。在某些情况下，自主驾驶汽车在前往目的地的途中可能会遇到意想不到的情况。例如，自主车辆可能会遇到第三方(例如车辆、个体或行人)试图干预av的情况。例如，第三方可能试图迫使自主车辆偏离其预定的行驶路线或迫使自主车辆靠边停车。当前的自主驾驶汽车技术可能没有被配置为遇到特定的意外情况。


技术实现要素：

3.本公开认识到与检测影响自主车辆的恶意事件相关的各种问题和以前未满足的需求。当前的自主车辆技术可能未被配置为试图干预自主车辆(av)的车辆、个体或行人的恶意意图。例如，一个或多个车辆可能通过侵入与av之间的阈值距离内的空间来故意迫使av偏离其路线规划或行进路径。另一种情况是，一个或多个车辆可能故意迫使av靠边停车。另一种情况是，一个或多个车辆可能故意迫使av减速。导致上述事件的一个或多个车辆可能试图访问或窃取由av携带的货物，或av中存在的设备和自主技术。作为另一示例，一个或多个车辆可能有意或无意地与车辆相撞，然后逃离事故现场。
4.本公开的某些实施例通过检测阈值时间段内的系列事件，为当前自主车辆技术的技术问题提供了独特的技术解决方案，包括上面描述的那些问题，其中系列事件对应于恶意事件。例如，检测到的系列事件可以指示偏离常态模式，其中常态模式包括各种道路环境中的预期或可预测的场景。
5.各种道路环境可以包括例如当av在堵车中时。在该示例中，可以预期，av的传感器检测到堵车中的所有周围车辆都已停止或减速。这样，如果传感器检测到一个或多个周围车辆正在减速，而其他车辆没有减速，则av可以确定这种情况是偏离常态模式。常态模式下的道路环境的另一示例可以是当av沿着道路行驶时。在该示例中，可以预期，av的传感器检测到1)在av旁边行驶的车辆不会平行于av行驶超过阈值时间段，以及2)在av旁边行驶的车辆不会侵入与av之间的阈值距离超过阈值时间段。
6.在检测到偏离常态模式的系列事件后，升级要被处理的系列事件。例如，可以建立与av的通信路径，使得远程操作员可以从av处的通信模块看到和/或听到，以便阻止干预av的个体干预av。作为另一示例，可以向执法部门发送通知消息，指示av正在特定位置坐标处被干预。
7.在一个实施例中，一种系统包括av，该av包括至少一个车辆传感器，其中av被配置为沿着道路行进。该系统还包括可操作地被耦合到av的控制设备。控制设备从接收自车辆传感器的传感器数据中检测阈值时间段内的系列事件，其中系列事件中的事件数目高于阈值数目。在阈值周期内作为总体的系列事件偏离常态模式。常态模式包括av预期会遇到的
事件。控制设备确定系列事件是否对应于恶意事件。响应于确定系列事件对应于恶意事件，控制设备升级要处理的系列事件，其中升级系列事件包括执行至少一个对策来处理系列事件。至少一个对策包括在av和操作员之间建立通信路径，使得操作员能够与引起系列事件的同伴对话。
8.所公开的系统提供了若干实际应用和技术优势，包括：1)构建常态模式的技术，其中常态模式包括各种道路环境中的预期或可预测的场景；2)在阈值周期中检测系列事件并且确定系列事件是否偏离常态模式的技术，其中系列事件大于阈值事件数目；3)响应于确定系列事件对应于恶意事件而建立与av的通信路径的技术，其中该通信路径支持语音和视觉通信；4)响应于确定系列事件对应于恶意事件而向执法部门发送指示av在特定位置坐标处被干预的通知消息的技术；5)响应于确定系列事件对应于恶意事件而远程激活av的喇叭的技术；以及7)响应于确定系列事件对应于恶意事件而激活监督传感器以记录系列事件的技术，其中监督传感器被隐藏在视线之外。
9.这样，本公开中描述的系统可以被集成到确定用于检测作用于av的恶意事件的更高效、安全和可靠的解决方案的实际应用中。例如，所公开的系统可以确定在阈值时间段内检测到的系列事件偏离常态模式。所公开的系统可以将检测到的系列事件与常态模式进行比较。如果找到相应的预期场景，则所公开的系统确定系列事件(作为总体)不对应于恶意事件。然而，如果没有找到相应的预期场景，则所公开的系统确定系列事件(作为总体)对应于恶意事件。在另一示例中，所公开的系统可以确定在阈值时间段内检测到的系列事件中超过阈值数目的事件偏离常态模式。在另一示例中，所公开的系统可以将来自系列事件的每个事件与预期场景进行比较，以确定每个事件是否对应于预期场景。
10.此外，本公开中描述的系统可以被集成到确定更有效、安全和可靠的解决方案的附加实际应用中，以处理并且可能解决第三方干预av的情况。例如，所公开的系统可以建立与av的通信路径，并且使得远程操作员能够从av处的通信模块被看到和/或听到，以便阻止干预av的个体干预av。作为另一示例，所公开的系统可以远程激活av的喇叭，以便阻止干预av的个体干预av。作为另一示例，所公开的系统可以向执法部门发送通知消息，指示av正在特定位置坐标处被干预。
11.本公开的某些实施例可以包括这些优点中的一些、全部或无。从以下结合附图和权利要求书进行的详细描述将更清楚地理解这些优点和其他特征。
附图说明
12.为了更完整地理解本公开，现在参考以下结合附图和具体实施方式进行的简要描述，其中相似的附图标记表示相似的部件。
13.图1示出了根据本公开的某些实施例的被配置为检测自主车辆(av)的恶意事件的系统的实施例以及对应于恶意事件的示例系列事件的简化示意图；
14.图2示出了用于检测针对av的恶意事件的方法的示例流程图；
15.图3示出被配置为实现自主驾驶操作的示例av的框图；
16.图4示出了用于提供由图3的av使用的自主驾驶操作的示例系统；以及
17.图5示出了图3的av中包括的车载控制计算机的框图。
具体实施方式
18.如上所述，现有技术可能无法提供用于检测自主车辆的恶意事件的高效、可靠和安全的解决方案。本公开提供了各种系统、方法和设备，以用于1)提高行驶中的av的性能；2)为av、其他车辆和行人提供安全的驾驶体验；以及3)通过检测对应于恶意事件的系列事件、升级要被处理的恶意事件以及执行处理(并且可能解决)恶意事件的对策来保护由av所携带的货物。图1示出了被配置为检测av遇到的恶意事件的系统的实施例。图1还示出了沿着道路行进的av，在该道路上发生了异常系列事件的各种示例，每个事件单独对应于恶意事件或者作为总体对应于恶意事件。图2示出了用于检测针对av的恶意事件的方法的实施例的示例流程图。图3-5示出了示例av以及用于由av实现自主驾驶操作的各种系统和设备，包括本公开中描述的恶意事件检测操作。例如，图5示出了图3所示的示例av的示例控制设备，用于实现本公开中描述的恶意事件检测操作。
19.用于检测针对av的恶意事件的示例系统
20.图1示出了用于检测针对av 302的恶意事件112的系统100的实施例。图1还示出了包括对应于干预av 302的异常路况或系列事件114的各种示例的简化示意图102。在一个实施例中，系统100包括av 302和操作服务器140。系统100还可以包括应用服务器162、远程操作员164和网络184，网络184为系统100的所有所示组件提供通信路径，用于相互通信。系统100可以如图所示或任何其他合适的配置来配置。
21.通常，系统100检测可以对应于恶意事件112的系列事件114，其中恶意事件112指示第三方(诸如车辆122或行人)正在干预av 302。系列事件114包括在阈值时间段118内发生的高于阈值数目116的事件数目。例如，系列事件114可以包括第一事件104a和第二事件104b，它们在阈值时间段118内作为总体相当于偏离常态模式106的系列事件114。尽管本公开是关于作为总体偏离常态模式106的多于一个事件104的系列事件114进行详细描述的，但是应当理解，系统100还以与如何将系列事件114标识和升级为恶意事件112相同或相似的方式，将偏离常态模式106的单个事件104标识和升级为恶意事件112。下面将进一步详细描述常态模式106。简而言之，常态模式106包括预期由av 302在常态操作过程中遇到的事件或场景108。系统100可以从接收自与av 302相关联的传感器346的传感器数据178检测系列事件114。当在阈值时间段118内检测到系列事件114时，系统100确定系列事件114是否对应于恶意事件112。响应于确定系列事件114对应于恶意事件112，系统100升级要被处理的系列事件114。例如，控制设备350将系列事件114传送到操作服务器140以由远程操作员164处理。下面将进一步详细描述异常系列事件114的各种示例。下面的相应描述包括对系统100的某些组件的简要描述。
22.系统组件
23.在一个实施例中，av 302可以包括附接到拖车上的半拖车卡车单元，以将货物或货运从一个位置运送到另一位置(见图3)。在本公开中，半拖车卡车可以被称为av 302的驾驶室。av 302由图3-图5中详细描述的多个组件导航。在图3中更详细地描述了av 302的操作。下面的相应描述包括对av 302的某些组件的简要描述。简而言之，av 302包括车载控制计算机350，其操作以便于av 302的自主驾驶。在本公开中，车载控制计算机350可以互换地被称为控制设备350。
24.控制设备350通常被配置为控制av 302及其组件的操作。控制设备350还被配置为
确定在av 302前面可以安全行进并且没有对象/障碍物的路径，并且导航av 302以在该路径中行进。该过程在图3-图5中更详细地描述。
25.控制设备350通常包括与av 302的其他组件进行信号通信的一个或多个计算设备(参见图3)。控制设备350从位于av 302上的一个或多个传感器346接收传感器数据178，以确定安全行进路径。传感器数据178包括由传感器346捕获的数据。传感器346被配置为捕获其检测区或视野内的任何对象，诸如地标、车道标记、车道边界、道路120的边界、车辆122、行人、道路120/交通标志以及其他对象。传感器346可以包括相机、lidar传感器、运动传感器、红外传感器等。在一个实施例中，传感器346可以位于av 302周围以捕获av 302周围的环境。在一些情况下，传感器346可以在阈值时间段118内检测对应于恶意事件112的系列事件114。例如，传感器数据178可以包括指示阈值时间段118内的异常或不常态系列事件114的一个或多个指示。阈值时间段118可以被确定为30秒、1分钟、2分钟或任何其他适当的持续时间。
26.控制设备350分析传感器数据178，并且确定系列事件114是否对应于恶意事件112。例如，控制设备350可以将系列事件114与常态模式106进行比较，以确定系列事件114是否对应于任何预期场景108。
27.在一个实施例中，控制设备350可以单独地将来自系列事件114的每个事件104与常态模式106(或每个预期场景108)进行比较。例如，如果在阈值时间段118内检测到超过阈值数目116的事件104，使得这些事件104中的每个事件都不对应于常态模式106，则控制设备350可以确定这些事件104作为总体指示偏离常态模式106，并且对应于恶意事件112。
28.在一个实施例中，控制设备350可以将系列事件114作为整体与常态模式106(或预期场景108)进行比较。例如，如果作为整体的系列事件114不对应于任何预期场景108，则控制设备350可以确定系列事件114偏离常态模式106，并且对应于恶意事件112。换言之，如果找到相应的预期场景108，则控制设备350确定系列事件114作为整体不对应于恶意事件112。然而，如果系列事件114不对应于任何预期场景108，则控制设备350确定系列事件114对应于恶意事件112。
29.控制设备350与操作服务器140进行信号通信。控制设备350被配置为例如经由网络184将传感器数据178传递到操作服务器140。控制设备350可以周期性地(例如，每分钟、每几分钟、或任何其他合适的间隔)、连续地和/或在从操作服务器140接收到发送传感器数据178的请求后，将传感器数据178传递到操作服务器140。传感器数据178可以包括描述av 302周围环境的数据，诸如图像馈送、视频馈送、lidar数据馈送以及从传感器346的视场捕获的其他数据。传感器数据178还可以包括与av 302相关联的位置坐标138。关于控制设备350的进一步描述，参见图3的相应描述。
30.操作服务器140通常被配置为监管av 302的操作。下面进一步描述操作服务器140的细节。简而言之，操作服务器140包括处理器142、存储器144、网络接口146和用户接口148。操作服务器140的组件可操作地彼此耦合。
31.处理器142可以包括执行本文描述的各种功能的一个或多个处理单元。存储器144存储处理器142用以执行其功能的任何数据和/或指令。例如，存储器144存储软件指令168，当由处理器142执行时，该软件指令168使得操作服务器140执行本文描述的一个或多个功能。
32.操作服务器140与av 302及其组件进行信号通信。操作服务器140被配置为从控制设备350接收传感器数据178和系列事件114，分析它们，并且作为响应，确认(或更新)控制设备350关于系列事件114是否对应于恶意事件112的确定。
33.操作服务器140还被配置为通过分析传感器数据178来检测由av 302行进的道路120上和周围的对象。例如，操作服务器140可以通过实现对象检测机器学习模块158来检测道路120上和周围的对象。对象检测机器学习模块158可以使用用于从图像、视频、红外图像、点云、雷达数据等检测对象的神经网络和/或机器学习算法而被实现。下文将更详细地描述对象检测机器学习模块158。
34.常态模式
35.常态模式106通常包括预期av 302会遇到的场景108。常态模式106由常态模式构建引擎110构建或生成。下文进一步描述常态模式构建引擎110。例如，常态模式106可以由执行软件指令168的处理器142构建。
36.常态模式106通常对应于预期或可预测的场景108，其指示在各种情况下1)av 302的预期动作或行为，以及2)传感器346的检测区内外的对象的预期动作或行为，包括移动对象(诸如车辆122、行人等)以及静态对象(诸如交通灯126等)。例如，常态模式106可以包括在av 302在堵车中、在交通灯126后面、检测到与车辆122或物体124的撞击或碰撞的情况下的预期场景108，以及下面描述的其他情况。
37.作为示例，在常态模式106中的第一预期场景108可以指示当av 302处于拥堵的堵车中或在交通灯126之后时，预期围绕av 302的车辆122减速或已经停止。因此，在传感器346检测到av 302周围的特定车辆122正在减速并且传感器346没有检测到交通灯126或堵车的情况下，控制设备350确定该情况可能偏离常态模式106。控制设备350可以通过检测到其他车辆122(例如，车辆122e和122f)没有减速来确定没有堵车，其中没有减速的车辆122可以在与av 302行驶的车道相同的车道或不同的车道上。控制设备350还可以例如根据实况交通报告等从交通数据156确定在av 302之前没有堵车。
38.在特定示例中，偏离常态模式106中的第一预期场景108可以包括如下指示：指示av 302周围的多个车辆122正在减速(例如，车辆122a-b、车辆122a-c或车辆122a-d)，并且试图迫使av 302减速，同时传感器346没有检测到堵车或交通灯126。换言之，av 302周围的多个交通工具122阻碍av 302的行进，以将av 302“围起来(box-in)”。这样，车辆122可以迫使av 302减速、靠边停车或偏离其路线规划152。因此，在传感器346检测到av 302周围的车辆122正在减速，同时传感器346没有检测到堵车或交通灯126的情况下，控制设备350可以确定这样的情况对应于偏离常态模式106的事件104或系列事件114。
39.作为另一示例，常态模式106中的第二预期场景108可以指示车辆122与av 302的距离被预期大于阈值距离128，并且如果车辆122与av 302的距离变得小于阈值距离128，则预期车辆122不会持续与av 302保持小于阈值距离128的距离以超过阈值时间段118。在特定示例中，偏离常态模式106中的第二预期场景108可以包括如下指示：指示一个或多个车辆122持续保持与av 302小于阈值距离128的距离超过阈值时间段118(例如，30秒、1分钟、2分钟或任何其他适当的持续时间)。因此，在传感器346检测到一个或多个车辆122保持与av 302小于阈值距离128的距离超过阈值时间段118的情况下，控制设备350可以确定这样的情况对应于偏离常态模式106的事件104或系列事件114。
40.作为另一示例，常态模式106中的第三预期场景108可以指示，根据av 302行驶的道路120的速度限制，预期av 302将在由驾驶指令154提供的特定速度范围内行驶。因此，在监测av 302的引擎342a(参见图3)的车辆驾驶子系统342(参见图3)检测到引擎342a的速度正在超出特定速度范围，为车辆控制子系统348(参见图3)的组件根据驾驶指令154中提供的指令操作的情况下，控制设备350可以确定该情况偏离常态模式106。在特定示例中，如果车辆112d通过缆绳182将av 302向后拖，或者以其他方式阻碍av 302的行进，则可能发生这种情况。因此，控制设备350确定这样的情况可以对应于偏离常态模式106的事件104或系列事件114。
41.作为另一示例，常态模式106中的第四预期场景108可以指示，响应于涉及事故或与车辆122相撞，预期车辆122中的个体将在阈值时间段118内接近av 302。因此，如果传感器346检测到事故中涉及的车辆122正在逃离事故现场，则控制设备350可以确定该情况偏离常态模式106，即，它可能是一种“肇事逃逸”的情况。
42.作为另一示例，常态模式106中的第五预期场景108可以指示，响应于检测到一个或多个车辆122表现出意外或异常驾驶行为，预期这种意外或异常驾驶行为不会持续超过阈值时间段118。一个或多个车辆122的意外或异常驾驶行为的一些示例可以包括侵入与av 302的阈值距离128内的空间、与av 302接触或碰撞、在av 302前面转弯等等。一个或多个车辆122干预av 302的一些示例可以包括迫使av 302靠边停车、偏离其路线位置152、减速、加速、驶过对象124、碰撞或与另一车辆122相撞。因此，如果传感器346检测到上述驾驶场景的任何或任意组合持续超过阈值时间段118，则控制设备350可以确定该情况偏离常态模式106。
43.示例恶意事件
44.如上所述，系列事件114通常包括事件104，事件104作为总体指示第三方(诸如至少一个车辆122或个体)正在干预av 302。
45.在一个实施例中，确定系列事件114作为总体指示偏离常态模式106可以包括检测来自系列事件114的每个事件104偏离常态模式116。
46.在一个实施例中，确定系列事件114作为总体指示偏离常态模式106可以包括检测阈值时间段118内的至少阈值数目116的事件104(或至少高于阈值数目116的系列事件114的子集)偏离常态模式106。
47.在一个实施例中，确定系列事件114作为总体指示偏离常态模式106可以包括将事件104的集合分组或组合在一起，以形成系列事件114，系列事件114作为整体与预期场景108进行比较，以确定系列事件114是否偏离常态模式106。
48.各种系列事件114的各种示例在图1中示出，并在下面详细描述。系列事件114的一些示例可以与在传感器346的检测区内检测到的移动对象(诸如车辆122、个体和/或行人)的意外或异常行为有关。系列事件114的一些示例可以与移动对象(诸如车辆122、个体和/或行人)的意外或异常行为有关，其中移动对象不在传感器346的检测区内。系列事件114的一些示例可以与诸如交通灯126的静态或静止物体的意外或异常行为有关。系列事件114可以不是特定于区或特定于区域的，这意味着系列事件114可以发生在任何区域。
49.如图1所示，当系列事件114的一个或多个示例发生时，av 302根据其预定路线规划152在道路120上行进。
50.作为示例，第一系列事件114可以指示av 302被一个或多个车辆122迫使偏离其预定路线规划152，使得av 302被迫改变路线或靠边停车。例如，假设当av 302沿着道路120行进时，av 302两侧的车辆122a和122b以与av 302的距离小于阈值距离128驾驶超过阈值时间段118。换言之，车辆122a和122b侵入与av 302的阈值距离128内的空间超过阈值时间段118。传感器346检测对阈值距离128内空间的这些侵入，并且将指示这些侵入的传感器数据178传递给控制设备350。在一个示例中，车辆122a和122b可以迫使av 302从其路线规划152改变路线并且选中出口130。在另一示例中，车辆122a和122b可以迫使av 302靠边停车到道路120的一侧(如图1中所示的靠边停车180)。尽管图1示出了车辆122a和122b在av 302侧面，但是可以理解，av 302的一侧或多侧的任何数目的车辆122可以促成迫使av 302偏离其路线规划152或靠边停车。例如，车辆122c还可以通过阻止av 302加速或以其他方式避开车辆122a和122b以及它们试图迫使av 302改道或靠边停车，这促成该恶意事件。以这种方式，车辆122a-c中的一个或多个可以将av 302“围起来”，并迫使其偏离其路线规划152。
51.作为另一示例，第二系列事件114可以指示av 302被一个或多个车辆122强迫减速，其中av 302周围的其他车辆122没有减速。例如，假设当av 302沿着道路120行进时，第一车辆122a(在左侧)、第二车辆122b(在右侧)和第三车辆122c(在前面)意外减速，即使没有由传感器346检测到堵车(即，车辆122e和122f没有减速)也没有检测到交通灯126。这样，av 302被迫减速。尽管图1示出了围绕av 302的车辆122a-c，但是可以理解，av 302一侧或多侧的任何数目的车辆122可以促成迫使av 302减速。例如，在av 302的后侧的另一车辆122也可以匹配(或接近)车辆122a-c的速度，以将av 302围起来，从而迫使av 302减速。
52.作为另一示例，第三系列事件114可以指示，由监测av 302的引擎342a(见图3)的控制设备350检测到av 302被迫减速。例如，假设当av 302沿着道路120行进时，第四车辆122d用附接到av 302的缆绳182将av 302向后拖，从而迫使av 302减速或以其他方式阻碍其移动。控制设备350可以将该事件存储为在第一时间戳136处发起的第一事件104a。此外，假设来自第四车辆122d或同伴车辆122的个体已经将缆绳182附接到没有触发偏离常态模式106的事件104的av 302。
53.在该特定示例中，正在干预av 302的第四车辆122d不在传感器346的检测区内。因此，传感器346可能检测不到第四车辆122d的存在。然而，监测引擎342a(参见图3)的速度的控制设备350检测到引擎342a的速度不在驾驶指令154中提供的如预期的特定速度范围内。特定速度范围根据道路120的速度限制和其他标准来确定，诸如节约燃料，为av 302、其他车辆122、行人提供安全的驾驶体验以及其他标准。控制设备350还可以检测到引擎342a(参见图3)和其他对av 302的速度有贡献的组件指示它们处于常态操作中。例如，控制设备350可以检测到引擎342a(参见图3)和其他组件的性能指示器指示它们的性能在常态范围内，例如80％，并且它们没有损坏。作为另一示例，控制设备350可以检测到引擎342a(参见图3)和其他组件没有过热(例如，它们的温度在常态范围内，例如，35-40度)、不缺少燃料(例如，燃料水平高于阈值水平，例如70％)、不缺乏电源(例如，产生电源的电池的电池水平指示器指示高于阈值水平，例如80％)，或者可能使av 302减速的任何其他条件。控制设备350可以在第二时间戳136处将该确定的集合(指示引擎342a处于常态操作中)存储为第二事件104b。如果这些事件104a-b持续超过阈值时间段118，则控制设备350确定这些事件相当于第三系列事件114。因此，对于该特定示例，控制设备350检测到第三系列事件114已经发生，
即使传感器346没有检测到可能使av 302减速的可疑车辆122。尽管图1示出了第四车辆122d正在向后拖动av 302以迫使av 302减速，但是可以理解，第四车辆122d可以在av 302的前面并且向前拉动av 302，从而迫使av 302加速，例如以错过其预定出口130或偏离其路线规划152。
54.作为另一示例，第四系列事件114可以指示，在阈值时间段118内，干预av 302的一个或多个车辆122对av 302的一个或多个影响。例如，假设当av 302沿着道路120行进时，第一车辆122a在第一时间戳136处与av 302撞击或碰撞。传感器346检测到第一冲突，并将该事件(即，第一事件104a)传送给控制设备350。此外，假设第一车辆122a(或第二车辆122b)在第二时间戳136处与av 302撞击或碰撞。类似地，传感器346检测到第二碰撞，并将该事件(即，第二事件104b)传送给控制设备350。如果控制设备350确定第一事件104a和第二事件104b已经在阈值时间段118内发生，则控制设备350确定事件104a和104b作为总体相当于偏离常态模式106的第四系列事件114。
55.在另一实例中，假设当av 302沿着道路120行进时，来自第一车辆122a的个体在第一时间戳136处，例如通过诸如岩石或撬棍的物体撞击av 302。此外，假设来自第一车辆122a(或第二车辆122b)的个体在第二时间戳136处，例如通过诸如岩石或撬棍的物体撞击av 302。类似于上述情况，如果控制设备350确定对av 302的这些撞击或影响在阈值时间段118内，则控制设备350确定这些事件作为总体相当于偏离常态模式106的第四系列事件114。
56.作为另一示例，第五系列事件114可以指示来自一个或多个车辆122的意外驾驶行为。例如，假设当av 302沿着道路120行进时，第一车辆122a意外地侵入与av 302的阈值距离128内的空间，并且在第一时间戳136处转向到av 302前面。传感器346检测到阈值距离128内的空间的这种侵入，并将指示该侵入的传感器数据178传送到控制设备350。控制设备350可以在第一事件104a处存储该事件。此外，假设第一车辆122a在第二时间戳136处减速，从而迫使av 302减速。类似地，传感器346检测到第一车辆122a正在减速，并将指示这一点的相应传感器数据178传送到控制设备350。控制设备350可以将该事件存储为第二事件104b。如果控制设备350确定事件104a和104b发生在阈值时间段118内，则控制设备350确定事件104a和104b作为总体相当于偏离常态模式106的第五系列事件114。
57.在另一实例中，假设当av 302沿着道路120行进时，第一辆车在第一时间戳136处意外转向到av 302前面。此外，假设第二车辆122b在第二时间戳136处意外转向到av 302前面。类似于上述情况，如果控制设备350确定事件104a和104b发生在阈值时间段118内，则控制设备350确定这些事件104a-b作为总体相当于偏离常态模式106的第五系列事件114。
58.作为另一示例，第六系列事件114可以指示来自传感器346的至少一个传感器346无响应或被禁用。例如，假设当av 302沿着道路120行进时，来自传感器346的传感器346由于撞击而变得无响应。例如，当第一车辆122a或来自第一车辆122a的个体撞击传感器346以试图禁用或损坏传感器346时，传感器346可能变得无响应。控制设备350分析由传感器346捕获的传感器数据178(在传感器346变得无响应之前)，并确定传感器346由于诸如岩石、撬棍等的物体或第一车辆122a的撞击而被禁用。
59.在另一实例中，假设第一传感器346在第一时间戳136处(存储在第一事件104a处)变得无响应；并且第二传感器346在第二时间戳136处(存储在第二事件104b处)变得无响
应。如果控制设备350确定事件104a和104b发生在阈值时间段118内，则控制设备350确定事件104a和104b作为总体相当于偏离常态模式106的第六系列事件114。
60.在另一实例中，假设传感器346由于干预而变得无响应。在一个示例中，传感器346可以由于传感器346和控制设备350之间的数据通信中的网络安全漏洞而变得无响应。例如，传感器346可以由于网络安全漏洞而在第一时间戳136处变得无响应。控制设备350可以例如通过检测第三方试图建立对传感器346或控制设备350的未经授权的访问来检测网络安全漏洞。
61.在另一实例中，传感器346可以由于传播干扰信号、无线电波、光束等而变得无响应。例如，干扰信号可以被用于干预红外传感器346，干扰无线电波可以被用于干预雷达传感器346b(参见图3)，干扰光(或干扰激光)束可以被用于干预lidar传感器346f(参见图3)。
62.控制设备350可以检测在其相应的时间戳136处发起的这样的事件104，并且如果它们持续超过阈值时间段118，则控制设备350确定这样的事件104相当于偏离常态模式106的系列事件114。
63.作为另一示例，第七系列事件114可以指示av 302由于一个或多个车辆122的意外驾驶行为而被迫驶过对象124。例如，假设当av 302沿着道路120行进时，第一车辆122a在第一时间戳136处意外转向到av 302前面，从而迫使av 302偏离其行进路径(存储为第一事件104a)，结果，av 302在第二时间戳136处驶过对象124(存储为第二事件104b)。如果控制设备350确定事件104a和104b发生在阈值时间段118内，则控制设备350确定事件104a和104b作为总体相当于偏离常态模式106的第七系列事件114。作为另一实例，在驶过对象124之后，假设av 302的轮胎在第三时间戳136处爆掉。控制设备350在第三事件104c处存储该事件。因此，控制设备350确定事件104a-c作为总体相当于偏离常态模式106的系列事件114。
64.作为另一示例，第八系列事件114可以指示地图数据150中指示的调度动作意外地未发生。下面将进一步详细描述地图数据150。简而言之，地图数据150包括关于av 302的行进路径上和周围的环境的详细信息，包括道路120上和周围的对象，诸如路标、建筑物、地形、交通灯126、铁路十字路口灯等的位置坐标。地图数据150还包括交通灯126的调度信息、铁路十字路口灯的调度信息以及av 302在其路线规划152期间可能会遇到的任何其他调度信息。例如，地图数据150包括何时交通灯126指示黄灯、绿灯和红灯的时间戳136。在另一示例中，地图数据150包括何时铁路十字路口灯指示红灯和绿灯的时间戳136。
65.继续第八系列事件114的示例，假设当av 302沿着道路120行进时，av 302到达交通灯126并停在指示红灯的交通灯126后面。此外，假设地图数据150指示交通灯126从红灯变为绿灯的等待时间是特定持续时间，例如一分钟。此外，假设传感器346检测到来自交通灯126的红灯持续时间超过地图数据150中指示的特定持续时间。控制设备350将由地图数据150提供的与交通灯126相关联的调度信息与由传感器346捕获的传感器数据178进行比较。在该特定情况下，控制设备350基于地图数据150和传感器数据178之间的比较，确定调度动作(即，交通灯126在一分钟后指示绿灯)未发生。控制设备350可以将该事件存储为在第一时间戳136处发起的第一事件104a。此外，假设在交通灯126改变指示灯的延迟之后，车辆122在第二时间戳136处侵入与av 302的阈值距离128内的空间。传感器346检测到阈值距离128的该侵入，并将指示该侵入的传感器数据178传送到控制设备350。控制设备350可以将该事件存储为第二事件104b。如果控制设备350确定事件104a和104b发生在阈值时间段
118内，则控制设备350确定事件104a和104b作为总体相当于偏离常态模式106的第八系列事件114。
66.作为另一示例，第九系列事件114可以指示至少一个传感器346的视场被模糊。例如，假设当av 302沿着道路120行进时，在第一时间戳136处使用对象来模糊传感器346的检测区或视场。在特定示例中，在第一时间戳136之前从传感器346接收的传感器数据178指示毯子被扔在传感器346上。控制设备350确定传感器346在工作，因为传感器346响应于与控制设备350的通信。换言之，控制设备350可以从传感器346接收传感器数据178。然而，与在第一时间戳136之前接收的传感器数据178相比，传感器数据178不如预期。如果控制设备350确定这些事件104(从第一时间戳136开始)持续超过阈值时间段118，则控制设备350确定这些事件104相当于偏离常态模式106的第九系列事件114。
67.响应于检测到上述示例系列事件114中的任何一个事件，控制设备350升级要被处理的系列事件114。例如，控制设备350将系列事件114传递到操作服务器140以由远程操作员164处理。下面将结合系统100的操作流程详细描述该过程。应当理解，上述先前的系列事件114仅仅是示例，并不是可以被标识为偏离常态模式106的事件104或系列事件114的详尽列表。本公开可能偏离常态模式106的可以被标识和升级的任何适当数目和组合的事件104，即使在此未作为示例而具体描述。
68.操作服务器
69.上面描述了操作服务器140的实施例的各方面，并且下面提供了附加方面。操作服务器140包括至少一个处理器142、至少一个存储器、至少一个网络接口146和至少一个用户接口148。操作服务器140可以如图所示或以任何其他合适的配置来配置。
70.在一个实施例中，操作服务器140可以由可以用来监管av 302的操作的计算设备集群来实现。例如，操作服务器140可以由使用分布式计算和/或云计算系统的多个计算设备来实现。在另一示例中，操作服务器140可以由一个或多个数据中心中的多个计算设备实现。因此，在一个实施例中，操作服务器140可以包括比控制设备350更多的处理能力。操作服务器140与一个或多个av 302及其组件(例如，控制设备350)进行信号通信。在一个实施例中，操作服务器140被配置为确定av 302的特定路线规划152。例如，操作服务器140可以确定用于av 302的特定路线规划152，该路线规划152导致到达该av 302的目的地的驾驶时间减少和更安全的驾驶体验。
71.处理器142包括可操作地耦合到存储器144的一个或多个处理器。处理器142是任何电子电路，包括但不限于，状态机、一个或多个中央处理单元(cpu)芯片、逻辑单元、核(例如，多核处理器)、现场可编程门阵列(fpga)、专用集成电路(asic)或数字信号处理器(dsp)。处理器142可以是可编程逻辑器件、微控制器、微处理器或前述的任何适当组合。处理器142通信地耦合到存储器144、网络接口146和用户接口148，并且与之进行信号通信。该一个或多个处理器被配置为处理数据，并且可以用硬件或软件来实现。例如，处理器142可以是8位、16位、32位、64位或任何其他合适的架构。处理器142可以包括用于执行算术和逻辑运算的算术逻辑单元(alu)、向alu提供操作数并存储alu运算结果的处理器寄存器、以及从存储器获取指令并通过指导alu、寄存器和其他组件的协调操作来执行指令的控制单元。一个或多个处理器被配置为实现各种指令。例如，一个或多个处理器被配置为执行软件指令168以实现这里公开的功能，诸如参考图1和图2描述的那些功能中的一些或全部。在一些
实施例中，这里描述的功能使用逻辑单元、fpga、asic、dsp或任何其他合适的硬件或电子电路来实现。
72.存储器144存储以上参考图1和图2描述的任何信息以及当由处理器142执行时可操作以实现本文描述的(多个)功能的任何其他数据、指令、逻辑、规则或代码。例如，存储器144可以存储常态模式106、常态模式构建引擎110、恶意事件112、系列事件114、阈值数目116、阈值时间段118、阈值距离128、置信度得分132、阈值得分134、时间戳136、位置坐标138、传感器数据178、地图数据150、路线规划152、驾驶指令154、交通数据156、对象检测机器学习模块158、对策166、软件指令168和/或任何其他数据/指令。软件指令168包括代码，当由处理器142执行时，该代码使得操作服务器140执行这里描述的功能，诸如图1和图2中描述的那些功能中的一些或全部。存储器144包括一个或多个磁盘、磁带驱动器或固态驱动器，并且可以用作溢出数据存储设备，以在选择要执行的程序时存储程序，以及存储在程序执行期间读取的指令和数据。存储器144可以是易失性或非易失性的，并且可以包括只读存储器(rom)、随机存取存储器(ram)、三态内容可寻址存储器(tcam)、动态随机存取存储器(dram)和静态随机存取存储器(sram)。存储器144可以包括本地数据库、云数据库、网络附连存储(nas)等中的一个或多个。
73.网络接口146被配置为实现有线和/或无线通信。网络接口146被配置为在控制设备350和其他网络设备、系统或(多个)域之间传递数据。例如，网络接口146可以包括wifi接口、局域网184(lan)接口、广域网184(wan)接口、调制解调器、交换机或路由器。处理器142被配置为使用网络接口146发送和接收数据。网络接口146可以被配置为使用任何合适类型的通信协议。
74.用户界面148可以包括被配置为与诸如远程操作员164的用户交互的一个或多个用户界面。例如，用户界面148可以包括操作服务器140的外围设备，诸如监测器、键盘、鼠标、跟踪板、触摸板等。远程操作员164可以使用用户界面148来访问存储器144以查看传感器数据178、查看系列事件114以及处理检测到的恶意事件112。
75.常态模式构建引擎110可以由执行软件指令168的处理器142来实现，并且通常被配置为构建常态模式106。在一个实施例中，常态模式构建引擎110可以使用模拟或离线驾驶情况来确定预期场景108(类似于上述场景)并构建常态模式106。换言之，常态模式构建引擎110生成与av 302在驾驶上下文中的生活模型相对应的常态模式106。
76.在一个实施例中，常态模式构建引擎110可以通过包括多个卷积神经网络等的机器学习神经网络来实现。在一个实施例中，可以通过监督模式学习技术和/或非监督模式学习技术(诸如贝叶斯非参数建模、决策树等)来实现常态模式构建引擎110。
77.在一个实施例中，可以通过各种道路环境中的离线驾驶模拟来确定常态模式106中的预期场景108。在一个示例中，可以模拟av 302处于堵车中的第一环境，以从av 302周围的环境确定预期场景，在这种情况下该环境包括其周围车辆122。在该示例中，预期场景108包括检测周围车辆122停止或减速，例如通过确定速度分布、轨迹分布，检测周围车辆122的尾部红灯打开以及指示av 302正在堵车中的任何其他指示。
78.在另一示例中，可以模拟av 302在交通灯126后面的第二环境，以从av 302周围的环境来确定预期场景108，在这种情况下该环境包括其周围车辆122和交通灯126。在该示例中，预期场景108包括1)检测到交通灯126指示红灯，2)预期交通灯126基于地图数据150中
提供的与其对应的调度信息改变其状态(即，从红灯改变为绿灯)，3)检测到周围车辆122停止或减速，以及指示av 302在交通灯126后面的任何其他指示。
79.在另一示例中，可以模拟其中一个或多个车辆122在av 302周围行驶的第三环境，以从av 302周围的环境确定预期场景108，在这种情况下该环境包括其周围车辆122。在该示例中，预期场景108包括1)预期一个或多个车辆122不会侵入与av 302的阈值距离128，2)预期一个或多个车辆122不会持续与av 302平行行驶超过阈值时间段118，以及3)如果一个或多个车辆122侵入与av 302的阈值距离128，则预期一个或多个车辆122不会持续该情况超过阈值时间段118。阈值距离128可以根据在av 302的哪一侧测量它而变化。例如，从av 302的侧面的到av 302的阈值距离128可以小于从前面和后面的到av 302的阈值距离128。
80.地图数据150可以包括城市的虚拟地图，其包括道路120。在一些示例中，地图数据150可以包括地图458和地图数据库436(关于地图458和地图数据库436的描述，参见图4)。地图数据150可以包括可驾驶区域，诸如道路120、路径、高速公路，和不可驾驶区域，诸如地形(由占用网格模块460确定，关于占用网格模块460的描述，参见图4)。地图数据150可以指定道路标志、车道、车道标记、车道边界、道路边界、交通灯126等的位置坐标。
81.路线规划152是用于从起点(例如，第一av 302发射台(launchpad)/着陆台(landing pad))行进到目的地(例如，第二av 302发射台/着陆台)的规划。例如，路线规划152可以指定从起始位置到目的地的以特定顺序的一条或多条街道/道路/公路的组合。路线规划152可以指定包括第一阶段(例如，从起始位置移出)、多个中间阶段(例如，沿着一个或多个特定街道/道路/公路的特定车道行进)和最后阶段(例如，进入目的地)的阶段。路线规划152可以包括关于从起始位置到目的地的路线的其他信息，诸如该路线规划152中的道路/交通标志等。
82.驾驶指令154可以由规划模块462实现(参见图4中对规划模块462的描述)。驾驶指令154可以包括指令和规则，以根据路线规划152的每个阶段的驾驶规则来调整av 302的自主驾驶。例如，驾驶指令154可以包括指令，以保持在由av 302行进的道路120的速度范围内、使av 302的速度相对于传感器346所观察到的变化而调整，诸如周围车辆122的速度、传感器346的检测区域内的物体等。
83.对象检测机器学习模块158可以由执行软件指令168的处理器142实现，并且通常被配置为从传感器数据178检测对象。对象检测机器学习模块158可以使用神经网络和/或机器学习算法来实现，用于从诸如图像、视频、红外图像、点云、雷达数据等任何数据类型中检测对象。
84.在一个实施例中，对象检测机器学习模块158可以使用机器学习算法来实现，诸如支持向量机(svm)、朴素贝叶斯、logistic回归、k最近邻、决策树等。在一个实施例中，对象检测机器学习模块158可以利用多个神经网络层、卷积神经网络层等，其中这些层的感知器的权重和偏差在对象检测机器学习模块158的训练过程中被优化。对象检测机器学习模块158可以由训练数据集训练，该训练数据集包括标记有每个样本中的一个或多个对象的数据类型的样本。例如，训练数据集可以包括对象(例如，车辆122、车道标记、行人、路标等)的样本图像，在每个样本图像中标记有(多个)对象。类似地，训练数据集可以包括其他数据类型的样本，诸如视频、红外图像、点云、雷达数据等，在每个样本数据中标记有(多个)对象。对象检测机器学习模块158可以由训练数据集和传感器数据178来训练、测试和改进。对象
检测机器学习模块158使用传感器数据178(未标记有对象)来提高它们在检测对象时的预测精度。例如，监督和/或非监督机器学习算法可以被用于验证对象检测机器学习模块158在检测传感器数据178中的对象时的预测。
85.交通数据156可以包括地图数据150中的道路/街道/公路的交通数据。操作服务器140可以使用由一个或多个制图车辆捕获的交通数据156。操作服务器140可以使用从任何源捕获的交通数据156，诸如从外部源(例如，waze和google地图、实时交通报告等)捕获的众包交通数据156。
86.对策166包括响应于升级系列事件114并确定系列事件114对应于恶意事件112而执行的指令。例如，对策166可以包括指示与av 302处的通信模块建立通信路径160以便与引起系列事件114并干预av 302的个体对话的指令。作为另一示例，对策166可以包括指示激活av 302的喇叭的指令。作为另一示例，对策166可以包括指示向执法部门170发送通知消息172的指令，其中通知消息172包括av 302已在发生系列事件114的特定位置坐标138处被干预的指示。在一个实施例中，对策166可以由远程操作员164执行，如下进一步描述。在一个实施例中，执行对策166可以由操作服务器140计算机化并执行。
87.应用服务器
88.应用服务器162通常是被配置为经由网络184与其他设备通信的任何计算设备，诸如其他服务器(例如，操作服务器140)、av 302、数据库等。应用服务器162被配置为执行本文描述的特定功能，并例如经由使用其用户界面的通信路径174与远程操作员164交互。应用服务器162的示例包括但不限于，台式计算机、膝上型计算机、服务器等。在一个示例中，应用服务器162可以充当远程操作员164访问操作服务器140的表示层。这样，操作服务器140可以例如经由网络184向应用服务器162发送传感器数据178、系列事件114、对策166和/或任何其他数据/指令。在建立了与应用服务器162的通信路径174之后，远程操作员164可以检查接收到的数据，并在处理系列事件114时执行对策166。在另一实施例中，远程操作员164可以直接访问操作服务器140，并且在与操作服务器140建立了通信路径176之后，可以执行处理系列事件114的对策166。远程操作员164可以是与操作服务器140相关联并且可以访问操作服务器140的个体。例如，远程操作员164可以是管理员，其可以访问和查看关于av 302的信息，诸如传感器数据178和存储器144上可用的其他信息。
89.网络184可以是任何合适类型的无线和/或有线网络，包括但不限于以下各项的全部或部分：互联网、内联网、专用网络、公共网络、对等网络、公共交换电话网络、蜂窝网络、局域网(lan)、城域网(man)、广域网(wan)和卫星网络。如本领域普通技术人员所理解的，网络184可以被配置为支持任何合适类型的通信协议。
90.操作流
91.检测系列事件
92.当控制设备350检测到系列事件114(诸如上述事件或偏离常态模式106的系列事件114的任何其他示例)时，系统100的操作流程开始。例如，控制设备350通过分析传感器数据178来检测系列事件114。在检测到系列事件114时，控制设备350确定系列事件114是否对应于恶意事件112。在一个实施例中，在该过程中，控制设备350可以将系列事件114作为整体与存储在常态模式106中的预期场景108进行比较，以确定系列事件114作为整体是否偏离常态模式106。在一个实施例中，控制设备350可以将来自系列事件104的事件104与预期
场景108进行比较，以确定阈值时间段118内的至少阈值数目116的事件104(来自系列事件114)是否偏离常态模式106。
93.在一个实施例中，控制设备350可以将在阈值时间段118内检测到的每个事件104分别与每个预期场景108进行比较，以确定每个事件104是否偏离常态模式106。在该实施例中，可以找到每个单独事件104(来自系列事件114)和预期场景108之间的一个或多个对应，其可以导致确定系列事件114偏离常态模式106，即使在阈值时间段118内系列事件114(包括相同事件104)作为整体和总体预期场景108之间可能找不到对应，使得系列事件114被认为是恶意事件112。
94.控制设备350确定系列事件114是否对应于任何预期场景108。如果找到相应的预期场景108，则控制设备350确定系列事件114不对应于恶意事件112。然而，如果控制设备350确定系列事件114不对应于任何预期场景108，则它确定系列事件114对应于恶意事件112。
95.在一个实施例中，可以使用至少一个监督传感器346i来记录系列事件114(作为其他传感器346的补充或替代)。监督传感器346i可以隐藏在视线之外。监督传感器346i可以是图3中描述的任何示例传感器346或任何其他对象检测传感器346。监督传感器346i可以位于av 302的外部和/或内部的任何适当位置。例如，监督传感器346i可以位于前窗和/或侧窗后面的av 302的驾驶室中。在另一示例中，监督传感器346i可以位于av 302的下方。在一个实施例中，监督传感器346i可以响应于检测到系列事件114而被激活。例如，在检测到系列事件114时，控制设备350激活监督传感器346i以记录系列事件114。
96.向系列事件分配置信度得分
97.在一个实施例中，当检测到系列事件114时，控制设备350向系列事件114分配置信度得分132，其中该置信度得分132指示系列事件114对应于恶意事件112的概率。例如，如果来自系列事件114的每个事件104对应于偏离常态模式106，则控制设备350向检测到的系列事件114分配高置信度得分132(例如，75％)。
98.作为另一示例，如果系列事件114包括在阈值时间段118内检测到的阈值数目116以上数目的事件104，则控制设备350为检测到的系列事件114分配高置信度得分132(例如，90％)。例如，如果控制设备350在第一时间戳136处检测到第一车辆122a转向到av 302前面(存储为第一事件104a)，随后在第二时间戳136处检测到第一车辆122a正在减速(存储为第二事件104b)，检测到周围的其他车辆122没有减速并且没有由传感器346检测到交通灯126(存储为第三事件104c)，并且这种情况持续超过阈值时间段118，则控制设备350向这些事件104a-c分配高置信度得分132(例如，90％)。
99.作为另一示例，即使仅检测到对应于偏离常态模式106的一个事件104并且持续超过阈值时间段118，控制设备350也可以向事件104分配高置信度得分132。例如，如果根据在检测到模糊事件104之前从传感器346接收的传感器数据178，控制设备350检测到传感器346的视场被模糊，并且该情况持续超过阈值时间段118，则控制设备350为该事件104分配高置信度得分132(例如，70％)。
100.相反，例如，如果控制设备350在第一时间戳136处检测到偏离常态模式106的第一事件104a，以及在第二时间戳136处检测到偏离常态模式106的第二事件104b，并且第一时间戳136和第二时间戳136都不在阈值时间段118内，则控制设备350向包括事件104a和104b
的该系列事件114分配低置信度得分132(例如，30％)。例如，假设控制设备350在第一时间戳136处检测到来自第一车辆122a的第一意外驾驶行为，诸如第一车辆122a意外转向到av 302前面(存储为第一事件104a)；并且在第二时间戳136处检测到来自第二车辆122b的第二意外驾驶行为，诸如第二车辆122b意外转向到av 302前面(存储为第二事件104b)。另外，假设第一事件104a和第二事件104b中的每个事件指示偏离常态模式106，并且第一时间戳136和第二时间戳136不在阈值时间段118内。在这种情况下，控制设备350向包括事件104a和104b的该系列事件114分配低置信度得分132。
101.升级系列事件
102.响应于检测到系列事件114对应于恶意事件112，控制设备350通过将系列事件114传递到操作服务器140来升级要被处理的系列事件114。在一个实施例中，操作服务器140可以确认(或更新)控制设备350关于系列事件114是否对应于恶意事件112的确定。在一个实施例中，远程操作员164可以确认(或更新)操作服务器140(和控制设备350)关于系列事件114是否对应于恶意事件112的确定。该确认(或更新)由常态模式构建引擎110用以进一步细化常态模式106。
103.例如，如果确定系列事件114不对应于恶意事件112，则更新常态模式106以包括指示系列事件114不对应于恶意事件112的系列事件114。
104.在一个实施例中，可以通过远程操作员164查看系列事件114来更新常态模式106。这样，在细化和更新常态化模式106时可以利用监督的机器学习技术。例如，常态模式构建引擎110可以从远程操作员164的确认和更新中学习，并且改进或更新常态模式106。常态模式构建引擎110可以使用无监督机器学习技术，例如通过调整常态模式构建引擎110的神经网络层的权重和偏差值，来适应更新的常态模式106。
105.处理系列事件
106.操作服务器140(或远程操作员164)可以采取特定对策166来处理(或可能解决)系列事件114和干预av 302。下面相应的描述描述了在处理(或可能解决)系列事件114中的对策166的非限制性示例。
107.在一个实施例中，远程操作员164在操作服务器140和av 302之间建立通信路径160。在一个实施例中，通信路径160可以遵循单向通信协议，其中数据可以从操作服务器140传送到av 302。例如，通信路径160可以被配置为支持基于语音、基于消息、基于视觉和/或任何其他适当类型的通信。通信路径160可以在操作服务器140和与av 302相关联的通信模块之间建立。通信模块可以安装在av 302主体的外部和/或内部的任何适当位置。例如，通信模块可以安装在av 302的驾驶室内，前窗后面。通信模块可以包括一个或多个用户接口，包括但不限于扬声器、监测器屏幕和麦克风。通信模块可以可操作地与远程操作器164所在的监测室中的相机耦合。这样，远程操作员164可以将通信路径160配置为在av 302处的监测器屏幕上显示其自身，使得远程操作员164从监测器屏幕对引起系列事件114的个体是可见的。例如，远程操作员164可以与导致系列事件114的个体对话，以阻止导致系列事件114的个体干预av 302。在另一实施例中，通信路径160可以遵循双向通信协议，其中可以从双方传送和接收数据。
108.在一个实施例中，用于处理(或可能解决)恶意事件112的对策166可以包括激活av 302的喇叭。例如，远程操作员164可以远程激活av 302的喇叭。在一个实施例中，处理(或可
能解决)恶意事件112的对策166可以包括通知执法部门170。例如，远程操作员164可以发送通知消息172，通知消息172指示av 302正在特定位置坐标138处被干预。在一个实施例中，上述对策166可以由操作服务器140计算机化并执行。
109.用于检测针对自主车辆的恶意事件的示例方法
110.图2示出了用于检测针对av 302的恶意事件112的方法200的示例流程图。可以对方法200进行修改、添加或省略。方法200可以包括更多、更少或其他步骤。例如，步骤可以并行执行或以任何合适的顺序执行。虽然有时被讨论为av 302、操作服务器140、控制设备350或其任何组件执行步骤，但是系统的任何合适的系统或组件可以执行方法200的一个或多个步骤。例如，方法200的一个或多个步骤可以至少部分地以分别来自图1和图3的软件指令168、380的形式来实现，这些软件指令存储在非瞬态的、有形的、机器可读介质(例如，分别来自图1、图3和图5的存储器144、数据存储设备390和存储器502)上，当由一个或多个处理器(例如，分别来自图1、3和5的处理器142、370和504)运行时，可以使一个或多个处理器执行步骤202-208。
111.方法200在步骤202处开始，其中控制设备350在阈值时间段118内检测系列事件114。在一个实施例中，控制设备350可以在阈值时间段118内检测系列事件114，其中系列事件114包括阈值数目116以上的事件104。在一些实施例中，阈值数目116可以是1，而在其他实施例中，阈值数目116可以取决于环境而多于1。在该过程中，控制设备350可以通过分析由传感器346捕获的传感器数据178来检测系列事件114。控制设备350可以检测图1中描述的示例系列事件114中的任何一个。系列事件114可以对应于偏离常态模式106。例如，系列事件114可以包括第一事件104a和第二事件104b，它们作为总体相当于偏离常态模式106的系列事件114。
112.在一些示例中，系列事件114可以包括传感器362未检测到的一个或多个事件104，即，它们不在传感器362的检测区内。例如，如图1所述，通过缆绳182将av 302向后拖的车辆122d可能不在传感器346的检测区内。因此，传感器346可能没有检测到车辆122d的存在。然而，控制设备350可以通过监测av 302的引擎342a的速度和性能来检测av 302正在减速(参见图4)。
113.在一些示例中，系列事件114可以包括在除av 302行进的车道之外的(多个)车道上检测到的一个或多个事件104。例如，如图1所述，侵入与av 302的阈值距离128的车辆122a和122b可以在相对于av 302的侧车道中。
114.阈值时间段118可以被确定为30秒、1分钟、2分钟或任何其他适当的持续时间。阈值时间段118可以根据遇到的系列事件114(和/或系列事件114中的多个事件104)而变化。例如，阈值时间段118可以随着系列事件114中的事件104的数目增加而增加。例如，如果控制设备350检测到车辆122集合围绕着av 302，并且该车辆122集合正在侵入与av 302的阈值距离128内的空间，则控制设备350可以确定阈值时间段118比另一系列事件114更短，诸如在av 302一侧的一个车辆122与av 302平行行驶的情况。
115.在步骤204处，控制设备350确定系列事件114是否对应于恶意事件112。
116.在该过程中，控制设备350可以将系列事件114作为整体与存储在常态模式106中的预期场景108进行比较。如果系列事件114作为整体与预期场景108之间未找到对应关系，则控制设备350可以确定系列事件114对应于恶意事件112，即，系列事件114偏离常态模式
106。然而，如果找到对应关系，则控制设备350可以确定系列事件114不对应于恶意事件112。在一个实施例中，控制设备350可以将每个事件104(来自系列事件114)与预期场景108进行比较。如果阈值时间段118内的阈值数目116以上的事件104对应于预期场景108，则控制设备350可以确定系列事件114不对应于恶意事件112。否则，控制设备350可以确定系列事件114对应于恶意事件112。
117.在一个实施例中，控制设备350可以通过向系列事件114分配置信度得分132并确定所分配的置信度得分132是否高于阈值得分134来确定系列事件114是否对应于恶意事件112，类似于图1中描述的。
118.在一个实施例中，如果确定系列事件114对应于恶意事件112，则方法200可以前进到步骤206。然而，如果确定系列事件114不对应于恶意事件112，则方法200可以终止。
119.在另一实施例中，如果确定系列事件114不对应于恶意事件112，则控制设备350可以将系列事件114传送到操作服务器140，使得远程操作员164可以确认、更新或推翻控制设备350的确定。
120.在步骤206处，控制设备350升级要被处理的系列事件114。例如，控制设备350将系列事件114传送到操作服务器140，以由远程操作员164(或操作服务器140)处理。例如，响应于接收到系列事件114，远程操作员164(或操作服务器140)可以执行特定的对策166来处理系列事件114，类似于图1中所描述的。对策166的一些示例可以包括建立与av 302的通信路径160，使得引起系列事件114的个体可以从安装在av 302中的通信模块的扬声器和/或监测器屏幕听到和/或看到远程操作员164，远程激活av 302的喇叭，向执法部门170发送通知消息172，通知消息172指示av 302正在特定位置坐标138处被干预。
121.示例av及其操作
122.图3示出了其中可以确定自主驾驶操作的示例车辆生态系统300的框图。如图3所示，av 302可以是半拖卡车。车辆生态系统300包括若干系统和组件，它们可以生成和/或向可以位于av 302中的车载控制计算机350递送一个或多个信息源/数据和相关服务。车载控制计算机350可以与多个车辆子系统340进行数据通信，所有车辆子系统340都可以驻留在av 302中。提供车辆子系统接口360以促进车载控制计算机350和多个车辆子系统340之间的数据通信。在一些实施例中，车辆子系统接口360可以包括控制器区域网(can)控制器，以与车辆子系统340中的设备通信。
123.av 302可以包括支持av 302操作的各种车辆子系统。车辆子系统可以包括控制设备350、车辆驾驶子系统342、车辆传感器子系统344和/或车辆控制子系统348。图3所示的车辆驾驶子系统342、车辆传感器子系统344和车辆控制子系统348的组件或设备是示例。av 302可以如图所示或以任何其他配置来配置。
124.车辆驾驶子系统342可以包括可操作来为av 302提供动力运动的组件。在示例实施例中，车辆驾驶子系统342可以包括引擎/马达342a、车轮/轮胎342b、变速器342c、电气子系统342d和电源342e。
125.车辆传感器子系统344可以包括多个传感器346，其被配置为感测关于av 302的环境或状况的信息。车辆传感器子系统344可以包括一个或多个相机346a或图像捕获设备、雷达单元346b、一个或多个温度传感器346c、无线通信单元346d(例如，蜂窝通信收发机)、惯性测量单元(imu)346e、激光测距仪/lidar单元346f、全球定位系统(gps)收发机346g和/或
雨刷控制系统346h。车辆传感器子系统344还可以包括传感器346，其被配置为监测av 302的内部系统(例如，o2监测器、燃油表、引擎油温等)。
126.imu 346e可以包括传感器346(例如，加速计和陀螺仪)的任意组合，其被配置为基于惯性加速度感测av 302的位置和方向变化。gps收发机346q可以是被配置为估计av 302的地理位置的任何传感器。为此，gps收发机346q可以包括可操作以提供关于av 302相对于地球的位置的信息的接收机/发射机。雷达单元346b可以表示利用无线电信号感测av 302的本地环境内的对象的系统。在一些实施例中，除了感测对象之外，雷达单元346b还可以被配置为感测靠近av302的对象的速度和方向。激光测距仪或lidar单元346f可以是被配置为使用激光感测av 302所在的环境中的物体的任何传感器。相机346a可以包括被配置为捕获av 302的环境的多个图像的一个或多个设备。相机346a可以是静止图像相机或运动视频相机。
127.车辆控制子系统348可以被配置为控制av 302及其组件的操作。因此，车辆控制子系统348可以包括各种元件，诸如油门和档位348a、制动单元348b、导航单元348c、转向系统348d和/或自主控制单元348e。油门348a可以被配置为例如控制引擎的运行速度，并且进而控制av 302的速度。齿轮348a可以被配置为控制变速器的齿轮选择。制动单元348b可以包括被配置为使av 302减速的机制的任何组合。制动单元348b可以使用摩擦力以标准方式减慢车轮。制动单元348b可以包括防抱死制动系统(abs)，该防抱死制动系统可以在施加刹车时防止刹车锁定。导航单元348c可以是被配置为确定av 302的行驶路径或路线的任何系统。导航348c单元还可以被配置为在av 302运行时动态更新行驶路径。在一些实施例中，导航单元348c可以被配置为合并来自gps收发机346q的数据和一个或多个预定地图，以便确定av 302的行驶路径(例如，沿着图1的道路120)。转向系统348d可以表示可操作为在自主模式或驾驶员控制模式下调整av 302的行进方向的机制的任意组合。
128.自主控制单元348e可以代表控制系统，该控制系统被配置为标识、评估和避免或以其他方式导航通过av 302的环境中的潜在障碍物或妨碍物。通常，自主控制单元348e可以被配置为在没有驾驶员的情况下控制av 302进行操作，或者在控制av 302时提供驾驶员辅助。在一些实施例中，自主控制单元348e可以被配置为结合来自gps收发机346q、雷达346b、lidar单元346f、相机346a和/或其他车辆子系统的数据，以确定av 302的行驶路径或轨迹。
129.av 302的许多或全部功能可以由车载控制计算机350控制。车载控制计算机350可以包括至少一个数据处理器370(其可以包括至少一个微处理器)，其执行存储在诸如数据存储设备390或存储器的非瞬态计算机可读介质中的处理指令380。车载控制计算机350还可以代表可以用于以分布式方式控制av 302的各个组件或子系统的多个计算设备。在一些实施例中，数据存储设备390可以包含可由数据处理器370执行的处理指令380(例如，程序逻辑)，以执行av 302的各种方法和/或功能，包括参考图1和图2描述的那些。
130.数据存储设备390还可以包含附加指令，包括向车辆驾驶子系统342、车辆传感器子系统344和车辆控制子系统348中的一个或多个传送数据、接收数据、与其交互或控制它们中的一个或多个的指令。车载控制计算机350可以被配置为包括数据处理器370和数据存储设备390。车载控制计算机350可以基于从各种车辆子系统(例如，车辆驾驶子系统342、车辆传感器子系统344和车辆控制子系统348)接收的输入来控制av 302的功能。
131.图4示出了用于提供精确自主驾驶操作的示例性系统400。系统400包括可在车载控制计算机350中操作的多个模块，如图3所描述的。车载控制计算机350包括图4左上角所示的传感器融合模块402，其中传感器融合模块402可执行至少四个图像或信号处理操作。传感器融合模块402可以从位于自主车辆上的相机获取图像以执行图像分割404，以检测位于自主车辆周围的移动对象(例如，其他车辆122、行人等)和/或静态障碍物(例如，停车标志、减速带、地形等)的存在。传感器融合模块402可以从位于自主车辆上的lidar传感器346获得lidar点云数据项，以执行lidar分割406以检测位于自主车辆周围的对象和/或障碍物的存在。
132.传感器融合模块402可以对图像和/或点云数据项执行实例分割408，以标识位于自主车辆周围的对象和/或障碍物周围的轮廓(例如，框)。传感器融合模块402可以执行时间融合，其中来自一个图像和/或一帧点云数据项的对象和/或障碍物与来自在时间上随后接收的一个或多个图像或帧的对象和/或障碍物相关或相关联。
133.传感器融合模块402可以融合来自从相机获得的图像的对象和/或障碍物和/或从lidar传感器346获得的点云数据项。例如，传感器融合模块402可以基于两个相机的位置来确定，来自包括位于自主车辆前面的车辆的一半车辆的相机中的一个相机的图像与由另一相机捕获的定位的车辆相同。传感器融合模块402将融合后的物体信息发送给干扰模块446，并将融合后的障碍物信息发送给占用网格模块460。车载控制计算机包括占用网格模块460，它可以从存储在车载控制计算机中的地图数据库458中检索地标。占用网格模块460可以根据从传感器融合模块402获得的融合障碍物和存储在地图数据库458中的地标来确定可驾驶区域和/或障碍物。例如，占用网格模块460可以确定可驾驶区域可以包括减速带障碍物。
134.在传感器融合模块402下方，车载控制计算机350包括基于lidar的对象检测模块412，其可以基于从位于自主车辆上的lidar传感器414获得的点云数据项来执行对象检测416。对象检测416技术可以提供来自点云数据项的对象的位置(例如，在3d世界坐标中)。在基于lidar的对象检测模块412下方，车载控制计算机包括基于图像的对象检测模块418，其可以基于从位于自主车辆上的相机420获得的图像来执行对象检测424。对象检测424技术可以采用深度机器学习技术来根据相机提供的图像提供对象的位置(例如，在3d世界坐标中)。
135.自主车辆上的雷达456可以扫描自主车辆前面的区域或自主车辆行驶到的区域。雷达数据被发送到传感器融合模块402，传感器融合模块402可以使用雷达数据来将雷达456检测到的对象和/或障碍物与从lidar点云数据项和相机图像两者检测到的对象和/或障碍物相关。雷达数据还被发送到干扰模块446，干扰模块446可以对雷达数据执行数据处理，以由对象跟踪模块448跟踪对象，如下进一步描述。
136.车载控制计算机包括干扰模块446，其接收来自点云的对象和来自图像的对象的位置，以及来自传感器融合模块402的融合对象。干扰模块446还接收雷达数据，利用该雷达数据，可由目标跟踪模块448从一个点云数据项和在一个时刻获得的一个图像到另一个(或下一个)点云数据项和在另一个后续时刻获得的另一个图像，来跟踪目标。
137.干扰模块446可以执行对象属性估计450以估计在图像或点云数据项中检测到的对象的一个或多个属性。对象的一个或多个属性可以包括对象的类型(例如，行人、汽车或
卡车等)。干扰模块446可以执行行为预测452以估计或预测在图像和/或点云中检测到的对象的运动模式。可以执行行为预测452以检测对象在不同时间点接收的图像集合(例如，顺序图像)中或在不同时间点接收的点云数据项集合(例如，顺序点云数据项)中的位置。在一些实施例中，可以对从相机接收的每个图像和/或从lidar传感器接收的每个点云数据项执行行为预测452。在一些实施例中，可以执行干扰模块446以通过每隔一个，或在每隔预定数目的从相机接收的图像或从lidar传感器接收的点云数据项之后(例如，在每两个图像之后或每三个点云数据项之后)执行行为预测452，以减少计算负荷。
138.行为预测452特征可以从雷达数据确定围绕自主车辆的对象的速度和方向，其中速度和方向信息可以被用于预测或确定对象的运动模式。运动模式可以包括在从相机接收到图像之后的未来预定时间长度上的对象的预测轨迹信息。基于预测的运动模式，干扰模块446可以将运动模式场景标签分配给对象(例如，“位于坐标(x，y)处”、“停止”、“以50mph行驶”、“加速”或“减速”)。场景标签可以描述物体的运动模式。干扰模块446将一个或多个对象属性(例如，对象的类型)和运动模式场景标签发送到规划模块462。干扰模块446可以使用系统400获取的任何信息及其组件的任何数目和组合来执行环境分析454。
139.车载控制计算机包括规划模块462，其接收来自干扰模块446的对象属性和运动模式场景标签、可驾驶区域和/或障碍物、以及来自融合定位模块426的车辆位置和姿态信息(以下进一步描述)。
140.规划模块462可以执行导航规划464以确定可在其上驾驶自主车辆的轨迹集合。轨迹集合可以基于可驾驶区域信息、对象的一个或多个对象属性、对象的运动模式场景标签、障碍物的位置和可驾驶区域信息来确定。在一些实施例中，导航规划464可以包括确定在紧急情况下自主车辆可以安全停放的道路120(见图1)附近的区域。规划模块462可以包括行为决策466，以响应于确定道路120(见图1)上的变化条件(例如，交通灯变黄，或者自主车辆处于不安全驾驶状态，因为另一车辆在自主车辆前面行驶并且占据自主车辆位置的预定安全距离内的区域)来确定驾驶动作(例如，转向、制动、油门)。规划模块462执行轨迹生成468，并从导航规划操作464确定的轨迹集合中选择轨迹。所选择的轨迹信息由规划模块462被发送到控制模块470。
141.车载控制计算机包括控制模块470，该控制模块470从规划模块462接收提议的轨迹，并从融合定位模块426接收自主车辆位置和姿态。控制模块470包括系统标识符472。控制模块470可以执行基于模型的轨迹细化474以细化所提议的轨迹。例如，控制模块470可以应用滤波器(例如，卡尔曼滤波器)来使所提议的轨迹数据平滑和/或最小化噪声。控制模块470可以执行鲁棒控制476，通过基于改进的建议轨迹信息和自主车辆的当前位置和/或姿势，来确定要施加的制动压力量、转向角度、用于控制车辆速度的油门量和/或变速器齿轮。控制模块470可以将确定的制动压力、转向角、油门数量和/或变速器齿轮发送到自主车辆中的一个或多个设备，以控制和便于自主车辆的精确驾驶操作。
142.由基于图像的对象检测模块418执行的基于深度图像的对象检测424还可用于检测道路120(见图1)上的地标(例如，停车标志、减速带等)。车载控制计算机包括融合定位模块426，融合定位模块426获得从图像检测到的地标、从存储在车载控制计算机上的地图数据库436获得的地标、由基于lidar的物体检测模块412从点云数据项检测到的地标、来自里程计传感器444的速度和位移、以及来自位于自主车辆上或其中的gps/imu传感器438(即，
gps传感器440和imu传感器442)的自主车辆的估计位置。基于该信息，融合定位模块426可以执行定位操作428以确定自主车辆的位置，该位置可以被发送到规划模块462和控制模块470。
143.融合定位模块426可以基于gps和/或imu传感器438估计自主车辆的姿态430。自主车辆的姿态可以被发送到规划模块462和控制模块470。融合定位模块426还可以基于例如由imu传感器442提供的信息(例如，角速率和/或线速度)来估计拖车单元的状态(例如，位置、可能的移动角度)。融合定位模块426还可以检查地图内容432。
144.图5示出了包括在自主av 302中的车载控制计算机350的示例性框图。车载控制计算机350包括至少一个处理器504和其上存储有指令(例如，分别是图1和图3的软件指令168和处理指令380)的存储器502。由处理器504执行的指令配置车载控制计算机350和/或车载控制计算机350的各种模块以执行图1-图5中描述的操作。发射机506向自主车辆中的一个或多个设备发射或发送信息或数据。例如，发射机506可以向方向盘的一个或多个马达发送指令以操纵自主车辆。接收机508接收由一个或多个设备发射或发送的信息或数据。例如，接收机508从里程计传感器接收当前速度的状态或从变速器接收当前变速器齿轮的状态。发射机506和接收机508还被配置为与以上图3和图4中描述的多个车辆子系统340和车载控制计算机350通信。
145.虽然在本公开中提供了几个实施例，但是应当理解，在不背离本公开的精神或范围的情况下，公开的系统和方法可以以许多其他具体形式体现。本示例将被认为是说明性的而不是限制性的，并且其意图不限于这里给出的细节。例如，可以将各种元件或组件组合或集成到另一系统中，或者可以省略或不实现某些特征。
146.此外，在不脱离本公开的范围的情况下，在各种实施例中描述和图示为离散或分开的技术、系统、子系统和方法可以与其他系统、模块、技术或方法组合或集成。示出或讨论为彼此耦合或直接耦合或彼此通信的其它项目可以通过某些接口、设备或中间组件间接耦合或通信，无论是电的、机械的还是其他方式。改变、替换和改变的其他示例可以由本领域技术人员确定，并且可以在不脱离本文公开的精神和范围的情况下进行。
147.为了帮助专利局和本技术所颁发的任何专利的任何读者解释本技术所附权利要求，申请人注意到，他们不意图任何所附权利要求如其在本技术提交之日存在的那样，援引u.s.c.
§
112(f)，除非在该特定权利要求中明确使用了词语“用于
…
的部件”或“用于
…
的步骤”。
148.可以参照以下条款来描述本公开的实现，这些条款的特征可以以任何合理的方式组合。
149.条款1.一种系统，包括：
150.自主车辆(av)，自主车辆包括位于av上的至少一个车辆传感器，其中av被配置为沿着道路行驶；
151.控制设备，控制设备与av相关联并且包括处理器，处理器被配置为：
152.从接收自至少一个车辆传感器的传感器数据，检测阈值时间段内的系列事件，其中：
153.在阈值时间段内作为总体的系列事件偏离常态模式；
154.常态模式包括预期av会遇到的事件；
155.系列事件中的事件数目高于阈值数目；
156.确定系列事件是否对应于恶意事件；以及
157.响应于确定系列事件对应于恶意事件，升级要被处理的系列事件，其中：
158.升级系列事件包括执行至少一个对策来处理系列事件；以及
159.至少一个对策包括在av和操作员之间建立通信路径，使得操作员能够与引起系列事件的同伴对话。
160.条款2.根据条款1所述的系统，其中：
161.系列事件包括不在至少一个车辆传感器的视场内的至少一个事件；以及
162.至少一个传感器的视场对应于至少一个车辆传感器的检测区。
163.条款3.根据条款1所述的系统，其中检测阈值时间段内的系列事件包括检测以下各项中的一项或多项：
164.第一系列事件，指示av被一个或多个车辆迫使偏离预定路线规划，使得av被迫使改变路线或靠边停车；
165.第二系列事件，指示av被一个或多个车辆迫使减速，而其他周围车辆没有减速；
166.第三系列事件，指示如通过监测av的引擎的速度而检测到av被迫使减速；
167.第四系列事件，指示干预av的一个或多个车辆对av的一个或多个影响；
168.第五系列事件，指示来自一个或多个车辆的意外驾驶行为，意外驾驶行为包括侵入与av的阈值距离；
169.第六系列事件，指示作为撞击的结果，位于av上的车辆传感器无响应；
170.第七系列事件，指示作为一个或多个车辆的意外驾驶行为的结果，av被迫使在道路上的对象上驶过；
171.第八系列事件，指示地图数据中指示的调度动作意外地未发生，其中调度动作包括交通灯的调度和铁路十字路口灯的调度中的至少一项；以及
172.第九系列事件，指示至少一个车辆传感器的视场被模糊。
173.条款4.根据条款1所述的系统，其中确定系列事件是否对应于恶意事件包括：
174.将系列事件与常态模式进行比较；
175.确定来自系列事件的超过阈值数目的事件是否对应于任何预期事件；以及
176.响应于确定系列事件不对应于任何预期事件，确定系列事件对应于恶意事件。
177.条款5.根据条款1所述的系统，其中处理器还被配置为：
178.向系列事件分配置信度得分，其中置信度得分指示系列事件对应于恶意事件的概率；
179.确定置信度得分是否高于阈值得分；以及
180.响应于确定置信度得分高于阈值得分，升级要被处理的系列事件。
181.条款6.根据条款5所述的系统，其中处理器还被配置为，响应于确定置信度得分低于阈值得分，更新常态模式以包括指示系列事件不对应于恶意事件的系列事件。
182.条款7.根据条款1所述的系统，其中：
183.系统还包括与av相关联的监督传感器，使得监督传感器隐藏在视线之外；
184.监督传感器被配置为在检测到系列事件后被激活；以及
185.监督传感器还被配置为记录系列事件。
186.条款8.一种方法，包括：
187.从接收自与自主车辆(av)相关联的至少一个车辆传感器的传感器数据，检测阈值时间段内的系列事件，其中：
188.在阈值时间段内作为总体的系列事件偏离常态模式；
189.常态模式包括预期av会遇到的事件；
190.系列事件中的事件数目高于阈值数目；
191.确定系列事件是否对应于恶意事件；以及
192.响应于确定系列事件对应于恶意事件，升级要被处理的系列事件，其中：
193.升级系列事件包括执行至少一个对策来处理系列事件；以及
194.至少一个对策包括在av和操作员之间建立通信路径，使得操作员能够与引起系列事件的同伴对话。
195.条款9.根据条款8所述的方法，其中确定系列事件是否对应于恶意事件包括：
196.将来自系列事件的每个事件与常态模式进行比较；
197.确定来自系列事件的每个事件是否对应于常态模式；以及
198.响应于确定来自系列事件的每个事件不对应于常态模式，确定系列事件对应于恶意事件。
199.条款10.根据条款8所述的方法，其中确定系列事件是否对应于恶意事件包括：
200.将来自系列事件的阈值数目的事件与常态模式进行比较，其中阈值数目的事件是系列事件的子集；
201.确定来自系列事件的阈值数目的事件作为总体是否对应于常态模式；以及
202.响应于确定来自系列事件的阈值数目的事件作为总体对应于常态模式，确定系列事件对应于恶意事件。
203.条款11.根据条款8所述的方法，其中通信路径包括一个或多个音频和视觉通信。
204.条款12.根据条款8所述的方法，其中升级系列事件包括向执法部门发送通知消息，通知消息指示av正在在系列事件被检测到的特定位置处被干预。
205.条款13.根据条款8所述的方法，其中阈值时间段至少部分地基于系列事件中的事件数目而被确定，使得随着系列事件中的事件数目增加，阈值时间段增加。
206.条款14.根据条款8所述的方法，其中升级系列事件包括远程激活av的喇叭以阻止引起系列事件的同伴。
207.条款15.根据条款14所述的方法，还包括响应于确定系列事件不对应于恶意事件，更新常态模式以包括系列事件。
208.条款16.一种包括存储在非瞬态计算机可读介质中的可执行指令的计算机程序，可执行指令在由一个或多个处理器执行时，使一个或多个处理器：
209.从接收自与自主车辆(av)相关联的至少一个车辆传感器的传感器数据，检测阈值时间段内的系列事件，其中：
210.在阈值时间段内作为总体的系列事件偏离常态模式；
211.常态模式包括预期av会遇到的事件；
212.系列事件中的事件数目高于阈值数目；
213.确定系列事件是否对应于恶意事件；以及
214.响应于确定系列事件对应于恶意事件，升级要被处理的系列事件，其中：
215.升级系列事件包括执行至少一个对策来解决系列事件；以及至少一个对策包括在av和操作员之间建立通信路径，使得操作员能够与引起系列事件的同伴对话。
216.条款17.根据条款16所述的计算机程序，其中常态模式中的事件对应于来自以下至少之项的预期的事件：
217.移动对象，包括车辆和行人；以及
218.静态对象，包括路标和交通灯。
219.条款18.根据条款16所述的计算机程序，其中至少一个车辆传感器包括以下至少一项：相机、光检测和测距(lidar)传感器、运动传感器和红外传感器。
220.条款19.根据条款16所述的计算机程序，其中至少一个车辆传感器包括监测av的引擎、车轮、轮胎、变速器组件和电气组件中的至少一项的性能的传感器。
221.条款20.根据条款16所述的计算机程序，其中av是追踪器单元，并且被附接到拖车。