具有自主驾驶能力的运载工具的风险处理的制作方法

相关申请的交叉引用

本申请要求于2017年6月20日提交的美国临时专利申请序列号62/522,254的优先权和权益，该临时专利申请的全部内容通过引用并入本文。

本说明书涉及用于处理具有自主驾驶能力的运载工具的风险的系统和方法。

背景技术：

具有自主驾驶能力的运载工具在道路上驾驶时可能遇到风险。此类风险可涉及例如，行人突然横穿运载工具前方的街道，使得运载工具难以避免与行人相撞。此类风险也可涉及例如，与道路上的另一运载工具碰撞的可能性。此类风险也可涉及例如，在不良驾驶条件(诸如，雨中或雪中等)下的事故的可能性。

技术实现要素：

通常，在一方面，使用包括自主驾驶能力的运载工具接收传感器信号。与操作运载工具相关联的风险基于该传感器信号被标识。响应于风险，自主驾驶能力被修改。运载工具的操作基于自主能力的修改而被更新。

标识风险的一些实施例可包括检测或预测风险。标识可包括分析传感器信号、或者已知的或预测的风险、或者两者。标识可包括分析传感器信号以确定对象的位置。标识可包括分析传感器信号以评估对象的速度。标识可包括分析传感器信号以评估两个或更多个对象随着时间的速度分布。标识可包括分析传感器信号以标识对象的边界。标识可包括分析传感器信号以标识两个或更多个对象的重叠边界。标识可包括分析传感器信号以确定化学物的浓度。

在一个实施例中，标识可包括分析传感器信号以分割图像或视频上的一个或多个对象。标识可包括跟踪分割的一个或多个对象。

在一个实施例中，标识可包括评估威胁。

在一个实施例中，标识可包括评估运载工具或另一运载工具的驾驶行为。评估驾驶行为可包括评估速度、前进方向(heading)、轨迹、运载工具操作或它们的组合。

在一个实施例中，标识可包括学习已知风险的模式。模式包括已知风险与对象、时间、道路配置或地理位置中的一个或多个的关联。

在一个实施例中，更新运载工具的操作可包括通过运载工具的运动规划系统执行车道改变。更新运载工具的操作可包括通过运载工具的运动规划系统执行轨迹改变。对风险进行响应可包括将经分析的传感器信号视为运载工具的感知系统的先验信息。对风险进行响应可包括从远程操作员调用对运载工具的操作的干预。更新运载工具的操作可包括生成新机器指令并且将该新机器指令插入至运载工具的操作的现有机器指令中。对风险进行响应可包括生成向运载工具的操作的输入。

在一个实施例中，方法可包括生成风险报告。生成风险报告可包括提取并且汇总来自传感器信号的与风险相关联的信息。提取并且汇总信息可包括评估以下中的一个或多个：重叠地理区、重叠时间段、或报告频率。

在一个实施例中，生成风险报告可包括记录风险的环境。生成风险报告可包括拼接图像或视频，以形成风险的视图。生成风险报告可包括移除与风险相关联的私人信息。生成风险报告可包括提供界面以允许界面用户提供与风险相关联的信息。生成风险报告可包括集成与风险相关联的两个或更多个报告。

方法的一个实施例可包括从远程数据源接收风险报告。

方法的一个实施例可包括评估运载工具的风险因素。评估风险因素可包括确定与穿过风险区相关联的风险。评估风险因素可包括确定与驾驶距离或驾驶时间段相关联的风险。评估风险因素可包括确定与运载工具的老化组件相关联的风险。评估风险因素可包括确定与非活跃自主驾驶能力相关联的风险。评估风险因素可包括基于运载工具的用户的概况确定风险。评估风险因素可包括基于运载工具的用户的社交网络确定风险。评估风险因素可包括确定与驾驶行为相关联的风险。评估风险因素可包括确定与遵守交通规则相关联的风险。

通常，在一个方面，具有自主驾驶能力的运载工具包括转向设备、加速设备以及减速设备，该转向设备、加速设备以及减速设备对来自驾驶控制系统的控制信号进行响应，以在道路网络上自主地驾驶运载工具。运载工具还包括运载工具上的监测元件，该监测元件接收传感器信号并且基于传感器信号标识与操作运载工具相关联的风险。运载工具进一步包括控制器，该控制器通过将驾驶控制系统配置成用于以下各项来对风险进行响应：响应于风险修改自主驾驶能力；以及，基于对自主能力的修改，更新运载工具的操作以操纵运载工具至目标位置。

标识风险的一个实施例可包括检测或预测风险。标识可包括分析传感器信号、或者已知的或预测的风险、或者两者。标识可包括分析传感器信号以确定对象的位置。标识可包括分析传感器信号以评估对象的速度。标识可包括分析传感器信号以评估两个或更多个对象随着时间的速度分布。标识可包括分析传感器信号以标识对象的边界。标识可包括分析传感器信号以标识两个或更多个对象的重叠边界。标识可包括分析传感器信号以确定化学物的浓度。

在运载工具的一个实施例中，标识可包括分析传感器信号以分割图像或视频上的一个或多个对象。标识可包括跟踪分割的一个或多个对象。

在运载工具的一个实施例中，标识可包括评估威胁。

在运载工具的一个实施例中，标识可包括评估运载工具或另一运载工具的驾驶行为。评估驾驶行为可包括评估速度、前进方向、轨迹、运载工具操作或它们的组合。

在运载工具的一个实施例中，标识可包括学习已知风险的模式。模式包括已知风险与对象、时间、道路配置或地理位置中的一个或多个的关联。

在运载工具的一个实施例中，更新运载工具的操作包括通过运载工具的运动规划系统执行车道改变。更新运载工具的操作可包括通过运载工具的运动规划系统执行轨迹改变。对风险进行响应可包括将经分析的传感器信号视为运载工具的感知系统的先验信息。对风险进行响应可包括从远程操作员调用对运载工具的操作的干预。更新运载工具的操作可包括生成并且插入新机器指令至运载工具的操作的现有机器指令。对风险进行响应可包括生成向运载工具的操作的输入。

在一个实施例中，运载工具可包括报告元件以用于生成风险报告。生成风险报告可包括提取并且汇总来自传感器信号的与风险相关联的信息。提取并且汇总信息可包括评估以下中的一个或多个：重叠地理区、重叠时间段或报告频率。

在运载工具的一个实施例中，生成风险报告可包括记录风险的环境。生成风险报告可包括拼接图像或视频以形成风险的视图。生成风险报告可包括移除与风险相关联的私人信息。生成风险报告可包括提供界面以允许界面用户提供与风险相关联的信息。生成风险报告可包括集成与风险相关联的两个或更多个报告。

在运载工具的一个实施例中，报告元件可包括从远程数据源接收风险报告。

方法的一个实施例可包括评估运载工具的风险因素。评估风险因素可包括确定与穿过风险区相关联的风险。评估风险因素可包括确定与驾驶距离或驾驶时间段相关联的风险。评估风险因素可包括确定与运载工具的老化组件相关联的风险。评估风险因素可包括确定与非活跃自主驾驶能力相关联的风险。评估风险因素可包括基于运载工具的用户的概况确定风险。评估风险因素可包括基于运载工具的用户的社交网络确定风险。评估风险因素可包括确定与驾驶行为相关联的风险。评估风险因素可包括确定与遵守交通规则相关联的风险。

通常，在一个方面，装置包括处理器，该处理器被配置成用于处理数据以标识驾驶具有自主驾驶能力的运载工具的风险。处理器还被配置成用于响应于风险修改自主驾驶能力，并且基于对自主能力的修改更新运载工具的操作。装置还包括警报器，该警报器被配置成用于发出被标识的风险的警告。

在装置的一个实施例中，标识风险可包括检测或预测风险。数据可包括传感器信号、或者已知的或预测的风险、或者两者。标识可包括分析传感器信号以确定对象的位置。标识可包括分析传感器信号以评估对象的速度。标识可包括分析传感器信号以评估两个或更多个对象随着时间的速度分布。标识可包括分析传感器信号以标识对象的边界。标识可包括分析传感器信号以标识两个或更多个对象的重叠边界。标识可包括分析传感器信号以确定化学物的浓度。

在装置的一个实施例中，标识可包括分析传感器信号以分割图像或视频上的一个或多个对象。标识可包括跟踪分割的一个或多个对象。

在装置的一个实施例中，标识可包括评估威胁。

在装置的一个实施例中，标识可包括评估运载工具或另一运载工具的驾驶行为。评估驾驶行为可包括评估速度、前进方向、轨迹、运载工具操作或它们的组合。

在装置的一个实施例中，标识可包括学习已知风险的模式。模式包括已知风险与对象、时间、道路配置或地理位置中的一个或多个的关联。

在装置的一个实施例中，更新运载工具的操作包括通过运载工具的运动规划系统执行车道改变。更新运载工具的操作可包括通过运载工具的运动规划系统执行轨迹改变。对风险进行响应可包括将经分析的传感器信号视为运载工具的感知系统的先验信息。对风险进行响应可包括从远程操作员调用对运载工具的操作的干预。更新运载工具的操作可包括生成新机器指令并且将该新机器指令插入至运载工具的操作的现有机器指令中。对风险进行响应可包括生成向运载工具的操作的输入。

在一个实施例中，装置可包括处理器，该处理器被配置成用于生成风险报告。生成风险报告可包括提取并且汇总来自传感器信号的与风险相关联的信息。提取并且汇总信息可包括评估以下中的一个或多个：重叠地理区、重叠时间段或报告频率。

在装置的一个实施例中，生成风险报告可包括记录风险的环境。生成风险报告可包括拼接图像或视频以形成风险的视图。生成风险报告可包括移除与风险相关联的私人信息。生成风险报告可包括提供界面以允许界面用户提供与风险相关联的信息。生成风险报告可包括集成与风险相关联的两个或更多个报告。

在装置的一个实施例中，处理器可包括被配置成用于从远程数据源接收风险报告的处理器。

装置的一个实施例可包括处理器，该处理器被配置成用于评估运载工具的风险因素。评估风险因素可包括确定与穿过风险区相关联的风险。评估风险因素可包括确定与驾驶距离或驾驶时间段相关联的风险。评估风险因素可包括确定与运载工具的老化组件相关联的风险。评估风险因素可包括确定与非活跃自主驾驶能力相关联的风险。评估风险因素可包括基于运载工具的用户的概况确定风险。评估风险因素可包括基于运载工具的用户的社交网络确定风险。评估风险因素可包括确定与驾驶行为相关联的风险。评估风险因素可包括确定与遵守交通规则相关联的风险。

这些和其他的方面、特征和实施例可以表示为方法、装置、系统、组件、程序产品、经营商业的方法、用于执行功能的装置或步骤、以及在其他方式中。

根据包括权利要求的以下描述，这些和其他方面、特征和实施例将变得显而易见。

附图说明

图1示出了具有自主能力的自主运载工具的示例。

图2-图4示出了风险处理系统的架构的示例。

图5示出了在道路上行驶时自主运载工具检测其附近的碰撞的示例。

图6a示出了由自主运载工具通过编码与道路表面的高度轮廓(elevationprofile)有关的信息进行的对象检测的示例。

图6b以及图6c示出了监测驾驶行为的风险监测进程的示例。

图7-图10示出了风险处理系统的示例。

图11示出了风险处理系统的界面的示例。

图12示出了示例性“云”计算环境。

图13示出了计算机系统的示例。

具体实施方式

图1图示出具有自主能力的自主运载工具100的示例。

如本文所使用的，术语“自主能力”是指使得运载工具能够在没有实时人为干预(除非运载工具特别要求)的情况下被操作的功能、特征或设施。

如本文中所使用，自主运载工具(av)是具有自主能力的运载工具。

如本文中所使用，运载工具包括运输货物或人的装置。例如，运载工具可以是汽车、公共汽车、火车、飞机、无人机、卡车、船只、船舶、潜水器、飞船等。无人驾驶汽车是av的示例。

如本文中所使用，术语“轨迹”指的是由av所生成的、用于从第一时空位置导航至第二时空位置的路线或路径。在实施例中，第一时空位置被称为初始或起始位置，并且第二时空位置被称为目标或目标地点。在实施例中，时空位置与现实世界位置相对应。例如，时空位置包括用于接载或卸放人或货物的接载或卸放位置。

如本文中所使用，术语“风险处理”指的是积累与以下各项有关的信息：风险、预测风险、监测风险、分析风险、对风险做出反应、评估与风险相关联的因素、或上述任何组合。

如本文中所使用，术语“风险处理系统”指的是执行风险处理的任何类型的硬件、软件、固件、计算机或任何类型的设备、或它们中的两个或更多个的组合。

“一个或多个”包括：由一个要素执行的功能；由多于一个的要素例如以分布式方式执行的功能；由一个要素执行的若干功能；由若干要素执行的若干功能；或上述的任何组合。

还将理解的是，虽然在一些实例中，术语第一、第二等在本文中用于描述各种要素，但这些要素不应受这些术语的限制。这些术语仅用于将一个要素与另一个区别开来。例如，第一接触件可被称为第二接触件，并且类似地，第二接触件可被称为第一接触件，而没有背离各个所描述的实施例的范围。第一接触件和第二接触件二者都是接触件，但它们并非相同的接触件。

在对本文中各种所描述的实施例的描述中使用的术语仅出于描述特定实施例的目的，而不旨在是限制性的。如在对各种所描述的实施例和所附权利要求的描述中所使用的，单数形式“一(a)”、“一(an)”和“所述(the)”旨在也包括复数形式，除非上下文以其他方式明确指出。还将理解的是，本文所使用的术语“和/或”是指并且包含相关联的所列项目中的任一个以及相关联的所列项目中的一个或更多个的所有可能的组合。将进一步理解的是，术语“包括(include)”、“包括有(including)”、“包含(comprise)”和/或“包含有(comprising)”当在本说明书中使用时指明所陈述的特征、整数、步骤、操作、要素和/或组件的存在，但并不排除一个或多个其它特征、整数、步骤、操作、要素、组件和/或其群组的存在或添加。

如本文中所使用的，取决于上下文，术语“如果(if)”可选地被解释为表示“当…时或“在…后”或“响应于确定”或“响应于检测到”。类似地，取决于上下文，短语“如果被确定”或“如果检测到(所陈述的状况或事件)”被可选地解释为表示“在确定…后”或“响应于确定”或“在检测到(所陈述的状况或事件)后”或“响应于检测到(所陈述的状况或事件)”。

如本文中所使用，av系统指的是该av以及支持该av的操作的硬件、软件、存储的数据以及实时生成的数据的阵列。在实施例中，av系统被结合到av内。在实施例中，av系统可跨若干位置分布。例如，av系统的软件中的一些可被实现在类似于下文关于图13描述的云计算环境1300的云计算环境上。

总体上，本文档描述适用于具有一项或多项自主能力的任何运载工具的技术，这些运载工具包括完全自主的运载工具、高度自主的运载工具和有条件自主的运载工具，诸如分别为所谓的5级、4级和3级运载工具(参见sae国际标准j3016：与道路机动车辆自动驾驶系统相关的术语的分类和定义(taxonomyanddefinitionsfortermsrelatedtoon-roadmotorvehicleautomateddrivingsystems)，其通过引用以其整体并入本文，以用于有关运载工具的自主级别的分类的更多详细信息)。具有自主能力的运载工具可试图控制运载工具的转向或速度。本文档中描述的技术也可以应用于部分自主的运载工具和驾驶员辅助运载工具，诸如所谓的2级和1级运载工具(参见sae国际标准j3016：与道路机动车辆自动驾驶系统相关的术语的分类和定义)。1级、2级、3级、4级和5级运载工具系统中的一个或多个可以基于对传感器输入的处理在某些操作条件下使某些运载工具操作(例如，转向、制动和使用地图)自动化。本文档描述的技术可以使从完全自主运载工具到人工操作的运载工具的范围内的任何级别的运载工具受益。

在下文描述中，为改进可读性而提供了标题。尽管提供了标题，但是在具有该标题的部分中未被找到的与特定标题有关的信息也可以在说明书的其他地方找到。

参考图1，av系统120自主地或半自主地操作av100沿着轨迹198通过环境190至目标位置199，同时避开对象(例如，自然障碍191、运载工具193、行人192、骑车者以及其他障碍物)并遵守道路规则(例如，操作规则或驾驶偏好)。

在实施例中，av系统120包括设备101，该设备101被装配成用于接收来自计算机处理器146的操作命令并根据该操作命令行动。在实施例中，计算处理器146与下文参照图13描述的处理器1304类似。设备101的示例包括转向控制件102、制动器103、齿轮、加速器踏板、风挡雨刮器、侧门锁、窗户控制件或转向指示器。

在实施例中，av系统120包括传感器121，用于测量或推断av100的状态或状况的属性，诸如av的位置、线速度和角速度和加速度、以及前进方向(例如，av100前端的取向)。例如，gps、测量运载工具线性加速度和角速度两者的惯性测量单元(imu)、用于测量或估计轮滑移率的轮速度传感器、轮制动压力或制动扭矩传感器、引擎扭矩或轮扭矩传感器、以及转向角和角速度传感器。

在实施例中，传感器121还包括用于感测或测量av的环境的属性的传感器。例如，采用可见光、红外或热(或两者)光谱的单目或立体视频相机122、激光雷达(lidar)123、雷达、超声传感器、飞行时间(tof)深度传感器、速度传感器、温度传感器、湿度传感器、以及降水传感器。

在实施例中，av系统120包括数据存储单元142以及存储器144，以用于存储与计算机处理器146相关联的机器指令或由传感器121收集的数据。在实施例中，数据存储单元142与下文关于图13描述的的rom1308或存储设备1310类似。在实施例中，存储器144与下文描述的主存储器1306类似。在实施例中，数据存储单元142和存储器144存储与环境190相关的历史信息、实时信息、和/或预测信息。在实施例中，所存储的信息包括地图、驾驶性能、交通堵塞更新、或天气状况。在实施例中，与环境190相关的数据从远程定位的数据库134经由通信信道被传输到av100。

在实施例中，av系统120包括通信设备140，以用于将其他运载工具的状态和状况的所测量或所推断的属性(诸如位置、线速度和角速度、线加速度和角加速度、以及线性前进方向和角航向)传送至av100。这些设备包括运载工具到运载工具(v2v)和运载工具到基础设施(v2i)通信设备以及用于通过点对点或自组织网络或通过这两者进行无线通信的设备。在实施例中，通信设备140跨电磁频谱(包括无线电通信和光通信)或其他介质(例如，空气和声学介质)进行通信。运载工具到运载工具(v2v)通信与运载工具到基础设施(v2i)通信(以及在一些实施例中，一个或多个其他类型的通信)的组合有时被称为运载工具到所有(v2x)通信。v2x通信通常遵守一个或多个与自主运载工具通信或在自主运载工具之间进行通信的通信标准。

在实施例中，通信设备140包括通信接口。例如，有线、无线、wimax、wi-fi、蓝牙、卫星、蜂窝、光、近场、红外或无线电接口。通信接口将数据从远程定位的数据库134传输到av系统120。在实施例中，远程定位的数据库134被嵌入在如图12中所描述的云计算环境1200中。通信接口140将从传感器121收集的数据或与av100的操作相关的其他数据传输到远程定位的数据库134。在实施例中，通信接口140将与遥操作相关的信息传输到av100。在一些实施例中，av100与其他远程(例如，“云”)服务器136通信。

在实施例中，远程定位的数据库134还存储并传输数字数据(例如，存储诸如道路和街道位置之类的数据)。此类数据可被存储在位于av100上的存储器144中，或经由通信信道从远程定位的数据库134被传输到av100。

在实施例中，远程定位的数据库134存储并传输与运载工具的驾驶属性有关的历史信息(例如，速度和加速度分布)，该运载工具之前曾在一天中类似的时间处沿着轨迹198行驶。此类数据可被存储在位于av100上的存储器144中，或经由通信信道从远程定位的数据库134被传输到av100。

位于av100上的计算设备146基于实时传感器数据和先前信息两者通过算法方式生成控制动作，从而允许av系统120执行其自主驾驶能力。

在实施例中，av系统120可包括耦合至计算设备146的计算机外围设备132，以用于向av100的用户(例如，乘员或远程用户)提供信息和警报以及接收来自该用户的输入。在实施例中，外围设备132与下文参照图13所讨论的显示器1312、输入设备1314以及光标控制器1316类似。耦合可以是无线的或有线的。可以将接口设备中的任何两个或更多个集成到单个设备中。

图2-图4示出了风险处理系统的架构的示例。参考图2，风险处理系统230包括下述要素：

·风险处理客户端201，其可以通过集成电路、现场可编程门阵列、硬件、软件或固件或上述中的两个或多个的组合来实现。

在一个实施例中，风险处理客户端201被安装在av系统200上。风险处理客户端201可与av系统200的组件(例如，传感器216以及218、通信设备210、用户界面设备、存储器212、处理器214、数据库220或功能设备或它们的组合)交互。例如，风险处理客户端201发送并且接收信息以及命令。风险处理客户端201经由通信设备210(其可以是至少部分无线的)与风险处理服务器231通信。在一个实施例中，通信设备210是通信接口。

在一个实施例中，风险处理客户端252被安装在移动设备250上。风险处理客户端252可利用由移动设备250的传感器(诸如，gps传感器、相机、加速度计、陀螺仪以及气压计)收集的信号。风险处理客户端252可通过移动电话250的通信接口与风险处理服务器231通信。

在一个实施例中，风险处理客户端201可被安装在av系统(尤其是av自身上)以及移动设备250的组合上。

·风险处理服务器231在av系统200的av上或在远程位置中，例如，距离av系统200的av至少0.1、1、2、3、4、5、10、20、30、40、50、100、200、300、400、500、600、700、900或1000米。

·图形用户界面232可由风险处理客户端201或风险处理服务器231或两者呈现。实施例可在界面232上呈现下述中的一个或多个的信息：风险因素、已知风险、活跃风险、当前风险、潜在风险、道路网络、av系统200的av的状况、av系统200的av的环境、或传感器信号等。

参考图3，在一个实施例中，风险处理客户端311可与两个或更多个风险处理服务器321、322以及323通信。在一些情况下，两个或更多个服务器(例如，321和322)接收并且汇总用于风险处理或用于在界面332上呈现的信息。在一个实施例中，服务器(例如，323)可从两个或更多个风险处理客户端311以及312(其被分别安装在例如不同的av系统301以及302上)接收风险信息。一个实施例允许服务器(例如322)从两个或者更多个风险处理客户端311以及313(其被分别安装在av系统301以及移动设备303上)接收风险信息。

在一个实施例中，风险处理客户端(例如，312)被配置为服务器，以用于从一个或多个其他风险处理客户端(例如，311或313，或两者)接收并且汇总信息。在一个实施例中，风险处理客户端(例如，312)可充当中继设备，以用于建立并且维持服务器323与另一客户端311之间的通信。

参考图4，风险处理系统400可与一个或多个传感器(例如，402以及404)通信以经由通信接口410接收信号。传感器信号或现有数据或两者可被存储在存储器422或数据库424或两者中。

数据库424可在av上、或远离av、或在av上以及远离av。数据库424可存储来自传感器、政府机构、警察局或保险公司或它们的组合的数据。存储在数据库424中的数据的示例包括：时间戳、时间窗口、高峰交通、天气、地图、街灯设置、交通信号设置、交通灯设置、道路配置、地址、正常运载工具操作员行为、异常运载工具操作员行为、正常av操作、异常av操作、由社会事件造成的交通、由体育赛事造成的交通、医院的位置、警察局的位置、消防局的位置、沿着轨迹的已知风险、沿着轨迹的预测风险、涉及沿着轨迹的高风险情况的个人的特性(例如，年龄、性别、种族或社会经济状况)、涉及沿着轨迹的高风险情况的运载工具的特性(例如，颜色、品牌、型号或引擎类型)、针对沿着轨迹的高风险情况提交/处理的保险索赔价值、与沿着轨迹的高风险情况相关联的修理的花费、以及警方提供的用于保护免受沿着轨迹的高风险情况的保险的花费/特性。

可以通过处理器420或处理器420的计算资源实现处理以及分析信号以及数据。

在一个实施例中，风险处理系统包括风险监测进程432，其用于预测av系统的环境中的潜在风险或检测av系统的环境中的现有风险。

在一个实施例中，风险处理系统包括风险报告进程434，其用于报告预测的或检测到的风险。

在一个实施例中，风险处理系统包括风险反应进程436，其将av系统配置成用于当预测到或检测到风险时采取合适的行动。在一个实施例中，风险反应进程436包括远程操作系统442或与远程操作系统442通信，以响应于风险而允许远程操作员操作av502。

在一个实施例中，风险处理系统包括风险因素评估进程436，其用于评估影响av502的道路上操作的风险因素。

在一个实施例中，风险处理系统包括报告集成进程440，其用于集成两个或更多个风险报告。

风险监测

除了其他方面，风险监测进程通过监测av附近的环境、av系统的操作或av的内部来标识风险。

碰撞。图5示出了在道路上行驶时自主运载工具av502检测其附近的碰撞的示例。例如，在分析来自传感器(例如，视觉传感器、激光雷达或雷达、或它们的组合)的信号时，av502产生与环境中的其他对象(例如，运载工具512以及514、基础设施、以及行人)有关的信息，此类信息的示例包括：位置、速度、取向、边界、大小、尺寸、交通灯的状态(例如，红色、绿色、琥珀色、故障等)、与制造商相关的信息、车牌号码、所有者、驾驶员、以及与av502一同在道路上的其他运载工具的操作状态。信息由风险处理服务器分析以预测潜在碰撞或检测现有碰撞。

在一个实施例中，传感器(例如，激光雷达)可发射波束(例如，电磁束、声学束或两者)并且该束的成分可在撞到对象后返回。返回束成分可指示对象的边界点。当传感器发射扫描，该扫描包括m个束并且其中每一个束产生n个返回束成分，即获得m×n个点的云(也被称为点云)。

分析来自数据库的地图或来自视觉传感器的图像或两者可进一步确定前景和背景。图6a示出了由自主运载工具av系统601通过编码与道路表面的高度轮廓有关的信息进行的对象检测的示例。如图6a中所示，由av系统601使用的地图可编码与道路表面600的高度轮廓有关的信息。该信息可被用于将给定的点分类为属于道路表面，如下所述。在一个实施例中，来自视觉传感器(例如，立体相机)的图像(包括深度信息)被获取并且分割被应用以标识背景区、或前景对象或两者。分割可被单独使用或与地图信息集成(例如，投影至地图上)，以用于分类点云中的点。

在给定与av系统601的当前位置以及取向以及传感器603的位置有关的信息的情况下，av系统601推导出点(例如，609、610、611或612)，在该点处发射的束(例如，605、606、607或608)被预期遇到地面。如果由束(608)返回的点(613)相比于预期的点(612)以预先限定的差异更加靠近av601，则可确定该束遇到了对象602(例如，前景上的点)，并且可将点613分类为对象602的边界点。在一个实施例中，机器学习(例如，深度学习)被用于执行前景分类。此类方式融合来自多个传感器(诸如，激光雷达、雷达以及相机)的数据以改进分类准确性。

当对象的边界被检测到时，风险监测进程跟踪边界并且确定对象的速度。在一个实施例中，速度传感器(例如，基于雷达)被采用以确定对象的速度。参考图5，基于在时间t处的运载工具512和514的测得的速度，风险监测进程可预测它们在时间t+1处的位置和边界位置。当对象512和514的边界在时间t+1处重叠时，预测到碰撞。在一些情况下，当风险监测进程检测到对象512和514的边界重叠并且对象的速度快速降至零时，检测到碰撞。

在一个实施例中，av系统502可使用传感器信号(例如，激光雷达、雷达、图像、gps、或运载工具至运载工具信号中的信息、或它们的组合)以确定对象512和514的位置，并且检测av502到达对象512与514之间的碰撞附近之前发生的碰撞。在一个实施例中，av系统502可使用传感器信号以确定对象512和514的形状或边界、或大小或尺寸或它们的组合，并且基于对象之间的重叠推断碰撞。例如，图像上的分割可标识对象512和514的位置和边界。

在一个实施例中，av系统502可使用交通信息(例如，交通量和交通流)来推断碰撞。av系统502可测量交通流以确定是否交通流处于异常状况中。例如，涉及碰撞的对象512和514具有零速度，并且对象512和514后方的交通532缓慢或拥堵，但是对象512和514前方的交通534更快。

风险物质。通过分析来自传感器(例如，烟雾传感器、化学传感器、温度传感器、火焰传感器、火传感器、放射传感器或它们的组合)的信号，风险监测进程可检测av502的环境中的火、火焰522、烟雾或放射。

例如，风险监测进程可包括一个或多个传感器(例如，化学传感器、雷达、视觉传感器、光学传感器以及红外传感器)或可访问传感器的信号。传感器信号可提供与av环境的化学成分有关的信息，诸如某种化学物质或它们的组合(例如，一氧化碳、二氧化碳、成分c、硫化物、爆炸物以及有毒化学物)的浓度。在一些情况下，传感器信号可提供与风险对象(例如，枪支、炸弹以及手雷)的形状有关的信息。

风险监测进程基于模式识别算法分析传感器信号以预测或检测风险物质的存在、或风险物质的源、或两者。例如，当火(例如，图5中的522)存在时，环境中的空气可包含其浓度从正常值偏离的物质，并且风险监测进程可计算火522的存在的可能性。在一些情况下，av系统可分析空间中风险物质随着时间的分布，以确定风险源；例如，源附近的浓度高于远处位置中的浓度。在一些应用中，风险监测进程可监测av的内部以检测风险物质(诸如，爆炸物、可燃物、有毒气体以及易燃物)的存在。例如，av可检测由于av被定位在封闭区域中而导致的二氧化碳的增加的浓度。

威胁评估。风险监测进程分析传感器信号以及数据以评估威胁。例如，风险监测进程检测由av乘员持有或由靠近对象(例如，人或运载工具的乘员)持有的化学物(例如，酒精水平、有毒物质、以及爆炸材料)的异常浓度。

运载工具操作特性。在实施例中，风险监测进程评估具有自主驾驶能力的运载工具的驾驶行为。图6b-图6c示出监测驾驶行为的风险监测进程的示例。

风险监测进程监测运载工具是否遵守交通规则。例如，参考图6b中的场景620，当遇到停止标志622时，风险监测进程监测运载工具621的驾驶行为。驾驶行为623涉及当几近到达停止标志622时减速，但是第二驾驶行为624涉及在距离停止标志622的合理距离内逐渐减速。因此，驾驶行为623比第二驾驶行为624更具风险。

在图6b的另一场景625中，当遇到停止标志627时，风险监测进程监测运载工具626的驾驶行为。第三驾驶行为628具有比第四驾驶行为629更为平滑的速度分布，因此驾驶行为628与第四驾驶行为629相比使得运载工具的乘员感觉更为舒适。在此上下文中，速度分布是运载工具的速度在时间段中的变化的曲线。具有若干峰和谷的锯齿状速度分布是无计划的起步和停止的指示符，并且因此是不安全或颠簸驾驶的指示符。不同的驾驶行为被加权并且互相平衡。例如，第三驾驶行为628也没有在停止标志处完全停止，因此第三驾驶行为628比第四驾驶行为629更具风险。

参考图6c，风险监测进程监测运载工具的前进方向或驾驶轨迹。例如，当在笔直道路分段上驾驶时，涉及运载工具摆动的第五驾驶行为631比涉及维持笔直轨迹的运载工具的第六驾驶行为632更具风险。

在一个实施例中，风险监测进程监测运载工具如何对道路上的动态对象作出反应。例如，参考图6c，风险监测进程确定当靠近人行横道636时、当遇到行人637时、或当检测到对象638时运载工具635如何减速。

风险监测进程基于分析传感器信号评估驾驶行为。例如，风险监测进程使用速度传感器(例如，基于雷达的速度传感器)来监测速度。在一个实施例中，风险监测进程使用位置传感器(例如，基于gps的位置传感器)来监测位置或一系列位置。在一些情况下，风险监测进程使用运载工具上的里程表来监测驾驶距离。在一些情况下，风险监测进程包括运载工具上的传感器来监测方向盘、制动踏板、加速度或减速度或上述的组合的操作。在实施例中，运载工具利用运载工具中的相机来监测与运载工具的操作员相关联的运载工具操作特性。例如，运载工具可通过监测操作员的眼部、瞳孔扩张、或通过分析操作员呼吸而得的酒精消耗来分析操作员的注意力或清醒度。

风险监测进程基于将驾驶行为与模板驾驶行为相比较来评估驾驶行为。在一个实施例中，模板驾驶行为包括基于下述各项的驾驶：交通规则、优选的驾驶行为、人类驾驶员的驾驶行为、人类驾驶员的统计汇总、av系统的驾驶行为、或av系统的统计汇总。在一个实施例中，模板驾驶行为包括来自相同的制造商或不同的制造商的两个运载工具。在一个实施例中，模板驾驶行为包括来自相同的提供商或不同的提供商的两个av系统。

数据库探索。在实施例中，风险监测进程探索过去的风险或风险的统计或两者的数据库。例如，数据库可由政府机构、警察部门或保险公司或它们的组合主管的数据库。

在一个实施例中，风险监测进程学习风险的模式。例如，学习算法可推断下述各项中的一个或多个(或它们的组合)：具有频繁灾难的区、具有频繁碰撞的区、具有频繁醉驾驾驶员的区、具有频繁体育赛事的区、具有频繁抗议的区、具有糟糕驾驶行为的驾驶员、区中风险的常见类型、以及区中风险的常见原因等。

在一些情况下，模式包括时间段信息，例如：峰、早晨、下午、晚上、夜晚、工作日、以及周末。在一些情况下，模式包括道路配置，例如：平行停车街道、人行横道、四向停车道、三向停车道、高速公路、分叉、合并、专用车道和自行车车道。在一些情况下，模式包括在区内或在时间段内的风险分布；例如，四向停车道的交叉路口的中心处发生更多的碰撞并且在远离中心处发生更少的碰撞。

在一个实施例中，模式包括描述风险的动态模型。例如，概率模型(例如，高斯分布或泊松分布)可被用于描述区内的或时间段内的或它们的组合的道路配置上的风险。

所学习的模式被用作av系统的先验信息，以配置道路上的av的驾驶行为。例如，当av正在靠近具有频繁风险的区时，av在穿过该区时减速，或它规划轨迹以避免穿过该区，或两者的组合。在一些应用中，当靠近具有涉及一个或多个特定类型的对象(例如，儿童、自行车、卡车、行人或动物)的频繁风险的区时，av系统的感知进程专用于检测这些特定类型的对象。例如，在感知进程中，这些特定类型的对象的存在的先验概率可能变得高。在一个实施例中，模式包括描述与轨迹信息相关联的风险的模型；例如，数据库可示出在交叉路口处的右转弯频繁地与事故相关联，并且模型可描述右转弯以及碰撞的对应概率。

风险报告

在实施例中，风险报告进程自动地报告潜在风险或现有风险。接收报告的实体可包括风险处理提供商、运输服务提供商、政府机构、消防局、警察局、健康服务提供商、保险公司、汽车制造商、或道路用户、或它们的组合。

潜在风险或现有风险从风险监测进程被自动地确定。风险的报告包括来自传感器的快照或时间信号，诸如图像、雷达信号、激光雷达信号、gps信号、或速度信号、或它们的组合。风险的报告包括与风险相关联的信息，诸如时间戳、地图、交通量、交通流、街灯设置、行驶信号设置、道路配置、地址、医院、涉及风险的各方、涉及风险的受伤方、或对象特征(例如，类型、颜色、大小、形状、型号、品牌、车牌号码、vin、或所有者、或它们的组合)。

在实施例中，风险报告进程包括处理所接收的信号以提取与风险相关联的信息。例如，在给定图像或视频的情况下，风险报告进程可：分割涉及风险的对象；标识涉及高风险情况的各方(例如，基于车牌号码、或基于被嵌入v2v或v2i通信中的信息、或基于两者)；或识别交通配置(例如，量、速度、交通车道、交通灯、交通标志、以及基础设施)；或它们的组合。在一个实施例中，风险报告进程标识获取信号的地理位置；该地理位置信息可被嵌入信号中或基于风险附近的一个或多个gps信号被推断。

当从风险监测进程接收与风险有关的信息时，风险报告进程可评估相同的风险是否已被先前报告或已被同时报告。在一些情况下，除了通过av系统的风险监测进程进行的预测或检测之外，可通过另一源(例如，另一av系统)预测或检测风险，或通过另一源(例如，风险处理服务器、政府机构的服务器、或新闻提供商或它们的组合)通知风险。为了确定风险是否已被报告以及风险是否真实，风险报告进程可评估下述因素中的一个或多个。

1.地理区。参考图7，风险报告进程限定风险区。当两个区(例如，712和714)彼此靠近时，它们相关联的风险可以是相同或相似的。相反地，当区(例如，716)远离另一区时，它可涉及不相似或不同的风险。

2.时间。参考图7，风险报告进程记录高风险情况被标识的时间的时间戳。当两个时间戳(例如，724和726)彼此靠近时，它们相关联的风险可以是相同或相似的。相反地，当两个时间戳之间存在间隙，则相关联的风险可涉及不相似或不同的风险。

3.报告频率。参考图7，风险报告进程可记录报告的事件。当大量报告与风险732相关联时，存在推导出的风险732；否则，对于具有少量报告的风险734，检测到风险可能是假阳性。在一个实施例中，考虑了地理位置。例如，具有高人群密度的区域(例如，大都会区域)中的风险报告的数量被预期高于具有低人群密度的区域(例如，乡村区域)中的风险报告的数量。

在一个实施例中，风险报告进程包括允许用户报告风险的界面。参考图8，风险报告进程为用户提供界面810，例如，以用于提交与风险(例如，对象812与814之间的碰撞)有关的一个或多个图像或视频。在一些情况下，风险报告进程为用户提供界面850，以用于报告地图上的风险(例如，对象852与854之间的碰撞)。在一些应用中，风险报告进程允许界面用户提供(例如，通过点击、打字、或讲话、或它们的组合)下述各项中一个或多个：风险的位置、涉及风险的各方、各方的位置、事件详情、道路状况、天气状况、或交通配置(例如，量、速度、交通车道、交通灯、交通标志以及基础设施)。

在一个实施例中，风险报告进程处理报告以遵守法律、法规、或政策、或它们的组合。例如，风险报告进程可在将报告传输至第三方之前将与风险相关联的私人信息(例如，社保号码以及驾驶证号码)移除。

报告集成

在一个实施例中，报告集成进程(图4中的440)将两个或更多个风险报告合成为集成风险报告。当两个或更多个报告被制作时，每一个可包括与单个风险有关的部分信息。例如，一个报告可包括风险的时间和位置，并且另一报告可包括时间、位置、道路配置、以及行驶信号。在一个实施例中，报告集成进程解决所报告的时间之间的差异、或所报告的位置之间的差异、或两者，并且随后生成具有下述各项中的一个或多个的与风险相关联的报告：单个时间戳或单个时间段、单个位置或区、道路配置、和行驶信号。

在一个实施例中，报告集成进程拼接两个或更多个传感器信号。例如，参考图9，一个报告可包括从具有场景900和910的侧视图记录碰撞的图像或视频。场景900中的两个运载工具901和902碰撞并且在场景910中变为碰撞的运载工具911和912。另一报告可包括来自示出碰撞的运载工具921和922的场景920的前视图的图像或视频，其揭示碰撞是由运载工具922(对应于场景900中的运载工具902)试图经过运载工具921(对应于场景900中的运载工具901)而引起。与相同的碰撞相关联的两个不同的报告可揭示不同的信息。因此，报告集成进程可利用图像处理以及计算机视觉来拼接来自不同报告的数据。在一些应用中，报告集成进程在二维或三维空间中重构风险的视图。报告集成进程可进一步重构随着时间的视图以显示风险是如何演化的。

在一个实施例中，报告集成进程提供用户界面以允许用户验证风险报告或一个或多个风险的汇总报告。

风险反应

在一个实施例中，风险反应进程(图4中的436)响应于现有风险或潜在风险而配置av系统。

av系统从下述各项中的一个接收风险的通知：风险监测进程、风险报告进程、风险处理服务器、另一av系统、道路上的对象、或基础设施、或上述的组合。在一个实施例中，现有或潜在风险被存储在数据库中(例如，地图数据)。例如，地图数据可注释先前报告的风险、已知的现有风险、已知的未来风险、碰撞易发区、建筑、以及交通拥堵区。

在一个实施例中，风险反应进程基于一个或多个风险适配av系统的运动规划进程。例如，当风险在av附近时，运动规划进程可规划车道改变的轨迹以绕过该风险。相反地，当风险较远时，运动规划进程可通过选择另一路线来规避该风险来规划到其目标位置的轨迹。

在一个实施例中，风险反应进程增强或改变av系统的感知进程。当av被预期经过风险附近时，与风险有关的信息被分配感知进程的更高优先级。例如，参考图9，在实施例中，感知进程识别对象(例如，901和902)在其正常状况中。然而，当两个对象碰撞时，感知进程可能无法识别该两个碰撞的对象(例如，911和912)，因为碰撞的对象911和912具有变形的形状，或感知进程可能将碰撞的对象911和912误分类为单个未知对象。在此类情况下，风险反应进程将感知进程配置成用于将风险信息考虑作为先验信息c，并且使用概率推断p(s|c)来正确地识别av的环境中的碰撞的对象(s)。

在一个实施例中，风险反应进程触发用于远程操作员引导av的驾驶的远程操作系统(图4中的442)。例如，当风险被观察到并且av无法沿着先前规划的轨迹驾驶时，风险反应进程向远程操作系统发送请求。对于av的驾驶的干预可基于远程操作系统被调用。与此类远程操作有关的额外信息可在于2017年6月16日提交的美国专利申请序列号15/624,780中找到，该美国专利申请通过引用并入本文。

在一个实施例中，风险反应进程改变或适配另一进程的方式是基于标志。例如，当风险被预测或被检测到时，标志从非活跃(例如，由0表示)变为活跃(例如，由1表示)，由此其他进程将检取或监听来自风险反应进程的输出。

在一个实施例中，风险反应进程改变另一底层(underlying)进程的方式是基于编程代码。例如，参考图10吗，在实施例中，底层进程1000执行路径指令。当av系统知晓风险时，风险反应进程1002动态地生成一组指令，该一组指令可被插入到底层进程1000的执行中。在一些情况下，原有进程1010采用一个或多个输入(例如，在av系统的环境中检测到的对象)，并且反应进程1012的输出被视为向底层进程1010的输入(例如，阻挡av系统的当前轨迹的额外静止对象)。

在一个实施例中，风险反应进程生成潜在风险或现有风险的警报，该警报是基于视觉或音频信号。要由风险反应进程采用或推荐的反应是经由视觉或音频信号提供的。图11示出了风险处理系统的界面1100的示例。在实施例中，界面1100呈现在av1120附近检测到的检测到的风险(例如，碰撞1122)。在一些情况下，界面生成音频信号(例如，声音、或言语、或两者)以提供针对风险1122的警告。风险反应进程也可将av1120的左转弯轨迹1124的先前导航引导改变为笔直轨迹1126的新导航引导。轨迹中的改变可被呈现在界面1100上，或由界面1100口头描述，或两者。

风险因素评估

在一个实施例中，风险因素评估进程计算av系统的现有或潜在风险因素。风险因素评估可被用于计算保险费。例如，在一个实施例中，风险因素评估进程评估针对轨迹要穿越的英里数。较大的英里数暗示较高的风险。

在一个实施例中，风险因素评估进程评估在时间段期间要行驶的英里数。较大的英里数暗示较高的风险。

在一个实施例中，风险并不物理地位于av外部。在一些情况下，风险因素评估进程评估av的健康状况。例如，已经老化或已被高强度使用的av的组件(例如，轮胎、制动器、引擎、方向盘、配件皮带张紧轮、配件皮带张紧器、凸轮轴位置传感器、曲轴位置传感器、曲轴滑轮、曲轴密封件、气缸盖、引擎垫片组、谐波平衡器、爆震传感器、电机和变速器安装件、电机和变速器安装支架、油冷却器软管、油尺、放油塞垫片、滤油器、油水平传感器、油底壳、油底壳垫片、油压开关、油泵、杆轴承组、正时皮带、正时皮带套件、正时皮带张紧器、阀盖、阀盖垫片、阀杆密封件、感知传感器、感知进程、运动规划进程、数据库以及计算处理器)可暗示较高的风险。

在一个实施例中，当驾驶av时，风险因素评估进程评估风险处理系统是否活跃。非活跃(例如，由于故障或由运载工具操作员停用)风险处理系统可暗示较高的风险。

在一个实施例中，当驾驶av系统时，风险因素评估进程评估防贼系统(例如，警报器和传感器)是否活跃。非活跃(例如，由于故障或由运载工具操作员停用)防贼系统可暗示较高的风险。

在一个实施例中，风险因素评估进程评估av的轨迹是否穿过风险区。穿过风险区可暗示较高的风险。

在一个实施例中，风险因素评估进程评估用户的概述。用户可以是av的乘员、或使用av以用于运输其他人或其他东西的一方。用户概述的示例包括年龄、职业、驾驶历史、驾驶行为、驾驶目的、有效的驾驶执照、使用运载工具的频率、收入水平和历史、教育水平和历史、以及家庭地址等。

在一个实施例中，风险因素评估进程评估用户的社交网络概述。例如，在一些情况下，风险处理系统连接至用户的社交网络账户(例如，facebook、linkedin、instagram、youtube以及个人网站)以评估用户的红色标志。具有或易于出现例如精神障碍、恐怖主义倾向、或武器的异常使用或这些的组合的用户可暗示较高的风险。

在一个实施例中，风险因素评估进程评估驾驶行为。例如，从正常行为偏离的驾驶行为可暗示较高的风险。作为另一示例，违反交通规则的驾驶行为可暗示较高的风险。作为另一示例，包括较低舒适水平的驾驶行为可暗示较高的风险。

图12示出了示例性“云”计算环境。云计算是服务交付模型，用于实现到可配置的计算资源(例如，网络、网络带宽、服务器、处理、存储器、存储、应用、虚拟机以及服务)共享池的方便、按需的网络访问。在典型的云计算系统中，一个或多个大型云数据中心容纳被用于交付由云提供的服务的机器。现在参考图12，云计算环境1200包括云数据中心1204a、1204b以及1204c，云数据中心1204a、1204b以及1204c通过云1202被互连。数据中心1204a、1204b以及1204c向被连接到云1202的计算机系统1206a、1206b、1206c、1206d、1206e以及1206f提供云计算服务。

云计算环境1200包括一个或多个云数据中心。通常，云数据中心(例如图12中所示的云数据中心1204a)指的是组成云(例如，图12中示出的云1202)或云的特定部分的服务器的物理布置。例如，服务器可在云数据中心被物理地布置为房间、群组、排以及机架。云数据中心具有一个或多个区域，这一个或多个区域包括一个或多个服务器房间。每一个房间具有一排或多排服务器，并且每一排包括一个或多个机架。每一个机架包括一个或多个个体服务器节点。可基于数据中心设施的物理基础设施要求(其包括功率、能量、热、热量和/或其他要求)将区域、房间、机架和/或排中的服务器布置成群组。在实施例中，服务器节点与图13中所描述的计算机系统类似。数据中心1204a具有通过许多机架而分布的许多计算系统。

云1202包括云数据中心1204a、1204b和1204c以及网络和联网资源(例如，联网装备、节点、路由器、交换机以及联网电缆)，这些网络和联网资源将云数据中心1204a、1204b以及1204c互连，并帮助促进计算系统1206a-1206f对云计算服务的访问。在实施例中，网络表示使用有线或无线链路耦合的一个或多个本地网络、广域网或互联网络的任何组合，有线和无线链路使用地面或卫星连接来部署。通过网络交换的数据使用任何数量的网络层协议进行传送，这些网络层协议诸如网际协议(ip)、多协议标签交换(mpls)、异步传输模式(atm)以及帧中继等。进一步地，在其中网络表示多个子网的组合的实施例中，在底层子网中的每一个子网处使用不同的网络层协议。在一些实施例中，网络表示一个或多个经互连的互联网络，诸如公共因特网。

计算系统1206a-1206f或云计算设备消费方通过网络链路和网络适配器被连接至云1202。在实施例中，计算系统1206a-1206f被实现为各种计算设备，例如服务器、台式计算机、膝上型计算机、平板、智能手机、iot设备、自主运载工具(包括，汽车、无人机、班车、火车、公共汽车等)以及消费者电子产品。计算系统1206a-1206f也可被实现在其他系统中或作为其他系统的一部分。

图13示出了计算机系统1300的示例。在实施例中，计算机系统1300是专用计算设备。专用计算设备可以进行硬接线以执行该技术，或者可以包括数字电子设备，诸如一个或多个被永久编程以执行该技术的专用集成电路(asic)或现场可编程门阵列(fpga)，或者可以包括一个或多个通用硬件处理器，该一个或多个通用硬件处理器被编程为根据固件、存储器、其他存储、或组合中的程序指令来执行该技术。此类专用计算设备还可将定制的硬接线逻辑、asic、或fpga与定制的编程进行组合，以实现这些技术。专用计算设备可以是台式计算机系统、便携式计算机系统、手持设备、网络设备或包含用于实现这些技术的硬接线和/或程序逻辑的任何其他设备。

计算机系统1300可包括用于传送信息的总线1302或其他通信机制、以及与总线1302耦合以用于处理信息的硬件处理器1304。硬件处理器1304可以是例如通用微处理器。计算机系统1300还包括主存储器1306(诸如，随机存取存储器(ram)或其他动态存储设备)，该主存储器1306被耦合至总线1302，以用于存储信息以及用于由处理器1304执行的指令。主存储器1306还可被用来在用于由处理器1304执行的指令的执行期间存储临时变量或其他中间信息。此类指令在被存储在对于处理器1304可访问的非瞬态存储介质中时将计算机系统1300呈现为被定制成用于执行这些指令中指定的操作的专用机器。

在实施例中，计算机系统1300进一步包括耦合至总线1302的、用于存储用于处理器1304的静态信息和指令的只读存储器(rom)1308或其他静态存储设备。提供存储设备1310，并且将该存储设备1310耦合至总线1302以用于存储信息和指令，该存储设备1310诸如，磁盘、光盘或固态驱动器。

计算机系统1300可经由总线1302被耦合至显示器1312以供向计算机用户显示信息，该显示器1312诸如，阴极射线管(crt)、液晶显示器(lcd)、等离子体显示器、发光二极管(led)显示器、或有机发光二极管(oled)显示器。包括字母数字及其他键的输入设备1314被耦合至总线1302，以用于将信息和命令选择传送到处理器1304。另一类型的用户输入设备是用于将方向信息和命令选择传送到处理器1304并用于控制显示器1312上的光标移动的光标控制器1316，诸如，鼠标、轨迹球、启用触摸的显示器、或光标方向键。该输入设备典型地具有两个轴(第一轴(例如，x轴)和第二轴(例如，y轴))上的两个自由度，这允许设备指定平面中的位置。

根据一个实施例，本文中的技术由计算机系统1300响应于处理器1304执行主存储器1306中所包含的一条或多条指令的一个或多个序列而被执行。此类指令可从另一存储介质(诸如，存储设备1310)被读取到主存储器1306中。对主存储器1306中所包含的指令序列的执行使得处理器1304执行本文中所描述的过程步骤。在替代实施例中，可使用硬接线电路系统代替软件指令，或者与软件指令组合地使用硬接线电路系统。

本文中所使用的术语“存储介质”是指存储使得机器以特定方式进行操作的数据和/或指令的任何非瞬态介质。此类存储介质可包括非易失性介质和/或易失性介质。非易失性介质包括例如，光盘、磁盘、或固态驱动器，诸如存储设备1310。易失性介质包括动态存储器，诸如主存储器1306。常见形式的存储介质包括例如，软盘、柔性盘、硬盘、固态驱动器、磁带或任何其他磁数据存储介质、cd-rom、任何其他光学数据存储介质、具有孔图案的任何物理介质、ram、prom和eprom、闪存-eprom、nv-ram、或任何其他存储芯片或盒式存储器。

存储介质与传输介质不同，但可以与传输介质一同使用。传输介质参与在存储介质之间传递信息。例如，传输介质包括同轴电缆、铜导线和光纤，包括含总线1302的导线。传输介质还可以采取声波或光波的形式，诸如那些在无线电波和红外数据通信期间生成的波。

各种形式的介质可涉及将一个或多个指令的一个或多个序列携带至处理器1304以供执行。例如，指令最初可被承载在远程计算机的磁盘或固态驱动器上。远程计算机可将这些指令加载到其动态存储器中，并使用调制解调器通过电话线发送这些指令。计算机系统1300本地的调制解调器可在电话线上接收数据，并使用红外发射器将该数据转换为红外信号。红外检测器可接收红外信号中承载的数据，并且适当的电路系统可将该数据置于总线1302上。总线1302将数据承载至主存储器1306，处理器1304从该主存储器306检取指令并执行这些指令。由主存储器1306接收的指令可在由处理器1304执行之前或之后可选地被存储在存储设备1310上。

计算机系统1300还包括被耦合至总线1302的通信接口1318。通信接口1318提供到网络链路1320的双向数据通信耦合，该网络链路1322被连接至本地网络322。例如，通信接口1318可以是集成服务数字网络(isdn)卡、电缆调制解调器、卫星调制解调器、或用于提供到对应类型的电话线的数据通信连接的调制解调器。作为另一示例，通信接口1318可以是用于提供到兼容的局域网(lan)的数据通信连接的lan卡。无线链路也可被实现。在任何此类实施例中，通信接口1318发送和接收承载表示各种类型的信息的数字数据流的电信号、电磁信号或光信号。

网络链路1320典型地提供通过一个或多个网络到其他数据设备的数据通信。例如，网络链路1320可提供通过本地网络1322到主机计算机1324或到由互联网服务提供商(isp)1326运营的云数据中心或装备的连接。isp1326进而通过世界范围的分组数据通信网络(现在通常被称为“因特网”1328)提供数据通信服务。本地网络1322和因特网1328两者均使用承载数字数据流的电信号、电磁信号或光信号。通过各种网络的信号以及网络链路1320上和通过通信接口1318的信号是示例形式的传输介质，这些信号承载去往和来自计算机系统1300的数字数据。在实施例中，网络1320可包含上文描述的云1202的一部分或可以是云1202的一部分。

计算机系统1300可通过(多个)网络、网络链路1320和通信接口1318发送消息并且接收包括程序代码的数据。在实施例中，计算机系统1300可接收代码以用于处理。所接收的代码在其被接收时可由处理器1304执行，和/或被存储在存储设备1310和/或其他非易失性存储中以供稍后执行。

尽管本文档中的描述已经描述了远程操作员是人的实施例，但是远程操作员功能可以部分或完全自动执行的。

其他实施例也在权利要求的范围内。

在先前的说明书中，已参照许多特定的细节来描述本发明的实施例，这些特定细节可因实现方式而异。因此，说明书和附图应被认为是说明性而非限制性意义的。本发明范围的唯一且排他的指示符、以及本申请人期望是本发明的范围的内容是以发布此类权利要求的特定的形式从本申请发布的权利要求书的字面和等效范围，包括任何后续校正。本文中明确阐述的用于被包括在此类权利要求中的术语的任何定义应当以此类术语如在权利要求中所使用的意义为准。此外，当我们在先前的说明书或所附权利要求中使用术语“进一步包括”时，在该短语之后的内容可以是额外步骤或实体，或先前所述的步骤或实体的子步骤/子实体。