用于自主运载工具决策的运输网络基础设施的制作方法

文档序号:22557174发布日期:2020-10-17 02:41阅读:151来源:国知局
用于自主运载工具决策的运输网络基础设施的制作方法

本发明涉及用于查询运输网络基础设施以辅助自主运载工具的决策的技术。



背景技术:

在自主运载工具控制的领域中,自主运载工具依赖于运载工具所收集到的运载工具传感器数据(或“运载工具数据”)来确定控制动作。通常,自主运载工具使用运载工具数据作为决策模块(例如,机器学习模型或基于规则的引擎)的输入来识别控制动作。运载工具数据通常是可靠的,因为自主运载工具可能具有许多不同类型的传感器(例如,摄像机、雷达传感器和/或lidar传感器)以判断在自主运载工具的即时路线上是否存在任何障碍物和/或移动物体。然而,出现的问题是可能存在阻碍自主运载工具的感觉范围或“视场”的一个或多个对象,其中自主运载工具的感觉范围或“视场”是指自主运载工具经由其一个或多个传感器能够感测到的邻近该自主运载工具的区域。



技术实现要素:

这里公开了用以辅助自主运载工具的决策的运输网络基础设施的实现。

根据本发明的一些实现,公开了用于控制穿过运输网络的自主运载工具的方法。所述方法包括由所述自主运载工具按照路线穿过所述运输网络,并且由所述自主运载工具的一个或多个处理器从所述自主运载工具的一个或多个运载工具传感器接收运载工具传感器数据。所述方法还包括由所述一个或多个处理器基于所述运载工具传感器数据判断为所述自主运载工具遇到了阻碍场景。响应于判断为所述自主运载工具遇到了阻碍场景,所述方法包括:由所述一个或多个处理器经由通信网络向外部资源发送针对基础设施数据的请求;由所述一个或多个处理器从所述外部资源接收基础设施数据;由所述一个或多个处理器基于所述基础设施数据和所述运载工具传感器数据来确定供所述自主运载工具进行的控制动作;以及由所述一个或多个处理器基于所述控制动作来控制所述自主运载工具。针对基础设施数据的请求指示所述自主运载工具的地理位置,以及所述基础设施数据是基于由沿着所述运输网络设置的邻近所述自主运载工具的地理位置的一个或多个基础设施传感器提供的基础设施传感器数据。

根据本发明的一些实现,判断为所述自主运载工具遇到了阻碍场景包括:基于所述运载工具传感器数据来确定一个或多个候选动作;将各候选动作的相应置信度得分与阈值进行比较;并且响应于判断为所有相应置信度得分小于所述阈值而判断为所述自主运载工具进入了所述阻碍场景。各候选动作具有归属于该候选动作的用于指示在考虑到所述运载工具传感器数据的情况下所述候选动作的置信程度的相应置信度得分。

根据本发明的一些实现,判断为所述自主运载工具遇到了阻碍场景包括:基于所述运载工具传感器数据来确定一个或多个候选动作;并且将各候选动作的相应置信度得分与阈值进行比较。此外,响应于判断为相应置信度得分中的特定置信度得分大于所述阈值,判断为所述自主运载工具遇到了阻碍场景还包括:选择所述特定置信度得分对应于的候选动作作为所述控制动作;并且响应于判断为所述控制动作不会使所述自主运载工具前进通过当前场景而判断为所述运载工具处于所述阻碍场景。

根据本发明的一些实现,确定控制动作包括:将所述运载工具传感器数据和所述基础设施数据输入到机器学习模型中,所述机器学习模型被训练为响应于接收到输入数据而输出候选动作,其中,各候选动作具有与其相关联的相应置信度得分。此外,在一些实现中,基础设施数据的各实例具有归属于该实例的用于指示输出该基础设施数据的基础设施传感器的可靠程度的传感器可靠性得分。在这些实现中,确定控制动作还可以包括将基础设施数据的各实例的传感器可靠性得分与基础设施数据的该实例一起输入到所述机器学习模型中。根据本发明的一些实现,基础设施数据的各实例包括位置数据,其中,所述位置数据指示发送基础设施数据的该实例的基础设施传感器的位置。在这些实现中,确定控制动作还可以包括将基础设施数据的各实例的位置数据与基础设施数据的该实例一起输入到所述机器学习模型中。

根据本发明的一些实现,所述方法还包括:响应于判断为所述自主运载工具遇到了阻碍场景:基于所述运载工具传感器数据来确定所述运输网络的阻碍部分的近似位置;并且将所述近似位置包括在针对基础设施数据的请求中。

根据本发明的一些实现,基础设施数据包括相应基础设施传感器的占用历史,其中,所述占用历史包括用于指示所述相应基础设施传感器所监视的相应区域被对象占用的时间的一个或多个时间戳。

根据本发明的一些实现,所述方法还包括:由所述外部资源接收针对基础设施数据的请求;由所述外部资源确定与所述请求相对应的位置;由所述外部资源获得与同所述请求相对应的位置相对应的基础设施数据;并且由所述外部资源将所述基础设施数据发送至所述自主运载工具。在这些实现的一些中,获得基础设施数据包括:由所述外部资源识别用于监视与所述请求相对应的位置的基础设施传感器;并且由所述外部资源查询用于维持所述基础设施传感器的占用历史的基础设施传感器对象,其中,所述占用历史包括用于指示所述基础设施传感器所监视的相应区域被对象占用的时间的一个或多个时间戳。

根据本发明的一些实现,公开了自主运载工具。所述自主运载工具可以包括:传感器系统,其具有一个或多个运载工具传感器;以及一个或多个处理器,用于执行计算机可读指令。在被执行时,所述计算机可读指令使所述一个或多个处理器:随着所述自主运载工具穿过运输网络而从所述传感器系统中的一个或多个运载工具传感器接收运载工具传感器数据;并且基于所述运载工具传感器数据判断为所述自主运载工具遇到了阻碍场景。响应于判断为自主运载工具遇到了阻碍场景,所述指令使所述一个或多个处理器:经由通信网络向外部资源发送针对基础设施数据的请求;从所述外部资源接收基础设施数据;基于所述基础设施数据和所述运载工具传感器数据来确定供所述自主运载工具进行的控制动作;并且基于所述控制动作来控制所述自主运载工具。针对基础设施数据的请求指示所述自主运载工具的地理位置,以及所述基础设施数据是基于由沿着所述运输网络设置的、邻近所述自主运载工具的地理位置的一个或多个基础设施传感器提供的基础设施传感器数据。

根据本发明的一些实现,判断为所述自主运载工具遇到了阻碍场景包括:基于所述运载工具传感器数据来确定一个或多个候选动作;将各候选动作的相应置信度得分与阈值进行比较;并且响应于判断为所有相应置信度得分小于所述阈值而判断为所述自主运载工具进入了所述阻碍场景。各候选动作具有归属于该候选动作的用于指示在考虑到所述运载工具传感器数据的情况下所述候选动作的置信程度的相应置信度得分。

根据本发明的一些实现,判断为所述自主运载工具遇到了阻碍场景包括:基于所述运载工具传感器数据来确定一个或多个候选动作;并且将各候选动作的相应置信度得分与阈值进行比较。此外,响应于判断为相应置信度得分中的特定置信度得分大于所述阈值,判断为所述自主运载工具遇到了阻碍场景还包括:选择所述特定置信度得分对应于的候选动作作为所述控制动作;并且响应于判断为所述控制动作不会使所述自主运载工具前进通过当前场景而判断为所述运载工具处于所述阻碍场景。

根据本发明的一些实现,确定控制动作包括:将所述运载工具传感器数据和所述基础设施数据输入到机器学习模型中,所述机器学习模型被训练为响应于接收到输入数据而输出候选动作,其中,各候选动作具有与其相关联的相应置信度得分。此外,在一些实现中,基础设施数据的各实例具有归属于该实例的用于指示输出所述基础设施数据的基础设施传感器的可靠程度的传感器可靠性得分。在这些实现中,确定控制动作还可以包括将基础设施数据的各实例的传感器可靠性得分与基础设施数据的该实例一起输入到所述机器学习模型中。根据本发明的一些实现,基础设施数据的各实例包括位置数据,其中,所述位置数据指示发送基础设施数据的该实例的基础设施传感器的位置。在这些实现中,确定控制动作还可以包括将基础设施数据的各实例的位置数据与基础设施数据的该实例一起输入到所述机器学习模型中。

根据本发明的一些实现,所述计算机可读指令还使所述一个或多个处理器:响应于判断为所述自主运载工具遇到了阻碍场景:基于所述运载工具传感器数据来确定所述运输网络的阻碍部分的近似位置;并且将所述近似位置包括在针对基础设施数据的请求中。

根据本发明的一些实现,基础设施数据包括相应基础设施传感器的占用历史,其中,所述占用历史包括用于指示所述相应基础设施传感器所监视的相应区域被对象占用的时间的一个或多个时间戳。

根据本发明的一些实现,公开了运载工具控制服务器。所述运载工具控制服务器可以包括:存储装置,用于存储运输网络数据存储,所述运输网络数据存储用于存储运输网络数据。所述运输网络数据包括沿着运输网络设置的多个基础设施传感器的位置以及所述多个基础设施传感器的相应标识符。所述运载工具控制服务器还包括:通信单元,其被配置为经由通信网络与外部装置进行通信;以及一个或多个处理器,用于执行计算机可读指令。在被执行时,所述指令使所述一个或多个处理器维持多个基础设施传感器对象。各基础设施传感器对象与所述多个基础设施传感器中的相应基础设施传感器相对应并且被配置为:从所述相应基础设施传感器接收占用信号;并且响应于所述占用信号指示所述相应基础设施传感器所监视的区域被占用,更新所述基础设施传感器的占用历史以指示正被监视的区域被占用。所述占用信号指示所述相应基础设施传感器所监视的区域是否被对象占用,以及所述占用历史指示在固定时间帧期间检测到的任何占用事件。所述指令还使所述一个或多个处理器:经由所述通信单元从自主运载工具接收针对基础设施数据的请求,针对基础设施数据的请求包括位置;基于针对基础设施数据的请求中所包括的位置,从多个传感器中确定相关基础设施传感器;查询与所述相关基础设施传感器相对应的基础设施传感器对象,以获得所述相关基础设施传感器的占用历史;并且将所述占用历史发送至所述自主运载工具。

根据本发明的一些实现,更新所述基础设施传感器的占用历史包括:基于所述占用信号来检测占用事件;生成与所述占用事件相对应的时间戳;并且将所述时间戳插入到所述基础设施传感器的占用历史中。

附图说明

当结合附图阅读时,根据以下详细描述最好地理解本发明。应当强调,根据惯例,附图的各个特征不按比例。相反,为了清楚起见,各个特征的尺寸被任意地扩大或缩小。

图1是可以实现这里公开的方面、特征和元素的运载工具的一部分的示例的示意图。

图2是可以实现这里公开的方面、特征和元素的运载工具运输和通信系统的一部分的示例的示意图。

图3示出遇到了阻碍场景的示例性自主运载工具。

图4是根据本发明的一些实现的自主运载工具的示例性运载工具控制系统的示意图。

图5是被配置为向自主运载工具提供基础设施数据的外部资源的组件的示例性集合的示意图。

图6是示出用于控制遇到了阻碍场景的自主运载工具的方法的操作的示例性集合的流程图。

具体实施方式

这里公开了用于处理自主运载工具(也称为“运载工具”)所遇到的阻碍场景的技术。阻碍场景可以是指自主运载工具的传感器系统由于正在遮挡运载工具的传感器的障碍物或其它对象因而不能获得供自主运载工具确定控制动作用的可靠运载工具传感器数据(也称为“运载工具数据”)的情形。例如,当自主运载工具试图左转弯到道路上时,建筑物可能遮挡该运载工具的摄像机的视场。如果建筑物正从左边阻挡照相机的视场(其中运载工具可能与自主运载工具的路线相交),则自主运载工具可能处于不能判断是转弯还是继续等待的情形。在另一示例中,自主运载工具可能位于山顶或山顶附近,由此运载工具不能判断是否有任何运载工具正在越过山。

在遇到阻碍场景时,自主运载工具可以向外部资源发送针对基础设施数据的请求。该请求可以指示自主运载工具的位置和/或阻碍场景的估计位置。外部资源可以是经由通信网络(例如,因特网或蜂窝网络)与沿着运输网络设置的基础设施传感器(例如,感应环路交通传感器、摄像机、雷达传感器、音频传感器和lidar传感器)进行通信的一个或多个计算装置。基础设施传感器将基础设施数据发送至外部资源。基础设施数据可以指示在基础设施传感器正监视的区域中是否存在对象(例如,运载工具)。

注意,这里所述的技术可以适用于处理附加场景。在一些实现中,基础设施数据可用于长期规划(例如,超前几分钟或几英里)。在这些实现中,自主运载工具可以基于即将到来的路线来请求基础设施数据,以判断沿着运载工具的即将到来的路线是否存在要避免的任何状况。

响应于请求,外部资源可以将基础设施数据发送至自主运载工具。自主运载工具可以利用基础设施数据来确定供运载工具采取的控制动作。特别地,自主运载工具可以用基础设施数据补充从传感器获得的运载工具数据,以确定控制动作。例如,在一些实现中,自主运载工具可以将基础设施数据和运载工具数据输入到机器学习模型中以确定控制动作。

图1是可以实现这里公开的方面、特征和元素的自主运载工具1000(也称为“运载工具”1000)的示例的图。运载工具1000包括底盘1100、动力总成1200、控制器1300、轮1400/1410/1420/1430或运载工具的任何其它元件或元件组合。尽管为了简单起见,运载工具1000被示出为包括四个轮1400/1410/1420/1430,但是可以使用诸如推动器或踏面等的任何其它推进装置。在图1中,诸如动力总成1200、控制器1300和轮1400/1410/1420/1430等的线路互连元件表示诸如数据或控制信号等的信息、诸如电力或扭矩等的动力、或者信息和动力这两者可以在相应元件之间通信。例如,控制器1300可以从动力总成1200接收动力,并与动力总成1200、轮1400/1410/1420/1430或这两者进行通信以控制运载工具1000,这可以包括对运载工具1000进行加速、减速、转向或以其它方式进行控制。

动力总成1200包括动力源1210、发送单元1220、转向单元1230、运载工具致动器1240、或动力总成的任何其它元件或元件组合(诸如悬架、驱动轴、轮轴或排气系统等)。尽管单独示出,但是轮1400/1410/1420/1430可以包括在动力总成1200中。

动力源1210可以是可操作地提供诸如电能、热能或动能等的能量的任何装置或装置组合。例如,动力源1210包括诸如内燃机、电动马达、或内燃机和电动马达的组合等的引擎,并且可操作地向轮1400/1410/1420/1430中的一个或多个提供动能作为原动力。在一些实施例中,动力源1210包括潜在能量单元,例如:诸如镍镉(nicd)电池、镍锌(nizn)电池、镍氢(nimh)电池、锂离子(li离子)电池等的一个或多个干电池;太阳能电池;燃料电池;或能够提供能量的任何其它装置。

发送单元1220从动力源1210接收诸如动能等的能量,并将能量发送至轮1400/1410/1420/1430以提供原动力。发送单元1220可以由控制器1300、运载工具致动器1240或这两者控制。转向单元1230可以由控制器1300、运载工具致动器1240或这两者控制,并控制轮1400/1410/1420/1430以使运载工具转向。运载工具致动器1240可以接收来自控制器1300的信号,并且可以致动或控制动力源1210、发送单元1220、转向单元1230或其任何组合以操作运载工具1000。

在一些实施例中,控制器1300包括定位单元1310、电子通信单元1320、处理器1330、存储器1340、用户接口1350、传感器系统1360、电子通信接口1370或其任何组合。尽管被示出为单个单元,但控制器1300的任何一个或多个元件可以集成到任何数量的单独物理单元中。例如,用户接口1350和处理器1330可以集成在第一物理单元中,并且存储器1340可以集成在第二物理单元中。尽管在图1中未示出,但控制器1300可以包括诸如电池等的动力源。尽管被示出为单独元件,但是定位单元1310、电子通信单元1320、处理器1330、存储器1340、用户接口1350、传感器系统1360、电子通信接口1370或其任何组合可以集成在一个或多个电子单元、电路或芯片中。

在一些实施例中,处理器1330包括现有的或随后开发的能够操纵或处理信号或其它信息的任何装置或装置组合,包括光学处理器、量子处理器、分子处理器或其组合。例如,处理器1330可以包括一个或多个专用处理器、一个或多个数字信号处理器、一个或多个微处理器、一个或多个控制器、一个或多个微控制器、一个或多个集成电路、一个或多个专用集成电路、一个或多个现场可编程门阵列、一个或多个可编程逻辑阵列、一个或多个可编程逻辑控制器、一个或多个状态机或其任何组合。处理器1330可以可操作地与定位单元1310、存储器1340、电子通信接口1370、电子通信单元1320、用户接口1350、传感器系统1360、动力总成1200或其任何组合耦接。例如,处理器1330可以可操作地经由通信总线1380与存储器1340耦接。

在一些实现中,处理器1330可被配置为执行指令,包括可用于从包括外部资源的远程位置操作运载工具1000的远程操作指令。远程操作指令可以存储在运载工具1000中,或者从诸如交通管理中心等的外部源或者可包括基于云的服务器计算装置等的服务器计算装置接收。

存储器1340可以包括任何有形的非暂时性计算机可用或计算机可读介质,其例如能够包含、存储、通信或运输机器可读指令或与其相关联的任何信息以供处理器1330或结合处理器1330使用。存储器1340可以例如包括一个或多个固态驱动器、一个或多个存储卡、一个或多个可移除介质、一个或多个只读存储器、一个或多个随机存取存储器、一个或多个盘(包括硬盘、软盘、光盘、磁卡或光卡)、或适合存储电子信息的任何类型的非暂时性介质、或其任何组合。

电子通信接口1370可以是无线天线(如图所示)、有线通信端口、光通信端口)、或者能够与有线或无线电子通信介质1500接合的任何其它有线或无线单元。

电子通信单元1320可被配置为经由有线或无线电子通信介质1500(诸如经由电子通信接口1370等)来发送或接收信号。尽管在图1中没有明确示出,但电子通信单元1320被配置为经由任何有线或无线通信介质(诸如射频(rf)、紫外光(uv)、可见光、光纤、有线线路或其组合)来进行发送、接收或者发送和接收这两者。尽管图1示出单个电子通信单元1320和单个电子通信接口1370,但是可以使用任何数量的通信单元和任何数量的通信接口。在一些实施例中,电子通信单元1320可以包括专用短距离通信(dsrc)单元、无线安全单元(wsu)、ieee802.11p(wifi-p)或其组合。

位置单元1310可以确定运载工具1000的地理位置信息,包括但不限于经度、纬度、高度、行进方向或速率。例如,定位单元包括全球定位系统(gps)单元,诸如广域增强系统(waas)启用的国家海洋电子协会(nmea)单元、无线电三角测量单元或其组合。定位单元1310可以用于获得表示例如运载工具1000的当前航向、运载工具1000在二维或三维中的当前位置、运载工具1000的当前角取向或其组合的信息。

用户接口1350可以包括能够被人用作接口的任何单元,包括虚拟键盘、物理键盘、触摸板、显示器、触摸屏、扬声器、麦克风、摄像机和传感器中的任何一个。如图所示,用户接口1350可以可操作地与处理器1330或者与控制器1300的任何其它元件耦接。尽管被示出为单个单元,但是用户接口1350可以包括一个或多个物理单元。例如,用户接口1350包括用于与人进行音频通信的音频接口、以及用于与人进行基于视觉和触摸的通信的触摸显示器。

传感器系统1360可以包括能够可操作地提供可用于控制运载工具的信息的一个或多个传感器(诸如传感器阵列等)。传感器系统1360可以提供与运载工具的当前操作特性或其周围有关的信息。传感器系统1360例如包括速率传感器、加速度传感器、转向角传感器、牵引力相关传感器、制动相关传感器或者任何传感器或传感器组合,其可操作地报告与运载工具1000的当前动态情形的某些方面有关的信息。

在一些实施例中,传感器系统1360可以包括可操作地获得与运载工具1000周围的物理环境有关的信息的传感器。例如,一个或多个传感器检测道路几何形状和障碍物(诸如固定障碍物、运载工具、骑行者和行人等)。在一些实施例中,传感器系统1360可以是或者包括现有的或随后开发的一个或多个摄像机、lidar系统、雷达系统、激光感测系统、红外感测系统、声感测系统或者任何其它合适类型的车载环境感测装置或装置组合。在一些实施例中,传感器系统1360和定位单元1310组合。

尽管没有单独示出,但是运载工具1000可以包括运载工具控制系统。例如,控制器1300可以包括运载工具控制系统。运载工具控制系统可以可操作地获得用于描述运载工具1000的当前状态和针对运载工具1000规划的路线的信息,并基于该信息来确定和优化运载工具1000的轨迹。在一些实施例中,运载工具控制系统输出可操作地控制运载工具1000以使得运载工具1000遵循运载工具控制系统所确定的轨迹的信号。例如,运载工具控制系统的输出可以是优化轨迹,该优化轨迹可被供给至动力总成1200、轮1400/1410/1420/1430或这两者。在一些实施例中,优化轨迹可以是诸如转向角的集合等的控制输入,其中各转向角与时间点或位置相对应。在一些实施例中,优化轨迹可以是一个或多个路径、线路、曲线或其组合。

轮1400/1410/1420/1430中的一个或多个可以是:在转向单元1230的控制下枢转至转向角度的转向轮;在发送单元1220的控制下扭转以推动运载工具1000的推动轮;或者用于对车辆1000进行转向和推动的转向推动轮。

运载工具可以包括图1中未示出的单元或元件,诸如外壳、蓝牙模块、调频(fm)无线电单元、近场通信(nfc)模块、液晶显示器(lcd)显示单元、有机发光二极管(oled)显示单元、扬声器或其任何组合。

图2是可以实现这里公开的方面、特征和元素的运载工具运输和通信系统2000的一部分的示例的图。运载工具运输和通信系统2000包括运载工具2100(诸如图1所示的运载工具1000等)以及一个或多个外部对象(诸如外部对象2110等),该外部对象可以包括任何运输形式(诸如图1所示的运载工具1000、行人、骑行者等)以及任何结构形式(诸如建筑物等)。运载工具2100可以经由运输网络2200的一个或多个部分行进,并且可以经由电子通信网络2300的一个或多个来与外部对象2110进行通信。尽管在图2中没有明确示出,但是运载工具可以穿过没有明确或完全包括在运输网络中的区域(诸如越野区域等)。在一些实施例中,运输网络2200可以包括一个或多个运载工具检测传感器2202(诸如感应环路传感器等),该运载工具检测传感器2202可以用于检测运输网络2200上的运载工具的移动。

电子通信网络2300可以是在运载工具2100、外部对象2110和外部资源2400之间提供诸如语音通信、数据通信、视频通信、消息传送通信或其组合等的通信的多址系统。例如,运载工具2100或外部对象2110可以经由电子通信网络2300从外部资源2400接收诸如表示运输网络2200的信息等的信息。

外部资源2400包括控制器设备2410,该控制器设备2410包括图1所示的控制器1300的一些或所有特征。控制器设备2410可以监视和协调运载工具的移动。控制器设备2410可以监视与控制器设备2410通信的任何运载工具的运载工具状态数据。控制器设备2410可以维持各运载工具的运载工具状态,并且可以基于各运载工具的运载工具状态来确定该运载工具的路线。此外,控制器设备可以监视运载工具的集合的运载工具状态数据,以检测交通状况(例如,交通堵塞)的发生。在确定交通状况的发生时,控制器设备2410基于一个或多个因素将可能遇到交通状况的运载工具(即,路线与交通状况相交的运载工具)分组成不同的子组。然后通过不同的路点对不同的子组重新规划路线,以高效地为交通状况周围的运载工具规划路线。控制器设备2410可以接收包括以下各项中任一项的运载工具状态数据和外部数据:运载工具速度;运载工具位置;运载工具操作状态;运载工具目的地;运载工具路线;运载工具传感器数据;外部对象速度;外部对象位置;外部对象操作状态;外部对象目的地;外部对象路线;以及外部对象传感器数据。

此外,控制器设备2410可以建立对诸如运载工具2100等的一个或多个运载工具或者诸如外部对象2110等的外部对象的远程控制。以这种方式,控制器设备2410可以从远程位置遥操作运载工具或外部对象。控制器设备2410可以经由诸如无线通信链路2380等的无线通信链路或诸如有线通信链路2390等的有线通信链路来与诸如运载工具2100、外部对象2110或服务器计算装置2500等的运载工具、外部对象或计算装置交换(发送或接收)状态数据。

服务器计算装置2500可以包括一个或多个服务器计算装置,这些服务器计算装置可以经由电子通信网络2300来与包括运载工具2100、外部对象2110或外部资源2400的一个或多个运载工具或计算装置交换(发送或接收)状态信号数据。

在一些实施例中,运载工具2100或外部对象2110经由有线通信链路2390、无线通信链路2310/2320/2370或者任何数量或类型的有线或无线通信链路的组合来进行通信。例如,如图所示,运载工具2100或外部对象2110经由地面无线通信链路2310、经由非地面无线通信链路2320或经由其组合来进行通信。在一些实现中,地面无线通信链路2310包括以太网链路、串行链路、蓝牙链路、红外(ir)链路、紫外(uv)链路或能够进行电子通信的任何链路。

诸如运载工具2100等的运载工具或诸如外部对象2110等的外部对象可与另一运载工具、外部对象或外部资源2400进行通信。例如,主机或主体运载工具2100可以经由直接通信链路2370或经由电子通信网络2300来从外部资源2400接收诸如基本安全消息(bsm)等的一个或多个自动化运载工具间消息。例如,外部资源2400可以将该消息广播到诸如300米等的定义广播范围内的主机运载工具,或者广播到定义地理区域。在一些实施例中,运载工具2100经由诸如信号中继器(未示出)或另一远程运载工具(未示出)等的第三方来接收消息。在一些实施例中,运载工具2100或外部对象2110基于诸如100毫秒等的定义间隔来定期地发送一个或多个自动化运载工具间消息。

自动化运载工具间消息可以包括运载工具识别信息;地理空间状态信息,诸如经度、纬度或高度信息等;地理空间定位精度信息;运动学状态信息,诸如运载工具加速度信息、横摆率信息、速率信息、运载工具航向信息、制动系统状态数据、油门信息、转向盘角度信息或运载工具路线信息等;或者运载工具操作状态信息,诸如运载工具尺寸信息、前灯状态信息、转弯信号信息、雨刮器状态数据、发送信息、或者与发送运载工具的状态相关的任何其它信息或信息组合。例如,发送状态信息表示发送运载工具的发送是处于中性状态、停止状态、正向状态还是反向状态。

在一些实施例中,运载工具2100经由接入点2330来与电子通信网络2300进行通信。可包括计算装置的接入点2330可被配置为经由有线或无线通信链路2310/2340来与运载工具2100、与电子通信网络2300、与外部资源2400或与其组合进行通信。例如,接入点2330是基站、基站收发台(bts)、节点b、增强型节点b(enode-b)、家庭节点b(hnode-b)、无线路由器、有线路由器、集线器、中继器、交换机或任何类似的有线或无线装置。尽管被示出为单个单元,但是接入点可以包括任何数量的互连元件。

运载工具2100可以经由卫星2350或其它非地面通信装置来与电子通信网络2300进行通信。可包括计算装置的卫星2350可被配置为经由一个或多个通信链路2320/2360来与运载工具2100、与电子通信网络2300、与外部资源2400或与其组合进行通信。尽管被示出为单个单元,但是卫星可以包括任何数量的互连元件。

电子通信网络2300可以是被配置为提供语音、数据或任何其它类型的电子通信的任何类型的网络。例如,电子通信网络2300包括局域网(lan)、广域网(wan)、虚拟专用网(vpn)、移动或蜂窝电话网、因特网或任何其它电子通信系统。电子通信网络2300可以使用诸如传输控制协议(tcp)、用户数据报协议(udp)、因特网协议(ip)、实时传输协议(rtp)、超文本传输协议(http)或其组合等的通信协议。尽管被示出为单个单元,但是电子通信网络可以包括任何数量的互连元件。

在一些实施例中,运载工具2100经由电子通信网络2300、接入点2330或卫星2350来与外部资源2400进行通信。外部资源2400可以包括一个或多个计算装置,这些计算装置能够与诸如运载工具2100等的运载工具、包括外部对象2110的外部对象或者诸如服务器计算装置2500等的计算装置交换(发送或接收)数据。

在一些实施例中,运载工具2100识别运输网络2200的一部分或状况。例如,运载工具2100可以包括一个或多个车载传感器2102(诸如图1所示的传感器系统1360等),该一个或多个车载传感器2102包括速率传感器、轮速传感器、照相机、陀螺仪、光学传感器、激光传感器、雷达传感器、声传感器、或能够确定或识别运输网络2200的一部分或状况的任何其它传感器或装置或其组合。

运载工具2100可以使用经由电子通信网络2300通信的信息(诸如表示运输网络2200的信息、一个或多个车载传感器2102所识别的信息、或其组合等)来穿过运输网络2200的一个或多个部分。外部对象2110可以能够进行以上针对运载工具2100所述的所有或一些通信和动作。

为了简单起见,图2示出作为主机运载工具的运载工具2100、外部对象2110、运输网络2200、电子通信网络2300和外部资源2400。然而,可以使用任何数量的运载工具、网络或计算装置。在一些实施例中,运载工具运输和通信系统2000包括图2中未示出的装置、单元或元件。尽管运载工具2100或外部对象2110被示出为单个单元,但是运载工具可以包括任何数量的互连元件。

尽管运载工具2100被示出为经由电子通信网络2300来与外部资源2400进行通信,但是运载工具2100(和外部对象2110)可以经由任何数量的直接或间接通信链路来与外部资源2400进行通信。例如,运载工具2100或外部对象2110可以经由诸如蓝牙通信链路等的直接通信链路来与外部资源2400进行通信。尽管为了简单起见,图2示出一个运输网络2200和一个电子通信网络2300,但是可以使用任何数量的网络或通信装置。

图3示出在穿过运输网络3000的同时遇到了阻碍场景3110的自主运载工具3100的示例。在所示的示例中,建筑物3120和树3130正在阻挡自主运载工具3100的感测。作为结果,自主运载工具3100不能判断是否沿着其建议路径3140前进。特别地,建筑物3120和树3130阻止运载工具3100的传感器系统判断是否存在可能与自主运载工具3100的路径3140相交的潜在移动物体(例如,运载工具3150)。此外,如果阻碍场景3110在自主运载工具3100正在行进的方向上阻挡了该自主运载工具3100的感觉范围,则自主运载工具3100将不能判断在运载工具3100的直接路径3140中是否存在非移动或缓慢移动障碍物(未示出)。作为遇到阻碍场景3110的结果,自主运载工具3100可能不能基于自主运载工具3100的传感器系统所收集到的运载工具数据来确定供运载工具采取的控制动作。在一些场景中,自主运载工具可以确定导致不能协商期望动作的控制动作。例如,控制动作可以指示自主运载工具等待更长时间、向前寸动或非常缓慢地移动。为了讨论的目的,使运载工具等待更长时间、向前寸动或缓慢前进的控制动作都可被认为是运载工具不能确定控制动作的情形。换句话说,运载工具不能确定使自主运载工具成功地移动通过阻碍场景的控制动作。还注意到,虽然图3中的阻碍场景是对象阻挡自主运载工具3100的视野的结果,但是阻碍场景也可能由运输网络的几何形状引起。例如,如果交叉路口的角度阻止了自主运载工具3100感测正在运输网络上行进的其它对象,则也可能遇到阻碍场景。

在图3所示的场景中,自主运载工具3100由于建筑物3120和树3130阻挡了自主运载工具3100的感觉范围或视场因而不能判断运载工具3150或任何其它移动物体是否被设置为与运载工具3100的路径3140相交。在该场景中,自主运载工具3100可以将从运载工具的传感器系统获得的运载工具数据输入到运载工具的动作确定模块中。动作确定模块可以是被配置为确定一个或多个候选动作的自主运载工具3100的任何组件,其中各候选动作定义运载工具可以采取的不同动作,并且可以具有归属于该动作的相应置信度得分。置信度得分可以是考虑到所提供的数据的情况下动作确定模块对候选动作的置信程度的指示。在一些实现中,如果各候选动作的置信度得分低于阈值,则自主运载工具将不选择任何候选动作。换句话说,如果动作确定模块在任何候选动作中都不具有必要的置信程度,则自主运载工具将不采取动作。注意,运载工具可以采取保守动作,诸如等待更长时间、向前寸动或缓慢移动等。在这些场景中,运载工具可能仍然判断为其不能确定控制动作,因为所采取的控制动作不会使运载工具前进通过阻碍场景。

在自主运载工具3100遇到影响自主运载工具3100的动作确定模块仅基于运载工具数据确定控制动作的能力的阻碍场景的情况下,自主运载工具3100可以从外部资源3160请求基础设施数据。外部资源3160可以是用于从穿过运输网络3000的运载工具和/或从基础设施传感器3180收集数据的一个或多个计算装置的集合。基础设施传感器3180可以是沿着或邻近运输网络3000设置并且与外部资源3160进行通信的任何传感器。基础设施传感器3180的示例可以包括但不限于感应环路交通传感器(或“环路传感器”)、摄像机、雷达传感器、音频传感器和lidar传感器。针对基础设施数据的请求可以包括自主运载工具3100的地理位置和/或与阻碍场景相对应的估计位置(例如,运输网络的阻挡部分的估计位置)。响应于接收到请求,外部资源返回与运载工具的位置/阻碍场景的位置相对应的基础设施数据。在一些实现中,基础设施数据可以指示检测事件的位置和时间戳。例如,随着运载工具3150通过基础设施传感器3180,基础设施传感器3180可以经由通信网络3170向外部资源3160发送用于指示传感器空间被占用的信号。例如,在传感器空间被占用的情况下,基础设施传感器3180可以发送第一信号值,而在传感器空间未被占用的情况下,基础设施传感器3180可以发送第二信号值。在从基础设施传感器3180接收到信号并知道基础设施传感器3180的地理位置时,外部资源3160可以确定潜在移动物体何时通过基础设施传感器。例如,外部资源3160可以确定与占用事件相对应的时间戳。响应于接收到针对基础设施数据的请求(其中该请求指示了自主运载工具和/或阻碍场景的位置),外部资源3160可以检索与该请求相关的任何时空相关数据。例如,外部资源3160可以在响应于该请求的基础设施数据中包括前五秒(或任何其它合适时间长度)内的任何占用事件的位置和时间戳。此外,外部资源可以提供与基础设施传感器所检测到的对象相关的速率信息。速率信息可以由基础设施传感器3180确定,或者可以由外部资源3160基于从两个或更多个基础设施传感器3160接收到的基础设施数据进行插值。

自主运载工具3100从外部资源3160接收基础设施数据,并基于从运载工具传感器获得的运载工具数据以及从外部资源3160接收到的基础设施数据再次确定一个或多个候选动作。例如,自主运载工具3100可以将运载工具数据和基础设施数据输入到动作确定模块,该动作确定模块转而输出具有归属于各候选动作的置信度得分的一个或多个候选动作。假设一个或多个候选动作大于阈值,自主运载工具可以选择具有最高置信度得分的候选动作(或具有必要置信度得分的另一候选动作)作为控制动作。响应于对控制动作的选择,自主运载工具可以执行控制动作。

注意,在一些场景下,在接收到基础设施数据之后,自主运载工具3100可能仍然不能选择使运载工具前进通过阻碍场景的候选动作(例如,运载工具继续等待或向前寸动)。在这些场景中,自主运载工具3100可以继续接收基础设施数据,直到它能够选择控制动作为止。可选地,自主运载工具3100可以将对运载工具的控制让与该运载工具中的乘客。

图4示出根据本发明的一些实现的自主运载工具(例如,图1的自主运载工具1000、图3的自主运载工具3100)的示例性运载工具控制系统4000。运载工具控制系统4000可以由自主运载工具的一个或多个处理器(例如,图1的处理器1330)执行。运载工具控制系统4000可以包括自主控制模块4010、动作确定模块4020和运载工具控制模块4030。运载工具控制系统4000可以从传感器系统4100(例如,图1的传感器系统1360)和通信单元4200(例如,图1的通信单元1320)接收输入。

在一些实现中,自主控制模块4010从传感器系统4100接收运载工具数据。例如,自主控制模块4010可以从摄像机、lidar系统、雷达系统、激光感测系统、红外感测系统、声感测系统、或者任何其它合适类型的车载环境感测装置或装置组合中的一个或多个中接收运载工具数据。自主控制模块4010可以将运载工具数据传递至动作确定模块4020。

在一些实现中,动作确定模块4020接收运载工具数据(以及在某些场景下,基础设施数据),并基于接收到的数据来确定一个或多个候选动作。动作确定模块4020可以实现用于确定候选动作的任何合适技术。例如,动作确定模块4020可以实现用于基于接收到的数据来确定候选动作的机器学习模型和/或基于规则的引擎。机器学习模型的示例包括部分可观察马尔可夫决策过程(partiallyobservablemarkovdecisionprocess)、神经网络、深度神经网络和决策树等。响应于接收到的数据,动作确定模块4020确定一个或多个候选动作。在控制自主运载工具的上下文中,候选动作的示例可以包括但不限于“右转弯”、“左转弯”、“左偏”、“右偏”、“继续直行”、“加速”、“减速”或“停止”。

在一些实现中,动作确定模块4020可以将接收到的数据输入到机器学习模型或基于规则的引擎中,以确定一个或多个候选动作。最初,动作确定模块4020可以将运载工具数据(即,从传感器系统4100获得的数据)输入到机器学习模型或基于规则的引擎中。如将要讨论的,在一些场景中,在动作确定模块4020不能仅基于运载工具数据来确定控制动作的情况下,动作确定模块4020可以进一步将基础设施数据或其它外部数据(即,从其它自主运载工具获得的运载工具数据)输入到机器学习模型或基于规则的引擎中。响应于输入的数据,机器学习模型或基于规则的引擎输出一个或多个候选动作。

输出的各候选动作可以具有归属于该候选动作的置信度得分。置信度得分可以指示相应动作的置信程度。例如,在存在阻碍场景的情况下归属于右转弯的候选动作的相对低的置信度得分(例如,在1分满分的情况下,得分为0.4分)指示出动作确定模块4020在该候选动作中置信度不高。

自主控制模块4010接收一个或多个候选动作及其相应的置信度得分,并判断是否要选择其中一个候选动作作为控制动作。自主控制模块4010可以将各置信度得分与阈值进行比较,其中该阈值定义候选动作的最小置信度得分。该阈值可以经验性地或以任何其它合适的方式确定。如果置信度得分中至少之一大于(或等于)该阈值,则自主控制模块4010从一个或多个候选动作中选择控制动作。例如,自主控制模块4010可以选择具有最高置信度得分的候选动作。可选地,自主控制模块4010可以选择具有必要置信度得分并且最不会干扰自主运载工具的运动的候选动作。注意,在一些实现中,自主控制模块4010可以确定不会使运载工具前进通过阻碍场景的控制动作。例如,如果运载工具不能确定将使运载工具前进通过阻碍场景的控制动作,则自主控制模块4010可以确定使运载工具等待更长时间、向前寸动或非常缓慢地前进的控制动作。在这些场景中,自主控制模块4010可能认为其不能确定控制动作,因为所选择的控制动作不会使运载工具前进通过阻碍场景。

在置信度得分都没超过或等于阈值、以及/或者自主控制模块4010不能确定使运载工具前进通过阻碍场景的控制动作(例如,等待更长时间或向前寸动)的情况下,自主控制模块4010从外部资源请求基础设施数据。例如,自主控制模块4010可以生成针对基础设施数据的请求,并且可以将该请求发送至外部资源。自主控制模块4010可以从例如运载工具的gps单元获得运载工具的地理位置。自主控制模块4010可以将运载工具的地理位置包括在针对基础设施数据的请求中。在一些实现中,自主控制模块4010(或相关组件)可以估计与阻碍场景相对应的位置。换句话说,自主控制模块4010可以估计传感器系统4100不能获得可靠的运载工具数据的区域的位置。自主控制模块4010可以利用自主运载工具的地理位置、自主运载工具的取向和/或传感器数据来估计与阻碍场景相对应的位置。例如,自主控制模块4010可以使用运载工具的地理位置以及来自运载工具的lidar传感器的传感器读数来估计正在产生阻碍场景的障碍物的位置。基于障碍物的位置和自主运载工具的取向,自主控制模块4010可以估计传感器系统4100不能获得可靠的运载工具数据的区域的位置。在一些实现中,自主控制模块4010可以将阻碍场景的估计位置包括在针对基础设施数据的请求中。

响应于发送针对基础设施数据的请求,自主控制模块4010从外部资源接收基础设施数据。基础设施数据可以指示与被阻碍的区域相关的各种信息。例如,基础设施数据可以指示最近占用的传感器的地理位置(例如,基础设施传感器检测到对象的位置)。在该示例中,基础设施数据还可以包括用于指示在区域中何时检测到对象的时间戳。此外,根据基础设施传感器的数量和配置,基础设施数据还可以包括检测到的对象的速度。另外或可选地,基础设施数据可以包括从各种基础设施传感器获得的视频数据、雷达数据和/或lidar数据。在这些示例中,外部资源可以流传输视频数据、雷达数据和/或lidar数据,并且该数据可以包括用于指示何时捕获到数据的时间戳。在一些实现中,外部资源以准备直接输入到动作确定模块4020中的方式来构造基础设施数据。

响应于接收到基础设施数据,自主控制模块4010将基础设施数据和(自发送请求以来)新获取的运载工具数据传递至动作确定模块4020。动作确定模块4020将运载工具数据和基础设施数据输入到机器学习模型或基于规则的引擎中。响应于将基础设施数据和运载工具数据输入到机器学习模型或基于规则的引擎中,机器学习模型或基于规则的引擎输出一个或多个候选动作,其中各候选动作具有归属于该候选动作的置信度得分。自主控制模块4010接收候选动作和相应置信度得分,并将各置信度得分与阈值进行比较。如果置信度得分中至少之一大于(或等于)该阈值,则自主控制模块4010从一个或多个候选动作中选择控制动作。例如,自主控制模块4010可以选择具有最高置信度得分的候选动作。可选地,自主控制模块4010可以选择具有必要置信度得分并且最不会干扰自主运载工具的运动的候选动作。在置信度得分都不超过阈值的情况下,自主控制模块4010可以请求/等待更新的基础设施数据,直到自主控制模块4010能够选择控制动作为止。另外或可选地,自主控制模块4010可以将对自主运载工具的控制让与运载工具中的乘客。

响应于选择控制动作,自主控制模块4010将该动作输出到运载工具控制模块4030。运载工具控制模块4030接收控制动作并向一个或多个不同的运载工具系统输出命令。例如,响应于接收到“右偏”动作,运载工具控制模块4030指示转向系统以使运载工具的转向柱稍微向右转。在另一示例中,响应于接收到“减速”动作,运载工具控制模块4030可以指示动力系统以减少运载工具的一个或多个马达输出的动力。运载工具控制模块4030可以以任何合适的方式确定与接收到的动作相对应的命令。例如,运载工具控制模块4030可以利用使动作与命令相关的查找表。在其它实现中,运载工具控制模块4030可以利用响应于动作而输出一个或多个命令的规则集。响应于确定命令,运载工具控制模块4030向相应的运载工具系统发出命令。

在一些实现中,自主控制模块4010(或另一组件)可以在自主运载工具通电时发起与外部资源的通信会话。一旦建立,自主控制模块4010就可以高效地发送请求和接收来自外部资源的数据。此外,通过向外部资源发送针对基础设施数据的请求而不是持续接收基础设施数据,大大减少了网络带宽消耗量以及自主运载工具所使用的计算资源。

此外,在一些实现中,外部资源还可以响应于针对基础设施数据的请求而提供外部运载工具数据。外部运载工具数据可以是从邻近自主运载工具并与外部资源进行通信的其它自主运载工具获得的数据。该外部运载工具数据可能包括邻近自主运载工具的其它运载工具的带时间戳的地理位置、其它运载工具的速度、或者其它运载工具所检测到的对象的估计位置等。

图5示出外部资源5000(例如,图2的外部资源2400)的示例性配置。外部资源5000可以是运载工具控制服务器,该运载工具控制服务器包括处理系统5100,该处理系统5100包括以分布式或单个的方式进行操作的一个或多个处理器。处理系统5100可以执行基础设施监视模块5110和响应模块5120。处理系统5100可以执行未示出的附加组件。

外部资源5000还可以包括存储系统5200。存储系统5200可以包括一个或多个存储装置(例如,闪速存储器装置或硬盘驱动器等)。存储装置可以位于彼此相同的物理位置处,或者可以经由网络分布和连接。存储系统5200可以存储运输网络数据存储5210。

外部资源5000还可以包括通信单元5300,该通信单元5300经由通信网络(例如,因特网和/或蜂窝网络)来实现一个或多个外部装置(例如,自主运载工具)与外部资源5000之间的有线和/或无线通信。

运输网络数据存储5210存储运输网络数据。运输网络数据可以是描述运输网络的特征的任何数据。运输网络数据可以定义道路(例如,街道、公路、双行道、小道等)、沿道路的行进方向、道路的通行权、交通标识(例如,让路标志、停车标志等)、交通灯数据、车道数据(例如,车道数、汇合点等)、沿道路的限速、沿道路的预期速率或速度、沿道路的预期速率或速度的范围、已知障碍物、外部对象以及其它合适数据。在一些实现中,运输网络数据可以被组织在由地理位置键控的数据库中。以这种方式,响应模块5120和/或基础设施监视模块5110可以基于运载工具的位置来检索与运载工具的路径相关的运输网络数据。

运输网络数据存储5210还可以存储与沿着运输网络设置的基础设施传感器相关的信息。基础设施传感器的示例包括但不限于摄像机、雷达传感器、lidar传感器、音频传感器和感应环路交通传感器。运输网络数据存储5210可以包括相应基础设施传感器的地理位置以及与基础设施传感器所监视的区域相对应的地理位置或地理围栏。

在一些实现中,基础设施监视模块5110监视沿着运输网络设置的基础设施传感器的状态。针对各基础设施传感器,基础设施监视模块5110可以与基础设施传感器通信或实现通信,并且可以维持传感器的状态(例如,占用历史)。在一些实现中,基础设施监视模块5110被配置为判断相应传感器所监视的区域是被对象占用还是空置。在这些实现的一部分中,基础设施传感器(例如,感应环路交通传感器)可以与基础设施监视模块5110进行占用信号的通信,其中一个值(例如,1)指示基础设施传感器正在监视的区域被占用,并且第二个值(例如,零)指示基础设施传感器正在监视的区域空置。每当信号指示正被监视的区域被占用时,基础设施监视模块5110可以确定与占用事件相对应的时间戳。

针对各基础设施传感器,基础设施监视模块5110可以维持传感器在监视时间段(例如,前一分钟或前三十秒)期间的占用历史。占用历史可以指示在监视时间段期间检测到的所有占用事件。例如,占用历史可以包括监视时间段期间所检测到的各占用事件的时间戳。基础设施监视模块5110可以清除不再在监视时间段中的任何占用事件。例如,随着占用事件变得过时(例如,旧得超过一分钟),基础设施监视模块5110可以将该占用事件从基础设施传感器的占用历史中移除。

另外或可选地,基础设施监视模块5110可以维持基础设施传感器所检测到的各对象的速率/速度信息,条件是基础设施传感器或基础设施传感器的集合可以收集此类信息。例如,如果基础设施传感器是lidar或雷达传感器,则该基础设施传感器可以能够确定运载工具的速率。基础设施传感器可以将该信息发送至外部资源。基础设施监视模块5110可以接收检测到的对象的速率/速度信息,并且可以维持具有占用历史的运载工具的速率。

除了维持占用历史之外,基础设施监视模块5110还可以维持各个相应的基础设施传感器的可靠性得分。可靠性得分可以指示相应基础设施传感器的可靠程度。例如,如果传感器一直提供与附近其它基础设施传感器不一致的读数(例如,该传感器一直输出指示区域未被占用的占用信号,而在该传感器之前和之后的其它基础设施传感器输出矛盾的占用信号),则该传感器的可靠性得分可能降低。如果该传感器的可靠性得分与其它基础设施传感器的可靠性得分相比相对低,则可靠性得分可能影响自主运载工具的决策。

基础设施监视模块5110可以以任何合适的方式维持各个相应的基础设施传感器的状态(例如,占用历史)。例如,基础设施监视模块5110可以针对各个相应的基础设施传感器来实例化相应的基础设施传感器对象(例如,容器)。各基础设施传感器对象可被配置为直接经由通信单元来与其相应的基础设施传感器进行通信。各基础设施传感器对象还可以包括用于响应于检测到占用事件而生成时间戳、并基于所检测到的占用事件而维持相应基础设施传感器的占用历史的指令。此外,基础设施传感器对象还可被配置为对针对其相应占用历史的查询进行响应。响应于这种查询,基础设施传感器对象可以输出其占用历史。

基础设施传感器对象可被配置为进行附加功能。例如,基础设施传感器对象可被配置为构造所收集到的基础设施数据,以指示各占用事件的时间戳、捕获该占用事件的基础设施传感器的类型以及所检测到的占用事件的地理位置。在另一示例中,一个或多个基础设施传感器对象可被配置为彼此互通信以对更复杂的基础设施数据进行插值。例如,与彼此邻近的两个或更多个基础设施传感器相对应的两个或更多个基础设施传感器对象可被配置为进行通信以确定对象何时在这两个或更多个传感器之间行进。在该示例中,基础设施传感器对象可以基于基础设施传感器之间的距离以及在相应基础设施传感器处所检测到的占用事件的相应时间戳来确定对象的速度。

响应模块5120可被配置为对来自在运输网络上行进的自主运载工具的请求进行响应。针对沿着运输网络行进的各自主运载工具,响应模块5120可以创建通信会话,以实现外部资源5000与相应自主运载工具之间的通信。在创建通信会话时,响应模块5120可以接收来自自主运载工具的请求(或其它通信),并且可以向自主运载工具发送数据(例如,基础设施数据)。

在一些实现中,响应模块5120被配置为接收来自自主运载工具的针对基础设施数据的请求,并返回响应于该请求的基础设施数据。在这些实现的一部分中,响应模块5120接收针对基础设施数据的请求,并确定哪些基础设施传感器与该请求相关。如所讨论的,针对基础设施数据的请求可以包含自主运载工具的地理位置、与阻碍场景相对应的估计位置、和/或其它信息(例如,自主运载工具的当前路径)。响应模块5120可以使用运载工具的地理位置和/或阻碍场景的估计位置来查询运输网络数据存储5210,以确定哪些基础设施传感器(如果有的话)与运载工具的地理位置/阻碍场景的位置相关。运输网络数据存储5210可以返回零个或多个相关基础设施传感器的标识符。

响应于确定相关基础设施传感器,响应模块5120可以获得与相关基础设施传感器相对应的基础设施数据。在一些实现中,响应模块5120可以查询各个相应的相关基础设施传感器的相应基础设施传感器对象,以获得各个相应的相关基础设施传感器的占用历史(或任何其它基础设施数据)。响应模块5120可以经由开启的通信会话来向自主运载工具发送占用历史。在一些实现中,响应模块5120可以继续发送相关基础设施传感器的占用数据,直到自主运载工具绕过了阻碍场景为止。在自主运载工具到达其目的地和/或断电时,响应模块5120可以结束与自主运载工具的通信会话。

图6示出用于使用从外部资源(例如,图5的外部资源5000)获得的基础设施数据来控制自主运载工具(例如,图1的自主运载工具1000)的方法6000的操作的示例性集合。

在6100处,自主运载工具从自主运载工具的传感器系统接收运载工具数据。例如,自主运载工具可以从设置在运载工具中的一个或多个传感器接收一个或多个传感器信号。传感器的类型的示例包括但不限于摄像机、音频传感器、lidar、雷达、运动传感器、加速度计和/或陀螺仪。随着自主运载工具正穿过运输网络,该运载工具可以持续收集运载工具数据。

在6110处,自主运载工具基于运载工具数据而判断为该自主运载工具处于阻碍场景。如所讨论的,在障碍物正阻挡运载工具的传感器系统的“视场”的情况下,可能发生阻碍场景。在自主运载工具不能基于当前运载工具数据确定控制动作的情况下,自主运载工具可以判断为该自主运载工具处于阻碍场景。例如,自主运载工具可以利用机器学习模型或基于规则的引擎来确定一个或多个候选动作。最初,自主运载工具可以将运载工具数据输入到机器学习模型或基于规则的引擎中,该机器学习模型或基于规则的引擎转而输出一个或多个候选动作。各候选动作可以具有归属于该候选动作的置信度得分。自主运载工具可以将各置信度得分与阈值进行比较。如果候选得分都没有超过阈值,则自主运载工具可以判断为其处于阻碍场景中。自主运载工具也可以以其它合适的方式判断为其处于阻碍场景中。例如,自主运载工具可以将从运载工具的一个角度捕获的图像与对应于相同角度的lidar数据进行比较,以判断是否存在阻碍运载工具的“视场”的障碍物。

在6120处,响应于判断为运载工具处于阻碍场景中,自主运载工具向外部资源(例如,图5的外部资源5000)发送针对基础设施数据的请求。针对基础设施数据的请求可以包括自主运载工具的地理位置和/或与阻碍场景相对应的估计位置(例如,阻碍区域的估计位置)。自主运载工具可以例如从运载工具的gps单元获得运载工具的地理位置。自主运载工具可以将运载工具的地理位置包括在针对基础设施数据的请求中。在一些实现中,自主运载工具可以估计与阻碍场景相对应的位置。换句话说,自主运载工具可以估计传感器系统不能获得可靠的运载工具数据的区域的位置。自主运载工具可以利用自主运载工具的地理位置、自主运载工具的取向和/或运载工具数据来估计与阻碍场景相对应的位置。例如,自主运载工具可以使用运载工具的地理位置以及来自运载工具的lidar的传感器读数来估计正在产生阻碍场景的障碍物的位置。基于障碍物的位置和自主运载工具的取向,自主运载工具可以估计出传感器系统不能获得可靠的运载工具数据的区域的位置。在一些实现中,自主运载工具可以将阻碍场景的估计位置包括在针对基础设施数据的请求中。自主运载工具可以经由通信网络(例如,因特网和/或蜂窝网络)向外部资源发送针对基础设施数据的请求。在一些实现中,自主运载工具可以经由在自主运载工具和外部资源之间建立的通信会话来发送针对基础设施数据的请求。

在6130处,外部资源从沿着运输网络设置的基础设施传感器接收基础设施数据。基础设施传感器的示例包括但不限于摄像机、雷达传感器、lidar传感器、音频传感器和感应环路交通传感器。各基础设施传感器可被配置为经由通信网络来与外部资源进行通信。在一些实现中,基础设施传感器可被配置为发送用于指示基础设施传感器正在监视的区域当前是否被对象(例如,运载工具、行人、骑行者等)占用的占用信号。在一些实现中,基础设施传感器可以将原始传感器数据(例如,视频流、lidar流、雷达流等)发送至外部资源。在这些实现中,外部资源可被配置为判断传感器正在监视的区域是否被对象占用。外部资源可以持续地接收来自基础设施传感器的基础设施数据。

外部资源可以维持各基础设施传感器的状态。在一些实现中,外部资源维持各基础设施传感器的占用历史。各占用历史可能暂时限于基础设施传感器的最近历史(例如,前1分钟或30秒)。在一些实现中,外部资源可以针对各个相应的基础设施传感器执行/维持基础设施传感器对象。各基础设施传感器对象可被配置为直接经由通信单元来与其相应的基础设施传感器通信。各基础设施传感器对象还可以包括用于响应于检测到占用事件而生成时间戳的指令以及用于基于所检测到的占用事件而维持相应基础设施传感器的占用历史的指令。此外,基础设施传感器对象还可被配置为对针对其相应占用历史的查询进行响应。响应于这种查询,基础设施传感器对象可以输出其占用历史。在一些实现中,基础设施传感器对象可被配置为构造所收集到的基础设施数据,以指示各占用事件的时间戳、捕获该占用事件的基础设施传感器的类型、以及所检测到的占用事件的地理位置。

在一些实现中,一个或多个基础设施传感器对象可被配置为彼此互通信,以对更复杂的基础设施数据进行插值。例如,与彼此邻近的两个或更多个基础设施传感器相对应的两个或更多个基础设施传感器对象可被配置为通信以确定对象何时在两个或更多个传感器之间行进。在该示例中,基础设施传感器对象可以基于基础设施传感器之间的距离以及在相应基础设施传感器处检测到的占用事件的相应时间戳来确定对象的速度。

在6140处,外部资源接收来自自主运载工具的针对基础设施数据的请求。外部资源可以经由通信网络接收请求。在一些实现中,外部资源开启与被配置成同外部资源进行通信并穿过运输网络的各自主运载工具的通信会话。外部资源可以经由通信会话接收针对基础设施数据的请求(和其它通信)。

在6150处,外部资源对针对基础设施数据的请求进行响应。在一些实现中,外部资源确定与请求相关的一个或多个基础设施传感器。如所讨论的,针对基础设施数据的请求可以包含自主运载工具的地理位置、与阻碍场景相对应的估计位置和/或其它信息(例如,自主运载工具的当前路径)。外部资源可以使用运载工具的地理位置和/或阻碍场景的估计位置来查询数据存储(例如,图5的运输网络数据存储5210),以确定哪些基础设施传感器(如果有的话)与运载工具的地理位置和/或阻碍场景的位置相关。数据存储可以返回零个或多个相关基础设施传感器的标识符。

响应于确定相关基础设施传感器,外部资源可以获得与相关基础设施传感器相对应的基础设施数据。在一些实现中,外部资源可以查询各个相应的相关基础设施传感器的相应基础设施传感器对象,以获得各个相应的相关基础设施传感器的占用历史(或任何其它基础设施数据)。外部资源可以经由开启的通信会话将各相关基础设施传感器的占用历史发送至自主运载工具。

在6160处,自主运载工具从外部资源接收基础设施数据。在一些实现中,基础设施数据包括邻近自主运载工具的地理位置和/或阻碍场景或者与其相关的一个或多个基础设施传感器的占用历史。

在6170处,自主运载工具基于接收到的基础设施数据来确定控制动作。响应于接收到基础设施数据,自主运载工具可以将运载工具数据和基础设施数据输入到机器学习模型或基于规则的引擎中。响应于将基础设施数据和运载工具数据输入到机器学习模型或基于规则的引擎中,机器学习模型或基于规则的引擎输出一个或多个候选动作,其中各候选动作具有归属于该候选动作的置信度得分。在一些实现中,自主运载工具将各置信度得分与阈值进行比较。如果置信度得分中至少之一大于(或等于)阈值,则自主运载工具从一个或多个候选动作中选择控制动作。例如,自主运载工具可以选择具有最高置信度得分的候选动作。可选地,自主运载工具可以选择具有必要置信度得分并且最不会干扰自主运载工具的运动的候选动作。在置信度得分都不超过阈值的情况下,自主运载工具可以请求/等待更新的基础设施数据。另外或可选地,自主运载工具可以将对自主运载工具的控制让与运载工具中的乘客。

在6180处,自主运载工具基于所选择的控制动作来控制其自己。响应于选择控制动作,自主运载工具基于控制动作来确定对一个或多个不同运载工具系统的一个或多个命令。自主运载工具可以以任何合适的方式确定与接收到的动作相对应的命令。例如,自主运载工具可以利用使动作与命令相关的查找表或者响应于动作而输出一个或多个命令的规则集。响应于确定命令,自主运载工具向相应的运载工具系统发出命令。

注意,自主运载工具和外部资源可以继续接收/发送相关基础设施传感器的基础设施数据(例如,占用历史),直到自主运载工具绕过了阻碍场景为止。方法6000可以继续执行,直到自主运载工具到达其目的地和/或断电为止。在自主运载工具到达其目的地和/或断电时,外部资源可以结束与自主运载工具的通信会话。

虽然已经结合某些实施例描述了本发明,但是应当理解,本发明不限于所公开的实施例,而是意在涵盖所附权利要求的范围内所包括的各种修改和等同布置,该范围应被给予法律所允许的最广泛解释,以包含所有这类修改和等同布置。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1