用于机器人载具的远程操作的增强能力的系统和方法与流程
相关申请的交叉引用
本申请要求于2017年7月28日提交的、申请号为62/538,538的美国临时申请的优先权，其通过引用以其整体合并于此。
本申请涉及自主载具(vehicle)，并且尤其涉及由操作人员对自主载具进行的远程操作。
背景技术：
全自主和/或半自主机器人领域是一个不断增长的创新领域。机器人正被用于许多目的，包括仓库库存操作、家用抽真空机器人、医院递送机器人、卫生机器人、以及军事或国防应用。
在消费者空间中，通过自主载具来处理和递送货物和服务可以以许多方式改善社会。例如，人们可以不是花费时间行进到批发商，而是替代地在等待自主载具递送货物和/或服务的同时从事生产工作。在道路上具有较少载具的情况下，交通状况也将改善。例如，代替若干人在若干载具中行进到批发商，单个自主载具可以将货物和/或服务递送给那些人，并且由此减少了道路上的载具的数量。随着技术的进步，自主载具的其他用途和应用也是可能的。因此，存在对开发用于自主载具的技术的兴趣。
技术实现要素：
本公开涉及一种全自主和/或半自主机器人机队，并且尤其涉及在非结构化室外环境或封闭环境中的机器人载具的机队。一方面，本公开提供了用于由操作人员对自主载具进行远程操作的系统和方法，并且使用载具的各种自主能力来补充远程操作者的控制。在各种实施例中，自主载具可以是任何陆地载具，包括被配置为携带人员、船货、货物、或者其他物体或物质的陆地载具。
根据本公开的各方面，一种自主机器人陆地载具，包括陆地载具运输系统、被配置为与远程操作人员系统进行通信的通信系统、一个或多个处理器、以及存储指令的存储器。指令在由(一个或多个)处理器执行时，使得自主机器人陆地载具经由通信系统从远程操作人员系统接收用于控制陆地载具运输系统的控制指令，根据该控制指令来控制陆地载具运输系统以执行行进，以及利用自主能力来补充远程操作人员系统对陆地载具运输系统的控制。
在各种实施例中，自主能力包括以下各项中的至少一项：保持在车道内的位置、与物体保持阈值距离、或者减速至完全停止。在各种实施例中，自主机器人陆地载具包括外壳，其中外壳内没有空间被配置为容纳操作人员以对陆地载具运输系统进行本地控制。
在各种实施例中，自主机器人陆地载具包括传感器系统，该传感器系统被配置为捕获周围环境信息，其中，在补充对陆地载具运输系统的控制时，指令在由至少一个处理器执行时，还使得自主机器人陆地载具基于周围环境信息来自主地确定危险状况，以及缓解危险状况。
在各种实施例中，危险状况包括在转向时发生碰撞的高可能性，并且缓解危险状况包括自主地控制陆地载具运输系统以禁止转向移动。
在各种实施例中，危险状况包括与路缘(curb)发生碰撞的高可能性，并且缓解危险状况包括自主地控制陆地载具运输系统以与路缘保持至少阈值距离。
在各种实施例中，危险状况包括前向碰撞的高可能性，并且缓解危险状况包括自主地控制陆地载具运输系统以减速和/或完全停止。
在各种实施例中，危险状况包括在改变车道时发生碰撞的高可能性，并且缓解危险状况包括自主地控制陆地载具运输系统以禁止载具的车道改变移动。
在各种实施例中，危险状况包括驶过停车标志或红灯的高可能性，并且缓解危险状况包括自主地控制陆地载具运输系统以减速和/或完全停止。
在各种实施例中，危险状况包括超过速度限制，并且缓解危险状况包括自主地控制陆地载具运输系统以将速度保持在速度限制。
在各种实施例中，危险状况包括在车道内的过度漂移，并且缓解危险状况包括自主地控制陆地载具运输系统以保持在车道内的位置。
在各种实施例中，指令在由至少一个处理器执行时，还使得自主机器人陆地载具激活自主模式，直到来自远程操作人员系统的另一控制指令重新激活远程操作模式。
根据本公开的各方面，一种用于远程操作自主陆地载具的系统包括被配置为与远程自主陆地载具进行通信的通信系统、视觉显示器、一个或多个处理器、以及存储指令的存储器。指令在由(一个或多个)处理器执行时，使得系统经由通信系统来发送用于控制远程自主陆地载具的运输系统的控制指令，使能利用了远程自主陆地载具的自主能力的对运输系统的补充控制，以及在视觉显示器上显示该补充控制被使能的指示。
在各种实施例中，自主能力包括以下各项中的至少一项：保持在车道内的位置、与物体保持阈值距离、或者减速到完全停止。在各种实施例中，远程自主陆地载具内没有空间被配置为容纳操作人员以对远程自主载具进行本地控制。
在各种实施例中，指令在由(一个或多个)处理器执行时，还使得系统经由通信系统来接收关于远程自主陆地载具的周围环境的视觉信息，以及基于关于远程自主载具的周围环境的信息来在视觉显示器上显示用于对远程自主陆地载具进行远程操作的操作环境。在各种实施例中，关于远程自主陆地载具的周围环境的视觉信息包括交通标志，其中指令在由至少一个处理器执行时，还使得系统在视觉显示器上突出显示交通标志。在各种实施例中，关于远程自主陆地载具的周围环境的视觉信息由自主飞行器(aerialvehicle)捕获。
在各种实施例中，指令在由至少一个处理器执行时，使得系统经由通信系统来接收指示远程自主陆地载具已经检测到危险状况并且正在缓解该危险状况的数据，以及在视觉显示器上显示危险状况的指示。
在各种实施例中，危险状况包括在转向时发生碰撞的高可能性，并且缓解危险状况包括自主地控制运输系统以禁止转向移动。
在各种实施例中，危险状况包括在改变车道时发生碰撞的高可能性，并且缓解危险状况包括自主地控制运输系统以禁止载具的车道改变移动。
在各种实施例中，危险状况包括与路缘发生碰撞的高可能性，并且缓解危险状况包括自主地控制运输系统以与路缘保持至少阈值距离。
在各种实施例中，危险状况包括前向碰撞的高可能性，并且缓解危险状况包括自主地控制运输系统以减速和/或完全停止。
在各种实施例中，危险状况包括驶过停车标志或红灯中的一者的高可能性，并且缓解危险状况包括自主地控制运输系统以执行以下各项中的至少一项：减速或完全停止。
在各种实施例中，危险状况包括超过速度限制，并且缓解危险状况包括自主地控制运输系统以将速度保持在速度限制。
在各种实施例中，危险状况包括在车道内的过度漂移，并且缓解危险状况包括自主地控制运输系统以保持在车道内的位置。
在各种实施例中，指令在由至少一个处理器执行时，还使得系统经由通信系统来接收指示远程自主载具已经从远程操作模式切换到自主模式的数据，以及在视觉显示器上显示远程自主载具正在以自主模式进行操作的指示。
下面参考附图更详细地描述本公开的示例性实施例的其他细节和方面。
通过引用合并
本说明书中提到的所有出版物、专利、和专利申请都以相同的程度通过引用并入本文，就像每个单独的出版物、专利、或专利申请被具体地和单独地指出通过引用并入本文一样。
附图说明
通过参考以下阐述了其中利用了本技术的原理的说明性实施例的详细描述以及附图，将获得对所公开的技术的特征和优点的更好理解，在附图中：
图1是其中机队或子机队(sub-fleet)内的每个载具可以针对实体被标记的自主机器人机队的示例性视图；
图2是作为自主机器人机队的一部分的机器人载具的示例性iso视图，其示出了载具内的可保证安全的隔间；
图3是与普通人的身高相比示出的作为自主机器人机队的一部分的机器人载具的示例性前视图；
图4是作为自主机器人机队的一部分的机器人载具的示例性右侧视图，其示出了具有两个大侧门的配置，每个大侧门封闭可保证安全的隔间；
图5是与普通人的身高相比示出的作为自主机器人机队的一部分的机器人载具的示例性左侧视图；
图6是作为自主机器人机队的一部分的机器人载具的示例性后视图；
图7是作为自主机器人机队的一部分的机器人载具的示例性iso视图，其示出了用于任何品牌公司的自主午餐递送载具；
图8是作为自主机器人机队的一部分的机器人载具的示例性iso视图，其示出了用于任何品牌公司的自主比萨饼递送载具；
图9是作为自主机器人机队的一部分的机器人载具的示例性iso视图，其示出了用于任何品牌公司的自主咖啡递送载具；
图10是作为自主机器人机队的一部分的机器人载具的示例性iso视图，其示出了用于任何品牌公司的包括照明内部的自主晚间/夜间递送载具；
图11是与用于机器人机队的中央服务器相关联的机队管理控制模块的逻辑的示例性流程图表示；
图12是从机队管理控制模块通过机器人处理器到机器人的各种系统和模块的逻辑流程的示例性流程图表示；
图13是示例性远程操作人员系统的图；
图14是图13的远程操作人员系统的示例性视觉显示器的图；
图15是通过自主飞行器可视化自主陆地载具的示例性配置的图；以及
图16是在自主模式与远程操作模式之间进行切换的示例性操作的流程图。
具体实施方式
本公开涉及全自主和/或半自主机器人机队，并且特别地涉及用于在开放的非结构化室外环境或封闭环境中运输或取回人或运送物的机器人载具。一方面，本公开提供了用于由操作人员对自主载具进行远程操作的系统和方法。在各种情况下，全自主或半自主载具的远程操作可能是合适的。例如，如果自主载具被要求行进到尚未被完全绘制地图的目的地(例如，大型的公司或大学校园、或公共公园等)，则自主载具可能无法确定如何到达目的地。因此，操作人员对自主载具进行远程操作的能力是有益的特征。然而，在操作人员远离自主载具的情况下，操作者对周围状况的感知和反应可能不是立即的。根据本公开的各方面，可以通过载具的各种自主能力来补充远程操作人员对自主载具的控制。
本文提供了一种机器人机队，其具有全自主或半自主操作的机器人载具和用于协调机器人机队的机队管理模块，其中机队内的每个机器人被配置用于运输、递送或者取回货物或服务，并且能够在非结构化开放环境或非结构化封闭环境中操作。每个机器人可以包括电力系统、运输系统、导航模块、至少一个可保证安全的隔间或多个可保证安全的隔间以容纳货物、控制器、通信模块和处理器，其中该控制器可被配置为将可保证安全的隔间中的每个隔间关联到市场中可指定的客户、客户群或供应商并且在被授权时提供进入，该处理器被配置为管理运输系统、导航模块、传感器系统、通信模块和控制器。
如本文所使用的，术语“自主”包括全自主、半自主和其中载具可以在没有人为干预的情况下以受控方式操作一段时间的任何配置。
如本文所使用的，术语“机队”、“子机队”和类似术语用于指示一起操作或在相同所有权下操作的多个陆地载具。在一些实施例中，机队或子机队参与相同的活动。在一些实施例中，机队或子机队参与类似的活动。在一些实施例中，机队或子机队参与不同的活动。
如本文所使用的，术语“机器人”、“机器人载具”、“机器人机队”、“载具”、“全地形载具”和类似术语用于指示运输人、船货、物品、和/或货物的移动机器。典型的载具包括汽车、货车、厢式货车、无人机动载具(例如，三轮车、卡车、拖车、公共汽车等)、以及无人有轨载具(例如，火车、有轨电车等)、以及其他类型的陆地载具。
如本文所使用的，术语“用户”、“操作者”、“机队操作者”和类似术语用于指示拥有或负责管理和操作机器人机队的实体。
如本文所使用的，术语“客户”和类似术语用于指示请求机器人机队所提供的服务的实体。
如本文所使用的，术语“供应商”、“企业”、“厂家”、“第三方厂家”和类似术语用于指示与机队所有者或操作者合作工作以进行以下操作的实体：利用机器人机队的服务从供应商的营业地点或暂存位置(staginglocation)递送供应商的产品和/或将供应商的产品返回到供应商的营业地点或暂存位置。
如本文所使用的，术语“服务器”、“计算机服务器”、“中央服务器”、“主服务器”和类似术语用于指示网络上的对机队资源(即，机器人载具)进行管理的计算机或设备。
如本文所使用的，术语“控制器”和类似术语用于指示控制从计算机到外围设备的数据传送的设备，反之亦然。例如，磁盘驱动器、显示屏、键盘、和打印机都需要控制器。在个人计算机中，控制器通常是单芯片。如本文所使用的，控制器通常用于管理对机器人的组件(例如，可保证安全的隔间)的访问。
如本文所使用的，“网状网络”是其中每个节点中继网络的数据的网络拓扑。所有网状节点在网络中的数据分布方面进行协作。其可以应用于有线和无线网络两者。无线网状网络可以被认为是一种“无线自组织”网络。因此，无线网状网络与移动自组织网络(manet)密切相关。尽管manet不限于特定网状网络拓扑，但是无线自组织网络或manet可采取任何形式的网络拓扑。网状网络可使用泛洪技术或路由技术来中继消息。通过路由，消息通过从节点跳到节点而沿着路径传播，直到消息到达其目的地。为了确保其所有路径都可用，网络必须允许连续的连接，并且必须使用诸如最短路径桥接之类的自修复算法来围绕中断的路径重新配置其自身。自修复允许基于路由的网络在节点故障时或者在连接变得不可靠时操作。结果，网络通常是相当可靠的，因为在网络中的源和目的地之间通常存在多于一条的路径。这个概念也可以应用于有线网络和软件交互。其节点全部彼此连接的网状网络是全连接网络。
如本文所使用的，术语“模块”和类似术语用于指示中央服务器的独立硬件组件，其又包括软件模块。在软件中，模块是程序的一部分。程序由一个或多个独立开发的模块组成，这些模块直到程序被链接时才被组合。单个模块可以包含一个或多个例程，或者执行特定任务的程序段。如本文所使用的，机队管理模块包括用于管理机器人机队的各个方面和功能的软件模块。
如本文所使用的，术语“处理器”、“数字处理设备”和类似术语用于指示微处理器或中央处理单元(cpu)。cpu是计算机内的电子电路，其通过执行由指令指定的基本算术、逻辑、控制和输入/输出(i/o)操作来执行计算机程序的指令。
根据本文的描述，通过非限制性示例的方式，合适的数字处理设备包括：服务器计算机、台式计算机、膝上型计算机、笔记本计算机、亚笔记本计算机、上网本计算机、上网平板(netpad)计算机、机顶盒计算机、手持式计算机、互联网电器、移动智能电话、平板计算机、个人数字助理、视频游戏控制台、和载具。本领域技术人员将认识到，许多智能电话适用于本文描述的系统。合适的平板计算机包括本领域技术人员已知的具有小册子、平板和可转换配置的平板计算机。
在一些实施例中，数字处理设备包括被配置为执行可执行指令的操作系统。操作系统是例如包括程序和数据的软件，其管理设备的硬件并且提供用于执行应用的服务。本领域技术人员将认识到，合适的服务器操作系统包括但不限于freebsd、openbsd、
在一些实施例中，该设备包括存储和/或存储器设备。存储和/或存储器设备是用于在临时或永久的基础上存储数据或程序的一个或多个物理装置。在一些实施例中，该设备是易失性存储器并且需要电力来维持所存储的信息。在一些实施例中，该设备是非易失性存储器，并且当数字处理设备未被供电时保留所存储的信息。在一些实施例中，非易失性存储器包括闪存。在一些实施例中，非易失性存储器包括动态随机存取存储器(dram)。在一些实施例中，非易失性存储器包括铁电随机存取存储器(fram)。在一些实施例中，非易失性存储器包括相变随机存取存储器(pram)。在一些实施例中，该设备是存储设备，包括但不限于cd-rom、dvd、闪存设备、磁盘驱动器、磁带驱动器、光盘驱动器、和基于云计算的存储装置。在一些实施例中，存储和/或存储器设备是诸如本文所公开的那些设备的组合。
在一些实施例中，数字处理设备包括向用户发送视觉信息的显示器。在一些实施例中，显示器是阴极射线管(crt)。在一些实施例中，显示器是液晶显示器(lcd)。在一些实施例中，显示器是薄膜晶体管液晶显示器(tft-lcd)。在一些实施例中，显示器是有机发光二极管(oled)显示器。在各种实施例中，oled显示器是无源矩阵oled(pmoled)或有源矩阵oled(amoled)显示器。在一些实施例中，显示器是等离子体显示器。在一些实施例中，显示器是视频投影仪。在一些实施例中，显示器是交互式的(例如，具有触摸屏或传感器，诸如摄像头、3d传感器、lidar、雷达等)，其可以检测用户交互/手势/响应等。在又一些实施例中，显示器是诸如本文所公开的那些设备的组合。
机器人载具的机队
如图1所示，本文提供了具有机器人载具101的机器人机队100，其中每个机器人载具101全自主或半自主地进行操作。
如图3至图6所示，机器人101的一种示例性配置是被配置用于陆地行进的载具，诸如小型全自主(或半自主)汽车。示例性全自主(或半自主)汽车狭窄(即，2-5英尺宽)，质量轻且重心低以保持稳定性，具有可分配给一个或多个客户、零售商和/或厂家的多个安全隔间，并且被设计用于中等工作速度范围(即，1.0-45.0mph)以适应市内和住宅区驾驶速度。另外，在一些实施例中，机队中的陆地载具机器人单元被配置为具有从1.0mph至约90.0mph的最大速度范围以用于高速、州内或州际驾驶。机队中的每个机器人均配备有机载(onboard)传感器170(例如，摄像头(以高帧速率运行，类似于视频)、lidar、雷达、超声波传感器、麦克风等)和内部计算机处理，以不断地确定其可以安全地导航到何处、每个机器人周围有什么其他物体以及其可以做什么。
在一些实施例中，机器人机队是全自主的。
在一些实施例中，机器人机队是半自主的。在一些实施例中，可能需要在机器人101、机队操作者200、供应商204和/或客户202之间具有人类交互以解决先前未预见的问题(例如，导航模块的故障；供应商库存问题；未预料到的交通或道路状况；或者在机器人到达客户位置之后的直接客户交互)。
在一些实施例中，机器人机队100由用户200直接控制。在一些实施例中，可能需要在机器人101和/或机队操作者200之间具有直接的人类交互，以解决诸如机械故障、电气故障或交通事故之类的维护问题。将结合图13-16更详细地描述与由操作人员对机器人载具进行远程操作有关的本公开的各方面。
在一些实施例中，机器人机队被配置用于陆地行进。在一些实施例中，机队中的每个机器人陆地载具被配置为具有从13.0mph到45.0mph的工作速度范围。在一些实施例中，机队中的陆地载具机器人单元被配置为具有从13.0mph到约90.0mph的最大速度范围。
在机器人机队的一些实施例中，机队内的自主机器人代表第三方厂家/服务供应商来操作。
例如，建立机队管理服务以提供用于第三方饮料/食品供应商的漫游递送服务(例如，用于第三方厂家(即，星巴克)的咖啡服务/体验)。可以设想机队管理服务将提供带有该第三方饮料/食品供应商的标志和产品的“白色标签”载具的子机队，以全自主或半自主地进行操作来提供该服务。
在机器人机队的一些实施例中，机队内的自主机器人还被配置为作为自主机器人的子机队的一部分，并且每个子机队被配置为独立地操作或者与具有两个或更多个子机队(100-a、100-b)的多个子机队协同地操作。
例如，包裹递送服务被配置为提供多个级别的服务，例如“立即专用高峰服务”、“保证上午/下午递送服务”、或“一般递送服务”。这样，服务供应商就可以在其整体载具机队中具有针对每种类型的服务的专用的递送载具的子机队。在又一示例中，第三方具有高于机队中特定数量的载具的优先级。这样做时，他们可以保证一定水平的响应性。当他们不使用载具时，载具被用于机队内的一般服务(例如，其他第三方)。
在一些实施例中，机器人机队由用户直接控制。
在一些实施例中，将可能存在载具故障、具有内部系统或模块故障或需要维护的时刻。例如，在导航模块发生故障的情况下，机队内的每个机器人可配置为允许直接控制机器人的处理器，以由机队操作者超控(override)运输和传感器系统(即，摄像头等)，以允许载具安全返回到基站以进行修理。
操作环境
在一些实施例中，非结构化开放环境是可由可导航路径访问的不受限的地理区域，包括例如公共道路、私人道路、自行车道、开放场地(openfield)、开放公共陆地、开放私人陆地、人行道、湖泊、河流或溪流。
在一些实施例中，封闭环境是可由可导航路径访问的受限的、封闭的或半封闭的结构，包括，例如，商业建筑内的开放区域或房间，其中具有或不具有结构或障碍物、商业建筑内的开放区域或房间内的空域，其中具有或不具有结构或障碍物、公共或专用过道、走廊、隧道、坡道、电梯、输送机、或人行道。
在一些实施例中，非结构化开放环境是包括地球大气的所有主要层的不受限的空域或甚至近空间环境，该地球大气的主要层包括对流层、平流层、中间层、热大气层和外大气层。
在一些实施例中，导航模块控制在非结构化开放环境或封闭环境中的机队中的机器人的运输系统的路线。
机队管理模块
在机器人机队100的一些实施例中，机队包括用于协调机器人机队100和为机队中的每个机器人101分配任务的机队管理模块120(与中央服务器相关联)。机队管理模块协调机队中的每个机器人的活动和定位。除了与机器人机队、机队所有者/操作者和/或用户进行通信之外，机队管理模块还与供应商/厂家/企业和客户进行通信以优化整个系统的行为。
机队管理模块与中央服务器110协同工作，该中央服务器110通常位于由机队所有者200拥有或管理的中央操作设施中。
如图11所示，在一个实施例中，请求被发送到主服务器110(通常位于机队所有者或机队管理者的位置处)，其然后与机队管理模块120通信。机队管理模块然后将请求中继到服务的适当供应商204(例如，餐馆、递送服务、厂家或零售商)和机队中的适当的一个或多个机器人101。然后，向在地理区域内的机队中的并且通常最靠近服务供应商的最合适的(一个或多个)机器人分配任务，并且服务的供应商204然后在他们的营业处与该机器人101交互(例如，如果需要的话，向其装载货物)。机器人然后行进到客户202，并且客户与机器人交互以取回他们的货物或服务(例如，订购的货物)。交互可以包括请求机器人通过客户的应用或通过机器人自身上的用户接口(使用例如rfid读取器和客户电话、触摸板、小键盘、声音命令、人的基于视觉的识别等)打开其隔间102、104。在完成递送(或取回，如果合适的话)时，机器人报告完成分配并且报告回机队管理模块以用于重新分配。
如图12中进一步所示，并且如先前所述，在一些实施例中，机队管理模块120处理机器人机队100的协调和机队中每个机器人101的任务分配。机队管理模块协调机队中每个机器人的活动和定位。机队管理模块还与厂家/企业204和客户202通信以优化整个系统的行为。其通过以下操作来实现这一点：利用机器人的处理器125以处理来自机器人的系统和模块(包括：运输系统130，电力系统135，导航模块140，传感器系统170、175，通信模块160，和控制器150)中每一者的各种输入和输出，以有效地管理和协调机队中每个机器人的各种功能。
在一些实施例中，可以请求机器人拾取意图递送到另一方的物品(例如，文档)。在这种情况下，机队管理模块将分配机器人到达给定位置处，分配可保证安全的隔间以用于接收该物品，确认从第一方到机队管理模块的接收，然后前进到第二位置，在第二位置处，通知的接收方将使用适当的pin或其他识别码以获得对安全隔间的访问从而从机器人取回物品。机器人然后将报告完成分配并且报告回机队管理模块以用于重新分配。
运输系统
机队中的每个机器人载具101包括运输系统130(例如，具有推进发动机、车轮、履带、机翼、转子、鼓风机、火箭、推进器、制动器等的驱动系统)。
如前所述，机器人机队可被配置用于陆地行进。典型的载具包括汽车、货车、厢式货车、无人机动载具(例如，三轮车、卡车、拖车、公共汽车等)、以及无人有轨载具(例如，火车、有轨电车等)以及其他类型的陆地载具。
在一个示例性实施例中，机器人陆地载具101被配置有包括传统转向和制动系统的传统4轮汽车配置。传动系(drivetrain)可配置用于标准2轮驱动或4轮全地形牵引驱动。推进系统(发动机)可配置作为燃气发动机、涡轮发动机、电动机和/或混合燃气/电动发动机。可选地，机器人可被配置有辅助太阳能电力系统135，以提供备用应急电力或用于较小低功率子系统的电力。
具有推进发动机的总驱动系统的组件的可选配置可以包括车轮、履带、机翼、转子、鼓风机、火箭、推进器、制动器等。
电力系统
在一些实施例中，机器人机队的每个机器人被配置有一个或多个电源，其包括电力系统135(例如，电池、太阳能、汽油、丙烷等)。
导航模块
机队中的每个机器人还包括用于在非结构化开放或封闭环境中导航的导航模块140(例如，数字地图、hd地图、gps等)。在一些实施例中，机队100依赖于由用户、操作者或机队操作者生成的地图，其被特别地创建以覆盖其中机器人被配置为进行操作的预期环境。这些地图然后将被用于对机队中的每个机器人的一般引导，这将通过使用各种机载传感器(例如，摄像头、lidar、高度计或雷达)来确认其相对地理位置和海拔而增强对环境的这种理解。
在一些实施例中，对于导航，机器人机队使用内部地图来提供关于它们正在去哪里以及道路环境的结构(例如，车道等)的信息，并且将该信息与机载传感器(例如，摄像头、lidar、雷达、超声、麦克风等)和内部计算机处理相结合以不断地确定它们可以安全地导航到哪里、每个机器人周围有什么其他物体以及它们可以做什么。在其他实施例中，机队合并在线地图以扩充内部地图。然后，将该信息组合以确定机器人要遵循的安全、鲁棒的轨迹，并且然后，由机器人上的低级执行器来执行该轨迹。
在一些实施例中，机队依赖于全球定位系统(gps)，其允许用户在全天候条件下、在世界上的任何地方每天24小时确定其准确位置、速度和时间。
在一些实施例中，机器人机队将使用内部地图、传感器和gps系统的组合来确认其相对地理位置和海拔。
在一些实施例中，自主机队在预期已知需求的情况下被战略性地定位在整个地理区域。
随着时间的推移，用户200和/或厂家204可以通过存储关于在一天的特定时间从该区域的不同地区做出多少订单(以及什么类型的订单)的数据来预期对机器人服务的需求。这可以针对源(例如，餐馆、杂货店、一般企业等)和目的地(例如，客户、其他企业等)两者来完成。然后，对于特定的当前日期和时间，该存储的数据被用于确定机队的什么最佳位置被给予预期的需求。更具体地，机队可以被定位为尽可能接近预期的源位置，预期这些源位置将是进入系统的最可能的新订单。甚至更具体地，可以估计下一小时中来自每个可能源的订单的数量，并且通过该数量对每个源位置进行加权。然后他们可以定位该机队，使得该机队基于这些数量最优地覆盖经加权的位置。
在机器人机队的一些实施例中，对机器人的定位可以基于以下各项来定制：预期使用、历史行为的模式、或者所携带的特定货物。
传感器系统
如前所述，每个机器人被配备有传感器系统170，其至少包括最小数量的机载传感器(例如，摄像头(例如，以类似于视频的高帧率运行的那些摄像头)、lidar、雷达、超声传感器、麦克风等)和内部计算机处理125，以不断地确定其可以安全地导航到何处、每个机器人周围有什么其他物体、以及其可以在其紧邻的环境内做什么。
在一些实施例中，机器人机队的机器人还包括运输系统传感器175，其被配置为：监控驱动机构性能(例如，推进发动机)；监控电力系统等级135(例如，电池、太阳能、汽油、丙烷等)；或监控传动系性能(例如，变速器、轮胎、制动器、转子等)。
通信模块
机队中的每个机器人还包括通信模块160，其可配置为接收、存储数据并且将数据发送到机队管理模块、将数据发送到用户、将数据发送到机队管理模块120和从机队管理模块120发送数据、以及将数据发送到机队100中的机器人和从机队100中的机器人发送数据。在一些实施例中，数据至少与用户交互和机器人机队交互有关，该数据包括例如调度的请求或订单、按需请求或订单、或者基于非结构化开放或封闭环境内的预期需求对机器人机队进行自定位的需要。
在一些实施例中，机队中的每个机器人包括至少一个通信模块，其可配置为接收、存储和发送数据，并且将该数据存储到存储器设备，以供将来数据传送或手动下载。
在一些实施例中，每个企业204和客户202具有其自己的应用/接口以与机队操作者200通信(例如，在其电话上用于客户的“nuro客户应用”、在平板电脑或电话或其内部计算机系统上用于企业的“nuro厂家应用”等)。
在一些实施例中，经由无线传输发生与用户和机队中的机器人的通信、机队的机器人之间的通信、以及用户与机队中的机器人之间的通信。
在一些实施例中，用户的无线传输交互和机器人机队无线传输交互经由移动应用发生，该用户的无线传输交互和机器人机队无线传输交互由电子设备发送并且经由以下各项被转发到通信模块：中央服务器、机队管理模块、和/或网状网络。
在一些实施例中，一种优选的通信方法是在机队管理者和机器人机队之间使用蜂窝通信(例如，3g、4g、5g等)。可选地，机队控制模块和机器人之间的通信可以经由卫星通信系统发生。
在一些实施例中，客户使用应用(在手机、膝上型计算机、平板电脑、计算机或任何交互式设备上的)来请求服务(例如，按需食品订单或针对移动市场机器人来到客户处)。
在一些实施例中，该电子设备包括：电话、个人移动设备、个人数字助理(pda)、大型计算机、台式计算机、膝上型计算机、平板计算机、和/或可穿戴计算设备，例如通信头戴式耳机、智能眼镜、一个或多个隐形眼镜、数字手表、手镯、戒指、珠宝、或前述的组合。
根据本公开的各方面，每个机器人载具的通信模块160可以被配置为与远程操作人员进行通信。例如，通信模块160可以将由以高帧率运行的摄像头捕获的环境视频传送给远程操作者，以使远程操作人员能够可视化载具的周围环境。此外，通信模块160可以从远程操作人员接收指令，以控制运输系统来移动机器人载具。将结合图13-16更详细地描述由操作人员对自主载具进行远程操作的其他方面。
货物和服务
在一些实施例中，用户包括机队管理者、子合同厂家、服务供应商、客户、企业实体、个人、或第三方。
在一些实施例中，服务包括：订阅服务，处方服务，营销服务，广告服务，通知服务，或请求的、订购的或调度的递送服务。在特定实施例中，通过示例的方式，调度的递送服务包括特殊重复递送，例如杂货、处方、饮料、邮件、文档等。
在一些实施例中，服务还包括：用户在同一交互内接收和返回相同或相似的货物(例如，签名的文档)，用户在同一交互内接收一组货物并返回不同的一组货物(例如，产品替换/返回、杂货、商品、书籍、录制品、视频、电影、支付交易等)，第三方用户向货物或服务供应商提供指令和/或授权以向不同位置的主要用户准备、运输、递送和/或取回货物。
在一些实施例中，服务还包括：广告服务、土地调查服务、巡逻服务、监控服务、交通调查服务、标志和信号调查服务、建筑物或道路基础设施调查服务。
在一些实施例中，至少一个机器人还被配置为处理或制造货物。
在一些实施例中，经处理或制造的货物包括：具有或不具有调味品的饮料(例如，咖啡、茶、碳酸饮料等)；各种快餐；或可微波加工的食品。
在一些实施例中，机队内的机器人被配备用于金融交易。这些交易可以使用已知交易方法(例如，借记卡/信用卡读取器等)来实现。
可保证安全的隔间
如图2所示，机队中的机器人各自均被配置用于运输、递送或取回货物或服务，并且能够在非结构化开放环境或封闭环境中操作。在一些实施例中，载具101被配置为实际上在其中小型全地形载具能够在陆地上行进的任何地方行进，同时提供至少一个且优选地两个大存储隔间102，并且更优选地，至少一个大隔间102被配置有可变配置的较小内部安全隔间104，以承载要递送到客户或需要从客户取回的个体物品。
可选地，在一些实施例中，载具可以被配置用于提供至少一个且优选地两个大存储隔间，并且更优选地，至少一个大隔间被配置有可变配置的较小内部安全隔间，以承载要递送到客户或需要从客户取回的个体物品。
此外，在一些实施例中，载具可以被配置用于悬停行进，提供至少一个且优选地两个大存储隔间，并且更优选地，至少一个大隔间被配置有可变配置的较小内部安全隔间，以承载要递送到客户或需要从客户取回的个体物品。
此外，在一些实施例中，载具可以被配置用于空中无人机或空中悬停行进，提供至少一个且优选地两个大存储隔间，并且更优选地，至少一个大隔间被配置有可变配置的较小内部安全隔间，以承载要递送到客户或需要从客户取回的个体物品。
如图7-图10所示，在一些实施例中，可保证安全的隔间是针对例如热货物、冷货物、湿货物、干货物、或者前述的组合或变型而受到湿度和温度控制的。此外，如图8-10所示，(一个或多个)隔间被配置有各种设施，例如用于夜间递送的隔间照明和调味品分配器。
在一些实施例中，可保证安全的隔间可被配置用于各种货物。这种配置和货物包括：用于书籍的书架、用于文档的薄抽屉、用于包裹的较大盒状抽屉、以及用于自动售货机、咖啡机、比萨饼炉和分配器的特定尺寸的隔间。
在一些实施例中，可保证安全的隔间基于以下各项被可变地配置：预期需求、行为模式、服务区域、或者要运输的货物类型。
此外，每个机器人均包括可保证安全的隔间以容纳与所述服务相关联的物品或所述货物，以及控制器150，其可配置为将可保证安全的隔间102、104中的每个隔间与可指定的客户202或供应商204相关联，并且在被授权时提供进入。每个机器人载具还包括至少一个处理器，其被配置为管理运输系统、导航模块、传感器系统、来自机队管理模块的指令、通信模块、和控制器。
如前所述，每个机器人均被配置有可保证安全的隔间。可选地，机器人可配置为包含一组货物或者甚至移动市场(类似于旅馆的小型酒吧)。
当机器人被分配给客户202时，隔间102、104中的一个或多个也被分配给该客户。大隔间102中的每一个均被独立地保证安全，并且可以将货物安全地运输到独立的一组客户202。
在机器人到达客户目的地时，客户然后可以通过用机器人验证他们的身份来打开他们各自的(一个或多个)隔间。这可以通过多种方法来完成，包括但不限于：
1.当客户进行他们的初始请求/订购时，客户可以被给予pin(例如，4位数字)。然后，他们可以使用机器人触摸屏或小键盘在机器人处输入该pin。
2.客户可以使用他们的移动电话和机器人上的rfid读取器来验证他们自己。
3.客户可以使用他们的语音和他们向机器人说出的个人关键字或关键短语来验证他们自己。
4.客户可以使用机器人上的摄像头和面部识别或磁性读取器通过他们的面部、政府id、或企业id标记来验证他们自己。
5.客户可以通过按下他们的电话上的按钮或预定码使用他们的移动电话来验证他们自己(并且系统可以可选地通过使用来自电话的客户的gps位置来检测客户在机器人附近)。
在各种实施例中，每个机器人载具的内部空间均被配置为利用可保证安全的隔间来填充内部空间，使得机器人载具不包括任何供操作人员从载具内对自主载具进行操作的内部空间。而是如下面结合图13-16所解释的，操作人员可以远程地操作自主载具。
(一个或多个)控制器和(一个或多个)处理器
在一些实施例中，机器人机队中的每个机器人均配备有一个或多个处理器125，其能够进行用于处理的高级计算以及用于控制硬件的低级安全关键计算能力两者。至少一个处理器被配置为管理运输系统、导航模块、传感器系统、来自机队管理模块的指令、通信模块、和控制器。
此外，在一些实施例中，机器人机队中的每个机器人均配备有控制器150，其可配置为将可保证安全的隔间102、104中的每个隔间与可指定的客户202或供应商204相关联，并且在被授权时提供进入。
现在，下面将描述与由操作人员对机器人载具进行的远程操作有关的控制和处理。如上所述，在各种情况下，对全自主或半自主载具进行远程操作可能是合适的。即使在自主载具可以由操作人员进行本地操作的情况下，操作人员对自主载具进行远程操作的能力也是有益的。在自主载具的内部空间被配置为最大化商业承载容量并且不包括供操作人员从自主载具内部对载具进行本地操作的空间的情况下，这种能力变得更加重要。
在各种实施例中，根据本公开的各方面的自主载具包括用于容纳操作人员来对自主载具进行本地控制的内部空间，但是该载具也可以由远程操作人员进行远程控制。在各种实施例中，根据本公开的各方面的自主载具不包括用于容纳操作人员来对自主载具进行本地控制的内部空间。而是，根据本公开的各方面，操作人员可以对自主载具进行远程操作。这样的配置提供了独特的考虑。与其中位于自主载具中的操作人员可以超控自主操作并且接管手动操作以避免危险的现有配置相比，本公开的各种实施例在自主载具中不包括用于操作人员的空间。因为人类操作将远离自主载具的位置，所以本公开的一方面提供了具有如下能力的自主载具：检测危险以及超控操作人员且返回至自主模式以缓解危险状况。
现在参考图12，并且如本文上文所述，自主载具包括处理器125和用于控制自主载具的各种系统和模块的控制器150，并且包括用于与外部系统进行通信的通信模块160。在本公开的一方面中，通信模块160可以与远程操作人员系统进行通信，该远程操作人员系统可以是机队管理模块120的一部分或者可以与机队管理模块120分开。
图13示出了远程操作人员系统300的示例性实施例，其包括通信/处理设备310和操作人员工作站320。操作人员工作站320可以类似于典型汽车中的驾驶员工作站，并且可以包括驾驶员座椅322、方向盘324、加速和制动踏板326、换挡器328、和视觉界面330。在所示的实施例中，视觉界面330是虚拟现实(vr)或增强现实(ar)头戴式耳机的形式。在各种实施例中，视觉界面可以包括一个或多个显示屏，例如led、lcd、和/或oled显示屏。在各种实施例中，操作人员工作站320可以被配置为具有汽车中的实际驾驶员工作站的近似触摸响应。例如，方向盘324可以被配置为具有汽车中的动力转向的触摸响应，并且踏板326可以被配置为近似实际汽车中的踏板的阻力。
操作人员工作站320的仪器324-328可以被连接或耦合到通信/处理设备310，该通信/处理设备310使得能够在操作人员工作站320和自主载具之间进行通信。在所示的实施例中，操作人员工作站320通过物理电缆被连接到通信/处理设备310。在各种实施例中，操作人员工作站320可以使用诸如蓝牙之类的技术被无线地耦合到通信/处理设备310。在各种实施例中，操作人员工作站320不需要被直接地连接到通信/处理设备310，并且可以通过中间设备和/或网络被耦合到通信/处理设备310。
在各种实施例中，通信/处理设备310可以使用各种通信技术(包括例如ieee802.11x(wifi)、蜂窝3g/4g/5g、有线通信、和/或其他有线或无线通信协议)来建立通信。通信/处理设备310包括一个或多个处理器、存储器、机器指令、和/或用于处理视觉信息以供视觉界面330显示的硬件。本领域技术人员将认识到传送、处理、和显示视觉信息的各种方式。
通信/处理设备310还处理来自操作人员工作站320的信号并且将其转换为用于控制自主载具的控制指令，例如用于控制自主载具的运输系统(130，图12)来执行行进的控制指令。以这种方式，当操作人员转动方向盘324时，通信/处理设备310向自主载具发送相应的控制指令以指示载具转向。作为另一示例，当操作人员使用操作人员工作站320的踏板326进行加速或制动时，通信/处理设备310向自主载具发送相应的控制指令以分别指示载具加速或制动。图13的实施例和配置是示例性的，并且其他配置和变型被认为在本公开的范围内。例如，在自主载具是有轨载具的情况下，远程操作人员系统300可以具有操作人员工作站320，该操作人员工作站320将实际的操作者工作站反映在相同或相似类型的典型非自主载具上。
还参考图14，示出了示例性视觉界面的图，其可以被显示在vr/ar头戴式耳机中或者显示屏上，或以其他方式显示。如本文上文所述，每个机器人载具均被配备有传感器系统，该传感器系统可以包括摄像头(例如诸如以类似于视频的高帧率运行的那些摄像头)以及其他传感器，并且包括内部计算机处理以确定每个机器人载具周围有什么其他物体。根据本公开的各方面，由自主载具的传感器系统捕获的该视觉信息可以被处理，并且被传送到远程操作人员系统300以在视觉界面330上显示。在各种实施例中，视觉显示器可以呈现从操作人员的角度看到的自主载具的周围环境，以使所显示的内容随着驾驶员的头部转向而转向。在各种实施例中，操作人员工作站320可以包括围绕操作人员工作站的多个显示屏(未示出)，并且显示屏可以同时显示自主载具的周围环境。其他配置和变型被认为在本公开的范围内。
例如，在各种实施例中，视觉显示器可以呈现自主载具的鸟瞰图(未示出)。还参考图15，在各种实施例中，自主飞行器410可以与一个或多个自主陆地载具420相关联，并且可以从鸟瞰角度捕获自主陆地载具420的图像或视频。所捕获的图像或视频可以被传送到远程操作人员系统300以在视觉界面330上显示。以这种方式，鸟瞰视角允许操作人员容易地可视化自主载具420的周围环境以更好地远程操作自主载具420。
在各种实施例中，自主飞行器410可以在没有障碍物(例如，交通灯或高速公路立交桥等)的高度处飞行。在各种实施例中，由自主飞行器提供的视觉信息可以被处理以在不同程度上放大自主陆地载具420的周围环境。在各种实施例中，自主飞行器410可以跟踪自主陆地载具420的移动，但是如果其不能安全地跟踪该移动(例如当自主陆地载具420进入隧道时)，则自主飞行器可以脱离。在各种实施例中，可以存在可以动态地将自主飞行器410与特定陆地载具420相关联的漫游自主飞行器410的机队。这种动态关联可以被传送到远程操作人员系统300，从而远程操作人员系统300可以在由自主陆地载具420提供的视觉信息与由自主飞行器410提供的视觉信息之间切换，同时仍保持对自主陆地载具420的远程操作。
继续参考图14，视觉显示器可以包括各种指示符，其向操作人员通知某些状况。作为示例，视觉显示器可以包括模式指示符332，以指定自主载具是在自主模式还是在远程操作模式下操作。在自主模式下，操作人员与操作人员工作站320的交互不会影响自主载具420的移动。在远程操作模式下，操作人员通过与操作人员工作站320进行交互来控制自主载具420的移动。在各种实施例中，操作人员工作站可以包括用于在自主模式与远程操作模式之间进行切换的机构(未示出)，例如，物理开关或触摸界面按钮、语音激活命令、或其他机构。所示的视觉显示器还包括警告指示符，其可以向操作人员警告危险状况334。将结合图16来更详细地描述危险状况334。图14的视觉显示器的布局和配置仅是示例性的，并且变型被认为在本公开的范围内。例如，在自主载具是有轨载具的情况下，远程操作人员系统300的视觉界面可以被定制为用于操作这种载具的视觉元件。
图16是在自主模式与远程操作模式之间进行切换的自主载具的操作的流程图。所示的操作开始于自主载具以自主模式602进行操作，其中不需要人工干预来使得自主载具行进到各个目的地。当自主载具接收到从自主模式切换到远程控制模式604的指令时，自主载具可以激活远程控制模式并且从远程操作人员系统606接收控制指令。
如上所述，因为操作人员将远离自主载具的位置，所以本公开的一个方面涉及向自主载具提供用自主能力对由远程操作人员进行的控制进行补充或增强的能力。例如，自主能力可以包括检测危险状况，并且超控操作人员和/或返回到自主模式以缓解危险状况。因此，在远程操作模式606中，自主载具通常不控制其自身的移动，但可以继续监视周围环境。远程操作人员可以在处于远程操作模式606时使能某些自主能力，并且自主载具可以基于对周围环境的监视来执行这些自主能力。此外，如果自主载具检测到危险状况608，则自主载具可以在各种情况下超控远程操作模式并且返回到全自主模式610。例如，危险状况可以包括与自主载具的周围环境中的物体(例如，其他载具或人)的即将发生的碰撞。本领域技术人员将认识到用于确定可能发生即将发生的碰撞的方法，包括使用载具轨迹和估计物体轨迹。其他危险状况可以包括在转向信号尚未被激活时的车道偏离。
在超控远程操作模式和/或返回到自主模式610之后，自主载具可以进行操作以自主地减轻或避免危险状况612。例如，如果危险状况为与物体的即将发生的碰撞，则自主载具可以自主地操作以与物体保持特定距离。阈值距离可以在例如三英尺至五英尺之间，或者可以是其他距离。作为另一示例，如果危险状况是在转向信号未被激活的情况下的车道偏离，则自主载具可以自主地操作以保持在车道内的位置。在各种实施例中，即使没有危险状况，远程操作人员也可以选择性地使能自主能力以与物体保持特定距离或者保持在车道内的位置。
在各种实施例中，自主载具可以监视与在交叉路口处的转向有关的危险状况。例如，当远程操作人员在交叉路口处转向时，自主载具可以监视周围的交通并且确定发生碰撞的可能性。如果在转向时发生碰撞的可能性很高，则自主载具可以针对碰撞发出危险警告，并且可以进行操作以禁止载具的转向移动从而减轻或避免由转向引起的碰撞。在各种实施例中，高可能性确定可以基于危险发生的阈值机会。
在各种实施例中，自主载具可以监视与改变车道有关的危险状况。例如，当远程操作人员正在改变车道时，自主载具可以监视周围的交通并且确定发生碰撞的可能性。如果在改变车道时发生碰撞的可能性很高，则自主载具可以针对碰撞发出危险警告，并且可以进行操作以禁止载具的车道改变移动从而减轻或避免由车道改变引起的碰撞。在各种实施例中，高可能性确定可以基于危险发生的阈值机会。
在各种实施例中，自主载具可以监视与前向碰撞有关的危险状况。例如，当远程操作人员正在控制自主载具时，自主载具可以监视周围的交通并且确定前向碰撞的可能性。如果前向碰撞的可能性很高，则自主载具可以针对前向碰撞发出危险警告，并且可以进行操作以减速和/或完全停止从而减轻或避免前向碰撞。本领域技术人员将认识到用于确定可能发生即将发生的前向碰撞的方法，包括使用载具轨迹和估计物体轨迹。在各种实施例中，高可能性确定可以基于危险发生的阈值机会。
在各种实施例中，自主载具可以监视与道路标志有关的危险状况。例如，当远程操作人员正在控制自主载具时，自主载具可以监视停车标志并且确定驶过停车标志的可能性。如果驶过停车标志的可能性很高，则自主载具可以针对停车标志发出危险警告，并且可以进行操作以减速和/或完全停止从而减轻或避免驶过停车标志。在各种实施例中，高可能性确定可以基于危险发生的阈值机会。
在各种实施例中，自主载具可以监视与交通流量有关的危险状况。例如，当远程操作人员正在控制自主载具时，自主载具可以监视交通信号灯并且确定驶过红灯的可能性。如果驶过红灯的可能性很高，则自主载具可以针对红灯发出危险警告，并且可以进行操作以减速和/或完全停止从而减轻或避免驶过红灯。在各种实施例中，高可能性确定可以基于危险发生的阈值机会。作为另一示例，当远程操作人员正在控制自主载具时，自主载具可以监视速度限制。如果远程操作人员指令将导致自主载具超过速度限制，则自主载具可以针对速度限制发出危险警告和/或可以进行操作以将速度保持在速度限制。在各种实施例中，自主载具可以针对速度限制发出危险警告，但是可以不超控操作人员指令。
在各种实施例中，自主载具可以监视与自主载具自身的移动有关的危险状况。例如，当远程操作人员正在控制自主载具时，自主载具可以监视车道行为。如果存在过度漂移、过度启动和停止、追尾、或其他不规则车道行为，则自主载具可以针对车道行为发出危险警告，并且可以进行操作以使得载具移动平稳。在各种实施例中，过度确定可以基于阈值。例如，自主载具可以进行操作以保持在车道内的位置，例如车道内的最佳点。在各种实施例中，自主载具可以将自身在车道内居中。在各种实施例中，自主载具可以将自身定位为朝向道路的中部并在车道的远离行人和停放的汽车的那一侧。在各种实施例中，自主载具可以保持在某载具后面的阈值距离和/或可以匹配速度。
在各种实施例中，自主载具可以监视与路缘有关的危险状况。例如，当远程操作人员正在控制自主载具时，自主载具可以监视路缘并且确定撞到路缘的可能性。如果撞到路缘的可能性很高，则自主载具可以针对路缘发出危险警告，并且可以进行操作以与路缘保持阈值距离从而减轻或避免撞到路缘。例如，阈值距离可以是距离路缘的一英尺或两英尺，或者其他阈值距离。在各种实施例中，高可能性确定可以基于危险发生的阈值机会。
在各种实施例中，自主载具可以监视与中断跟远程操作人员系统的通信有关的危险状况。如果在一段时间内未从远程操作人员系统接收到指令，则自主载具可以针对通信中断发出危险警告，并且可以通过自主停止行为来操作以达到安全停止。
考虑其他类型的危险状况和响应。例如，如果危险状况是即将与入站物体发生碰撞，并且可能的回避路线将使得其他载具或人员处于危险之中，则自主载具可能会停留在碰撞轨迹上，但是会降低速度以减轻由碰撞造成的损害。其他危险状况和其他危险缓解或避免操作612被认为在本公开的范围内。
自主载具可以将危险指示和到自主模式的切换传送到远程操作人员系统614。在各种实施例中，这种通信可以在危险状况被检测到并且自主模式被激活时发生。该通信可以使得操作人员系统的视觉显示器来显示危险指示。在各种实施例中，操作人员系统的视觉显示器可以针对不同的危险状况显示不同的危险指示，包括不同的图形或文本指示。在各种实施例中，远程操作人员系统可以提供听觉、触感、触觉、和/或其他物理或非物理危险指示。
在各种实施例中，操作人员系统的视觉显示器可以在视觉显示器上突出显示与危险状况有关的物体，例如突出显示交通信号灯或道路标志或将它们显示为图形图标。在各种实施例中，操作人员系统的视觉显示器突出显示了潜在的危险状况，例如周围物体(例如，载具、行人、骑自行车的人、障碍物、信号灯、标志、车道线、转向车道、和路缘等)。这些特征可以由自主载具和/或远程操作人员系统基于检测到的物体动态地执行。在各种实施例中，自主载具和/或远程操作人员系统可以确定围绕周围物体的推荐路径，并且可以向操作人员提供指示作为推荐路径的引导。在各种实施例中，指示可以包括通过远程操作人员系统的方向盘的触觉反馈和/或被显示到视觉显示器上的投影路径。
其他变型被认为在本公开的范围内。例如，在各种实施例中，操作人员系统的视觉显示器可以显示速度限制。在各种实施例中，操作人员系统的视觉显示器可以显示尾随载具(tailgater)和/或后向碰撞警告。例如，当尾随的载具基于其载具速度和自主载具的速度而跟随得太近时，和/或当远程操作人员应用制动并且存在可能引起后向碰撞的跟随载具或尾随载具时，可以显示警告。
在各种实施例中，当检测到不良的通信连接或状况时，操作人员系统的视觉显示器可以显示警告消息。在各种实施例中，例如，当检测到不平常或异常的情况时(例如，事故、警察指挥交通、道路封闭、或游行等)，操作人员系统的视觉显示器可以显示警告消息。
图16的操作可以保持自主模式602，直到其接收到切换到远程操作模式604的其他指令。因此，本文中上文描述的是用于使能对自主载具的远程人类操作并且用于自主载具超控远程操作以缓解危险状况的系统和方法。
在本公开的一个方面中，本文中上文描述的用于危险缓解或避免的各种特征可以由远程操作人员选择性地使能而无需等待危险状况。例如，自主载具具有进行操作以保持在车道内的位置的能力，例如在车道内居中或者定位为朝向道路的中部并在车道的远离行人和停放的汽车的那一侧。在各种实施例中，自主载具可以保持在某载具后面的阈值距离和/或可以匹配速度。远程操作人员可以在远程地操作自主载具的同时选择性地使能这样的特征。
附加特征
在一些实施例中，机器人机队还包括具有用于策划内容的数字显示器的至少一个机器人，该策划内容包括：广告(即，用于特定用户和普通公众两者)，包括所提供的服务，营销/促销，所服务区域的地区/位置，客户详细资料，本地环境，失踪、被寻找或被检测的人，公共服务公告，日期，时间，或天气。
本文公开的实施例是本公开的示例，并且可以以各种形式体现。例如，尽管本文的某些实施例被描述为单独的实施例，但是本文的每个实施例可以与本文的一个或多个其他实施例组合。本文公开的特定结构和功能细节不应被解释为限制性的，而是作为权利要求的基础以及作为用于教导本领域技术人员以实际上任何合适的详细结构不同地使用本公开的代表性基础。在附图的整个描述中，相同的附图标记可以表示相似或相同的元件。
短语“在一个实施例中”、“在实施例中”、“在各种实施例中”、“在一些实施例中”或“在其他实施例中”可以各自表示根据本公开的相同或不同实施例中的一个或多个实施例。“a或b”形式的短语是指“(a)、(b)、或(a和b)”。“a、b、或c中的至少一个”形式的短语是指“(a)；(b)；(c)；(a和b)；(a和c)；(b和c)；或(a、b和c)”。
本文描述的方法、程序、算法、或代码中的任何一种均可以被转换为编程语言或计算机程序，或者以编程语言或计算机程序的形式来表示。如本文所使用的术语“编程语言”和“计算机程序”各自包括用于指定对计算机的指令的任何语言，并且包括(但不限于)以下语言及其派生：汇编器、basic、批处理文件、bcpl、c、c+、c++、delphi、fortran、java、javascript、机器代码、操作系统命令语言、pascal、perl、pl1、脚本语言、可视化basic、它们自己指定程序的元语言、以及所有第一、第二、第三、第四、第五、或下一代的计算机语言。还包括数据库和其他数据模式，以及任何其他元语言。在被解释、编译或使用编译和解释方法两者的语言之间没有区别。在程序的编译版本和源版本之间没有区别。因此，对程序的引用是对任何和所有这种状态的引用，其中编程语言可以以多于一种的状态(例如，源、编译、对象、或链接)存在。对程序的引用可以包含实际指令和/或那些指令的意图。
本文描述的系统还可以利用一个或多个控制器来接收各种信息并且变换所接收的信息以生成输出。控制器可以包括任何类型的计算设备、计算电路、或能够执行存储在存储器中的一系列指令的任何类型的处理器或处理电路。控制器可以包括多个处理器和/或多核中央处理单元(cpu)，并且可以包括任何类型的处理器，例如微处理器、数字信号处理器、微控制器、可编程逻辑器件(pld)、现场可编程门阵列(fpga)等。控制器还可以包括存储器以存储数据和/或指令，该数据和/或指令在由一个或多个处理器执行时，使得一个或多个处理器执行一种或多种方法和/或算法。
本文描述的方法、程序、算法、或代码中的任何一种均可以被转换为编程语言或计算机程序，或者以编程语言或计算机程序的形式来表示。如本文所使用的术语“编程语言”和“计算机程序”各自包括用于指定对计算机的指令的任何语言，并且包括(但不限于)以下语言及其派生：汇编器、basic、批处理文件、bcpl、c、c+、c++、delphi、fortran、java、javascript、机器代码、操作系统命令语言、pascal、perl、pl1、脚本语言、可视化basic、它们自己指定程序的元语言、以及所有第一、第二、第三、第四、第五、或下一代的计算机语言。还包括数据库和其他数据模式，以及任何其他元语言。在被解释、编译或使用编译和解释方法两者的语言之间没有区别。在程序的编译版本和源版本之间没有区别。因此，对程序的引用是对任何和所有这种状态的引用，其中编程语言可以以多于一种的状态(例如，源、编译、对象、或链接)存在。对程序的引用可以包含实际指令和/或那些指令的意图。
应当理解，前面的描述仅是本公开的说明。本领域技术人员可以在不背离本公开的情况下设计各种替代和修改。因此，本公开旨在涵盖所有这样的替代、修改、和变化。参考附图描述的实施例被呈现仅用于说明本公开的某些示例。与上文和/或所附权利要求中描述的那些元件、步骤、方法和技术无实质性不同的其他元件、步骤、方法和技术也意图在本公开的范围内。
- 还没有人留言评论。精彩留言会获得点赞！