飞行器-地面车辆协调的制作方法

将车辆和用户的位置同步到飞行器上可能是困难的。需要搭载的用户可能不在车辆可达的位置。此外，用户可能很难从用户的位置导航到车辆位置以便搭载。

附图说明

图1是用于操作车辆的示例性系统的框图。

图2示出了示例性无人驾驶飞行器(uav)。

图3示出了其上停靠有uav的示例性车辆。

图4示出了其中uav已从部署位置处的车辆部署并且正在前进到目标位置的示例。

图5示出了其中uav已到达目标位置并且车辆已到达搭载位置的示例。

图6示出了车辆与uav协同工作的示例性过程。

图7示出了uav与车辆和用户装置协同工作的示例性过程。

具体实施方式

公开了一种无人驾驶飞行器与地面车辆协同操作的方法。所述方法包括：在接收到基于地面车辆处于飞行器部署位置处的消息后，前进到目标位置；根据在所述目标位置处所捕获的图像识别用户；以及为所述飞行器导航以引导所述用户与所述车辆会合。

所述方法还可以包括从地面车辆计算机提供所述地面车辆处于所述部署位置处的所述消息。所述地面车辆计算机还可以被编程为将所述地面车辆导航到所述目标位置。

所述方法还可以包括根据到搭载位置的指定时间和指定距离中的一个或两个来确定所述部署位置。

所述方法还可以包括通过将在所述目标位置处所捕获的图像与指定用户的所存储的图像进行比较来根据在所述目标位置处所捕获的所述图像识别所述用户。

所述方法还可以包括向所述目标位置处的用户装置发送消息。

所述方法还可以包括根据检测跟随所述飞行器的用户的速度和方向来调整所述飞行器的速度和方向中的一个或两个。

所述方法还可以包括从地理上远程的计算机提供所述地面车辆处于所述部署位置处的所述消息。

所述方法还可以包括仅在所述地面车辆停在基于所述目标位置所选择的搭载位置之后才发送所述地面车辆处于所述部署位置处的所述消息。

所述方法还可以包括从除所述部署位置之外的位置前进到所述目标位置。

还公开了一种被编程为执行上述方法步骤中的任一个的计算装置。还公开了一种包括所述计算装置的飞行器。

还公开了一种计算机程序产品，所述计算机程序产品包括计算机可读介质，所述计算机可读介质存储指令，所述指令可由计算机处理器执行以执行以上方法步骤中的任何一个。

图1是示出用于协调地面车辆101和无人驾驶飞行器(uav)140的操作的示例性系统100的框图；图4和图5示出了操作中的系统100的示例。uav140可以从部署位置205处的车辆101部署，所述部署位置与用户190搭载位置210相距指定量的行程时间和/或距离。然后，uav140可以将用户190从目标位置215引导到搭载位置210。

例如，uav140可以前进到通常由用户装置195指定为用户190位置的目标位置215。uav140上的计算装置145被编程为例如从车辆101计算装置105和/或地理上远程的服务器130(即，位于除在车辆101上或在uav140上之外的位置处并且可以是世界上任何地方的一个或多个计算机)接收车辆101将在指定搭载位置210处搭载的用户190的参考图像151。uav140计算装置145还被编程为从uav140图像传感器接收一个或多个所捕获的图像152。在将参考图像151与所捕获的图像152进行比较后，uav140计算装置145可以在目标位置215处或附近识别和定位用户190。计算装置145还被编程为在识别和定位用户190后，为uav140导航以将用户从目标位置215引导到用户190可以登上车辆101进行运输的会合或搭载位置210。此外，uav计算机145可以与用户190装置195进行通信，以帮助将用户190引导到目标位置215。

众所周知，车辆101计算装置105通常被编程为用于车辆101的网络或通信总线上的通信。经由网络、总线和/或其他有线或无线机制(例如，车辆101中的有线或无线局域网)，计算装置105可以向车辆101中的各种装置传输消息和/或从各种装置接收消息，所述各种装置例如控制器、致动器、传感器等，包括传感器110。替代地或附加地，在计算装置105实际上包括多个装置的情况下，车辆网络或总线可以用于在本公开中被表示为计算装置105的装置之间的通信。另外，计算装置105可以被编程为用于与网络125进行通信，如下文所描述，所述网络可以包括各种有线和/或无线联网技术，例如蜂窝、有线和/或无线分组网络等。

数据存储装置106可以是任何已知的类型，例如，硬盘驱动器、固态驱动器、服务器或任何易失性或非易失性介质。数据存储装置106可以存储从传感器110发送的所收集的数据115。

传感器110可以包括各种装置。例如，众所周知，车辆101中的各种控制器可以作为传感器110操作以经由车辆101网络或总线提供数据115，例如，与车辆速度、加速度、位置、系统和/或部件状态、方向航向等相关的数据115。另外，其他传感器110可以包括相机、运动检测器等，即传感器110用于提供用于估计目标的位置、投射停车操纵的路径、估计道路车道的位置等的数据115。传感器110还可以包括短程雷达、远程雷达、lidar和/或超声换能器。

所收集的数据115可以包括在车辆101中收集的各种数据。上面提供了所收集的数据115的示例，此外，数据115通常使用一个或多个传感器110来收集，并且另外可以包括在计算装置105中和/或在服务器130处根据所收集的数据计算出的数据。通常，所收集的数据115可以包括可以由传感器110采集的和/或根据这种数据计算出的任何数据。

车辆101包括多个车辆子系统120。子系统120控制车辆101部件；子系统120可以包括例如转向子系统、推进子系统(包括例如内燃发动机和/或电动马达)、制动子系统、停车辅助子系统、自适应巡航控制子系统等。计算装置105可以致动子系统120以控制车辆101部件，例如，使车辆101停下、转向等。

计算装置105可以被编程为在来自人类操作者的有限输入或无输入的情况下操作子系统120中的一些或全部，即，计算装置105可以被编程为作为虚拟操作者来操作子系统120。当计算装置105作为虚拟操作者操作子系统120时，计算装置105可以忽略来自人类操作者的关于被选择用于由虚拟操作者控制的子系统120的输入，所述输入例如经由车辆101通信总线和/或如已知的电子控制单元(ecu)提供指令，以致动车辆101部件，例如，应用制动器、改变方向盘角度等。例如，如果人类操作者试图在虚拟操作者转向操作期间转动方向盘，则计算装置105可以忽略方向盘的移动并且根据其编程来使车辆101转向。

出于本公开的目的，自主模式被定义为其中车辆101推进(例如，经由包括电动马达和/或内燃发动机的动力传动系统)、制动和转向中的每一个都由计算装置105控制的模式；在半自主模式中，计算装置105控制车辆101推进、制动和转向中的一个或两个。

系统100还可以包括连接到服务器130和数据存储装置135的网络125。服务器130在地理上处于车辆101和uav140远程。出于本公开的目的，“地理上远程”通常意味着一英里且一般更远的距离，但至少意味着服务器130与车辆计算机105和uav计算机145不在同一建筑物或同一车辆中。此外，“地理上远程”意味着与服务器130的通信可以仅经由诸如网络125的广域网发生。

因此，计算机105还可以被编程为经由网络125与诸如服务器130的一个或多个远程站点通信，这样的远程站点可能包括数据存储装置135。网络125表示车辆计算机105可以凭其与远程服务器130进行通信的一种或多种机制。因此，网络125可以是各种有线或无线通信机制中的一种或多种，包括有线(例如，电缆和光纤)和/或无线(例如，蜂窝、无线、卫星、微波和射频)通信机制的任何期望组合，以及任何期望的网络拓扑(或利用多种通信机制时的拓扑)。示例性通信网络包括提供数据通信服务的无线通信网络(例如，使用蓝牙、ieee802.11等)、局域网(lan)和/或广域网(wan)(包括因特网)。

系统100还包括无人驾驶飞行器(uav)140。uav140可以是四旋翼飞行器(即，具有四个螺旋桨的直升机)，但可以替代地是例如具有三到八个螺旋桨的直升机、固定翼无人机等。

uav140包括计算装置145和至少一个图像传感器150(例如，捕获数字图像152的摄像机和/或照相机)。uav140可操作以通常在从服务器130接收到命令之后以已知方式导航到车辆101。uav计算装置145被编程为利用图像传感器150收集图像152。uav计算装置145还被编程为将一个或多个所捕获的图像152与所存储的参考图像151进行比较。可以从远程服务器130或从车辆101计算装置105提供参考图像151。参考图像151通常至少描绘用户190的面部。通过使用例如已知的图像分析技术，计算装置145可以被编程为将参考图像151与所捕获的图像152进行比较，以确定所捕获的图像152是否是指定的用户190。

用户190通常携带用户装置195以与uav140计算机145和/或车辆101计算机105进行通信。用户装置195可以是能够执行这样的通信的任何合适的便携式计算装置。例如，装置145可以是包括使用ieee802.11、蓝牙和/或蜂窝通信协议等进行无线通信的能力的便携式计算机、平板计算机、移动电话(例如，智能电话)等。

图2示出了示例性uav140。uav140包括支撑计算装置145和图像传感器150的底架155，并且可能包括其他部件，诸如电池180和下面讨论的其他部件。图像传感器150可以以旋转、回转和/或垂直移动的方式安装，以允许图像传感器150获得不同视野的所捕获的图像152，而无需转动或以其他方式调整其姿态。

uav140可以包括至少一个支脚165。支脚165允许uav140例如在车辆101的车顶185上附接到车辆101，如图3所示。支脚165连接到底架155。图3的示例性uav140具有两个支脚165。支脚165可以由铁磁材料构成，并且可以包括电磁体，即，在该示例中，支脚165是磁性支脚165。电池180可以向电磁体供应电流以生成电磁场，从而使支脚165磁化并将支脚165吸引到附近的铁磁表面(例如，车辆101的车顶185的外部)。在另一示例中，支脚165可以包括不需要来自电池180的电力的永磁体。尽管本文公开了磁体作为示例性附接装置，但可以使用其他附接装置。

uav140包括推进装置，诸如连接到螺旋桨175的马达176。马达176可以驱动螺旋桨175，从而生成升力并允许uav140飞行和悬停。马达176可以是由电池180提供动力的电动马达176。电动马达176可以附接到底架155。图2的示例性uav140包括驱动四个螺旋桨175的四个马达176。众所周知，uav计算装置145可以选择性地致动螺旋桨175以使uav140转向。

图3示出了其上停靠有uav140的示例性车辆101。图3的示例中的uav140经由支脚165附接到车辆101的车顶185的外部，但uav140可以停靠在其他地方，例如，停靠在行李厢或其他舱室中、停靠在行李箱盖上等。

车辆101计算机105和uav140计算机145和/或用户装置195可以经由各种机制彼此通信。例如，计算机145可以设置有收发器以例如经由蜂窝网络等进行通信(例如，网络125可以是或可以包括蜂窝网络)，以使用短消息服务(sms)或一些类似的协议发送消息。此外，当uav140停靠到车辆101上和/或停靠在车辆附近(例如，悬停在车辆上方)时，计算机105和uav140计算机145可以经由车辆101网络(可能包括无线车辆101网络)、经由短程协议(诸如蓝牙等)进行通信。此外，计算机105、145可以经由网络125进行通信。

图6示出了车辆101与uav140协同工作以搭载用户190的示例性过程600。过程600可以由车辆101计算机105的处理器根据存储在计算机105的存储器中的程序指令来执行。过程600可以在框605中开始，其中车辆101接收在指定位置(即，目标位置215)处搭载用户190的指派。除了目标位置215之外，搭载指派通常至少包括要搭载的用户190的标识符，并且还可能包括参考图像151以及请求搭载时间(例如，尽可能快、下午1：30等)。所述指派还可以包括搭载位置210；替代地，车辆101计算机105可以通过根据例如指示合法等候区域的地图数据和指示交通畅通不会造成堵塞的交通数据等识别离车辆101可能停下并等待用户上车的目标位置215最近的位置来确定搭载位置210。

可以以各种方式提供搭载用户190的指派。例如，车辆101可以是完全自主车辆，其可以从服务器130接收调度指令。也就是说，服务器130可以传输车辆101前进到指定位置的指令和/或路线。服务器130还可以提供待搭载的用户190的标识符以及至少描绘了用户190的面部的参考图像151。另外地或替代地，标识符可以指示其参考图像151存储在车辆101计算机105存储器中的用户190。可以提示服务器130根据用户输入传输对车辆101的指派，例如，用户190可以在需要搭载时或者安排将来的一次或多次搭载时利用诸如智能电话等的用户装置195向服务器130输入请求。

替代地或另外地，可以经由指定目标位置215并且还可能指定搭载位置210的用户输入来提供搭载用户190的指派。例如，车辆101可以设置有到计算机105的人机界面(hmi)。车辆101乘员可以使用车辆101hmi、智能电话等输入目标位置215、搭载时间和将在目标位置215处搭载的用户190的标识符。然后，车辆101计算机105可以从其存储器检索所识别的用户190的参考图像151和/或车辆101乘员可以上传参考图像151。

在框605之后，在框610中，车辆101开始行驶到达搭载位置210的路线。可以在对车辆101的搭载指派中指定该路线，或者可以由车辆101导航系统确定该路线。此外，车辆101可以非自主地、半自主地或完全自主地操作以行驶该路线。

接下来，在框615中，计算机105确定是否部署uav140，即，车辆101是否处于部署位置205附近(例如，在搭载位置210的指定量的行程时间和/或指定距离内)，这样uav140应该被部署到目标位置215。也就是说，当车辆101靠近以搭载用户190时，应该部署uav140以将用户190引导至车辆101以便搭载。图4示出了其中uav140已从部署位置205处的车辆101部署并且正在前进到目标位置215的示例。

可以例如根据车辆101与搭载位置210的时间接近度或距离接近度中的一个或两个来以各种方式识别部署位置205。例如，车辆101中的导航应用程序可以能够基于交通、环境条件、距离等来保护车辆到达搭载位置210的时间。导航应用程序还可以考虑到uav140从部署位置205或从将部署uav140的某个其他位置开始的行程时间。导航应用程序还可以能够例如根据用户190从目标位置215到达搭载位置210的最短行程路线来估计距离。

替代地或另外地，用户190装置195可以例如经由网络125向车辆计算机传达从目标位置215到搭载位置210的估计时间，可能考虑到用户行程模式(例如，步行、骑小轮摩托车、骑自行车等)。然后，车辆计算机105可以考虑到车辆101到达搭载位置210的估计时间以及用户190到达搭载位置210的估计时间。当这些估计的到达时间基本上相似时(例如，在60秒、90秒、3分钟等内)，计算机105可以确定部署uav140以找到用户190。

此外，部署位置205和搭载位置210可能是同一位置。也就是说，在某些情况下(例如，交通繁忙，搭载位置210和目标位置215彼此在预定或指定时间和/或距离内(例如，步行时间小于60秒、距离100米等))，车辆101计算机105会等待直到车辆101停在搭载位置210处，指示uav140部署。

如果计算机105确定不部署uav140，则过程600可以返回到框610。替代地，尽管未在图6中示出，但过程600可以在框615之后结束，这是因为例如车辆101未能在指定时间内到达搭载位置210、或者因道路堵塞等而根本无法到达等。此外，过程600可以基于例如经由装置195来自用户190或来自服务器130的表明不再需要搭载、搭载被取消等的输入而在框615之后、或者在某个其他点结束。然而，如果计算机105在框615中确定将部署uav140，则接下来执行框620。

在框620中，将uav140部署到目标位置215。在一些情况下，如上所述，uav140承载在车辆101之上或之中。因此，计算机105使uav140从车辆101释放，并向uav140计算机145发送进行部署的消息，并且所述消息包括所需的指派信息(例如，用户190目标位置215、身份和参考图像151)，假设图像151尚未存储在uav140计算机145存储器中。此外，uav140可以并非承载在车辆101上，和/或可以从另一位置(例如，uav140的中央悬挂器)部署。在任何情况下，在接收到部署指令和指派信息后，uav140开始空中导航到目标位置215(即，预期将找到用户190的位置)。下面讨论的过程700还描述了uav140的活动。

在框620之后，在框625中，车辆101继续行驶到达搭载位置215的计划路线(参见图4)。

接下来，在框630中，车辆101在到达搭载位置210后在搭载位置210等待用户登上车辆101。图5示出了其中uav140已到达目标位置215并且车辆101已到达搭载位置210的示例。通常，通过检测用户190装置195、通过经由装置195接收到确认用户190处于车辆101中的用户190输入等来确认用户搭载。然而，也可以使用其他机制(诸如车辆101内部相机传感器110)，其可以识别车辆101中用户190的存在和/或根据已知的图像分析技术而使用参考图像151来识别用户190。

此外，尽管图6中未示出，但如果车辆101计算机105未能确认用户搭载，则过程600可以结束，例如，如果用户190在到达搭载位置210之后的预定时间段内被确认为不处于车辆101中，则车辆101可以离开搭载位置210(例如，到服务器130提供的目的地，诸如另一搭载位置、起始位置等)。如果uav140是从车辆101启动的，则车辆101通常会等待uav140，然后再离开搭载位置210。uav140还可以返回到车辆101并报告用户190无法被定位，从而提示过程600结束并且车辆101离开搭载位置210。

在其中用户搭载得到确认的框630之后，在框635中，将uav140重新停靠到车辆101上。当uav140不是从车辆101部署时，可以省略框630。

接下来，在框640中，车辆101将用户190送到指定位置。例如，用户目的地可以根据用户输入和来自服务器130的指令等存储在车辆计算机105中。此外，车辆105可以以非自主或半自主模式操作，其中用户190或另一车辆101乘员控制车辆101的导航以到达目的地。

在框640之后，过程600结束。

图7示出了uav与车辆和用户装置协同工作的示例性过程。可以根据由计算机145的处理器存储在uav140计算机145的存储器中的程序指令来执行过程700。过程700可以在框705中开始，其中uav140接收到指令，根据如上所述的指派信息来部署并导航到目标位置。因此，框705包括uav导航到目标位置215(参见图4)。

出于本公开的目的，uav140导航到目标位置215意味着导航到基本上在目标地面位置215上方预定高度(例如，5米、10米等)的位置，例如，如通过指派信息中的地理坐标所指定。例如，用户装置195可以向服务器130和/或车辆101计算机105提供装置195的地理坐标，由此uav140导航到基本上在那些地理位置上方的位置。

接下来，在框710中，一旦uav140处于目标位置215(参见图5)，uav140就捕获目标位置215处或附近的人的一个或多个图像152。例如，可以使用uav140相机150来捕获图像152。例如，可以控制uav140计算机145以在围绕目标位置215的预定半径内致动相机150来捕获图像152。然后，计算机145可以例如使用已知的图像分析技术来将所捕获的图像152与所存储的参考图像151进行比较，以确定是否在目标位置215处找到在指派信息中所识别的用户。

接下来，在框715中，如果在目标位置215处找到在指派信息中所识别的用户190，则接下来执行框720。否则，过程700返回到框710以捕获另外的图像152来尝试找到用户。此外，尽管未在图7中示出，但如果例如在预定时间段之后未能找到用户和/或uav140接收到返回车辆或某个其他位置的指令，则过程700可以并且在框715之后或期间或者在某个其他点。

在框720中，uav140计算机145向与所识别的用户190相关联的装置195发送用户190应该跟随uav140的消息。例如，可以将这个消息例如作为sms消息等经由网络125来发送。uav140向用户190发送的消息可以包括另外的信息，诸如“您乘坐的车辆有三分钟的步行路程”。

接下来，在框725中，uav140导航到车辆101搭载位置210。在这样做时，uav140通常被编程为以适合于用户跟随的速度(例如，每小时2.5英里、每小时3英里等)前进。此外，uav140计算机145可以被编程为例如经由用户装置195接收调整速度、高度、方向(即航向)等的输入以使uav140更易于用户跟随。例如，用户装置195可以包括应用程序等，以经由诸如蓝牙的短程通信协议来与uav140计算机145进行通信。另外地或替代地，uav140计算机145可以例如通过分析所捕获的图像152等来进行编程，以确定用户是否在uav140的后面超过预定距离(例如，超过7米、10米等)并调整速度(例如，以每小时0.1或0.2英里的速度减速)，从而允许用户190跟上uav140。可以对uav140计算机145类似地编程以向上调整uav140的速度。

接下来，一旦uav140到达搭载位置210，则uav140计算机145确认用户190处于车辆中。例如，可以执行诸如上面关于框630所描述的确认，由此车辆计算机105可以向uav140计算机145发送确认用户190处于车辆101中的消息。此外，如果未能确认用户190处于车辆中，则如上关于过程600所描述的，过程700可以终止。

接下来，在框735中，假设uav140是从车辆101部署的，则uav140重新停靠到车辆101上。替代地，uav140可以返回到指定位置，例如，部署uav的悬挂器、起始位置等。

在框735之后，过程700结束。

当本公开涉及“位置”时，应当理解的是，可以已知方式(例如根据诸如已知的地理坐标)确定位置。例如，全球定位系统(gps)装置可以高精度地确定纬度和经度，并可以用于确定本文讨论的位置。

如本文所使用的，修饰形容词的副词“基本上”意味着形状、结构、测量、值、计算等可能偏离精确描述的几何形状、距离、测量、值、计算等，因为材料、加工、制造、传感器测量、计算、处理时间、通信时间等存在瑕疵。

除非另有说明或者上下文另有要求，否则修饰名词的冠词“一”应理解为一个或多个。短语“基于”包括部分地或完全地基于。

计算装置105、145等通常各自包括可由一个或多个计算装置(诸如以上所识别的那些)执行并且用于执行以上所描述的过程的框或步骤的指令。术语“计算装置”和“计算机”可以在本公开中互换使用。计算机可执行指令可由使用各种编程语言和/或技术创建的计算机程序来编译或解译，所述编程语言和/或技术单独地或组合地包括但不限于java^tm、c、c++、visualbasic、javascript、perl、html等。通常，处理器(例如，微处理器)接收例如来自存储器、计算机可读介质等的指令，并且执行这些指令，从而执行一个或多个过程，包括本文所述的过程中的一个或多个。可使用多种计算机可读介质来存储和传输此类指令和其他数据。计算装置105中的文件通常是存储在计算机可读介质(诸如存储介质、随机存取存储器等)上的数据的集合。

计算机可读介质包括参与提供可由计算机读取的数据(例如，指令)的任何介质。这种介质可以采用许多形式，其包括但不限于非易失性介质、易失性介质等。非易失性介质包括例如光盘或磁盘和其他永久性存储器。易失性介质包括通常构成主存储器的动态随机存取存储器(dram)。常见形式的计算机可读介质包括(例如)软磁盘、软盘、硬盘、磁带、任何其他磁性介质、cd-rom、dvd、任何其他任何光学介质、穿孔卡、纸带、带有穿孔图案的任何其他物理介质、ram、prom、eprom、flash-eeprom、任何其他存储芯片或盒式磁带，或计算机可以从中读取的任何其他介质。

关于本文描述的介质、过程、系统、方法等，应当理解，虽然此类过程等的步骤已被描述为按照特定的顺序发生，但是可以通过以与本文所述顺序不同的顺序执行所述步骤来实施此类过程。还应当理解，可以同时执行某些步骤、可以添加其他步骤、或者可以省略本文所述的某些步骤。例如，在过程600中，可以省略一个或多个步骤，或者可以以与图6中所示不同的顺序执行步骤。换句话说，本文对系统和/或过程的描述是为了示出某些实施方案而提供，而决不应当将其理解为对所公开的主题进行限制。

因此，应当理解，包括以上描述和附图以及以下权利要求的本公开意图是说明性的而非限制性的。通过阅读以上描述，除了所提供的示例之外的许多实施例和应用对于本领域技术人员来说将是显而易见的。本发明的范围不应参考以上描述来确定，而是应参考所附的和/或包括在基于本文的非临时性专利申请中的权利要求连同所述权利要求所赋予权利的等效形式的完整范围来确定。可以预期并期望本文讨论的技术中未来将有所发展，并且所公开的系统和方法将结合到此类未来实施例中。总而言之，应当理解，所公开的主题能够进行修改和变化。