使用无人航空载具来检查自主车辆的制作方法

不适用。

背景

1.技术领域

本发明总体上涉及车辆检查的领域，并且更具体地，涉及使用无人航空载具(uav)来检查自主车辆。

2.

背景技术：

自主车辆没有驾驶员。因此，当使用自主车辆来为第三方提供基于车费的乘行时，可能难以在乘行之间检查自主车辆的清洁度、维修问题等。相机可以安装在自主车辆上以在乘行之间检查自主车辆的一些区域。然而，随时间推移，相机镜头可能被损坏或覆盖污垢，从而限制它们的可用性。污垢和尘垢是安装在外部的相机的重要考虑因素，尤其是在易受恶劣天气影响的位置。例如，在经历冬天天气的位置可能难以保持底盘相机清洁而免受尘垢和雪。

附图说明

参考以下描述和附图将更好地理解本发明的具体特征、方面和优点，其中：

图1示出计算装置的示例框图。

图2示出有助于使用无人航空载具(uav)来检查自主车辆的环境。

图3示出用于使用无人航空载具(uav)来检查自主车辆的示例方法的流程图。

图4a和图4b示出无人航空载具(uav)从自主车辆内的受保护区域释放的示例。

图5示出无人航空载具(uav)在自主车辆周围飞行的示例。

图6示出自主车辆驾驶经过无人航空载具(uav)的示例。

图7示出自主车辆在无人航空载具(uav)上方驾驶的示例。

具体实施方式

本发明扩展到用于使用无人航空载具(uav)来检查自主车辆的方法、系统和计算机程序产品。

运输即服务(taas)车队包括一个或多个自主车辆。所述一个或多个自主车辆中的每一者可以向第三方提供基于车费的乘行。所述一个或多个自主车辆中的每一者在受保护区域中，例如在杂物箱、行李厢等中携带uav(或“无人机”)。在乘行之间，所述车辆可以部署所述uav以检查所述车辆。在检查期间，所述uav保持电子联系到所述车辆。当完成检查时，所述uav可以返回到所述受保护区域。

在检查期间，所述uav可以检查自主车辆的内部和外部两者。所述uav可以检查自主车辆的内部的清洁度和光泽。所述uav可以检查自主车辆的外部的流体泄漏、轮胎损坏、车身损坏、制动衬块完整性，以确保灯在工作、确保转弯指示灯在工作等。

所述uav的飞行路径可以预先编程到所述uav中。为了执行检查，所述uav遵循所述飞行路径，从而在指定位置处停止以拍摄车辆的具体部分的图像。在外部检查期间，uav可以在自主车辆周围和下方飞行。在外部检查期间，uav还可以降落在地面上并且使自主车辆驾驶经过uav和/或在uav的顶部上方驾驶。

在检查期间，uav可以将静态图像和/或视频发送到自主车辆。自主车辆继而可以将所述静态图像和/或视频转发到云计算资源以供分析。在一个方面，将静态图像和/或视频发送到在云计算资源上运行的神经网络。所述神经网络分析所述静态图像和/或视频的异常现象，诸如像流体的坑点、减小的轮胎胎面、轮胎侧壁损坏、盘式制动衬块磨损等。如果检测到某些异常现象，则未通过检查。

当通过检查时，所述自主车辆可以开始新的乘行。当未通过检查时，所述自主车辆联系调度位置，请求替换自主车辆。另外，取决于导致未通过检查的一个或多个检测到的异常现象，自主车辆可以自主地返回到修理厂或电子地请求牵引车辆。

所述受保护区域可以包括用于所述uav的对接站。对接站可以类似于电动车辆(ev)的充电端口、汽油入口端口或者行李厢内的空腔。可以使用具有自动地打开和关闭的门的任何车辆空腔。

对接站可以包括降落场、多个永久钩、一个或多个螺线管销(或电磁体)，以及用于经由电感耦合进行无线功率传递(wpt)的部件。多个永久钩可以用来在多个方向上锚接uav，诸如像向前、向后和向右。螺线管销可以用来在另一方向上锚接uav，这样具有例如向左。wpt部件可以用来在检查之间对uav的电池进行充电。

在一个方面，螺线管销是正常关闭的(锚接的)，因此当uav执行它的检查时螺线管获取车辆功率。使螺线管销正常关闭平衡了在对电池进行再充电时对车辆功率的需要。代替电感/无线功率传递，也可以使用电源触头。在使用向下观察的相机进行降落后，uav可以在钩下方使它自己分流并用信号通知车辆将锁紧销螺线管断电。

uav的能力可以比乘行检查更多。例如，在事故之后，uav可以调查事故区域、受影响的所有车辆、受影响的基础设施、车辆乘员和所有物、目击者(录取口供)并且提供安全，直到有关当局到达。uav还可以电子地召唤有关当局。因此，uav可以用来防止盗窃和事故篡改，这可以有助于调查。记录的视频也可以充当用于保险调整的基础。

在一个方面，uav具体地用来在taas乘行之间检查自主车辆的内部。uav上的相机可以补充安装到车辆的面向内部的相机。uav可以请求自主车辆降下窗(天气允许的话)、飞到面向内部的相机无法覆盖的空间中、经由打开的窗离开车辆，并且请求车辆升高窗。

检查的复杂性可以适合于指定的服务水平和/或uav的电池容量。高端车辆服务可以具有更频繁和/或更详细的检查。低端车辆服务可以具有不太频繁和/或不太详细的检查。

检查频率和细节可以使用多种技术来扩展。检查可以包括每次车辆停止的多个飞行/再充电循环。uav可以降落在自主车辆下方，并且在uav保持固定的同时使自主车辆来回地驾驶。uav可以降落在自主车辆旁边，并且在uav保持固定的同时使自主车辆来回地驾驶。uav可以利用其他降落位置，诸如像壁，并且在uav保持固定的同时使自主车辆来回地驾驶。可以使用协作飞行控制以使用自主车辆上的传感器(例如，相机、激光雷达、超声装置、gps、雷达等)来引导uav，而不是让uav携载传感器。

uav还可以对自主车辆的传感器(例如，激光雷达、雷达、相机、超声装置等)执行诊断、对齐和校准。例如，uav可以携载用于雷达的金属物体、用于激光雷达的反射物体或它本身、用于相机的它本身、用于校准的视觉图案等。

uav还可以对自主车辆执行补救维修。例如，uav可以携载湿海绵。uav可以使用(例如，旋转)湿海绵以在恶劣天气之后清洁传感器盖或者以其他方式去除尘垢。

本发明的方面可以在多种不同类型的计算装置中实施。图1示出计算装置100的示例框图。计算装置100可以用于执行各种程序，诸如本文所讨论的那些程序。计算装置100可以用作服务器、客户端或任何其他计算实体。计算装置100可以执行如本文所述的各种通信和数据传递功能，并且可以执行一个或多个应用程序，诸如本文所述的应用程序。计算装置100可以是各种计算装置中的任何一种，诸如移动电话或其他移动装置、台式计算机、笔记本计算机、服务器计算机、手持计算机、平板计算机等。

计算装置100包括一个或多个处理器102、一个或多个存储器装置104、一个或多个接口106、一个或多个存储装置108、一个或多个输入/输出(i/o)装置110以及显示装置130，它们全部都耦合到总线112。处理器102包括执行存储在存储器装置104和/或大容量存储装置108中的指令的一个或多个处理器或控制器。处理器102还可以包括各种类型的计算机存储介质，诸如高速缓冲存储器。

存储器装置104包括各种计算机存储介质，诸如易失性存储器(例如，随机存取存储器(ram)114)和/或非易失性存储器(例如，只读存储器(rom)116)。存储器装置104还可以包括可重写rom，诸如快闪存储器。

大容量存储装置108包括各种计算机存储介质，诸如磁带、磁盘、光盘、固态存储器(例如，快闪存储器)等。如图1所描绘，特定的大容量存储装置是硬盘驱动器124。各种驱动器也可以包括在大容量存储装置108中，以使得能够从各种计算机可读介质读取和/或写入各种计算机可读介质。大容量存储装置108包括可移动介质126和/或不可移动介质。

i/o装置110包括允许数据和/或其他信息输入到计算装置100或从计算装置100检索数据和/或其他信息的各种装置。示例i/o装置110包括光标控制装置、键盘、小键盘、条形码扫描仪、麦克风、监视器或其他显示装置、扬声器、打印机、网络接口卡、调制解调器、相机、镜头、雷达、电荷耦合装置(ccd)或其他图像捕获装置等。

显示装置130包括能够向计算装置100的一个或多个用户显示信息的任何类型的装置。显示装置130的示例包括监视器、显示终端、视频投影装置等等。

接口106包括允许计算装置100与其他系统、装置或计算环境以及人交互的各种接口。示例接口106可以包括任何数量的不同网络接口120，诸如到以下项的接口：个人局域网(pan)、局域网(lan)、广域网(wan)、无线网络(例如，近场通信(nfc)、蓝牙、wi-fi等网络)和互联网。其他接口包括用户接口118和外围装置接口122。

总线112允许处理器102、存储器装置104、接口106、大容量存储装置108和i/o装置110彼此通信，以及与耦合到总线112的其他装置或部件通信。总线112表示若干种类型的总线结构中的一种或多种，诸如系统总线、pci总线、ieee1394总线、usb总线等等。

图2示出有助于使用无人航空载具(uav)来检查自主车辆的环境200。环境200包括车辆201，诸如像自主汽车、卡车或公共汽车。车辆201可以容纳一个或多个乘客，诸如像乘客236。车辆201包括外部传感器202、内部传感器212、控制系统208、外部车辆部件213以及内部车辆部件233。车辆201还包括用于存放未筑坝航空载具(uav)222的受保护区域211，诸如像行李厢、杂物箱等。

控制系统208可以包括用来自主地控制车辆201的控制部件(处理器、控制器、存储器、存储装置、网络连接、全球定位系统等)。

外部传感器202包括以下一者或多者：激光雷达传感器203、雷达传感器204和相机206。外部传感器202还可以包括其他类型的传感器(未示出)，诸如像声学传感器、超声传感器和电磁传感器。一般来讲，外部传感器202可以感测和/或监测车辆201附近的物体。外部传感器202可以将指示监测到的物体的位置和/或光流(即，方向和速度)的传感器数据输出到控制系统208。

内部传感器212包括相机216。相机216可以使用观察车辆201内部的空间，诸如像乘坐区域、乘坐区域中的乘客等。一般来讲，内部传感器可以感测和/或监测车辆201内部的物体。内部传感器212可以将指示监测到的物体的位置、状况等的传感器数据输出到控制系统208。

外部车辆部件213包括车辆201的部件，诸如像轮胎241、制动衬块242、灯243、转弯指示灯244等。对于汽车或卡车，轮胎241可以包括四个或更多个轮胎。每个轮胎可以附接到使轮胎转动的车轮。内部车辆部件233包括座椅234。当自主车辆201在运动时，诸如乘客236的一个或多个乘客可以在座椅234中乘行。车辆部件还可以包括见于车辆的多个其他部件中的任一者，诸如像门、窗、发动机、变速器、排气装置、节气门、电池(和其他电气系统部件)、环境控制部件、媒体系统部件等。

基于传感器数据，控制系统208可以控制外部车辆部件213和内部车辆部件233以自主地操作车辆201。

受保护区域211可以包括用于uav222的对接站/再充电站。当车辆201在运动时，uav222可以固定在受保护区域211中。

在一个方面，车辆201是运输即服务(taas)车队的一部分。车辆201可以用来为第三方提供自主的基于车费的乘行。在乘行之间，uav222可以从受保护区域211释放以检查内部和/或检查外部或车辆201。

图3示出用于使用无人航空载具(uav)来检查自主车辆的示例方法300的流程图。将相对于环境200中的部件和数据来描述方法300。

方法300包括检测供给一个或多个乘客的基于车费的乘行的终止(301)。例如，控制系统208可以检测到已经到达供给乘客236的基于车费的乘行的指示目的地。在到达所述指示目的地后，控制系统208认为基于车费的乘行终止。乘客236可以离开车辆201。

方法300包括确定将根据检查规则来检查自主车辆(302)。例如，控制系统208可以确定将根据检查规则237来检查车辆201。检查规则237可以定义何时和如何检查车辆201。检查的频率和/或细节可以基于由车辆201提供的服务水平而变化。高端服务可以与更频繁和/或细节的检查相关联。另一方面，低端服务可以与不太频繁和/或不太细节的检查相关联。检查的频率和/或细节还可以基于uav222的电池寿命。

方法300包括从自主车辆内的受保护区域释放无人航空载具(uav)以检查自主车辆(303)。例如，控制系统208可以从受保护区域211(例如，行李厢或杂物箱)释放uav222以检查车辆201。释放uav222可以包括释放用于对uav222进行再充电(例如，无线功率传递(wpt))的一个或多个钩和/或螺线管销。

方法300包括在无人航空载具(uav)检查自主车辆时，从无人航空载具(uav)接收以下一者或多者的图像：自主车辆的内部车辆部件和外部车辆部件(304)。uav222可以在车辆201的内部中飞行并且拍摄内部车辆部件233的图像。例如，uav222可以拍摄座椅234的图像271。uav222可以将图像271发送到控制系统208。控制系统208可以从uav222接收图像271。uav222还可以在车辆201的外部周围飞行并且拍摄外部车辆部件213的图像。例如，uav222可以拍摄轮胎241的图像272。uav222可以将图像272发送到控制系统208。控制系统208可以从uav222接收图像272。

其他内部车辆部件233和外部车辆部件213的图像还可以从uav222发送到控制系统208。在一个方面，uav222还拍摄内部车辆部件233和/或外部车辆部件213的一个或多个视频。所述一个或多个视频也可以从uav222发送到控制系统208。

方法300包括将图像转发到其他计算资源以供图像分析(305)。例如，控制系统208可以将图像271和272(以及任何其他图像和/或视频)转发到云资源291以供图像分析。图像和/或视频可以经由无线通信来转发。

在一个方面，云资源291包括根据多层(或“深度”)模型构建的神经网络。多层神经网络模型可以包括输入层、多个隐藏层以及输出层。多层神经网络模型还可以包括损失层。对于图像分析，将图像或视频中的值(例如，像素值)分配到输入节点并且随后馈送通过神经网络的多个隐藏层。多个隐藏层可以执行许多非线性变换。在变换结束时，输出节点基于输入图像而产生针对车辆201的潜在维修问题(损坏的轮胎胎面或侧壁、无功能的转弯指示灯、因碰撞引起的车身损坏等)的推断。可以分析车辆201的不同部分的多个不同图像和/或视频。

基于图像分析的结果，云资源291可以将指令273返回到车辆201。指令273可以经由无线通信来返回。如果没有推断出潜在的维修问题(即，车辆201通过检查)，那么指令273可以指示车辆201接送乘客以进行另一基于车费的乘行。另一方面，如果推断出潜在的维修问题(即，车辆201未通过检查)，那么指令273可以指示车辆201返回到返回修理厂或电子地召唤牵引车辆。

方法300包括从其他计算资源接收指令，所述指令基于对图像的图像分析来指示自主车辆如何行进(306)。例如，控制系统208可以从云资源273接收指令273。车辆201随后可以根据指令273来行动。例如，车辆201可以自主地行进到下一接送位置以接送一个或多个乘客来进行另一基于车费的乘行。替代地，车辆201可以自主地行进到修理位置或可以电子地召唤牵引车辆。结合行进到修理位置或电子地召唤牵引车辆，车辆201请求替换车辆。

在一个方面，指令273指示车辆201将一个或多个车辆部件的附加图像和/或视频发送到云资源291以供进一步分析。作为响应，控制系统208指示uav222获取附加图像和/或视频。uav将附加图像和/或视频发送到控制系统208，所述控制系统208继而将所述附加图像和/或视频发送到云资源291以供分析。基于对所述附加图像和/或视频的分析，云资源291可以制定用于车辆201的其他指令。

方法300包括将无人航空载具(uav)捕获在受保护区域中(307)。例如，当完成检查飞行路径和/或云资源291没有请求附加图像和/或视频时，uav222可以返回到受保护区域211。uav222可以固定到受保护区域211中的充电站中以进行再充电。uav222可以用一个或多个钩和/或螺线管销固定以经由电感充电进行再充电(例如，无线功率传递(wpt))。

图4a和图4b示出无人航空载具(uav)从自主车辆内的受保护区域释放的示例。在图4a中，uav403从自主汽车401的行李厢402释放。在释放之后，uav403可以在自主汽车401的周围飞行，从而捕获外部部件的图像。替代地，uav403可以降落并且自主汽车401可以驾驶经过uav403或在uav403上方驾驶。在汽车401驾驶经过uav403或在uav403上方驾驶时，uav403可以捕获外部部件的图像。当图像捕获完成时，uav403可以返回到行李厢402。

在图4b中，uav413从自主汽车411的杂物箱412释放。在释放之后，uav413可以在自主汽车411的内部内飞行，从而捕获图像(例如，针对清洁度或损坏)。uav413可以飞出窗以捕获自主汽车411的外部部件的图像。当完成图像捕获时，uav413可以返回到杂物箱412。

图5示出无人航空载具(uav)502在自主汽车501周围飞行的示例。uav502可以在不同位置之间飞行(例如，根据预先编程的飞行路径)以捕获自主汽车501的外部部件的图像。

图6示出自主汽车601驾驶经过无人航空载具(uav)602的示例。在自主汽车601驾驶经过uav602时，uav602可以捕获自主汽车601的外部部件的图像。

图7示出自主汽车701在无人航空载具(uav)702上方驾驶的示例。在自主汽车701在uav702上方驾驶时，uav702可以捕获自主汽车701的外部部件(例如，底盘)的图像。

在一个方面，一个或多个处理器被配置为执行指令(例如，计算机可读指令、计算机可执行指令等)以执行多个所描述的操作中的任何操作。一个或多个处理器可以从系统存储器访问信息和/或将信息存储在系统存储器中。一个或多个处理器可以在不同格式之间变换信息，诸如像图像、视频、检查规则、指令等。

系统存储器可以耦合到一个或多个处理器并且可以存储由一个或多个处理器执行的指令(例如，计算机可读指令、计算机可执行指令等)。系统存储器还可以被配置为存储由所描述的部件生成的多种其他类型的数据中的任一种，诸如像图像、视频、检查规则、指令等。

在上述公开中，参考了形成其一部分的附图，并且附图中以图解方式示出了可以实践本公开的具体实现方式。应理解，在不脱离本公开的范围的情况下，可以利用其他实现方式并且可以进行结构改变。说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用指示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可能未必包括所述特定特征、结构或特性。此外，这类短语不一定是指相同的实施例。此外，当结合实施例描述特定特征、结构或特性时，应当认为无论是否明确描述，本领域技术人员在其知识范围内都可以结合其他实施例来实现这种特征、结构或特性。

本文所公开的系统、装置和方法的实现方式可以包括或利用专用或通用计算机，所述专用或通用计算机包括诸如像一个或多个处理器和系统存储器等计算机硬件，如本文所讨论。本公开范围内的实现方式还可以包括用于承载或存储计算机可执行指令和/或数据结构的物理介质和其他计算机可读介质。这种计算机可读介质可以是可由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是计算机存储介质(装置)。承载计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，本公开的实现方式可以包括至少两种完全不同的计算机可读介质：计算机存储介质(装置)和传输介质。

计算机存储介质(装置)包括ram、rom、电可擦除可编程只读存储器(eeprom)、cd-rom、固态驱动器(“ssd”)(例如，基于ram)、快闪存储器、相变存储器(“pcm”)、其他类型的存储器、其他光盘存储装置、磁盘存储装置或其他磁存储装置，或者可以用于以计算机可执行指令或数据结构的形式存储所需程序代码手段并且可以由通用或专用计算机访问的任何其他介质。

本文所公开的装置、系统和方法的实现方式可以通过计算机网络进行通信。“网络”被定义为使得电子数据能够在计算机系统和/或模块和/或其他电子装置之间传输的一条或多条数据链路。当信息通过网络或另一通信连接(硬连线、无线或者硬连线或无线的组合)传输或提供给计算机时，计算机适当地将所述连接视为传输介质。传输介质可以包括可以用于以计算机可执行指令或数据结构的形式承载所需程序代码手段并且可以由通用或专用计算机访问的网络和/或数据链路。上述项的组合也应被包括在计算机可读介质的范围内。

计算机可执行指令包括例如在处理器处执行时致使通用计算机、专用计算机或专用处理装置执行某个功能或一组功能的指令和数据。计算机可执行指令可以是例如二进制文件、诸如汇编语言的中间格式指令或者甚至是源代码。尽管已经用结构特征和/或方法动作专用的语言描述了主题，但是应当理解，所附权利要求中限定的主题不一定限于所描述的特征或上文所描述的动作。相反，所描述的特征和动作是作为实现权利要求的示例形式而公开。

本领域技术人员将理解，本公开可以在具有许多类型的计算机系统配置的网络计算环境中实践，包括内置式或其他车辆计算机、个人计算机、台式计算机、膝上型计算机、消息处理器、手持装置、多处理器系统、基于微处理器或可编程的消费电子产品、网络pc、小型计算机、大型计算机、移动电话、pda、平板电脑、寻呼机、路由器、交换机、各种存储装置等。本公开还可以在分布式系统环境中实践，其中通过网络链接(通过硬连线数据链路、无线数据链路、或硬连线和无线数据链路的组合)的本地和远程计算机系统都执行任务。在分布式系统环境中，程序模块可以位于本地和远程存储器的存储装置中。

此外，在适当的情况下，本文所描述的功能可以在以下中的一者或多者中执行：硬件、软件、固件、数字部件或模拟部件。例如，一个或多个专用集成电路(asic)可以被编程为执行本文所描述的系统和程序中的一者或多者。在整个说明书和权利要求中使用了某些术语来指代特定系统部件。如本领域技术人员将理解，部件可以由不同的名称指代。本文件并不意图区分名称不同但功能相同的部件。

应当注意，上文讨论的传感器实施例可以包括计算机硬件、软件、固件或它们的任何组合以执行它们的功能的至少一部分。例如，传感器可以包括被配置为在一个或多个处理器中执行的计算机代码，并且可以包括由计算机代码控制的硬件逻辑/电路。这些示例装置在本文中被提供用于说明目的，而不意图限制。本公开的实施例可以在其他类型的装置中实施，如相关领域的技术人员将公知。

本公开的至少一些实施例涉及计算机程序产品，所述计算机程序产品包括存储在任何计算机可用介质上的此类逻辑(例如，以软件的形式)。此类软件在一个或多个数据处理装置中执行时致使装置如本文所描述的那样进行操作。

虽然上文已经描述了本公开的各种实施例，但是应当理解，所述实施例仅以示例而非限制的方式呈现。相关领域技术人员将明白，在不脱离本公开的精神和范围的情况下，可以在其中进行形式和细节的各种改变。因此，本公开的宽度和范围不应受任何上述示例性实施例限制，而应仅根据所附权利要求及其等同物来限定。前述描述是为了说明和描述的目的而呈现。并非意图详尽或者将本公开限制于所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。此外，应当注意，任何或所有上述替代实现方式可以按形成本公开的另外混合实现方式所需的任何组合来使用。