利用无人机执行三维结构检查及维护任务的方法和系统与流程
本发明总体涉及无人机，尤其涉及一种利用无人机执行三维结构检查及维护任务的方法和系统。
背景技术：
无人驾驶飞行器(或称无人机)越来越多地被用于执行监控、搜救、测绘、送货、航空摄影等各种任务。在这些领域当中，无人机可得到有效利用的一种领域为复杂三维结构(如建筑物、工厂、机械等)的检查和维护。可以理解的是，三维结构可能具有隐蔽部分，从而使得高精度的人工检查变得非常繁琐和耗时。与此相比，行动敏捷且体型小巧的无人机可轻易地进入三维结构的此类隐蔽部分以执行各种任务。
然而，现有技术的能力和有用性较为有限。举例而言，现有技术在执行任务(如喷涂)时，需要用户对该无人机进行远程操纵，以使其到达指定区域并执行预定任务。因此，在每次执行任务时，用户必须向空中操作系统提供详细指令。此外，现有技术无法根据日常操作进行情景学习。简言而之，现有技术无法通过对其自身实施的操作进行实时学习而能够临机应变自主地执行任务。
技术实现要素：
在一种实施方式中，公开一种用于执行与三维结构相关的任务的方法。在一个实施例中，该方法可包括接收所述三维结构的模拟三维视图。该模拟三维视图包括各层次不同程度的增强视图。所述方法还可包括根据所述各层次的增强视图、与基本类似任务相关的历史数据以及所述至少一架无人机的能力，设置所述三维结构的一条或多条任务执行路径。该方法还可包括根据与基本类似的任务相关的历史数据，针对所述一条或多条路径及所述任务，进行操纵性(maneuverability)及操作(operation)学习。该方法还可包括由所述至少一架无人机的根据所述学习实现对所述任务的执行。
在一种实施方式中，公开一种用于执行与三维结构相关的任务的系统。在一个实施例中，该系统可包括至少一个处理器，以及与该至少一个处理器以可通信方式连接的存储器。该存储器可存有处理器可执行指令，该指令在执行时，可使得所述处理器接收所述三维结构的模拟三维视图。该模拟三维视图包括各层次不同程度的增强视图。所述处理器可执行指令在执行时，还可使得所述处理器根据所述各层次的增强视图、与基本类似任务相关的历史数据以及所述至少一架无人机的能力，设置所述三维结构的一条或多条任务执行路径。所述处理器可执行指令在执行时，还可使得所述处理器根据与基本类似任务相关的历史数据，针对所述一条或多条路径及所述任务，进行操纵性及操作学习。所述处理器可执行指令在执行时，还可使得所述处理器由所述至少一架无人机根据所述学习实现对所述任务的执行。
在一种实施方式中，公开一种非暂时性计算机可读介质，该介质存有用于执行与三维结构相关的任务的计算机可执行指令。在一个实施例中，所存指令在由处理器执行时，可使得该处理器实施操作，该操作包括接收所述三维结构的模拟三维视图。该模拟三维视图包括各层次不同程度的增强视图。所述操作还可包括根据所述各层次的增强视图、与基本类似任务相关的历史数据以及所述至少一架无人机的能力，设置所述三维结构的一条或多条任务执行路径。所述操作还可包括根据与基本类似任务相关的历史数据，针对所述一条或多条路径及所述任务，进行操纵性及操作学习。所述操作还可包括由所述至少一架无人机的根据所述学习实现对所述任务的执行。
需要理解的是，以上概略描述与以下详细描述均仅在于例示和说明，而不在于限制所要求保护的发明。
附图说明
所附各图并入本发明之内并构成本发明的一部分，用于对例示实施方式进行描述，并与说明书一道阐明所公开的原理。
图1为根据本发明一些实施方式的用于执行与三维结构相关的任务的例示系统的框图。
图2为根据本发明一些实施方式的无人机子系统的功能框图。
图3为根据本发明一些实施方式的用于执行与三维结构相关的任务的例示过程的流程图。
图4为根据本发明一些实施方式的用于执行与三维结构相关的任务的详细例示过程的流程图。
图5为用于实施本发明实施方式的例示计算机系统的框图。
具体实施方式
以下，参考附图，对例示实施方式进行描述。在任何方便之处，各图中均采用相同附图标记指代相同或类似部件。虽然本文中描述了所公开原理的实施例和特征，但是在不脱离所公开实施方式的精神和范围的前提下，还可进行修改、调整以及做出其他实施方式。以下具体描述意在仅视作例示，而真正的范围及精神如权利要求书所述。
首先参考图1，该图所示为根据本发明一些实施方式的用于执行与三维结构102相关的任务的例示系统100的框图。具体而言，系统100可包括无人机子系统101，该系统用于对三维结构102执行各种任务。该任务可包括，但不限于，检查与维护任务、制造任务、民用基础设施相关任务以及灾害管理相关任务。在一些实施方式中，无人机子系统101用于对三维结构102进行检查，了解三维结构102的各种特征，以及对三维结构102进行维护。例如，当三维结构102为建筑物时，则所述无人机可用于通过检查当前喷涂状况并了解当前喷涂特征(如当前涂料颜色、当前涂料色度、当前涂料的涂敷表面、周围区域的当前涂料等)而进行喷涂。类似地，当三维结构102为工业机械时，则所述无人机可用于对该工业机械进行检查与维护。
如以下结合图2～图4所详细描述的，无人机子系统101可接收三维结构102的模拟三维视图。该模拟三维视图可包括各层次不同程度的增强视图。无人机子系统101还可根据所述各层次的增强视图、与基本类似的任务相关的历史数据以及所述至少一架无人机的能力，设置一条或多条路径，以执行关于三维结构102的任务。无人机子系统101还可根据与基本类似的任务相关的历史数据，针对所述一条或多条路径及所述任务，进行操纵性及操作学习，并由所述至少一架无人机根据该学习实现所述任务的执行。由此可见，无人机子系统101能够通过对以往规划和执行的类似任务的执行状况进行不断学习而自主地实施任务(如检查、维护等)的规划和执行。
无人机子系统101可包括与基站105通信的一架或多架无人机。需要注意的是，所述一架或多架无人机既可与基站105直接通信，也可通过中间无人机与其通信。例如，在一些实施方式中，所述一架或多架无人机可包括主无人机(motherdrone)103和若干卫星无人机(satellitedrone)104。主无人机103与基站105通信，而卫星无人机104可与主无人机103通信。也就是说，卫星无人机104可与基站105间接(即通过主无人机103)通信。本领域技术人员可理解的是，无人机子系统101当中的各部件103～105均可以为基于处理器的计算装置106。例如，基站105可包括但不限于，服务器、台式计算机、膝上型计算机、笔记本、上网本及个人计算设备(如平板电脑、智能手机等)。
计算装置106可包括一个或多个处理器107，计算机可读介质(如存储器108)以及通信接口109。计算机可读存储介质108可存有指令，该指令在由所述一个或多个处理器107处理时，使得该一个或多个处理器107根据本发明的各个方面执行各种操作。计算机可读存储介质102还可存有各种数据(如所捕获的三维结构图像、三维结构的模拟三维视图、设置或因学习而获得的一条或多条路径、操纵性命令、操作命令、情景信息、执行状况信息、以往任务的相关历史数据、每架无人机的信息、情景对话等)，这些数据可以为系统100所捕获、处理或要求的信息。通信接口109可允许部件103～105之间通过有线或无线通信信道进行通信。
在一些部件(如基站105)中，计算装置106还可包括显示器110。如此，计算装置106即可通过用户界面111与用户交互，用户可通过显示器110对用户界面111进行操作。此外，在一些部件(如基站105)中，计算装置106可经有线或无线通信信道及通信接口109与一个或多个外部装置112交互，以发送或接收各种数据，如三维结构102的特点或特征、无人机子系统101学到的内容等。外部装置112可包括但不限于远程服务器、另一计算装置或外围设备。
现在参考图2，该图所示为根据本发明一些实施方式的与图1的无人机子系统101类似的无人机子系统200的功能框图。无人机子系统200可包括各种模块，这些模块通过执行各种功能而在所述三维结构上执行各种任务。在一些实施方式中，无人机子系统200可包括图像捕获模块201，增强现实模块202，任务设置模块203，级联训练模块204，无人机管理模块205以及用户交互模块206。本领域技术人员可理解的是，所有上述模块201～206既可实施为单个模块，也可实施为不同模块的组合。此外，本领域技术人员可理解的是，模块201～206当中的每一模块均可整体设于一个装置内，或分开设于相互通信的多个装置内。例如，模块201～206当中的每一模块均可整体或部分设于主无人机103、卫星无人机104和/或基站105当中的任何一者内。
图像捕获模块201可通过无人机子系统200内的一个或多个无人机，从不同角度捕获所述三维结构的多幅图像。具体而言，图像捕获模块201可指示所述图像捕获无人机当中的所有或部分无人机从不同角度捕获所述三维结构的图像。可以理解的是，所述图像捕获无人机可包括用于捕获所述图像的成像装置(如相机、激光雷达(lidar)仪、超声成像装置、红外成像装置等)。之后，图像捕获模块201可经接口int1从所述图像捕获无人机接收所捕获的图像。
增强现实模块202可经线路c1从图像捕获模块201接收所捕获的图像。随后，增强现实模块202可在增强现实系统中，利用所捕获的图像对所述三维结构进行模拟。在一些实施方式中，所述增强现实系统可提供用于显示各层次不同程度的增强视图的交互式界面，用户可通过该交互式界面提供用户输入。例如，所述增强现实系统可根据经所述交互式界面提供的用户输入，使各对象选择性地显现或消失。
任务设置模块203可经线路c2从增强现实模块202接收所述模拟三维结构以及用户输入。随后，任务设置模块203可根据用户输入以及所述模拟三维结构自动设置用于执行任务的一条或多条路径。任务设置模块203还可利用无人机子系统200所执行的类似任务的相关历史数据自动设置用于执行任务的所述一条或多条路径。在一些实施方式中，任务设置模块203可通过利用所述模拟三维结构、无人机子系统200已执行过或设置过的类似任务的历史数据以及无人机子系统200中各无人机的工作效率，对所述待执行任务的若干路径进行学习而设置所述路径。例如，可根据各种可能路径及各无人机的可用性，为当前任务设置一条或多条执行路径。
级联训练模块204可经线路c3从任务设置模块203接收所设置的一条或多条任务执行路径。随后，级联训练模块204可针对所设置的任务执行路径，对无人机进行训练。在一些实施方式中，级联训练模块204可针对所设置的任务执行路径，对所述主无人机进行训练。需要注意的是，所述训练可包括但不限于与所设置的路径相关的控制指令、操纵性及操作等。在一些实施方式中，所述训练可通过强化学习实现，该强化学习基于与基本类似的任务相关的历史数据，并且基于与当前任务相关的当前数据。换句话说，可基于无人机子系统200从过往类似任务的执行情况以及从与当前任务的执行相关的情境信息中学到的内容，实现所述训练。
无人机管理模块205可经线路c4从级联训练模块204接收训练完成信息。随后，无人机管理模块205可根据所述训练(即学习)，实现对所述任务的执行。可以理解的是，无人机管理模块205可指示各无人机根据所述训练执行所述任务。在一些实施方式中，无人机管理模块205可指示所述主无人机根据所述训练执行所述任务。之后，该主无人机可控制所述卫星无人机执行所述任务。此外，无人机管理模块205可经线路c5从用户交互模块206接收用户输入。如此，无人机管理模块205可实现根据用户输入对各无人机进行动态控制。
此外，一旦训练后的无人机(如主无人机和卫星无人机)开始执行所述任务后，无人机管理模块205可对与正在执行的任务相关的情境信息和执行状况信息(如图像情境)进行存储。可以理解的是，所述任务可包括按顺序执行的若干步骤或子任务。换句话说，所述各步骤或子任务可以为一系列为了完成所述任务而需要执行的操作。因此，无人机管理模块205可利用所述任务中已执行步骤内存储的情境信息和执行状况信息(即已执行子任务的图像情境)，动态指示相应无人机(如特定卫星无人机)采取行动，以执行所述任务的后续步骤(即执行后续子任务)。在一些实施方式中，无人机管理模块205可利用在已完成步骤中存储的无人机的情境信息和执行状况信息，并根据可进入性、接近度、电池电量及无人机可用性的加权和，动态指示相应无人机采取行动。此外，无人机管理模块205可将与当前任务相关的已存储情境信息和执行状况信息经线路c6提供给任务设置模块203，以供后续训练。
用户交互模块206可在所述任务执行过程中，通过情景对话的方式促进用户与无人机子系统200之间的交互。其中，用户可通过情景对话，经接口int2直接向各无人机提供指令。如上所述，接收自用户的指令随后可经线路c5提供至无人机管理模块205。
可以理解的是，接口int1可利用通信协议，并经标准的有线或无线数据连接装置，将图像从所述图像捕获无人机传输至图像捕获模块201。例如，接口int1可采用一个或多个连接协议，这些连接协议包括但不限于ieee-1394、近场通信(nfc)、firewire、camera
需要注意的是，无人机子系统200的上述部件当中的至少一部分可在可编程门阵列、可编程阵列逻辑、可编程逻辑设备等的可编程硬件设备中实施。或者，无人机子系统200的此类部件可在由各类型处理器执行的软件内实施。已认定的可执行代码引擎例如可包括计算机指令的一个或多个物理块或逻辑块，这些物理块或逻辑块例如组织为对象、程序、功能、模块或其他构建体。然而，在物理形式上，所认定的引擎的可执行代码无需位于一处，而是可包括存于不同位置处的不同指令，当这些指令在逻辑上相互结合时，可包括所述引擎并实现该引擎的标称目的。实际上，可执行代码引擎可以为单个指令或多个指令，而且甚至可分布于不同应用程序的多个不同代码段上以及可分布于多个存储器装置之上。
举例而言，在执行特定任务之前，可以进行预演。可以理解的是，图像捕获模块201在所述预演过程中获得的特点或特征可随待执行任务的不同而不同。例如，当无人机子系统200用于执行喷涂任务时，可通过捕获待涂敷表面的特写图像而了解当前涂料的变化情况。此外，还可确定待涂敷至特定部分的颜色。如果待涂敷至所述表面的颜色与当前颜色不同时，可进行标准校正。其中，可使用加速计或陀螺仪进行坐标定位。然而，如果待涂敷的颜色与当前颜色相同，则不同坐标(x，y，z)处的喷涂量可能有所变化，此时需要确定相应的喷涂量。此外，还可确定喷涂速度、喷嘴容积及离所述表面的距离。在一些实施方式中，可采用深度学习技术建立旧墙面颜色与新墙面颜色之间的映射关系。类似地，当无人机子系统200用于机械检查时，图像捕获模块201在所述预演过程中获得的特点或特征可与上述不同。无人机子系统200可采用特殊的控制软件，并对来自加速计、气压计、陀螺仪及gps等的传感器的数据加以使用。这些数据可用于后续的任务规划和执行。
在此之后，增强现实模块202可利用所捕获的图像，对所述三维结构进行模拟。可以理解的是，增强现实(ar)可用于识别出和了解所述三维结构的各种特点和特征，如颜色(当前)是否均匀、颜色是否受到风雨侵蚀等。举例而言，用户可在利用增强现实进行查看的过程中，改变所述三维结构的不同部分的颜色强度，以了解特定部分在颜色强度改变后于不同照明条件下(如夜间、阴天、渐暗、渐亮、月光、不同夜间光)的视觉效果。由此可见，这种交互式查看方式可帮助用户从多种涂料照明组合中做出选择。可以理解的是，还可通过卷积神经网络(cnn)对颜色变化、非均匀性分布等进行预测。在一些实施方式中，用户可划定特定部分(如通过在其上添加圆圈)，并通过提及该部分(如“在该部分上增加涂料”)而实现“对话”。
增强现实模块202还可根据用户抉择，选择性地使各对象显现或消失，从而提供各层次不同程度的增强视图。例如，当从外部聚焦于建筑物时，可令起居室比该建筑物显现地更为突出。此外，当用户选择橱柜时，可令敞开的橱柜突出显现于封闭橱柜之上，而且该封闭橱柜又比所述建筑物显现地更为突出。如此，可为不同对象设置不同增强程度，并将其呈现于同一视图中。在一些实施方式中，可将接受类似处理的各对象或部分呈现于同一视图中。例如，对于底漆喷涂任务，可将橱柜柜壁的内外两侧与所述建筑物的外墙同时显示。这种呈现方式有助于无人机子系统200在相同时间段内对其进行处理。此外，此类相互关联的视图可保存为同一图像视图，并由系统或用户通过设置名称或代码的方式对其进行标记。可以理解的是，在检查后，可以对类似任务进行核验。此外，在一些实施方式中，可对各无人机的实况视频进行增强。随后，可在某一时间点，根据各无人机的可进入性、进入待检查区域的难易程度、待检查区域的重要性、完成检查所需的无人机架数等的多项因素做出关于是否需要进行检查的决定。需要注意的是，可在图像中存在层次的区域上设置超级链接(类似于文本超级链接)，并以不同颜色或以附加边框的方式对其进行显示。通过对所述三维结构的不同视图进行的此类渲染，有助于无人机子系统200及用户在任务规划和执行过程中，更好地理解及了解该三维结构。
在此之后，任务设置模块203可根据与上述模拟三维结构相关的用户输入、与以往执行的类似任务相关的历史数据以及各无人机的工作效率，设置一条或多条任务执行路径。此外，级联训练模块204可训练所述一架或多架无人机针对所设置的路径，进行操纵性学习。如上所述，在一些实施方式中，所述一架或多架无人机可包括主无人机和若干卫星无人机。因此，级联训练模块204可训练所述主无人机针对所设置的路径，进行操纵性学习。如上所述，所述训练可包括无人机子系统200已执行的类似任务的历史数据。
随后，无人机管理模块205可根据所述训练，并通过所述主无人机，实现对所述任务的执行。具体而言，无人机管理模块205可指示所述主无人机根据所述训练执行所述任务。该主无人机还可根据自身所接受的训练，对卫星无人机进行训练，并向其分配任务。例如，当有可能需要在造成遮挡的障碍物后方进行喷涂时，所述主无人机可指示卫星无人机移动至该障碍物后方获取图像。此外，如果上述障碍物的后方还存在其他障碍物时，所述主无人机可指示卫星无人机通过悬停于该其他障碍物的后方而实施检查。如果所述其他障碍物太小，或者如果无法进行检查，则所述主无人机还可指示卫星无人机停止检查，或调遣更次一级的卫星无人机。由此可见，所述主无人机可根据任务要求或卫星无人机要求，训练卫星无人机以完成任务。
此外，无人机管理模块205可实施经验存储及回溯机制。其中，与任务或子任务关联的以往经验可与图像情境一起保存。例如，无人机管理模块205可保存如下信息：上次，在对角落进行喷涂时，无人机花费了更长的时间才能实现所需的颜色。相应地，无人机管理模块205可在执行此类子任务时，确保无人机具有更高的电池电量。类似地，如果之前执行任务时产生了较厚的涂料凸块，则无人机管理模块205可在当前待执行的任务中，确保采用更小的喷嘴直径或更短的喷涂时间。可以理解的是，所述经验存储及回溯机制也可被导入从其他地点(如其他建筑物、其他机械设备等)获得的经验。
此外，在一些实施方式中，用户可通过用户交互模块206，以对话形式向各无人机传达指令。举例而言，用户可指示各无人机在检查过程中：获取特定部分的更多细节，以检查是否存在裂纹；从特定角度拍摄图像；对特定部分进行聚焦特写等等。用户交互模块206可通过用户指令的自然语言处理、视频快照(具有场景及文本、语音或动作)以及当前任务的已完成步骤中保存的图像情境，来了解用户的要求。随后，用户交互模块206可根据可进入性(如小巧性、尺寸等)、接近度(如与目标区域的接近程度)、电池电量(如作用距离)及可用性(如无人机处于自由状态，还是处于某物内部)的加权和，向合适的卫星机传达所需采取的行动。
在用于执行喷涂任务的一种例示实施方式中，所述无人机(如主无人机)可预先加载所述三维结构(如建筑物)的三维数据以及预设的喷涂细节。需要注意的是，所述三维数据可以为无人机子系统200预先构建的数据。此外，所述无人机可载有或供有与用户从所述基站选择的预设的喷涂设计相应的不同颜色的涂料。所述无人机可以以无人驾驶的方式在所述三维结构的内部或周围飞行，并使得或控制喷涂单元根据预先加载的喷涂设计，以更高的精度进行喷涂。其后，所述无人机可根据所述结构的三维动态细节自动进行不同颜色的喷涂、涂料喷射速度的控制等。喷涂任务完成后，或电池电量耗尽后，或涂料耗尽后，所述无人机可返回基站。可以理解的是，所述无人机可根据预先加载的所述结构的三维数据灵巧地避开障碍物。此外，所述无人机可智能化地避开任何其所遇到的意外障碍物。此外，在一些实施方式中，所述无人机可通过输料(输电线路)与涂料罐(动力电池)连接，从而无需更换电池或涂料罐。需要注意的是，这种连接式输料和/或输电方式还可使无人机免于因电池电量下降而返回基站，从而节省电池和时间。
在一些实施方式中，所述无人机可与若干尺寸更小的次级无人机(如卫星机)相结合。这些次级无人机可使得无人机子系统200能够有效地处理所述三维结构的微小动态细节。如上所述，在一些实施方式中，所述次级无人机可由所述主无人机控制。例如，所述主无人机可根据实时要求和判断，出动所述次级无人机。在一些实施方式中，所述次级无人机或卫星机可通过输料和/或输电线路与所述主无人机连接，以获得电力和/或涂料的供应。需要注意的是，并非所有次级无人机均可与所述主无人机连接。也就是说，部分次级无人机可不通过输料和/或输电线路与所述主无人机物理连接，并可独立捕获或检查所述三维结构的极其微小的动态细节。此外，需要注意的是，所述次级无人机可同时工作，或彼此独立地工作、或相互协作，或以其他此类方式工作，以确保任务执行的高效性。
本领域技术人员可理解的是，多种方法可用于执行与三维结构相关的任务。例如，例示系统100及相应的无人机子系统200可通过本文所述方法执行与三维结构相关的任务。具体而言，本领域技术人员可理解的是，用于实施本文所述技术和步骤的控制逻辑和/或自动化程序可由系统100及相应无人机子系统200通过硬件、软件或软硬件的组合实现。例如，系统100或无人机子系统200内的一个或多个处理器可对合适的代码进行访问和执行，以实现本文所述的部分或所有技术。类似地，系统100或无人机子系统200内的所述一个或多个处理器内也可包含有用于实施本文所述的部分或所有方法的专用集成电路(asic)。
举例而言，现在参考图3，该图以流程图的形式示出了根据本发明一些实施方式通过系统100等的系统执行与三维结构相关的任务的例示控制逻辑300。如该流程图所示，控制逻辑300可包括在步骤301中接收所述三维结构的模拟三维视图。该模拟三维视图包括各层次不同程度的增强视图。控制逻辑300还可包括：在步骤302中，根据所述各层次的增强视图、与基本类似的任务相关的历史数据以及所述至少一架无人机的能力，设置一条或多条任务执行路径；在步骤303中，根据与基本类似的任务相关的历史数据，针对所述一条或多条路径及所述任务，进操纵性和操作学习；以及在步骤304中，由至少一架无人机根据所述学习实现对所述任务的执行。需要注意的是，在一些实施方式中，所述至少一架无人机可包括主无人机以及至少一架子无人机。此外，需要注意的是，“子无人机”、“次级无人机”及“卫星无人机”三词在本文中可互换使用。
在一些实施方式中，控制逻辑300还可包括如下步骤：接收所述三维结构在多个视角下的多幅图像；以及根据使用增强现实的所述多幅图像，对所述三维结构进行模拟，以生成所述各层次不同程度的增强视图。此外，在一些实施方式中，控制逻辑300可包括如下步骤：从所述多个角度，捕获所述三维结构的所述多幅图像。此外，在一些实施方式中，控制逻辑300可包括如下步骤：通过交互式界面，将所述各层次不同程度的增强视图显示给用户。需要注意的是，该显示可包括：根据用户输入，选择性地使得一个或多个对象显现或消失。此外，在一些实施方式中，控制逻辑300可包括如下步骤：在所述任务的执行过程中，使得所述无人机子系统与用户可通过情景对话的方式进行交互。
在一些实施方式中，所述任务可包括所述三维结构的检查和维护当中的至少一者。需要注意的是，所述维护可包括对所述三维结构的至少一个部分或部件进行喷涂、清洁、修理以及更换当中的至少一者。此外，在一些实施方式中，所述历史数据可包括源自以往对所述基本类似的任务的规划和执行当中至少一者的所设路径、操纵性命令、操作命令及情境信息当中的至少一者。此外，在一些实施方式中，所述至少一架无人机的能力可包括该至少一架无人机的可用电池电量，该至少一架无人机的可用性，该至少一架无人机对目标区域的可进入性，或者该至少一架无人机与所述目标区域的接近度。
在一些实施方式中，在步骤302中对所述一条或多条路径的设置可包括如下步骤：根据所述各层次的增强视图、与已执行或已设置的基本类似的任务相关的历史数据以及所述至少一架无人机的能力，对所述待执行任务的多条路径进行学习。此外，在一些实施方式中，步骤303中的操纵性和操作学习可包括如下步骤：通过基于与基本类似的任务相关的历史数据的强化学习，对与所述一条或多条路径相关的控制指令、操纵或操作当中的至少一个进行学习。此外，在一些实施方式中，步骤304中实现对所述任务的执行可包括如下步骤：根据与所述一条或多条路径相关的控制指令、动作及操作当中的至少一者，指示所述至少一架无人机执行所述任务；以及对与该至少一架无人机所执行的任务相关的情境信息和执行状况信息进行存储。
需要注意的是，在一些实施方式中，对所述至少一架无人机进行的指示可进一步基于所述至少一架无人机的能力。此外，需要注意的是，在一些实施方式中，可基于所述至少一架无人机的作用距离、该至少一架无人机的可用性、该至少一架无人机对目标区域的可进入性以及该至少一架无人机与所述目标区域的接近度当中的至少一者的加权和，推导出该至少一架无人机的能力。在一些实施方式中，控制逻辑300还可包括如下步骤：根据所存储的情境信息和执行状况信息，对学习进行动态更新；以及将更新后的学习动态应用于对所述任务的执行中。
现在参考图4，该图以流程图的形式更加详细地示出了根据本发明一些实施方式执行与三维结构相关的任务的例示控制逻辑400。如该流程图所示，在步骤401中，控制逻辑400可通过至少一架无人机从不同角度捕获所述三维结构的多幅图像。该至少一架无人机可包括主无人机和至少一架卫星机。在步骤402中，控制逻辑400在带交互式界面的增强现实系统内，根据用户输入对所述三维结构进行模拟，以显示各层次不同程度的增强视图。所述增强现实系统可根据用户抉择，选择性地使对象显现或消失。在步骤403中，控制逻辑400可根据与所模拟的三维结构相关的用户输入，自动设置一条或多条任务执行路径。控制逻辑400可根据已执行或已设置的类似任务的历史数据以及各无人机的工作效率，对待执行的所述任务的若干可能路径进行学习。随后，控制逻辑400可根据所述各可能路径及各无人机的可用性，设置所述一条或多条路径。
在步骤404中，控制逻辑400可训练所述主无人机对所设置的任务执行路径进行学习。该训练可包括通过基于所述无人机已学到的内容及情境信息的强化学习，获得与所述路径相关的控制指令、操纵性等。需要注意的是，所述训练可采用所述无人机子系统所执行的类似任务的历史数据。在步骤405中，控制逻辑400可根据上述训练，执行所述任务，并对与所述主无人机和各卫星无人机所执行的所述任务相关的多项情境信息和执行状况信息进行存储。可以理解的是，在以往任务或当前任务的已完成步骤中(即在当前任务的已完成子任务的执行过程中)保存的图像情境可用于根据可进入性、接近度、电池电量及无人机可用性的加权和，指示合适的卫星机采取用于执行当前任务或当前任务的后续步骤(即执行当前任务的后续子任务)的行动。在步骤406中，控制逻辑400可在所述任务的执行过程中，通过情景对话的方式，促进用户与所述无人机子系统之间的交互。也就是说，用户可通过对话向无人机传达指令。
还应理解的是，上述技术可采用如下形式：计算机或控制器实施的方法；以及用于实施这些方法的装置。本发明还可以以含有指令的计算机程序代码的形式实施，所述指令包含于软盘、cd-rom、硬盘驱动器或其他任何计算机可读存储介质等的有形介质中，其中，当所述计算机程序代码载入计算机或控制器内并由该计算机或控制器执行时，该计算机即成为一种用于实施本发明的装置。本发明还可以以计算机程序代码或信号的形式实施，所述计算机程序代码或信号例如存储于存储介质中，或者载入计算机或控制器内并由该计算机或控制器执行，或者经电线或电缆、光纤或电磁辐射等的传输介质传输，其中，当所述计算机程序代码载入计算机内并由该计算机执行时，该计算机即成为一种用于实施本发明的装置。当在通用微处理器中实施时，所述计算机程序代码的代码段对所述微处理器进行配置，以创建出特定的逻辑电路。
以上公开的方法和系统可在个人计算机(pc)或服务器计算机等的常规或通用计算机系统内实施。现在参考图5，该图为用于实施本发明实施方式的例示计算机系统501的框图。计算机系统501的各种变形可用于实现执行与三维结构相关的任务的系统100。计算机系统501可包括中央处理单元(“cpu”或“处理器”)。处理器502可包括至少一个用于执行程序组件的数据处理器，所述程序组件用于执行用户或系统生成的请求。用户可包括个人、使用设备(例如，本发明范围内的设备)的个人或此类设备本身。所述处理器可包括集成系统(总线)控制器、内存管理控制单元、浮点单元、图形处理单元、数字信号处理单元等的专用处理单元。所述处理器可包括微处理器，例如amd速龙(athlon)、毒龙(duron)或皓龙(opteron)，arm应用处理器，嵌入式或安全处理器，ibmpowerpc，intelcore、安腾(itanium)、至强(xeon)、赛扬(celeron)或其他系列处理器等。处理器502可通过主机、分布式处理器、多核、并行、网格或其他架构实现。一些实施方式可使用专用集成电路(asic)、数字信号处理器(dsp)、现场可编程门阵列(fpga)等的嵌入式技术。
处理器502可设置为通过输入/输出(i/o)接口503与一个或多个i/o设备进行通信。i/o接口503可采用通信协议/方法，例如但不限于，音频、模拟、数字、单声道、rca、立体声、ieee-1394、近场通信(nfc)、firewire、camera
通过使用i/o接口503，计算机系统501可与一个或多个i/o设备进行通信。举例而言，输入设备504可以为天线、键盘、鼠标、操纵杆、(红外)遥控、摄像头、读卡器、传真机、加密狗、生物计量阅读器、麦克风、触摸屏、触摸板、轨迹球、传感器(如加速度计、光传感器、gps、高度计、陀螺仪、接近传感器等)、触控笔、扫描仪、存储设备、收发器、视频设备/视频源、头戴式显示器等。输出设备505可以为打印机、传真机、视频显示器(例如阴极射线管(crt)、液晶显示器(lcd)、发光二极管(led)、等离子等)、音频扬声器等。在一些实施方式中，收发器506可与处理器502连接。所述收发器可促进各类无线传输或接收。例如，该收发器可包括以可操作方式连接至收发器芯片(如德州仪器(texasinstruments)wilinkwl1283、博通(broadcom)bcm4750iub8、英飞凌科技(infineontechnologies)x-gold618-pmb9800等)以实现ieee802.11a/b/g/n、蓝牙、fm、全球定位系统(gps)、2g/3ghsdpa/hsupa通信等的天线。
在一些实施方式中，处理器502可设置为通过网络接口507与通信网络508通信。网络接口507可与通信网络508通信。所述网络接口可采用连接协议，该连接协议包括但不限于直接连接、以太网(例如双绞线10/100/1000baset)、传输控制协议/网际协议(tcp/ip)、令牌环、ieee802.11a/b/g/n/x等。通信网络508可包括，但不限于，直接互连、局域网(lan)、广域网(wan)、无线网络(例如使用无线应用协议)、因特网等。通过网络接口507和通信网络508，计算机系统501可与设备509、510和511通信。这些设备可包括，但不限于，个人计算机，服务器，传真机，打印机，扫描仪，以及各种移动设备，例如蜂窝电话、智能电话(例如苹果(apple)iphone、黑莓(blackberry)、基于安卓(android)系统的电话等)、平板电脑、电子书阅读器(亚马逊(amazon)kindle，nook等)、膝上型计算机、笔记本电脑、游戏机(微软(microsoft)xbox、任天堂(nintendo)ds，索尼(sony)playstation等)等。在一些实施方式中，计算机系统501可本身包含一个或多个上述设备。
在一些实施方式中，处理器502可设置为通过存储接口512与一个或多个存储设备(例如ram513、rom514等)进行通信。所述存储接口可采用串行高级技术连接(sata)、集成驱动电子设备(ide)、ieee-1394、通用串行总线(usb)、光纤通道、小型计算机系统接口(scsi)、std总线、rs-232、rs-422、rs-485、i2c、spi、microwire、1-wire、ieee1284、
所述存储器515可存储一系列程序或数据库组件，包括但不限于，操作系统516、用户界面应用程序517、网页浏览器518、邮件服务器519、邮件客户端520、用户/应用程序数据521(如本发明中所述的任何数据变量或数据记录)等。操作系统516可促进计算机系统501的资源管理和运行。操作系统例如包括，但不限于，苹果macintoshosx、unix、unix类系统套件(例如伯克利软件套件(bsd)、freebsd、netbsd、openbsd等)、linux套件(如redhat、ubuntu、kubuntu等)、ibmos/2、微软windows(xp，vista/7/8等)、苹果ios、谷歌(google)安卓、黑莓操作系统等。用户界面517可利用文本或图形工具促进程序组件的显示、执行、互动、操控或操作。例如，用户界面可在以可操作方式连接至计算机系统501的显示系统上提供光标、图标、复选框、菜单、滚动条、窗口、窗口部件等计算机交互界面元件。此外，还可采用图形用户界面(gui)，包括但不限于，苹果macintosh操作系统的aqua、ibmos/2、微软windows(例如aero、metro等)、unixx-windows、网页界面库(例如activex、java、javascript、ajax、html、adobeflash等)等。
在一些实施方式中，计算机系统501可执行网页浏览器518存储的程序组件。所述网页浏览器可以为微软internetexplorer、谷歌chrome、谋智(mozilla)火狐(firefox)、苹果safari等的超文本浏览应用程序。其中，可通过https(安全超文本传输协议)、安全套接字层(ssl)、安全传输层(tls)等实现安全网页浏览。网页浏览器可使用ajax、dhtml、adobeflash、javascript、java、应用程序编程接口(api)等工具。在一些实施方式中，计算机系统501可执行邮件服务器519存储的程序组件。该邮件服务器可以为微软exchange等因特网邮件服务器。所述邮件服务器可使用asp、activex、ansic++/c#、微软.net、cgi脚本、java、javascript、perl、php、python、webobjects等工具。所述邮件服务器还可使用因特网信息访问协议(imap)，邮件应用程序编程接口(mapi)，微软exchange，邮局协议(pop)，简单邮件传输协议(smtp)等通信协议。在一些实施方式中，计算机系统501可执行邮件客户端520存储的程序组件。所述邮件客户端可为苹果mail、微软entourage、微软outlook、谋智thunderbird等邮件查看程序。
在一些实施方式中，计算机系统501可存储用户/应用程序数据521，如本发明中所述数据、变量、记录等(如所捕获的三维结构图像、所模拟的三维结构的三维视图、设置或学习而获得的一条或多条路径、操纵性命令、操作命令、情境信息、执行状况信息、与以往任务相关的历史数据、每架无人机的信息、情景对话等)。此类数据库可实施为甲骨文(oracle)或赛贝斯(sybase)等容错、关系、可扩展、安全数据库。或者，上述数据库可通过数组、散列、链表、结构、结构化文本文件(例如xml)、表格等标准化数据结构实现，或者实施为面向对象的数据库(例如通过objectstore、poet、zope等)。此类数据库可以为合并或分布数据库，有时分布于本发明所讨论的上述各种计算机系统之间。可以理解的是，上述任何计算机或数据库组件的结构及操作可以以任何可行的组合形式进行组合、合并或分布。
本领域技术人员可理解的是，以上各种实施方式中描述的技术可实现智能化的无人机子系统，该子系统可对复杂的三维结构(如建筑物，机械等)进行了解，并针对此类三维结构，以更高的精度进行各种任务的规划和执行。所述任务可包括但不限于各部分的检查、维护、操作、修理及更换。具体而言，上述技术可利用深度学习和图像处理技术对包括部件喷涂、机械维护等在内的各种任务进行控制和执行。此外，上述技术还可针对待执行的各种任务，实现无人机的自动规划和训练。其中，所述基站可对主无人机进行训练和控制，而该主无人机又进而可对其卫星机进行训练和控制。卫星机从主无人机学习操纵性，并在主无人机的控制下可进入偏远角落，无需用户干预。
此外，以上各种实施方式中描述的技术还可实现基于以往所执行任务的情境学习。因此，该技术可将以往的偏好或谬误考虑在内。此外，该技术还允许与用户进行实施对话，从而实现用户反馈的即时执行。此外，通过在所述交互式界面上的运用有增强现实的所述三维结构(带各层次的增强视图)，可针对待采取的相同行动，为用户提供单一视图。
本说明书已描述了执行与三维结构相关的任务的系统和方法。所述步骤用于说明所示例示实施方式，并且应当预想到的是，随着技术的不断发展，特定功能的执行方式也将发生改变。本文所呈现的上述实施例用于说明而非限制目的。此外，为了描述的方便性，本文各组成功能段落的划界较为随意，只要能够恰当地实现上述各功能及其关系，所述各功能段落可以其他方式划界。根据本申请内容，对于相关领域技术人员而言，替代方案(包括本申请所述方案的等同方案、扩展方案、变形方案、偏差方案等)是显而易见的。这些替代方案均属于所公开实施方式的范围和精神内。
此外，一个或多个计算机可读存储介质可用于实施本发明的实施方式。计算机可读存储介质是指可对处理器可读取的信息或数据进行存储的任何类型的物理存储器。因此，计算机可读存储介质可对由一个或多个处理器执行的指令进行存储，包括用于使处理器执行根据本申请实施方式的步骤或阶段的指令。“计算机可读介质”一词应理解为包括有形物件且不包括载波及瞬态信号，即为非暂时性介质，例如包括随机存取存储器(ram)、只读存储器(rom)、易失性存储器、非易失性存储器、硬盘驱动器、cd-rom、dvd、闪存驱动器、磁盘以及其他任何已知物理存储介质。
以上公开内容及各实施例旨在仅视为示例性内容及实施例，所公开实施方式的真正范围和精神如权利要求所示。
- 还没有人留言评论。精彩留言会获得点赞！