1.本发明涉及灭火系统技术领域，尤其涉及一种可扩展的异构多无人机协同灭火系统。
背景技术：
2.为了确保自主飞行无人机适应环境或配置变化，自主飞行无人机的飞行控制系统必须具备高度复杂的性能，例如重构控制算法的能力；对新技术的即插即用扩展性；不同组件(运行在不同处理器上的不同组件)之间的相互操作性；以及开放的软件结构，能够由用户扩展以提供新的或扩展的功能。这些性能将确保系统的开放性和自适应性，即系统能够灵活集成任何其他工具开发的资源，能够动态重构以快速适应情况的变化。这些要求是对自主飞行无人机的飞行控制系统设计人员极大的挑战，目前所开发的诸多飞行控制系统存在很大的局限性，它的封闭/专用性使得数据交换复杂、不灵活，限制了硬件的改动和软件的重配。对此，国内外许多机构进行了大量的仿真和试验，无人自主飞行控制中所需要的单项技术和算法(如视觉感知、轨迹规划、导航和智能控制)的研究已经较为成熟。
3.当前无人自主飞行控制系统虽然具备了一定服务功能，但仍存在下列几个主要问题：系统组成部件众多，各部件之间广泛存在着各种差异，包括不同的硬件设备、操作系统、编程语言、通信协议等，对这些部件如何协调工作需要做大量的工作；设备之间紧密耦合，添加或更换一个设备意味着对当前现存许多设备的调整，这些调整既包括硬件方面的调整，也包括对软件的调整，对原有软件进行功能扩充、代码修改等，因此也涉及到对已有软件的大量重复测试工作，降低了开发效率和系统稳定性；各个设备之间连接关系复杂，现在存在以太网连接、1553总线连接以及串口连接，不同的连接关系存在不同的访问方式、寻址方式，复杂的连接关系导致了复杂的数据控制流程，增大了软件开发的难度和测试工作量，延长了开发周期。对此，目前最大的困难是缺少一种通用的软件平台，实现各子系统的集成和实时分布式通信。
4.c0rba(common object request broker architecture，公共对象请求代理体系结构)是由omg(object management group，对象管理组织)组织制定的一种标准的面向对象应用程序体系规范，正是提供了支持形成这样的通用软件平台的统一接口，提供了一种软总线。corba体系结构是omg为解决分布式处理环境(dce)中硬件和软件系统的互连问题而提出的一种解决方案。硬件模块可以看成是对象，使用corba可以解决接口统一问题。
5.例如，现有技术中公开号为cn102081545a的专利文献提出了一种在嵌入式平台上实现软件通信架构(sca)的方法，以corba中间件作为软件总线，以xml文件作为信息中间件，在powerpc和dsp嵌入式平台上构建一个框架软件；使用组件引擎(ce)辅助sca开发的工具，对系统进行软件建模和硬件建模；使用corba编译器编译核心框架的idl代码，生成接口的桩文件和框架文件，实现框架接口的伺服类；使用ce软件为系统的应用模型和平台模型生成xml域描述文件；对ce的代码生成器进行改进扩展，编写设备和构建程序框架的代码模板，实现构件程序及设备程序，在不同节点上运行应用构件程序及设备程序，测试波形功能
的正确性。
6.基于无人自主飞行系统的技术需求，本技术的目的在于以corba体系结构作为技术支撑建立实现各子系统的集成和实时分布式通信的无人自主飞行系统。
7.此外，一方面由于对本领域技术人员的理解存在差异；另一方面由于申请人做出本发明时研究了大量文献和专利，但篇幅所限并未详细罗列所有的细节与内容，然而这绝非本发明不具备这些现有技术的特征，相反本发明已经具备现有技术的所有特征，而且申请人保留在背景技术中增加相关现有技术之权利。
技术实现要素：
8.针对现有技术之不足，本发明提供了一种可扩展的异构多无人机协同灭火系统。所述系统根据接口描述类生成idl接口描述规范文件集，并通过corba规范对idl接口描述规范文件集进行解析，生成针对若干个部件中不同的操作系统、编程语言的用于服务端的框架以及用于客户端的桩。第一部件调用由第二部件提供的接口并通过接口对第二部件进行控制。其中，所述部件至少包括巡航无人机、灭火无人机和控制台。例如，第一部件可以为巡航无人机，第二部件可以为灭火无人机。
9.本技术提出的协同灭火系统采用了可扩展的开放架构，通过与平台无关的idl接口描述文件在任务层面对所需接口进行描述、利用corba规范对接口描述文件解析，可实现无人机协作完成野火监测、定位以及精准灭火，未来可将协同灭火系统应用到多种无法由单一无人系统完成的多无人机协同场景。针对多无人机联合森林大火自动监测、定位、灭火这一任务场景，本技术在任务层面通过idl语言设计了该任务场景下所需的可扩展、继承、模块化的通用接口描述，并采用corba规范对其解析，生成对应各种无人系统平台的桩与框架文件，实现了面对森林野火监测、定位、灭火的满足与无人系统平台无关、快速技术插入、可扩展的框架。该架构允许未来性能更强、算力更高、灭火效率更好、火情识别更准确的无人设备的快速加入。
10.根据一种优选实施方式，所述部件包括至少一个无人机，无人机被配置为基于uwb技术实现飞行定位及导航，无人机根据下式计算其在水平二维坐标系上的速度分量(v
x
，vy)：
[0011]vx
＝v*cos(tan-1
((y
1-y0)/(x
1-x0))-(θ'+θ
x
))；
[0012]vy
＝-v*sin(tan-1
((y
1-y0)/(x
1-x0))-(θ'+θ
x
))。
[0013]
其中，v为无人机在水平方向上的巡航速度；θ'为无人机imu传感器返回的角度；θ
x
为无人机通电时与坐标系x轴的角度；(x0，y0)为无人机的位置；(x1，y1)为目标点的位置。
[0014]
根据一种优选实施方式，所述无人机被配置为使用事先拍摄的训练集对深度卷积网络进行训练，并利用训练后得到的深度卷积网络对视频流进行识别以判断在指定范围内是否存有火情或其他无人机。
[0015]
根据一种优选实施方式，所述无人机至少包括巡航无人机和灭火无人机，所述巡航无人机在忽略相机的畸变影响的条件下通过对火情进行初步定位，指示灭火无人机在发现火情的初期向火情发生地点移动，同时巡航无人机进行进一步的精确定位。
[0016]
根据一种优选实施方式，所述巡航无人机被配置为在忽略相机的畸变影响的条件下根据下式计算火情的初步定位坐标(xf，yf)：
[0017]
xf＝√((fy*(ry/cy))2+(f
x
*(r
x
/c
x
))2)*sin(tan-1
((fy*(ry/cy))/(f
x
*(r
x
/c
x
)))+θ'
[0018]
+θ
x
)+xu；
[0019]
yf＝-√((fy*(ry/cy))2+(f
x
*(r
x
/c
x
))2)*cos(tan-1
((fy*(ry/cy))/(f
x
*(r
x
/c
x
)))+
[0020]
θ'+θ
x
)+yu。
[0021]
其中，r
x
米为巡航无人机上云台相机在巡航高度拍得的画面的实际长度，ry米为巡航无人机上云台相机在巡航高度拍得的画面的实际宽度；c
x
和cy分别为相机像素的长和宽的像素数；(xu，yu)为无人机的位置；(f
x
，fy)为识别出的火情所占的像素坐标。
[0022]
根据一种优选实施方式，巡航无人机被配置为根据深度卷积神经网络将画面中的火情的中心点标出，根据火情的中心点与画面中心点所形成的差值数据来调整灭火无人机的运动。
[0023]
根据一种优选实施方式，巡航无人机被配置为根据深度卷积神经网络将画面中的火情的中心点标出，根据火情的中心点与画面中心点所形成的差值数据来调整无人机的运动，两者在x轴上形成的差值与在y轴上形成的差值都小于预设像素时确定火情定位成功。
[0024]
根据一种优选实施方式，灭火无人机被配置为根据巡航无人机的识别结果来将灭火弹抛投至火情所在处。
[0025]
根据一种优选实施方式，灭火无人机被配置为根据下式计算其在水平二维坐标系上的速度分量(v
x2
，v
y2
)：
[0026]vx2
＝v
x1
*cos((θc+θc')-(θa+θa'))-v
y1
*sin((θc+θc')-(θa+θa'))；
[0027]vy2
＝v
x1
*sin((θc+θc')-(θa+θa'))+v
y1
*cos((θc+θc')-(θa+θa'))。
[0028]
其中，θc为巡航无人机imu传感器所获得的角度；θa为灭火无人机上imu传感器所获得的角度；θa'为灭火无人机通电时与x轴的夹角；(v
x1
，v
y1
)为在巡航无人机的摄像头所设定的坐标系下的灭火无人机的所在位置；θc'为巡航无人机通电时与x轴的夹角。
[0029]
本技术还提出了一种可扩展的异构多无人机协同灭火系统，至少包括配设有云台相机的无人机和设于操作人员端的控制台。无人机至少包括数据处理模块，其被配置为：将无人机在第一时刻拍摄得到的具有第一分辨率的第一火情图像转变为具有比第一分辨率低的第二分辨率的第二火情图像和/或保持第一分辨率的至少一个第三火情图像，并在第二时刻将第二火情图像、与之对应的标识区域信息以及与至少一个标识区域信息相对应的至少一个第三火情图像中的一个或几个传输至操作人员端。其中，所述标识区域信息能够被操作人员端的控制台所识别而将该信息和/或第三火情图像与第二火情图像在操作人员端进行图像融合及显示。
具体实施方式
[0030]
为便于理解corba，如下对corba中涉及的部分基本概念加以说明：
[0031]
对象：一个对象系统包括多个对象实体。一个对象是一个被封装的实体，能为客户请求提供一个或多个服务。orb(object request broker，对象请求代理)支撑的分布式环境中，一个应用可由许多对象组成，通过对象间的交互来实现应用的功能，对象间的交互通过orb来传递。
[0032]
请求：客户通过构造一个请求来要求得到服务，在corba规范中请求方被称为客户。在请求中要指定提供服务的对象实现、执行的操作、操作上下文及该操作所用到的参
数。
[0033]
对象引用：这是用来指定对象的标识符称为对象引用，一个对象可有多个对象引用，但一个对象引用仅对应于唯一一个对象。
[0034]
对象实现：在corba规范中，服务提供方称为对象实现，它使用界面来描述在它上面可执行的操作。
[0035]
方法：在对象实现中描述的某一操作对应的可执行代码称为方法。使一个方法执行叫做方法激活。
[0036]
激活：在执行一个服务请求时，会引起对象或对象实现中的方法被调用。如果对象或对象实现的初始状态不能满足方法调用要求，便需要通过某种方法使其状态发生改变，以满足方法调用的要求，这个过程叫做激活，相反的过程叫去活。
[0037]
接口：接口就是一组相关函数的集合，接口中每一个函数都给出了详细的说明，包括函数名、参数个数、参数类型、返回类型以及可能抛出的异常。必须指出的是接口只定义了函数的原型，并没有给出具体的实现，这就对函数实现提供了灵活的空间。接口是通过一种中性的接口描述语言来定义的。虽然idl语言只提供了被orb操作的对象的概念框架，但是orb在运行时并不需要idl的源代码。只要桩或运行状态下接口库中的等价信息是可用的，orb就能通过特定的方式完成其功能。
[0038]
桩：桩实际上是一段程序代码，为接口中的每一个操作(方法)提供一种虚实现。桩可以看成是实际对象在客户进程中的映像，其中的接口必须是预先定义好的，因此它为客户提供了一种静态的调用方式。从客户端的角度看，桩仿佛提供了对象的本地实现——客户端调用桩中对象上的操作，并在该作结束后获得想要的结果。桩实际上并不负责对象的实现，它只是端对象在本地的一个“代理”，这个“代理”接受来自本地客户的请求，它编组(marshalling)后，交给orb核心；远端操作返回后，这个“代理”又将返回参数和结果进行解组(unmarshalling)后，以客户可以接受的方式返回给客户，使客户“误以为”操作是由这个本地的“代理”即桩来实现的。桩的实际工作包括接受客户端程序的请求，返回操作结果，以及编组与解组。
[0039]
框架：框架实际上是一段程序代码，提供了一个为指定的接口编写服器实现(即对象实现)代码的框架。从作用上讲，框架就像一个位于服务器端的桩，它并不负责对象的实现。与桩相对应的框架为服务器提供了一种静态的实现方式。idl编译器翻译描述对接口的idl文件，生成对应具体编程语言的idl桩和idl框架。
[0040]
继承：在面向对象编程中，可以通过扩展一个已有的类，并继承该类的属性和行为，来创建一个新的类。
[0041]
超类：被继承的类一般称为“超类”或“父类”，继承的类称为“子类”。当子类继承超类时，不必写出全部的实例变量和方法，只需声明该类继承了的已定义的超类的实例变量和方法即可。超类、子类形象地描述了继承的层次关系。继承节省了定义新类的大量工作，可以方便地重用代码。例如，把汽车作为父类，当创建汽车的子类轿车时，品牌、价格、最高时速等属性会自动地被定义，调用刹车方法时会自动调用在汽车类中定义的刹车方法。但一个子类不必非要使用继承下来的属性和方法，一个子类可以选择覆盖已有的属性和方法，或添加新的属性和方法。
[0042]
corba是由omg提出的应用软件体系结构和对象技术规范，其核心是一套标准的语
言、接口和协议，以支持异构分布式应用程序间的互操作性及独立于平台和编程语言的对象重用。为了调用一个分布式对象的操作，客户机必须了解由这个对象多提供的接口。一个对象的接口是由它所支持操作和能够来回传输给这些操作的数据类型所组成的。客户机也需要调用这些操作的功能和语义的知识。
[0043]
在corba中，对象接口是按omg接口定义语言idl(interface definition language)来实现。idl唯一的目的是允许对象接口以与任何具体的编程语言无关的形式来定义这些接口。这种考虑允许应用程序以不同的编程语言来实现以便于互操作。从本质上来讲，idl用来描述产生对象调用请求的客户对象和服务对象之间的接口的语言。idl文件描述数据类型和方法框架，而服务对象则为一个指定的对象实现提供上述数据和方法。
[0044]
idl接口的一个重要特性是，他们可以继承一个或多个其他接口。这样就允许从现有的接口项中定义新的接口，并且所实现的新的派生接口的对象能够替代那些支持现有的基本接口的对象。
[0045]
idl提供了一种继承的特例：所有接口都隐含地继承了在corba模块中定义的object接口。这个特殊的基接口提供了所有corba对象共有的操作。
[0046]
orb是一个中间件(middleware)，它可以建立对象之间的client/server关系。通过orb，一个client可以透明地引用同一台机器上或网络上的一个server对象。这个server对象可以在本地，也可以在通过网络连接的其他机器上。orb截获这一调用，同时负责查找实现服务的对象并向其传递参数、调用方法返回最终结果。client并不清楚该对象的位置、它的编程语言、它的操作系统以及其它不是对象接口的系统信息。基于此，orb能实现分布环境中位于不同机器上的应用之间的互操作以及多对象系统之间的无缝连接。
[0047]
森林大火因其大规模的破坏力、时间敏感性而闻名。当错过最佳灭火时机时，森林大火会对环境和消防员的生命安全造成难以估量的破坏。对于灾难相关的决策，boyd的ooda环(observe,orient,decide and act，又称博依德循环)扮演着重要的角色，迭代一次ooda环的速度对于灾难搜寻、救援至关重要。随着近年来空中无人机在远程感知能力、快速决策能力、恶劣环境适应能力上的提高，空中无人机在火情的自动监测、定位、灭火等领域逐渐扮演了重要的角色。目前，单一无人机的能力越来越强，需要有一个开放的、可扩展的通用架构可以快速地实现多种异构无人机协同配合完成单一无人机无法完成的复杂任务。
[0048]
对此，针对多无人机联合森林大火自动监测、定位、灭火这一任务场景，本技术在任务层面通过idl语言设计了该任务场景下所需的可扩展、继承、模块化的通用接口描述，并采用corba规范对其解析，生成对应各种无人系统平台的桩与框架文件，实现了面对森林野火监测、定位、灭火的满足与无人系统平台无关、快速技术插入、可扩展的框架。该架构允许未来性能更强、算力更高、灭火效率更好、火情识别更准确的无人设备的快速加入。
[0049]
本技术所提出的系统采用异构多无人机协同灭火框架，该框架主要包含idl接口描述规范文件集、corba orb解析以及异构无人系统硬件。
[0050]
作为一种优选实施方式，idl接口描述规范文件集是可扩展的异构多无人机协同灭火的整体框架。idl接口描述规范文件集描述的典型场景包括：1.无人机向控制台绑定、解绑、重绑。2.控制台向无人机设置任务角色以及任务模式。3.控制台向巡航无人机发送搜索区域坐标、设置巡航速度等。4.控制台对无人机进行运动控制。5.控制台控制无人机飞到指定目标点。6.无人机向监控台汇报自身状态。7.无人机因事件返航时向监控台汇报返航
原因。8.控制台为巡航无人机分配空闲灭火无人机。9.无人机向监控台发送发现火情图像、位置信息、灭火无人机抛投就绪等信息。10.控制台向巡航无人机确认或取消发现火情、火情位置、准备抛投。11.巡航无人机控制灭火无人机运动、抛投。
[0051]
作为一种优选实施方式，通过corba规范对idl接口描述规范文件集进行解析，生成针对若干个部件中不同的操作系统、编程语言的用于服务端的框架以及用于客户端的桩。各部件之间的通信由符合corba规范的实现负责，在开发协同场景时不需要关心网络传输问题。由于该框架是在任务层面对无人系统之间的互操作进行描述，并不会传输大量传感器数据，在前端处理视频流进行识别。从而本技术所提出的系统能够降低网络带宽的负载，适用于室外远距离场景。
[0052]
作为一种优选实施方式，异构无人系统硬件/异构无人机至少被配置为能够外接计算单元，从而控制无人机或无人机专用地面控制站的可外接计算单元。由外界计算单元实现idl接口描述规范文件集中规定的接口。
[0053]
作为一种优选实施方式，以无人机运动控制为例：无人机的计算平台要根据传入参数判断执行何种动作如起飞、降落、解锁、上锁等。针对不同的动作，调用无人机提供的接口。而控制台可以通过接口对无人机进行运动控制。
[0054]
本技术所提出的上述异构多无人机协同灭火框架对无人机的性能、火情搜索路径规划的算法、火情识别与定位算法的效率与准确性都没有要求。对于具有更精准高效的算法、更强性能、更多传感器的无人机，其也可以快速加入到本技术所提出的异构无人机灭火框架中，从而实现框架的可扩展性。
[0055]
无人机的导航在巡航无人机火情搜索、灭火无人机初步飞到火情时起到重要作用。作为一种优选实施方式，本技术中所提出的无人机基于uwb(ultra wide band，超宽带)技术实现飞行定位及导航。假设无人机在地面的二维坐标系为xy，imu(inertial measurement unit，惯性测量单元)传感器提供的yaw(偏航角)值0角度为通电时的起始角度，左转为正。设θ'为无人机imu传感器返回的角度，θ
x
为无人机通电时与坐标系x轴的角度，第一象限为正。无人机位置为(x0，y0)，目标点为(x1，y1)。无人机在水平方向上的巡航速度为v，无人机的速度分量为(v
x
，vy)，其中，v
x
正方向为前，vy正方向为右。无人机目标前进方向与机身方向的夹角为θ，则：
[0056]vx
＝v*cos(tan-1
((y
1-y0)/(x
1-x0))-(θ'+θ
x
))；
[0057]vy
＝-v*sin(tan-1
((y
1-y0)/(x
1-x0))-(θ'+θ
x
))。
[0058]
作为一种优选实施方式，本技术中所提出的无人机使用事先拍摄的训练集对深度卷积网络进行训练，利用训练后得到的深度卷积网络对视频流进行识别以判断在指定范围内是否存有火情或其他无人机。
[0059]
作为一种优选实施方式，本技术中所提出的无人机采用分步骤定位的方式实现对火情的定位。巡航无人机在忽略相机的畸变影响的条件下通过对火情进行初步定位，指示灭火无人机在发现火情的初期向火情发生地点移动，同时巡航无人机进行进一步的精确定位，节约时间。
[0060]
假设巡航无人机的巡航高度为h，云台相机的pitch角(俯仰角)向下旋转90度。假定云台相机在巡航高度拍得的画面的实际长度为r
x
米，宽度为ry米。c
x
和cy分别为相机像素的长和宽的像素数。无人机位置为(xu，yu)。θ'为imu传感器获得的角度。θ
x
为无人机通电时
与x轴夹角。识别出的火情的中心点在图片中心且设为原点，在水平右侧为x轴、垂直向上为y的坐标系中，识别出的火情所占的像素坐标为(f
x
，fy)。以画面左上角为计数零点。在忽略相机的畸变影响的条件下，则可计算得出火情的初步定位为(xf，yf)：
[0061]
xf＝√((fy*(ry/cy))2+(f
x
*(r
x
/c
x
))2)*sin(tan-1
((fy*(ry/cy))/(f
x
*(r
x
/c
x
)))+θ'+θ
x
)+xu；
[0062]
yf＝-√((fy*(ry/cy))2+(f
x
*(r
x
/c
x
))2)*cos(tan-1
((fy*(ry/cy))/(f
x
*(r
x
/c
x
)))+θ'+θ
x
)+yu。
[0063]
针对精确定位，无人机根据深度卷积神经网络将画面中的火情的中心点标出，根据火情的中心点与画面中心点所形成的差值数据来调整无人机的运动。在x轴上形成的差值与在y轴上形成的差值全部小于10像素时，可认为定位成功。同时可假定无人机的位置即为火情位置。
[0064]
当巡航无人机位于火情正上方时，灭火无人机借助于巡航无人机精确定位到火情的正上方。灭火无人机无需安装摄像头，通过巡航无人机的识别可辅助灭火无人机将灭火弹精准抛投至火情所在处。设θc为巡航无人机imu传感器所获得的角度，θc'为巡航无人机通电时与x轴的夹角。θa为灭火无人机上imu传感器所获得的角度。θa'为灭火无人机通电时与x轴的夹角。(v
x1
，v
y1
)为在巡航无人机的摄像头所设定的坐标系下的灭火无人机的所在位置。则灭火无人机在自身坐标系下的速度(v
x2
，v
y2
)为：
[0065]vx2
＝v
x1
*cos((θc+θc')-(θa+θa'))-v
y1
*sin((θc+θc')-(θa+θa'))；
[0066]vy2
＝v
x1
*sin((θc+θc')-(θa+θa'))+v
y1
*cos((θc+θc')-(θa+θa'))。
[0067]
本技术所提出的灭火方法可包括依次按时间先后顺序执行的搜索阶段、定位阶段、辅助阶段以及反馈阶段。
[0068]
在搜索阶段，操作人员通过控制台向巡航无人机发送巡航范围。巡航无人机按照预定的路径进行搜索。操作人员将空闲的灭火无人机信息发送给巡航无人机，等待巡航无人机调度。巡航无人机的搜索路径生成算法是可扩展的。巡航无人机可以是采用例如牛耕犁算法、更新概率密度图等算法进行路径搜索。
[0069]
在搜索阶段，巡航无人机根据事先训练好的神经网络模型判断视频流中是否存在火情。当通过神经网络判断存在火情时，巡航无人机根据获取到的图片中的像素点计算火情的初步位置，并将带有标注、火情信息以及无人机位置信息的火情图像发送给监视器。
[0070]
作为一种优选实施方式，由于神经网络的计算过程始终会存在不可避免的误差，因而人在回路中的设计至关重要。在本技术中，控制台可通过显示界面要求操作人员在指定时长内对无人机回传信息进行判断反馈。操作人员可通过控制台通知巡航无人机巡航区域内是否存在火情。无人机将收到操作人员反馈的照片保存下来用以进一步的训练，以不断地提高识别的准确率。在操作人员反馈确认存在火情或未在指定时长内予以确认的情况下，巡航无人机将初步计算得出的火情位置发送给灭火无人机，指示灭火无人机飞往火情所在的大致区域并等待进一步的协同指令。巡航无人机进入定位阶段。
[0071]
常见的精确定位算法包括无人机根据视频流飞行至火情正上方实现定位、多点定位、红外图像激光图像融合定位等方法。精确定位的算法同样是可扩展、可升级的。为便于后续为灭火无人机提供精准灭火的辅助作用，优选地可采用根据视频流飞行到火情正上方的方式完成定位。在定位成功后，巡航无人机向监视器发送定位成功信息，等待操作人员确
认。在操作人员通过控制台通知巡航无人机定位失败的情况下，巡航无人机重新定位。在操作人员通过控制台通知巡航无人机定位成功或未在指定时长内反馈确认的情况下，巡航无人机将精确火情位置发送给灭火无人机。巡航无人机悬停并进入辅助阶段。
[0072]
在巡航无人机进入辅助阶段的情况下，巡航无人机将利用深度学习框架来识别其他无人机，并利用前述算法通过idl中定义好的控制接口来控制灭火无人机。在巡航无人机的控制下，将灭火无人机调整至巡航无人机的摄像机获取画面内或画面的中央。巡航无人机向监控台发送准备抛投的通知信息，等待操作人员反馈确认。
[0073]
在辅助阶段，在操作人员通过控制台通知巡航无人机确认抛投或未在指定时长内反馈确认的情况下，巡航无人机控制灭火无人机扔下灭火弹。灭火无人机向控制台汇报状态并返回起飞点，自动降落后等待填装灭火弹。巡航无人机进入反馈阶段。
[0074]
在反馈阶段，巡航无人机通过训练好的神经网络来识别火情。在指定时长内持续地未识别到火情的情况下，巡航无人机向控制台发送灭火成功信息，并等待操作人员反馈确认。在操作人员通过控制台通知巡航无人机确认灭火成功的情况下，巡航无人机继续巡航。在操作者通过控制台通知巡航无人机确认灭火失败的情况下，巡航无人机进入定位阶段重新开始。
[0075]
无人机在航拍方面起到了巨大的作用，由于无人机在操控方面的优势，同时由于各类高清摄像头的普及，所以无人机航拍的高清照片和高清视频得到了广泛的应用。高清照片和高清视频的普及对高清图像和高清视频的处理器提出了更高的要求，图像所占的空间越来越大，不仅对处理器和存储器的要求越来越高，并且由于室外环境的网络环境较差，传输高清图片所需的时间较长，对于数据传输的压力也越来越大。作为一种优选实施方式，本技术所提出的无人机可被配置为将高清图片保存在机载电脑本地，并通过网络传回压缩后的图片。
[0076]
由于处理器等部件的计算分析过程始终会存在不可避免的误差，因而人在回路中的设计至关重要，然而对于通过网络传回的压缩后图片，图像分辨率不高，操作人员无法快速地通过传回的图像进行火情判断，即在减轻网络的数据传输压力的同时将不可避免地影响操作人员的判断与分析。若由于图像压缩而使操作人员未能及时发现火情等隐患，易导致操作人员判断失误甚至造成人员和设备损坏等；即使操作人员怀疑存在火情隐患而要求无人机传回分辨率更高的图像，也在时间上延迟了对火情或火情隐患的及时判断。
[0077]
对此，作为一种优选实施方式，本技术所提出的无人机至少包括数据处理模块，其被配置为将无人机在第一时刻拍摄得到的具有第一分辨率的第一火情图像转变为具有比第一分辨率低的第二分辨率的第二火情图像和/或保持第一分辨率的至少一个第三火情图像，并在第二时刻将第二火情图像、与之对应的标识区域信息以及与至少一个标识区域信息相对应的至少一个第三火情图像中的一个或几个传输至操作人员端。所述标识区域信息能够被操作人员端的控制台所识别而将该信息和/或第三火情图像与第二火情图像在操作人员端进行图像融合及显示。作为一种优选实施方式，此处无人机可以主要是指具有云台相机的巡航无人机。本发明中的模块是指能够执行其相关步骤的硬件、软件或者结合的数据处理器，数据处理模块可以是对若干个模块的总称，即数据处理模块所对应的执行步骤也可以是由彼此间能够进行信息交互的若干个模块分别执行。
[0078]
第一分辨率指的是高清的图像分辨率参数，如前所述高清图像存在较大的数据传
输压力，对此，本技术在传输前在无人机端对其进行预处理，将其分辨率调整为相对较低的第二分辨率，在不影响地形等整体信息的表达的同时极大地降低了数据传输压力；并且本技术在无人机端还通过预处理进行图像识别，无人机端的图像处理模块在采集图像的同时还对图像进行火情识别，并将识别结果作为标识区域信息进行存储，在将标识区域信息传输至操作人员端后操作人员可快速地定位到火情区域，或换而言之操作人员在低认知负荷下即可借助于系统实现高效率观察。
[0079]
在操作人员接收到无人机端传回的图像时，通常会对存在火情或怀疑存在安全隐患的区域进行放大观察，现有技术中所提出的系统通常是直接回传高分辨率的完整图像，虽然有利于操作人员即时地可选择地进行放大观察，但是高清完整图像对数据传输带来的压力较大，并且完整高清图像的缩放对硬件配置要求很高，在出现较大火情时，操作人员端的硬件设备需要连续处理数量非常大的高清图像，对高清图像的处理将进一步加大操作人员端的硬件设备的数据处理压力，容易出现卡顿或延迟的问题。对此，本技术还在无人机端将与标识区域信息所对应的第三火情图像从第一火情图像中提取出来，并将其以其与标识区域信息相对应的方式传输至操作人员端，第三火情图像是指具有第一分辨率的局部的第一火情图像。在该设置下，在降低了直接回传高清完整图像的数据处理压力的同时，同时还通过标识区域信息主动引导操作人员观察重点区域以提高操作人员的处理效率，在该引导下进一步地还通过第三火情图像保障了操作人员在需要对存在火情或怀疑存在安全隐患的区域进行放大观察的快速响应。
[0080]
作为一种优选实施方式，数据处理模块对若干个标识区域信息进行重要级排序并根据排序结果确定其中至少一个标识区域信息，基于确定得到的标识区域信息在第一火情图像上提取与之相对应的第三火情图像，数据处理模块将提取得到的第三火情图像与第二火情图像一起传输至操作人员端。从而操作人员能够在跟随标识区域信息进行详情查看时快速地获取到与之对应的实景图像。通过重要级排序，筛选出重要等级高的最需要操作人员第一时间查看的局部区域，此处通过排序结果确定出的第三火情图像可以是一个或两个或多个。第二时刻向操作人员传输的图像数据总量较小，同时保障了系统的快速响应。
[0081]
作为一种优选实施方式，数据处理模块可根据实时网络通信量和/或网络通信质量来确定经过排序后需从排序结果中确定的标识区域信息的数量。即，在网络通信量较大或网络通信质量较差的情况下，可以将需从排序结果中确定的标识区域信息的数量设定为一，相应地即数据处理模块在第二时刻传输的数据中仅包含一个第三火情图像。在网络通信量较小且网络通信质量较优的情况下，可以将需从排序结果中确定的标识区域信息的数量设定为二或三，相应地即数据处理模块在第二时刻传输的数据中包含两个或三个第三火情图像。作为一种优选实施方式，数据处理模块中设置有限制条件，数据处理模块在第二时刻传输的数据中所包含的所有第三火情图像的数据量总和不应超出具有第一分辨率的第一火情图像的数据量的二分之一。
[0082]
作为一种优选实施方式，数据处理模块基于标识区域在第一火情图像的尺寸中所占的比例大小来确定第二分辨率。换而言之，若标识区域在第一火情图像的尺寸中所占的比例超过预设比例阈值，数据处理模块将第一预设分辨率参数确定为第二分辨率。若标识区域在第二火情图像的尺寸中所占的比例低于预设比例阈值，数据处理模块将第二预设分辨率参数确定为第二分辨率。第一预设分辨率参数低于第二预设分辨率参数。
[0083]
作为一种优选实施方式，标识区域在第一火情图像的尺寸中所占的比例大小指的是标识区域信息所对应的所有第三火情图像的图像尺寸之和占第一火情图像的图像尺寸的比例大小。
[0084]
例如对于一般的近景拍摄获取到的第一火情图像而言，本身其标识区域在第一火情图像中所占的面积就较大，即使在较低的第二分辨率下也能够较好地被分辨清楚是否存在火情等问题。又例如对于一般的远景拍摄获取到的第一火情图像而言，其标识区域在第一火情图像中所占的面积相对较小，若低于一定的第二分辨率则不利于操作人员观察地形等重要信息。又例如对于部分远景拍摄下获取到的第一火情图像而言，由于火情较大而使得标识区域在第一火情图像中所占的面积相对较大，即使提供可见光下的图像也难以确定火情，在该情况下，可以以较低的第二分辨率确定第二火情图像的分辨率，并同时以第三分辨率提供红外摄像所获取到的红外热图。
[0085]
作为一种优选实施方式，在将第二分辨率确定为第一预设分辨率参数的情况下，若第一火情图像的取景方式为近景取景方式，数据处理模块被配置为将无人机在第一时刻拍摄得到的具有第一分辨率的第一火情图像转变为具有比第一分辨率低的第二分辨率的第二火情图像，并在第二时刻将第二火情图像和/或与之对应的标识区域信息传输至操作人员端。所述标识区域信息能够被操作人员端的控制台所识别而将该信息与第二火情图像在操作人员端进行图像融合及显示。
[0086]
作为一种优选实施方式，在将第二分辨率确定为第一预设分辨率参数的情况下，若第一火情图像的取景方式为远景取景方式，数据处理模块被配置为将无人机在第一时刻拍摄得到的具有第一分辨率的第一火情图像转变为具有比第一分辨率低的第二分辨率的第二火情图像，并通过图像处理模块获取到与第一火情图像相对应的第三火情图像。此处第三火情图像指的是具有第三分辨率的由红外摄像所获取到的红外热图，此处的第三火情图像也具有与之对应的标识区域信息。第三分辨率可以是针对不同于可见光图像的红外热图而设置的分辨率，第三分辨率并非指代必须是不等同于其他分辨率的参数数据，其仅是为区别于其他指代可见光图像的分辨率。数据处理模块在第二时刻将第二火情图像、与之对应的标识区域信息以及与至少一个标识区域信息相对应的至少一个第三火情图像传输至操作人员端。所述标识区域信息能够被操作人员端的控制台所识别而将该信息和第三火情图像与第二火情图像在操作人员端进行图像融合及显示。
[0087]
作为一种优选实施方式，图像处理模块将其所采集到的图像与采集该图像时采用的取景方式信息一起传输至数据处理模块。
[0088]
本技术中所提及的标识区域主要指的是无人机的图像处理模块在拍摄获取到图像后对图像进行火情识别所获取到的发现存在、可能存在火情或存在安全隐患的局部区域。至少一个标识区域可以是根据各自分别在图像所限定的二维坐标系中的二维坐标而浮动地标识在图像上。标识区域信息至少包括该标识区域在第二火情图像所限定的二维坐标系中的二维坐标信息。作为一种优选实施方式，不同标识区域可以是根据标识区域信息的排序结果按照重要级而有区别地标识在图像上。此处提及的区别标识可以是指通过不同颜色标识、通过不同明度的颜色标识、通过不同形状标识、或通过不同大小的形状标识中的一个或几个的结合。
[0089]
作为一种优选实施方式，图像融合可以是由无人机端的数据处理模块或图像处理
模块等来执行，继而无人机将包含有标识区域信息的图像传输至操作人员端。作为一种优选实施方式，图像融合可以是由操作人员端的控制台来执行，无人机将图像与标识区域信息分开传输给控制台。在获取到图像后，无人机仅需对图像进行压缩等预处理后即传输给控制台，由控制台进行图像的融合等数据处理过程，降低了无人机端的数据处理压力，同时提高了系统响应速度，操作人员能够快速地了解到现场情况。
[0090]
由于标识区域并非单个点而是具有一定面积的区域，标识区域信息所对应的二维坐标信息应为由一定数值范围的横坐标值与一定数值范围的纵坐标值所共同限定得到的在图像上的局部区域。即，标识区域信息对应有按照一定规则形状所确定的第一局部限定范围。当操作人员输入的行为操作落入第一局部限定范围的情况下，控制台调取与该第一局部限定范围所对应的第三火情图像并呈现至显示界面。控制台将与该第一局部限定范围所对应的第三火情图像以一定放大倍数显示至第四火情图像之上。即，操作人员可通过控制台的显示界面在进行图像融合后得到的第四火情图像上进行与第一标识区域信息相关的第一行为操作。控制台在监测到第一行为操作的第三时刻获取到与第一行为操作所对应的在由第四火情图像所限定的二维坐标系中的二维坐标，在其二维坐标落入至少一个第一局部限定范围时，确定操作人员输入的为与第一标识区域信息相关的第一行为操作。继而控制台将操作人员需要进一步高清查看的第三火情图像反馈至显示界面以供查看。
[0091]
作为一种优选实施方式，第一行为操作可以是鼠标单击或操作人员单击屏幕的行为操作。只有在第一行为操作与标识区域信息相关的情况下控制台才响应于第一行为操作进行第三火情图像的显示。通过规定操作人员的操作行为，系统能够快速地更准确地识别到操作人员的操作行为意图。
[0092]
由于显示至操作人员的第四火情图像上仅局部标识有标识区域信息，操作人员在查看标识区域信息后通常还会检查图像上其他区域是否存在未被系统识别到的火情或安全隐患。对此，若按现有技术中所惯用的操作人员在图像上何处进行点击即对应地显示出高清放大图的数据处理过程，系统无法确认操作人员所需查看的区域范围，通常其按照默认参数来显示一定区域内的高清放大图，其易于造成与操作人员所希望查看的区域范围有较大偏差的问题，操作人员可能需要重复点击该区域中的不同位置来才能完整地查看到区域内的实景。对此，在本技术中，控制台被配置为能够识别到操作人员在显示界面上所输入的进行区域范围自定义的与第一标识区域信息无关的第二行为操作。控制台在监测到第二行为操作的第四时刻将第二行为操作信息传输至无人机端以按照操作人员自定义的第二局部限定范围调取到无人机端与该第二行为操作信息相对应的至少一个第五火情图像。即操作人员可以按照自定义的方式划定想要查看的区域范围，控制台能够按照其自定义区域范围来调取及显示对应的高清图像。在该设置下，无人机端无需同时将整个的高清图像进行传输显示，减轻了数据传输的压力，并且操作人员能够自定义地查看指定区域的高清图像，减轻了操作人员的认知负荷。
[0093]
作为一种优选实施方式，第二行为操作可以是通过鼠标或手指触屏的方式划定操作人员想要查看的区域范围。操作人员自定义地划定区域范围，因此得到的区域范围通常为不规则的形状。
[0094]
作为一种优选实施方式，数据处理模块基于操作人员自定义的第二局部限定范围从第一火情图像中确定到第五火情图像。
[0095]
作为一种优选实施方式，为进一步减轻系统数据传输的压力，本技术将需要响应于第二行为操作信息而进行传输的第五火情图像进行分段传输，节约带宽，并同时还通过预设第三局部限定范围来调控分段方式，保障分段传输下的图像数据能够即时地满足操作人员的查看需求。数据处理模块将第二局部限定范围与预设的第三局部限定范围进行比对。不同于第二局部限定范围，第三局部限定范围是由系统预先设定好的参数，按照第三局部限定范围所限定得到的区域范围能够更好地供操作人员参看。
[0096]
由于操作人员在自主划定区域范围时往往会超出原本想要查看的区域而划定到更大的区域，其中部分区域并不是操作人员所想要查看的区域，该部分区域的高清数据图像的传输变得冗余，加重了数据传输及数据处理压力。尤其是通过远景采集到的图像，相比于近景采集到的图像，若操作人员划定的同样形状的第二局部限定范围，若以同样的放大比例来显示被划定在第二局部限定范围中的图像，远景采集中被划定出来并放大后的图像可能存在放大比例不足的问题，要求操作人员进行二次放大操作，才能看到某一较小区域的图像。相对地，近景采集中被划定出来并放大后的图像可能存在放大比例过量的问题，要求操作人员进行二次缩小操作，才能看到较为完整的图像。对此，在本技术中，数据处理模块在获取到取景方式信息的同时确定了与该取景方式信息相对应的第三局部限定范围。例如，远景采集的取景方式下的第三局部限定范围的域面积小于近景采集的取景方式下的第三局部限定范围的域面积。例如，远景采集的取景方式下的第三局部限定范围的放大比例大于近景采集的取景方式下的第三局部限定范围的放大比例。即第三局部限定范围同时包含有域面积信息和放大比例信息。尤其是针对部分现有技术中要求操作人员通过双指缩放来调节图像放大比例的系统，双指灵活性稳定性差，常常无法稳定地实现预期的放大比例，愈是接近预期的放大比例愈是容易出现更大的偏差。基于此，针对不同取景方式适应性地设定供操作人员查看的第三局部限定范围，将图像以更适合操作人员查看的方式进行展示，改善在高清图像显示后操作人员还需进行二次缩放操作的问题，尤其是改善了现有技术中采用双指缩放的技术方案的灵活性与稳定性，同时保留了操作人员的自定义查看区域的自由权限。
[0097]
为实现对第三火情图像的分段传输，在本技术中，在比对得出第二局部限定范围的域面积超出第三局部限定范围的域面积的情况下，数据处理模块按照操作人员自定义的第二局部限定范围确定到在第一火情图像所限定的二维坐标系中的二维坐标信息以及与该二维坐标信息相对应的具有第一分辨率的至少一个第五火情图像。数据处理模块按照第三局部限定范围将第五火情图像拆分为第一子图像和第二子图像，并在第五时刻将两子图像中与第三局部限定范围相对应的子图像传输至操作人员端。数据处理模块在第六时刻将两子图像中位于第三局部限定范围之外的子图像传输至操作人员端。在第二局部限定范围减去第三局部限定范围之后所得到的即为位于第三局部限定范围之外的子图像。预设比例阈值是提前预设的比例数值，超出比例大于预设比例阈值的情况即指的是第二局部限定范围超过第三局部限定范围较大面积，该情况下，适合将第三火情图像进行分段传输，节约带宽。
[0098]
在比对得出第二局部限定范围的域面积超出第三局部限定范围的域面积且超出比例大于预设比例阈值的情况下，数据处理模块响应于操作人员通过显示界面输入对于第五时刻传输至操作人员端的子图像的第三行为操作而确定第六时刻。即第三火情图像的部
分分段是在操作人员明确有查看需求时，即操作人员通过拖曳等第三行为操作进行查看的情况下，再将数据量相对较小的另外的子图像传输至操作人员端，带宽消耗小。在操作人员未输入第三行为操作时，则无需传输其他的子图像数据，进一步地降低了不必要的冗余带宽消耗。
[0099]
第五火情图像显示于第四火情图像之上但不会完全占据整个显示界面，即第五火情图像是按照既定大小和位置的窗口进行显示。此处提及的窗口的大小和位置与预设的第三局部限定范围相对应。因此在第二局部限定范围的域面积超出第三局部限定范围的情况下，操作人员可通过输入第三行为操作来拖曳或移动第五火情图像，使其展示操作人员所划定的第二局部限定范围的边缘区域。
[0100]
在比对得出第二局部限定范围的域面积超出第三局部限定范围的域面积且超出比例不大于预设比例阈值的情况下，数据处理模块可以是按照传输时刻的先后来确定紧随第五时刻的第六时刻。即第三火情图像的不同分段是按照时间先后传输给操作人员端。在该情况下第二局部限定范围的域面积超出第三局部限定范围的区域较小，可以无需响应于操作人员的第三行为操作而直接传输至操作人员端。
[0101]
在比对得出第二局部限定范围的域面积低于第三局部限定范围的域面积的情况下，数据处理模块基于该二维坐标信息按照第二局部限定范围从第一火情图像中提取到具有第一分辨率的第五火情图像。数据处理模块在第五时刻将第五火情图像传输至操作人员端。操作人员端以第三局部限定范围的域面积以及放大比例来处理第五火情图像。由于第二局部限定范围小于第三局部限定范围，控制台对于第三局部限定范围与第二局部限定范围之间的无图像区域进行虚化处理。
[0102]
在另一种情况下，操作者一般会用一个圈来划分一个第二个局部限定范围，所以尽管该第二个局部限定范围是一个不规则的形状，但是它基本上是一个圆或者一个长椭圆。为了使第三局部限定范围对应到第一火情图像上，所述数据处理模块执行所述第二局部限定范围的中心点查询过程，所述第二局部限定范围的所述中心坐标为所述第三局部限定范围的中心坐标，从而使第三局部限定范围对应到第一火情图像上。中心点查询过程可以是：在一个与环形或椭圆相似的局部限定范围内构造一个虚拟的正三角，使得建立后的虚拟正三角的每个顶点都处于局部限定范围的边界线上，在虚拟正三角上建立三个分别与其边相对应的且垂直于相应边的虚拟高线，所有虚拟高线彼此相交于一虚拟点，这个虚拟点被认为是在该局部限定范围的中央。
[0103]
需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。本发明说明书包含多项发明构思，诸如“优选地”、“根据一个优选实施方式”或“可选地”均表示相应段落公开了一个独立的构思，申请人保留根据每项发明构思提出分案申请的权利。在全文中，“优选地”所引导的特征仅为一种可选方式，不应理解为必须设置，故此申请人保留随时放弃或删除相关优选特征之权利。