1.本发明涉及灭火系统技术领域，尤其涉及一种可扩展的多无人机协作火情处理方法及系统。
背景技术：
2.现有的森林防火工作方式大多是人工瞭望和搭建远程视频监控系统，但是人防巡查的方式存在巡查面积小、花费时间长、工作量大以及林区边缘死角难以顾及等问题，其火情预警及时性非常低；而搭建远程监控系统的方式要求实时传输监控视频，需要庞大且昂贵的通信网络，工作人员也要24小时不间断地监视各测试点所传回的视频，并且当火灾发生时，由于受地理环境的限制，人和消防车将无法顺利抵达现场，会延误火情的扑救。随着无人机技术的兴起，无人机技术为森林巡检和灭火提供了另一种新途径。
3.现有技术中公开号为cn111529995a的专利文献提出了一种基于无人机巡查灭火的方法与系统，其中方法包括：根据森林面积，对整片森林进行区域分块规划；基于所述区域分块规划，确定每一块区域的巡查航路；确定执行巡查任务的多架巡查用无人机，指定每一架巡查用无人机的巡查航路并分别上传；控制多架巡查用无人机按照各自巡查航路在对应的区域分块上进行巡查，实时侦测火情；当森林发生火情时，根据所述巡查用无人机发回的火情，放飞至少一架灭火用无人机进行定点投放灭火物料灭火。
4.上述技术方案所提出的灭火解决方案是指在指挥中心的统一指挥控制下，调度无人机对火情进行侦察，以及根据火情信息调度第二自主飞行器进行消防灭火，期间由于无人机之间缺乏信息交互，融合程度低，灭火效率较为低下，没有发挥出无人机消防更大的优势；并且，在上述技术方案中，所有无人机在网络环境较差的森林灭火场景下均依赖于远程指挥中心才能被调控，无法保障灭火效率。
5.此外，一方面由于对本领域技术人员的理解存在差异；另一方面由于申请人做出本发明时研究了大量文献和专利，但篇幅所限并未详细罗列所有的细节与内容，然而这绝非本发明不具备这些现有技术的特征，相反本发明已经具备现有技术的所有特征，而且申请人保留在背景技术中增加相关现有技术之权利。
技术实现要素：
6.针对现有技术之不足，本发明提供了一种可扩展的多无人机协作火情处理系统，至少包括配设有云台相机的第一自主飞行器和第二自主飞行器。所述第一自主飞行器将根据神经网络模型进行初步计算所得出的火情位置发送给第二自主飞行器，指示第二自主飞行器在发现火情的初期向火情发生地点移动，同时根据精确定位算法飞行至火情上方实现精确定位。第一自主飞行器将精确火情位置发送给第二自主飞行器，以使得第二自主飞行器在无需装载摄像组件的情况下飞行至精确火情位置并实现灭火弹的精准抛投。
7.本技术所提出的多无人机协作火情处理系统将第一自主飞行器与第二自主飞行器进行信息交互融合，即使是在网络环境较差的森林灭火场景下也不会完全依赖于远程控
制台，第一自主飞行器采用分步骤定位的方式实现对火情的定位，一方面在实现初步定位时就指示第二自主飞行器进行移动，提高了灭火效率，另一方面第一自主飞行器无需负载较大重量的灭火设备而可以更高效地进行火情巡航，并且第一自主飞行器可以在第二自主飞行器执行灭火任务时持续移动以从不同角度或不同高度观察灭火情况，进一步提高了灭火效率。
8.根据一种优选实施方式，所述第一自主飞行器根据深度卷积神经网络将画面中的火情的中心点标出，根据火情的中心点与画面中心点所形成的差值数据来调整无人机的运动，两者在x轴上形成的差值与在y轴上形成的差值都小于预设像素时确定火情定位成功。
9.根据一种优选实施方式，所述系统还包括位于操作人员端的控制台，所述控制台被配置为根据操作人员的指令信息指示第一自主飞行器进入进行火情搜索与判断的搜索阶段，并在接收到第一自主飞行器所获取到的火情图像时指示第一自主飞行器进入定位阶段，在接收到第一自主飞行器的定位完成信息时在操作人员的指令信息下指示第一自主飞行器重新进入定位阶段或进入灭火阶段，在接收到第一自主飞行器的灭火反馈信息时在操作人员的指令信息下指示第一自主飞行器重新进入搜索阶段或定位阶段。
10.根据一种优选实施方式，所述控制台被配置为根据操作人员的指令信息将巡航范围信息发送至第一自主飞行器以指示第一自主飞行器按照预定的路径进行搜索，所述控制台将空闲第二自主飞行器信息发送至第一自主飞行器以供其调度。
11.根据一种优选实施方式，所述控制台被配置为将接收到的来自第一自主飞行器的定位完成信息显示至操作人员，并在操作人员反馈第一自主飞行器定位失败的情况下，控制台指示第一自主飞行器重新进入定位阶段，在操作人员反馈第一自主飞行器定位成功或未在指定时长内反馈确认的情况下，控制台指示第一自主飞行器进入灭火阶段。
12.根据一种优选实施方式，所述控制台被配置为将接收到的第一自主飞行器的灭火反馈信息显示至操作人员，并在操作人员反馈第一自主飞行器灭火成功的情况下，控制台指示第一自主飞行器重新进入搜索阶段，在操作人员反馈第一自主飞行器灭火失败的情况下，控制台指示第一自主飞行器进入定位阶段。
13.根据一种优选实施方式，第二自主飞行器被配置为根据下式计算其在水平二维坐标系上的速度分量(v
x2
，v
y2
)：
[0014]vx2
＝v
x1
*cos((θc+θc')-(θa+θa'))-v
y1
*sin((θc+θc')-(θa+θa'))；
[0015]vy2
＝v
x1
*sin((θc+θc')-(θa+θa'))+v
y1
*cos((θc+θc')-(θa+θa'))。
[0016]
其中，θc为第一自主飞行器imu传感器所获得的角度；θa为第二自主飞行器上imu传感器所获得的角度；θa'为第二自主飞行器通电时与x轴的夹角；(v
x1
，v
y1
)为在第一自主飞行器的摄像头所设定的坐标系下的第二自主飞行器的所在位置；θc'为第一自主飞行器通电时与x轴的夹角。
[0017]
本技术还提出了一种可扩展的多无人机协作火情处理方法。所述方法至少包括利用控制台指示第一自主飞行器进入进行火情搜索与判断的搜索阶段。在接收到第一自主飞行器根据事先训练好的神经网络模型所获取到的火情图像时，可利用控制台指示第一自主飞行器进入定位阶段。在接收到第一自主飞行器的定位完成信息时，可利用控制台指示第一自主飞行器重新进入定位阶段或进入灭火阶段。在接收到第一自主飞行器的灭火反馈信息时，可利用控制台指示第一自主飞行器重新进入搜索阶段或定位阶段。
[0018]
根据一种优选实施方式，所述方法还包括：利用控制台将巡航范围信息发送至第一自主飞行器以指示第一自主飞行器按照预定的路径进行搜索，和/或将空闲第二自主飞行器信息发送至第一自主飞行器以供其调度。
[0019]
本技术还提出了一种可扩展的多无人机协作火情处理系统，至少包括配设有云台相机的无人机和设于操作人员端的控制台。无人机至少包括数据处理器，其被配置为：在接收到至少包含由操作人员自定义的虚拟域信息的图像传输请求时，根据由操作人员自定义的虚拟域可确定得到由云台相机所采集到的第一图像中的至少一个待传输图像。数据处理器还被配置为将由操作人员自定义的虚拟域和与待传输图像的取景方式信息相对应的预设的虚拟域进行比对，并在比对得出由操作人员自定义的虚拟域的域面积超出预设的虚拟域的域面积的情况下，按照预设的虚拟域将待传输图像拆分为第一子图像和第二子图像，并在不同时刻将两子图像分别传输至操作人员端。
具体实施方式
[0020]
本技术提出了一种可扩展的多无人机协作火情处理系统，至少包括配设有云台相机的第一自主飞行器和第二自主飞行器。所述第一自主飞行器将根据神经网络模型进行初步计算所得出的火情位置发送给第二自主飞行器，指示第二自主飞行器在发现火情的初期向火情发生地点移动，同时根据精确定位算法飞行至火情上方实现精确定位。
[0021]
优选地，本技术中所提出的第一自主飞行器使用事先拍摄的训练集对深度卷积网络进行训练，利用训练后得到的深度卷积网络对视频流进行识别以判断在指定范围内是否存有火情或其他无人机。
[0022]
优选地，本技术中所提出的第一自主飞行器采用分步骤定位的方式实现对火情的定位。第一自主飞行器在忽略相机的畸变影响的条件下通过对火情进行初步定位，指示第二自主飞行器在发现火情的初期向火情发生地点移动，同时第一自主飞行器进行进一步的精确定位，节约时间。
[0023]
假设第一自主飞行器的巡航高度为h，云台相机的pitch角(俯仰角)向下旋转90度。假定云台相机在巡航高度拍得的画面的实际长度为r
x
米，宽度为ry米。相机像素的长和宽的像素数分别为c
x
个和cy个。第一自主飞行器位置为(xu，yu)。θ'为imu传感器获得的角度。θ
x
为第一自主飞行器通电时与x轴夹角。识别出的火情的中心点在图片中心且设为原点，在水平右侧为x轴、垂直向上为y的坐标系中，识别出的火情所占的像素坐标为(f
x
，fy)。以画面左上角为计数零点。在忽略相机的畸变影响的条件下，则可计算得出火情的初步定位为(xf，yf)：
[0024]
xf＝√((fy*(ry/cy))2+(f
x
*(r
x
/c
x
))2)*sin(tan-1
((fy*(ry/cy))/(f
x
*(r
x
/c
x
)))+θ'
[0025]
+θ
x
)+xu；
[0026]
yf＝-√((fy*(ry/cy))2+(f
x
*(r
x
/c
x
))2)*cos(tan-1
((fy*(ry/cy))/(f
x
*(r
x
/c
x
)))+
[0027]
θ'+θ
x
)+yu。
[0028]
针对精确定位，第一自主飞行器根据深度卷积神经网络将画面中的火情的中心点标出，根据火情的中心点与画面中心点所形成的差值数据来调整第一自主飞行器的运动。在x轴上形成的差值与在y轴上形成的差值全部小于10像素时，可认为定位成功。同时可假定第一自主飞行器的位置即为火情位置。
[0029]
第一自主飞行器将精确火情位置发送给第二自主飞行器，以使得第二自主飞行器在无需装载摄像组件的情况下飞行至精确火情位置并实现灭火弹的精准抛投。
[0030]
当第一自主飞行器位于火情正上方时，第二自主飞行器借助于第一自主飞行器精确定位到火情的正上方。第二自主飞行器无需安装摄像头，通过第一自主飞行器的识别可辅助第二自主飞行器将灭火弹精准抛投至火情所在处。设θc为第一自主飞行器imu传感器所获得的角度，θc'为第一自主飞行器通电时与x轴的夹角。θa为第二自主飞行器上imu传感器所获得的角度。θa'为第二自主飞行器通电时与x轴的夹角。(v
x1
，v
y1
)为在第一自主飞行器的摄像头所设定的坐标系下的第二自主飞行器的所在位置。则第二自主飞行器在自身坐标系下的速度(v
x2
，v
y2
)为：
[0031]vx2
＝v
x1
*cos((θc+θc')-(θa+θa'))-v
y1
*sin((θc+θc')-(θa+θa'))；
[0032]vy2
＝v
x1
*sin((θc+θc')-(θa+θa'))+v
y1
*cos((θc+θc')-(θa+θa'))。
[0033]
无人机的导航在第一自主飞行器火情搜索、第二自主飞行器初步飞到火情时起到重要作用。优选地，本技术中所提出的无人机基于uwb(ultra wide band，超宽带)技术实现飞行定位及导航。假设无人机在地面的二维坐标系为xy，imu(inertial measurement unit，惯性测量单元)传感器提供的yaw(偏航角)值0角度为通电时的起始角度，左转为正。设θ'为无人机imu传感器返回的角度，θ
x
为无人机通电时与坐标系x轴的角度，第一象限为正。无人机位置为(x0，y0)，目标点为(x1，y1)。无人机在水平方向上的巡航速度为v，无人机的速度分量为(v
x
，vy)，其中，v
x
正方向为前，vy正方向为右。无人机目标前进方向与机身方向的夹角为θ，则：
[0034]vx
＝v*cos(tan-1
((y
1-y0)/(x
1-x0))-(θ'+θ
x
))；
[0035]vy
＝-v*sin(tan-1
((y
1-y0)/(x
1-x0))-(θ'+θ
x
))。
[0036]
本技术所提出的灭火方法可包括依次按时间先后顺序执行的搜索阶段、定位阶段、辅助阶段以及反馈阶段。
[0037]
在搜索阶段，操作人员通过控制台向第一自主飞行器发送巡航范围。第一自主飞行器按照预定的路径进行搜索。操作人员将空闲的第二自主飞行器信息发送给第一自主飞行器，等待第一自主飞行器调度。第一自主飞行器的搜索路径生成算法是可扩展的。第一自主飞行器可以是采用例如牛耕犁算法、更新概率密度图等算法进行路径搜索。
[0038]
在搜索阶段，第一自主飞行器根据事先训练好的神经网络模型判断视频流中是否存在火情。当通过神经网络判断存在火情时，第一自主飞行器根据获取到的图片中的像素点计算火情的初步位置，并将带有标注、火情信息以及无人机位置信息的火情图像发送给监视器。
[0039]
优选地，由于神经网络的计算过程始终会存在不可避免的误差，因而人在回路中的设计至关重要。在本技术中，控制台可通过显示界面要求操作人员在指定时长内对无人机回传信息进行判断反馈。操作人员可通过控制台通知第一自主飞行器巡航区域内是否存在火情。无人机将收到操作人员反馈的照片保存下来用以进一步的训练，以不断地提高识别的准确率。在操作人员反馈确认存在火情或未在指定时长内予以确认的情况下，第一自主飞行器将初步计算得出的火情位置发送给第二自主飞行器，指示第二自主飞行器飞往火情所在的大致区域并等待进一步的协同指令。第一自主飞行器进入定位阶段。
[0040]
常见的精确定位算法包括无人机根据视频流飞行至火情正上方实现定位、多点定
位、红外图像激光图像融合定位等方法。精确定位的算法同样是可扩展、可升级的。为便于后续为第二自主飞行器提供精准灭火的辅助作用，优选地可采用根据视频流飞行到火情正上方的方式完成定位。在定位成功后，第一自主飞行器向监视器发送定位成功信息，等待操作人员确认。在操作人员通过控制台通知第一自主飞行器定位失败的情况下，第一自主飞行器重新定位。在操作人员通过控制台通知第一自主飞行器定位成功或未在指定时长内反馈确认的情况下，第一自主飞行器将精确火情位置发送给第二自主飞行器。第一自主飞行器悬停并进入辅助阶段。
[0041]
在第一自主飞行器进入辅助阶段的情况下，第一自主飞行器将利用深度学习框架来识别其他无人机，并通过idl中定义好的控制接口来控制第二自主飞行器。在第一自主飞行器的控制下，将第二自主飞行器调整至第一自主飞行器的摄像机获取画面内或画面的中央。第一自主飞行器向监控台发送准备抛投的通知信息，等待操作人员反馈确认。
[0042]
在辅助阶段，在操作人员通过控制台通知第一自主飞行器确认抛投或未在指定时长内反馈确认的情况下，第一自主飞行器控制第二自主飞行器扔下灭火弹。第二自主飞行器向控制台汇报状态并返回起飞点，自动降落后等待填装灭火弹。第一自主飞行器进入反馈阶段。
[0043]
在反馈阶段，第一自主飞行器通过训练好的神经网络来识别火情。在指定时长内持续地未识别到火情的情况下，第一自主飞行器向控制台发送灭火成功信息，并等待操作人员反馈确认。在操作人员通过控制台通知第一自主飞行器确认灭火成功的情况下，第一自主飞行器继续巡航。在操作者通过控制台通知第一自主飞行器确认灭火失败的情况下，第一自主飞行器进入定位阶段重新开始。
[0044]
无人机在航拍方面起到了巨大的作用，由于无人机在操控方面的优势，同时由于各类高清摄像头的普及，所以无人机航拍的高清照片和高清视频得到了广泛的应用。高清照片和高清视频的普及对高清图像和高清视频的处理器提出了更高的要求，图像所占的空间越来越大，不仅对处理器和存储器的要求越来越高，并且由于室外环境的网络环境较差，传输高清图片所需的时间较长，对于数据传输的压力也越来越大。优选地，本技术所提出的无人机可被配置为将高清图片保存在机载电脑本地，并通过网络传回压缩后的图片。
[0045]
由于处理器等部件的计算分析过程始终会存在不可避免的误差，因而人在回路中的设计至关重要，然而对于通过网络传回的压缩后图片，图像分辨率不高，操作人员无法快速地通过传回的图像进行火情判断，即在减轻网络的数据传输压力的同时将不可避免地影响操作人员的判断与分析。若由于图像压缩而使操作人员未能及时发现火情等隐患，易导致操作人员判断失误甚至造成人员和设备损坏等；即使操作人员怀疑存在火情隐患而要求无人机传回分辨率更高的图像，也在时间上延迟了对火情或火情隐患的及时判断。
[0046]
对此，进一步优选地，本技术所提出的无人机至少包括数据处理器，其被配置为将无人机在第一时刻拍摄得到的具有第一分辨率的第一图像转变为具有比第一分辨率低的第二分辨率的第二图像和/或保持第一分辨率的至少一个第三图像，并在第二时刻将第二图像、与之对应的标识区域信息以及与至少一个标识区域信息相对应的至少一个第三图像中的一个或几个传输至操作人员端。所述标识区域信息能够被操作人员端的控制台所识别而将该信息和/或第三图像与第二图像在操作人员端进行图像融合及显示。优选地，此处无人机可以主要是指具有云台相机的第一自主飞行器。本发明中的数据处理器是指能够执行
其相关步骤的硬件、软件或者结合的数据处理器，数据处理器可以是对若干个模块的总称，即数据处理器所对应的执行步骤也可以是由彼此间能够进行信息交互的若干个模块分别执行。
[0047]
第一分辨率指的是高清的图像分辨率参数，如前所述高清图像存在较大的数据传输压力，对此，本技术在传输前在无人机端对其进行预处理，将其分辨率调整为相对较低的第二分辨率，在不影响地形等整体信息的表达的同时极大地降低了数据传输压力；并且本技术在无人机端还通过预处理进行图像识别，无人机端的图像处理模块在采集图像的同时还对图像进行火情识别，并将识别结果作为标识区域信息进行存储，在将标识区域信息传输至操作人员端后操作人员可快速地定位到火情区域，或换而言之操作人员在低认知负荷下即可借助于系统实现高效率观察。
[0048]
在操作人员接收到无人机端传回的图像时，通常会对存在火情或怀疑存在安全隐患的区域进行放大观察，现有技术中所提出的系统通常是直接回传高分辨率的完整图像，虽然有利于操作人员即时地可选择地进行放大观察，但是高清完整图像对数据传输带来的压力较大，并且完整高清图像的缩放对硬件配置要求很高，在出现较大火情时，操作人员端的硬件设备需要连续处理数量非常大的高清图像，对高清图像的处理将进一步加大操作人员端的硬件设备的数据处理压力，容易出现卡顿或延迟的问题。对此，本技术还在无人机端将与标识区域信息所对应的第三图像从第一图像中提取出来，并将其以其与标识区域信息相对应的方式传输至操作人员端，第三图像是指具有第一分辨率的局部的第一图像。在该设置下，在降低了直接回传高清完整图像的数据处理压力的同时，同时还通过标识区域信息主动引导操作人员观察重点区域以提高操作人员的处理效率，在该引导下进一步地还通过第三图像保障了操作人员在需要对存在火情或怀疑存在安全隐患的区域进行放大观察的快速响应。
[0049]
进一步优选地，数据处理器对若干个标识区域信息进行重要级排序并根据排序结果确定其中至少一个标识区域信息，基于确定得到的标识区域信息在第一图像上提取与之相对应的第三图像，数据处理器将提取得到的第三图像与第二图像一起传输至操作人员端。从而操作人员能够在跟随标识区域信息进行详情查看时快速地获取到与之对应的实景图像。通过重要级排序，筛选出重要等级高的最需要操作人员第一时间查看的局部区域，此处通过排序结果确定出的第三图像可以是一个或两个或多个。第二时刻向操作人员传输的图像数据总量较小，同时保障了系统的快速响应。
[0050]
进一步优选地，数据处理器可根据实时网络通信量和/或网络通信质量来确定经过排序后需从排序结果中确定的标识区域信息的数量。即，在网络通信量较大或网络通信质量较差的情况下，可以将需从排序结果中确定的标识区域信息的数量设定为一，相应地即数据处理器在第二时刻传输的数据中仅包含一个第三图像。在网络通信量较小且网络通信质量较优的情况下，可以将需从排序结果中确定的标识区域信息的数量设定为二或三，相应地即数据处理器在第二时刻传输的数据中包含两个或三个第三图像。优选地，数据处理器中设置有限制条件，数据处理器在第二时刻传输的数据中所包含的所有第三图像的数据量总和不应超出具有第一分辨率的第一图像的数据量的二分之一。
[0051]
进一步优选地，数据处理器基于标识区域在第一图像的尺寸中所占的比例大小来确定第二分辨率。换而言之，若标识区域在第一图像的尺寸中所占的比例超过预设比例阈
值，数据处理器将第一预设分辨率参数确定为第二分辨率。若标识区域在第二图像的尺寸中所占的比例低于预设比例阈值，数据处理器将第二预设分辨率参数确定为第二分辨率。第一预设分辨率参数低于第二预设分辨率参数。
[0052]
优选地，标识区域在第一图像的尺寸中所占的比例大小指的是标识区域信息所对应的所有第三图像的图像尺寸之和占第一图像的图像尺寸的比例大小。
[0053]
例如对于一般的近景拍摄获取到的第一图像而言，本身其标识区域在第一图像中所占的面积就较大，即使在较低的第二分辨率下也能够较好地被分辨清楚是否存在火情等问题。又例如对于一般的远景拍摄获取到的第一图像而言，其标识区域在第一图像中所占的面积相对较小，若低于一定的第二分辨率则不利于操作人员观察地形等重要信息。又例如对于部分远景拍摄下获取到的第一图像而言，由于火情较大而使得标识区域在第一图像中所占的面积相对较大，即使提供可见光下的图像也难以确定火情，在该情况下，可以以较低的第二分辨率确定第二图像的分辨率，并同时以第三分辨率提供红外摄像所获取到的红外热图。
[0054]
优选地，在将第二分辨率确定为第一预设分辨率参数的情况下，若第一图像的取景方式为近景取景方式，数据处理器被配置为将无人机在第一时刻拍摄得到的具有第一分辨率的第一图像转变为具有比第一分辨率低的第二分辨率的第二图像，并在第二时刻将第二图像和/或与之对应的标识区域信息传输至操作人员端。所述标识区域信息能够被操作人员端的控制台所识别而将该信息与第二图像在操作人员端进行图像融合及显示。
[0055]
优选地，在将第二分辨率确定为第一预设分辨率参数的情况下，若第一图像的取景方式为远景取景方式，数据处理器被配置为将无人机在第一时刻拍摄得到的具有第一分辨率的第一图像转变为具有比第一分辨率低的第二分辨率的第二图像，并通过图像处理模块获取到与第一图像相对应的第三图像。此处第三图像指的是具有第三分辨率的由红外摄像所获取到的红外热图，此处的第三图像也具有与之对应的标识区域信息。第三分辨率可以是针对不同于可见光图像的红外热图而设置的分辨率，第三分辨率并非指代必须是不等同于其他分辨率的参数数据，其仅是为区别于其他指代可见光图像的分辨率。数据处理器在第二时刻将第二图像、与之对应的标识区域信息以及与至少一个标识区域信息相对应的至少一个第三图像传输至操作人员端。所述标识区域信息能够被操作人员端的控制台所识别而将该信息和第三图像与第二图像在操作人员端进行图像融合及显示。
[0056]
优选地，图像处理模块将其所采集到的图像与采集该图像时采用的取景方式信息一起传输至数据处理器。
[0057]
本技术中所提及的标识区域主要指的是无人机的图像处理模块在拍摄获取到图像后对图像进行火情识别所获取到的发现存在、可能存在火情或存在安全隐患的局部区域。至少一个标识区域可以是根据各自分别在图像所限定的二维坐标系中的二维坐标而浮动地标识在图像上。标识区域信息至少包括该标识区域在第二图像所限定的二维坐标系中的二维坐标信息。优选地，不同标识区域可以是根据标识区域信息的排序结果按照重要级而有区别地标识在图像上。此处提及的区别标识可以是指通过不同颜色标识、通过不同明度的颜色标识、通过不同形状标识、或通过不同大小的形状标识中的一个或几个的结合。
[0058]
优选地，图像融合可以是由无人机端的数据处理器或图像处理模块等来执行，继而无人机将包含有标识区域信息的图像传输至操作人员端。优选地，图像融合可以是由操
作人员端的控制台来执行，无人机将图像与标识区域信息分开传输给控制台。在获取到图像后，无人机仅需对图像进行压缩等预处理后即传输给控制台，由控制台进行图像的融合等数据处理过程，降低了无人机端的数据处理压力，同时提高了系统响应速度，操作人员能够快速地了解到现场情况。
[0059]
由于标识区域并非单个点而是具有一定面积的区域，标识区域信息所对应的二维坐标信息应为由一定数值范围的横坐标值与一定数值范围的纵坐标值所共同限定得到的在图像上的局部区域。即，标识区域信息对应有按照一定规则形状所确定的第一虚拟域。当操作人员输入的行为操作落入第一虚拟域的情况下，控制台调取与该第一虚拟域所对应的第三图像并呈现至显示界面。控制台将与该第一虚拟域所对应的第三图像以一定放大倍数显示至第四图像之上。即，操作人员可通过控制台的显示界面在进行图像融合后得到的第四图像上进行与第一标识区域信息相关的第一行为操作。控制台在监测到第一行为操作的第三时刻获取到与第一行为操作所对应的在由第四图像所限定的二维坐标系中的二维坐标，在其二维坐标落入至少一个第一虚拟域时，确定操作人员输入的为与第一标识区域信息相关的第一行为操作。继而控制台将操作人员需要进一步高清查看的第三图像反馈至显示界面以供查看。
[0060]
优选地，第一行为操作可以是鼠标单击或操作人员单击屏幕的行为操作。只有在第一行为操作与标识区域信息相关的情况下控制台才响应于第一行为操作进行第三图像的显示。通过规定操作人员的操作行为，系统能够快速地更准确地识别到操作人员的操作行为意图。
[0061]
由于显示至操作人员的第四图像上仅局部标识有标识区域信息，操作人员在查看标识区域信息后通常还会检查图像上其他区域是否存在未被系统识别到的火情或安全隐患。对此，若按现有技术中所惯用的操作人员在图像上何处进行点击即对应地显示出高清放大图的数据处理过程，系统无法确认操作人员所需查看的区域范围，通常其按照默认参数来显示一定区域内的高清放大图，其易于造成与操作人员所希望查看的区域范围有较大偏差的问题，操作人员可能需要重复点击该区域中的不同位置来才能完整地查看到区域内的实景。对此，在本技术中，控制台被配置为能够识别到操作人员在显示界面上所输入的进行区域范围自定义的与第一标识区域信息无关的第二行为操作。控制台在监测到第二行为操作的第四时刻将第二行为操作信息传输至无人机端以按照操作人员自定义的第二虚拟域调取到无人机端与该第二行为操作信息相对应的至少一个第五图像。即操作人员可以按照自定义的方式划定想要查看的区域范围，控制台能够按照其自定义区域范围来调取及显示对应的高清图像。在该设置下，无人机端无需同时将整个的高清图像进行传输显示，减轻了数据传输的压力，并且操作人员能够自定义地查看指定区域的高清图像，减轻了操作人员的认知负荷。
[0062]
优选地，第二行为操作可以是通过鼠标或手指触屏的方式划定操作人员想要查看的区域范围。操作人员自定义地划定区域范围，因此得到的区域范围通常为不规则的形状。
[0063]
优选地，数据处理器基于操作人员自定义的第二虚拟域从第一图像中确定到第五图像。
[0064]
优选地，为进一步减轻系统数据传输的压力，本技术将需要响应于第二行为操作信息而进行传输的第五图像进行分段传输，节约带宽，并同时还通过预设第三虚拟域来调
控分段方式，保障分段传输下的图像数据能够即时地满足操作人员的查看需求。数据处理器将第二虚拟域与预设的第三虚拟域进行比对。不同于第二虚拟域，第三虚拟域是由系统预先设定好的参数，按照第三虚拟域所限定得到的区域范围能够更好地供操作人员参看。
[0065]
由于操作人员在自主划定区域范围时往往会超出原本想要查看的区域而划定到更大的区域，其中部分区域并不是操作人员所想要查看的区域，该部分区域的高清数据图像的传输变得冗余，加重了数据传输及数据处理压力。尤其是通过远景采集到的图像，相比于近景采集到的图像，若操作人员划定的同样形状的第二虚拟域，若以同样的放大比例来显示被划定在第二虚拟域中的图像，远景采集中被划定出来并放大后的图像可能存在放大比例不足的问题，要求操作人员进行二次放大操作，才能看到某一较小区域的图像。相对地，近景采集中被划定出来并放大后的图像可能存在放大比例过量的问题，要求操作人员进行二次缩小操作，才能看到较为完整的图像。对此，在本技术中，数据处理器在获取到取景方式信息的同时确定了与该取景方式信息相对应的第三虚拟域。例如，远景采集的取景方式下的第三虚拟域的域面积小于近景采集的取景方式下的第三虚拟域的域面积。例如，远景采集的取景方式下的第三虚拟域的放大比例大于近景采集的取景方式下的第三虚拟域的放大比例。即第三虚拟域同时包含有域面积信息和放大比例信息。尤其是针对部分现有技术中要求操作人员通过双指缩放来调节图像放大比例的系统，双指灵活性稳定性差，常常无法稳定地实现预期的放大比例，愈是接近预期的放大比例愈是容易出现更大的偏差。基于此，针对不同取景方式适应性地设定供操作人员查看的第三虚拟域，将图像以更适合操作人员查看的方式进行展示，改善在高清图像显示后操作人员还需进行二次缩放操作的问题，尤其是改善了现有技术中采用双指缩放的技术方案的灵活性与稳定性，同时保留了操作人员的自定义查看区域的自由权限。
[0066]
为实现对第三图像的分段传输，在本技术中，在比对得出第二虚拟域的域面积超出第三虚拟域的域面积的情况下，数据处理器按照操作人员自定义的第二虚拟域确定到在第一图像所限定的二维坐标系中的二维坐标信息以及与该二维坐标信息相对应的具有第一分辨率的至少一个第五图像。数据处理器按照第三虚拟域将第五图像拆分为第一子图像和第二子图像，并在第五时刻将两子图像中与第三虚拟域相对应的子图像传输至操作人员端。数据处理器在第六时刻将两子图像中位于第三虚拟域之外的子图像传输至操作人员端。在第二虚拟域减去第三虚拟域之后所得到的即为位于第三虚拟域之外的子图像。预设比例阈值是提前预设的比例数值，超出比例大于预设比例阈值的情况即指的是第二虚拟域超过第三虚拟域较大面积，该情况下，适合将第三图像进行分段传输，节约带宽。
[0067]
在比对得出第二虚拟域的域面积超出第三虚拟域的域面积且超出比例大于预设比例阈值的情况下，数据处理器响应于操作人员通过显示界面输入对于第五时刻传输至操作人员端的子图像的第三行为操作而确定第六时刻。即第三图像的部分分段是在操作人员明确有查看需求时，即操作人员通过拖曳等第三行为操作进行查看的情况下，再将数据量相对较小的另外的子图像传输至操作人员端，带宽消耗小。在操作人员未输入第三行为操作时，则无需传输其他的子图像数据，进一步地降低了不必要的冗余带宽消耗。
[0068]
第五图像显示于第四图像之上但不会完全占据整个显示界面，即第五图像是按照既定大小和位置的窗口进行显示。此处提及的窗口的大小和位置与预设的第三虚拟域相对应。因此在第二虚拟域的域面积超出第三虚拟域的情况下，操作人员可通过输入第三行为
操作来拖曳或移动第五图像，使其展示操作人员所划定的第二虚拟域的边缘区域。
[0069]
在比对得出第二虚拟域的域面积超出第三虚拟域的域面积且超出比例不大于预设比例阈值的情况下，数据处理器可以是按照传输时刻的先后来确定紧随第五时刻的第六时刻。即第三图像的不同分段是按照时间先后传输给操作人员端。在该情况下第二虚拟域的域面积超出第三虚拟域的区域较小，可以无需响应于操作人员的第三行为操作而直接传输至操作人员端。
[0070]
在比对得出第二虚拟域的域面积低于第三虚拟域的域面积的情况下，数据处理器基于该二维坐标信息按照第二虚拟域从第一图像中提取到具有第一分辨率的第五图像。数据处理器在第五时刻将第五图像传输至操作人员端。操作人员端以第三虚拟域的域面积以及放大比例来处理第五图像。由于第二虚拟域小于第三虚拟域，控制台对于第三虚拟域与第二虚拟域之间的无图像区域进行虚化处理。
[0071]
在另一方面，操作人员通常通过画圆的方式来划定第二虚拟域，因此虽然第二虚拟域是无规则形状，但其大致类似于圆形或椭圆形。为将第三虚拟域对应到第一图像上，数据处理器对类似于圆形或椭圆形的第二虚拟域进行中心点查询处理，并以查询到的第二虚拟域的中心点作为第三虚拟域的圆心的位置坐标，以此可将第三虚拟域对应到第一图像上。中心点查询处理可以是通过在类似于圆形或椭圆形的第二虚拟域中构建虚拟正三角形，使构建得到的虚拟正三角形的各顶点均位于第二虚拟域的边缘线上，在虚拟正三角形的每条边上构建分别垂直于对应边的虚拟高线，所有虚拟高线彼此相交于一虚拟点，该虚拟点即确定为第二虚拟域的中心点。
[0072]
优选地，数据处理器被配置为在接收到至少包含由操作人员自定义的第二虚拟域信息的图像传输请求时，按照第二虚拟域确定到在云台相机所采集到的第一图像中的至少一个第五图像。数据处理器还被配置为将第二虚拟域和与待传输图像的取景方式信息相对应的第三虚拟域进行比对。数据处理器还被配置为在比对得出第二虚拟域的域面积超出第三虚拟域的域面积的情况下，按照第三虚拟域将第五图像拆分为第一子图像和第二子图像，并在不同时刻将两子图像分别传输至操作人员端。
[0073]
针对多无人机联合森林大火自动监测、定位、灭火这一任务场景，本技术在任务层面通过idl语言设计了该任务场景下所需的可扩展、继承、模块化的通用接口描述，并采用corba规范对其解析，生成对应各种无人系统平台的桩与框架文件，实现了面对森林野火监测、定位、灭火的满足与无人系统平台无关、快速技术插入、可扩展的框架。该架构允许未来性能更强、算力更高、灭火效率更好、火情识别更准确的无人设备的快速加入。
[0074]
本技术所提出的系统采用多无人机协作火情处理框架，该框架主要包含idl接口描述规范文件集、corba orb解析以及异构无人系统硬件。
[0075]
优选地，idl接口描述规范文件集是可扩展的多无人机协作火情处理的整体框架。idl接口描述规范文件集描述的典型场景包括：1.无人机向控制台绑定、解绑、重绑。2.控制台向无人机设置任务角色以及任务模式。3.控制台向第一自主飞行器发送搜索区域坐标、设置巡航速度等。4.控制台对无人机进行运动控制。5.控制台控制无人机飞到指定目标点。6.无人机向监控台汇报自身状态。7.无人机因事件返航时向监控台汇报返航原因。8.控制台为第一自主飞行器分配空闲第二自主飞行器。9.无人机向监控台发送发现火情图像、位置信息、第二自主飞行器抛投就绪等信息。10.控制台向第一自主飞行器确认或取消发现火
情、火情位置、准备抛投。11.第一自主飞行器控制第二自主飞行器运动、抛投。
[0076]
其中，general_unit类是所有无人系统的超类，具有无人系统共有的成员及方法，如标识符、绑定字符串、模式以及角色等。air_unit继承gener al_unit的成员与方法，并在此基础上，增加无人机所应当具备的特性。包括飞行控制相关，自身的当前状态如gps、剩余电量、速度、姿态等、火情相关、定位相关的接口。未来如果需要增加，例如增加灭火无人车，则可以继承general_unit超类，创建ground_unit类。针对地面无人灭火车的特性设计相关的成员与方法。monitor类与air_unit类互为依赖关系，console类与air_unit类同样互为依赖关系。
[0077]
优选地，通过corba规范对idl接口描述规范文件集进行解析，生成针对若干个部件中不同的操作系统、编程语言的用于服务端的框架以及用于客户端的桩。各部件之间的通信由符合corba规范的实现负责，在开发协同场景时不需要关心网络传输问题。由于该框架是在任务层面对无人系统之间的互操作进行描述，并不会传输大量传感器数据，在前端处理视频流进行识别。从而本技术所提出的系统能够降低网络带宽的负载，适用于室外远距离场景。
[0078]
优选地，异构无人系统硬件/异构无人机至少被配置为能够外接计算单元，从而控制无人机或无人机专用地面控制站的可外接计算单元。在外界计算单元中对idl接口描述规范文件集中规定的接口进行对象实现。
[0079]
优选地，以无人机运动控制为例：无人机的计算平台要根据传入参数判断执行何种动作如起飞、降落、解锁、上锁等。针对不同的动作，调用无人机提供的接口。而控制台可以通过接口对无人机进行运动控制。
[0080]
本技术所提出的上述多无人机协作火情处理框架对无人机的性能、火情搜索路径规划的算法、火情识别与定位算法的效率与准确性都没有要求。对于具有更精准高效的算法、更强性能、更多传感器的无人机，其也可以快速加入到本技术所提出的异构无人机灭火框架中，从而实现框架的可扩展性。
[0081]
为便于理解corba，如下对corba中涉及的部分基本概念加以说明：
[0082]
对象：一个对象系统包括多个对象实体。一个对象是一个被封装的实体，能为客户请求提供一个或多个服务。orb(object request broker，对象请求代理)支撑的分布式环境中，一个应用可由许多对象组成，通过对象间的交互来实现应用的功能，对象间的交互通过orb来传递。
[0083]
请求：客户通过构造一个请求来要求得到服务，在corba规范中请求方被称为客户。在请求中要指定提供服务的对象实现、执行的操作、操作上下文及该操作所用到的参数。
[0084]
对象引用：这是用来指定对象的标识符称为对象引用，一个对象可有多个对象引用，但一个对象引用仅对应于唯一一个对象。
[0085]
对象实现：在corba规范中，服务提供方称为对象实现，它使用界面来描述在它上面可执行的操作。
[0086]
方法：在对象实现中描述的某一操作对应的可执行代码称为方法。使一个方法执行叫做方法激活。
[0087]
激活：在执行一个服务请求时，会引起对象或对象实现中的方法被调用。如果对象
或对象实现的初始状态不能满足方法调用要求，便需要通过某种方法使其状态发生改变，以满足方法调用的要求，这个过程叫做激活，相反的过程叫去活。
[0088]
接口：接口就是一组相关函数的集合，接口中每一个函数都给出了详细的说明，包括函数名、参数个数、参数类型、返回类型以及可能抛出的异常。必须指出的是接口只定义了函数的原型，并没有给出具体的实现，这就对函数实现提供了灵活的空间。接口是通过一种中性的接口描述语言来定义的。虽然idl语言只提供了被orb操作的对象的概念框架，但是orb在运行时并不需要idl的源代码。只要桩或运行状态下接口库中的等价信息是可用的，orb就能通过特定的方式完成其功能。
[0089]
桩：桩实际上是一段程序代码，为接口中的每一个操作(方法)提供一种虚实现。桩可以看成是实际对象在客户进程中的映像，其中的接口必须是预先定义好的，因此它为客户提供了一种静态的调用方式。从客户端的角度看，桩仿佛提供了对象的本地实现——客户端调用桩中对象上的操作，并在该作结束后获得想要的结果。桩实际上并不负责对象的实现，它只是端对象在本地的一个“代理”，这个“代理”接受来自本地客户的请求，它编组(marshalling)后，交给orb核心；远端操作返回后，这个“代理”又将返回参数和结果进行解组(unmarshalling)后，以客户可以接受的方式返回给客户，使客户“误以为”操作是由这个本地的“代理”即桩来实现的。桩的实际工作包括接受客户端程序的请求，返回操作结果，以及编组与解组。
[0090]
框架：框架实际上是一段程序代码，提供了一个为指定的接口编写服器实现(即对象实现)代码的框架。从作用上讲，框架就像一个位于服务器端的桩，它并不负责对象的实现。与桩相对应的框架为服务器提供了一种静态的实现方式。idl编译器翻译描述对接口的idl文件，生成对应具体编程语言的idl桩和idl框架。
[0091]
继承：在面向对象编程中，可以通过扩展一个已有的类，并继承该类的属性和行为，来创建一个新的类。
[0092]
超类：被继承的类一般称为“超类”或“父类”，继承的类称为“子类”。当子类继承超类时，不必写出全部的实例变量和方法，只需声明该类继承了的已定义的超类的实例变量和方法即可。超类、子类形象地描述了继承的层次关系。继承节省了定义新类的大量工作，可以方便地重用代码。例如，把汽车作为父类，当创建汽车的子类轿车时，品牌、价格、最高时速等属性会自动地被定义，调用刹车方法时会自动调用在汽车类中定义的刹车方法。但一个子类不必非要使用继承下来的属性和方法，一个子类可以选择覆盖已有的属性和方法，或添加新的属性和方法。
[0093]
corba是由omg提出的应用软件体系结构和对象技术规范，其核心是一套标准的语言、接口和协议，以支持异构分布式应用程序间的互操作性及独立于平台和编程语言的对象重用。为了调用一个分布式对象的操作，客户机必须了解由这个对象多提供的接口。一个对象的接口是由它所支持操作和能够来回传输给这些操作的数据类型所组成的。客户机也需要调用这些操作的功能和语义的知识。
[0094]
在corba中，对象接口是按omg接口定义语言idl(interface defin ition language)来实现。idl唯一的目的是允许对象接口以与任何具体的编程语言无关的形式来定义这些接口。这种考虑允许应用程序以不同的编程语言来实现以便于互操作。从本质上来讲，idl用来描述产生对象调用请求的客户对象和服务对象之间的接口的语言。idl文件
描述数据类型和方法框架，而服务对象则为一个指定的对象实现提供上述数据和方法。
[0095]
idl接口的一个重要特性是，他们可以继承一个或多个其他接口。这样就允许从现有的接口项中定义新的接口，并且所实现的新的派生接口的对象能够替代那些支持现有的基本接口的对象。
[0096]
idl提供了一种继承的特例：所有接口都隐含地继承了在corba模块中定义的object接口。这个特殊的基接口提供了所有corba对象共有的操作。
[0097]
orb是一个中间件(middleware)，它可以建立对象之间的client/ser ver关系。通过orb，一个client可以透明地引用同一台机器上或网络上的一个server对象。这个server对象可以在本地，也可以在通过网络连接的其他机器上。orb截获这一调用，同时负责查找实现服务的对象并向其传递参数、调用方法返回最终结果。client并不清楚该对象的位置、它的编程语言、它的操作系统以及其它不是对象接口的系统信息。基于此，orb能实现分布环境中位于不同机器上的应用之间的互操作以及多对象系统之间的无缝连接。
[0098]
需要注意的是，上述具体实施例是示例性的，本领域技术人员可以在本发明公开内容的启发下想出各种解决方案，而这些解决方案也都属于本发明的公开范围并落入本发明的保护范围之内。本领域技术人员应该明白，本发明说明书为说明性而并非构成对权利要求的限制。本发明的保护范围由权利要求及其等同物限定。本发明说明书包含多项发明构思，诸如“优选地”、“根据一个优选实施方式”或“可选地”均表示相应段落公开了一个独立的构思，申请人保留根据每项发明构思提出分案申请的权利。在全文中，“优选地”所引导的特征仅为一种可选方式，不应理解为必须设置，故此申请人保留随时放弃或删除相关优选特征之权利。