一种基于无人机视觉辅助消防炮灭火系统及控制方法

1.本发明涉及到智能消防灭火技术领域，具体涉及一种基于无人机视觉辅助消防炮灭火系统及控制方法。


背景技术：

2.随着社会发展的需要，具备智能化水平的消防炮已成为主流发展趋势，消防炮在大型火灾现场中发挥着不可替代的优势。在火灾现场，存在大火自身和建筑物容易倒塌和易爆物品容易出现爆炸伤人的潜在危险，依靠传统的人工去近距离灭火极易造成人员伤亡事故，近年来消防炮以其流量大、压力高、射程远的独具优势特点受到各行各业的广泛使用。由于消防炮是一些消防设施的必备品，在飞机场、生产石油化工厂、火车站、汽车站等场合下扮演着越来越重要的角色。消防炮目前有固定式消防炮和移动式消防炮,主要运用在远距离灭火场合，一定程度上避免了消防人员的潜在危险。根据现有行业规定，流量在24升每秒以上的称之为消防炮。消防炮的执行结构主要为水平回转结构和俯仰回转结构，故消防炮的有效射程范围较广。固定式消防炮一般位置确定，后期需要位置更改极不方便，一般适合安装在固定式场合，如森林、机场等。另一种是移动式消防炮，其主要特点就是消防炮架在可移动的支架上，可以在一定范围内移动，灭火的灵活性相比于固定式要好。从消防炮喷射的物质来划分，消防炮可以分为水炮和泡沫炮。之所以出现泡沫炮，因为火源有气体、固体、液体三类导致火灾发生，采用传统的水炮是不能进行有效灭火的，比如石油泄漏引发的火灾。这时需要对水进行一定的掺杂，通过泡沫和化学反应进行有效灭火。
3.对于消防灭火机器人，主要经历了三大发展阶段，第一阶段为程序控制的消防灭火机器人，第二阶段为具有感知和探知能力的遥控机器人。第三阶段为具备半自动、全自动智能系统的机器人，更大程度上满足消防事业的需求。日本、美国等发达国家从20世纪70到80年代就开始展开对机器人的研究。而我国起步晚，智能机器人的核心关键技术还处于研发阶段，针对石油化工工程火灾的机器人，根据相应数据统计，从2017年到2018年上半年，中国各级消防部队在机器人的购买量上达到了800多台，累计消费约6.5亿元。目前中国的消防灭火机器人主要依赖进口，并且价格较贵，目前一些西方国家也在加大这方面研究投入，因此研发具有智能化功能的机器人对我国消防事业的发展具有很大促进作用。特别在结合无人机视觉和消防机器人控制这一领域，目前国内外在这一方面的研究尚不完善。采用现阶段视觉相机固定在消防机器人上，其主要存在以下问题：(1)在非封闭空间发生大面积、多火点起火场合下不能进行高效灭火；(2)存在视角不足或被遮挡的问题，容易造成目标点丢失；(3)对判断整个火场的分布情况不够全面，从而影响消防人员进行灭火策略的实施。


技术实现要素：

4.为了解决现有技术中存在的不足，本技术提出了一种基于无人机视觉辅助消防炮灭火系统及控制方法，能够解决现有视觉相机安装在机器人上所存在的视角不足或者被遮
挡的弊端，相对于传统的纯手工遥控操作方式，不管在灭火效率上还是整个火场的灭火策略实施都有显著的优势，同时也提升了机器人的整体智能化程度。
5.本发明所采用的技术方案如下：
6.一种无人机视觉辅助消防炮灭火系统控制方法，包括如下步骤：
7.步骤1，利用无人机携带视觉装置至火场上方，通过调整无人机及视觉装置的姿态，采集高空俯视的火场分布图像，火场分布图像中包括机器人、射流落点、火场火点的信息；
8.步骤2，无人机视觉控制系统自动完成服务器配置工作、通讯连接状态检测、消防炮姿态角初始化工作；
9.步骤3，选取火场分布图像中的机器人坐标点、射流轨迹落点坐标点、火焰坐标点，对提取的点坐标进行处理，定位出火点与射流落点的平面位置关系，并将火点与射流落点的平面位置关转换为消防炮控制装置能够识别的角度、方向控制的信号指令；消防炮控制装置执行信号指令并驱动消防炮向火点喷射灭火剂；
10.步骤4，当选取的上一个火点处于压制或熄灭状态，选取下一个火点目标和当前射流落点坐标，再次执行动作，射流落点在消防炮控制装置指令下自动移至下一个火点目标，重复步骤3的选点以及喷射过程，直到火场所有火源目标点得到压制或处于熄灭状态。
11.进一步，通过不断更新火场分布图像中的机器人坐标点、射流轨迹落点坐标点、火焰坐标点，完成射流落点逐步向火焰坐标点逼近直至压制该火点扩散并达到灭火的目的。
12.进一步，所述步骤3中由机器人坐标点、射流落点坐标点、火焰坐标点，计算输出消防炮的俯仰角、水平角等角度的控制信息及水平偏转方向的方法为：
13.俯仰角：
14.αn＝arcsin(sn*sin(2*α
n-1
)/s
n-1
)/2
15.水平角：
[0016][0017]
消防炮水平偏转方向：
[0018]
令fn(xn,yn)＝(y
2,n-y
1,n
)xn+(x
1,n-x
2,n
)yn+y
1,n
*x
2,n-x
1,n
*y
2,n
[0019]
代入第n次选取的火焰坐标点p3(x
3,n
,y
3,n
)位置信息：
[0020][0021]
其中，α
n-1
是消防炮第n-1次的俯仰角，以图像的左上角为原点坐标,p(x
1,n
,y
1,n
)代表机器人第n次选取的坐标点位置；p(x
2,n
,y
2,n
)代表射流落点第n次选取的坐标点位置；p(x
3,n
,y
3,n
)代表火焰点第n次选取的坐标点位置；sn代表第n次选机器人坐标点到射流落点的距离；s
n-1
代表第n-1次选机器人坐标点到射流落点的距离。
[0022]
进一步，当火场出现多个火点时，火点目标的选取策略是根据火势大小、火点距离、危害程度、易扩散火点多个因素，综合判断对火点进行选取；如此实现对多个火点时进行压制或熄灭。
[0023]
一种基于无人机视觉辅助消防炮灭火系统，包括消防灭火机器人、消防炮控制装
置、无人机视觉控制系统；
[0024]
所述消防灭火机器人带有消防炮主体结构，所述消防炮主体结构用于远距离喷射灭火剂；
[0025]
所述消防炮控制装置包括角度传感器、嵌入式控制器以及驱动器，所述角度传感器用于采集消防炮转角的反馈信号；所述嵌入式控制器接收无人机控制系统发出的信号指令，并且根据所接收的信号指令输出消防炮驱动信号；所述驱动器接收嵌入式控制器所述出的消防炮驱动信号并驱动消防炮主体结构的关节转动以及喷射；
[0026]
所述无人机视觉控制系统包括无人机、视觉装置、选点灭火系统；所述视觉装置安置在无人机正下方，用于采集高空俯视火场分布图像；所述选点灭火系统接收火场分布图像，并从火场分布图像中选取火场分布图像中射流落点、火焰点、机器人点三个点坐标信息，将坐标信息转换为消防炮的角度、方向的信号指令并将信号指令传输至消防炮控制装置。
[0027]
进一步，视觉装置采用单目摄像机，用于采集无人机正下方二维的火场分布图像。
[0028]
进一步，角度传感器、嵌入式控制器以及驱动器之间通过信号相互连接。
[0029]
进一步，所述选点灭火系统包括图像处理单元以及通信单元，图像处理单元接收并处理视觉装置所采集的火场图像，获得消防炮的角度、方向的信号指令；通信单元用于实现无人机视觉控制系统与消防炮控制装置之间的通讯连接。
[0030]
进一步，无人机视觉控制系统与消防炮控制装置之间的通讯连接是基于tcp socket通讯连接，由机器人遥控终端或远程电脑端作为tcp服务端，消防炮控制装置作为tcp客户端。
[0031]
本发明的有益效果：
[0032]
(1)本发明通过无人机有利的俯视视角，解决目前存在的视角不足、被遮挡、目标点丢失等问题，改变现有的纯人工操作灭火方法，同时提升灭火的效率和质量及机器人的整体智能化程度；
[0033]
(2)本发明通过对火场分布图像中的火点进行选取，一方面对不同危害等级的火点进行定点扑灭，提升了灭火的效率；另一方面基于火场的俯视图像可以不断使消防炮的落点逼近火点，提高了定点扑灭的准确性。本技术基于火场分布图像能够解决非封闭空间大面积、多火点起火场合下进行有效灭火问题。
[0034]
(3)通过无人机视觉控制系统，为消防人员提供了较为全面的动态火场分布信息，以便消防人员迅速做出火场灭火策略的实施方案。
附图说明
[0035]
图1是本发明的消防炮姿态角控制流程图。
[0036]
图2是本发明的消防机器人、消防炮控制单元以及无人机视觉控制系统与火场之间的关系示意图。
[0037]
图3是本发明的无人机视觉系统实现灭火流程图。
[0038]
图4是本发明的坐标选点灭火操作流程图。
具体实施方式
[0039]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明。
[0040]
一种基于无人机视觉辅助消防炮灭火系统，包括消防灭火机器人、消防炮控制装置、无人机视觉控制系统；消防灭火机器人带有消防炮主体结构，所述消防炮主体结构用于远距离喷射灭火剂。
[0041]
如图1所示，所述消防炮控制装置包括角度传感器、嵌入式控制器以及驱动器，角度传感器、嵌入式控制器以及驱动器之间通过信号相互连接；更具体地，所述角度传感器用于采集消防炮转角的反馈信号；所述嵌入式控制器接收无人机控制系统发出的信号指令，并且根据所接收的信号指令输出消防炮驱动信号；所述驱动器接收嵌入式控制器所述出的消防炮驱动信号并驱动消防炮主体结构的关节转动以及喷射。消防炮控制装置是多旋翼连接无人机视觉控制系统和消防炮关节转动的关键装置；故消防炮控制装置安装在机器人内部以便集成控制。
[0042]
所述无人机视觉控制系统包括无人机、视觉装置、选点灭火系统；所述无人机采用多旋翼无人机，并且所述无人机用于挂载视觉装置飞向火场上方。
[0043]
所述视觉装置安置在无人机正下方，用于采集高空俯视火场分布图像；在本技术中，视觉装置采用单目摄像机，用于采集无人机正下方二维的火场分布图像。
[0044]
所述选点灭火系统包括图像处理单元以及通信单元，图像处理单元接收视觉装置所采集的火场图像，并且用于选取火场分布图像中射流落点、火焰点、机器人点三个点坐标信息，此选点操作依托在机器人遥控终端或远程电脑端，可以通过人工选取也可以通过图像处理软件进行提取。选点灭火系统根据所选出的射流落点、火焰点、机器人点的坐标信息计算和处理转换为消防炮的水平角、俯仰角、方向的信号指令；具体过程如下：
[0045]
俯仰角：
[0046]
αn＝arcsin(sn*sin(2*α
n-1
)/s
n-1
)/2
[0047]
水平角：
[0048][0049]
消防炮水平偏转方向：
[0050]
令fn(xn,yn)＝(y
2,n-y
1,n
)xn+(x
1,n-x
2,n
)yn+y
1,n
*x
2,n-x
1,n
*y
2,n
[0051]
代入第n次选取的火焰坐标点p3(x
3,n
,y
3,n
)位置信息：
[0052][0053]
其中，α
n-1
是消防炮第n-1次的俯仰角，以图像的左上角为原点坐标,p(x
1,n
,y
1,n
)代表机器人第n次选取的坐标点位置；p(x
2,n
,y
2,n
)代表射流落点第n次选取的坐标点位置；p(x
3,n
,y
3,n
)代表火焰点第n次选取的坐标点位置；sn代表第n次选机器人坐标点到射流落点的距离。
[0054]sn-1
代表第n-1次选机器人坐标点到射流落点的距离。
[0055]
通信单元用于实现无人机视觉控制系统与消防炮控制装置之间的通讯连接，将消防炮的角度、方向的信号指令传输至消防炮控制装置的嵌入式控制器。在本实施例中，无人机视觉控制系统与消防炮控制装置之间的通讯连接是基于tcp socket通讯连接，由机器人遥控终端或远程电脑端作为tcp服务端，消防炮控制装置作为tcp客户端。
[0056]
在本技术所设计的无人机视觉辅助消防炮灭火系统的基础上，本技术还提出了一种无人机视觉辅助消防炮灭火系统控制方法，结合图3，包括以下步骤：
[0057]
步骤1，无人机搭载视觉装置按照指定路线或要求飞行至火焰正上方保持一定安全高度悬停，该安全高度需要保证视野范围不会出现遮挡情况发生。调节视觉装置俯视角度直到相机镜头接近垂直于地面水平线，在机器人遥控器终端或远程电脑端观测无人机视角下的火场分布情况。另外，所采集的火场分布图像中需要包括机器人、射流落点、火场火点等信息；否则继续调整无人机及视觉装置的姿态。该步骤中所述视野范围不会出现遮挡情况，是指建筑物本身和烟雾本身不遮挡。
[0058]
步骤2，无人机视觉控制系统自动完成服务器配置工作、通讯连接状态检测、消防炮姿态角初始化工作；
[0059]
步骤3，消防炮喷射灭火剂，在机器人遥控器终端或远程电脑端选取机器人坐标点、射流轨迹落点坐标点、火焰坐标点，由无人机视觉控制系统通过对提取的点坐标进行处理，定位出火点与射流落点的平面位置关系，并转换为消防炮控制装置能够识别的角度、方向控制的信号指令，最终在消防炮驱动器作用下完成射流落点逐步向火焰坐标点逼近直至压制该火点扩散并达到灭火的目的。
[0060]
在火场分布图像中依次选取机器人坐标点、射流落点坐标点、火焰坐标点，由无人机视觉控制系统计算输出消防炮俯仰角、水平角等角度的控制信息；其消防炮角度、方向计算如下公式获取：
[0061]
俯仰角：
[0062]
αn＝arcsin(sn*sin(2*α
n-1
)/s
n-1
)/2
[0063]
水平角：
[0064][0065]
消防炮水平偏转方向：
[0066]
令fn(xn,yn)＝(y
2,n-y
1,n
)xn+(x
1,n-x
2,n
)yn+y
1,n
*x
2,n-x
1,n
*y
2,n
[0067]
代入第n次选取的火焰坐标点p3(x
3,n
,y
3,n
)位置信息：
[0068][0069]
其中，以图像的左上角为原点坐标,p(x
1,n
,y
1,n
)代表机器人第n次选取的坐标点位置；p(x
2,n
,y
2,n
)代表射流落点第n次选取的坐标点位置；p(x
3,n
,y
3,n
)代表火焰点第n次选取的坐标点位置；sn代表第n次选机器人坐标点到射流落点的距离；s
n-1
代表第n-1次选机器人坐标点到射流落点的距离。
[0070]
进一步的，步骤3所述选取三个点坐标信息的特征限制条件包括无人机飞行高度、无人机悬停稳定性条件；无人机飞行高度应保证接收图像画面中同时包含射流落点、多火
焰点、机器人坐标点信息；无人机悬停稳定性应保证选取的点坐标对应的像素块所产生的漂移误差控制在允许范围内，其中无人机选点大小对应屏幕5*5像素方块大小。
[0071]
进一步的，步骤3所述的选取机器人坐标点是以消防灭火机器人上安装的消防炮水平转动关节轴作为选取的特征点。
[0072]
步骤4，当选取的上一个火点处于压制或熄灭状态，在机器人遥控器终端或远程电脑端选取下一个火点目标和当前射流落点坐标，再次执行动作，射流落点在消防炮控制装置指令下自动移至下一个火点目标，重复此过程选点，直到火场所有火源目标点得到压制或处于熄灭状态。如图4，当前一个火点处于压制或熄灭状态，需要对射流落点重新选点，这是由于考虑到整个灭火过程中出水压力可能由于内在或者外在因素的干扰产生不稳定波动，对此在选点过程中需要对射流落点重复选定，这样既可以降低由于水压不稳定造成的影响，也可以避免由于外界因素干扰使得灭火过程中射流落点和火点位置最终没能完全重合所产生的一次次误差叠加。
[0073]
在本实施例中，通过在机器人遥控器终端或远程电脑端选取火点目标，本方法可以针对多火点进行精准压制。当火场出现多个火点时，火点目标的选取策略是根据火势大小、火点距离、危害程度、易扩散火点等多个因素，综合判断对火点进行选取；如此实现对多个火点时进行压制或熄灭。
[0074]
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。