基于火源定位识别的消防机器人消防炮控制方法与流程

本发明涉及基于火源定位识别的消防机器人消防炮控制方法，属于消防机器人技术领域。

背景技术：

消防机器人是一类集灭火、降温降尘、防爆、抢险救援于一体的特种机器人。该类机器人具有较强的越障能力和地面适用能力，可替代消防车进入危险复杂的环境，解决了因路障导致消防车携带的消防炮射程不足的问题。

无人消防机器人采用遥操作+局部自主的控制方式，使用遥操作控制器以便操作人员根据火灾现场的环境情况对机器人进行控制，提高了消防机器人的可靠性和工作效率。该类控制方式需要操作人员根据红外摄像头传回的图像对机器人的运动状态和所处环境进行判断，在火灾现场外调整消防炮的偏航角和俯仰角从而进行灭火行动。

遥操作控制消防炮进行灭火的方式可以保障操作人员的安全，但却存在两个重要的缺陷：一是操作人员对消防炮角度的调整需要一定的时间，对不同的射流速度只有较为精确的偏航角和俯仰角才能保证水炮的落点范围达到预期目标，同时机器人携带的水箱容量有限，因调整消防炮而用水消耗过多对于整个消防任务是不利的。二是操作人员调整消防炮的依据是车载摄像头的图像信息，但图像只能传达火源点在二维平面上的信息，无法获取火源点的深度，进一步加大了消防炮的调整难度。

技术实现要素：

本发明所要解决的技术问题在于克服现有技术的不足，提供一种基于火源定位识别的消防机器人消防炮控制方法，解决无人消防机器人消防炮控制存在的调整时间长、环境信息不足、效率低下等问题。

本发明具体采用以下技术方案解决上述技术问题：

基于火源定位识别的消防机器人消防炮控制方法，包括以下步骤：

步骤1、利用已标定的双目红外摄像头对火源进行识别和定位火源中心点，根据定位的火源中心点在双目红外摄像头采集的两个图像中得到的位置偏移计算出火源中心点与消防机器人的距离并将其确定为火源中心点深度；

步骤2、由得到的火源中心点深度作为火源中心点在三维空间中的位置参数；

步骤3、分别搭建射流轨迹模型，计算消防炮距离火源中心点的偏航角和火源中心点到双目红外摄像头的垂直距离并作为火源中心点在三维空间中的位置参数；根据所计算的偏航角和双目红外摄像头的垂直距离计算消防炮距离火源中心点的俯仰角，并根据偏航角和俯仰角、火源中心点在三维空间中的位置参数控制消防炮以使得消防炮射流轨迹的落点为火源的中心点。

进一步地，作为本发明的一种优选技术方案，所述步骤1确定的火源中心点深度为：

其中，z为火源中心点深度；f为双目红外摄像头的焦距；b为双目红外摄像头的基线；d为双目红外摄像头的视差值；ul和ur分别为火源中心点在二维成像平面上的横坐标。

进一步地，作为本发明的一种优选技术方案，所述步骤3中计算消防炮距离火源中心点的偏航角θ采用模型：

进一步地，作为本发明的一种优选技术方案，所述步骤3中计算消防炮距离火源中心点的俯仰角α采用模型：

其中，y为射流高度，x为射流距离，g为重力加速度，v为水流出口初始速度，h为消防炮出水口高度。

进一步地，作为本发明的一种优选技术方案：所述消防机器人采用二轴云台控制消防炮的偏航角和俯仰角。

本发明采用上述技术方案，能产生如下技术效果：

本发明利用双目红外摄像头对火源目标进行识别和定位，进而控制搭载消防炮的二轴云台对火源进行瞄准，二轴云台依据获取的垂直距离和水平角度，计算出消防炮需要旋转的偏航角和俯仰角，保证消防炮射出水或者干粉准确落在火源中心点；还可以通过图传电台，远程遥操作人员也可在控制箱的显示屏上实时观测远程的火情、云台和消防炮的控制情况，或进行人工干预。这种消防炮自主调整偏航角和俯仰角配合操作人员的实时监控的控制方式可以有效节省灭火时间，提高消防人员完成抢险救援任务的效率，对于消防机器人行业有着重要的意义。此类方法可以实现火源点的识别和定位，弥补了因火灾现场信息不足带来的消防炮工作效率低的缺陷，可及时抑制火情，为抢险救援工作节约时间。

并且，本发明中搭建的射流轨迹模型考虑空气阻力等因素的影响，使控制系统更具有准确性。二轴云台的控制方式极大节省了消防炮角度调整的时间，避免了因多次的调整带来不必要的水量损耗，为接下来的灭火环节节省水源。本控制方法可以高效快速便捷地控制消防机器人的消防炮瞄准火源，在特殊的火灾情况下，可以降低消防作业难度，提高效率，也可以避免消防人员进入危险现场，保障其人身安全。

附图说明

图1为本发明中无人消防机器人的模型示意图；

图2为本发明中控制方法的原理框图；

图3为本发明中双目红外摄像头测深度模型图；

图4为本发明中偏航角计算原理图；

图5为本发明中火源点高度和火源点距离计算原理图；

图6为本发明中射流轨迹求解俯仰角模型图；

图7为本发明中控制箱显示屏示意图；

附图中标号为：1-带二轴云台的消防炮；2-双目红外摄像头；3-消防机器人履带；4-消防机器人本体。

具体实施方式

下面结合说明书附图对本发明的实施方式进行描述。

本发明设计了一种基于火源定位识别的消防机器人消防炮控制方法，本实施例中消防机器人的结构如图1所示，其中消防机器人包括消防机器人本体4、带二轴云台的消防炮1、双目红外摄像头2、消防机器人履带3，其中为实现火源可定位范围最远，双目红外摄像头2可包括对称设置的左右两个红外相机，分别置于消防机器人本体的两侧；二轴云台设置在消防机器人本体上，且连接消防炮，针对操作人员对消防炮的调整具有很大的不确定性，调整时间长等缺陷，设计该二轴云台，通过控制二轴云台的偏航角和俯仰角从而控制消防炮的偏航角和俯仰角。

本发明方法的原理如图2所示，具体步骤如下：

步骤1、消防机器人驶进火灾现场，利用已标定的双目红外摄像头对火源进行识别并计算火源位置方向得到定位火源中心点，根据定位的火源中心点在双目红外摄像头采集的两个图像中得到的位置偏移计算出火源中心点与消防机器人的距离并将其确定为火源中心点深度。

如图3所示为双目红外摄像头测深度模型图，ol和or分别为左右两个红外相机的光圈中心，ol与or的距离b为双目红外摄像头的基线，f为双目红外摄像头的焦距，p点为消防车前方一火源中心点，pl和pr分别为p在左右车载红外相机中的成像点，ul和ur为火源中心点在二维成像平面上的横坐标。根据三角形p-pl-pr和p-ol-or的相似关系，有：

整理可得：

d为视差，利用火源中心点在双目红外摄像头的视差值d可计算出火源中心点到消防机器人的距离即火源中心点的深度z，为接下来精确计算偏航角和俯仰角提供基础数据。此类方法可以实现火源点的识别和定位，弥补了因火灾现场信息不足带来的消防炮工作效率低的缺陷，可及时抑制火情，为抢险救援工作节约时间。

步骤2、由得到的火源中心点深度z作为火源中心点在三维空间中的位置参数；由获取的深度信息可进一步确定火源中心点在三维空间中的位置参数，该火源中心点位置可包含三个参数：火源中心点的深度z,消防炮需要旋转的偏航角θ,火源中心点到双目红外摄像头的红外相机的垂直距离h0。在得到火源中心点的深度z后，由下述步骤3求得其他两个参数：偏航角θ和垂直距离h0。

步骤3、分别搭建射流轨迹模型，计算消防炮距离火源中心点的偏航角θ和火源中心点到双目红外摄像头的垂直距离h0并作为火源中心点在三维空间中的位置参数；根据所计算的偏航角θ和双目红外摄像头的垂直距离h0计算消防炮距离火源中心点的俯仰角α，并根据偏航角θ和俯仰角α、火源中心点在三维空间中的位置参数控制消防炮以使得消防炮射流轨迹的落点为火源的中心点。具体为：

如图4所示为本发明中偏航角计算原理图，m为基线的中点，θ为消防炮需要旋转的偏航角，利用图3双目红外摄像头测深度模型图得到的深度z，经推导，可通过下式求得偏航角θ：

如图5所示为本发明火源点高度计算原理图，考虑到现实情况中，火源中心点不一定与双目红外摄像头在同一平面上，可能具有一定的高度，比如在高层建筑灭火的场景中，要想调整消防炮的角度精准灭火必须考虑火源中心点的高度。图5中ol为左相机的光圈中心，f为双目红外摄像头的焦距，p为火源中心点，pl为p在火源中心点在二维成像平面上的成像点，oa为火源中心点在二维成像平面中心点，ol、oa和pa在同一直线上，hl为pl到oa的垂直距离，ll为火源中心点p到左侧相机光圈中心ol的水平距离，h0为火源中心点到双目红外摄像头的红外相机的垂直距离，l为火源中心点到基线中点m的水平距离，由三角形ol-oa-pl和ol-pa-p的相似关系和勾股定理可得：

如图6所示为射流轨迹模型图，θ和α分别为偏航角和俯仰角。在求解α时，考虑到理想情况下射流轨迹是抛物线型，但在实际户外环境中会受到空气阻力、自身重力和水流裂变等复杂因素的影响，根据质点运动学和外弹道学的知识，搭建数学模型，推导出射流轨迹的方程为：

y为射流高度，x为射流距离，g为重力加速度，v为水流出口初始速度，h为消防炮出水口高度。将射流高度y＝h0，射流距离x＝l代入后，可求得消防炮所需的俯仰角α。

及消防机器人中控制器得到偏航角θ和俯仰角α后，直接对二轴云台进行控制，旋转、抬高或降低消防炮使其瞄准火源中心点，以保证射流轨迹的落点准确处于火源中心点，并自主进行灭火作业。

上述搭建的射流轨迹模型考虑空气阻力等因素的影响，使控制系统更具有准确性。二轴云台的控制方式极大节省了消防炮角度调整的时间，避免了因多次的调整带来不必要的水量损耗，为接下来的灭火环节节省下水源。

此外，云台的控制支持遥操作，操作人员可实时监控现场的火情及消防现状，必要时可以调整消防任务的进度，提高消防效率。无人消防机器人配有一个带显示屏的控制箱，车载红外摄像头采集到的火源轮廓信息通过图传返回到显示屏上实时显示，同时给出火源中心点坐标，云台控制角度等信息。操作人员可以根据这些实时信息判断消防炮工作是否有效扑灭火源点或采取人工干预的方式调整云台角度。若当前的灭火任务完成则由操作人员通过控制箱远程控制消防机器人驶向下一任务点进行灭火作业。这种控制方式可以提快整个灭火任务的进度，同时也可以以人工干预的方式来应对灭火作业中遇到的突发状况，保障任务的完成。

如图7所示为控制箱内的显示屏示意图。无人消防机器人与控制箱之间通过电台进行图像传输和数据传输，车载摄像头采集到的信息将会实时显示到显示屏上，具体包括：左眼红外摄像头采集的火源轮廓信息、右眼红外相机采集到的火源轮廓信息、二轴云台状态信息、消防炮状态信息和消防机器人状态信息。

综上，本发明的控制方法可以高效快速便捷地控制消防机器人的消防炮瞄准火源，在特殊的火灾情况下，可以降低消防作业难度，提高效率，也可以避免消防人员进入危险现场，保障其人身安全。

上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。