一种消防侦察机器人及侦察方法与流程

本发明涉及消防领域，特别是涉及一种消防侦察机器人及侦察方法。

背景技术：

据统计，全世界火灾造成的直接和间接的损失约占世界生产总值的1％，火灾造成的人员伤亡也非常惨烈。火场感知、火情预测和火灾扑救是当今消防领域的难题。现有消防机器人功能比较单一，大多数仅具有远程灭火功能。此外，现有消防机器人完全由人遥操作，不具有自主规划和作业能力，且机器人与现场指挥中心交互能力不足。

例如，已有技术中涉及的加油站消防机器人，结构简单但不具备自助规划和作业能力，智能化程度较低；再如，已有技术中涉及的森林消防机器人，该机器人仍严重依赖消防人员的操作，不能在使用场景下做到自主或者半自主侦察消防。

技术实现要素：

本发明的目的是提供一种消防侦察机器人及侦察方法，以实现路径自主规划，实现自主侦察，以提高侦察的效率和准确度。

为实现上述目的，本发明提供了如下方案：

一种消防侦察机器人，包括：履带底盘、激光雷达、安装立柱、双目视觉摄像头、热红外成像及可见光云台、射流水炮、定位模块和工控机；所述激光雷达安装于所述履带底盘的前端；所述安装立柱固定于所述履带底盘的后端；所述双目视觉摄像头固定于所述安装立柱上，且摄像头拍摄方向为所述履带底盘的前方；所述热红外成像及可见光云台固定于所述安装立柱的顶端；所述射流水炮固定于所述履带底盘上，且所述射流水炮的供水口位于所述履带底盘的后方；

所述定位模块和所述工控机固定于所述履带底盘的内部，所述定位模块的输出端、所述双目视觉摄像头的输出端、所述激光雷达的输出端、所述热红外成像及可见光云台的输出端均与所述工控机的输入端连接；所述工控机用于控制履带移动和射流水炮的发射状态。

可选的，还包括多个探照灯，多个所述探照灯均固定于所述履带底盘的前端，且多个所述探照灯分别位于所述激光雷达的两侧。

可选的，所述定位模块具体包括惯性测量单元和gps单元；所述射流水炮为两自由度射流水炮。

可选的，所述工控机还与外部的交互中心交互，所述交互中心用于对所述热红外成像及可见光云台的参数和所述消防侦察机器人的参数进行调节。

本发明还提供一种侦察方法，所述侦察方法应用于前述的消防侦察机器人，所述侦察方法包括：

获取红外热成像图像和摄像头图像；所述红外热成像图像为热红外成像及可见光云台检测的图像，所述摄像头图像为双目视觉摄像头拍摄的图像；

根据所述红外热成像图像和摄像头图像判断当前视场范围内是否出现火源；

当当前视场范围内出现火源时，获取火源的相对位置；

根据所述火源的相对位置，采用改进的a*算法，规划全局路径；

根据激光雷达的测距信息，采用dwa算法，规划局部避障路径；

控制所述消防侦察机器人按照规划好的全局路径和局部避障路径移动至所述火源处，进行灭火。

可选的，所述获取红外热成像图像和摄像头图像，之前还包括：

获取环境区域的扫描信息；所述扫描信息为所述消防侦察机器人按照巡检路径移动过程中，激光雷达扫描的信息；

根据所述环境区域的扫描信息，建立环境地图。

可选的，所述根据所述红外热成像图像和摄像头图像判断当前视场范围内是否出现火源，具体包括：

获取所述红外热成像图像中的各个像素点的温度值；

判断每个像素点的温度值是否大于温度阈值；

当所有像素点的温度值均不大于温度阈值时，确定当前视场范围内未出现火源；

当所述像素点的温度值大于温度阈值时，获取温度值大于设定温度阈值的所有像素点，得到第一像素点集合；

获取所述摄像头图像中的所述第一像素点集合对应的像素点，得到第二像素点集合；

获取所述第二像素点集合中每个像素点的像素值；

判断所述第二像素点集合中每个像素点的像素值是否满足其中，r为所述像素点的像素红色分量，g表示所述像素点的像素绿色分量，b表示所述像素点的像素蓝色分量，rt表示红色阈值，s表示所述像素点的饱和度，st表示饱和度阈值；

当所述第二像素点集合中像素点的像素值满足时，确定当前视场范围内出现火源；

当所述第二像素点集合中所有像素点的像素值均不满足时，确定当前视场范围内未出现火源。

可选的，所述当当前视场范围内出现火源时，获取火源的相对位置，具体包括：

获取所述消防侦察机器人的位置坐标；

采用所述双目摄像头，获取所述火源相对所述消防侦察机器人的距离；

根据所述消防侦察机器人的位置坐标和所述火源相对所述消防侦察机器人的距离，确定所述火源在所述环境地图中的相对空间位置。

可选的，所述根据所述红外热成像图像和摄像头图像判断当前视场范围内是否出现火源，之后还包括：

当当前视场范围内出现火源时，触发报警装置报警。

可选的，所述控制所述消防侦察机器人按照规划好的全局路径和局部避障路径移动至所述火源处，进行灭火，具体包括：

控制所述消防侦察机器人按照规划好的全局路径和局部避障路径向所述火源移动；

实时获取所述消防侦察机器人与所述火源之间的距离；

当所述距离处于阈值范围内时，控制所述消防侦察机器人停止移动；

调节射流水炮对准所述火源的位置；

开启所述射流水炮，进行灭火。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明实现了消防侦察与灭火智能化，集火场感知、火情预测和火灾扑救于一体，采用合理的决策机制赋予了消防侦察机器人自主规划和作业能力。而且通过交互中心以及无线网络将消防侦察机器人与现场指挥中心连接起来，解决了消防侦察机器人与现场指挥中心交互能力不足的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明消防侦察机器人的结构示意图；

图2为本发明消防侦察机器人内部控制单元布置示意图；

图3为本发明消防侦察机器人整体的构成框图；

图4为本发明侦察方法的流程示意图；

图5为本发明侦察方法中单一火源的位置确定示意图；

图6为本发明侦察方法中双火源的位置确定示意图；

图7为本发明侦察方法中三火源的位置确定示意图。

符号说明：1-履带底盘；2-激光雷达；3-射流水炮；4-双目摄像头；5-红外热成像及可见光云台；6-报警蜂鸣器；7-探照灯；8-安装立柱；101-电源盒；102-电源模块；103-交换机；104-工控机；105-定位模块；106-法兰盘。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为本发明消防侦察机器人的结构示意图，图2为本发明消防侦察机器人内部控制单元布置示意图，图3为本发明消防侦察机器人整体的构成框图。结合图1-图3所示，本发明的消防侦察机器人包括以下结构：履带底盘1、激光雷达2、射流水炮3、双目视觉摄像头4、热红外成像及可见光云台5、安装立柱8、工控机104和定位模块105。

所述激光雷达2安装于所述履带底盘1的前端。例如可以将固定支架通过螺栓连接到履带底盘1的前端，将激光雷达2通过螺栓连接到前固定支架上，实现激光雷达2的安装。所述安装立柱8通过螺栓固定于所述履带底盘1的后端。所述双目视觉摄像头4通过螺栓固定于所述安装立柱8上，且摄像头拍摄方向为所述履带底盘1的前方。在双目视觉摄像头4外部通过金属外壳罩住保护，金属外壳在其两侧通过螺栓与安装立柱8连接。所述热红外成像及可见光云台5通过螺栓固定安装于所述安装立柱8的顶端。所述射流水炮3通过法兰盘106固定于所述履带底盘1上，且所述射流水炮3的供水口位于所述履带底盘1的后方，射流水炮3为两自由度射流水炮。

电源盒101、电源模块102、交换机103、工控机104和定位模块105等组件通过螺栓安装固定于所述履带底盘1内部的安装托盘上。所述定位模块105的输出端、所述双目视觉摄像头4的输出端、所述激光雷达2的输出端、所述热红外成像及可见光云台5的输出端均与所述工控机104的输入端连接，所述工控机104用于控制履带移动和射流水炮3的发射状态。本发明的定位模块105采用imu+gps模块，即包括惯性测量单元和gps单元。

工控机104还与外部的交互中心交互，所述交互中心用于对所述热红外成像及可见光云台的参数和所述消防侦察机器人的参数进行调节。具体的，交互中心(pc)上运行消防侦察机器人的巡检消防系统软件，消防侦察机器人通过交互中心的巡检消防系统软件给机器人本体发送移动指令，随机指定一条路径尽可能使激光雷达的探测范围覆盖到更多的环境区域，当激光雷达将环境区域全部扫描完成后，环境地图就已经建立完成。软件的主界面可以根据定位模块105的信息实时显示机器人在激光雷达扫描建模环境中的位置，以及可见光热红外视频实时监控并将巡检消息(实时消息、告警消息、系统消息)的实时输出。所述的交互中心可以进行红外热成像以及云台控制和车体控制，通过控制面板可控制热红外成像及可见光云台的俯仰和回转、镜头的变焦变倍、机器人的移动等。交互中心可以进行任务管理，包括巡检消防任务的查询、新建、编辑、删除等功能，支持以日历方式查看并修改任务。所述的交互中心通过无线局域网与工控机建立连接传输交换数据。

在具体应用中，本发明消防侦察机器人还包括多个探照灯7，多个所述探照灯7均通过螺栓固定于所述履带底盘1的前端，且多个所述探照灯7分别位于所述激光雷达2的两侧。

对应于图1-图3所示的消防侦察机器人，本发明还提供了一种侦察方法，所述消防侦察机器人采用所述侦察方法进行侦察工作。图4为本发明侦察方法的流程示意图。如图4所示，本发明的侦察方法包括以下步骤：

步骤100：获取红外热成像图像和摄像头图像。所述红外热成像图像为热红外成像及可见光云台检测的图像，所述摄像头图像为双目视觉摄像头拍摄的图像。在进行火源侦察之前，首先获取所述消防侦察机器人按照巡检路径移动过程中，激光雷达扫描的信息，即环境区域的扫描信息，然后根据所述环境区域的扫描信息，建立环境地图。进而可以实时得到消防侦察机器人的位置信息。

步骤200：根据红外热成像图像和摄像头图像判断当前视场范围内是否出现火源。如果是，执行步骤300-步骤600；如果否，返回步骤100，继续进行巡检。具体判断过程如下：

获取所述红外热成像图像中的各个像素点的温度值。

判断每个像素点的温度值是否大于温度阈值。

当所有像素点的温度值均不大于温度阈值时，确定当前视场范围内未出现火源。

当所述像素点的温度值大于温度阈值时，获取温度值大于设定温度阈值的所有像素点，得到第一像素点集合。

获取所述摄像头图像中的所述第一像素点集合对应的像素点，得到第二像素点集合。

获取所述第二像素点集合中每个像素点的像素值。

判断所述第二像素点集合中每个像素点的像素值是否满足其中，r为所述像素点的像素红色分量，g表示所述像素点的像素绿色分量，b表示所述像素点的像素蓝色分量，rt表示红色阈值，s表示所述像素点的饱和度，st表示饱和度阈值。

当所述第二像素点集合中像素点的像素值满足时，确定当前视场范围内出现火源。

当所述第二像素点集合中所有像素点的像素值均不满足时，确定当前视场范围内未出现火源。

步骤300：获取火源的相对位置。具体的，首先获取所述消防侦察机器人的位置坐标；然后采用所述双目摄像头，获取所述火源相对所述消防侦察机器人的距离；最后根据所述消防侦察机器人的位置坐标和所述火源相对所述消防侦察机器人的距离，确定双目摄像头中每个摄像头中的坐标，进而确定所述火源在所述环境地图中的相对空间位置。

关于火源的位置，具体确定过程如下：

将第二像素点集合中像素点的像素值满足的像素点确定为火源像素点，其余像素点确定为非火源像素点。将火源像素点与非火源像素点进行二值化处理，并进行降噪处理，得到火源像素点的连通区域。

根据连通区域的数量，可以确定火源的种类为单一火源、双火源还是三火源，本发明针对这三种情形的火源定位做了不同的数学模型，实际运用时能够针对现场具体情况作出相匹配的灭火策略。

单一火源时，采用直接定位法，定位火源像素连通区域的中心，直接趋近火源。具体的，结合图5所示，对连通区域进行框选取，即用一个最小矩形包围连通区域，使其在矩形边线内。双目视觉摄像头的左右镜头拍摄的图像对应的中心坐标分别为和a′(xl,yl)和a(xr,yr)，将两个中心坐标映射到三维空间得到火源中心的空间位置为a(x,y,z)。以下为数学表达：

因此，

式中，f表示相机焦距，b表示左右相机基线距离，这两项可以由相机标定得到，d＝xl-xr。通过上述数学表达式可以得到三维空间的火源的坐标a(x,y,z)。

双火源时，取两个火源的空间坐标连线的中点作为火源目标点。具体的，结合图6所示，对连通区域进行框选分别取其中心坐标a(xr1,yr1)和b(xr2,yr2)以及a'(xl1,yl1)和b'(xl2,yl2)，分别映射到三维空间得到a(x1,y1,z1)以及b(x2,y2,z2)。连接a，b并取其中点为o1(x,y,z)，该种情形下用o1来表示火源点的位置：

三火源时，将三个火源的空间坐标点连接构造空间三角形，将三角形各边的垂直平分线的交点(外心)作为火源定位点。具体的，结合图7所示，对连通区域进行框选分别取其中心坐标a(xr1,yr1)、b(xr2,yr2)和c(xr3,yr3)以及a'(xl1,yl1)、b'(xl2,yl2)和c'(xl3,yl3)，将其映射到三维空间得到a(x1,y1,z1)，b(x2,y2,z2)，c(x3,y3,z3)。连接a，b，c构成一空间三角形，分别作三条边的垂直平分线，并取其交点为o1'(x0,y0,z0)，该种情形下用o1'来表示火源点的位置。

空间三点确定的平面方程为：

式中，

三点到三角形三边垂直平分线的交点(外心)具有等距离约束

(1)(2)(3)联立可解得(5)(6)

(5)表示为

a2x+b2y+c2z+d2＝0

(6)表示为

a3x+b3y+c3z+d3＝0

通过(4)(5)(6)过于交点(外心)坐标的方程组

解得交点(外心)空间坐标为

即火源的空间坐标。

步骤400：根据火源的相对位置，采用改进的a*算法，规划全局路径。

步骤500：根据激光雷达的测距信息，采用dwa算法，规划局部避障路径。

步骤600：控制消防侦察机器人按照规划好的全局路径和局部避障路径移动至火源处，进行灭火。具体的，首先控制所述消防侦察机器人按照规划好的全局路径和局部避障路径向所述火源移动；然后实时获取所述消防侦察机器人与所述火源之间的距离，当所述距离处于阈值范围内时，控制所述消防侦察机器人停止移动；最后调节射流水炮对准所述火源的位置，开启所述射流水炮，进行灭火。

下面提供一个具体实施案例进一步说明本发明的方案。

消防侦察机器人通过交互中心给机器人本体发送移动指令，随机指定一条路径尽可能使激光雷达的探测范围覆盖到更多的环境区域，当激光雷达将环境区域全部扫描完成后，环境地图就已经建立完成。并人为设置好固定的巡检路线。消防侦察机器人在巡检过程中，如果红外热成像视场中出现火源，达到红外热成像的温度阈值和图像识别中火源像素的判别条件便识别为火源。双目摄像头会测量出火源相对于机器人本体的距离，同时交互中心的环境地图中会显示火源的相对空间位置，系统会同时在交互中心和机器人本体上进行声音报警。消防侦察机器人通过工控机将自主规划当前位置到火源的路径，全局路径规划通过输入激光雷达构建的环境地图以及gps和imu定位的自身位置姿态数据，采用改进的a*算法，最终输出坐标点移动轨迹，规划出机器人到火源的一条合理路径。对于机器人移动过程中出现的移动障碍物和静态障碍物(在建好的环境地图中不存在的)结合激光雷达的测距，局部路径规划通过输入激光雷达构建的环境地图以及gps和imu定位的自身位置姿态数据采用dwa算法进行规划，最终输出坐标点移动轨迹完成制定局部路径。通过上述过程实现机器人的自主路径规划与向火源的趋近。距离火源2m-6m后停止。两自由度射流水炮通过双目摄像头测出火源相对于水炮出水口的相对位置，工控机给水炮驱动器发送指令使水炮自动对准火源位置，完成灭火。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。