一种基于无人机、云平台与AR眼镜互联的智慧消防系统的制作方法

一种基于无人机、云平台与ar眼镜互联的智慧消防系统
技术领域
1.本发明属于消防技术领域，特别是涉及一种基于无人机、云平台与ar眼镜互联的智慧消防系统。


背景技术：

2.火灾是失去控制的燃烧所造成的灾害，在各种灾害中，火灾是最经常、最普遍地威胁公众安全和社会发展的主要灾害之一。火灾现场不仅有着极高的温度，还有严重影响能见度的浓烟。因此，火场环境恶劣复杂，信息传输有效性低，难度高，火场救援工作通常难度极大，救援队伍易与指挥平台脱节，会严重阻碍救援工作的进行，同时，在火场救援工作中，消防战士的安全也需要得到最大限度的保障。
3.现代消防体系中，常使用无人机进行辅助救援，相比战士直接突入火场进行救援，使用无人机先进行火情勘探与情报收集可以有效提高救援行动的成功率与安全性。
4.但是，在现有的无人机辅助救援系统中，通常由飞手控制无人机探查火场来进一步获取有效信息。然而，该方法同时受飞手的火情探查能力、飞行器操作能力、火场环境恶劣程度等多方面因素影响，无人机救援工作对飞手的操纵能力与综合素质是个很大的挑战；同时，由飞手判断无人机收集的信息再进行决策进行救援活动，环节较为复杂，中间会存在一定量的信息流失，同时救援行动的效率也会受到制约。在火场救援中，需要进一步提高火情探查的容错能力与稳定性。
5.因此，如何解决飞手操纵无人机收集火情信息效率低下，信息时效性不高的问题，提升决策的准确性及救援效率，已成为本领域技术人员亟需解决的技术问题。


技术实现要素：

6.鉴于上述问题，本发明提供至少解决上述部分技术问题的一种基于无人机、云平台与ar眼镜互联的智慧消防系统，通过无人机、云平台以及ar眼镜进行互联，将信息协同处理，并利用ar眼镜进行辅助定位，从而提高信息有效性，有利于准确的制定决策，提高救援效率。
7.为实现上述目的，本发明采取的技术方案为：
8.本发明实施例提供了一种基于无人机、云平台与ar眼镜互联的智慧消防系统，该系统包括：无人机，云平台和ar眼镜；其中：
9.所述无人机用于自主飞行前往火场，完成智能避障，在火场内进行火情勘察，并将火情数据上传至所述云平台；
10.所述云平台用于接收所述无人机回传的所述火情数据，对所述火情数据进行处理和存储，并将处理后的数据作为云端数据发送给决策端及所述ar眼镜；
11.所述ar眼镜用于接收所述云平台推送的云端数据及所述无人机传递的火情数据，同时获取所处现场信息，进行信息整合，通过所述云平台反馈至决策端。
12.进一步地，所述无人机包含传感器联动模块、数据互联装置、智能核处理器及电源
模组。
13.进一步地，所述传感器联动模块中包含：避障传感器、图像获取装置和云台；其中：
14.所述避障传感器用于获取无人机的速度及无人机与障碍物的距离位置信息；
15.所述图像获取装置用于采集火场图像；
16.所述云台用于无人机飞行时稳定所述避障传感器和所述图像获取装置。
17.进一步地，所述数据互联装置中包含：云平台通信模块和ar眼镜通信模块，用于使所述无人机与所述云平台及所述ar眼镜进行数据交互。
18.进一步地，所述智能核处理器中包含：避障模块、火情勘探模块和融合识别模块；其中：
19.所述避障模块中，利用所述避障传感器获取的信息作为输入，结合智能避障算法，计算出无人机的最优飞行路径，完成避障；
20.所述火情勘探模块中，利用所述图像获取装置采集的火场图像作为输入，对火场图像中火源位置进行判定与标注处理；
21.所述融合模块用于将所述无人机的运行参数和处理后的火场图像进行打包，通过所述数据互联装置传输于所述云平台及所述ar眼镜。
22.进一步地，所述云平台中包含：数据处理模块、数据存储模块和数据发送模块；其中：
23.所述数据处理模块用于对所述无人机的上传火情数据进行处理，处理方法包括：进行火情点的补正、火场被困人员情报的收集和最佳救援路线的推定；
24.所述数据存储模块用于存储云平台接收到的数据；
25.所述数据发送模块用于将处理后的数据作为云端数据发送于ar眼镜和决策端。
26.进一步地，所述ar眼镜的前端设置有高清摄像头。
27.进一步地，所述电源模组为可充电电池，由以下任一种构成：三元锂电池、磷酸铁锂电池、镍氢电池和铅酸蓄电池。
28.进一步地，所述避障传感器为毫米波雷达。
29.进一步地，所述图像获取装置为双目视觉摄像头。
30.与现有技术相比，本发明记载的一种基于无人机、云平台与ar眼镜互联的智慧消防系统，具有如下有益效果：
31.1.本发明提出的一种基于无人机、云平台与ar眼镜互联的智慧消防系统，通过无人机、云平台以及ar眼镜进行互联，将信息协同处理，并利用ar眼镜进行辅助定位，提高信息有效性，有利于准确的制定决策，提高救援效率。
32.2.该系统将救援人员的职能转换，从飞手中解放出来，进行信息纠察，在实现了无人机自主避障、勘察火情的功能后，降低了误报率，大大提高了信息的准确性。
33.3.在云端处理数据，不仅可以搭载高精度、高性能的数据处理算法，还可以及时推送消息，省去冗余的信息传递过程。
34.4.ar眼镜协同无人机进行信息整合，在辅助快速定位的同时提供多维度的数据支持，信息种类丰富。
35.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明
书、权利要求书、以及附图中所特别指出的结构来实现和获得。
36.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
37.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
38.图1为本发明实施例提供的一种基于无人机、云平台与ar眼镜互联的智慧消防系统框图。
39.图2为本发明实施例提供的无人机功能示意图。
40.图3为本发明实施例提供的云平台数据交互示意图。
41.图4为本发明实施例提供的ar眼镜结构示意图。
具体实施方式
42.为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
43.在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”“前端”、“后端”、“两端”、“一端”、“另一端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
44.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“包含”、“设置有”、“连接”等，应做广义理解，例如“连接”，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
45.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
46.参见图1所示，本发明实施例提供了一种基于无人机、云平台与ar眼镜互联的智慧消防系统，具体包括：无人机，云平台和ar眼镜；其中：
47.无人机负责在无飞手操控的情况下自主飞行前往火场，完成智能避障，在火场内进行火情勘察，采集火情数据，并将火情数据上传至云平台，并等待云平台的移动、待机以及返航等指令；
48.云平台接收无人机回传的火情数据，对火情数据进行处理和存储，并将处理后的数据作为云端数据发送给决策端及ar眼镜；
49.云平台是信息整合、处理的核心，云平台会收到来自决策端，无人机侧以及ar眼镜侧等不同的数据信息，而根据这些信息云平台需要做到对无人机状态的监视，对上级决策的执行，对ar眼镜侧反馈信息进行接收，完成火情确认、火情分级以及火情图片的定向传递
等任务。
50.ar眼镜为救援人员佩戴的增强现实装备，用于接收云平台推送的云端数据和无人机传递的现场数据(其中包含有火情数据)；本实施例中，ar眼镜的前端设置有高清摄像头，可以同时获取所处现场信息，即ar眼镜获取到消防救援人员所处环境的现场图像；再将这些信息进行打包整合，通过云平台反馈至决策端。
51.在本实施例中，ar眼镜是可视化数据的接收端，同时也是反馈数据的输入端，例如；在决策端位于救援指挥中心时，决策端联接监视屏幕，决策人员可以根据ar眼镜反馈的增强现实的、直观可视的数据更准确、高效地制定决策；而救援人员在救援现场的安全区域对无人机采集到的火情信息进行判断，可以更全面地制定具体的救援方案。
52.如图2所示，无人机包含有传感器联动模块、数据互联装置、智能核处理器及电源模组。
53.其中，无人机的传感器联动模块中至少包含：避障传感器、图像获取装置和云台；在本实施例中，避障传感器优选的采用毫米波雷达，用于精准的获取无人机的速度及无人机与障碍物的距离位置信息；图像获取装置优选的采用双目视觉摄像头，用于有效的采集火场图像；云台为三轴机械云台，用于无人机飞行时稳定避障传感器和图像获取装置，保持水平，不产生抖动。
54.如图2所示，无人机的数据互联装置中包含：云平台通信模块和ar眼镜通信模块，用于使无人机与云平台及ar眼镜进行数据交互。
55.如图2所示，无人机的智能核处理器中至少包含：避障模块、火情勘探模块和融合识别模块；其中：避障模块中，利用毫米波雷达获取的信息作为输入，结合智能避障算法，计算出无人机的最优飞行路径，完成避障；火情勘探模块中，利用双目视觉摄像头采集的火场图像作为输入，对火场图像中火源位置进行判定与标注处理；融合模块用于将无人机的运行参数(例如，经纬高、电量、速度等关键参数)和处理后的火场图像进行打包，通过云平台通信模块和ar眼镜通信模块传输于云平台及ar眼镜。
56.在本实施例中，无人机的电源模组为可充电电池，可由以下任一种构成：三元锂电池、磷酸铁锂电池、镍氢电池和铅酸蓄电池，考虑成本及重量优选的采用为三元锂电池。
57.本发明中未表明的无人机及ar眼镜的其他功能及结构组成，可从现有的无人机技术及ar眼镜技术中获得，在此不作过多陈述。
58.在本实施例中，云平台中包含有：数据处理模块、数据存储模块和数据发送模块；其中：数据处理模块对无人机的上传火情数据进行处理，处理方法至少包括：进行火情点的补正、火场被困人员情报的收集和最佳救援路线的推定等；数据存储模块将云平台接收到的数据进行存储；数据发送模块用于将处理后的数据作为云端数据发送给ar眼镜和决策端；云平台的数据交互如图3所示。
59.在本实施例中，决策端可以安装在指挥中心的监控系统中，通过监控大屏幕进行数据展示、也可以是app安装在移动终端设备(例如手机、ipad和笔记本等)中进行数据查看，还可以是网页端，通过点击网页展示浏览火情数据；或者是其他客户端等接收云平台的数据完成信息的交互，在此不做限定。
60.在本实施例中，ar眼镜作为救援人员的单兵装置，其中主要配备了和救援队员共视的摄像头，和云平台互联的模块；ar眼镜的结构如图4所示。
61.救援人员通过佩戴ar眼镜，可以直观、立体的接收无人机回传的火情信息，并可以拍摄救援人员所处的环境影像，从而使救援人员的职能从“飞手”转化为“纠察员”，更有利于决策的制定，在无人机因极端情况无法完成任务的情况下及时反馈正确信息，避免进一步的损失。
62.进一步地，以决策端位于消防指挥中心为例，使用本发明的智慧消防系统救援步骤如下所示：
63.第一步：无人机自主飞行前往火场，完成智能避障，在火场内完成火情勘察后，将数据上传至云平台。
64.第二步：云平台侧接收无人机回传的数据，进行初步处理后，将数据发送给救援现场随行的救援人员与指挥中心。
65.第三步：指挥中心制定决策，上传云平台，期间现场救援人员随时根据现场情况进行反馈，ar眼镜协同无人机进行信息整合，将单机侧回传的地理位置、火场温度以及多个机载传感器信息连同眼镜端的数据整理成数据包，并确认单机侧火情的检测情况，将数据包与确认结果传至平台，修正无人机发送信息。
66.第四步：救援工作开展，无人机接收指令顺利返航。
67.下面以具体的实施例对本发明的一种基于无人机、云平台与ar眼镜互联的智慧消防系统，进行详细说明。
68.当火情发生时，救援人员到达现场，制定好飞行区域；解锁无人机，无人机依靠毫米波雷达以及内置的智能避障模块，自主前往火情现场进行信息收集。当无人机到达火情现场时，利用配置的双目视觉摄像头采集现场图像数据，对现场图像数据进行预处理，对图像中疑似火源的位置进行判定与标注，初步甄别火情；然后将拍摄到的现场图像上传至云平台。
69.当云平台收到无人机上送的图像后，进行二次处理，比如进行火情点的补正，火场被困人员情报的收集，最佳救援路线的推定等等。进行二次处理后，再将信息分别推送给指挥中心以及现场救援人员。
70.救援人员通过佩戴ar眼镜接收云平台推送的信息，同时救援人员也会接收无人机侧直接传递过来的信息，结合与救援人员共视的摄像头获取的信息，及时对火情现场信息进行纠察，判断单机侧对火情发生情况、火情分级等信息的准确性，将ar眼镜与无人机获取的信息协同上送云平台，保证信息的有效性。
71.当指挥中心通过决策端获取到无人机的火场图像等信息后，制定科学决策与高效的救援方案，在制定的过程中随时接收救援人员的反馈信息，对决策进行改正，最终将决策下放到救援人员，最终安全、高效完成火场救援任务。
72.本发明实施例提供的一种基于无人机、云平台与ar眼镜互联的智慧消防系统，通过无人机、云平台以及ar眼镜的互联，有效地提高消防救援活动的成功率与安全性。该系统具有单机自主智能进行火情勘察，大数据云平台高效处理火场数据，救援人员佩戴ar眼镜实景化信息辅助决策的优势，体现智慧消防、科学决策的理念。通过该系统将救援人员的职能转换，从飞手中解放出来，进行信息纠察，在实现了无人机自主避障、勘察火情的功能后，降低了误报率，大大提高了信息的准确性。在云端处理数据，不仅可以搭载高精度、高性能的数据处理算法，还可以及时推送消息，省去冗余的信息传递过程。ar眼镜协同无人机进行
信息整合，在辅助快速定位的同时提供多维度的数据支持，信息种类丰富。
73.本发明的创新点是以无人机智能算法为基础，从转变飞手的职能出发，通过无人机、云平台以及ar眼镜进行信息协同处理，利用ar眼镜接收到可视化与多维化的数据，进行辅助定位，从而达到提高信息有效性、更有利于决策的制定，促进智慧消防体系建设的目的。并且，由于避障功能与火情识别功能均由无人机自主完成，从而使救援人员的职能从“飞手”转化为“纠察员”，通过ar眼镜直观、立体的接收无人机回传的火情信息，在形成“双保险”的同时进行信息纠错，在无人机因极端情况无法完成任务的情况下及时反馈正确信息，避免进一步的损失；预计本发明在未来的智慧消防体系中将发挥不可替代的作用，具有强烈的指导意义。
74.显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。