一种基于无人机的消防应急救援实景三维建模方法及系统与流程

【】本发明涉及无人机，尤其涉及一种基于无人机的消防应急救援实景三维建模方法及系统。

背景技术

0、
背景技术：

1、随着城市建筑不断增加，面临的重大特大火灾也时有发生。在火灾发生后，现场环境非常复杂，救援人员工作的开展相当困难。同时，由于火灾现场环境复杂，救援人员时刻面临着巨大的危险，严重危及着救援人员的生命安全。因而，能够在极短的时间内掌握受灾现场的地理位置信息以及相关参数显得尤为重要，为营救受困人员与保护国家人民财产创造有利条件。

2、当前，随着无人机的迅速发展，无人机具备机动灵活、成本低廉；视野全面、全局性强；拓展性强、适用广泛等特点，在消防应急救援中得到广泛应用。有人提出将5g与无人机技术应用于危化品仓库火灾应急救援，能够实现现场拍摄画面的实时图传；有人提出借助无人机构建三维消防辅助救援系统，对无人机采集的实时数据进行云端数学建模和计算处理，预测火灾可能的演变路径和灾变过程，形成根据实时灾害信息动态调整的消防救援决策方案等，在一定基础上提供消防救援人员灾变信息，提高了灭火救援效率。但是，对于地图位置与三维建模未进行绑定，建筑地理位置发生变化时，三维建模会发生偏差；此外，对于建筑室内地图未进行三维建模，更没有室内消防设施信息标注，无法提供全要素消防信息。本专利提出借助无人机倾斜摄影技术，通过专用软件进行航拍线路规划和三维建模。同时，将建筑地理位置与构建的三维模型进行位置绑定，加以自动纠偏或者手动纠偏的方式，使得两者高度吻合。更为重要的是，笔者还针对建筑进行室内三维地图的构建，标注全要素的消防设施信息，包括消防电梯、防火门、消火栓等，有力支撑多变的灾害现场灭火救援指挥决策。

3、因此，有必要研究一种基于无人机的消防应急救援实景三维建模方法及系统来应对现有技术的不足，以解决或减轻上述一个或多个问题。

技术实现思路

0、
技术实现要素：

1、有鉴于此，本发明提供了一种基于无人机的消防应急救援实景三维建模方法及系统，借助无人机、倾斜摄影、5g、图像识别、室内定位、混合现实(mixed reality，mr)等技术，实现室内外一体的动态匹配建筑实景三模建模，能够实时掌握火灾现场的动态信息，依据现场突发情况能够更加及时、精准、高效地更新消防预案，为应急救援提供科学、合理的辅助决策，满足现有的火灾应急救援实战需要。

2、一方面，本发明提供一种基于无人机的消防应急救援实景三维建模方法，所述三维建模方法包括：

3、s1：通过无人机进行建筑物拍摄，获取图像信息；

4、s2：对图像信息进行特征点分析，建立图像和实物的对应关系；

5、s3：通过三维建模引擎，生成建筑三维模型并与图像信息进行位置匹配，建立图像和模型的对应关系；

6、s4：融合图像和实物的对应关系以及图像和模型的对应关系，生成图像、实物和模型的三者对应关系；

7、s5：通过混合现实技术将三者对应关系转换为虚拟三维模型，并在移动载体上呈现；

8、s6：将移动载体上的虚拟三维模型与真实建筑进行匹配和纠偏，完成实景三维建模。

9、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述s2中建立图像和实物的对应关系具体为：采用sift算子计算图片每个像素点的特征；拍摄过程中形成多张实物关键点图片，根据关键点对实物图片进行命名，根据特征点分析结果，建立特征点与实物关键点的对应关系。对应关系以二元组呈现：<特征点，实物点>。

10、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述s3中建立图像和模型的对应关系具体为：通过上步得到的特征点，对多张图片像素做匹配对应，从而估计相机参数，得到稀疏的3d信息，根据得到的相机参数，做稠密重建，得到点云，从而实现特征点到模型结构点的映射。对应关系以二元组呈现：<特征点，模型点>。

11、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述s4中生成图像、实物和模型的三者对应关系具体为：根据<特征点，实物点>、<特征点，模型点>构建三者之间的对应关系<特征点，模型点，实物点>。

12、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述s5中通过混合现实技术将三者对应关系转换为虚拟三维模型具体为：根据稀疏的3d信息和相机参数，做稠密重建，得到点云，并对点云做后处理，得到网格，去除噪声点等，然后得到虚拟三维模型。

13、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述s6中匹配方法具体为：根据上述构建的<特征点，模型点，实物点>关系，对实物点和虚拟三维模型中点进行匹配。

14、如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述s6中纠偏方法具体为：根据上述构建的<特征点，模型点，实物点>关系，对实物点和虚拟三维模型中点进行纠偏。

15、如上所述的方面和任一可能的实现方式，进一步提供一种基于无人机的消防应急救援实景三维建模系统，所述三维建模系统包括：

16、图像信息获取模块，用于通过无人机进行建筑物拍摄，获取图像信息；

17、特征点分析模块，用于对图像信息进行特征点分析，建立图像和实物的对应关系；

18、建筑模型匹配模块，用于通过三维建模引擎，生成建筑三维模型并与图像信息进行位置匹配，建立图像和模型的对应关系；

19、数据融合模块，用于融合图像和实物的对应关系以及图像和模型的对应关系，生成图像、实物和模型的三者对应关系；

20、虚拟建模模块，通过混合现实技术将三者对应关系转换为虚拟三维模型，并在移动载体上呈现；

21、实景建模模块，用于将移动载体上的虚拟三维模型与真实建筑进行匹配和纠偏，完成实景三维建模。

22、如上所述的方面和任一可能的实现方式，进一步提供一种可读存储介质，包括：存储器，所述存储器存储有程序；处理器，所述处理器执行所述程序时实现任一项所述的三维建模方法。

23、与现有技术相比，本发明可以获得包括以下技术效果：

24、本发明可以实现建筑地理位置与三维模型的位置绑定，加以自动纠偏或者手动纠偏的方式，使得两者高度吻合，精度可以达到厘米级，远远优于现有的分米级精度。更为重要的是，本专利还针对建筑进行室内三维地图的构建，标注全要素的消防设施信息，包括消防电梯、防火门、消火栓等，结合三维可视化消防救援预案，可以在构建完成的实景三维模型上标识消防救援人员、消防车辆以及装备的实时位置信息，更加直观、快速和准确。

25、当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有技术效果。

技术特征：

1.一种基于无人机的消防应急救援实景三维建模方法，其特征在于，所述三维建模方法包括：

2.根据权利要求1所述的三维建模方法，其特征在于，所述s2中建立图像和实物的对应关系具体为：采用sift算子计算图片每个像素点的特征；拍摄过程中形成多张实物关键点图片，根据关键点对实物图片进行命名，根据特征点分析结果，建立特征点与实物关键点的对应关系，对应关系以二元组呈现：<特征点，实物点>。

3.根据权利要求2所述的三维建模方法，其特征在于，所述s3中建立图像和模型的对应关系具体为：通过s2得到的特征点，对多张图片像素做匹配对应，从而估计相机参数，得到稀疏的3d信息，根据得到的相机参数，做稠密重建，得到点云，从而实现特征点到模型结构点的映射，对应关系以二元组呈现：<特征点，模型点>。

4.根据权利要求3所述的三维建模方法，其特征在于，所述s4中生成图像、实物和模型的三者对应关系具体为：根据<特征点，实物点>、<特征点，模型点>构建三者之间的对应关系<特征点，模型点，实物点>。

5.根据权利要求4所述的三维建模方法，其特征在于，所述s5中通过混合现实技术将三者对应关系转换为虚拟三维模型具体为：根据稀疏的3d信息和相机参数，做稠密重建，得到点云，并对点云做后处理，得到网格和去除噪声点，然后得到虚拟三维模型。

6.根据权利要求5所述的三维建模方法，其特征在于，所述s6中匹配方法具体为：根据上述构建的<特征点，模型点，实物点>关系，对实物点和虚拟三维模型中点进行匹配。

7.根据权利要求6所述的三维建模方法，其特征在于，所述s6中纠偏方法具体为：根据上述构建的<特征点，模型点，实物点>关系，对实物点和虚拟三维模型中点进行纠偏。

8.一种基于无人机的消防应急救援实景三维建模系统，基于上述权利要求1-7之一所述的三维建模方法，其特征在于，所述三维建模系统包括：

9.一种可读存储介质，包括：存储器，所述存储器存储有程序；处理器，所述处理器执行所述程序时实现如权利要求1至7中任一项所述的三维建模方法。

技术总结
本发明提供了一种基于无人机的消防应急救援实景三维建模方法及系统，三维建模方法包括S1：通过无人机进行建筑物拍摄，获取图像信息；S2：对图像信息进行特征点分析，建立图像和实物的对应关系；S3：通过三维建模引擎，生成建筑三维模型并与图像信息进行位置匹配，建立图像和模型的对应关系；S4：融合图像和实物的对应关系以及图像和模型的对应关系，生成图像、实物和模型的三者对应关系；S5：通过混合现实技术将三者对应关系转换为虚拟三维模型，并在移动载体上呈现；S6：将移动载体上的虚拟三维模型与真实建筑进行匹配和纠偏，完成实景三维建模。

技术研发人员：滕波
受保护的技术使用者：上海网罗电子科技有限公司
技术研发日：
技术公布日：2024/1/12