一种视频和地图三维场景融合的方法、电子设备及存储介质与流程

本发明属于三维gis与视频融合，具体涉及一种视频和地图三维场景融合的方法、电子设备及存储介质。

背景技术：

1、在传统的视频监控系统中，监管人员需要同时观看多个分镜头画面，并且很难将零散的分镜头视频与其实际地理位置相对应，无法对大场景进行全局实时监测，也无法对历史事件进行快速回溯查找，海量零散监控视频资源既“看不过来”又“看不太懂”。

2、随着gis技术的飞速发展，三维gis视频融合技术应运而生，视频融合可以将摄像头实时画面投射到三维实景模型上，并可将相邻的画面进行拼接融合，拼接后形成一幅更大分辨率的画面，这种融合不会随着对三维模型的倾斜、旋转等操作而产生变形或者错位。

3、但在实际应用中，视频融合还存在以下问题：

4、1.视频投射到三维实景模型上的画面边缘锐利，像补丁一样贴在三维场景中，并没有达到最终融合的理想效果。

5、2.多路相邻视频想要做拼接，相邻视频监控的画面需要存在一定的重合度，边缘的锐利化会导致视频拼接产生画面叠加的视觉效果，让用户感觉拼接很乱。

6、综上可知，让视频完全融合到三维场景还需要对投射画面边缘做处理。

技术实现思路

1、本发明要解决的问题是提高视频和三维场景的融合效果，提出一种视频和地图三维场景融合的方法、电子设备及存储介质。

2、为实现上述目的，本发明通过以下技术方案实现：

3、一种视频和地图三维场景融合的方法，包括如下步骤：

4、s1.搭建gis地图引擎平台，得到地图三维场景；

5、s2.将视频流画面接入步骤s1得到的地图三维场景；

6、s3.创建地图相机姿势，根据摄像头的安装参数设置gis地图的摄像头参数，将监控图像和地图三维场景的同名点匹配重合，进行视频和地图三维场景的融合；

7、s4.对步骤s3得到的视频融合的地图三维场景配置贴地材质图片；

8、s5.根据二维纹理坐标修改步骤s4配置的贴地材质图片的颜色，进行图片边缘模糊虚化处理。

9、进一步的，步骤s1中web前端通过cesiumjs引擎渲染搭建gis地图三维场景。

10、进一步的，步骤s2中在地图三维场景中基于webrtc协议创建video幕布，调用webrtc-streamer.js将实时视频流画面在video幕布播放显示。

11、进一步的，步骤s3的具体实现方法包括如下步骤：

12、s3.1.在地图三维场景中通过cesium api的perspectivefrustum视锥体类传入摄像头参数，包括摄像头的视场角、画面宽高比、设备焦距、拍摄距离，将视锥体渲染到屏幕上；

13、s3.2.利用cesium.matrix4.multiplybymatrix3()的4*4旋转矩阵传入摄像头参数，包括摄像头的经度、纬度、高程、方位角、俯仰角、旋转角，获取摄像头的投影矩阵和视图矩阵；

14、s3.3.通过摄像头的vertices属性获取视锥体的顶点坐标，然后将顶点坐标通过cesium.matrix4.multiplybypoint从摄像头坐标转换为世界坐标系；

15、s3.4.先通过cesium.transforms.eastnorthuptofixedframe将场景模型转换矩阵，再创建video标签加入视频作为视频材质materials，最后创建场景模型primitive，将视频纹理与场景模型modelmatrix绑定，并传入视频材质materials；

16、s3.5.利用地形的高度信息调整地形网格的高度值，使得地形的高度在视锥体内与摄像头的高度相匹配。

17、进一步的，步骤s4利用cesium api的primitive实体中提供的material的材质设置贴地材质图片，通过纹理图片alphaimage属性加入一张边框为黑白渐变的白底图片。

18、进一步的，步骤s5利用material的components属性传入uniforms参数texture2d(alphaimage,fract(materialinput.st)).rgb，改变图片的透明度，运用加权平均法将一个点的像素值用其周围的点的像素值的加权平均代替，从而实现边缘模糊虚化，加权平均的计算表达式为：

19、

20、其中，为加权平均值，wt为与第t个像素值相关联的权重，yt为像素值，t为n中的任意一个，n为图片中全部像素点的个数。

21、一种电子设备，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现所述的一种视频和地图三维场景融合的方法的步骤。

22、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种视频和地图三维场景融合的方法。

23、本发明的有益效果：

24、本发明所述的一种视频和地图三维场景融合的方法，视频投射到三维实景模型上，消除了画面边缘的锐利化效果，画面边缘重合度良好，使得视频画面可以和地图三维场景完美契合，消除融合边缘产生的锯齿感，给使用者更好的视觉感受。

技术特征：

1.一种视频和地图三维场景融合的方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的一种视频和地图三维场景融合的方法，其特征在于，步骤s1中web前端通过cesiumjs引擎渲染搭建gis地图三维场景。

3.根据权利要求1或2所述的一种视频和地图三维场景融合的方法，其特征在于，步骤s2中在地图三维场景中基于webrtc协议创建video幕布，调用webrtc-streamer.js将实时视频流画面在video幕布播放显示。

4.根据权利要求3所述的一种视频和地图三维场景融合的方法，其特征在于，步骤s3的具体实现方法包括如下步骤：

5.根据权利要求4所述的一种视频和地图三维场景融合的方法，其特征在于，步骤s4利用cesium api的primitive实体中提供的material的材质设置贴地材质图片，通过纹理图片alphaimage属性加入一张边框为黑白渐变的白底图片。

6.根据权利要求5所述的一种视频和地图三维场景融合的方法，其特征在于，步骤s5利用material的components属性传入uniforms参数texture2d(alphaimage,fract(materialinput.st)).rgb，改变图片的透明度，运用加权平均法将一个点的像素值用其周围的点的像素值的加权平均代替，从而实现边缘模糊虚化，加权平均的计算表达式为：

7.一种电子设备，其特征在于，包括存储器和处理器，存储器存储有计算机程序，所述的处理器执行所述计算机程序时实现权利要求1-7任一项所述的一种视频和地图三维场景融合的方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的一种视频和地图三维场景融合的方法。

技术总结
一种视频和地图三维场景融合的方法、电子设备及存储介质，属于三维GIS与视频融合技术领域。为提高视频和三维场景的融合效果，本发明搭建GIS地图引擎平台，得到地图三维场景；将视频流画面接入步骤S1得到的地图三维场景；创建地图相机姿势，根据摄像头的安装参数设置GIS地图的摄像头参数，将监控图像和地图三维场景的同名点匹配重合，进行视频和地图三维场景的融合；对视频融合的地图三维场景配置贴地材质图片；根据二维纹理坐标修改配置的贴地材质图片的颜色，进行图片边缘模糊虚化处理。本发明视频投射到三维实景模型上，消除了画面边缘的锐利化效果，画面边缘重合度良好。

技术研发人员：朱凯博,王超,白雪,李凯辉
受保护的技术使用者：大庆安瑞达科技开发有限公司
技术研发日：
技术公布日：2024/2/6