三维模型与视频进行融合的方法以及存储介质与流程

本发明涉及视频监控，具体涉及一种三维模型与视频进行融合的方法以及存储介质。

背景技术：

1、传统的视频监控往往是通过若干单独的显示器呈现多个监控画面，监控人员必须细心观察这些图像，并且要清楚地了解每个视频图像拍摄地所在的位置，才能实现有效安全监控。当监控站点的规模变得超过人们的检测能力时，就会出现严重的问题。

2、三维模型与视频融合可视化技术通过将采集的视频数据投影到真实场景中，监控人员能快速直观地察看目标位置上的所有视频，而无需从大量视频中过滤出目标视频，也不需要在大脑中构建位置和视频的映射。由于视频与真实地理环境融合，视频采集的信息得到了空间延伸，能方便自然地跟踪动态目标并预测移动位置，为后续应急指挥、资源调度等决策提供基础保障。

3、但是，目前的三维模型与视频融合技术还存在如下不足：

4、(1)通过cad(computer aided design，计算机辅助设计)等图纸手工构建的三维场景信息量少，模型基础数据来源不足，模型精度不够；

5、(2)采用的三维可视化引擎不支持pbr(physical based render)真实感渲染，三维场景的可视化效果较为生硬，在与视频融合可视化时效果不够真实自然；

6、(3)视频和三维场景没有真正融合，只是简单地将二维的监控视频与三维场景结合在一起，通常是将摄像头作为标记放在三维场景，通过打开标记显示在二维面板中显示视频，融合效果差；

7、(4)当没有摄像机外参数据时，需要通过手工不断在场景中进行移动旋转等调整，以获得正确的摄像机位置，工作量大且繁琐；

8、(5)需要额外创建mesh(三角面片)面用来播放视频纹理，工作量大且对原有的三维模型可视化有影响。

技术实现思路

1、为了解决现有技术中的上述问题，本发明提出了一种三维模型与视频进行融合的方法以及存储介质，提高了视频融合的效果。

2、本发明的一方面，提出一种三维模型与视频进行融合的方法，所述方法包括：

3、根据多源数据构建三维场景模型；

4、在视频图像和所述三维场景模型中分别选择对应的特征点，组成特征点对；

5、根据摄像机的内参数据和所述特征点对的坐标，利用pnp(perspective-n-points)算法解算所述摄像机在世界坐标系下的位姿；

6、若所述pnp算法失效，则根据所述特征点对的坐标、所述摄像机中心点的位置范围、中心轴的角度范围和旋转角的范围，通过迭代计算确定所述摄像机的位姿；

7、根据所述摄像机的位姿将视频数据投影到所述三维场景模型中。

8、优选地，所述多源数据包括：三维模型数据、bim(building informationmodeling，建筑信息模型)模型数据、倾斜摄影数据、gis(geographic informationsystem，地理信息系统)矢量数据、地形数据和遥感影像数据；

9、“根据多源数据构建三维场景模型”的步骤包括：

10、在游戏引擎中扩展地理坐标模块，得到三维引擎；所述三维引擎支持带地理坐标的二三维地理空间数据；

11、设置三维场景的原点，建立地理坐标与所述三维引擎坐标的转换关系；

12、将所述地形数据转换为地形瓦片格式，并加载到所述三维引擎中；

13、将所述gis矢量数据和所述遥感影像数据转换为瓦片格式，并加载到所述三维引擎中；

14、将所述倾斜摄影数据加载到所述三维引擎中；

15、将所述三维模型数据和所述bim模型数据通过地理参考进行配准，并加载到所述三维引擎中，生成所述三维场景模型。

16、优选地，“在视频图像和所述三维场景模型中分别选择对应的特征点，组成特征点对”的步骤包括：

17、选择所述摄像机拍摄的一帧视频图像，并矫正畸变；

18、在所述视频图像中选取预设数量的第一特征点；

19、在所述三维场景模型中确定每个所述第一特征点的对应位置，得到第二特征点；所述第一特征点与所述第二特征点一一对应，构成所述预设数量的所述特征点对。

20、优选地，“若所述pnp算法失效，则根据所述特征点对的坐标、所述摄像机中心点的位置范围、中心轴的角度范围和旋转角的范围，通过迭代计算确定所述摄像机的位姿”的步骤包括：

21、获取所述摄像机的粗略位置；

22、以所述粗略位置为中心生成单位球面，并对所述单位球面进行细分，形成多边形网格；

23、根据所述特征点对的位置、所述粗略位置和每个所述多边形网格中心点的连线所形成的中心轴，以及所述摄像机沿该中心轴的每个旋转角，通过迭代计算确定所述摄像机的粗略中心轴；

24、以所述粗略中心轴为中心设置所述摄像机中心轴的角度范围，形成球扇形；

25、以所述粗略位置为中心创建所述摄像机中心点的范围立方体，并对所述范围立方体进行细分，形成立方体网格；

26、对所述摄像机沿所述粗略中心轴的旋转角进行细分；

27、根据所述特征点对的坐标、每个所述立方体网格的中心点、穿过所述球扇形范围内所述多边形网格中心点所形成的每个中心轴，以及细分后的每个旋转角，通过迭代计算确定所述摄像机的位姿。

28、优选地，“根据所述特征点对的位置、所述粗略位置和每个所述多边形网格中心点的连线所形成的中心轴，以及所述摄像机沿该中心轴的每个旋转角，通过迭代计算确定所述摄像机的粗略中心轴”的步骤包括：

29、迭代所述粗略位置和所述单位球面上每个多边形网格中心点的连线所形成的中心轴，迭代所述摄像机沿该中心轴的旋转角，形成若干个坐标系a；

30、在每个所述坐标系a下，计算所述粗略位置穿过每个特征点对中的所述第一特征点形成的像素点矢量，以及穿过该特征点对中的所述第二特征点形成的场景点矢量；

31、在每个所述坐标系a下，按照下式计算每个所述像素点矢量和对应的所述场景点矢量的夹角：

32、

33、其中，vpi和vri分别为第i个所述像素点矢量和对应的第i个所述场景点矢量；θi为vpi和vri之间的夹角；

34、在每个所述坐标系a下，根据下式计算所述夹角的均值：

35、

36、其中，n为所述特征点对的数量，预设值；

37、在每个所述坐标系a下，根据下式计算所述夹角的方差：

38、

39、根据所述均值和所述方差的加权和选取最优的所述坐标系a，进而确定所述摄像机的位姿；

40、在每个所述坐标系a下，按照下式计算所述均值和所述方差的加权和：

41、

42、其中，m为所述坐标系a的总数量；w1和w2分别为所述均值的权重和所述方差的权重；

43、选择所述加权和的最小值所对应的坐标系，作为最优的所述坐标系a；

44、根据最优的所述坐标系a，确定所述粗略中心轴。

45、优选地，“根据所述特征点对的坐标、每个所述立方体网格的中心点、穿过所述球扇形范围内所述多边形网格中心点所形成的每个中心轴，以及细分后的每个旋转角，通过迭代计算确定所述摄像机的位姿”的步骤包括：

46、迭代每个所述立方体网格的中心点，迭代穿过所述球扇形范围内每个所述多边形网格中心点所形成的中心轴，迭代每个细分的旋转角，形成若干个坐标系c；

47、在每个所述坐标系c下，针对每个所述特征点对，计算所述摄像机中心点穿过该特征点对中的所述第一特征点形成的像素点矢量，以及穿过该特征点对中的所述第二特征点形成的场景点矢量；

48、在每个所述坐标系c下，按照下式计算每个所述像素点矢量和对应的所述场景点矢量的夹角：

49、

50、其中，vpi和vri分别为第i个所述像素点矢量和对应的第i个所述场景点矢量；θi为vpi和vri之间的夹角；

51、在每个所述坐标系c下，根据下式计算所述夹角的均值：

52、

53、其中，n为所述特征点对的数量，预设值；

54、在每个所述坐标系c下，根据下式计算所述夹角的方差：

55、

56、根据所述均值和所述方差的加权和选取最优的所述坐标系c，进而确定所述摄像机的位姿。

57、优选地，所述预设的权重包括：所述均值的权重和所述方差的权重；

58、所述摄像机的位姿包括：所述摄像机中心点的位置、中心轴的角度和旋转角度；

59、“根据所述均值和所述方差的加权和选取最优的所述坐标系c，进而确定所述摄像机的位姿”的步骤包括：

60、在每个所述坐标系c下，按照下式计算所述均值和所述方差的加权和：

61、

62、选择所述加权和的最小值所对应的坐标系，作为最优的所述坐标系c；

63、根据最优的所述坐标系c，确定所述摄像机中心点的位置、中心轴的角度和旋转角度；

64、其中，m为所述坐标系c的总数量；w1和w2分别为所述均值的权重和所述方差的权重。

65、优选地，“获取所述摄像机的粗略位置”的步骤包括：

66、通过测绘方式获得所述摄像机的粗略位置；或者，

67、根据所述摄像机的实际空间位置和关系，在所述三维场景模型中手工捕获所述摄像机的粗略位置。

68、优选地，“根据所述摄像机的位姿将视频数据投影到所述三维场景模型中”的步骤包括：

69、基于直接投影技术，将视频数据通过虚拟摄像机使用深度图和延迟贴花技术投影在所述三维场景模型的表面。

70、本发明的另一方面，提出一种计算机可读存储介质，存储有能够被处理器加载并执行如上面所述方法的计算机程序。

71、本发明具有如下有益效果：

72、本发明采用高真实感的游戏引擎，在此基础上集成三维模型数据、bim模型数据、倾斜摄影数据、gis矢量数据、地形数据和遥感影像等数据构建三维场景，使得场景更加逼真，与视频数据融合后更加自然，具有沉浸感。

73、解算摄像机位姿时，先利用pnp算法进行解算，当pnp算法失效时，通过视频图像和三维场景的特征点对，依据算法反算出摄像机在场景中的位置和朝向数据。本发明能快速地将摄像机放到场景中正确的位置，保证投影到场景中的视频能与三维场景匹配，实现了紧密融合，在空间上场景和视频融为一体，便于视频查看和目标追踪。

74、基于直接投影技术，将视频通过虚拟摄像机使用深度图和延迟贴花技术投影在场景表面，不仅避免了额外创建mesh面，而且可支持移动视频设备，比如转台摄像机等，只需同样的速度、方向移动虚拟摄像机。