一种铁路栅栏场景建模和场景视频监控叠加的方法与流程

本发明涉及铁路维护，具体为一种铁路栅栏场景建模和场景视频监控叠加的方法。

背景技术：

1、随着无人机技术的快速发展，其在铁路线路巡检中的应用变得越来越普遍。传统的铁路巡检主要依赖于人工视察，这种方式不仅耗时耗力，而且在一些难以接近的地区难以实施。近年来，使用无人机进行铁路沿线的巡检和监测，尤其是对于铁路防护栅栏的检查，已经成为一种有效的方法。无人机可以快速、高效地在低空飞行，采集沿线的遥感影像，为铁路的安全运营提供支持。

2、现有技术中的缺点：

3、数据管理和处理的复杂性：由于巡检的范围广泛，生成的数据量大，如果没有有效的数据管理系统，很容易导致数据混乱或丢失。

4、影像精度和分辨率限制：传统的遥感影像可能在分辨率和精度上有限制，尤其是在复杂地形或气候条件下。

5、三维建模和分析的技术挑战：将二维影像转换为三维模型需要复杂的处理，且在精确性和实时性方面可能存在挑战。

技术实现思路

1、针对现有技术的不足，本发明提供了一种铁路栅栏场景建模和场景视频监控叠加的方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种铁路栅栏场景建模和场景视频监控叠加的方法，包括以下步骤：

3、s1、预设无人机所航拍铁路沿线栅栏的坐标点信息；

4、s2、预设无人机航拍设置；

5、s3、进行影像数据的管理，编制专门目录；

6、s4、进行全景图拼接，对铁路沿线进行标识；

7、s5、将gis和三维模型集成，建立三维场景；

8、s6、进行关键帧的提取，通过对比分析相邻帧颜色、亮度、纹理的特征值的差异来确定关键帧；

9、s7、进行三维场景中摄像机位姿估计；

10、s8、通过cesium实现视频画面至三维场景映射，在cesium环境下完成三维场景和视频的叠加；

11、s9、输入铁路k里程后可快速查找防护栅栏位置，同时点击防护栅栏三维影像图快速调出该处栅栏的相关信息。

12、进一步优化本技术方案，所述步骤s2中，无人机航拍设置包括：

13、倾斜角度：设置无人机摄像头的倾斜角度在45°至55°之间，以获得最佳的拍摄效果；

14、飞行参数：选择飞行高度为150m，起飞点距离铁路沿线栅栏280m，飞行区距离铁路沿线栅栏的相对最近距离为180m；

15、航拍参数：在各个坐标点信息上执行低空航拍，避免飞越或靠近铁路线路，收集铁路沿线防护栅栏的遥感影像。

16、进一步优化本技术方案，所述步骤s3中，编制专门目录时，为每次航拍任务创建一个详细的目录，包括航拍日期、时间、地点、无人机飞行高度的信息；

17、其中，地点信息以铁路里程进行标记；

18、所述目录名称设置为(xx线xxkm+xxm-xxkm+xxm(xx年xx月xx日xx米高))。

19、进一步优化本技术方案，所述步骤s1和s2中，还包括航拍规划与坐标点设置的优化处理，使用genetic algorithm算法来优化无人机最佳的航拍坐标点，优化算法如下式所示：

20、[\text{minimize}\sum_{i＝1}^{n}d(p_i，p_{i+1})]

21、其中，(d(p_i，p_{i+1}))表示点(p_i)和(p_{i+1})之间的距离，(n)是总的坐标点数。

22、进一步优化本技术方案，所述步骤s4中，使用3米至200米间隔连续拍摄的方法，对重点区段进行密集拍摄，然后将这些图片进行全景拼接，形成铁路沿线的全景图；并对铁路沿线防护栅栏所处地形地貌、栅栏位置、河流、坡面、山体、周边建筑物进行标识；

23、基于坐标变换模型来调整和拼接图像，模型形式如下式所示：

24、[\begin{bmatrix}x'\y'\end{bmatrix}＝\begin{bmatrix}a&b\c&d\end{bmatrix}\begin{bmatrix}x\y\end{bmatrix}+\begin{bmatrix}e\f\end{bmatrix}]

25、其中，((x，y))是原始坐标，((x'，y'))是变换后的坐标，矩阵元素(a，b，c，d)和偏移量(e，f)由图像匹配算法确定。

26、进一步优化本技术方案，所述步骤s6中，基于视频内容分析的关键帧提取技术，根据各图像间颜色差异提取视频关键帧，将rgb色彩空间转为hsv色彩空间，通过计算特征量hsv进行关键帧的提取；

27、其中，关键帧提取的算法流程包括：

28、1)输入视频，提取视频的每1帧图像vi(i＝1，2，3，…，n)；

29、2)选取第1帧图像作为关键帧vkey，即vkey＝v1；

30、3)依次用后续帧图像vi，vi从i＝2开始与关键帧vkey做差，当差值超过所设阈值时，该后续帧再次选取为关键帧；后面的帧图像再与最近选取的关键帧vkey做比较，2帧图像差值小于原先设定的阈值，则不做任何处理，继续进行下一个帧图像；

31、4)按上述流程依次完成差值比较，直至整个提取过程结束。

32、进一步优化本技术方案，所述步骤s7中，进一步包括：

33、通过将镜头参数引入到旋转矩阵影像中进行外方位元素计算；根据欧拉旋转定理，当旋转角度为0时推出旋转矩阵其余2个特征值，求得三维旋转迹数，据此计算三维旋转的旋转角，通过旋转角来确定三维旋转矩阵；

34、假设像点在像空间辅助坐标系和像空间坐标系中坐标分别为(x，y，z)和(x，y，-f)，正交变换如下:

35、

36、

37、由公式(3)可知，进行2个空间直角坐标系变换必须确定正交矩阵r，像空间坐标系看成由像空间辅助坐标系相应坐标轴依次旋转φ、ω、κ角度所得，旋转矩阵r表达如下:

38、

39、把rω，rκ的乘积结果列出后，可得:

40、

41、

42、

43、b1＝cosωsinκ

44、b2＝cosωcosκ

45、

46、

47、

48、ω＝-arcsin(b3)

49、

50、假设以y轴为主轴转换系统的坐标转换:

51、

52、由上式可知，根据影像姿态角元素φ、ω、k可计算相应方向余弦，推算出正交矩阵r实现坐标系转换；同理，也可以根据各方向余弦求得影像的3个姿态角。

53、进一步优化本技术方案，在进行外方位元素计算时，根据欧拉旋转定理，当旋转角度为0时推出旋转矩阵其余2个特征值，求得三维旋转迹数，据此计算三维旋转的旋转角，通过旋转角来确定三维旋转矩阵。

54、进一步优化本技术方案，所述步骤s7中，进一步包括：

55、进行角姿态元素计算：在右手坐标系下，无人机摄像头的相机旋转角度可以通过角姿态元素计算，具体包括绕x轴的俯仰角(pitch)、绕y轴的偏航角(yaw)、以及绕z轴的翻滚角(roll)；

56、绕x轴的俯仰角，表示相机绕x轴的旋转；在右手坐标系下，正值表示向上旋转，计算时可以使用反正切函数；

57、绕y轴的偏航角，表示相机绕y轴的旋转；在右手坐标系下，正值表示向右旋转，计算时同样可以使用反正切函数；

58、绕z轴的翻滚角，表示相机绕z轴的旋转；在右手坐标系下，正值表示顺时针旋转，计算时同样可以使用反正切函数；

59、相机旋转矩阵的计算，将俯仰角、偏航角和翻滚角组合成相机的旋转矩阵，矩阵表示相机在三维场景中的姿态。

60、进一步优化本技术方案，将俯仰角、偏航角和翻滚角组合成相机的旋转矩阵，所述相机旋转矩阵为：

61、

62、与现有技术相比，本发明提供了一种铁路栅栏场景建模和场景视频监控叠加的方法，具备以下有益效果：

63、1、该铁路栅栏场景建模和场景视频监控叠加的方法，通过采用预设坐标及倾角的方法，可实现无死角自动拍摄，编制专门目录加以区别，避免造成影像处理时不同任务范围照片混杂，空三运算出现错误等意外导致数据全部丢失等情况。

64、2、该铁路栅栏场景建模和场景视频监控叠加的方法，通过设置将视频和关键帧图像以标签形式贴合到三维场景中，利用镜头参数解算外方位元素进行位姿估计，对视频进行处理后，将视频与提取的视频关键帧图像投射至相应位置，提升工作效率，精准高效地提取所需信息，实现铁路栅栏的高效管理。