一种飞行无人机影像抓取方法、系统、设备及储存介质与流程

本发明涉及无人机，特别是指一种飞行无人机影像抓取方法、系统、设备及储存介质。

背景技术：

1、传统的公路巡检和违法行为抓拍通常依赖人工进行。工人需要驾驶车辆沿公路巡视，或设置监控摄像头进行抓拍。这种方法效率低下，无法全面覆盖公路网络，存在监管盲区。

2、随着无人机和计算机视觉技术的发展，利用无人机进行公路巡检已成为一种新兴的监管手段。无人机可以覆盖广阔的区域，具有作业效率高、成本低的优点。

3、目前传统无人机巡检，可以扩大巡检范围，但无人机飞行航线需要人工遥控，自动化程度不高。对公路路况信息的采集与分析还主要依靠人工。目前现有的无人机自主飞行技术，有的可以根据预设航线进行自动飞行，但有的无法根据实时路况进行优化修改，缺乏与计算机视觉技术的深度结合应用。

技术实现思路

1、本发明要解决的技术问题是提供一种飞行无人机影像抓取方法、系统、设备及储存介质，实现了对公路路况的全自动监测和违法抓拍。

2、为解决上述技术问题，本发明的技术方案如下：

3、第一方面，一种飞行无人机影像抓取方法，所述方法包括：获取地理位置数据和地形特征，并根据地理位置数据和地形特征，自动生成最终的无人机飞行航线；根据所述飞行航线，无人机在飞行过程中进行巡检，利用深度学习的图像识别方法，实时调整吊仓角度以确保公路图像始终位于画面中央；使用深度学习和计算机视觉方法，对公路中的车道线及物体进行自动识别，实时分析违法行车行为和路况安全隐患，以得到分析结果；根据所述分析结果，无人机通过摄像头进行车牌自动抓拍，以得到图像数据。

4、进一步的，获取地理位置数据和地形特征，并根据地理位置数据和地形特征，自动生成最终的无人机飞行航线，包括：利用地理信息系统从多源地理数据库中获取地理位置数据和地形特征，并获取飞行环境因素数据；根据地理位置数据和地形特征，以及飞行环境因素数据，使用路径规划算法生成初步飞行航线；根据历史的飞行数据和巡检结果，以及实际的飞行情况，对初步飞行航线进行优化，以得到最终的无人机飞行航线。

5、进一步的，根据地理位置数据和地形特征，以及飞行环境因素数据，使用路径规划算法生成初步飞行航线，包括：根据获取的地理位置数据、地形特征以及飞行环境因素数据，生成代表飞行环境的图形数据；将图形数据和代价函数输入到路径规划算法中，计算出从起点到终点的初步飞行航线。

6、进一步的，根据所述飞行航线，无人机在飞行过程中进行巡检，利用深度学习的图像识别方法，实时调整吊仓角度以确保公路图像始终位于画面中央，包括：获得无人机的飞行航线和速度信息，无人机搭载摄像头实时拍摄飞行过程中的图像；获得的图像输入到一个预训练的图像识别神经网络中，用于判断公路在图像中的位置；根据公路在图像中的位置，计算需要调整的吊仓角度以将公路移至图像中心；向无人机发送调整吊仓角度的指令，无人机根据指令调整吊仓的角度，持续调整吊仓角度以保持公路在图像中心。

7、进一步的，使用深度学习和计算机视觉方法，对公路中的车道线及物体进行自动识别，实时分析违法行车行为和路况安全隐患，以得到分析结果，包括：

8、对采集到的图像或者视频进行预处理，以得到预处理图像；利用预先训练好的深度学习模型，对所述预处理图像进行分析，以得到分析结果。

9、进一步的，根据公路在图像中的位置，计算需要调整的吊仓角度以将公路移至图像中心，包括：设图像的对角线长度为 d，对应的对角线视场角为 θ，摄像头的焦距 f的计算公式为： f=d/(2×tan(θ/2))；设无人机的飞行速度为 v，调整吊仓的时间 t的计算公式为： t=δ d/v，其中， δd是无人机在调整吊仓角度期间飞行的距离；将图像中的公路位置 (r x ，r y )通过模型转换为无畸变图像中的位置 (r' x ，r' y )，计算出吊仓需要调整的水平角度和垂直角度，其中，计算公式为：水平角度调整= atan((r' x -c x )/f)，垂直角度调整= atan((r' y -c y )/f)， atan是反正切函数， (r x ，r y )为图像中的公路位置， (r' x ，r' y )为无畸变图像中的公路位置， (c x ，c y )为图像中心的坐标。

10、第二方面，一种飞行无人机影像抓取系统，包括：获取模块，用于获取地理位置数据和地形特征，并根据地理位置数据和地形特征，自动生成最终的无人机飞行航线；根据所述飞行航线，无人机在飞行过程中进行巡检，利用深度学习的图像识别方法，实时调整吊仓角度以确保公路图像始终位于画面中央；处理模块，用于使用深度学习和计算机视觉方法，对公路中的车道线及物体进行自动识别，实时分析违法行车行为和路况安全隐患，以得到分析结果；根据所述分析结果，无人机通过摄像头进行车牌自动抓拍，以得到图像数据。

11、进一步的，所述获取模块包括：分析模块，用于利用地理信息系统从多源地理数据库中获取地理位置数据和地形特征，并获取飞行环境因素数据；根据地理位置数据和地形特征，以及飞行环境因素数据，使用路径规划算法生成初步飞行航线；根据历史的飞行数据和巡检结果，以及实际的飞行情况，对初步飞行航线进行优化，以得到最终的无人机飞行航线。

12、第三方面，一种计算设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述方法。

13、第四方面，一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，该程序被处理器执行时实现上述方法。

14、本发明的上述方案至少包括以下有益效果：本发明的上述方案，可以根据公路走向和地形地物信息，智能规划无人机的最优飞行路线，避开障碍，提高飞行效率，通过深度学习算法，可以精确锁定公路位置，实时调整无人机航向和摄像头角度，确保公路图像始终处于最佳拍摄位置，保证视频质量，应用深度学习算法进行图像识别和分析，可以自动发现路面安全隐患和交通违规行为，提高监管效率，降低人工识别错误率，无人机可以自动对识别出的违规车辆进行车牌图片抓拍，获取违法证据。