基于强化学习图像处理的无人机图像捕捉方法和设备

本申请涉及无人机图像采集，特别涉及一种基于强化学习图像处理的无人机图像捕捉方法和设备。

背景技术：

1、无人机测绘得到的数据首先是影像，获取影像的方法有很多，目前无人机主要是两种，分别是正射和倾斜摄影，无人机可以通过遥感软件对数据进行聚类分析等处理，能快速有效的提取所需要的信息，利用软件对影像进行栅格矢量化，可以快速得出该地区矢量图，利用信息提取，辅助高分辨影像和丰富纹理特征，能够快速计算出该地区准确的耕地面积，能够节省大量的人力和时间；因此，提出一种基于强化学习图像处理技术的无人机图像捕捉方法变得尤为重要。

2、现有技术中，无人机图像捕捉方法无法对构建的模型进行纠错调整，降低绘图准确率，降低无人机图像捕捉质量，需要用户花费时间去修改调整；对于选择拍照点位、锁定目标和抓拍照片的需求，人员需要训练后才可以实现相应的控制效果，且人工控制难以保证效率；而且在无人机的结构上，从硬件上看对于较高温、较低温的环境，温度快速变化会影响摄像头起雾，导致图像捕捉的质量较低。

技术实现思路

1、本申请为解决上述技术问题，提供一种基于强化学习图像处理的无人机图像捕捉方法和设备。

2、第一方面，本申请提供一种基于强化学习图像处理的无人机图像捕捉方法，包括以下步骤：

3、s1：通过gps定位器对无人机进行定位，所述无人机根据规划航线进行飞行；

4、s2：获取环境图像信息，根据所述环境图像信息获取监测目标，解算所述监测目标的像素坐标，提取监测目标的特征影像，并发送至目标锁定单元；

5、s3：通过去雾装置根据当前图像采集模块清晰度进行除雾工作；

6、s4：通过卷积神经网络对图像数据进行特征点提取；

7、s5：将图像数据进行数据拼接，并依据拼接完成的图像数据构建区域模型，并检测区域模型是否存在异常区域，同时生成调整数据；

8、s:6：将调整数据导入卷积神经网络，卷积神经网络依据调整数据进行优化更新，同时通过角度调节装置调节无人机的图像采集参数。

9、所述监测目标的画幅占比为环境图像的40％-60％

10、在第一方面的一些实现方式中，所述步骤s1之前还包括：判断能否进行图像收集；若可进行图像收集，则无人机进行定点飞行测试，同时生成测试数据，并收集飞行地区的环境图像信息。

11、在第一方面的一些实现方式中，所述将图像数据进行数据拼接，具体为：

12、对各个特征点的特征数据进行数据对比，并将相似的特征数据进行分组处理；

13、提取各个特征数据对应的环境图像信息，并将具有相似特征数据的环境图像进行数据拼接。

14、第二方面，本申请还提供一种基于强化学习图像处理的无人机图像捕捉设备，所述设备包括：图像采集模块、角度调节装置、去雾装置、安装板、gps定位器和控制系统；

15、所述角度调节装置设于安装板上，通过所述安装板将角度调节装置安装设于无人机上；

16、所述图像采集模块安装设于所述角度调节装置的自由端上；

17、所述去雾装置安装于角度调节装置与图像采集模块之间，用于对所述图像采集模块进行除雾；

18、所述gps定位器设于安装板的另一侧上；

19、所述控制系统用于根据所采集的环境图像信息，生成调整数据以调节图像采集模块的图像采集参数。

20、所述控制系统还包括：

21、巡检任务单元，识别定位单元和目标锁定单元；

22、所述巡检任务单元，预置无人机相应的规划航线以及所述角度调节装置的初始位姿参数；

23、所述识别定位单元，用于通过所述gps定位器确定环境信息，并根据所述环境图像信息判断能否进行图像收集；

24、所述目标锁定单元，以所述识别定位单元解算的监测目标的像素坐标、提取的监测目标特征影像为模板，对所述述图像获取单元获取的实时监测目

25、在第二方面的一些实现方式中，所述角度调节装置，包括固定腔、伸缩杆一、伸缩杆二、伸缩支撑杆和采集壳；所述固定腔设于安装板的一侧，所述伸缩杆一、伸缩杆二从上到下依次设于固定腔的一侧，且所述伸缩杆一、伸缩杆二的一端铰接设于固定腔远离安装板的一侧上，所述伸缩支撑杆平行设于伸缩杆二的下方且与安装板相连接，所述伸缩杆一、伸缩杆二的另一端铰接设有采集壳，所述采集壳的侧端开设有滑道，所述伸缩支撑杆的自由端处铰接设有限位滑杆，所述限位滑杆于滑道内滑动设置。

26、在第二方面的一些实现方式中，所述去雾装置包括风机、温度调节腔、温度传感器、加热设备、制冷设备、伸缩连通管和除雾架；所述风机设于固定腔上，所述温度调节腔设于固定腔的一侧，所述加热设备、制冷设备的输出端连通设于温度调节腔内，所述采集壳的顶部外周设有弧形设置的除雾架，所述除雾架的底部开设有除雾孔，所述除雾孔的开口处对应无人机图像采集设备设置，所述伸缩连通管与温度调节腔和除雾架相连通。

27、在第二方面的一些实现方式中，所述除雾单元，用于接收温度传感器检测的温度，预设最低温x和最高温y（x＜y）；

28、当温度传感器检测到外界温度处于x-y之间时，去雾装置不工作；

29、当检测到外界温度小于x时，控制加热设备进行加热，风机将温度调节腔内的热气通过伸缩连通管传递至除雾架，所述除雾架通过除雾孔对中心处的无人机图像采集设备进行除雾工作；

30、当检测到外界温度大于y时，控制制冷设备进行制冷工作，风机将温度调节腔内的冷气通过除雾孔进行除雾工作。

31、在第二方面的一些实现方式中，所述图像采集模块至少包括一个rgb摄像头、近红外摄像头和传感器，所述传感器为可见光、红外光、紫外光及多光谱传感器的一种或多种，所述传感器具有定焦或变焦镜头。

32、与现有技术相比，本申请至少具备以下有益效果：

33、本发明中的一种基于强化学习图像处理的无人机图像捕捉方法和设备，可以对构建的模型进行纠错调整，提高绘图准确率，提高无人机图像捕捉质量，可以实现高效率、高质量的拍照点位、锁定目标和抓拍照片的功能。

技术特征：

1.一种基于强化学习图像处理的无人机图像捕捉方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于强化学习图像处理的无人机图像捕捉方法，其特征在于，所述监测目标的画幅占比为环境图像的40％-60％。

3.根据权利要求2所述的一种基于强化学习图像处理的无人机图像捕捉方法，其特征在于，所述步骤s1之前还包括：判断能否进行图像收集；若可进行图像收集，则无人机进行定点飞行测试，同时生成测试数据，并收集飞行地区的环境图像信息。

4.根据权利要求3所述的一种基于强化学习图像处理的无人机图像捕捉方法，其特征在于，所述将图像数据进行数据拼接，具体为：

5.根据权利要求1-4任一所述的一种基于强化学习图像处理的无人机图像捕捉方法的设备，其特征在于，所述设备包括：图像采集模块、角度调节装置、去雾装置、安装板、gps定位器和控制系统；

6.根据权利要求5所述的设备，其特征在于，所述控制系统还包括：

7.根据权利要求6所述的设备，其特征在于，所述角度调节装置，包括固定腔、伸缩杆一、伸缩杆二、伸缩支撑杆和采集壳；所述固定腔设于安装板的一侧，所述伸缩杆一、伸缩杆二从上到下依次设于固定腔的一侧，且所述伸缩杆一、伸缩杆二的一端铰接设于固定腔远离安装板的一侧上，所述伸缩支撑杆平行设于伸缩杆二的下方且与安装板相连接，所述伸缩杆一、伸缩杆二的另一端铰接设有采集壳，所述采集壳的侧端开设有滑道，所述伸缩支撑杆的自由端处铰接设有限位滑杆，所述限位滑杆于滑道内滑动设置。

8.根据权利要求7所述的设备，其特征在于，所述去雾装置包括风机、温度调节腔、温度传感器、加热设备、制冷设备、伸缩连通管和除雾架；所述风机设于固定腔上，所述温度调节腔设于固定腔的一侧，所述加热设备、制冷设备的输出端连通设于温度调节腔内，所述采集壳的顶部外周设有弧形设置的除雾架，所述除雾架的底部开设有除雾孔，所述除雾孔的开口处对应无人机图像采集设备设置，所述伸缩连通管与温度调节腔和除雾架相连通。

9.根据权利要求8所述的设备，其特征在于，所述除雾单元，用于接收温度传感器检测的温度，预设最低温x和最高温y，x＜y；

10.根据权利要求9所述的设备，其特征在于，所述图像采集模块至少包括一个rgb摄像头、近红外摄像头和传感器，所述传感器为可见光、红外光、紫外光及多光谱传感器的一种或多种，所述传感器具有定焦或变焦镜头。

技术总结
本发明公开了一种基于强化学习图像处理的无人机图像捕捉方法和设备，包括无人机和控制系统，所述控制系统与无人机无线信号连接，所述无人机上设有无人机图像采集设备、角度调节装置、去雾装置、安装板和GPS定位器，所述控制系统包括无人机控制与图像获取单元、识别定位单元、目标锁定单元、巡检任务单元和除雾单元。本发明属于无人机图像采集技术领域，具体是提供了一种可以对构建的模型进行纠错调整，提高绘图准确率，提高无人机图像捕捉质量，可以实现高效率、高质量的拍照点位、锁定目标和抓拍照片的功能的基于强化学习图像处理的无人机图像捕捉系统及方法。

技术研发人员：石慧,彭强,蔡昭权,刘少锴,谢志明,叶小容,余法红,陈培辉,吴志锐,张娜,张海珍
受保护的技术使用者：汕尾职业技术学院
技术研发日：
技术公布日：2024/1/15