一种基于多层神经网络的智能避障、目的地降落无人机的制作方法

本发明涉及智能机器人，具体涉及一种基于多层神经网络的智能避障、目的地降落无人机。

背景技术：

1、随着无人机技术的不断发展，无人机在军事、民用、工业等领域得到广泛应用。

2、目前无人机在面对复杂环境时仍存在一些缺陷。首先，传统无人机在遇到动态障碍物时缺乏智能化的避让能力，容易发生碰撞事故。其次，目标检测和跟踪方面仍存在一定局限性，对复杂场景中的目标物体识别不够准确。此外，无人机的降落精度受限，特别是在接近目标物体时，缺乏精确的降落策略，难以实现高精度降落和跟随任务。此外，传统无人机对于环境变化响应较慢，无法在动态场景中实时适应和调整飞行策略。因此，本项目旨在利用多层神经网络和先进算法来解决这些缺陷，提升无人机的智能化程度和自主飞行能力，实现更高效、安全的无人机飞行。

3、现有技术《一种基于视觉定位降落末端的无人机降落方法》中，开发了一种由多个停机位marker组成得无人机降落方法(2016发明人布树辉cn201610454292.5)。

4、现有技术《2021uav path planning based on multi-layer reinforcementlearning technique》中，提出的一种两层rl算法，高层处理局部信息，可以视为短期策略；低层处理全局信息，可以视为长期策略。高层和低层协同工作，规划无碰撞路径(digitalobject identifier 10.1109/access.2021.3073704)。

5、现有技术《2021_vision based drone obstacle avoidance by deepreinforcement learning》中，使得无人机能够在训练环境中仅通过输入深度图来避开障碍物，使无人机在重新配置的环境中无需重新训练也能具有更高的避障率(ai 2021,2(3),366-380)。

6、现有技术《2023deep reinforcement learning for vision-based navigationof uavs in avoiding stationary and mobile obstacles》中，比较了多种算法对于无人机路径规划的作用及其效果(drones 2023,7,245.)。

7、各类无人机普遍存在而还能打局限性。首先，许多无人机在遇到障碍物时的运动越障能力较差，难以灵活避开障碍物，导致可能出现碰撞的风险。其次，部分无人机在追踪目标物体时缺乏稳定性，降落过程可能不够精准，容易导致目标丢失或失控。另外，目前当前无人机的目标检测和追踪装置并不够高效，识别精度和实时性有待提高，导致无法准确地跟踪目标物体。还有些无人机的飞行控制系统在面对复杂环境时不够智能化，无法做出灵活的决策，使得飞行操作不够优化。这些缺点限制了当前市面上同类无人机在目标识别、追踪和精准降落等方面的性能和应用范围。

技术实现思路

1、本发明提供一种基于多层神经网络的智能避障、目的地降落无人机，以解决无人机在飞行过程中碰撞静态与动态障碍物的问题，提高了导航和操作能力。采用多层神经网络技术，无人机实时感知环境，通过dqn、ppo等算法迅速规避障碍物，提高了避障效率和可靠性。技术使无人机能够准确识别和定位目标地点，实现智能、平稳的降落，降低了误差和风险。此外，无人机的自主性和智能化程度高，减少了人工操控需求，节省了人力资源成本，提高了任务执行经济效益。

2、本发明提出了一种基于多层神经网络的智能无人机方案。通过结合convolutional neural network(cnn)卷积网络、deep q-network(dqn)、proximal policyoptimization(ppo)、faster-region based convolutional neural network(faster-rcnn)以及you only look once(yolo)、mask-region based convolutional neuralnetwork(mask-rcnn)等技术，实现智能避障、目标寻找和精确降落功能。这一创新性的智能化设计将大大提升无人机在复杂环境下的自主飞行能力，为无人机的安全飞行和高效任务执行打下坚实基础。

3、本发明的目的至少通过如下技术方案之一实现。

4、一种基于多层神经网络的智能避障、目的地降落无人机，包括驱动模块、作业模块、控制模块以及框架模块；

5、所述驱动模块包括电池装置、旋翼和马达装置，其中，电池装置提供无人机所需的持续电力支持；旋翼和马达装置用于产生飞行动力，使无人机能够在空中飞行；

6、所述作业模块包括相机云台、相机、图传装置和led显示屏，其中，相机云台以及相机用于拍摄图像和录制视频；图传装置用于通过无线通信传输相机图像；led显示屏用于提供状态和信息显示；

7、所述控制模块包括位置传输接口、多媒体接口、内存卡卡槽、电源传输接口和北斗gps装置，其中，位置传输接口实时接收和传输无人机的定位信息；多媒体接口用于数据交互和存储；内存卡卡槽用于存储数据；电源传输接口连接电池装置，传输电力给各个模块和组件；北斗gps装置提供定位和导航功能；

8、框架模块包括无人机支脚、无人机底盘和无人机框架，无人机支脚以及无人机底盘作为整个无人机的基础结构，无人机框架结合无人机支脚和无人机底盘，构成飞行平台，用于承载驱动模块、作业模块和控制模块。

9、进一步地，相机云台、相机、多媒体接口、内存卡卡槽、图传装置、位置传输接口和北斗gps装置构成无人机搭载的深度学习目的地降落系统；

10、深度学习目的地降落系统中，位于相机云台上面的相机获取图像信息，获取的图像信息通过图传装置传递到远程计算机；

11、北斗gps装置实时获取无人机的位置信息，位置传输接口实时接收无人机的定位信息并传输到远程计算机；

12、内存卡卡槽中安装内存卡，用于存储图像信息和无人机的位置信息；

13、远程计算机根据接收的图像信息和无人机的实时定位信息，进行图像特征分析，实现路径规划和目标定位，并发送控制信息至多媒体接口，多媒体接口连接相机云台、相机、图传装置、led显示屏和马达装置，传输接收到的控制信息。

14、进一步地，远程计算机通过多媒体接口发送控制信息至马达装置，通过控制和调节马达装置的功率大小，对旋翼进行操控，使无人机相应地调整自身的姿态、位置以及速度；在无人机降落时，调节旋翼的转速来控制无人机的高度和下降速度。

15、进一步地，远程计算机通过多媒体接口发送控制信息至相机云台和相机，在飞行过程中，控制位于相机云台上面的相机实时记录无人机周围的图像信息，图像信息中包括避障所需的深度图信息，在降落过程中，控制相机实时拍摄地面图像信息。

16、进一步地，远程计算机中，构造智能避障、目的地降落无人机的运动模型，所述运动模型包括三层神经网络；

17、第一层神经网络采用实现智能避障能力的算法，实时感知无人机装置飞行过程周围的环境，检测静态物体并实现无人机与周围静态障碍物的避让；

18、第二层神经网络采用实现智能避障能力以及动态物体检测和移动速率计算的算法，实时感知无人机装置飞行过程周围的环境，检测动态物体，判断动态物体的移动路径，进而实现无人机与周围动态障碍物的避让；

19、第三层神经网络采用实现目标寻找和跟踪的算法，结合第一层神经网络和第二层神经网络，实现无人机降落或跟随移动物体的功能。

20、智能避障、目的地降落无人机的运动模型采用的神经网络包括yolo卷积网络、faster-rcnn卷积网络以及dqn神经网络，实现无人机在空中多种动作的选择，通过yolo和faster-rcnn卷积网络感知周围环境，识别目标并检测目标状态，同时通过dqn神经网络做出智能决策。

21、第一层神经网络中，采用用于无人机的静态物体避障算法，首先使用cnn卷积网络进行环境感知，通过对传感器数据或者摄像头图像进行分析，获取关键特征和静态物体的位置信息。随后，这些有价值的信息被传递至dqn神经网络，这个深度强化学习模型能够制定出最合适的避障动作，确保无人机在复杂的环境中安全穿越。随着不断地在仿真环境中进行训练和优化，cnn卷积网络和dqn神经网络逐渐增强了其感知和决策能力，从而使得无人机在真实环境中避障的性能和准确性持续提高。这种持续的学习和优化过程使得无人机能够更加高效地规避静态物体，避免碰撞，保证了飞行过程的安全和可靠性。

22、第二层神经网络中，采用用于无人机的动态物体避障算法，该算法使用cnn卷积网络和ppo神经网络，实现无人机在空中多种动作的选择，以防止碰撞移动中的物体。在该方法中，首先通过cnn卷积网络进行环境感知，它能够接收环境的动态物体移动轨迹及信息，并从中提取关键特征，包括周围动态物体的位置、速度等信息。这样，无人机能够实时感知周围环境中移动的物体，为后续的避障决策提供准确的输入。接着，将环境感知结果传入ppo神经网络中。ppo神经网络是一种用于强化学习的算法，能够学习到最优的动作策略。在这里，ppo网络根据环境感知结果，生成多种动作选择策略，以使无人机能够避开动态物体，确保飞行过程中不会发生碰撞。整个方法的核心是不断地在仿真环境中训练和优化cnn卷积网络和ppo神经网络。通过的模拟飞行实验，无人机逐渐积累经验并优化决策策略，从而在真实环境中具备更好的动态物体避障能力。

23、第三层神经网络中，采用用于无人机的目标寻找算法，该算法使用yolo卷积网络、faster-rcnn卷积网络以及dqn神经网络，实现无人机在空中多种动作的选择，使其能够寻找到自己对应的目标，并且检测目标的状态。此方法中采用yolo卷积网络和faster-rcnn卷积网络进行目标检测和定位。这两种卷积网络能够对无人机周围的环境进行快速而准确的目标检测，包括寻找目标的位置和边界框。通过这种环境感知，无人机能够获得关于目标的重要信息，为后续的目标寻找和动作选择奠定基础。接着，将这些目标检测结果传输至dqn神经网络中。dqn神经网络是一种强化学习模型，用于学习无人机的动作决策。在这里，dqn神经网络能够根据目标检测结果，生成多种动作选择策略，使无人机能够寻找到自己对应的目标，并且根据目标的状态做出相应的动作，以实现更精确的目标定位和跟踪。

24、第三层神经网络中，采用用于无人机的智能降落算法，该算法使用you only lookonce(yolo)卷积网络、mask-rcnn卷积网络以及deep q-network(dqn)神经网络，实现无人机在空中多种动作的选择，使其能够寻找到自己对应的目标，并且检测目标的状态。同时，该方法还能够检测物体是否在移动的状态，并且计算物体的移动速率和方向，以确保无人机可以降落到指定地点。在该算法中，首先采用yolo卷积网络和mask-rcnn卷积网络进行目标检测和定位。这两种卷积网络能够对无人机周围的环境进行快速而准确的目标检测，包括寻找目标的位置、边界框以及物体的实例分割。通过这种环境感知，无人机能够获得关于目标的重要信息，为后续的目标寻找和动作选择奠定基础。接着，将这些目标检测结果传输至dqn神经网络中。dqn网络是一种强化学习模型，用于学习无人机的动作决策。在这里，dqn网络能够根据目标检测结果和物体的移动状态，生成多种动作选择策略，使无人机能够寻找到自己对应的目标，并且根据目标的状态和移动信息做出相应的动作，以实现更精确的目标定位和跟踪。

25、进一步地，在飞行过程中，远程计算机根据相机实时记录的无人机周围的图像信息以及无人机的实时定位信息，通过《2021uav path planning based on multi-layerreinforcement learning technique》中所提出的两层rl算法规划无碰撞路径，使所述智能避障、目的地降落无人机在飞行过程中避免与障碍物碰撞。

26、进一步地，图传装置传输深度图信息到远程计算机，远程计算机通过《2021_vision based drone obstacle avoidance by deep reinforcement learning》(ai2021,2(3),366-380)中所提出的深度图避障算法使得所述智能避障、目的地降落无人机能够在训练环境中仅通过输入深度图来避开障碍物；

27、飞行过程中，远程计算机根据相机实时记录的无人机周围的图像信息以及无人机的实时定位信息，使得所述智能避障、目的地降落无人机实现智能避障、目的地降落的功能。

28、进一步地，框架模块中，无人机支脚设置在无人机底盘两侧，无人机框架覆盖于无人机底盘上方，与无人机底盘和无人机支脚连接并固定，构成飞行平台；

29、电池装置、马达装置、图传装置、位置传输接口、多媒体接口、内存卡卡槽、电源传输接口和北斗gps装置均设置在无人机底盘上；

30、相机云台和旋翼设置于无人机框架上，led显示屏设置于无人机框架中，相机设置于相机云台上。

31、进一步地，图传装置通过电缆连接到相机，确保数据传输的稳定和可靠性；

32、同时，图传装置还通过多媒体接口与内存卡卡槽相连，将图像信息写入内存卡中进行存储。

33、进一步地，在降落过程中，无人机支脚和无人机底盘与地面紧密接触，为无人机提供稳定的支撑。

34、相比于现有技术，本发明的优点在于：

35、智能避障能力：本发明通过应用yolo和faster-rcnn卷积网络，该无人机装置能够在飞行过程中实时感知环境，准确检测静态和动态物体，并基于检测结果做出智能决策，以避免与障碍物发生碰撞，确保无人机在复杂环境中安全飞行；

36、目标寻找和跟踪：本发明利用yolo和faster-rcnn卷积网络的目标检测能力，该装置能够准确寻找和定位无人机所需的目标。同时，通过dqn神经网络进行强化学习，使无人机能够智能地跟踪目标，根据目标的状态做出相应动作，实现目标的精确定位和追踪；

37、动态物体检测和移动速率计算：本发明利用yolo和faster-rcnn卷积网络检测环境中的动态物体，并通过计算物体的移动速率和方向，有效判断目标是否在移动，进一步优化无人机的避障和跟踪策略，对飞行进行矫正；

38、智能降落功能：结合上述智能避障、目标寻找和跟踪技术，该无人机装置能够实现智能降落功能。在复杂环境下还是目标追踪过程中，无人机都能精确地降落到指定地点，提高降落准确性和安全性。