一种基于深度协同神经网络的无人机自主降落方法与流程

本发明涉及无人机智能识别技术领域，具体的说，是指一种基于深度协同神经网络的无人机自主降落方法。

背景技术：

旋转翼无人机起飞和着陆对空间的要求较小，在障碍物很密集的环境中具有较强的控制能力、航行姿态保持能力等优点，在军事和民用领域具有广泛的应用前景，比如：无人机巡逻、自动侦察、科学数据收集以及视频监控等，为了完成这些任务而使用无人机，能够大大降低成本、提高操作人员的安全保障。

无人机采用手持遥控器或者将计算机安装在地面站的方式来控制无人机的飞行，随着机器学习的不断发展深入，具有自主导航能力的智能机器人、无人机等载体的运用得到了广泛的关注。其中无人机自主定点降落技术，是无人机实现自主飞行的基本技术，有了自主定点栖息系统，无人机才能自主返航充电，降低能量消耗，达到持续自主运作的目标。现有的无人机自主降落需要依靠降落坪的标志，通过无人机上的摄像头识别降落坪的标志来进行降落，这种方法由于光线、环境及摄像头质量等均会对识别图像中的像素点的灰度值造成一定的影响，因而需要对降落坪图像进行合适的阈值分割处理，使无人机的降落范围受到了限制。

技术实现要素：

本发明所要解决的技术问题是提供一种基于深度协同神经网络的无人机自主降落方法，利用协同神经网络结合深度学习算法，使得无人机在飞行过程中能够自主的对周围环境进行认知、识别目标降落点，扩大无人机降落的范围。

本发明解决上述技术问题的技术方案如下：一种基于深度协同神经网络的无人机自主降落方法，包括以下步骤：

s1.采集并预处理目标图像为训练样本；

s2.将训练样本转化为向量，并构建动力学方程：

ξk(n+1)-ξk(n)＝γ(λk-d+bξk²(n))ξk(n)

其中，q为向量；vk为初始原型向量；为vk的正交伴随向量；k表示k类中的一个；k｀表示对k个数求和；n表示迭代次数；γ表示迭代步长；ξk(n)为迭代n次时的序参量，表示q在最小二乘意义下于vk上的投影；λk为大于零的注意参数；b、c分别为常系数；

s3.采用向量与动力学方程对神经网络进行训练，得到伪逆矩阵；

s4.采集并预处理待测图像为待测样本；

s5.将待测样本转化为待测向量；

s6.采用待测向量和伪逆矩阵得到待测输出模式；

s7.根据待测输出模式控制无人机是否降落。

本发明的有益效果是：通过采集地面目标作为训练样本，进而构建协同神经网络，再通过训练样本对协同神经网络的训练，使协同神经网络具有学习能力，当无人机需要降落时，通过具有学习能力的协同神经网络识别目标降落点图像的待测向量，能够判断无人机飞行的下方区域是否存在降落点，使无人机在飞行过程中能够自主的对周围环境进行认知、识别目标降落点，扩大了无人机降落的范围。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述步骤s1包括以下步骤：

s11.获取无人机通过其上的摄像头采集的目标图像，所述目标图像包括执行降落、禁止降落、保持悬停三种类别；

s12.根据当前图像所在的类别，将同一类别的目标图像划分至同一样本图像集中；

s13.剪裁每个样本图像集中的样本图像，直至所有样本图像的分辨率相同；

s14.将剪裁后的样本图像转化为灰度图像，作为训练样本。

采用上述进一步方案的有益效果是：由于摄像头所采集的图像为彩色图像，无法直接输入到后续神经网络中进行操作，因此需要对所采集的图像预处理为灰度图像后才能为后续处理所使用。并且彩色图像包含的信息量大，而后续处理仅需要用到灰度图像里的信息，如纹理、亮度、对比度等，因此在模式识别中使用灰度图或者二值图像，能够大大减少计算量，加快本发明的计算速度。

进一步，所述步骤s2包括以下步骤：

s21.将训练样本按像素点的灰度值转换为列向量；

s22.对列向量进行零均值和归一化处理后得到向量。

采用上述进一步方案的有益效果是：将摄像头所采集的图片信息转换为能够用于计算的向量，便于后续神经网络的学习与训练。

进一步，所述步骤s3包括以下步骤：

s31.从每个类别的训练样本中各选择一个向量作为初始原型向量，采用余下的向量训练神经网络；

s32.采用每个类别中余下的向量中任意一个向量作为初始向量，以获得初始序参量，再通过动力学方程得到稳定序参量；

s33.计算输出模式：

qi(n)＝ξk(n)v^t，v＝(v1,v2,...vi)

其中，qi(n)为输出模式；ξk(n)为稳定序参量；v1至vi为与初始向量对应的原型向量；v为由原型向量组成的原型矩阵；v^t为原型矩阵的转置矩阵；

判断输出模式与初始向量是否相同：

(1)若相同，则将原型向量作为新的原型向量；

(2)若不相同，则采用初始向量与原型向量的平均值作为新的原型向量；

s34.重复步骤s32至s33，直到所有余下的向量读取完毕，并得到由新的原型向量组成的新的原型矩阵；

s35.重复步骤s32到s34，直到新的原型矩阵中每个数值不再改变，获取该矩阵的伪逆矩阵。

采用上述进一步方案的有益效果是：将目标着陆点的图像进行处理后，作为训练样本，当全部训练样本输入神经网络后，通过深度协同神经网络进行训练，能够得到具有学习能力的神经网络。

进一步，所述待测样本的获取方法与训练样本的获取方法相同。

采用上述进一步方案的有益效果是：能够保证待测样本图像与训练样本图像具有相同的可识别特征。

进一步，所述待测向量的获取方法与向量的获取方法相同。

采用上述进一步方案的有益效果是：能够保证待测向量与向量具有相同的可计算性。

进一步，所述步骤s6包括以下步骤：

s61.采用伪逆矩阵和待测向量计算待测初始序参量；

s62.若待测初始序参量中模值的最大值小于预设的阈值，则返回步骤s4，继续采集待测图像，否则，执行步骤s63；

s63.将待测初始序参量通过动力学方程得到待测稳定序参量；

s64.采用待测稳定序参量得到待测输出模式。

采用上述进一步方案的有益效果是：根据待测稳定序参量能够判断待测输出模式所属的类别，从而使无人机降落具有判断依据。

进一步，所述步骤s7中待测输出模式对应有执行降落、禁止降落、保持悬停三种标志：

若待测输出模式为执行降落标志，则地面系统输出指令0001，无人机向目标位置降落；

若待测输出模式为禁止降落标志，则地面系统输出指令0000，无人机继续巡航；

若待测输出模式为保持悬停标志，则地面系统输出指令0010，无人机悬停于当前位置。

采用上述进一步方案的有益效果是：无人机根据地面系统输出的指令做出相应的执行降落或禁止降落或保持悬停动作，实现了无人机自主降落的目标。

本发明相比较于现有技术，还具有以下有益效果：

1.通过使用协同学与深度学习相结合的方法来识别目标图像，实现了协同学理论在神经网络方面应用的突破，为神经网络训练提供了又一有力的方法。

2.协同学的识别方法是从图像整体出发，基于全局特征识别，利用协同学理论对系统整体性的把控，将协同理论与深度神经网络融合，实现更为高效、拟合度更好的深度学习网络和算法。

3.将深度协同神经网络应用于无人机自主降落过程，实现了无人机对降落环境的有效认知、目标降落点的识别，提高了无人机降落的安全性与准确性，最终实现了无人机的自主降落过程。

附图说明

图1为本发明的流程图；

图2为神经网络的结构示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

一种基于深度协同神经网络的无人机自主降落方法，如图1、图2所示，包括以下步骤：

一、图像采集与预处理

利用摄像头采集地面目标图像并作为样本图像，样本图像包括执行降落、禁止降落、保持悬停三种类别，人工将同一类别的多张图像归类。对所有样本图像进行剪裁，使每幅样本图像的分辨率相同，再将剪裁后的样本图像转化为灰度图像，作为训练样本。

二、构建动力学方程

将训练样本按照像素点的灰度值转换为列向量，对列向量进行零均值和归一化处理后得到向量q；

引入序参量ξk(n)，序参量ξk(n)表示向量q在最小二乘意义下于vk上的投影，动力学方程如下：

其中，q为向量；vk为初始原型向量；为vk的正交伴随向量；k表示k类中的一个；k｀表示对k个数求和；n表示迭代次数；γ表示迭代步长；λk为大于零的注意参数；b、c分别为常系数。

k的类别对应执行降落、禁止降落、保持悬停三种。

上述步骤为协同学的方法。

三、训练深度协同神经网络

(1)从每个类别的训练样本中各选择一个向量q作为初始原型向量vk，初始原型向量vk不代入公式(2)中演化，其余的向量q用于训练神经网络，并代入公式(2)中演化，其余的向量q根据演化结果不断修正初始原型向量vk。

(2)从每个类别的其余的向量q中选择一个作为初始向量qi(0)，并通过能够由初始向量qi(0)得到初始序参量ξk(0)，将初始序参量ξk(0)代入动力学方程中进行n次迭代，这就是演化过程，直至最终序参量不再变化，即得到稳定序参量ξk(n)。

(3)计算输出模式：

qi(n)＝ξk(n)v^t，v＝(v1,v2,...vi)

其中，qi(n)为输出模式；ξk(n)为稳定序参量；v1至vi为与初始向量对应的原型向量；v为由原型向量组成的原型矩阵；

比较输出模式qi(n)与初始向量qi(0)是否相同：

(i)若相同则分类正确，直接将原型向量vi作为新的原型向量vi'；

(ii)若不相同则分类错误，采用初始向量qi(0)与初始向量qi(0)所对应的原型向量vi的平均值作为新的原型向量vi'。

(4)重复步骤三中(2)至(3)，直到所有其余的向量q读取完毕，并由新的原型向量vi'得到新的原型矩阵v'，v'＝(v′1,v′2,...v′i)。

(5)重复步骤三中(2)到(4)，使新的原型矩阵v'不断更新，直到新的原型矩阵v'中每个数值不再改变，例如得到的新的原型矩阵v'为其中的1、2、3、4的值不再变化即得最终的新的原型矩阵v'，获取该新的原型矩阵v'的伪逆矩阵。

上述步骤为深度学习的方法，是首先将地面目标图像人工分类，再用地面目标图像对神经网络反复进行训练，最终使神经网络得到稳定的新的原型矩阵v'的伪逆矩阵，从而使神经网络具有学习能力。

四、利用深度协同神经网络来识别地面目标

(1)本实施例设有地面站系统，在无人机正面安装两个摄像头以构成双目摄像头，双目摄像头实时采集地面的图像信息并上传到无人机地面站系统，所采集的图像信息与步骤一作同样处理，并转化为待测向量q'。

(2)利用待测向量q'和步骤三中(5)得到的伪逆矩阵，通过ξk(0)'＝v⁺q'得到待测初始序参量ξk(0)'，其中v⁺为伪逆矩阵。

(3)设立阈值α＝0.4，找到待测初始序参量ξk(0)'中模值的最大者，若待测初始序参量ξk(0)'中模值的最大者小于阈值α，则说明无人机不存在降落点，摄像头继续采集待测图像；若待测初始序参量ξk(0)'中模值的最大者大于等于阈值α，则执行以下步骤(4)。

(4)将待测初始序参量ξk(0)'用动力学方程进行演化，直到某个序参量分量等于1，其余序参量分量等于0时，即得到待测稳定序参量ξk(n)'。

(5)根据待测稳定序参量ξk(n)'中模值等于1的分量，判断待测输出模式qi(n)'所属的类别。

上述步骤是运用具有学习能力的神经网络对地面目标图像进行识别，最终得到待测输出模式qi(n)'所属的类别。

五、自主降落

将步骤四中处理过的所采集的地面图像信息传回地面站系统，输入步骤三中训练好的深度协同神经网络，根据得到的待测输出模式qi(n)'所属的类别，对无人机飞行下方区域中的图像进行识别，其中待测输出模式qi(n)'对应执行降落、禁止降落、保持悬停三种标志，因此无人机做出以下三种相应的动作指令：

(i)如果识别为执行降落标志，则地面系统输出指令0001，地面系统根据无人机坐标对降落目标位置信息进行计算，结合识别系统引导无人机向目标位置降落。

(ii)如果识别为禁止降落标志，则地面系统输出指令0000，无人机保持当前飞行状态，继续巡航。

(iii)如果识别为保持悬停标志，则地面系统输出指令0010，无人机停止巡航，并悬停于当前位置，保持坐标不变。

本发明首先是通过人工对目标图像分类为执行降落、禁止降落、保持悬停三种类别，然后利用所分类别的目标图像对神经网络进行训练，使神经网络能够自动识别三个类别。当无人机在飞行过程中不断的实时采集地面目标图像，通过神经网络的识别即可自主判断无人机是否存在降落点，从而实现了无人机在飞行过程中能够自主的对周围环境进行认知、识别目标降落点的功能，扩大了无人机降落的范围。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。