一种可同步切换的无人机自组网自适应媒体接入控制方法与流程

本发明涉及一种可同步切换的无人机自组网自适应媒体接入控制方法,属于无人机通信协议领域。

背景技术：

基于体积小、机动灵活、造价低廉等多个优势，无人机吸引了工业界和学术界的大量关注，成为各国竞相发展的热点，其应用领域十分广泛包括监视、侦查、巡逻、军事、目标探测、灾害传感等。在无人机的众多应用中，无人机实施的多目标定位被广泛应用于军事侦察以及目标检测中。一方面无人机具有体积小、机动灵活、不易被发现的优点，可以在敌占区上空进行长时间低空侦察；另一方面无人机可以携带多种传感器，能提供多种形式高分辨率的目标信息；其次无人机造价低廉，不会造成人员伤亡，具有经济、安全的特点。在很多实际场景中，例如侦察、检测无人区或核辐射区的目标等，并不适合派遣人员进入去完成任务，而与无人车相比，无人机对地面地形、道路的要求较低且就多径效应而言，空中的通信质量高于地面，由于无人机特有的优越性和灵活性，无人机在这类场景中更胜一筹。

随着任务范围的扩大以及难度和复杂度的加强，单架无人机完成任务所需的时间变长、任务的完成度大打折扣。随着无人机不断小型化的发展以及对无人机续航时间等局限的考虑，多无人机协作完成多目标定位成为一种趋势。而当多无人组网通信时，固定的使用某一种mac(媒体接入控制)协议都不会满足复杂多变的无人机自组网通信的需求，例如当网络内多架无人机需要发送数据时适合使用时分多址(timedivisionmultiple，tdma)，而较少架无人机需要发送数据时则使用载波侦听多路访问/冲突避免(carriersensemultipleaccesswithcollisionavoidance，csma/ca)。如何实现无人机飞行自组网容错自适应的同步切换两个不同的mac协议，针对不同的需求和场景，使用不同的mac协议，成为一个亟待解决的问题。

技术实现要素：

为了解决无人机自组网mac协议同步切换问题，本发明提出了一种可同步切换的无人机自组网自适应媒体接入控制方法。

本发明为解决其技术问题采用如下技术方案：

一种可同步切换的无人机自组网自适应媒体接入控制方法，包括如下步骤：

步骤1，单个无人机评估自身的状态信息，将自身的成功传输和接收数据量、时延以及包重发率状态信息进行分级评估；

步骤2，单个无人机节点根据当前的状态等级和q表信息做出判断，并将判断结果作为预选择的结果；

步骤3，无人机飞行自组网使用基于pbft的共识决策模块容错得到分布式共识mac协议结果，根据该结果则同步切换mac协议，同时根据共识结果更新q表。

步骤1中所述单个无人机的状态信息如下：

其中，表示第i个无人机的stad的最大值，表示第i个无人机的包时延的最大值，表示第i个无人机的prr的最大值，η为stad等级数量，μ为包时延等级数量，为包重发率等级数量。

本发明的有益效果如下：

本发明可以实现无人机飞行自组网容错自适应的同步切换两个不同的mac协议，针对不同的需求和场景，使用不同的mac协议。伴随着无人机飞行自组网的运行，基于q学习的同步切换模块始终工作，目标是找到最适合当前场景的mac协议使得整个无人机飞行自组网吞吐量、时延和包重发率的性能提升。

附图说明

图1为本发明核心结构图。

图2为本发明所设计的一个时隙内基于q学习的分布式切换流程图。

图3为本发明所设计的共识决策流程图。

图4为本发明无人机自组网平均吞吐量与无人机架数的实验仿真结果图。

图5为本发明无人机自组网平均时延与无人机架数的实验仿真结果图。

图6为本发明无人机自组网平均包重发率与无人机架数的实验仿真结果图。

图7为本发明无人机自组网吞吐量与运行时间的实验仿真结果图。

图8为本发明无人机自组网时延与运行时间的实验仿真结果图。

图9为本发明无人机自组网包重发率与运行时间的实验仿真结果图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供的基于q学习的无人机飞行自组网自适应媒体接入控制协议中，考虑两协议并存的多无人机飞行自组织网络中，通过对单个无人机状态的智能评估和网络整体的同步切换，实现能耗网络整体吞吐量提高的目标。

在多无人机自组网通信上，存在mac协议的无法匹配当前场景的问题例如当网络内多架无人机需要发送数据时适合使用时分多址(timedivisionmultiple，tdma)，而较少架无人机需要发送数据时则使用载波侦听多路访问/冲突避免(carriersensemultipleaccesswithcollisionavoidance，csma/ca)。多无人机飞行自组网协议的设计上，存在如下挑战：1)多无人机自组网的无线环境复杂多变，以至于单个无人机很难确定在某一个瞬间的状态下哪个mac协议更合适；2)无人机飞行自组网是分布式网络，因此实现同步的mac协议交换非常重要。

具体的，基于q学习的无人机飞行自组网自适应媒体接入控制协议包括以下步骤：

步骤1，单个无人机评估自身的状态信息，将自身的成功传输和接收数据量successfultransferredamountofdata，stad)、时延以及包重发率packetretransmittedratio，prr)等状态信息进行分级评估；

步骤2，单个无人机节点根据当前的状态等级和q表信息做出一个动作决策，该决策将作为预选择的mac协议结果；

步骤3，无人机飞行自组网使用基于pbft(实用拜占庭容错)的共识决策模块容错的得到分布式共识mac协议结果，根据该结果则可以同步切换mac协议，同时根据共识结果更新q表。

在步骤1中将单个无人机的状态信息定义为成功传输和接收数据量、时延以及包重发率的等级组合，即：

其中，表示第i个无人机的stad的最大值，表示第i个无人机的包时延的最大值，表示第i个无人机的prr的最大值，η为stad等级数量，μ为包时延等级数量，为包重发率等级数量。这样状态空间的总个数就可以表示为

在步骤2中，在步骤2中，预选择结果即q学习的动作定义为如下表：

其中，单个无人机的动作结果允许和共识选择的结果不同，此时对应的反馈类型是类型2，否则是类型1。

在步骤3中，单个无人机的q学习的目标是最大化期望总折扣反馈，表示如下：

其中π表示策略，γ是折扣因子取值，其取值范围从0到1，反应了未来反馈权重是否大于立即反馈。s是状态，sk为第k次的状态，rk为第k次的反馈，γ^k为第k次的折扣因子，eπ为π策略下未来折扣反馈的期望。目标函数可表示为：

其中，v(si)表示i无人机的当前状态值，v(s'i)表示i无人机的下一个状态值，r(si,ai)表示i无人机s状态下采取a动作得反馈值，ai为i无人机的当前动作，ai(si)为si状态下可选择的动作空间，s'i是无人机i的状态si的下一个状态，然而pi(s'i|si,ai)代表从状态si转移到s'i转移概率，使用q学习便可以解决上述问题。q值更新函数可以表示为：

上式中，α代表q表的更新率，取值范围从0到1，如果α为0代表q学习停止学习，仅仅使用以前的知识，然而可以让学习效率高但同时会带来过多管住未来反馈而忽略以前的知识的问题。qt(s,a)表示t时刻状态s下采取a动作的q值，qt+1(s,a)表示t+1时刻s状态下采取a动作的q值，ai(t)表示i无人机t时刻的动作，rt为t时刻的回馈值，q(s',a')表示下一个状态采取动作的q值。

r代表反馈函数，本发明中考虑到了stad、时延和prr，分别在预选择之前和共识决策之后的差值。在本发明中，当无人机i采取了一个切换动作并且请求了一次的切换共识时，系统不会立即获得一个立即反馈值，而是根据共识后的决策是否和预选择动作一致，分别计算反馈值。具体如下：

其中

r'i(t)＝bdbi(t)-qddi(t)-wdli(t)mi(t)

其中，bi(t)、di(t)和li(t)分别代表无人机i在t时隙分别的stad、时延和prr。mi(t)代表无人机i在t时隙所使用的mac协议，ψ为当反馈类型为类型2时的折扣因子，其取值范围为0～1。b,q和w是加权系数取值范围从0到1并且满足b+q+w＝1。与bdpi(t)不同的是，θδdi(t)和ωδli(t)被乘以了-1是因为越低的θδdi(t)和ωδli(t)会产生越高的反馈值。除此之外，stad和时延是csma/ca和tdma共同状态指标而tdma中的prr值会总是优于csma/ca中，因此，本发明中使用w和mi(t)去调节ωδli(t)。

上式中，

其中：δbi(t)为i无人机在t时刻stad的差值，bi(t)为i无人机在t时刻stad的值，bi(t-1)为i无人机在t-1时刻stad的差值，δdi(t)为i无人机在t时刻时延的差值，di(t-1)为i无人机在t-1时刻时延值，δli(t)为i无人机在t时刻prr的差值，li(t-1)为i无人机在t-1时刻prr值；

mac的切换架构的流程如下：

3.1、初始化：q学习的q表，折扣因子和学习率的设定，根据当前状态获得状态等级；

3.2、根据当前的状态和q表信息选择动作；

3.3、判断当前动作所选择的mac类型和当前所运行的mac是否一致，如果不一致则判断本无人机的请求切换计时器是否过期，如已经过期则发起切换mac请求，启动基于pbft的共识决策模块；

3.4、根据基于pbft的共识决策模块输出的共识结果和本无人机动作结果(即预选择结果)是否一致，计算反馈值；

其中3.2是预选择操作，3.4是基于共识决策模块，其具体如下：

3.4.1、请求无人机发出同步切换，确定初始无人机，初始无人机广播预准备消息，并且启动计时器；

3.4.2、其余无人机在收到预准备包之后根据自身的动作结果确定投票准备包并且广播出去共识进入了准备阶段；

3.2.3、若任何不含请求无人机的无人机收到超过2f个投票准备包，则该无人机广播投票确认包，共识进入确认阶段；

3.2.4、如果任何不含请求无人机收到超过2f+1个投票确认包同意切换当前的mac协议，则该无人机广播投票回答包；

3.2.5、如果任何无人机收到任何一个投票回答包，在失效无人机无法发送数据包和干扰共识进程的情况下，该无人机认为共识已经达成，并且执行同步切换操作。

3.2.6、判断计时器是否过期，若过期则共识失败。

3.2.7、所有非失效无人机使用共识选择的mac协议进行通信。

本发明的基于q学习的无人机飞行自组网自适应媒体接入控制协议，见附图1，2和3，将其应用到具体实例上，保证多无人机无线通信服务质量的最大化，具体应用如下：

考虑5～12架无人机，将时间细分为20微秒一个时隙，物理数据速率为2mbit/s，

csma/ca中的ack(确认)、sifs(短帧间间隔)和difs(分布式帧间间隙)分别占用56、10和50微秒的时间，数据包平均到达的时间为5或者10时隙。本发明中，总时间内的平均吞吐量被定义为：

其中，bn代表第n个数据包的长度，n为第n个数据包，t为运行时间。平均时延被定义为：

其中，dn代表第n个数据包的时延，包括mac排队延迟，退避延迟，传输延迟和传播延迟，np代表总数据包的个数。定义只有数据包成功传输时才会考虑时延问题，未能成功传输则不考虑时延问题。平均prr被定义为：

其中，ln代表第n个数据包的重发次数，包括超过退避时间和丢包造成的重传。

考虑另外三种mac协议，与本发明在同一环境下共同运行，分别为：分布式自适应协议，该协议允许无人机根据某些性能(如延迟)选择mac协议，并且并没有同步切换方案，多个mac协议可能同时运行；无预选择的同步切换协议，与本发明相比该协议部署了多mac协议的同步切换，但没有预选择操作，取而代之的是根据某些性能(如延迟)选择mac协议；无同步切换的q学习协议，与本发明相比，该协议部署了预选择操作，但是没有部署同步切换模块，取而代之的是这样一个切换步骤：首先，每个无人机将使用自己确定的协议来传输数据包。其次，如果发射无人机使用的协议与接收无人机不同，发射无人机将尝试切换到另一个协议，直到数据包成功传输到接收无人机。

图4、图5和图6分别表示在协议运行总时间为200秒时，无人机个数由5增长至12的过程中，无人机平均吞吐量、平均时延和平均prr的变化趋势；图7、8和图9分别表示在无人机个数为6时，协议运行时间由0增加到200秒的过程中，无人机平均吞吐量、平均时延和平均prr的变化趋势。

如图4、图5和图6所示，随着无人机数的增多，采用本发明设计的方案的无人机网络的吞吐量、时延和包重发率都要优于其它三种方案。

如图7、图8和图9所示，随着协议运行时间得增加，本发明设计的方案中无人机的吞吐量、时延和包重发率依然优于另外三种方案并且稳定。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。