一种用于LoRaWAN地下直连卫星系统的扩频因子分配方法

本发明涉及地下直连卫星和低功耗广域网领域，尤其是涉及一种用于lorawan地下直连卫星系统的扩频因子分配方法。

背景技术：

1、lorawan地下直连卫星系统是将基于lorawan的地下无线传感网络与低地球轨道卫星结合，以提供在偏远地区或受灾地区的大规模低成本地下环境监测解决方案，可广泛应用于自动化农业、偏远地区地下管线监测以及灾后地区的抢险救援等领域。

2、lora作为lorawan中的一种调制方案，其采用啁啾扩频调制技术，并引入了准正交特性，使其具备了出色的抗干扰能力。同时，lora调制技术通过调整扩频因子，实现了通信距离和能耗之间的不同权衡。然而，在大规模的地下直连卫星场景中，由于lora调制技术采用类似aloha的介质访问协议，从而严重限制了其网络容量和碰撞鲁棒性。例如，当大量的地下传感器节点被配置相同的扩频因子时，会增加携带相同扩频因子数据包在同一信道发生同扩频因子干扰的概率，从而导致较低的包成功传输率。

3、因此，如何利用lora调制技术的准正交特性为大规模地下传感器节点设计最优的扩频因子策略，以提高整体网络能效，对于实现大规模lorawan地下直连卫星系统实际部署具有重大实际意义。

4、目前在地上无线传感器网络领域已经提出了各种扩频因子分配策略，但这些策略未考虑到地下土壤特性、同扩频因子干扰影响以及网络能效指标，难以适用基于lorawan的大规模地下直连卫星场景。

5、为此，针对lorawan地下直连卫星系统，亟需设计一种适用大规模lorawan地下直连卫星场景的扩频因子分配方法，以有效降低地下传感器节点的功耗，进一步提高系统的运行周期，并推动系统的实地部署。

技术实现思路

1、本发明的目的就是为了克服上述现有技术存在的缺陷而提供了一种用于lorawan地下直连卫星系统的扩频因子分配方法，可有效降低地下传感器节点的功耗，进一步提高系统的运行周期，并推动系统的实地部署。

2、本发明的目的可以通过以下技术方案来实现：

3、本发明提供了一种用于lorawan地下直连卫星系统的扩频因子分配方法，该方法包括：

4、步骤s1、构建lorawan地下直连卫星系统，初始化全部地下传感器节点的扩频因子配置，所述地下传感器节点采用初始化后的扩频因子配置向部署在低地球轨道卫星的lorawan网关上传当前的状态信息；

5、步骤s2、所述lorawan网关接收到所有地下传感器节点的状态信息后，采用预训练的多智强化学习模型，计算得到网络能效最大化的扩频因子分配结果；

6、步骤s3、所述lorawan网关将扩频因子配置结果广播给全部地下传感器节点，所述地下传感器节点利用更新的扩频因子配置进行后续传感数据上传。

7、优选地，每个地下传感器节点的状态信息包括当前的扩频因子配置，无干扰下包成功接收率psnr，捕获效应下包成功接收率psir，总的包成功接收概率ps以及平均传输数据包能量epp。

8、优选地，所述多智能体强化学习模型的构建过程包括：

9、1)智能体：将每个地下传感器节点视为一个单独的智能体，智能体元素含义表示：第n个地下传感器节点在离散时隙t依据当前策略在观察到环境状态下选择了动作当智能体执行动作后即获得奖励并在下一个时隙t+1切换到下一个状态

10、2)动作空间：每个智能体可从候选的扩频因子配置中选择一种扩频因子配置，故其动作空间表示为a＝{sfk}，k对应候选的扩频因子配置的编号；则全部智能体在每一时隙t下所选的动作集合表示为n为智能体的数量；

11、3)状态空间：每一个智能体所观察的环境状态包括所选的扩频因子配置，无干扰下包成功接收率psnr，捕获效应下包成功接收率psir，总的包成功接收概率ps以及平均传输数据包能量epp，每一个智能体的状态空间表示为则全部智能体在每一时隙t下所观察到的环境状态集合可以表示为

12、4)奖励：多智能强化学习模型目的是最小化每一个地下传感器节点的平均能量epp，每个智能体在每一时隙t下的奖励函数表示为全部智能体的奖励合集可以表示为

13、优选地，所述候选的扩频因子配置包括sf7、sf8、sf9、sf10、sf11、sf12，分别表征一个信息位需要发送的符号数量为2^7、2^8、2^9、2^10、2^11、2^12。

14、优选地，所述初始化全部地下传感器节点的扩频因子配置为sf12。

15、优选地，所述捕获效应下包成功接收率psir的计算过程具体为：

16、

17、其中，δ是给定阈值，φ是与目标信号在同信道同扩频因子且同时到达的干扰信号集合，nk是扩频因子配置sfk的节点数量，toak是当配置为sfk时数据包的空中传播时间，tp代表数据包上传周期，nc是上行通道数量，2f1()代表高斯超几何函数，dmax表示地下传感器节点与网关之间的最大距离，η表示空气路径损耗指数。

18、优选地，所述无干扰下包成功接收率psnr表达式为：

19、

20、其中，gt和gr分别表示地下传感器节点和网关的天线增益，|h|2表示从地下传感器节点到网关的信道增益服从瑞利分布，表示加性白高斯噪声的方差，q为设定的信噪比解调阈值；g(d)代表在地下传感器节点到网关距离为d下的路径损耗。

21、优选地，所述多智能体强化学习模型为mad3qn，所述mad3qn为基于值函数的多智能体格斗双深度q网络；每个智能体通过深度q网络去估计动作对应的q值分布期望，其中ωn代表第n个深度q网络的权重。

22、优选地，所述mad3qn通过最小化损失函数来获得最优的深度q网络权重，所述损失函数表达式为：

23、

24、其中，γ是折扣因子，用于表征未来奖励对于当前时刻的重要性，代表第n个目标深度q网络的权重，通过克隆当前深度q网络生成，并在固定迭代次数后根据当前深度q网络权重更新目的网络权重。

25、优选地，所述mad3qn将每一个智能体的输出层分为两个预测器，即优势函数和价值函数每一个智能体的输出网络层表示为：

26、

27、其中，κn,νn分别为第n个智能体网络公共部分、价值函数、优势函数的网络权重参数。

28、与现有技术相比，本发明具有以下优点：

29、1)本发明在考虑准确的信道模型和同扩频因子干扰的影响下，采用多智能体强化学习模型为基于lorawan的地下直连卫星系统推导出最优的扩频因子分配策略，相对于其他现有的扩频因子分配策略，该策略实现了更高的网络能效，为部署可持续的地下直连卫星系统奠定了基础。

30、2)本发明采用的多智能体强化学习模型为基于值函数的多智能体格斗双深度q网络(multi-agent dueling doubledeep q-network,mad3qn)，相较于传统的多智能体强化学习模型，有效解决了q值过估计的问题，并提升了学习收敛速度。