一种RIS辅助通信的多目标优化方法、系统及设备

本发明涉及多目标优化领域，特别是涉及一种星地融合网络中基于深度强化学习和noma的智能反射面辅助通信的多目标优化方法、系统及设备。

背景技术：

1、随着物联网(iot)和车联网(iov)的快速发展，星地融合网络作为一种可靠的新兴候选网络架构受到了广泛而重要的关注，它能够为任何人和任何事物提供异构服务、无缝覆盖和高数据吞吐量。尽管将卫星网络整合到地面网络已被证明可以显著改善系统容量，但由于传输距离的限制，地面用户设备与地球静止轨道(geo)卫星之间严重的路径损耗构成了一个重大挑战。因此，需要一个通信继电器来放大和转发信号。基于无人机(uav)的中继通信由于其灵活的能力和在星地融合网络中实现可持续管理、监督和控制物理基础设施的高利润效益，预计将成为星地融合网络关键技术。

2、尽管利用星地融合网络通信具有明显的优点，但这也引起了人们对有限的频谱资源和迅速增加的能耗的严重担忧。在此基础上，功率域非正交多址(noma)方案可以支持大量的多用户接入，作为支持6g iov网络大规模异构业务的可靠替代方案。基于上述分析，在星地融合网络中利用noma是一种非常有前途的接入技术，它具有缓解多径和阴影衰落的潜力。

3、除了有限的频谱资源外，影响星地融合网络通信质量的另一个挑战是传输链路的不稳定性，特别是在低空高密度城市上空，并且在uav飞行过程中可能遇到潜在障碍。为了解决这一问题，可重构智能表面(ris)作为一种智能改变无线传播的新范式被提出改变无线传输环境。ris有许多低成本的近被动反射元件，每个元件都由管脚二极管或变容管调节，能够建设性地提高接收信号的功率，或通过调整预期地面车辆用户所需的相移和/或幅度来破坏性地抑制冗余干扰。

4、由于信号传输过程涉及多个优化目标，包括卫星的发射波束形成权向量、ris的相移设计、uav的高质量轨迹约束。因此，本发明提出一种ris辅助通信的多目标优化方法、系统及设备。

技术实现思路

1、本发明的目的是提供一种ris辅助通信的多目标优化方法、系统及设备，构建基于noma和ris的星地融合网络下行通信传输系统模型，并将下行通信传输系统模型中uav轨迹设计、卫星主动发射波束形成和ris相移配置的多目标优化问题转换为马尔可夫决策过程，并利用mo-ddpg算法确定uav轨迹设计、卫星主动发射波束形成和ris相移配置的最优组合，从而提高下行通信质量和效率。

2、为实现上述目的，本发明提供了如下方案：

3、一种ris辅助通信的多目标优化方法，所述方法包括：

4、构建以卫星接入点为发射端，以n个uav配备的n个ris为中继反射端，以k个单天线的地面用户为接收端的星地融合网络的下行通信传输系统模型；所述下行通信传输系统模型包括信道模型、基于noma的信号传输模型和uav能量耗散模型；

5、基于所述下行通信传输系统模型，建立以最大化下行通信传输系统瞬时可达速率，同时最小化uav消耗的能量为优化目标，以uav轨迹特性、卫星发射功率特性和ris调制特性为约束条件的下行通信传输多目标优化模型；所述下行通信传输多目标优化模型的优化对象为uav轨迹设计、卫星主动发射波束形成和ris相移配置；

6、基于所述下行通信传输多目标优化模型建立马尔可夫决策模型；

7、基于所述马尔可夫决策模型，利用mo-ddpg算法求解所述下行通信传输系统模型的最优下行通信策略；所述最优下行通信策略为所述uav轨迹设计、所述卫星主动发射波束形成和所述ris相移配置的最优组合。

8、可选的，所述信道模型包括卫星与ris的下行信道模型和ris与地面用户之间的下行信道模型；

9、所述卫星与ris的下行信道模型表示为：

10、

11、其中，gs,t表示卫星发射功率，gs,r表示卫星业务用户的抛物面天线增益，cs表示自由空间损耗，表示雨衰系数，b表示考虑卫星通信远场特性的波束增益矩阵，g和分别表示发射天线数量和角度；表示同或运算；

12、所述ris与地面用户之间的下行信道模型中，ris到地面用户的传输链路表示为：

13、

14、其中，kre表示ris到地面用户传输链路的莱斯衰落参数；hlos表示视距链路；hnlos表示非视距链路。

15、可选的，所述基于noma的信号传输模型包括：地面用户接收信号模型和瞬时可达速率模型；

16、所述地面用户接收信号模型表示为：

17、

18、其中，表示采用noma协议的第i个地面用户处的接收信号；hi表示第i个地面用户所经历的合成信道系数；pi表示卫星向地面第i个地面用户发射的下行功率；wi表示卫星向地面第i个地面用户发射的主动波束向量；si为表示第i个地面用户发送的信号；hj表示第j个地面用户所经历的合成信道系数；pj表示卫星向地面第j个地面用户发射的下行功率；wj表示卫星向地面第j个地面用户发射的主动波束向量；sj为第j个地面用户发送的信号；ni表示在第i个地面用户处的高斯白噪声；

19、所述瞬时可达速率模型表示为：

20、

21、其中，ri表示采用noma协议的第i个地面用户的下行通信传输系统瞬时可达速率；bi表示卫星分配给第i个地面用户的带宽；k表示地面用户数量；表示第i个地面用户处的高斯白噪声的正态分布方差。

22、可选的，所述uav能量耗散模型表示为：

23、

24、其中，en表示第n个uav的能量耗散模型；e1表示第n个uav运动消耗能量，v表示第n个uav的速度；e2表示第n个uav通信消耗能量；tn表示第n个uav完成执行任务所需的时间；是一组随时间产生的误差，其值取决于uav运动模式。

25、可选的，所述优化目标表示为：

26、

27、其中，表示ris的离散相移；w表示卫星主动发射波束向量；表示所有无人机二维轨迹向量；tmax表示时间步长总数；表示t时刻第i个地面用户对应的下行通信传输系统瞬时可达速率。

28、可选的，所述约束条件表示为：

29、

30、

31、其中，表示t时刻第n个无人机执行任务的初始位置；表示t时刻第一个uav的位置；表示tmax时刻第n个uav的位置；表示t时刻第n个无人机执行任务的结束位置；表示每个时间间隙长度；表示用于区分解码信号中的间隙阈值；表示t时刻卫星向地面第i个地面用户发射的下行功率；pmax表示卫星向地面用户发射的最大下行功率；表示第n个无人机在t时刻的水平位置；表示第n个无人机在t时刻的垂直位置；xmin和xmax分别表示第n个无人机在t时刻的最小水平位置和最大水平位置；ymin和ymax分别表示第n个无人机在t时刻的最小垂直位置和最大垂直位置；表示ris的调制，表示的是虚部，表示第n个ris的第m个反射元素相移。

32、可选的，基于所述下行通信传输多目标优化模型建立马尔可夫决策模型，具体包括：

33、建立所述马尔可夫决策模型的状态空间；所述状态空间包括卫星发射功率、第n个uav的位置、上一个时间步长的动作空间以及信道模型矩阵；

34、建立所述马尔可夫决策模型的动作空间；所述动作空间包括无人机机动运动方向、第n个ris中的第m个反射元素相移和卫星主动发射波束形成矩阵；

35、建立所述马尔可夫决策模型的奖励函数；所述奖励函数为下行通信传输系统瞬时可达速率。

36、本发明还提供一种ris辅助通信的多目标优化系统，所述系统包括：

37、下行通信传输系统模型构建模块，用于构建以卫星接入点为发射端，以n个uav配备的n个ris为中继反射端，以k个单天线地面用户为接收端的星地融合网络的下行通信传输系统模型；所述下行通信传输系统模型包括信道模型、基于noma的信号传输模型和uav能量耗散模型；

38、优化模型构建模块，用于基于所述下行通信传输系统模型，建立以最大化下行通信传输系统瞬时可达速率，同时最小化uav消耗的能量为优化目标，以uav轨迹特性、卫星发射功率特性和ris调制特性为约束条件的下行通信传输多目标优化模型；所述下行通信传输多目标优化模型的优化对象为uav轨迹设计、卫星主动发射波束形成和ris相移配置；

39、马尔可夫决策模型构建模块，用于基于所述下行通信传输多目标优化模型建立马尔可夫决策模型；

40、优化求解模块，用于基于所述马尔可夫决策模型，利用mo-ddpg算法求解所述下行通信传输系统模型的最优下行通信策略；所述最优下行通信策略为所述uav轨迹设计、所述卫星主动发射波束形成和所述ris相移配置的最优组合。

41、本发明还提供一种电子设备，包括存储器及处理器，存储器用于存储计算机程序，处理器运行计算机程序以使电子设备执行所述的ris辅助通信的多目标优化方法。

42、根据本发明提供的具体实施例，本发明公开了以下技术效果：

43、本发明的目的是提供一种ris辅助通信的多目标优化方法、系统及设备，构建基于noma和ris的星地融合网络下行通信传输系统模型，并将下行通信传输系统模型中uav轨迹设计、卫星主动发射波束形成和ris相移配置的多目标优化问题转换为马尔可夫决策过程，并利用mo-ddpg算法确定uav轨迹设计、卫星主动发射波束形成和ris相移配置的最优组合，提高了信号传输多目标优化的准确性，从而提高下行通信质量和效率。