一种5GRedCap的强化学习辅助下行信道估计方法

本发明属于信道估计领域，具体涉及一种5g redcap的强化学习辅助下行信道估计方法。

背景技术：

1、3gpp release 17(rel-17)提出了一种5g轻量级用户终端(reduced-capabilityuser equipment，redcap ue)类型，5g-redcap是一种降低能力的5g技术，属于新技术标准nr light(nr lite)。它主要针对一些物联网应用场景，如工业传感器、视频监控、可穿戴设备等，这些场景对网络服务质量的要求高于lpwan(包括nb-iot、e-mtc等)，但低于embb和urllc的能力。5g-redcap的优势是降低了设备成本和复杂性，提高了能量效率和电池寿命，同时保持了与5g网络的兼容性。

2、5g redcap系统的建立由众多关键技术的支持才能完成。下行信道作为核心网对终端发送数据的通道具有很重要的作用。5g redcap下行信道中的多址技术使用的是正交频分复用(orthogonal frequency division multiplexing，ofdm)技术，数字调制方式以正交幅度调制(quadrature phase shift keying，qam)为主，主要是16qam，16qam是指包含16种符号的qam调制方式。ofdm技术的发展离不开几项关键技术的支持，其中信道估计作为接收机中最关键的一个步骤，关系到后续相关检测，均衡和调制解调等操作。有效信道估计技术是良好通信质量的先决条件。无线信号在信道传输的过程中，由于传输环境中的各种不良影响，通信系统的有效性受到传输环境的极大影响，例如阴影衰落和频率选择性衰落，这就导致了电磁波信号在发射端和接收端之间的传播路径变的极其复杂。信道估计的性能对于实现5gredcap设备所要求的较高的可靠性尤为重要。

3、在5g下行链路中，导频辅助信道估计技术如最小二乘(least squares，ls)和最小均方误差(minimum mean squared error，mmse)可用于计算信道估计矩阵。最小均方误差是基于导频估计的最优准则，可以获得更好的估计性能。不幸的是，mmse的主要缺点是它需要信道统计信息和噪声方差作为先验知识，这使得该算法不适用于低成本、低复杂度且传输信道复杂的5g redcap系统。

4、最小二乘算法(ls)由于其简单且不依赖于信道统计知识而被广泛用于基于导频的信道估计，它不考虑噪声方差和信道信息。但由于信道噪声影响而导致的高估计误差，传统ls估计器的估计精度比较低。现有对于ls去噪的方法集中于基于离散傅里叶变换(discrete fourier transform，dft)的信道估计，首先对ls得到信道频域的粗估计值，对其进行离散傅里叶反变换(inverse discrete fourier transform，idft)运算，之后保存信道最大时延长度的数据，其余置0，再做dft变换得到频域估计值。基于dft的信道估计只适用于较为理想的采样间隔信道模型，即多径信道的每径时延为采样间隔的整数倍，并不适用于5g redcap下行信道的一般场景，如tdl信道。

技术实现思路

1、本发明针对上述现有技术存在的问题，提出一种5g redcap的强化学习辅助下行信道估计方法，为达到该目标，重点关注单子帧woa估计算法、多子帧联合估计两个关键问题。

2、本发明在单子帧信道估计中，利用woa算法来搜索最佳信道统计特性，以实现具有最小误码率(ber)的最终目标，然后根据终端低移动性的特点，利用强化学习中的q学习算法优化多子帧权重，根据得到的各子帧权重进行多子帧联合估计来进一步降低信道估计误差，本发明在仅占用少量内存、不显著增加计算量的基础上，能够显著提高5g redcap下行信道估计的准确性，降低系统检测误码率。

3、本发明是通过以下技术方案来实现的：一种5g redcap的强化学习辅助下行信道估计方法，包括以下步骤：

4、步骤1、建立5g redcap下行系统仿真链路模型；

5、步骤2、在单子帧信道估计中，对步骤1建立的模型利用woa算法来搜索最佳信道统计特征，得到单子帧的信道估计矩阵，以实现具有最小误码率的最终目标；

6、步骤3、利用强化学习中的q学习算法以最小误码率为目标，优化各子帧权重，根据得到的各子帧权重和步骤2所述的单子帧的信道估计矩阵进行多子帧联合估计，得到当前子帧的信道估计矩阵；

7、步骤4、5g redcap下行系统仿真链路的性能分析：基于得到的当前信道估计矩阵分析5g redcap下行信道协议下仿真链路系统中的误码率ber以及信道均方误差mse。

8、进一步的，步骤1中，所述的建立5g redcap下行系统仿真链路模型，具体步骤如下：

9、步骤1.1、发射端随机生成二进制数据，对二进制数据进行调制、插入导频、快速傅里叶逆变换ifft等操作，将处理后的数据送入信道；

10、步骤1.2、创建抽头延时线性tdl通道模型并设置通道参数，在接收端加入高斯白噪声；

11、步骤1.3、接收端进行对应的逆操作，包括进行串/并转换、去除循环前缀cp、快速傅里叶变换fft、信道估计、解调，完成5g redcap下行系统仿真链路的建模。

12、进一步的，步骤2中，所述的在单子帧信道估计中，对步骤1建立的模型利用woa算法来搜索最佳信道统计特征，得到单子帧的信道估计矩阵，以实现具有最小误码率的最终目标，具体步骤如下：

13、步骤2.1、确定需要搜索的信道统计特征，对于步骤1建立的模型，根据mmse信道估计表达式确定需要搜索的信道统计特征是延迟扩展、最大多普勒频移和信噪比snr；

14、步骤2.2、定义一个成本函数，使群体朝着拥有最小误码率的最终目标前进，在woa优化算法中，鲸鱼的每个位置都可以对应一个星座(从信道均衡)；如果该位置对应的星座具有较小的色散，则认为该位置更好；成本函数为：

15、σ2(snr，τrms，fm)＝e{||xest-xref||}

16、其中，xest和xref分别为估计信号和参考信号；fm为最大多普勒频率；τrms为延迟扩展；

17、步骤2.3、利用woa算法搜索信道统计特征；鲸群在n维空间中移动，其中n是需要搜索的信道统计特征的数量；每个搜寻个体的位置代表一组信道统计特征，woa优化通过三种方法来模拟鲸鱼的行为，再更新最优个体，不断迭代，得到最佳信道统计特征；

18、步骤2.4、根据得到的最佳信道统计特征，推导出信道的自相关矩阵和互相关矩阵，之后代入mmse信道估计表达式，得到单子帧的信道估计矩阵。

19、mmse信道估计表达式为：

20、

21、其中，是mmse信道估计结果；w是加权矩阵；是ls信道估计的结果；h代表真实信道矩阵；是频域上真实信道向量和临时信道估计向量之间的互相关矩阵，即是的自相关矩阵，rhh是h的自相关矩阵；代表信道中叠加噪声的方差。

22、进一步的，步骤3中，所述的利用强化学习中的q学习算法以最小误码率为目标，优化各子帧权重，根据得到的各子帧权重和步骤2所述的单子帧的信道估计矩阵进行多子帧联合估计，得到当前子帧的信道估计矩阵，具体步骤如下：

23、步骤3.1、保存当前子帧和前n-1个子帧估计的信道估计矩阵，n是优化变量的个数，在多子帧优化问题中，n是多子帧的数目。n可以根据实际场景的多普勒频移灵活选取，在多普勒频移较小的场景下，信道变化较慢，n取较大的值；

24、步骤3.2、利用强化学习中的q学习算法以最小化误码率为目标优化各子帧权重，对于每个个体，按照探索概率ε进行随机探索或者贪婪选择，即以概率ε从动作空间a中进行随机探索；或以概率1-ε选择价值最大的动作作为下一步执行的动作进行贪婪选择；

25、步骤3.3、按照选择的动作更新所选子帧的权重；之后对当前子帧和前n-1个子帧的信道估计矩阵进行加权和，得到当前个体的信道估计矩阵；

26、步骤3.4、根据当前个体的信道估计矩阵，对接收信号进行均衡和解调，计算色散，将色散的变化作为执行动作的即时奖励rt+1，使用贝尔曼方程(bellman equation)更新q值；

27、步骤3.5、重复步骤3.2至3.4，直到达到最大迭代次数；q学习算法会随着时间的推移不断接近最佳权重；之后根据得到的各子帧权重系数对当前子帧和前n-1个子帧的信道估计矩阵进行加权和，得到当前子帧的信道估计矩阵。

28、步骤3.2中，具体步骤如下：

29、步骤3.2.1、确定状态、动作和奖励：将各子帧的权重向量m(i)，m(i-1)，...，m(i-n+1)作为状态state，选择变化的子帧序号以及变化的方向作为动作action，基于当前子帧的信道估计矩阵计算得到的接收误差函数的变化的相反数作为奖励reward；

30、步骤3.2.2、进行初始化：初始化q值矩阵，其中每个元素表示在某个状态下采取某个动作的价值；初始化时将q表中所有q值统一设为0，然后随机选择初始状态和动作，并设定迭代次数、探索概率ε、学习率α和折扣因子γ；

31、步骤3.2.3、对于每个个体，按照探索概率ε进行随机探索或者贪婪选择，具体为：

32、

33、其中，at+1是下一步的动作，at是当前的动作，st是当前的状态，k是[0，1]范围内随机数。

34、本发明具有以下有益效果：较传统的ls信道估计方法，我们致力于在不显著增加计算量的基础上得到更好的估计结果；本发明立足于5g redcap下行信道相关协议规定下多径瑞利信道情况的信道估计系统。首先搭建了符合协议规定的5g redcap下行系统仿真链路；其次按照ts 38.211相关规定设置dm-rs符号，在单子帧估计上，基于woa算法的信道估计具有比ls估计更好的准确性，同时相比于mmse估计，基于woa的信道估计不需要知道信道的先验信道信息，同时具有较快的收敛性，综合来看适用于5g redcap的单子帧信道估计；在低移动性场景下，有限个(nave)子帧的时间内的信道状态之间的差异较小，利用多子帧的估计结果来进行联合估计，可以进一步去除噪声的影响，降低信道估计误差。综上所述，本发明在占用少量内存，不显著增加计算量的基础上显著提高估计准确性，特别适用于终端处于较低移动性环境中，设备复杂度受限的场景。