一种基于DQN的分簇式协同频谱感知方法

本发明涉及认知无线电的，尤其涉及一种基于深度q网络(deep qnetwork,dqn)的分簇式协同频谱感知方法。

背景技术：

1、现代电子战不光取决于精密的武器，还取决于信息的获取、分析和预测。如果能够及时、准确地掌握电磁场的状态，并随之调整电磁战略，那么就能够在电子战中占据极其有利的地位。因此，电磁态势感知应运而生，而频谱感知正是其中至关重要的一大环节。此外，在认知无线电中，频谱感知技术也是举足轻重的关键技术，不仅能够有效地提高频谱的利用率，还能提高无线电系统对周围电磁环境的感知能力，从而统筹协调通信资源。因此，频谱感知技术的重要性不言而喻。

2、传统方法中，比较流行的频谱感知方法包括能量检测法、匹配滤波检测法、循环平稳特征检测法、波形检测法等。其中，能量检测法计算量小、复杂度低、易实现，成为了实际应用中主要的方法。随着机器学习的蓬勃发展，已经有很多学者将深度学习、强化学习等方法应用于频谱感知中，并且取得了优异的表现。然而，在信噪比快速变化的场景下，很多已有的方法并不能快速地适应如此多变的环境，尤其是传统的能量检测法，一旦判决阈值固定后，极易受到噪声功率的影响，感知性能将大大降低。

技术实现思路

1、本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

2、鉴于上述现有存在的问题，提出了本发明。

3、因此，本发明提供了一种基于dqn的分簇式协同频谱感知方法解决现有的检测方法感知可靠性低，容易受噪声功率不确定性影响，单节点频谱感知的精度和鲁棒性都容易受限且不能快速适应多变场景的问题。

4、为解决上述技术问题，本发明提供如下技术方案：

5、本发明实施例提供了一种基于dqn的分簇式协同频谱感知方法，包括：

6、获取主用户和次用户的地理位置，基于所述主用户和次用户的地理位置构建分簇式协同感知架构，所述分簇式协同感知架构将与聚类中心距离最小的次用户作为簇头；

7、在所述簇头上构建dqn，并定义状态空间、动作空间以及奖励函数，训练每个簇头的dqn并调整dqn参数进行测试得到测试结果；

8、对所述测试结果进行二次融合，基于簇间融合结果和观测值，判决输出频谱检测的准确率。

9、作为本发明所述的基于dqn的分簇式协同频谱感知方法的一种优选方案，其中：所述分簇式协同感知架构将与聚类中心距离最小的次用户作为簇头，包括：

10、若共有m个次用户，将第i个次用户的位置记为(xi,yi)，并将m个次用户分为n个簇；

11、将第j个簇的聚类中心记为若第j个簇内共有lj个次用户，分别计算lj个次用户到聚类中心的欧氏距离，选择欧氏距离最小为该簇的簇头，记为cj。

12、作为本发明所述的基于dqn的分簇式协同频谱感知方法的一种优选方案，其中：在所述簇头上构建dqn，并定义状态空间、动作空间以及奖励函数，包括：

13、将第j个簇中为非簇头的次用户接收到的信号进行处理并传输给簇头，所述簇头将lj个数据作为dqn的输入；当前dqn待检测的频谱状态包括空闲状态和占用状态，即簇内感知的状态共有种状态，则状态空间s定义为：

14、

15、其中，si为次用户对频谱的感知状态，i为某一次用户的下标；当si为0时，表示第i个次用户感知结果是频谱空闲；当si为1时，表示第i个次用户感知结果是频谱占用。

16、作为本发明所述的基于dqn的分簇式协同频谱感知方法的一种优选方案，其中：还包括：

17、所述簇头初始化判决阈值γ＝γ0和调节增量δγ，动作用于智能调节判决阈值，当动作取值为0时，保持当前判决阈值不变；当动作取值为1时，判决阈值增加一个增量；当动作取值为2时，判决阈值减少一个增量；

18、动作空间a定义为：

19、a＝{a|a∈{0,1,2}}

20、其中，a为动作。

21、作为本发明所述的基于dqn的分簇式协同频谱感知方法的一种优选方案，其中：还包括：根据检测准确率不同，奖励函数包括，

22、当ηt＝1时，表示为：

23、

24、当0≤ηt<0.5时，表示为：

25、

26、当0.5≤ηt<1时，表示为：

27、

28、其中，r为可调节的奖励基数，ηt为检测准确率，rt为奖励值。

29、作为本发明所述的基于dqn的分簇式协同频谱感知方法的一种优选方案，其中：训练每个簇头的dqn并调整dqn参数进行测试得到测试结果，包括：

30、根据上一时刻状态st-1分别计算3种动作的q值，即q(s)，选择最大q值对应的动作，作为当前时刻的动作at；

31、簇头在环境中执行动作，根据at的取值，动态地调节判决阈值；

32、簇头将lj个能量信号yt,i与判决阈值γt进行比较，得到当前时刻的状态st；

33、环境根据动作at、状态st、观测值ot、上一时刻的检测准确率ηt-1计算当前时刻的奖励值rt，并将四元组(st-1,at,rt,st)存入经验池，重复上述操作，直至经验池存满；

34、当经验池存满后，dqn中的网络开始更新，从经验池中随机采样，将采样获得的奖励值和下一状态输入目标网络并计算目标网络的q值；采用均方差损失函数更新优化q网络的参数，直至网络完成收敛。

35、作为本发明所述的基于dqn的分簇式协同频谱感知方法的一种优选方案，其中：对所述测试结果进行二次融合，包括：在簇内，定义每个次用户的累计准确度，进行基于累计准确度的簇内融合；在簇间，定义每个簇累计准确度，进行基于累计准确度的簇间融合。

36、作为本发明所述的基于dqn的分簇式协同频谱感知方法的一种优选方案，其中：所述簇内融合包括：

37、在簇内，为每个次用户定义一个累计准确度wi,t,i∈{1,2,…,lj}；所述簇头将st,i映射到空间{-1,1}得到s′t,i；所述簇头进行簇内融合，即第一次感知融合，融合判决结果d1,t，表示为：

38、

39、其中，dt为第一次感知融合判决值。

40、作为本发明所述的基于dqn的分簇式协同频谱感知方法的一种优选方案，其中：为每个簇定义一个累计准确度簇间进行第二次感知融合，融合判决结果为d2,t，即为最终的协同感知结果，表示为：

41、

42、其中，为第二次感知融合判决值，0表示频谱空闲，1表示频谱被占用。

43、作为本发明所述的基于dqn的分簇式协同频谱感知方法的一种优选方案，其中：基于簇间融合结果和观测值，判决输出频谱检测的准确率，包括：

44、通过计算簇间融合结果和环境观测值获得最终的频谱检测准确率pd，表示为：

45、

46、其中，⊙为异或运算符，为第二次感知融合判决值，ot为环境观测值，t为整个频谱感知预测期间。

47、与现有技术相比，本发明的有益效果：本发明采用分簇式协同架构进行频谱感知，并基于累计准确度的二次融合算法，提高了频谱感知的精度和鲁棒性，使得整个系统不易受单个或几个感知节点的噪声影响。进一步的，在dqn中重新定义了状态空间和动作空间，提出了一种复杂的奖励函数，使智能体能够智能地调节能量检测的判决阈值，更好地适应信噪比未知且快变的环境，打破了传统能量检测方法的应用局限性，提高了整个协同感知系统的稳定性。