智能化大规模随机接入方法、系统、介质、设备及终端

本发明属于无线通信，尤其涉及一种智能化大规模随机接入方法、系统、介质、设备及终端。

背景技术：

1、目前，海量机器类通信(mmtc)被视为未来数字世界的基础业务类型之一，可在5g和b5g系统中支撑广泛的应用，包括工业自动化、智能交通、智能电网等。通常而言，城市环境中mmtc设备(mtcd)的密度可高达每平方公里106个，这明显高于人类通信(htc)设备的密度。根据爱立信的预测，到2027年，连接到通信网络的设备数量将达到269亿台，其中50％以上将是mtcd。随着数量庞大的各类mtcd接入网络，传统面向htc的蜂窝网络面临着巨大的挑战。

2、第一个挑战源于不同mmtc应用对服务质量(qos)的多样化需求。在多应用共存的mmtc网络中，不同应用对时延、可靠性、移动性、能耗等方面是不同的。例如在智能测量应用中，mtcd设备产生的定期报告消息对时延的要求并不高，而在事件驱动的mmtc应用中，告警消息的上传时延必须满足非常严格的时延约束。此外，支持不同mmtc应用的底层协议可能非常不同，例如设备唤醒周期、帧大小、前导码格式等。然而，在传统网络架构下，网络功能由专用物理硬件实现，网络中的业务高度耦合，这种单一的网络架构很难为不同的mmtc应用提供差异化服务。

3、mmtc业务的另一个主要挑战是来自mtcd的海量接入请求。现有的随机接入(ra)协议主要是为htc设计的，由于ra资源有限，它们在mmtc中的性能显著下降。在ra过程中所涉及的资源中，有两类资源限制传统ra协议的性能。第一种是前导码资源。在竞争性随机接入过程中，每个前导码可唯一地标识一个发起ra请求的mtcd。在传统ra协议中，一个小区中只有54个前导码用于竞争性随机接入，当多个mtcd使用同一个前导码发起ra请求时，会因为前导码冲突而导致它们接入失败。由于mmtc应用中，mtcd的数量远远高于小区中可用的前导码数量，因此前导码冲突的概率非高，这些mtcd在冲突后将不得不随机退避一段时间后重新接入，这将显著增加接入时延。第二种资源是物理下行链路控制信道(pdcch)的资源。为了提高mtcd的续航能力，5g-advanced中为物理下行链路控制信道(pdcch)预留的资源非常有限，根据现有文献的研究，有限的pdcch资源会严重限制gnb的接入能力，从而导致接入时延大幅增加。

4、最近，有一些开创性的工作旨在应对这些挑战。一方面，一些研究人员提出应用mtcd分组和优先级参数来提供差异化服务。然而，这些解决方案无法提供细粒度的服务分级，其中所涉及的操作在很大程度上依赖于运维人员的经验。另一方面，一些研究人员提出了免授权接入机制来简化传统的四步握手ra过程。在此类解决方案中，基站需要预测小区内所有mtcd可能的接入时间，从而在所预测的时间窗内向mtcd发送接入许可。由于mtcd数量庞大，这种预测需要消耗海量的计算资源与样本数据，而执行该预测任务的gnb通常不具备足够的计算能力。此外，由于随机事件本质上的不可预测性，这些方案在事件触发型mmtc应用中的预测结果非常不准，导致ra的性能不佳。

5、网络切片是基于软件定义网络(sdn)与网络功能虚拟化(nfv)技术在物理网络上定制一个逻辑网络，通过sdn/nfv的可编程性、灵活性和模块化等能力。每个网络切片可以为特定需求的应用提供服务，由服务提供商(即租户)定制以满足特定的qos需求。因此，借助网络切片技术，可以对不同的mmtc应用定制相应的网络切片，从而为不同的应用提供细粒度、差异化的服务。但是，虽然每个网络切片内的冲突域缩小了，但各切片中可用的前导码和pdcch资源也减少了，因为网络切片的资源是从物理网络中“切分”出来的。因此，如果无法很好地解决这两类资源的稀缺性，则冲突概率和接入时延与传统的ra协议相比并无显著的优势。

6、随着大规模物联网的兴起，大规模机器类型通信(mmtc)成为5g及后5g(b5g)的关键业务类型之一。然而，虽然同属mmtc业务，但不同mmtc应用的qos需求在时延、能耗、通信范围等指标上要求各不相同，因此现有的单一物理网络无法同时支撑多种不同的mmtc应用。此外，在mmtc网络中，mmtc设备(mtcd)的数量通常远远高于小区中可用的前导码数量以及和pdcch资源块的数量，当大量的mtcd同时请求接入网络时，会造成严重的冲突，导致大量的mtcd长时间无法接入网络。为了解决这些问题，亟需设计一种新的智能化大规模随机接入方法及系统。

7、通过上述分析，现有技术存在的问题及缺陷为：

8、(1)在传统网络架构下，网络功能由专用物理硬件实现，网络中的业务高度耦合，这种单一的网络架构无法提供细粒度的服务分级，很难为不同的mmtc应用提供差异化服务。

9、(2)在传统ra协议中，前导码冲突的概率非高，这些mtcd在冲突后将不得不随机退避一段时间后重新接入，这将显著增加接入时延。

10、(3)5g-advanced中为物理下行链路控制信道预留的资源非常有限，有限的pdcch资源会严重限制gnb的接入能力，从而导致接入时延大幅增加。

11、(4)现有的免授权随机接入技术需要消耗大量的计算资源与训练样本，而gnb通常不具备相应的资源，并且在事件触发型的mmtc应用中的预测结果非常不准，导致ra的性能不佳。

技术实现思路

1、针对现有技术存在的问题，本发明提供了一种智能化大规模随机接入方法、系统、介质、设备及终端，尤其涉及一种基于网络切片的智能化大规模随机接入方法、系统、介质、设备及终端。

2、本发明是这样实现的，一种智能化大规模随机接入方法，所述智能化大规模随机接入方法包括：将臃肿的物理网络裁剪为多个轻量级、定制化的网络切片，并在单一物理网络上为不同mmtc应用提供差异化的服务；提出切片前导码(spreamble)的概念，用于扩展每个小区中前导码的数量；提出基于强化学习的pdcch资源共享算法，以实现在动态网络环境中自适应地复用pdcch资源。

3、进一步，所述智能化大规模随机接入过程为：

4、消息1：每个mtcd将随机选择一个spreamble用于标识自身，并通过物理随机接入信道prach向v-gnb发送一条包含该spreamble的ra请求；

5、消息2：v-gnb在收到msg 1后，如果没有检测到前导码冲突，v-gnb回复一个ra响应rar，其中包括为第三步指定的上行链路授权和物理上行链路共享信道pusch分配信息；rar通过物理下行链路共享信道pdsch发送，且pdsch资源需要在pdcch上进行调度，而pdcch资源将由acrs算法进行动态分配；

6、消息3：当mtcd成功接收到来自v-gnb的rar后，将使用消息2中指定的资源块发送连接请求；

7、消息4：v-gnb通过pdsch向mtcd发送竞争解决消息，指示mtcd此次ra过程成功；同样，pdsch资源需要在pdcch上进行调度。

8、进一步，所述智能化大规模随机接入方法中pdcch资源的动态分配包括以下步骤：

9、步骤一，进行dprap问题的mdp建模；

10、步骤二，构建基于ac的pdcch资源动态分配算法；

11、步骤三，利用分配算法进行mdp的求解。

12、进一步，所述步骤一中的dprap问题的mdp建模包括：

13、mdp由五元组{s,a,p,r,γ}定义，其中s是状态空间；a是动作空间；p定义状态转移概率；r是奖励函数；γ是折扣因子。在每个时隙开始时，代理根据对环境当前状态s的观测选择动作a∈a执行。作为动作的结果，代理将收到奖励r(s,a)，并以p(s'|s,a)的概率转移到新状态s′∈s。在新状态s′上，交互过程将继续执行，直到代理学习到最优策略。dprap问题所对应的mdp模型包括：

14、(1)状态空间

15、使用一个n维向量定义mdp的每个状态：

16、

17、(2)动作空间

18、由于代理旨在决定最优的pdcch资源分配策略，故mdp的动作定义为：

19、

20、分配给每个切片的cce数量受以下限制：

21、

22、其中，‖ξk‖是向量ξk的l1范数。

23、(3)状态转移

24、状态转移p定义mdp的动态特征，为状态s下的每个动作a指定一个状态转移概率p(s′|s,a)；在状态s下，执行动作a后环境将以p(s′|s,a)的概率转移到状态s′；mdp的状态转移用状态转移概率矩阵p表示，本发明中涉及的模型是个无模型的mdp。

25、(4)回报函数

26、在状态s下选择动作a的奖励定义为系统中所有mtcd的平均wad的负值：

27、

28、其中，表示在第k个时隙内，切片n内的mtcd的平均接入时延；由时隙k内所有成功接入v-gnb的mtcd报告给代理。当在第k时隙，切片n中接入成功的mtcd集合是对于每个成功的通过消息4将真实接入时延发送给v-gnb；代理根据以下公式计算n的平均接入时延：

29、

30、其中，是集合的基数。

31、进一步，所述步骤二中的基于ac的pdcch资源动态分配算法的构建包括：

32、在基于ac的pdcch资源动态分配算法中，决策时刻被定义为每个时隙的开始，训练过程由动作选择、mmtc随机接入、状态值更新和策略更新组成。

33、(1)动作选择

34、在第k个时隙的开始，设mdp的状态为sk。代理的策略函数由玻尔兹曼分布给出，选择动作a∈a的概率为：

35、

36、其中，θ是一个温度参数；q(s,a)是在状态s∈s采取行动ak∈a后所获得的平均奖励；通过执行选定的动作ak，每个切片将被分配一定数量的pdcch资源用于随机接入。

37、(2)mmtc随机接入

38、每个切片获得第一步所分配的pdcch资源后，切片内的mtcd请求接入相应的v-gnb。在该时隙中，接入成功的mtcd将向v-gnb报告他们的接入时延，而失败的mtcd的接入请求将被推迟到后续的时隙；代理获得在状态sk下采取行动ak的奖励rk(sk,ak)，同时mdp将转移到下一个状态sk+1。

39、(3)状态值函数更新

40、根据收到的奖励rk(sk,ak)，时分误差td-error通过以下方式计算：

41、δk(sk,ak)＝rk(sk,ak)+γvk(sk+1)-vk(sk).

42、td-error被反馈给actor和critic，用于更新状态值函数和策略函数；状态值函数将根据下式更新：

43、vk+1(s)＝vk(sk)+μ(τ1(sk,k))·δk(sk,ak),

44、其中，τ1(sk,k)表示状态sk在第k个时隙中出现的次数；μ(τ1(sk,k))是一个正步长参数，用于控制算法的收敛速度；μ(·)的值随着sk的出现次数的增加而减小；随着相同状态的出现次数的增加，算法的收敛速度相应降低。

45、(4)策略更新

46、状态值更新后，td-error将用于更新策略函数；

47、

48、其中，τ2(sk,ak,k)是在第k个时隙内，在状态sk下执行动作ak的次数；β(·)为一个正的步长参数。

49、本发明的另一目的在于提供一种应用所述的智能化大规模随机接入方法的智能化大规模随机接入系统，所述智能化大规模随机接入系统包括：基础设施层、网络切片层以及管理编排层(mano)。

50、其中，所述基础设施层是由单个gnb和多个具有不同qos需求的mtcd组成的接入网(ran)，预留多种控制面资源支撑mtcd的接入；

51、所述网络切片层位于基础设施层之上，包含虚拟运营商创建的n个网络切片，用于为不同的mtcd提供差异化服务；

52、所述mano层由切片管理和编排实体组成，包括sdn控制器和nfv编排器，用于负责网络切片之间的资源分配和调度。

53、进一步，所述网络切片层中，根据mtcd的qos需求，通过sdn/nfv技术将基础设施层的物理资源虚拟化，从而定制满足相应qos需求的多个网络切片；每个网络切片的物理资源是从基础设施层上切分得到，且各个网络切片之间相互隔离，各自利用物理资源为具有相同qos需求的mtcd提供服务；nsra框架将对基础设施层的前导码进行扩充，使得系统中可用的前导码数量是原来的n倍；gnb将被虚拟化为多个虚拟gnb(v-gnb)为n个切片提供服务。

54、所述管理与编排层中，sdn控制器动态分配网络资源，提供统一的管理和控制，包括协议运行、策略分发、链路信息采集；nfv编排器根据切片的流量负载实时调整为其分配的物理资源数量；在nsra方案中，mano层部署在gnb上，用于负责监控各切片中的负载，运行基于actor-critic的资源共享算法(acrs)，通过与环境的不断交互，实现pdcch资源在多个切片间高效的复用。

55、本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的智能化大规模随机接入方法的步骤。

56、本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述的智能化大规模随机接入方法的步骤。

57、本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述的智能化大规模随机接入系统。

58、结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：

59、本发明提供的基于网络切片的智能随机接入方案(nsra)，首先通过将臃肿的物理网络裁剪为多个轻量级、定制化的网络切片，可以有效地减小随机接入请求的冲突域，并且可在单一物理网络上为不同mmtc应用提供差异化的服务。其次，为了克服前导码资源的短缺，在该方案中提出了一种“切片前导码”的概率，有效地扩展了每个小区中前导码的数量。此外，为了pdcch资源的短缺并提高传输效率，在该方案中提出了一种基于强化学习的pdcch资源共享算法，以实现在动态环境中自适应地复用pdcch资源。

60、本发明提供了一种基于网络切片的智能ra机制。网络切片是基于sdn与nfv技术在物理网络上定制一个逻辑网络，通过sdn/nfv的可编程性、灵活性和模块化等能力。每个网络切片可以为特定需求的应用提供服务，由服务提供商(即租户)定制以满足特定的qos需求。因此，借助网络切片技术，可以对不同的mmtc应用定制相应的网络切片，从而为不同的应用提供细粒度、差异化的服务。同时，本发明通过引入网络切片，将传统的庞大的物理网络划分为多个相互独立的、轻量级的网络切片，可以缩小随机接入的冲突域，从而大大降低每个网络切片内的冲突概率并降低接入时延。

61、本发明针对mmtc网络提出了一个支持网络切片的随机接入框架。为了缓解随机接入资源的稀缺性，本发明提出了spreamble的概念来扩展前导码的数量，并提出了一个基于学习的资源共享方案来实现pcddh资源的动态分配。仿真结果表明，本发明实施例所提出的框架可以有效地为每个网络切片分配随机接入资源，不仅可以保证mtcd的接入需求，而且还可以为后续的数据传输提供差异化服务。此外，本发明提供的框架的实现具有简单易实现的特点，仅需对现有的随机接入系统做简单的改进即可。

62、本发明提供的nsra框架创新地提出了切片前导码(spreambles)和actor-critic资源共享算法(acrs)来分别解决这两类资源的稀缺性问题。一方面，spreamble的引入显得扩展了每个网络切片中可用的前导码的数量，从而可以有效降低冲突概率。另一方面，本发明提出的acrs算法使得有限的pdcch资源在多个网络切片之间的高效复用，从而有效地提高了各切片的接入能力，降低接入时延。本发明的主要贡献总结如下：

63、本发明提供了一个基于网络切片的mmtc智能随机接入框架nsra，该框架利用网络切片的定制化能力，为多个类mmtc应用提供差异化的服务；

64、在nsra框架中，本发明提出了一种新的spreamble概念，它可以将可用前导码的数量扩大到原来的n倍，其中n是系统中部署的网络切片的数量。spreamble的提出可以有效地降低前导码的冲突概率；

65、在nsra框架中，本发明提出了一种基于强化学习的动态资源共享算法acrs，以在动态环境中实现pdcch资源在各网络切片间的高效复用，从而提高pdcch资源的利用率；

66、本发明通过大量的数值模拟验证了所提出框架的有效性。仿真结果表明，所提出的nsra框架可以有效地提高ran的接入能力并显著降低接入时延。

67、本发明所提出的基于网络切片的智能随机接入方案(nsra)具有复杂度低、易于实现、接入性能高等优点。数值仿真表明，本发明提供的nsra方案可以有效地为不同的mtcd分配接入资源，并满足它们在随机接入过程中的qos需求，同时可以为其后续的数据传输提供差异化服务。

68、本发明的技术方案转化后的预期收益和商业价值为：本发明实现了大规模物联网中海量设备的有效接入，本发明提供的智能随机接入方案简单易实现，只需要在现有的5g-advanced随机接入协议做少量修改即可实现。本发明的技术方案转化后不仅可以提高现有蜂窝系统的接入能力，同时可以为不同的应用提供差异化的服务。该方案实现简单、资源利用率高，可极大地降低大规模物联网的运营成本，从而提高运营商的整体收益。

69、本发明的技术方案填补了国内外业内技术空白：在大规模物联网中，如何将海量的物理联网设备接入容量有限的无线基站制约物联网发展的关键问题。本发明首次提出利用网络切片来支撑mmtc设备的随机接入，并创新性地提出了切片前导码来扩展基站中可用前导码的数量，同时提出了acrs算法来提高随机接入资源的利用率。本发明提出的智能化大规模随机接入方法有效地缓解了无线基站的接入资源受限的问题，极大地提升了其接入能力，降低了接入时延，弥补了现有方案的不足。本发明填补了网络切片在使能mmtc随机接入方向的空白，发展了mmtc随机接入的新方法。

70、本发明的技术方案是否解决了人们一直渴望解决、但始终未能获得成功的技术难题：

71、已有的随机接入方案是部署在传统的网络架构上的，在此架构下，网络功能由专用物理硬件实现，这种单一的网络架构无法提供细粒度的服务分级，很难为不同的mmtc应用提供差异化服务；而传统的随机接入方案还存在前导码冲突的概率非高、pdcch资源严重受限的问题，使得已有方案的接入时延很高。本发明提出的切片前导码和acrs算法分别解决了这两方面的问题，从而有效地降低了mmtc设备的接入时延。(4)本发明的技术方案是否克服了技术偏见：

72、5g-advanced之所以沿用4g的随机接入方案，主要是考虑到从4g向5g演进时需要进行平滑的过渡，避免对原有系统进行大规模的改动。因而业界存在这样的偏见：对于为大规模物联网设计的随机接入方案而言，要实现它们就要对现有的通信系统做大量的修改。本发明克服了这一技术偏见，所提方案不需要对原有的随机接入协议做大的改动，只需要将传统的前导码进行扩充，并在基站运行acrs算法进行pdcch资源的共享即可实现海量设备的随机接入。