基于机器学习的切换参数优化的制作方法

1.下文的示例性实施例涉及蜂窝通信网络中的连接可靠性。


背景技术：

2.由于资源有限，因此需要优化对网络资源的使用。蜂窝通信网络中的小区可以被利用，使得更好的服务可以被提供给一个或多个终端设备。因此，对一个或多个小区的使用的优化可以实现资源的更好的使用以及终端设备的用户的增强用户体验。


技术实现要素：

3.通过独立权利要求阐明了针对各种示例性实施例的保护范围。本说明书中描述的、不落入独立权利要求的范围之内的示例性实施例和特征(如果有的话)，将被解释为对理解各种示例性实施例有用的示例。
4.根据方面，提供一种装置，包括用于以下的部件：获得多个切换参数值；使用第一机器学习模型来从多个切换参数值中选择切换参数值的子集；获得多个终端设备的历史信息；从切换参数值的子集中确定用于多个终端设备的最优切换参数值的第一集合；利用多个终端设备的历史信息来对所述最优切换参数值的第一集合打标签，以获得标记的数据集；利用标记的数据集来训练第二机器学习模型，其中经训练的第二机器学习模型能够基于所述第一终端设备的历史信息来预测用于第一终端设备的最优切换参数值的第二集合。
5.根据另一方面，提供一种装置，包括至少一个处理器和至少一个存储器，该至少一个存储器包括计算机程序代码，其中至少一个存储器和计算机程序代码被配置为与至少一个处理器一起，使该装置：获得多个切换参数值；使用第一机器学习模型来从多个切换参数值中选择切换参数值的子集；获得多个终端设备的历史信息；从切换参数值的子集中确定用于多个终端设备的最优切换参数值的第一集合；利用多个终端设备的历史信息来对最优切换参数值的第一集合打标签，以获得标记的数据集；利用标记的数据集来训练第二机器学习模型，其中经训练的第二机器学习模型能够基于第一终端设备的历史信息来预测用于第一终端设备的最优切换参数值的第二集合。
6.根据另一方面，提供了一种系统，包括一个或多个装置，其中该系统被配置为：获得多个切换参数值；使用第一机器学习模型来从多个切换参数值中选择切换参数值的子集；获得多个终端设备的历史信息；从切换参数值的子集中确定用于多个终端设备的最优切换参数值的第一集合；利用多个终端设备的历史信息来对最优切换参数值的第一集合打标签，以获得标记的数据集；利用标记的数据集来训练第二机器学习模型，其中经训练的第二机器学习模型能够基于第一终端设备的历史信息来预测用于第一终端设备的最优切换参数值的第二集合。
7.根据另一方面，提供了一种系统，包括自组织网络，其中该自组织网络被配置为：获得多个切换参数值；使用第一机器学习模型来从多个切换参数值中选择切换参数值的子集；获得多个终端设备的历史信息；从切换参数值的子集中确定用于多个终端设备的最优
切换参数值的第一集合；利用多个终端设备的所述历史信息来对最优切换参数值的第一集合打标签，以获得标记的数据集；利用标记的数据集来训练第二机器学习模型，其中经训练的第二机器学习模型能够基于第一终端设备的历史信息来预测用于第一终端设备的最优切换参数值的第二集合。
8.根据另一方面，提供了一种系统，包括无线电智能控制器，其中该无线电智能控制器被配置为：获得多个切换参数值；使用第一机器学习模型来从多个切换参数值中选择切换参数值的子集；获得多个终端设备的历史信息；从切换参数值的子集中确定用于多个终端设备的最优切换参数值的第一集合；利用多个终端设备的所述历史信息来对最优切换参数值的第一集合打标签，以获得标记的数据集；利用标记的数据集来训练第二机器学习模型，其中经训练的第二机器学习模型能够基于第一终端设备的历史信息来预测用于第一终端设备的最优切换参数值的第二集合。
9.根据另一方面，提供了一种系统，包括集中式单元和分布式单元，其中该集中式单元被配置为：获得多个切换参数值；使用第一机器学习模型来从所述多个切换参数值中选择切换参数值的子集；从该分布式单元获得多个终端设备的历史信息；从切换参数值的子集中确定用于多个终端设备的最优切换参数值的第一集合；利用多个终端设备的历史信息来对最优切换参数值的第一集合打标签，以获得标记的数据集；利用标记的数据集来训练第二机器学习模型，其中经训练的第二机器学习模型能够基于第一终端设备的历史信息来预测用于第一终端设备的最优切换参数值的第二集合。
10.根据另一方面，提供了一种方法，包括：获得多个切换参数值；使用第一机器学习模型来从多个切换参数值中选择切换参数值的子集；获得多个终端设备的历史信息；从切换参数值的子集中确定用于多个终端设备的最优切换参数值的第一集合；利用多个终端设备的历史信息来对最优切换参数值的第一集合打标签，以获得标记的数据集；利用标记的数据集来训练第二机器学习模型，其中经训练的第二机器学习模型能够基于第一终端设备的历史信息来预测用于第一终端设备的最优切换参数值的第二集合。
11.根据另一方面，提供了一种计算机程序，包括指令，用于使装置至少执行以下：获得多个切换参数值；使用第一机器学习模型来从多个切换参数值中选择切换参数值的子集；获得多个终端设备的历史信息；从所述切换参数值的子集中确定用于多个终端设备的最优切换参数值的第一集合；利用多个终端设备的历史信息来对最优切换参数值的第一集合打标签，以获得标记的数据集；利用标记的数据集来训练第二机器学习模型，其中经训练的第二机器学习模型能够基于第一终端设备的历史信息来预测用于第一终端设备的最优切换参数值的第二集合。
12.根据另一方面，提供一种计算机可读介质，包括程序指令，用于使装置至少执行以下：获得多个切换参数值；使用第一机器学习模型来从多个切换参数值中选择切换参数值的子集；获得多个终端设备的历史信息；从切换参数值的子集中确定用于多个终端设备的最优切换参数值的第一集合；利用多个终端设备的历史信息来对最优切换参数值的第一集合打标签，以获得标记的数据集；利用标记的数据集来训练第二机器学习模型，其中经训练的第二机器学习模型能够基于第一终端设备的历史信息来预测用于第一终端设备的最优切换参数值的第二集合。
13.根据另一方面，提供一种非瞬态计算机可读介质，包括程序指令，用于使装置至少
执行以下：获得多个切换参数值；使用第一机器学习模型来从多个切换参数值中选择切换参数值的子集；获得多个终端设备的历史信息；从切换参数值的子集中确定用于多个终端设备的最优切换参数值的第一集合；利用多个终端设备的历史信息来对最优切换参数值的第一集合打标签，以获得标记的数据集；利用标记的数据集来训练第二机器学习模型，其中经训练的第二机器学习模型能够基于第一终端设备的历史信息来预测用于第一终端设备的最优切换参数值的第二集合。
附图说明
14.在下文中，将参照附图更详细地描述各示例性实施例，在附图中：
15.图1图示了蜂窝通信网络的示例性实施例；
16.图2图示了切换事件的示例；
17.图3图示了根据示例性实施例的流程图；
18.图4图示了利用深度q学习的示例性实施例。
19.图5图示了根据示例性实施例的经训练的深度q学习网络模型；
20.图6图示了根据示例性实施例的数据标签功能和递归神经网络训练功能；
21.图7图示了根据示例性实施例的用于递归神经网络模型的训练阶段；
22.图8图示了根据示例性实施例的经训练的递归神经网络模型的推理阶段；
23.图9图示了根据示例性实施例的流程图；
24.图10图示了根据示例性实施例的仿真场景；
25.图11图示了根据示例性实施例的测试结果；
26.图12图示了根据示例性实施例的测试结果；
27.图13图示了示例性实施例的性能；
28.图14、图15和图16图示了根据一些示例性实施例的装置。
具体实施方式
29.以下实施例是例示性的。尽管说明书可以在文本的若干位置引用“一”、“一个”或“一些”实施例，但是这并不一定表示每个引用都针对相同的(多个)实施例，也不一定表示特定特征仅适用于单个实施例。不同实施例的单个特征也可以被组合以提供其他实施例。
30.在下文中，将使用以基于高级长期演进(高级lt，lte
‑
a)或新无线电的无线电接入架构作为示例性实施例可以被应用到其中的接入架构的示例来描述不同的示例性实施例，而不将示例性实施例限于这种架构。对于本领域技术人员来说明显的是，示例性实施例还可以通过适当地调整参数和过程来应用于具有合适装置的其他种类的通信网络。可适用系统的其他选项的一些例子是通用移动电信系统(umts)无线电接入网络(utran或e
‑
utran)、长期演进(lte，与e
‑
utra相同)、无线局域网(wlan或wifi)、微波接入全球互通(wimax)、个人通信服务(pcs)、宽带码分多址接入(wcdma)、使用超宽带(uwb)技术的系统、传感器网络、移动自组织网络(manet)和网络协议多媒体子系统(ims)或它们的任何组合。
31.图1描绘了简化的系统架构的示例，仅示出都是逻辑单元的一些元件和功能实体，它们的实现可以不同于所示出的。图1中所示的连接是逻辑连接；实际物理连接可以是不同
的。对于本领域技术人员明显的是，该系统通常还包括除图1中所示的那些之外的其它功能和结构。
32.然而，示例性实施例不是被限制为作为示例给出的系统，而是本领域技术人员可以将该解决方案应用到被提供有必要的属性的其他通信系统。
33.图1的示例示出了示例性无线电接入网络的部分。
34.图1示出了用户设备100和102，用户设备100和102被配置为在小区中的一个或多个通信信道上与提供该小区的接入节点104(例如，(e/g)节点b)进行无线连接。从用户设备到(e/g)节点b的物理链路被称为上行链路或反向链路，并且从(e/g)节点b到用户设备的物理链路被称为下行链路或前向链路。应理解，可以通过使用任何节点、主机、服务器或接入点等适合于该使用的实体来实现(e/g)节点b或其功能。
35.通信系统通常包括多于一个(e/g)节点b，在这种情况下，(e/g)节点b也可以被配置为通过为此目的而设计的有线或无线链路来相互通信。这些链路可用于信令目的。(e/g)节点b是被配置为控制其被耦合到的通信系统的无线电资源的计算设备。该节点b也可以被称为基站、接入点或包括能够在无线环境中操作的中继站的任何其他类型的接口设备。(e/g)节点b包括或耦合到收发器。从(e/g)节点b的收发器向天线单元提供连接，该连接建立到用户设备的双向无线电链路。天线单元可以包括多个天线或天线元件。(e/g)节点b进一步被连接到核心网络110(cn或下一代核心ngc)。取决于系统，cn侧上的对应件(counterpart)可以是服务网关(s
‑
gw，路由和转发用户数据包)，分组数据网络网关(p
‑
gw)，用于提供用户设备(ue)到外部分组数据网络或移动管理实体(mme)等的连接。
36.用户设备(user device)(也被称为ue，用户设备(user equipment)，用户终端，终端设备等)示出了一种装置类型，空中接口上的资源被分配并指派到该装置类型，因此本文中利用用户设备描述的任何特征可利用诸如中继节点之类的相应设备来实现。这种中继节点的示例是指向基站的层3中继(自回程中继)。
37.用户设备通常是指包括利用或无需订户识别模块(sim)来运行的无线移动通信设备，该无线移动通信设备包括但不限于以下类型的设备：移动站(移动电话)、智能手机、个人数字助理(pda)、手机、使用无线调制解调器的设备(警报或测量设备等)、笔记本电脑和/或触摸屏计算机、平板电脑、游戏机、笔记本电脑和多媒体设备。应理解，用户设备也可以是几乎专用的仅上行链路设备，其示例是将图像或视频剪辑加载到网络的照相机或摄像机。用户设备也可以是具有在物联网(iot)网络中操作的能力的设备，在该场景中，对象被提供有通过网络传送数据的能力，而无需使用人与人、或人与计算机交互。用户设备也可以利用云。在一些应用中，用户设备可以包括具有无线电部件(例如手表、耳机或眼镜)的小型便携式设备，并且在云中执行计算。用户设备(或在一些示例性实施例中，层3中继节点)被配置为运行一个或多个用户设备功能。用户设备也可以被称为订户单元，移动站，远程终端，接入终端，用户终端，终端设备或用户配置(ue)，这仅提及几个名称或设备。
38.这里描述的各种技术也可以应用于信息物理系统(cps)(协作控制物理实体的计算元件的系统)。cps可以使嵌入在不同位置的物理对象中的大量互连ict设备(传感器、执行器、处理器微控制器等)得到实现和开发。移动信息物理系统是信息物理系统的子类别，其中所讨论的物理系统具有固有的移动性。移动物理系统的示例包括由人类或动物运输的移动机器人和电子设备。
39.另外，尽管将设备描述为单个实体，但可以实现不同的单元、处理器和/或存储器单元(图1中未全部示出)。
40.5g支持使用多输入
‑
多输出(mimo)天线、比lte(所谓的小小区概念)多得多的基站或节点，包括与较小的站点协作操作的宏站点，并取决于服务需求、用例和/或频谱可用性而采用多个无线电技术。5g移动通信支持广泛的用例和相关应用，相关应用包括视频流，增强现实，不同的数据共享方式以及各种形式的机器类型应用(例如(大规模)机器类型通信(mmtc))，包括车辆安全，不同的传感器和实时控制。5g有望具有多个无线电接口，即低于6ghz，cmwave(厘米波)和mmwave(毫米波)，并且还可以与现有的传统无线电接入技术(如lte)集成。与lte的集成可至少在早期阶段被实现为系统，在该系统中，利用lte提供了宏覆盖，且5g无线电接口访问通过聚合到lte而来自于小型小区。换言之，5g计划同时支持rat间的可操作性(例如lte
‑
5g)和ri之间的可操作性(无线接口之间的可操作性，例如低于6ghz
‑
cmwave、低于6ghz
‑
cmwave
‑
mmwave)。被认为是在5g网络中使用的概念之一是网络切片，其中多个独立的专用虚拟子网(网络实例)可以在相同的基础结构中被创建，以运行对延时、可靠性、吞吐量和移动性具有不同要求的服务。
41.lte网络中的当前架构完全分布在无线电中，并且完全集中在核心网络中。5g中的低延时应用和服务需要将内容携带到靠近无线电，这产生本地疏导(1ocal break out)和多路接入边缘计算(mec)。5g支持分析和知识生成可以在数据源处进行。这种方法需要利用可能无法连续连接到网络的资源(例如笔记本电脑、智能手机、平板电脑和传感器)。mec为应用和服务托管提供了分布式计算环境。为加快响应时间，它还具有在蜂窝订户附近存储和处理内容的功能。边缘计算涵盖了广泛的技术，例如无线传感器网络，移动数据采集，移动签名分析，协作式分布的对等端到对等端自组联网和处理，也可分为本地云/雾计算和格/网格计算、露计算、移动边缘计算、微云计算、分布式数据存储和取回、自主自修复网络、远程云服务、增强和虚拟现实、数据缓存、物联网(大规模关键连接和/或延迟)、关键通信(自动驾驶汽车、流量安全、实时分析、时间临界控制、医疗保健应用)。
42.通信系统还能够与其他网络(诸如，公共交换电话网或互联网112)通信或利用它们提供的服务。通信网络还能够支持云服务的使用，例如，核心网络操作的至少部分可以作为云服务来执行(这在图1中由“云”114描述)。该通信系统还可以包括中心控制实体等，这为不同运营方的网络提供设施以例如在频谱共享中进行协作。
43.边缘云可以通过利用网络功能虚拟化(nvf)和软件定义网络(sdn)而进入无线电接入网络(ran)。使用边缘云可能意味着将至少部分地在可操作地耦合到包括无线电部分的远程无线电头或基站的服务器、主机或节点中执行接入节点操作。节点操作也可能分布在多个服务器、节点或主机之间。ran云架构的应用使得能够在ran侧(在分布式单元中，du 104)执行ran实时功能，并且以集中方式(在集中单元中，cu108)执行非实时功能。
44.还应理解，核心网络操作和基站操作之间的工作量分配可能不同于lte的工作量分配，甚至可能不存在。可能会使用的其他一些技术进步是大数据和全ip，这可能会改变网络构建和管理的方式。5g(或新无线电，nr)网络被设计为支持多个层次，这里mec服务器可以放置在核心与基站或节点b(gnb)之间。应理解，mec也可以应用于4g网络。
45.5g还可以例如通过提供回程来利用卫星通信以增强或补充5g服务的覆盖范围。可行的用例是为机器对机器(m2m)或物联网(iot)设备或车上乘客提供服务连续性，或确保关
键通信以及未来的铁路/海事/航空通信的服务可用性。卫星通信可以利用同步地球轨道(geo)卫星系统，也可以利用低地球轨道(leo)卫星系统，特别是巨型星座(其中部署了数百个(纳米)卫星的系统)。巨型星座中的每个卫星106可以覆盖创建地面小区的若干启用卫星的网络实体。可以通过地面中继节点104或通过位于地面或卫星中的gnb来创建地面小区。
46.对于本领域技术人员明显的是，所描述的系统仅仅是无线电接入系统的部分的示例，并且在实践中，该系统可以包括多个(e/g)节点b，用户设备可以访问多个无线电小区，并且该系统还可以包括其他设备，例如物理层中继节点或其他网络元件等。(e/g)节点b中的至少一个或可以是主(e/g)节点b。另外，在无线电通信系统的地理区域中，可以提供多个不同种类的无线电小区以及多个无线电小区。无线电小区可以是的宏小区(或伞形小区)，它们是通常具有长达数十公里的直径的大小区，或者是诸如微型小区、毫微微小区或皮小区之类的较小小区。图1的(e/g)节点b可以提供任何种类的这些单元。蜂窝无线电系统可以作为包括几种小区的多层网络来实现。通常，在多层网络中，一个接入节点提供一种一个或多个小区，因此需要多个(e/g)节点b来提供这种网络结构。
47.为了满足改进通信系统的部署和性能的需求，已经引入了“即插即用”(e/g)节点b的概念。通常，能够使用“即插即用”(e/g)节点b的网络，除归属(e/g)节点b(h(e/g)节点b)之外，还包括归属节点b网关或hnb
‑
gw(图1中未显示)。通常安装在运营方网络内的hnb网关(hnb
‑
gw)可能会将来自大量hnb的流量聚合回核心网络。
48.为了向终端设备的用户提供连续服务，终端设备可以执行切换过程(handover或者handoff)，以从一个信道或承载服务改变为另一信道或承载服务。信道的这种改变也可以引起基站或另一网络元件(诸如控制基站或核心网络元件的网络元件)的改变，例如移动交换中心或分组交换服务的支持节点。例如，在正在进行通话或数据会话的终端设备从第一小区所覆盖的区域移开而进入第二小区所覆盖的区域的情况下，当终端设备超出第一小区的范围时该会话可以从第一小区的基站切换到第二小区的基站以避免终止或中断会话。应当注意，切换甚至可以发生在另一种类型的系统上，其可以被称为系统间切换，例如在gsm网络和第三代合伙项目(3gpp)、umts网络和/或wlan之间。
49.因此，可以存在可用的多个备选接入服务和备选切换参数设置，并且终端设备可以决定应该建立哪些可用的网络连接来替换原始连接。终端设备可以连续地测量服务基站和相邻基站的信号质量，并将这些测量结果报告给基站。然后，切换算法可以基于可用的无线电接入信道的信号质量和/或其他质量信息来决定切换。换言之，切换算法可以选择具有最优质量的无线电接入信道。然后，可以将与由切换算法选择的无线接入节点(例如基站)相关联的连接设置用于建立新连接。然而，希望切换过程发生在具有最小故障率的最优条件下。切换过程可以依赖于可以影响切换性能的不同切换参数(例如：滞后余量，在本文中表示为m；和/或触发时间(time
‑
to
‑
trigger)，在本文中表示为ttt)。因此，可以通过优化切换参数值来改善切换性能。
50.图2图示了切换事件的示例，具体是a3切换事件。例如，当服务小区的参考信号接收功率(rsrp)减小到可接受水平以下，并且相邻小区的rsrp变得比服务小区的rsrp高出阈值时，该阈值由滞后余量指示，在由ttt指示的时间间隔之后，切换可以通过服务小区的基站发起。
51.滞后余量可以被应用以避免触发由于小区的测量质量的快速波动而导致的不必
要事件。当相邻小区的rsrp测量值高于服务小区的rsrp加上由a3偏移量和滞后余量表示的阈值时，滞后余量可以定义进入条件以发起切换，即：
52.rsrp
n
＞rsrp
s
+a3
offset
+m
53.其中rsrp
n
是相邻小区的rsrp测量，rsrp
s
是服务小区的rsrp测量，a3
offset
是a3偏移，并且m是滞后余量值。
54.ttt可以被用于设置预定义的时间间隔，在该时间间隔期间需要满足进入条件才能执行切换。ttt的使用可以减少不必要的切换的次数，尤其是乒乓事件，即当终端设备执行切换然后直接重新连接回源小区时。但是，应注意的是，ttt还可能导致切换延迟，这可能会影响切换失败的次数。
55.由操作员手动设置切换参数值可能是耗时，容易出错并且效率低下的。例如，如果网络环境改变，则切换参数值可能不再合适，并且这可能导致切换失败和/或无线链路(rlf)失败的增加。因此，可以将移动鲁棒性优化(mro)引入自组织网络(son)中，以检测由过早的切换、太晚的切换和/或切换到不正确的小区所引起的rlf。son可以被定义为用于无线电接入网络的自动配置、优化和修复的系统。mro可以定义为一种用于自动检测和纠正移动性配置中的错误的技术。mro可以用于动态改善切换的网络性能，以提供改善的最终用户体验和/或增加的网络容量。
56.此外，最优切换参数值与终端设备的速度(即终端设备物理移动的速度物理量)之间可能存在关系。例如，对于高速移动的终端设备，因为较长的等待时间可能导致呼叫掉线，减小ttt值可能是有益的。可以例如从包括最优切换参数值的查找表中作为终端设备的速度的函数来选择最优切换参数值，但这可能需要估计终端设备的速度。因此，估计速度中的错误可能导致不合适的切换参数值，从而导致切换性能降低。
57.各示例性实施例可以被用于自动地优化切换参数值，而不需要关于终端设备的速度的明确信息。图3示出了根据示例性实施例的流程图。在步骤301中，获得或接收多个候选切换参数值来作为输入。多个候选切换参数值可以表示可能的切换参数配置的总集合。例如，多个候选切换参数值可以从ran接收、以标准设置和/或由运运营方选择。
58.在步骤302中，切换参数值的子集从多个候选切换参数值中被选择，以便减少切换参数值的数量。切换参数值的子集可以表示在所考虑的上下文(例如，与在所考虑的小区或小区组中的终端设备的给定配置文件相对应)中相关的切换参数值的集合。例如，可以针对高速移动的终端设备预选择ttt值。基于强化学习的第一机器学习模型，例如深度q学习网络(dqn)，可以被用于适应环境并且从多个候选切换参数值中选择切换参数值的子集。
59.强化学习可以定义为机器学习的一个领域，可以被用来确定软件代理(例如算法)在环境中应采取什么行动以最大化回报。这里，奖励可以被定义为测量由软件代理所采取的动作的成功或失败的反馈。q学习是一种强化学习算法，可用于确定采取何种动作而无需环境模型。深度q学习网络可以包括深度神经网络(dnn)，即在输入层和输出层之间具有多层的人工神经网络。
60.在步骤303中，例如多个终端设备的历史信息从一个或多个基站被获得。该历史信息可以包括例如已服务了终端设备的小区的小区id、已服务了终端设备的波束的波束id和/或在预定义的时间段内所报告的波束的一个或多个测量的rsrp值。
61.在步骤304中，数据标记被执行以便获得标记的数据集。为了获得标记的数据集，
从切换参数值的子集中确定用于多个终端设备的最优切换参数值的集合，并且利用由历史信息(例如每个终端设备的小区id、波束id和/或波束rsrp)向量表示的多个终端设备来对最优切换参数值打标签。最优切换参数值的集合可以是被确定为使多个终端设备的关键性能指示符最大化的切换参数值，并且最优切换参数值然后被打标签有它们是相应终端设备的最优的历史信息。例如，mro计数器可用作关键性能指示符。mro计数器可以指示不同mro事件(例如过早的切换、过晚的切换和/或切换到不正确的小区)的数目。
62.最优切换参数值可以通过利用多个终端设备的至少一个子集来测试切换参数值的子集、并选择使该多个终端的至少一个子集的性能指示符最大化的切换参数值的集合而被确定。例如，可以通过测试终端设备轨迹的一部分来测试切换参数值的子集，确定用于给定终端设备的最优切换参数值。然后，使终端设备的性能最大化的最优切换参数值(例如一对ttt值和滞后余量值)可以被打标签有该个体终端设备的历史信息。可以例如通过mro计数器来测量性能。例如，可以使用基于集群的技术，其中可以用切换参数值的子集来测试多个主终端设备(即多个终端设备的子集)，以便确定使给定的主终端设备的性能最大化的最优切换参数值。然后，对于一个或多个其他终端设备，相似性度量可以例如基于连续接收的rsrp测量的向量而被定义，以标识给定的另一终端设备属于哪类主终端设备。然后，该最优切换参数值可以被归属于(attributed to)该另一终端设备，作为对该类主终端确定的最优切换参数值。
63.备选地，最优切换参数值可以例如通过以下被确定：利用多个终端设备来仿真切换参数值的子集，并基于仿真来选择使多个终端设备的性能指示符最大化的切换参数值的集合。例如，给定终端设备的相同轨迹可以利用仿真中切换参数值的子集被重复，以便基于仿真来确定使该个体终端设备的性能最大化的最优切换参数值。性能可以例如利用mro计数器而被测量。
64.在步骤305中，将标记的数据集作为训练数据提供给第二机器学习模型，以便利用训练数据来训练第二机器学习模型。第二机器学习模型可以例如基于监督学习。例如，第二机器学习模型可以是循环神经网络rnn模型，例如多对一多变量长
‑
短期记忆lstm模型。
65.监督学习是机器学习的一个领域，可用于学习基于示例性输入
‑
输出对将输入映射到输出的功能。rnn是一种人工神经网络，可以接受顺序输入(例如时间序列信息)，并通过在时间步长之间共享参数来提供最优切换参数值作为输出。因此，rnn可能会记住历史信息，并且决策可能会受到过去所学的影响。应当注意，rnn的输出不仅可以取决于输入值，而且还可以取决于输入序列中元素的顺序。
66.在训练完成之后，在步骤306中，可以将经训练的第二机器学习模型提供(例如传输)到一个或多个基站，基站可以转而使用经训练的第二机器学习模型来预测最优切换参数值(例如ttt值和滞后余量值，用于连续实时地基于一个或多个终端设备的历史信息的一个或多个终端设备)。因此，预测的最优切换参数值可以被用于提高一个或多个终端设备的连接可靠性。应当注意，可以通过第二机器学习模型预测最优切换参数值的一个或多个终端设备可以是与用于训练第二机器学习模型的多个终端设备不同的终端设备。
67.图4图示了利用深度q学习的示例性实施例，其中dqn被训练以从多个候选切换参数值中选择切换参数值的子集。基于dqn的机器学习可以在外部平台420中的ran410之外被执行。外部平台420可以是例如诸如son或无线电智能控制器ric的系统。在示例性实施例
中，软件代理(例如算法)可以通过执行动作并分析所产生的性能来学习适应特定环境。软件代理可以通过在此表示为s的特定状态来描述，并且可以通过执行不同的在此表示为a的动作来与软件交互，其中，动作可以通过在此表示为r的奖励来表征。换句话说，状态
‑
动作对可以映射到期望的回报。状态可以包括例如来自多个候选切换参数值的一对ttt值和滞后余量值。动作的示例是增加或减小ttt值和/或滞后余量值，从而导致新状态。dqn训练功能421可以用于训练dqn。dqn训练功能可以与ran交换信息，以在选择的状态s上通知基站(例如gnb)，并且随后获得例如利用mro计数器测量的对应奖励值r(s，a)。dqn训练功能可以提供与多个动作有关的多个q值作为输出。q值可以指示与动作相关联的总长期奖励，而r可以指示与动作相关联的立即奖励。确定性函数422可以用于从dqn训练函数的输出中选择具有最高q值的动作。软件代理的目标可能是使总奖励最大化。
68.在示例性实施例中，例如，5个不同的ttt值和针对该ttt值中的每个ttt值的9个不同的滞后余量值可以被视为初始值。因此，在此示例性实施例中，可以存在45个可能的状态，如下表1所示。
[0069][0070]
表1
[0071]
通过选择动作，软件代理可以从一状态转移到另一状态。在该示例性实施例中，可以存在9个可能的操作：
[0072]
1.ttt值单次增加
[0073]
2.ttt值单次降低
[0074]
3.m值单次增加
[0075]
4.m值单次下降
[0076]
5.ttt值单次增加并且m值单次增加
[0077]
6.ttt值单次降低并且m值单次降低
[0078]
7.ttt值单次增加并且m值单次下降
[0079]
8.m值单次增加并且ttt值单次下降
[0080]
9.保持在当前状态
[0081]
换言之，有可能如表1所描述的从当前状态移动到相邻状态，或停留在当前状态。例如，可以从状态23移至状态13、14、15、22、24、31、32或33，或者停留在状态23。奖励可以例如基于以下函数而与动作相关联：
[0082]
r(s，a)＝number of successful handovers
‑
mro counters
[0083]
在dqn训练期间，被称为经验重播(experience replay)的概念可以被应用于存储经验，以便帮助避免忘记先前经验并减少经验之间的相关性。在一个示例性实施例中，以下步骤可以被用来训练dqn：
[0084]
1.选择一个或多个终端设备的随机状态
[0085]
2.收集所选配置的mro计数器，然后计算奖励
[0086]
3.根据贪婪算法选择动作a
[0087]
4.将状态、动作、奖励和下一个状态存储在内存中
[0088]
贪婪算法是一类算法，可以被用于确定特定步骤的最优动作以解决优化问题。
[0089]
上述步骤可以重复执行，直到数据集利用经验重播概念来被构建，如下：
[0090]
1.从内存中进行随机小批量采样
[0091]
2.关于dqn的旧权重预测q值
[0092]
3.根据如下来更新动作a的q值：
[0093][0094]
4.使用更新后的q值来拟合dqn
[0095]
上面的等式表示，来自处于状态s并执行动作a的q值等于立即奖励加上来自下一个状态s
next
的最高q值。在上面的等式中，γ表示其值在0和1之间的折扣因子(discount factor)，用于控制未来奖励的贡献。训练过程因此可以导致状态与动作之间的映射。
[0096]
图5图示了包括被训练的dqn模型的示例性实施例，该被训练的dqn模型用于预测q值，以从多个候选切换参数值中针对所考虑的小区或小区组选择切换参数值的子集。状态(例如，一对ttt值和滞后余量值)被提供作为对dqn的输入，且多个动作的多个q值被生成作为输出。然后可以选择具有最高q值的动作。结果，可能收敛到较小的状态子集，即，选择最大化定义的奖励函数的切换参数值的子集。换言之，多个候选切换参数值被减小为切换参数值的较小子集，该切换参数值的较小子集可以表示所考虑的小区或小区组的相关切换参数值。然后由dqn选择的切换参数值的子集可以被提供给数据标记功能，以从子集中标识哪些切换参数值对于哪单个终端设备是最优的，并获得每个终端设备的历史信息，以便形成用于训练rnn模型的标记的数据集。
[0097]
图6图示了包括数据标记功能和rnn训练功能的示例性实施例。数据标记和rnn训练可以在外部平台620中的ran 610的外部被执行。外部平台620可以是例如诸如son或无线电智能控制器ric的系统。当将所选择的切换参数值的子集应用于多个主终端以确定多个终端设备的最优切换参数值时，数据标记功能611可以与一个或多个基站(例如，gnb)交换信息以获得多个终端设备的历史信息以及性能信息。历史信息可以包括每个终端设备在时间间隔内的小区id、波束id和/或一个或多个测量的rsrp值。然后作为数据标记功能的输出的标记的数据集可以被提供作为到rnn训练功能612的输入。在已利用标记的数据集训练rnn之后，经训练的rnn模型可以被提供(例如被传输)给一个或多个基站，一个或多个基站
转而可以基于一个或多个终端设备的历史信息使用经训练的rnn模型以实时预测一个或多个终端设备的最优切换参数值。
[0098]
图7图示了根据示例性实施例的用于rnn模型的训练阶段。在训练阶段，rnn模型接收训练数据作为输入。训练数据(即标记的数据集)可以包括多个终端设备的历史信息以及多个终端设备的最优切换参数值。历史信息可以包括每个终端设备在时间间隔内的服务小区id、服务波束id和/或一个或多个测量的rsrp值。
[0099]
图8示出了根据示例性实施例的用于经训练的rnn模型的推理阶段。在rnn模型训练完后，在推理阶段，经训练的rnn模型会接收一个或多个终端设备的历史信息作为输入，并基于历史信息来预测一个或多个终端设备的最优切换参数值(例如ttt值和滞后余量值)。历史信息可以包括每个终端设备在时间间隔内的服务小区id、服务波束id和/或一个或多个测量的rsrp值。应当注意，推理阶段的这一个或多个终端设备可以是与用于在rnn训练阶段中训练rnn模型的多个终端设备不同的终端设备。
[0100]
图9图示了根据示例性实施例的流程图。在步骤901中，获得多个切换参数值。在步骤902中，第一机器学习模型用于从多个切换参数值中选择切换参数值的子集。在步骤903中，获取多个终端设备的历史信息。在步骤904中，从切换参数值的子集中确定多个终端设备的最优切换参数值的第一集合。在步骤905，最优切换参数值的第一集合利用多个终端设备的历史信息而被打标签，以获得标记的数据集。在步骤906，利用标记的数据集来训练第二机器学习模型，其中，可以训练或教导第二机器学习模型，这样使其能够预测或被配置为基于一个或多个其他终端设备(例如第一终端设备)的历史信息来预测一个或多个其他终端设备的最优切换参数值的第二集合。一个或多个其他终端设备可以不包括在用于训练第二机器学习模型的多个终端设备中。
[0101]
上面采用图3
‑
图9描述的功能没有绝对的时间先后顺序，并且它们中的一些可以同时或以不同于所描述的顺序来被执行。也可以在它们之间或在它们内部中来执行其它功能，且可以发送和/或接收其他信息。
[0102]
在不使用外部平台的示例性实施例中，训练和/或推断可以在ran的cu级上被执行。所需的测量(即l2信息)可以通过f1接口从du传输到cu。
[0103]
图10图示了根据一示例性实施例的室外仿真场景。在仿真中可以考虑两种类型的用户：以3km/h的速度在步行区和广场区行走的行人，以及以30km/h的速度在街上行驶的汽车。将仿真参数总结在下表2中。
[0104][0105]
表2
[0106]
dqn可以被应用于不同的终端设备速度等级。根据示例性实施例，下面的表3示出了总共45个可能状态(即多个候选切换参数值)。可能观察到不同的状态组。例如，状态1可以适应于以超过70km/h的速度运动的用户，状态2可以适应于以50km/h的速度运动的用户，以及状态3和4可以适应于以30km/h的速度运动的用户。而状态22和23可能代表与以例如3km/h的速度行进的行人用户最相关的配置。下表3中的收敛状态1、2、3、4、22和23(以粗体突出显示)可以对应于根据一示例性实施例的由dqn从多个候选切换参数值中选择的切换参数值的子集。
[0107][0108]
表3
[0109]
图11图示了根据示例性实施例的测试结果，其中rnn模型利用1100个终端设备被训练并且利用500个终端设备的不同集合来测试。图11图示了作为历史时间间隔的函数的由rnn模型做出的预测的准确性。基于图11，可以注意到，精度可以随着历史时间间隔的增加而增加。然而，另一方面，将历史时间间隔保持尽可能短可能是有益的，以将实现简化到网络(例如5g网络)中。在该示例性实施例中，可以例如通过将历史时间间隔选择为5秒或6秒来解决该折衷，根据图11，这可以导致大约90％的精度。
[0110]
图12示出了根据示例性实施例的用于在使用固定切换参数值和最优切换参数值之间比较的测试结果。图12示出了在终端设备的不同速度下每终端设备每分钟的平均rlf。例如，在终端设备以30km/h的速度移动的情况下，与具有固定参数值的默认配置相比，使用基于根据一示例性实施例的方案的机器学习时，rlf可能会存在大约50％下降。比较中使用的切换参数值汇总在下表4中。
[0111][0112]
表4
[0113]
图13图示了示例性实施例的性能。更具体地，图13示出了速度变化曲线的示例，其中终端设备的速度从30km/h增加到85km/h，然后又回到30km/h。变化状态(即下表5中描述的切换参数值)可以在不依赖于终端设备的速度的明确估计的情况下作为时间的函数来推断。因此，示例性实施例可能能够检测终端设备的速度变化并相应地适配切换参数。
[0114][0115][0116]
表5
[0117]
一些示例性实施例提供的技术优势可以是它们降低了与切换事件相关联的失败率。此外，一些示例性实施例可以为终端设备的用户提供对网络资源的更有效使用以及改善后的用户体验。
[0118]
图14示出了根据示例性实施例的设备1400，该设备1400可以是诸如终端设备或包括在终端设备中的设备。设备1400包括处理器1410。处理器1410解释计算机程序指令并处理数据。处理器1410可以包括一个或多个可编程处理器。处理器1410可以包括具有嵌入式固件的可编程硬件，并且可以备选或附加地包括一个或多个专用集成电路asic。
[0119]
处理器1410被耦合到存储器1420。处理器被配置为从存储器1420读取数据和向存
储器1420写入数据。存储器1420可以包括一个或多个存储器单元。存储器单元可以是易失性的或非易失性的。应当注意，在一些示例性实施例中，可以存在一个或多个非易失性存储器的单元和一个或多个易失性存储器的单元，或者，可替代地，一个或多个非易失性存储器的单元，或者，可替代地，一个或多个易失性存储器的单元。易失性存储器可以是例如ram、dram或sdram。非易失性存储器可以是例如rom、prom、eeprom、闪存、光学存储器或磁性存储器。通常，存储器可以被称为非瞬态计算机可读介质。存储器1420存储由处理器1410执行的计算机可读指令。例如，非易失性存储器存储计算机可读指令，并且处理器1410使用易失性存储器执行指令以临时存储数据和/或指令。
[0120]
计算机可读指令可以已被预先存储到存储器1420，或者，可替代地或附加地，它们可以利用设备通过电磁载波信号被接收和/或可以从诸如计算机程序产品的物理实体被复制。计算机可读指令的执行使设备1400执行上述功能。
[0121]
在本文的内容中，“存储器”或“计算机可读介质”可以是任何非瞬态介质或是可以包含、存储、传达、传播或输运指令的装置，以供指令执行系统、设备或设备(例如计算机)使用或与指令执行系统、设备或设备连接。
[0122]
设备1400还包括或连接到输入单元1430。输入单元1430包括一个或多个用于接收用户输入的接口。一个或多个接口可包括例如一个或多个运动和/或方向传感器、一个或多个照相机、一个或多个加速度计、一个或多个麦克风、一个或多个按钮以及一个或多个触摸检测单元。此外，输入单元1430可以包括外部设备可以连接到的接口。设备1400还包括输出单元1440。该输出单元包括或连接到一个或多个能够呈现视觉内容的显示器，例如发光二极管、led、显示器、液晶显示器、lcd和硅基液晶、lcos显示器。
[0123]
设备1400可以还包括连接单元1450。连接单元1450能实现到外部网络的有线和/或无线连接。连接单元1450可以包括一个或多个天线以及可以集成到设备1400或设备1400可以连接到的一个或多个接收器。连接单元1450可以包括为设备1400提供无线通信能力的集成电路或一组集成电路。无线连接可以是硬连线专用集成电路asic。
[0124]
要注意的是，设备1400可以还包括图14中未示出的各种组件。这些各种组件可以是硬件组件和/或软件组件。
[0125]
图15的设备1500图示了可以是基站或被包括在基站中的设备的示例性实施例。该设备可以是例如适用于基站以实现所描述的示例性实施例的电路或芯片组。设备1500可以是包括一个或多个电子电路的电子设备。设备1500可包括通信控制电路1510(例如至少一个处理器)以及至少一个包括计算机程序代码(软件)1522的存储器1520，其中，至少一个存储器和计算机程序代码(软件)1522被配置至少一个处理器，以使设备1500执行上述基站的任一示例性实施例。
[0126]
存储器1520可以使用任何合适的数据存储技术来实现，例如，基于半导体的存储设备、闪存、磁存储设备和系统、光学存储设备和系统、固定存储器和可移动存储器。存储器可以包括用于存储配置数据的配置数据库。例如，配置数据库可以存储当前的相邻小区列表，并且在一些示例性实施例中，存储在探测到的相邻小区中使用的帧结构。
[0127]
设备1500可以进一步包括通信接口1530，该通信接口1530包括根据一个或多个通信协议来实现通信连接的硬件和/或软件。通信接口1530可以向设备提供无线电通信能力以在蜂窝通信系统中进行通信。通信接口可以例如向终端设备提供无线电接口。设备1500
可以进一步包括指向核心网络(例如网络协调器设备)和/或到蜂窝通信系统的接入节点的另一接口。设备1500可以进一步包括被配置为分配资源的调度器1540。
[0128]
图16图示了根据一些示例性实施例的设备1600，该设备1600可以包括son或ric或另一网络元件或节点，或包括在son或ric或另一网络元件或节点中。图16可以示出一种设备，该设备被配置为至少结合训练第一和/或第二机器学习模型(例如基于算法的神经网络)来执行一些示例性实施例中描述的功能。设备1600可以包括一个或多个控制电路1620(例如至少一个处理器)以及至少一个存储器1630，该至少一个存储器1630包括一个或多个算法1631(例如计算机程序代码(软件))，其中，至少一个存储器和计算机程序代码(软件)被配置有至少一个处理器，以分别使该设备执行上述(训练)设备的示例性功能中的任何一种。
[0129]
参照图16，设备的控制电路1620可以至少包括训练电路1621。训练电路1621可以被配置为根据一些示例性实施例来执行机器学习模型的训练(例如神经网络的训练)，以及，为此，通过使用一个或多个单独电路的一些示例性实施例来执行上述至少一些功能。
[0130]
存储器1630可以包括数据库1632，该数据库1632可以包括例如多个终端设备的历史信息和/或用于训练机器学习模型的多个切换参数值(例如神经网络的参数和拓扑)。存储器1630还可包括可能与根据所提出的示例性实施例的设备的功能不相关的其他数据库。存储器1630可以使用任何合适的数据存储技术来实现，诸如基于半导体的存储设备，闪存，磁存储设备和系统，光学存储设备和系统，固定存储器和可移动存储器。
[0131]
参照图16，设备1600可以还包括一个或多个接口1610，例如一个或多个通信接口(发射机/接收机，tx/rx)，其包括用于根据一个或多个通信协议来实现在一个或多个传输介质上的通信连接的硬件和/或软件。具体地，用于设备1600的通信接口1610可以向该设备提供通信能力以在无线通信系统中通信，并且能够与一个或多个基站、一个或多个终端设备(可能经由所述多个基站)和/或一个或多个其他网络节点或元件通信。通信接口1610可以使设备1600将经训练的机器学习模型传送到例如一个或多个基站，以使用所述经训练的机器学习模型来预测一个或多个终端设备的最佳切换参数值。
[0132]
如在本技术中所用，术语“电路”可以指以下的一个或多个或全部：
[0133]
a.仅硬件的电路实施方式(例如仅在模拟和/或数字电路中的实施方式)和
[0134]
b.硬件电路和软件的组合，例如(如适用)：
[0135]
i.模拟和/或数字硬件电路与软件/固件的组合，以及
[0136]
ii.带有软件的硬件处理器(包括数字信号处理器、软件和存储器，一起工作以使诸如移动电话之类的设备执行各种功能)和
[0137]
c.硬件电路和/或处理器(例如微处理器或微处理器的部分)，其需要软件(例如固件)来运行，但该软件当不需要操作时可能不存在。
[0138]
电路的这种定义适用于该术语在本技术中(包括在任何权利要求中)的所有使用。作为进一步的示例，如在本技术中所用，术语“电路”也涵盖了仅硬件电路或处理器(或多个处理器)或硬件电路或处理器的部分以及它(或它们)随附软件和/或固件的实现。术语电路还涵盖了例如若适用于特定权利要求元件的用于移动设备的基带集成电路或处理器集成电路或者在服务器、蜂窝网络设备或其他计算或网络设备中的类似集成电路。
[0139]
本文描述的技术和方法可以通过各种装置来实施。例如，可以以硬件(一个或多个
设备)、固件(一个或多个设备)、软件(一个或多个模块)或它们的组合来实现这些技术。对于硬件实施方式，示例性实施例的设备可以在一个或多个专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑设备(pld)、现场可编程门阵列(fpga)、图形处理单元(gpu)、处理器、控制器、微控制器、微处理器、用于执行本文所述功能的其他电子单元、或它们的组合中实施。对于固件或软件，该实施方式可以通过执行本文所述功能的至少一个芯片组的模块(例如过程、功能等)来执行。软件代码可被存储在存储器单元中并被处理器执行。存储器单元可在处理器内或处理器外被实施。在后一情况下，存储器单元经由本领域中已知的各种装置可通信地耦合到处理器。此外，本文中所述的系统的部件可被重新布置和/或通过补充附加部件以促进实现针对其所述的各种方面等，并且它们并不限于在给定图中提出的精确配置，如本领域技术人员将认识到的那样。
[0140]
对于本领域技术人员来说明显的是，随着技术的进步，可以以各种方式来实现本发明构思。本发明及其实施例不限于上文描述的示例，而是可以在权利要求的范围内变化。因此，所有的用词和表达方式应该被宽泛地解释，并且它们旨在说明而不是限制示例性实施例。