网络能力开放方法、系统及电子设备
本公开涉及通信技术领域，尤其涉及一种网络能力开放方法、系统及电子设备。
背景技术：
随着移动运营商运营模式的多样化，运营商将网络的信息作为能力开放给第三方，从而激发新的商业模式的产生。网络能力开放一般是指基于开放式接口技术，将网络能力开放给第三方，实现网络能力与业务需求的友好对接，进而改善业务体验、优化网络资源配置。网络能力开放最早可追溯至4g时代，在3gppr13中定义了业务能力开放功能(scef，servicecapabilityexposurefunction)实体将核心网网元能力开放给各类业务应用，后续标准版本中进一步对能力开放进行了补充和增强。网络能力开放是推动边缘计算、工业互联网、智能网络等技术广泛应用的关键，在多个领域发挥着举足轻重的作用，同时，各类应用对网络能力开放的深度、网络能力开放的层次也有着多样化的需求。
然而，目前各类网络管理应用往往仅依赖网络提供的数据采集、参数配置等开放接口，并自行维护数据分析、算法训练、服务提供、运行环境等组成部分，导致了业务与能力紧耦合。单纯的事件监控、参数配置、数据统计也难以满足各类不同场景对能力开放的需求。
技术实现要素：
有鉴于此，本公开的目的在于提出一种网络能力开放方法、系统及电子设备。
基于上述目的，本公开提供了一种网络能力开放系统，包括物理设备层、计算能力开放层、网元层以及网络能力开放层；
所述网络能力开放层，被配置为：接收第三方应用发送的服务请求消息，基于所述服务请求消息确定网络能力类型及与所述网络能力类型匹配的计算任务；以及，基于所述网络能力类型及所述计算能力开放层获得的计算资源开放结果，从所述网元层中获取与所述网络能力类型及所述计算资源开放结果对应的网络能力提供给所述第三方应用；
所述计算能力开放层，被配置为：基于所述计算任务确定所述物理设备层中各个物理设备所开放的计算资源以获得所述计算资源开放结果。
可选的，所述网络能力开放层包括分层分布式开放网络子层，所述分层分布式开放网络子层包括多个网络功能实体以及自适应能力开放接口；所述分层分布式开放网络子层，被配置为：
响应于所述服务请求消息为网络信息数据获取请求，以所述自适应能力开放接口的网络信息数据获取平均时间最低为目标，采用ba无标度网络模型动态调整所述网络功能实体在网络模型中的部署位置；以及，
基于调整后的网络模型，通过所述自适应能力开放接口向所述第三方应用提供与所述网络信息数据获取请求匹配的网络信息数据。
可选的，所述网络功能实体包括：
多个第一网络功能实体，被配置为对所述网络信息数据中的非实时性网络数据进行集中式处理；
多个第二网络功能实体，与多个所述第一网络功能实体采用多对多的方式连接，被配置为对所述网络信息数据中的实时性网络数据进行分布式处理。
可选的，所述网络能力开放层还包括网络管理能力子层，所述网络管理能力子层设置于所述分层分布式开放网络子层与所述网元层之间，所述网络管理能力子层被配置为：
获取网络状态信息，基于所述网络状态信息预训练网络管理能力开放模型；以及，
响应于所述服务请求消息为网络管理能力开放请求，基于所述网络管理能力开放请求及训练后的所述网络管理能力开放模型向所述第三方应用提供与所述网络管理能力开放请求匹配的网络管理能力。
可选的，所述网络管理能力开放请求包括网络切片管理请求；所述网络管理能力子层被配置为：
基于双重深度q学习网络模型管理网络切片；以及，
采用经验重放方法对所述双重深度q学习网络模型进行优化。
可选的，所述网络切片管理请求包括资源块分配请求；所述网络管理能力子层被配置为：
将所述物理设备层中的每个基站初始化为一个智能体，获取与所述物理资源块分配请求对应的多个用户设备，所述智能体的状态与所述用户设备的目标速率相关；
基于所述用户设备的目标速率及分配的资源块数量确定所述双重深度q学习网络模型的即时回报，并基于所述即时回报确定所述双重深度q学习网络模型的目标q值；以及，
响应于所述双重深度q学习网络模型收敛，获得资源块分配结果。
可选的，所述计算能力开放层包括协同控制器，所述协同控制器与所述物理设备层中的多个物理设备连接；所述协同控制器被配置为：
获取多个物理设备的空闲计算能力；
基于分布式联邦学习方法，将所述计算任务分配给多个所述物理设备以使多个所述物理设备基于各自的空闲计算能力进行协同计算；以及，
根据多个所述物理设备各自的计算结果生成计算资源开放结果。
可选的，所述协同控制器还被配置为：以全部计算任务所耗费的能耗及时间最小为优化目标进行所述计算任务的分配。
本公开还提供了一种网络能力开放方法，应用于网络能力开放系统，所述网络能力开放系统包括物理设备层、计算能力开放层、网元层以及网络能力开放层；所述网络能力开放方法，包括：
所述网络能力开放层接收第三方应用发送的服务请求消息，并基于所述服务请求消息确定网络能力类型及与所述网络能力类型匹配的计算任务；
所述计算能力开放层基于所述计算任务确定所述物理设备层中各个物理设备所开放的计算资源，获得计算资源开放结果；
所述网络能力开放层基于所述网络能力类型及所述计算资源开放结果，从所述网元层中获取与所述网络能力类型及所述计算资源开放结果对应的网络能力提供给所述第三方应用。
本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例所述的网络能力开放方法。
本公开实施例所述网络能力开放方法、系统及电子设备，通过网络能力开放层确定第三方应用所需要的网络能力类型，通过计算能力开放层提供与网络能力类型对应的计算资源，并通过网络能力开放层从网络能力开放层获取对应的网络能力提供给第三方应用，从而可以将多方面网络能力开放给第三方应用，实现网络能力开放。
附图说明
为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例网络能力开放系统的层级结构示意图；
图2为本公开实施例网络能力开放系统的另一层级结构示意图；
图3为本公开实施例的分层分布式开放网络子层的层级结构示意图；
图4为本公开实施例所述计算能力开放层的结构示意图；
图5为本公开实施例网络能力开放方法的流程示意图；
图6为本公开实施例网络能力开放方法的另一流程示意图；
图7为本公开实施例网络能力开放方法的又流程示意图；
图8为本公开实施例切片管理方法的流程示意图；
图9为本公开实施例计算能力开放的流程示意图；
图10为本公开实施例电子设备的结构示意图；
图11为本公开实施例示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。
需要说明的是，除非另外定义，本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
网络能力开放指的是网络向第三方应用开放的能力，网络开放给第三方应用的能力通常包括：网络/终端监控能力、基础服务能力、控制能力、网络信息能力。其中，网络/终端监控能力具体包括网络拥塞状态、终端移动状态等，基础服务能力具体包括语音、短消息、计费、安全能力等，控制能力具体包括鉴权和授权、接入控制、策略、qos保障能力、网络切片生命周期管理能力、mec能力，网络信息能力具体包括终端连接状态、终端位置信息、大数据分析信息等。
网络能力开放一般通过网络能力开放平台实现，网络能力开放平台的一端与移动网络连接，另一端与第三方应用连接，通过网络能力开放平台将移动网络中的网络资源与信息提供给第三方应用，从而通过第三方应用为用户提供差异化的服务及更好的用户体验。在此过程中，网络能力开放平台主要负责内外部信息的传递和协议转换。
目前，移动网络主要通过网络能力开放平台向第三方的各类网络管理应用提供数据、参数配置，由各网络管理应用自行进行数据分析、算法训练、服务提供、运行环境维护等，导致了业务与能力紧耦合；同时，这种方式也越来越难以满足各类不同应用场景对网络能力开放的需求。
基于上述理由，本公开实施例提供一种网络能力开放系统，通过该网络能力开放系统可以实现业务与能力的解耦，将多方面的网络能力开放给第三方应用，开放面向不同需求的能力。
如图1所示，本公开实施例所述网络能力开放系统包括物理设备层95、计算能力开放层94、网元层93以及网络能力开放层92。计算能力开放层94设置于物理设备层95与网元层93之间，网络能力开放层92设置于网元层93与第三方应用91之间。
其中，所述网络能力开放层94被配置为：接收第三方应用91发送的服务请求消息，基于所述服务请求消息确定网络能力类型及与所述网络能力类型匹配的计算任务；以及，基于所述网络能力类型及所述计算能力开放层获得的计算资源开放结果，从所述网元层中获取与所述网络能力类型及所述计算资源开放结果对应的网络能力提供给所述第三方应用。
所述计算能力开放层94被配置为：基于所述计算任务确定所述物理设备层95中各个物理设备所开放的计算资源以获得所述计算资源开放结果。物理设备层提供整个系统所使用的多个物理设备，例如基站、服务器等，通过物理设备层为整个系统提供基础的计算资源能力。
本实施例中，网络能力开放层92可以直接接收第三方应用发送的服务请求消息服务请求消息，并基于该服务请求消息向第三方应用开放第三方应用需要的各种网络能力。其中，用户可以在用户设备(userequipment，ue)上发起各种应用服务请求，例如视频观看请求、语音通话请求等，第三方应用的服务器或者安装于用户设备上的第三方应用的软件可以将该服务请求消息发送给网络能力开放系统；网络能力开放系统中的网络能力开放层92接收该服务请求消息，对该服务请求消息进行解析并从中获得第三方应用91所需的网络能力类型。可选的，第三方应用91的服务器或者第三方应用91的软件也可以基于该应用服务请求获得该应用服务请求对应的网络能力开放请求，将该网络能力开放请求发送给网络能力开放系统的网络能力开放层92，由网络能力开放层92对该网络能力开放请求进行解析从而获得第三方应用91所需的网络能力类型。
在一些具体的实施例中，其中，该服务请求消息中可携带有与第三方应用91所需要的网络能力对应的标识信息。通过服务请求消息中携带的标识信息可以确定该第三方应用91所需要的网络能力类型。其中，网络能力类型可以包括网络/终端监控能力、基础服务能力、控制能力、网络信息能力等。其中，网络/终端监控能力还可以具体包括网络拥塞状态、终端移动状态等网络能力类型，基础服务能力还可以具体包括语音、短消息、计费、安全能力等网络能力类型，控制能力还可以具体包括鉴权和授权、接入控制、策略、qos保障能力、网络切片生命周期管理能力、mec能力等网络能力类型，网络信息能力还可以具体包括终端连接状态、终端位置信息、大数据分析信息等网络能力类型。
可选的，每条服务请求消息可以仅携带一个标识信息，网络能力开放层可以基于该标识信息确定一个对应的网络开放能力对第三方应用91进行开放；或者，每条服务请求消息可以携带多个标识信息，网络能力开放层可以基于该多个标识信息确定多个对应的网络开放能力的组合对第三方应用91进行开放。
可选的，每个标识信息可以仅对应一种网络能力，也可对应多种网络能力的组合；例如每个标识信息包括多个子标识信息，每个子标识信息对应至少一种网络能力，网络能力开放层可以基于该多个子标识信息确定多个对应的网络开放能力的组合对第三方应用91进行开放。
对于每一条应用服务请求，第三方应用所需要的网络能力均需计算能力支撑，因此网络能力开放层92还需获取与网络能力类型匹配的计算任务并下发给计算能力开放层94，计算能力开放层94基于物理设备层95中各个物理设备的空闲计算资源分配该计算任务，从而获得物理设备层95中各个物理设备所能够开放的计算资源从而确定最终的计算资源开放结果返回给网络能力开放层92，网络能力开放层基于网络能力类型以及计算资源开放结果从网元层93中获取与所述网络能力类型及所述计算资源开放结果对应的网络能力提供给所述第三方应用91，实现网络能力开放。
可选的，本实施例中，与所述网络能力类型及所述计算资源开放结果对应的网络能力包括计算能力、网络信息、网络管理能力等。
本公开实施例所述网络能力开放系统，通过网络能力开放层确定第三方应用所需要的网络能力类型，通过计算能力开放层提供与网络能力类型对应的计算资源，并通过网络能力开放层从网络能力开放层获取对应的网络能力提供给第三方应用，从而可以将多方面网络能力开放给第三方应用，实现网络能力开放。
在本公开的一些实施例中，如图2所示，所述网络能力开放层92包括分层分布式开放网络子层921。如图3所示，所述分层分布式开放网络子层921包括多个网络功能实体以及自适应能力开放接口9211；所述分层分布式开放网络子层921，被配置为：
响应于所述服务请求消息为网络信息数据获取请求，以所述自适应能力开放接口的网络信息数据获取平均时间最低为目标，采用ba无标度网络模型动态调整所述网络功能实体(networkcapabilityexposurefunction，ncef)在网络模型中的部署位置；以及，基于调整后的网络模型，通过所述自适应能力开放接口向所述第三方应用提供与所述网络信息数据获取请求匹配的网络信息数据。
本实施例中，当第三方应用发送的服务请求消息为网络信息数据获取请求时，网络能力开放系统通过分层分布式开放网络子层921从网元层中调取相应的数据网元以向第三方应用提供相应的网络信息数据。自适应能力开放接口可根据第三方应用需求动态调整网络能力开放的内容。
具体的，首先分层分布式开放网络子层921提供一个复杂的网络模型，并通过无线网络拓扑映射将复杂的网络模型中的网络功能节点映射到物理设备层95中的物理节点上，将链路映射到物理链路上，通过节点映射及链路映射实现整个网络模型的映射。每隔预设的时间间隔，或者在每一次或间隔多次接收到服务请求消息时，通过无线网络拓扑动态调整网络模型中的网络功能节点、链路与物理设备层95中的物理节点、物理链路的映射关系，以满足系统的服务请求。
当分层分布式开放网络子层921接收到网络信息数据获取请求时，在无线网络拓扑动态调整的基础上，采用采用ba无标度网络模型动态调整网络功能实体在网络模型中的部署位置。其中，ba无标度网络模型是一种不断发展演进的网络模型，其目的是基于生长和偏好连接这两个要素再现真实网络中的生长过程。ba无标度网络模型中，少数节点具有较高的度数，被称之为“中心节点”，网络中节点的度数分布遵从幂次定律。
根据本实施例，网络功能实体的部署位置选择可表述为在无线网络拓扑按需部署完成后的生长过程，例如，基于流量分布特征，以自适应能力开放接口9211的网络信息数据获取平均时间最低为目标来进行网络功能实体的部署位置选择，从而保证获取数据的实时有效性。
网络模型调整完成后，通过合适的自适应能力开放接口向所述第三方应用提供与所述网络信息数据获取请求匹配的网络信息数据。
根据本公开实施例提供的技术方案，通过无线网络拓扑映射的动态调整、网络功能实体部署位置的选择、接口开放内容选择，可提高开放接口提供数据的实施有效性。
可选的，如图3所示，所述网络功能实体包括：多个第一网络功能实体9213，被配置为对所述网络信息数据中的非实时性网络数据进行集中式处理；以及，多个第二网络功能实体9212，与多个所述第一网络功能实体9213采用多对多的方式连接，被配置为对所述网络信息数据中的实时性网络数据进行分布式处理。
其中，第一网络功能实体9213为集中式部署的ⅰ级网络能力开放功能实体(c-ncef)，第一网络功能实体9213用于开放非实时性、高层次能力，用于综合处理、分析实体功能范围内的信息数据，例如管理切片的负载情况、时延情况，以及总的业务和用户数量等；第二网络功能实体9212为分布式部署的ⅱ级功能实体(d-ncef)，第二网络功能实体9212用于开放实时、近实时、细粒度的能力，与第一网络功能实体9213功能大体相同，处理、分析实体功能范围内的具体的信息数据，可具体到每个用户的资源管理，进行个性化服务，例如每个客户某项业务的丢包率，每个用户的各项qos指标等。
可选的，本实施例中，第一网络功能实体9213与第二网络功能实体9212之间可采用多对多的方式连接，即本公开所述分层分布式开放网络子层921中可以包括多个第一网络功能实体9213以及多个第二网络功能实体9212，每个第一网络功能实体9213可以与多个第二网络功能实体连接9212，同时每个第二网络功能实体9212也可以与多个第一网络功能实体9213连接，这样在获取与服务请求消息匹配的网络能力时，通过第一网络功能实体9213与第二网络功能实体9212进行跨层合作，从而开放不同需求的能力。
在本步骤中，由于第二网络功能实体9212分布式处理、分析各种实体功能范围内的具体的信息数据，实现实时性、近实时性、细粒度的网络能力开放；而第一网络功能实体9213集中式的处理网络切片的负载情况、时延情况以及总的业务和用户数量等非实时性的网络数据，实现非实时性、高层次网络能力的开放。因此，当第三方应用91发送的服务请求消息中所包含的网络能力类型为非实时性、高层次网络能力例如网络切片的分配时，由第一网络功能实体9213进行处理；而当第三方应用91发送的服务请求消息中所包含的网络能力类型为实时性、细粒度的网络能力例如接入控制能力等时，由第二网络功能实体9212进行处理；而当第三方应用91发送的服务请求消息中所包含的网络能力类型既包括非实时性、高层次网络能力又包括实时性、细粒度的网络能力时，由第一网络功能实体9213与第二网络功能实体9212合作生成相应的网络开放能力对第三方应用91进行网络开放。
本公开实施例所述网络能力开放系统，通过在部署具有两级网络功能实体的网络能力开放平台，通过第一网络功能实体与第二网络功能实体之间的跨层合作针对不同类型的网络能力进行处理，从而可以将多方面网络能力开放给第三方应用；同时，通过第一网络功能实体与第二网络功能实体中的至少一个来实现数据分析、算法训练、服务提供、运行环境维护等网络能力开放功能，使得业务与能力高度解耦、相互独立，从而实现细粒度的架构资源按需调度，也能够提供更多类型的网络能力开放，满足各类不同场景对能力开放的需求。
在本公开的另一些实施例中，如图2所示，所述网络能力开放层92还包括网络管理能力子层922，所述网络管理能力子层922设置于所述分层分布式开放网络子层921与所述网元层93之间。其中，网络管理能力子层922包括面向网络能力开放的ai引擎，所述ai引擎包括特征提取器、神经网络模型训练器，至少可为第三方应用91提供预训练的神经网络模型及机器学习机制。
所述网络管理能力子层922被配置为：获取网络状态信息，基于所述网络状态信息预训练网络管理能力开放模型；以及，响应于所述服务请求消息为网络管理能力开放请求，基于所述网络管理能力开放请求及训练后的所述网络管理能力开放模型向所述第三方应用提供与所述网络管理能力开放请求匹配的网络管理能力。
可选的，本实施例中，可通过ai引擎的数据采集接口对网络中的数据信息进行采集，包括：网络速率、带宽、吞吐量等网络指标，各物理设备的空闲资源、接口状态等物理设备信息，用户设备信息、用户业务历史数据等。数据采集完成后，ai引擎对采集到的数据进行数据清洗，发现并纠正数据中的可识别错误，从而得到所述网络状态信息。可选的，可通过可编程接口测量网络状态信息，之后提取网络状态信息中的动态成分，再通过ai引擎中的特征提取器处理所述动态成分以获取特征信息，从而获得全局化的细粒度网络状态数据输入，便于ai引擎进行后续数据处理。
获取网络状态信息之后，基于网络状态信息预训练网络管理能力开放模型。可选的，基于网络状态信息中的特征信息，通过多种人工智能算法进行训练，从而可以针对网络指标、业务特征、用户行为等进行预测和分析，并存储在ai引擎中，使得ai引擎可以基于更精准的预测，更好地调整网络资源分配，实现网络性能提升。
训练完成后，可以根据网络管理能力开放请求及训练后的网络管理能力开放模型，向所述第三方应用提供与所述网络管理能力开放请求匹配的网络管理能力，以及向第三方应用91按需提供特定用户历史数据、网络历史状态信息及特定数据处理能力，实现网络能力开放。
在本申请的一些可选实施例中，所述网络管理能力开放请求包括网络切片管理请求，通过网络管理能力子层922中的ai引擎可以实现网络切片的具体管理。在实现对网络切片的智能管理过程中，所述网络管理能力子层922被配置为：基于双重深度q学习网络模型(doubledeepq-learning，ddql)管理网络切片；以及，采用经验重放方法对所述双重深度q学习网络模型进行优化。
其中，双重深度q学习网络模型包括预先构建的评估网络和目标网络，通过评估网络确定智能体的动作，通过目标网络计算该动作对应的目标q值，通过解耦目标q值动作的选择和目标q的计算消除过度估计。其中，评估网络和目标网络均为神经网络。在本实施例中，首先智能体通过随机采取动作并将经验存储在目标网络中，来探索环境；然后使用经验重放机制，从目标网络的小批量数据中随机采样以打破观测序列的相关性；之后利用目标网络的样本，通过最小化双重深度q学习网络模型和目标网络之间q函数的均方误差来更新双重深度q学习网络模型的权重，采用随机梯度下降法来获得神经网络权重。
在一些可选的实施例中，基于双重深度q学习网络模型管理网络切片包括在网络切片场景下进行下行资源调度中的资源块(prb)分配，即所述网络切片管理请求包括资源块分配请求。
在实现物理资源块的分配时，所述网络管理能力子层922被配置为：将所述物理设备层中的每个基站初始化为一个智能体，获取与所述物理资源块分配请求对应的多个用户设备，所述智能体的状态与所述用户设备的目标速率相关；基于所述用户设备的目标速率及分配的资源块数量确定所述双重深度q学习网络模型的即时回报，并基于所述即时回报确定所述双重深度q学习网络模型的目标q值；以及，响应于所述双重深度q学习网络模型收敛，获得资源块分配结果。
在本实施例中，第三方应用发送的服务请求消息中包含多个用户设备(ue)的资源块分配请求，在所述5mhz-25prb的下行传输资源调度，将每一子帧(tti)内的25个prb分配给该多个ue，其实现过程包括：
在双重深度q学习网络模型中，将物理设备中的基站初始化为智能体，智能体的状态空间
在本实施例中，优化目标是用户设备在满足速率需求的同时，使得每个用户设备的当前速率与其目标速率之差的绝对值最小。例如，本实施例中优化目标包括：若某一个服务请求消息为语音通话请求，对于该语音通话请求其需要的网络带宽速率为1mbps，但是用户设备期望获得的网络带宽速率即目标速率为2mbps，使得用户设备的当前速率需大于1mbps，且与目标速率2mbps之差的绝对值最小。
可选的，用户设备的目标速率为该用户设备的空口下行速率。
在一些实施例中，双重深度q学习网络模型在网络切片场景下进行下行资源调度中的资源块(prb)分配的过程如下：
步骤s101，将初始化无线设备、用户设备以及双重深度q学习网络模型中的两个神经网络(即评估网络和目标网络)内的各项参数以及智能体的环境信息，包括：基站最大prb分配数，评估网络的网络参数θ和目标网络的网络参数θ′，智能体动作、状态、重放经验池
步骤s102，智能体根据当前所处状态(即各用户设备的目标速率)进行动作的选取。
其中，本步骤中智能体所选取的动作中包括不同的用户设备的资源块数量的选择。智能体动作的选取是依据当前状态所采取的资源分配策略导致的q值大小，本实施例中通过目标网络进行目标q值的计算，并选取目标q值最大时所对应的动作作为当前状态下的动作决策。
步骤s103，通过为用户设备分配资源块并计算相应用户设备的当前速率，从而实现智能体与环境进行交互，根据智能体与环境的交互结果计算其获得的即时奖励，再依据状态转移概率获得系统的下一状态，将经验(即历史的状态、动作、奖励等)存储到经验池中。在之后学习的过程中，通过经验重放方法，在经验池中存储的经验中采取小批量样本随机采样进行学习，从而减小数据之间的相关性。
可选的，进行经验回放时，可采用集中式回放、分布式回放、均匀回放或者优先回放等方式，从而可以消除数据的关联，减小参数更新的方差，加快收敛；同时，还可以重复使用经验，从而在数据获取困难时也能够保证模型的训练效果。
步骤s104，判断经验池中存储的经验数量是否达到要求，若满足则开始进行深度强化学习，并根据经验池中存储的经验数量设计深度强化学习的迭代次数。
步骤s105，基于双重深度q学习网络模型进行学习，根据贝尔曼方程计算即时奖励；通过评估网络确定智能体的动作，通过目标网络计算该动作对应的目标q值，从而消除dqn里的过估计问题。
步骤s106，在学习和训练的过程中，系统的奖励会不断减少，当模型趋于收敛，即长期奖励函数在一定的范围内不再发生变化后，表明系统已获得最优的资源块分配结果，终止该prb资源分配的优化过程。
其中，双重深度q学习网络模型的动作价值函数即目标q值的计算函数ydoubledqn包括：
ydoubledqn＝r'+γq'(st+1,a*；θ')，a*＝argmaxq(s',a；θ)；
其中，r'表示即时回报，γ∈[0,1]表示折扣因子，q'表示目标网络，st+1表示智能体所处的下一状态，a*表示智能体所选取的动作，θ'表示目标网络的网络参数，q表示评估网络，s'表示智能体所处当前状态，θ表示评估网络网络参数。
通过本实施例可以避免马尔科夫决策(mdp)过程中的无限回报。
在另一些可选的实施例中，所述网络管理能力子层922被配置为：采用duelingdql算法以及a3c算法优化双重深度q学习网络模型的神经网络结构。
本实施例中，为进一步优化双重深度q学习网络模型，采用决斗深度q学习(duelingdql)算法与异步优势演员-评论家(asynchronousadvantageactor-critic，a3c)算法对该模型进行优化。
其中，duelingdql算法将q网络分成价值函数部分与优势函数部分，价值函数部分仅仅和智能体的环境状态s有关，与具体采用的动作a无关；优势函数部分同时与状态s和动作a有关。
因此，采用duelingdql算法对双重深度q学习网络模型进行优化时，首先基于智能体的状态s确定价值函数部分，其中价值函数部分的网络输出包括v(s,θ-,α)，θ-表示价值函数部分与优势函数部分共享的公共部分的神经网络参数，α表示价值函数部分独有的网络参数；再基于智能体的状态s及动作a确定优势函数部分，其中优势函数部分的网络输出包括α(s,a,θ-,β)，β表示优势函数部分独有的网络参数；再基于价值函数部分的网络输出与优势函数部分网络输出的线性组合获得双重深度q学习网络模型的价值函数，即：
q(s,a,θ-,α,β)＝v(s,θ-,α)+α(s,a,θ-,β)
另外可以考虑通过对优势函数部分做中心化处理，即
其中α′表示智能体选取的动作。
其次，采用a3c算法优化双重深度q学习网络模型的结构，包括利用a3c的多线程方法、异步学习框架，结合actor-critic网络机制，降低双重深度q学习网络模型的回放经验池数据相关性，从而提升训练效果。
在本公开的另一些实施例中，所述计算能力开放层94包括协同控制器，如图4所示，所述协同控制器与所述物理设备层95中的多个物理设备连接；所述协同控制器被配置为：获取多个物理设备的空闲计算能力；基于分布式联邦学习方法，将所述计算任务分配给多个所述物理设备以使多个所述物理设备基于各自的空闲计算能力进行协同计算；以及，根据多个所述物理设备各自的计算结果生成计算资源开放结果。
由于开源无线网络中设备硬件与功能的解耦，通用处理服务器包括5g宏站、5g小站、边缘网关、核心网网元等设备，均可由相应软件运行于服务器上实现，从而获得了无处不在的分布式计算资源。基站中的可用计算能力随承载的业务量大小而变化，因此当单一站点的计算能力无法稳定地满足上层应用的计算资源需求时，可以通过多个分布式站点协同计算。其中，相邻区域站点形成一个计算能力簇，通过联邦学习机制将上层应用的计算资源需求分配至不同基站，动态协调各站点协议处理与上层应用间的计算资源分配，从而实现开源无线网络动态计算能力保障与分布式计算能力开放。
本公开实施例中，计算能力开放层94通过分布式联邦学习算法实现计算能力的开放。协同控制器统筹全局的计算任务分配，同时充当联邦学习机制中的参数服务器的作用，进行计算任务分配模型的传递与汇聚，训练全局计算任务分配模型。
当计算能力开放层94接收到第三方应用发送的服务请求消息中所包括的计算任务时，协同控制器将根据当前各基站站点中空闲计算能力情况，基于分布式联邦学习，计算出每个基站站点所要分配的计算任务，并分配至各个基站站点。每个基站站点根据所分配的计算任务，利用空闲计算能力资源，进行协同计算，并把计算后的结果反馈给协同控制器进行聚合，完成总的计算任务，从而形成最终的计算资源开放结果。这样可以有效聚合分布式的空闲计算能力，从而可以有效提升开源无线网络中计算资源利用效率。
可选的，在上述实施例中，假设协同控制器p分配给站点j(j＝1,2,...,j，j为参加协同计算的基站站点个数)dj(0≤dj≤d，d为总计算任务数据大小)数据大小的计算任务，协同控制器p到站点j的传输速率为vp,j，则协同控制器p到站点j的传输延迟为
可选的，本实施例中，所述协同控制器还被配置为：以全部计算任务所耗费的能耗及时间最小为优化目标进行所述计算任务的分配。
其中，时延与能耗作为度量网络性能的两个核心指标，优化目标主要集中全部计算任务执行完成时间和能耗上，具体优化目标即为最小化所有计算任务执行延迟和能耗的权重和，即总成本c：
s.t.
max{tj|j＝1,2,...,j}≤ttol(3)
其中α和1-α分别表示计算任务处理时间和能耗成本的权重且α∈(0,1)。上述实施例中，目标函数(1)即为最小化全部计算任务完成时间与用户端能耗的权重和，用总成本c表示。约束条件(2)表示每个基站站点所分配的任务大小的和应等于总计算任务大小。约束条件(3)表示需要满足第三方计算任务请求的最大容忍计算时间ttol。
基于同一发明构思，与上述任意实施例所述系统相对应的，本申请公开一种网络能力开放方法，应用于网络能力开放系统，所述网络能力开放系统包括物理设备层、计算能力开放层、网元层以及网络能力开放层。如图5所示，所述网络能力开放方法，包括：
步骤s201，所述网络能力开放层接收第三方应用发送的服务请求消息，并基于所述服务请求消息确定网络能力类型及与所述网络能力类型匹配的计算任务。
步骤s202，所述计算能力开放层基于所述计算任务确定所述物理设备层中各个物理设备所开放的计算资源，获得计算资源开放结果。
步骤s203，所述网络能力开放层基于所述网络能力类型及所述计算资源开放结果，从所述网元层中获取与所述网络能力类型及所述计算资源开放结果对应的网络能力提供给所述第三方应用。
本实施例中，网络能力开放层92可以直接接收第三方应用发送的服务请求消息服务请求消息，并基于该服务请求消息向第三方应用开放第三方应用需要的各种网络能力。其中，用户可以在用户设备上发起各种应用服务请求，通过第三方应用的服务器或者软件将该服务请求消息发送给网络能力开放系统；网络能力开放系统中的网络能力开放层92接收该服务请求消息，对该服务请求消息进行解析并从中获得第三方应用91所需的网络能力类型。
网络能力开放系统在提供第三方应用91所需的网络能力时，还需提供相应的计算能力。因此网络能力开放层92还需获取与网络能力类型匹配的计算任务并下发给计算能力开放层94，计算能力开放层94基于物理设备层95中各个物理设备的空闲计算资源分配该计算任务，从而获得物理设备层95中各个物理设备所能够开放的计算资源从而确定最终的计算资源开放结果返回给网络能力开放层92，网络能力开放层基于网络能力类型以及计算资源开放结果从网元层93中获取与所述网络能力类型及所述计算资源开放结果对应的网络能力提供给所述第三方应用91，实现网络能力开放。
在一些可选的实施例中，如图2所示，所述网络能力开放层92包括分层分布式开放网络子层921，如图3所示，所述分层分布式开放网络子层包括多个网络功能实体以及自适应能力开放接口9211。如图6所示，所述分层分布式开放网络子层921，被配置为：
步骤s301，响应于所述服务请求消息为网络信息数据获取请求，以所述自适应能力开放接口的网络信息数据获取平均时间最低为目标，采用ba无标度网络刻画方法动态调整所述网络功能实体在网络模型中的部署位置。
本实施例中，分层分布式开放网络子层921提供一个复杂的网络模型，并通过无线网络拓扑映射将复杂的网络模型中的网络功能节点映射到物理设备层95中的物理节点上，将链路映射到物理链路上，通过节点映射及链路映射实现整个网络模型的映射。每隔预设的时间间隔，或者在每一次或间隔多次接收到服务请求消息时，通过无线网络拓扑动态调整网络模型中的网络功能节点、链路与物理设备层95中的物理节点、物理链路的映射关系，以满足系统的服务请求。
当分层分布式开放网络子层921接收到网络信息数据获取请求时，在无线网络拓扑动态调整的基础上，采用采用ba无标度网络模型动态调整网络功能实体在网络模型中的部署位置，从而动态调整网络模型的结构。
步骤s302，基于调整后的网络模型，通过所述自适应能力开放接口向所述第三方应用提供与所述网络信息数据获取请求匹配的网络信息数据。网络模型调整完成后，通过合适的自适应能力开放接口向所述第三方应用提供与所述网络信息数据获取请求匹配的网络信息数据。
可选的，如图3所示，所述网络功能实体包括：多个第一网络功能实体9213，被配置为对所述网络信息数据中的非实时性网络数据进行集中式处理；以及，多个第二网络功能实体9212，与多个所述第一网络功能实体9213采用多对多的方式连接，被配置为对所述网络信息数据中的实时性网络数据进行分布式处理。
在另一些可选的实施例中，所述网络能力开放层92还包括网络管理能力子层922，所述网络管理能力子层922设置于所述分层分布式开放网络子层921与所述网元层93之间。如图7所示，所述网络管理能力子层被配置为：
步骤s401，获取网络状态信息，基于所述网络状态信息预训练网络管理能力开放模型。
可选的，可通过网络管理能力子层922中的ai引擎的数据采集接口对网络中的数据信息进行采集。其中，网络中的数据信息包括：网络速率、带宽、吞吐量等网络指标，各物理设备的空闲资源、接口状态等物理设备信息，用户设备信息、用户业务历史数据等。数据采集完成后，ai引擎对采集到的数据进行数据清洗，发现并纠正数据中的可识别错误，从而得到所述网络状态信息。可选的，可通过可编程接口测量网络状态信息，之后提取网络状态信息中的动态成分，再通过ai引擎中的特征提取器处理所述动态成分以获取特征信息，从而获得全局化的细粒度网络状态数据输入，便于ai引擎进行后续数据处理。
获取网络状态信息之后，基于网络状态信息中的特征信息，通过多种人工智能算法进行训练，从而可以针对网络指标、业务特征、用户行为等进行预测和分析，并存储在ai引擎中。
步骤s402，响应于所述服务请求消息为网络管理能力开放请求，基于所述网络管理能力开放请求及训练后的所述网络管理能力开放模型向所述第三方应用提供与所述网络管理能力开放请求匹配的网络管理能力。
训练完成后，可以根据网络管理能力开放请求及训练后的网络管理能力开放模型，向所述第三方应用提供与所述网络管理能力开放请求匹配的网络管理能力，以及向第三方应用91按需提供特定用户历史数据、网络历史状态信息及特定数据处理能力，实现网络能力开放。
在本公开的一些实施例中，所述网络管理能力开放请求包括网络切片管理请求。如图8所示，所述网络能力开放方法还包括：
步骤s501，基于双重深度q学习网络模型管理网络切片。
步骤s502，采用经验重放方法对所述双重深度q学习网络模型进行优化。
在本实施例中，将基站作为智能体，首先智能体通过随机采取动作并将经验存储在目标网络中，来探索环境；然后使用经验重放机制，从目标网络的小批量数据中随机采样以打破观测序列的相关性；之后利用目标网络的样本，通过最小化双重深度q学习网络模型和目标网络之间q函数的均方误差来更新双重深度q学习网络模型的权重，采用随机梯度下降法来获得神经网络权重。
可选的，所述网络切片管理请求包括资源块分配请求；所述方法还包括：
步骤s601，将所述物理设备层中的每个基站初始化为一个智能体，获取与所述物理资源块分配请求对应的多个用户设备，所述智能体的状态与所述用户设备的目标速率相关。
步骤s602，基于所述用户设备的目标速率及分配的资源块数量确定所述双重深度q学习网络模型的即时回报，并基于所述即时回报确定所述双重深度q学习网络模型的目标q值。
步骤s603，响应于所述双重深度q学习网络模型收敛，获得资源块分配结果。
在本公开的另一些可选的实施例中，所述计算能力开放层包括协同控制器，所述协同控制器与所述物理设备层中的多个物理设备连接。如图9所示，所述方法还包括：
步骤s701，获取多个物理设备的空闲计算能力。
步骤s702，基于分布式联邦学习方法，将所述计算任务分配给多个所述物理设备以使多个所述物理设备基于各自的空闲计算能力进行协同计算。
步骤s703，根据多个所述物理设备各自的计算结果生成计算资源开放结果。
可选的，所述方法还包括：以全部计算任务所耗费的能耗及时间最小为优化目标进行所述计算任务的分配。
本实施例中，通过联邦学习机制将上层应用的计算资源需求分配至不同基站，动态协调各站点协议处理与上层应用间的计算资源分配，从而实现开源无线网络动态计算能力保障与分布式计算能力开放。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
上述实施例的方法基于前述实施例中系统，并且具有相应的系统实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上任意一实施例所述的网络能力开放方法。
图10示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的cpu(centralprocessingunit，中央处理器)、微处理器、应用专用集成电路(applicationspecificintegratedcircuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。
存储器1020可以采用rom(readonlymemory，只读存储器)、ram(randomaccessmemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信。
总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的网络能力开放方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种适用于实现网络开发功能方法的计算机系统。
如图11所示，计算机系统1100包括处理单元1101，其可以根据存储在只读存储器(rom)1102中的程序或者从存储部分1108加载到随机访问存储器(ram)1103中的程序而执行上述实施例中的各种处理。在ram1103中，还存储有系统1100操作所需的各种程序和数据。处理单元1101、rom1102以及ram1103通过总线1104彼此相连。输入/输出(i/o)接口1105也连接至总线1104。
以下部件连接至i/o接口1105：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至i/o接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。其中，所述处理单元1101可实现为cpu、gpu、tpu、fpga、npu等处理单元。
特别地，根据本公开的实施例，上文描述的方法可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括有形地包含在及其可读介质上的计算机程序，所述计算机程序包含用于执行上述方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元或模块可以通过软件的方式实现，也可以通过可编程硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
基于同一发明构思，与上述任意实施例方法相对应的，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行如上任一实施例所述的网络能力开放方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的网络能力开放方法，并且具有相应的方法实施例的有益效果，在此不再赘述。
所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本公开实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。
另外，为简化说明和讨论，并且为了不会使本公开实施例难以理解，在所提供的附图中可以示出或可以不示出与集成电路(ic)芯片和其它部件的公知的电源/接地连接。此外，可以以框图的形式示出装置，以便避免使本公开实施例难以理解，并且这也考虑了以下事实，即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开实施例的平台的(即，这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如，电路)以描述本公开的示例性实施例的情况下，对本领域技术人员来说显而易见的是，可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因此，这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述，但是根据前面的描述，这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如，其它存储器架构(例如，动态ram(dram))可以使用所讨论的实施例。
本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本公开实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。
- 还没有人留言评论。精彩留言会获得点赞！