用于信息中心网络的方法、电子设备和计算机程序产品与流程

本公开的实施例涉及计算机，并且更具体地，涉及用于信息中心网络的方法、电子设备和计算机程序产品。

背景技术：

1、信息中心网络(information-centric networking，icn)是改变当前互联网架构焦点的一种尝试。以前的架构主要关注于在两个机器之间创建对话。而icn架构能够实现内容与位置分离、网络内置缓存等功能，从而更好满足大规模网络内容分发、移动内容存取、网络流量均衡等需求。

2、强化学习(reinforcement learning,rl)作为机器学习的范式和方法论之一，用于描述和解决智能体(agent)在与环境的交互过程中通过学习策略以达成奖励最大化或实现特定目标的问题。强化学习由于其灵活性和良好的性能，越来越受到人们的欢迎，在诸如博弈论、控制论、运筹学、信息论、仿真库优化等领域均有研究。

技术实现思路

1、本公开的实施例提供了一种用于信息中心网络的方案。

2、在本公开的第一方面，提供了一种用于信息中心网络的方法。该方法包括：利用机器学习模型中的记忆层对在第一时刻从信息中心网络(icn)获得到的第一状态进行正向处理，确定与对应于第一时刻的记忆层相关联的正向隐藏状态，其中第一状态包括关于icn的第一节点信息和第一拓扑信息；利用记忆层对在第二时刻从icn获得到的第二状态进行反向处理，确定与对应于第二时刻的记忆层相关联的反向隐藏状态，第二时刻在第一时刻之后；利用正向隐藏状态和反向隐藏状态，确定在第二时刻的第三状态；以及使用第二状态和第三状态，训练机器学习模型。

3、在本公开的第二方面，提供了一种电子设备。该电子设备包括至少一个处理器；以及存储有计算机可执行指令的至少一个存储器，至少一个存储器和计算机可执行指令被配置为与至少一个处理器一起使得电子设备执行操作。该操作包括：利用机器学习模型中的记忆层对在第一时刻从信息中心网络(icn)获得到的第一状态进行正向处理，确定与对应于第一时刻的记忆层相关联的正向隐藏状态，其中第一状态包括关于icn的第一节点信息和第一拓扑信息；利用记忆层对在第二时刻从icn获得到的第二状态进行反向处理，确定与对应于第二时刻的记忆层相关联的反向隐藏状态，第二时刻在第一时刻之后；利用正向隐藏状态和反向隐藏状态，确定在第二时刻的第三状态；以及使用第二状态和第三状态，训练机器学习模型。

4、在本公开的第三方面，提供了一种计算机程序产品。该计算机程序产品被有形地存储在非易失性计算机可读介质上并且包括计算机可执行指令，计算机可执行指令在被执行时使设备：利用机器学习模型中的记忆层对在第一时刻从信息中心网络(icn)获得到的第一状态进行正向处理，确定与对应于第一时刻的记忆层相关联的正向隐藏状态，其中第一状态包括关于icn的第一节点信息和第一拓扑信息；利用记忆层对在第二时刻从icn获得到的第二状态进行反向处理，确定与对应于第二时刻的记忆层相关联的反向隐藏状态，第二时刻在第一时刻之后；利用正向隐藏状态和反向隐藏状态，确定在第二时刻的第三状态；以及使用第二状态和第三状态，训练机器学习模型。

5、提供
技术实现要素：
部分是为了简化的形式来介绍对概念的选择，它们在下文的具体实施方式中将被进一步描述。发明内容部分无意标识本公开的关键特征或主要特征，也无意限制本公开的范围。

技术特征：

1.一种用于信息中心网络的方法，包括：

2.根据权利要求1所述的方法，其中利用所述正向隐藏状态和所述反向隐藏状态，确定在所述第二时刻下的第三状态包括：

3.根据权利要求2所述的方法，其中训练所述机器学习模型包括：

4.根据权利要求3所述的方法，其中所述损失函数包括：针对以所述隐变量为条件而生成的所述反向隐藏状态所确定的最大似然估计模型。

5.根据权利要求1所述的方法，还包括：利用经训练的机器学习模型，生成与从所述icn接收到的第二节点信息和第二拓扑信息对应的动作。

6.根据权利要求5所述的方法，其中生成与从所述icn接收到的第二节点信息和第二拓扑信息对应的动作包括：

7.根据权利要求6所述的方法，其中生成与从所述icn接收到的第二节点信息和第二拓扑信息对应的第二动作还包括：

8.根据权利要求7所述的方法，其中所述方法还包括：

9.根据权利要求1所述的方法，其中所述第一节点信息包括：节点类型、缓存状态以及内容属性。

10.根据权利要求1所述的方法，其中所述方法还包括：

11.一种电子设备，包括：

12.根据权利要求11所述的设备，其中利用所述正向隐藏状态和所述反向隐藏状态，确定在所述第二时刻下的第三状态包括：

13.根据权利要求12所述的设备，其中训练所述机器学习模型包括：

14.根据权利要求13所述的设备，其中所述损失函数包括：针对以所述隐变量为条件而生成的所述反向隐藏状态所确定的最大似然估计。

15.根据权利要求11所述的设备，所述操作还包括：

16.根据权利要求15所述的设备，其中生成与从所述icn接收到的第二节点信息和第二拓扑信息对应的动作包括：

17.根据权利要求16所述的设备，其中生成与从所述icn接收到的第二节点信息和第二拓扑信息对应的第二动作还包括：

18.根据权利要求17所述的设备，所述操作还包括：

19.根据权利要求11所述的设备，其中所述第一节点信息包括：节点类型、缓存状态以及内容属性。

20.根据权利要求11所述的设备，所述操作还包括：

21.一种计算机程序产品，所述计算机程序产品被有形地存储在非易失性计算机可读介质上并且包括计算机可执行指令，所述计算机可执行指令在被执行时使设备：

技术总结
本公开的实施例提供了用于信息中心网络的方法、电子设备和计算机程序产品。该方法利用在机器学习模型中的记忆层，基于在未来时刻下从信息中心网络获得的环境状态来获得与对应于未来时刻的记忆层相关联的未来信息，并且利用该未来信息来训练该机器学习模型。通过该方案，能够得到利用未来信息而训练获得的模型，利用该模型，基于强化学习的信息中心网络实现了更高效的缓存机制。

技术研发人员：王子嘉,倪嘉呈,刘金鹏,贾真
受保护的技术使用者：戴尔产品有限公司
技术研发日：
技术公布日：2024/1/15