基于智能分层切片技术的数字孪生传感信息同步方法

本发明属于移动通信，涉及一种基于智能分层切片技术的数字孪生传感信息同步方法。

背景技术：

1、数字孪生作为6g网络的重要应用技术，引起了广泛的关注。相较于5g、6g网络能够在更多的应用场景中提供更优质的服务，源于其更高的速度、更低的延迟以及更大的容量。数字孪生利用6g的特点，在整个物理实体的生命周期中监测并反映物理实体的状态，优化自身的同时能控制物理实体的行为。

2、虽然现有不少研究集中在利用数字孪生技术辅助网络进行资源优化，这些研究是在数字孪生已经建立好的基础上进行，但是如何让数字孪生精确的反映实体也是数字孪生与6g网络集成需要解决的问题。传感数据是数字孪生体建模的重要来源，由计算能力有限的传感器采集实时的数据，把数据以无线传输的方式传输到基站，在基站处估计设备的状态，为在基站处的数字孪生体建模提供数据支撑，帮助数字孪生对设备进行实时的监测，更准确地反映实体物体的状态和性能。网络切片技术能够将一个物理网络划分为多个虚拟网络。根据业务需求的不同，不同的虚拟网络具有不同的拓扑、性能与安全管理。因此，在有限的无线资源以及不可靠的无线传输条件下，如何实现数字孪生体与物理实体的低时延与高精确同步是一个需要进一步研究的问题。

3、因此，亟需一种新的基于智能分层切片技术的数字孪生传感信息同步方法来解决上述问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种基于智能分层切片技术的数字孪生传感信息同步方法，在双时间尺度的切片框架下，联合优化切片缩放以及数字孪生体传感信息同步问题，以最大化传感信息满意度和最小化切片重配置及数字孪生体同步成本为目标。解决传感数据在无线接入网中传输不可靠性与不及时性造成数字孪生体同步信息的不精确问题。

2、为达到上述目的，本发明提供如下技术方案：

3、一种基于智能分层切片技术的数字孪生传感信息同步方法，在双时间尺度的切片框架下，联合优化切片缩放以及数字孪生体传感信息同步问题，以最大化传感信息满意度和最小化切片重配置及数字孪生体同步成本为目标。在大时间尺度中，利用分层网络切片技术为有着不同服务质量(qos)的数字孪生体提供隔离以及解决部署问题。在小时间尺度中，通过更加灵活的无线资源分配来提高传感估计任务对动态环境的适应性，进一步提高通信性能，建立更逼近于物理实体的数字孪生体。其次，为了实现智能分层的切片策略，提出了一种高效的上下级深度强化学习框架：ddqn-per-mddpg算法，并利用优先经验放回的多智能体深度强化学习算法实现高效的网络资源交互。

4、该方法具体包括以下步骤：

5、s1：在数字孪生支持的无线接入网切片场景中，利用切片技术来为有不同传感业务需求的数字孪生体同步提供隔离，在双时间尺度框架下，在大时间尺度中动态调整为数字孪生体同步业务保留的切片资源、数字孪生体的放置和迁移决策；

6、s2：在大时间尺度决策的约束下，在小时间尺度中传感器将传感数据发送到基站(数字孪生体部署地点)进行状态估计，采用状态估计的均方误差评估估计性能，灵活配置功率、带宽，完成数字孪生体与实体的数据同步；

7、s3：联合优化切片缩放以及数字孪生体传感信息同步问题，以最大化传感信息满意度和最小化切片重配置及数字孪生体同步成本为目标构建优化问题；

8、s4：针对双时间尺度问题之间存在耦合以及混合动作空间较大的情况，采用分层深度强化学习方法，下层控制使用per-maddpg算法，利用per机制来加快收敛速度以及多智体的协作求解优化问题；在下层控制收敛情况下，上层控制使用ddqn来求出最优策略，以此解决数字孪生体传感信息同步优化问题；其中，per-maddpg表示优先经验回放的多智体深度确定性梯度，per表示经验优先回放，ddqn表示双深度q网络。

9、进一步，步骤s1中，网络切片技术能为不同传感业务的数字孪生体同步需求提供定制化的服务，采用的分层网络切片技术能提供多重粒度的资源分配，提高传输的可靠性以及降低时延，保证数字孪生体与实体的实时监测，提高数字孪生体的同步信息的精确度，降低网络管理的复杂度。

10、进一步，步骤s1中，所述数字孪生支持的无线接入网切片场景由两层、三个闭环组成，两层分别为物理层和数字孪生层；内闭环包括数据模块向切片管理模块发送数据，切片管理模块对数据仓模块进行管理，外闭环功能为数字孪生层对物理层进行资源分配，物理层向数字孪生层发送反馈。

11、进一步，步骤s1中，所述数字孪生支持的无线接入网切片场景的物理层包括传感iot设备、基站、边缘服务器和mec-服务器等设备组成；由物理层设备组成的上行无线接入网络中，计算能力有限的的传感器将监测任务上传至基站处进行状态估计。通过状态估计能够估计一些无法直接测量得到数据，从而了解一个系统的动态规律，因此在基站处接收的状态估计的数据能够帮助刻画更逼近于真实的世界。针对有着不同传感业务的服务，利用切片技术来隔离不同业务。

12、进一步，步骤s1中，所述数字孪生支持的无线接入网切片场景的数字孪生层包括：数字孪生数据仓模块和数字孪生支持的切片管理模块；所述数字孪生数据仓模块通过对传感设备数据(位置、温度、湿度、姿态等)及其他数据(流量信息、资源利用率等)进行采集和存储，为数字孪生体模型的建立做数据的支撑；所述数字孪生体模型分为不需要频繁更新的基础数字孪生体软件模块以及频繁更新的映射到边缘服务器的数字孪生体；所述数字孪生支持的切片管理模块对数字孪生体数据仓模块的数据进行维护及管理，该模块包括数字孪生模型管理、网络切片管理以及孪生功能管理。

13、进一步，步骤s2中，所述状态估计的均方误差χi必须满足以下条件：

14、

15、其中，ei(t)为估计误差，能够评估感知信息状态估计的性能，为了让数字孪生体精确的反应实体的状态和性能；定义为数字孪生体同步能容忍的最大估计均方误差，存在i个需要建立数字孪生体的用户设备，其集合表示为并且i∈ij表示设备i属于切片j。

16、进一步，步骤s3中，在t个时刻内，构建的优化问题为：

17、

18、

19、

20、

21、

22、

23、

24、

25、

26、其中，为切片j在时刻k的总收益函数，j表示在基站的覆盖范围内网络切片集合，分别表示在每个大时间尺度时刻的切片资源划分比例与各个设备的关联变量集合；和代表每个小时间尺度带宽分配、功率分配的集合；条件式(a)表示切片j占用的频带资源百分比和其余切片占用频带资源百分比应在0到1之间；条件式(b)表示切片j占用资源与其余切片占用资源的比率总和限制在0与1之间，二进制变量表示是否在大尺度时刻k让设备i关联到基站r同步数字孪生体数据；条件式(c)代表数字孪生体关联变量为二元变量；条件式(d)表示确保每个传感设备最多与一个基站建立关联，r表示基站集合；条件式(e)表示在片j内设备带宽资源bi,t之和不能高于总带宽带宽资源b划分给切片的带宽资源；条件式(f)表示设备发射功率pi,t之和小于最大发射功率pmax；条件式(g)保证在数字孪生体同步过程中状态估计均方误差低于数字孪生体同步能容忍的最大估计均方误差；条件式(h)当设备传输速率ri(t)不小于阈值rj，则切片j提供的通信资源满足设备qos要求。

27、进一步，步骤s3中，目标函数包括上层的切片缩放及数字孪生体迁移成本函数和下层的满意度收益函数，切片j在时刻k的总收益函数表示为：

28、

29、其中，切片j的成本函数由片缩放成本及数字孪生体成本组成，表示为：c1为片缩放的单位成本，表示数字孪生迁移成本，表示数字孪生实例化成本。

30、利用数字孪生体边缘同步系统获得收益与用户传感信息满意度呈正相关，因此在大尺度时刻k系统收益为：小时间尺度时隙t表示在kδt＜t≤(k+1)δt内第t个时隙，ces为单位收益，δt表示大时间尺度时刻k内的持续时间。

31、进一步，步骤s4中，为了将双时间尺度问题解耦，保持最大化系统长期收益目的不变，将问题求解拆分为上层控制策略和下层控制策略，利用分层强化学习求解，首先使用per-maddpg算法学习下层控制策略来求解连续任务；最后，在收敛的下层策略基础上，使用ddqn学习上层控制策略求解离散任务。

32、进一步，步骤s4中，传统的经验回放方法把回放池中的样本视为相同重要程度，采用均匀采样的方法从回放池中分批次采集，样本来完成critic网络和actor网络参数的更新；然而传统方法忽略了经验质量的参差，导致maddpg算法学习缓慢，引入了per机制，按照样本的优先级，从回放池优先采样部分经验，加快算法收敛速度。

33、本发明的有益效果在于：本发明优化了数字孪生同步，分层网络切片技术能提供多重粒度的资源分配，提高传输的可靠性以及降低时延，提高数字孪生体的同步信息的精确度。

34、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。