电信标识网数据存储管理方法、系统、电子设备及介质与流程

本公开涉及网络通信，具体涉及一种电信标识网数据存储管理方法，一种电信标识网数据存储管理系统，一种电子设备以及一种计算机可读存储介质。

背景技术：

1、电信标识网络(telecommunication identification network，tin)是基于电信网络，尤其是第五代通信网络(5g)构建的标识网络，提供各类标识以及标识所属的丰富的信息服务。由于tin标识网络提供的信息服务种类繁多，因此tin的数据在数据格式、安全性、读取延时、存储成本等方面的需求也不同。

2、传统的网络存储系统采用集中的存储服务器存放所有数据，已不能满足大规模存储应用的需要。分布式存储通过将数据分散存储在多台独立的设备上，并采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，从而有效提高了系统的可靠性、可用性和存取效率。hadoop分布式文件系统(hdfs)是分布式存储的重要产品，被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(distributed file system)。hdfs适合部署在廉价的机器上从而降低存储成本，同时还保持了高度的容错性。hdfs能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。

3、但hdfs架构对处理数据量大的小块数据等其他类型的数据，性能会严重下降，且数据读取的速度是统一的；而tin标识数据种类繁多，需要对各类数据提供支持；并且需要根据不同存储区域的属性进行动态调整存储模式，以满足用户对数据安全性、成本敏感性等不同的需求；同时需要根据不用数据的特性进行读写任务策略的动态调整。因此，目前的hdfs架构还无法满足tin标识数据的要求。

技术实现思路

1、为了至少解决现有技术中存在的网络存储系统无法满足tin标识数据的要求的技术问题，本公开提供一种电信标识网数据存储管理方法、电信标识网数据存储管理系统、电子设备以及计算机可读存储介质，可以为tin不同用户和各类应用提供需要的各种tin数据服务，满足tin数据的存储需求。

2、第一方面，本公开提供一种电信标识网数据存储管理方法，所述方法包括：

3、通过数据分配节点接收发送到本区域的tin数据存储任务，并根据管辖的mec(mobile edge computing，移动边缘计)的本地接入节点的状态数据和预设的数据分配算法模型进行数据存储任务的分配；以及，

4、根据分配的数据存储任务将数据分配到对应的数据执行节点；

5、通过数据执行节点执行数据分配节点分配的任务，将数据存储在本地的数据存储节点；

6、其中，所述数据分配节点部署在mec的本地汇聚节点，所述数据执行节点部署在mec的本地接入节点，所述数据存储节点包括名称节点namenode和数据节点datanode。

7、进一步的，所述方法还包括：

8、根据接收到的数据类型和读写需求，通过数据读写状态管理节点对所述预设的数据分配算法模型中的分类器和神经网络单元进行参数动态学习和配置，并将数据存储节点的数据读写性能采集后发送到数据分配节点以优化所述预设的数据分配算法模型。

9、进一步的，所述方法还包括：

10、通过区域数据管理节点负责整个区域的数据分配节点的管理和监督维护；

11、其中，区域数据管理节点部署在mec的本地核心节点中。

12、进一步的，所述方法还包括：

13、由数据执行节点定期向数据分配节点发送心跳信息，所述心跳信息包括该数据执行节点的工作状态、存储空间使用情况和是否可以接收新的任务情况，以使数据分配节点获知数据执行节点的状态；并且，

14、通过数据执行节点将任务执行结果和mec本地接入节点的状态反馈给数据分配节点。

15、进一步的，所述根据预设的数据分配算法模型进行数据存储任务的分配包括：

16、响应于tin数据由提交到系统，根据tin数据对数据存储节点特性的需求和mec不同类型数据存储节点位置的属性，通过tin数据分配算法模型将tin数据分配到三类数据节点；

17、其中，tin数据中包含了tin数据的属性描述，包括数据的tin标识码、数据类型、数据大小、数据来源、存储地址和读写要求；

18、所述三类数据节点包括：

19、模式1数据节点，其分流网元upf(user plane function，用户面功能)/gw-u(gateway for user，用户网关)和tin的数据节点均部署在不同等级的mec中；

20、模式2数据节点，其分流网元upf/gw-u及tin的数据节点均部署在用户本地机房，分流网元及tin的数据节点为某个用户专享；

21、模式3数据节点，其分流网元upf/gw-u部署在mec中，数据节点部署在用户本地机房。

22、进一步的，所述方法还包括：

23、通过存储设备池配置tin存储设备介质标识，对每个存储设备和存储介质分配唯一的tin存储介质标识；

24、将tin存储介质标识对应的存储介质注册到存储设备池，并通过心跳信息将存储介质的设备的状态定期发送给存储设备池，以对存储介质的设备进行状态管理；

25、由存储设备池将存储设备底层的不同存储介质通过虚拟化技术封装起来，并虚拟化成逻辑卷，使上层的数据执行节点的存储操作直接对逻辑卷进行。

26、进一步的，所述方法还包括：

27、根据基于位置分离的虚拟机架安全策略和基于mec host的虚拟主机备份策略拓展hdfs的数据安全策略；

28、其中，所述基于位置分离的虚拟机架安全策略包括：

29、通过“tin地址标识映射单元”将tin地址标识中的机架标签将本地mec和异地mec映射成虚拟机架组，进行统一的数据存储分配，以实现分布式的本地/异地tin数据存储容灾和备份；

30、所述基于mec host的虚拟主机备份策略包括：

31、将tin地址标识中的数据节点标识部分标映射成不同的数据节点，从而实现虚拟数据节点的映射，灵活设置数据备份数量和路由。

32、进一步的，所述方法还包括：

33、在mec的用户应用程序生命周期管理代理中实例化一个tin数据存储分发代理，以完成块数据存储，关系数据库存储，列数据存储，键值数据存储，及各个不同格式数据到mecapp的不同格式存储区域的路由；

34、通过设备应用程序device app响应用户的请求，使用户可以直接配置数据存储类型，并通过与oss(operation support system，操作支撑系统)和多访问边缘编配器进行交互，以处理不同类型的数据存储请求。

35、进一步的，所述预设的数据分配算法模块包括：

36、通过对tin元数据的特征描述中的数据特征进行提取和编码；

37、采用中心区域分类器，采用以字典数据的特征为中心，通过计算tin数据相对字典数据的投影距离进行分类；

38、将分类结果通过mp神经元模型对均衡进行优化，最终获得不同类别tin数据的具体路由信息。

39、进一步的，

40、所述通过对tin元数据的特征描述中的数据特征进行提取和编码包括：

41、tin数据特征描述，包括：

42、采用(式1)对tin数据的特征进行统一描述，由用户设备应用程序device app进行配置：

43、e＝(k,l,r,f)              (式1)，

44、其中，k为数据类型描述，l为存储位置需求描述，r为可靠性需求描述，f为读取频率描述；

45、字典数据配置，包括：

46、针对系统能提供的不同的数据类型的(k,l,r,f)组合，配置字典数据集，字典数据集中的tin数据能够体现不同类型数据的特征和参数描述；

47、字典数据特征抽取和tin数据特征描述的特征提取，包括：

48、将字典数据集中的数据采用特征化提取工具进行特征值化提取，并采用one-hot编码对特征值进行特征数字处理化，将字典数据的分类值映射到整数值，然后每个整数值表示为二进制向量，one-hot编码后将字典数据的各个离散特征的取值扩展到欧式空间，并按同样的算法完成tin数据特征描述的特征提取；

49、所述采用中心区域分类器，采用以字典数据的特征为中心，通过计算tin数据相对字典数据的投影距离进行分类，包括：

50、在欧式空间中，通过中心区域分类器对tin数据的特征描述点以字典特征表述点为中心计算投影距离，如(式2)所示：

51、

52、其中，re＝(rk,rl,rr,rf)为tin数据的(k,l,r,f)四个特征描述的one-hot编码后的特征向量t到字典数据特征向量d的投影距离，tk和dk分别为tin数据和字典数据中m个属性中第k个属性的one-hot编码后的单位向量，m为(k,l,r,f)中的所有属性的数量；

53、将tin数据划分到最小投影距离的字典数据的类别，如(式3)所示：

54、

55、所述将分类结果通过mp神经元模型对均衡进行优化，最终获得不同类别tin数据的具体路由信息，包括：

56、将tin数据划分到某一类资源后，如(式4)所示，针对每个数据节点类别，通过mp神经元进行系统均衡，

57、

58、其中，yj为类别j中的数据节点，xi为第i个需要均衡的指标，wij为xi对应的权重，θi为阈值，如果低于阈值，则可以认为系统为“轻负担”，可以选择该节点，f(·)为激活函数或转移函数，用以提供非线性表达能力，其中，mp神经元训练过程为通过样本不断调整权重和阈值，直到收敛。

59、第二方面，本公开提供一种电信标识网数据存储管理系统，所述系统包括：

60、数据分配模块，其设置为通过数据分配节点接收发送到本区域的tin数据存储任务，并根据管辖的mec的本地接入节点的状态数据和预设的数据分配算法模型进行数据存储任务的分配；以及，

61、根据分配的数据存储任务将数据分配到对应的数据执行节点；

62、数据执行模块，其设置为通过数据执行节点执行数据分配节点分配的任务，将数据存储在本地的数据存储节点；

63、其中，所述数据分配节点部署在mec的本地汇聚节点，所述数据执行节点部署在mec的本地接入节点，所述数据存储节点包括名称节点namenode和数据节点datanode。

64、第三方面，本公开提供一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行如第一方面中任一所述的电信标识网数据存储管理方法。

65、第四方面，本公开提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面中任一所述的电信标识网数据存储管理方法。

66、有益效果：

67、本公开提供的电信标识网数据存储管理方法、电信标识网数据存储管理系统、电子设备及存储介质，可以为tin不同用户和各类应用提供需要的各种tin数据服务，满足tin数据的存储需求；解决了不同类型的tin数据提交到系统时，如何根据tin数据中的特征，快速路由到满足数据的存储类型要求的数据节点的问题，并实现系统的整体均衡。