一种数据网格的拓扑构建方法与流程

本发明涉及数据分析、网格拓扑架构构建的，尤其涉及一种数据网格的拓扑构建方法。

背景技术：

1、数据网格架构是一种分布式的技术方法，使领域团队能够自行执行跨领域数据分析，领域团队获取运营数据并构建分析数据模型，以作为数据产品来执行自己的分析，也可以选择发布带有数据契约的数据产品，来满足其他领域的数据订阅需求，数据网格将管理数据的职责和权力转移给由数据平台团队支持的领域团队，所有团队的代表聚集在一个联合治理小组中来定义共同标准以实现联邦计算治理。

2、目前，针对数据网格架构的拓扑设计存在以下问题：(1)数据网格的基础物理架构拓扑关系只有概念上的理解，还没有明确技术实现定义；（2）数据网格针对不同级别组织如何设计动态拓扑并保持一致性需要进一步指导；（3）数据网格除了物理架构上的拓扑，对于领域之间沟通以及数据产品传输涉及的网络拓扑如何设计才能与物理拓扑设计相辅相成需要同步解决。

3、cn107926073a公开了一种数据通过网格网络拓扑结构的传输，其通过无线通信接口被配置为使用相同的通信协议以不同的通信关系，在不同的时间作为主设备以及作为从设备操作；利用数据网格的网络拓扑结构进行蓝牙无线通信连接；但是该方法并未说明如何从数据网格的四个基本原则出发，对不同层级组织对应的网格层次需求进行分析，其实现的蓝牙无线通信传输功能亦可通过现有技术中的传感技术实现，因而现有技术中还并未公开数据网格针对不同级别组织如何设计动态拓扑并保持一致性。

4、cn108718214a公开了一种基于网格型拓扑结构的数据中心光互连结构及通信方法，其通过阵列波导光栅的双向互通的互联特性和路由分配特性，减少数据互连时经过的阵列波导光栅的数量；但是该方法并未说明如何设计数据网格的网络拓扑架构，怎样对不同层级组织对应的网格层次需求进行分析，实现组织的高效扩展、基础设施的高利用率及网络分发的负载均衡，还需解决。

技术实现思路

1、本发明的目的是提供一种数据网格的拓扑构建方法，该方法从数据网格的四个基本原则出发，对不同层级组织对应的网格层次需求进行分析，实现组织的高效扩展、基础设施的高利用率及网络分发的负载均衡。

2、为实现上述目的，本发明采用如下技术方案：s1、分析数据网格的架构量子与数据领域之间的拓扑关系，确定网格拓扑最小单位；

3、s2、根据数据网格基本原则，构建基于领域枢纽的网格拓扑，其中，至少包含基于组织的领域大类划分、局部网格构建、公用基础设施构建以及局部网格网络拓扑构建；

4、s3、构建基于跨域组织的网格拓扑，其中，至少包含跨域的全局网格构建与跨域组织的网络拓扑构建。

5、作为本发明所述的一种优选方案，所述s1确定在数据网格中实现拓扑的节点组成；

6、所述s2对所述s1进行节点之间的映射、连接和关系确认；

7、所述s3基于所述s2对局部拓扑进行升级，得到组织级的数据网格拓扑。

8、作为本发明所述的一种优选方案，所述确定网格拓扑最小单位包括：源数据、自助计算资源与业务编排、数据产品、联邦计算治理策略和领域专家。

9、作为本发明所述的一种优选方案，所述s2中，构建领域枢纽为局部网格的中心注册表；

10、所述基于组织的领域大类划分包括：领域大类确定原则，即领域大类结合组织的市场发展愿景，基于市场行业现状，确定可以类似行政划分的层级。

11、作为本发明所述的一种优选方案，所述局部网格构建包括：

12、领域大类内部构建领域路由组件，所述领域路由组件包含领域大类下所有子领域的数据目录，并且实现n对n的局部映射表。

13、作为本发明所述的一种优选方案，所述公用基础设施构建为基于领域大类的自助数据服务平台构建，所述自助数据服务平台的通用设施提供数据领域的常用公共操作类。

14、作为本发明所述的一种优选方案，所述局部网格网络拓扑构建为针对局部构建的小网格拓扑，适配相应的网络拓扑构建方案；

15、其中，将is-is协议应用到所述局部网格网络拓扑中，实现将大领域划分为多区域的方式。

16、作为本发明所述的一种优选方案，所述s3中跨域的全局网格构建包括：

17、基于云区域、子组织或外部组织对局部网格进行层次构建，此时两个区域之间的数据产品通信通过每个局部网格的领域路由数据产品，区域之间的访问流量由领域路由领域负责。

18、作为本发明所述的一种优选方案，所述跨域组织的网络拓扑构建包括：

19、将全局网格层次聚合拓扑物理结构映射到对应的ibgp与ebgb结合的网络拓扑结构；

20、其中，同一区域下选用统一网络配置策略，不同区域之间的网路通信通过ebgp协议实现，当路由到具体区域时由ibgp协议完成转发。

21、本发明的有益效果：

22、1、从数据网格的基本原则出发，在不进行任意原则属性的阉割情况下，促进数据网格架构在不同规模组织上的应用以及高效扩展；

23、2、针对数据网格的物理组织架构拓扑进行了定义并给出设计实现方案；

24、3、针对数据网格的网络架构拓扑给出同步可行实现方法；

25、4、提出的层次聚合拓扑架构对于局部基础设施的利用率、数据流量传输有一定的优化作用。

技术特征：

1.一种数据网格的拓扑构建方法，其特征在于，包括：

2.根据权利要求1所述的数据网格的拓扑构建方法，其特征在于，所述s1确定在数据网格中实现拓扑的节点组成；

3.根据权利要求1所述的数据网格的拓扑构建方法，其特征在于，所述确定网格拓扑最小单位包括：源数据、自助计算资源与业务编排、数据产品、联邦计算治理策略和领域专家。

4.根据权利要求1所述的数据网格的拓扑构建方法，其特征在于，所述s2中，构建领域枢纽为局部网格的中心注册表；

5.根据权利要求1所述的数据网格的拓扑构建方法，其特征在于，所述局部网格构建包括：

6.根据权利要求1所述的数据网格的拓扑构建方法，其特征在于，所述公用基础设施构建为基于领域大类的自助数据服务平台构建，所述自助数据服务平台的通用设施提供数据领域的常用公共操作类。

7.根据权利要求1所述的数据网格的拓扑构建方法，其特征在于，所述局部网格网络拓扑构建为针对局部构建的小网格拓扑，适配相应的网络拓扑构建方案；

8.根据权利要求1所述的数据网格的拓扑构建方法，其特征在于，所述s3中跨域的全局网格构建包括：

9.根据权利要求1所述的数据网格的拓扑构建方法，其特征在于，所述跨域组织的网络拓扑构建包括：

技术总结
本发明公开了一种数据网格的拓扑构建方法，包括：分析数据网格的架构量子与数据领域之间的拓扑关系，确定网格拓扑最小单位；根据数据网格基本原则，构建基于领域枢纽的网格拓扑，其中，至少包含基于组织的领域大类划分、局部网格构建、公用基础设施构建以及局部网格网络拓扑构建；构建基于跨域组织的网格拓扑，其中，至少包含跨域的全局网格构建与跨域组织的网络拓扑构建。本发明通过对数据网格在组织中实际构建时的物理拓扑和对应的网络拓扑设计进行深入思考，基于数据网格的4个原则，没有对其进行有损降级，并对其匹配的网络拓扑给出具体实现方式，实现了组织数据架构的高效拓展、基础设置的高利用率以及网络并发的极大改善。

技术研发人员：戴弘林,于峰,王晟,丁皓
受保护的技术使用者：江苏量界数据科技有限公司
技术研发日：
技术公布日：2024/3/12