一种海量元数据存储与管理系统的制作方法

1.本发明属于分布式数据存储技术领域，具体涉及一种海量元数据存储与管理系统。


背景技术：

2.当前互联网中各类数据具有流量大、时间跨度长的特点，按传统方式部署的文件系统根本无法确保用户大规模进行数据的实时迁移。寻求高效地存储、管理、维护日益庞大的数据的系统便成为了未来发展急不可待焦点问题。


技术实现要素：

3.本发明提供一种海量元数据存储与管理系统，以解决现有技术中海量元数据高效存储与管理的难题。
4.为实现上述发明目的，本发明提供一种海量元数据存储与管理系统，首先通过hadoop自带的api接口，利用java跨平台性特点、web技术和mvc设计模式，实现系统的前端搭建。其次，利用基于复合因子改进的加权最小连接算法，提升系统在实际应用中的可用性。最后主节点服务器根据存储节点服务器的负载动态变化调整负载权值，从而合理分配资源得到更加理想的负载均衡效果。
5.本发明提供的一种海量元数据存储与管理系统的搭建包括以下工作步骤：步骤1：把非结构化的数据转换为块数据并利用逻辑卷结构进行组织存储，对大量并发视频流数据的写入方式进行修改，把随机写方式改为大段的连续写，以此来提升磁盘的写入带宽；步骤2：元数据管理模块采用集群形式进行组织，集群内部采用raft一致性协议进行状态同步与数据同步，系统的高可用性和数据可靠性可以得到很好的保障；步骤3：利用针对视频流特点的自适应负载均衡调度算法，对数据存储集群中的节点进行调度，使整个系统保持负载均衡状态。
6.所述海量元数据存储与管理系统，其特征在于，步骤2中所述元数据管理模块各服务器间出现数据冲突时，要确保对外仍可返回正确数据，同时对内将不一致数据更新使其保持一致。
7.所述海量元数据存储与管理系统，其特征在于，步骤2中所述元数据管理模块合理分配系统资源，使得整个系统维持在一个稳定的状态，保证底层数据不丢失。
8.本发明有益效果如下：本发明针对用户大规模数据管理、存储、维护过程中存在的问题，研究和设计面向海量元数据的分布式块文件存储与管理系统，兼具低成本、高性能、易扩展等特性，进而真正满足数据存储与管理需求。
附图说明
9.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
10.图1为本发明的系统架构图。
具体实施方式
11.为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
12.请见图1，本发明提供的一种海量元数据存储与管理系统，系统建设包括以下步骤：步骤1：把非结构化的数据转换为块数据并利用逻辑卷结构进行组织存储，对大量并发视频流数据的写入方式进行修改，把随机写方式改为大段的连续写，以此来提升磁盘的写入带宽；步骤2：元数据管理模块采用集群形式进行组织，集群内部采用raft一致性协议进行状态同步与数据同步，系统的高可用性和数据可靠性可以得到很好的保障；步骤3：利用针对视频流特点的自适应负载均衡调度算法，对数据存储集群中的节点进行调度，使整个系统保持负载均衡状态。
13.所述海量元数据存储与管理系统，其特征在于，步骤2中所述元数据管理模块各服务器间出现数据冲突时，要确保对外仍可返回正确数据，同时对内将不一致数据更新使其保持一致。
14.所述海量元数据存储与管理系统，其特征在于，步骤2中所述元数据管理模块合理分配系统资源，使得整个系统维持在一个稳定的状态，保证底层数据不丢失。
15.综上所述，本发明的海量元数据存储与管理系统可以解决用户大规模数据管理、存储、维护过程中存在的问题，兼具低成本、高性能、易扩展等特性，进而真正满足数据存储与管理需求。
16.应当理解的是，本说明书未详细阐述的部分均属于现有技术。
17.应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。


技术特征：
1.一种海量元数据存储与管理系统，其特征在于，所述海量元数据存储与管理系统首先通过hadoop自带的api接口，利用java跨平台性特点、web技术和mvc设计模式，实现前端搭建，利用基于复合因子改进的加权最小连接算法，提升在实际应用中的可用性，主节点服务器根据存储节点服务器的负载动态变化调整负载权值，从而合理分配资源得到更加理想的负载均衡效果。2.根据权利要求1所述海量元数据存储与管理系统，其特征在于，系统搭建包括以下工作步骤：步骤1：把非结构化的数据转换为块数据并利用逻辑卷结构进行组织存储，对大量并发视频流数据的写入方式进行修改，把随机写方式改为大段的连续写，以此来提升磁盘的写入带宽；步骤2：元数据管理模块采用集群形式进行组织，集群内部采用raft一致性协议进行状态同步与数据同步，系统的高可用性和数据可靠性可以得到很好的保障；步骤3：利用针对视频流特点的自适应负载均衡调度算法，对数据存储集群中的节点进行调度，使整个系统保持负载均衡状态。3.根据权利要求2所述海量元数据存储与管理系统，其特征在于，步骤2中所述元数据管理模块各服务器间出现数据冲突时，要确保对外仍可返回正确数据，同时对内将不一致数据更新使其保持一致。4.根据权利要求2所述海量元数据存储与管理系统，其特征在于，步骤2中所述元数据管理模块合理分配系统资源，使得整个系统维持在一个稳定的状态，保证底层数据不丢失。

技术总结
本发明公开了一种海量元数据存储与管理系统，本发明的系统首先通过Hadoop自带的API接口，利用JAVA跨平台性特点、Web技术和MVC设计模式，实现系统的前端搭建。其次，利用基于复合因子改进的加权最小连接算法，提升系统在实际应用中的可用性。最后主节点服务器根据存储节点服务器的负载动态变化调整负载权值，从而合理分配资源得到更加理想的负载均衡效果。合理分配资源得到更加理想的负载均衡效果。合理分配资源得到更加理想的负载均衡效果。


技术研发人员：王林林
受保护的技术使用者：镇江睿泰教育科技有限公司
技术研发日：2021.01.12
技术公布日：2022/7/14