一种基于混合数据库的多业务用户数据管理系统及其方法
【技术领域】
[0001]本发明涉及一种用户数据管理系统和方法，尤其是涉及一种基于混合数据库的多业务用户数据管理系统及其方法。
【背景技术】
[0002]关系数据库，是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。由于具有保持数据一致性、丰富的完整性、数据库维护量小、技术发展成熟等突出优势，关系型数据库已成为应用广泛的通用型数据库。但是近年来，随着互联网的兴起，传统的关系数据库在应付各行各业服务应用，特别是超大规模和高并发的SNS类型的web2.0纯动态网站及海量数据计算时已经显得力不从心，暴露了很多难以克服的问题，而非关系型数据库则由于本身高性能并发读写能力、海量数据的高效读写、高可扩展性和可用性等特点得到了非常迅速的发展。
[0003]与关系型数据库相比，非关系型数据库最大的优势是它们能高效地处理非结构化的数据，如字符文件、邮件、多媒体、社交媒体等。但非关系型数据库不支持SQL、支持的特性不够丰富、技术尚不成熟等缺点，制约了非关系型数据库的广泛应用。
【发明内容】
[0004]针对上述问题，本发明提出了一种基于混合数据库的多业务用户数据管理系统及其方法，其中采用关系型数据库和非关系型数据库相结合的方式对数据进行存储。
[0005]本发明提出一种基于混合数据库的多业务用户数据管理系统，包括:
[0006]系统出口入口模块，所述出口入口模块用于导入和导出用户数据；
[0007]分布式处理模块，所述分布式处理模块包括对所述用户数据进行数据分类的数据分类模块、对经分类后的用户数据进行筛选和清洗的数据筛分录入模块、对经筛选和清洗后的用户数据进行基础整合的数据整合模块、对经基础整合后的用户数据进行二次整合的数据查询模块;和
[0008]数据存储集群系统，所述数据存储集群包括用于存储结构化数据的关系型数据库集群，用于存储需要进行复杂计算的数据的Hadoop集群，用于存储非结构化数据的MongoDB集群。
[0009]进一步地，所述系统入口出口模块包括数据接入模块和权限控制模块，所述数据接入模块用于导入用户数据，所述权限控制模块用于处理外来请求权限校验和数据导出。
[0010]进一步地，所述数据分类模块、数据筛选录入模块、数据查询模块、数据整合模块之间数据的传输采用生产者消费者模式，并以RediS queue作为集群消息队列。
[0011]进一步地，所述数据存储集群的关系型数据库集群为Redis集群。
[0012]本发明提供了一种基于混合数据库的多业务用户数据管理方法，包括如下步骤:
[0013]SI:将用户数据导入到系统入口出口模块；
[0014]S2:对所述用户数据进行数据分类；
[0015]S3:对经分类后的用户数据进行筛选和清洗；
[0016]S4:对经筛选和清洗后的用户数据进行基础整合；
[0017]S5:对经基础整合后的用户数据进行二次整合；
[0018]S6:对经二次整合后的用户数据进行存储，其中结构化数据存储在关系型数据库集群中，需要进行复杂计算的数据存储在Hadoop数据库集群中，非结构化数据存储在MongoDB数据库集群中。
[0019]进一步地，步骤S6中所述的关系型数据库集群为Redis数据库集群。
[0020]本发明采用传统关系型数据库与非关系型数据库相结合的方式对数据进行分类存储，这种混合数据库的存储模式发挥了关系型数据库在处理结构化数据时通用性强和保持数据一致性的优点，同时具备了非关系型数据库针对海量非结构化数据较强的读写能力以及架构模块高可扩展性等特点。
【附图说明】
[0021]图1是本发明一种基于混合数据库的多业务用户数据管理系统的一个实施例的结构示意图。
[0022]图2是本发明一种基于混合数据库的多业务用户数据管理方法的流程图。
【具体实施方式】
[0023]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0024]请参见图1，本发明一种基于混合数据库的多业务用户数据管理系统，包括:
[0025]系统出口入口模块I，所述出口入口模块I用于导入和导出用户数据；
[0026]分布式处理模块2，所述分布式处理模块2包括对所述用户数据进行数据分类的数据分类模块21、对经分类后的用户数据进行筛选和清洗的数据筛分录入模块22、对经筛选和清洗后的用户数据基础整合的数据整合模块24、对经基础整合后的用户数据进行二次整合的数据查询模块23;和
[0027]数据存储集群系统3，所述数据存储集群模块3包括用于存储结构化数据的关系型数据库集群31，用于存储需要进行复杂计算的数据的Hadoop集群32，用于存储非结构化数据的MongoDB集群33。
[0028]在本发明一个优选的实施例中，所述系统入口出口模块I包括数据接入模块11和权限控制模块12，所述数据接入模块11用于导入用户数据，所述权限控制模块12用于处理外来请求权限校验和数据导出。针对数据的导入导出，本系统提供了http和文件型两种方式，其中http方式采用nginx+tomcat集群，以scale out模式来实现大批量高并发数据的导入导出，可突破传统scale up模式带来的性能瓶颈并减少开支；文件型导入导出则采用fastdfs集群文件服务器，可有效完成海量数据文件的导入导出。
[0029]在本发明的另一个优选的实施例中，所述数据分类模块21、数据筛选录入模块22、数据查询模块23、数据整合模块24之间数据的传输采用生产者消费者模式，并以Redisqueue作为集群消息队列。采用生产者消费者模式可通过自由增加或减少系统的节点数进行性能调节，降低系统间的耦合，实现自由增加或减少服务器而不需要改动任何其它的服务器。数据分类模块21主要提供业务分类服务；由数据分类模块21分类后进入数据筛选录入模