专利名称：数据中心系统及数据处理方法
技术领域：
本发明涉及一种数据中心系统及数据处理方法，属于数据管理技术领域。
背景技术：
现有的数据中心系统通常使用关系型数据库或非关系型数据库。其中，关系型数据库在是一种建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据，关系模型由关系数据结构、关系操作集合、关系完整性约束三部分组成。非关系型数据库是没有建立在关系模型基础上的数据库。其中所述关系型数据库具有高度的安全性，但缺陷在于当涉及大量数据源的索引时，在效率和实现上存在众多的技术瓶颈，因此存在分布式查询效率低的问题。所述非关系型数据库具备自由模式，可以很好地适横向扩展需求。分片能力，存储海量数据，但缺陷在于·缺乏权限限制，安全性较低。现有数据中心系统的缺陷在于仅能择一地选择关系型数据库或非关系型数据库进行构建，因此无法充分利用两种数据库的优势。
发明内容
本发明提供一种数据中心系统及数据处理方法，用以充分利用关系型数据库和非关系型数据库各自的优势。本发明一方面提供一种数据处理方法，其中包括数据中心系统接收到查询请求后从数据源抽取待处理的原始数据；将所述原始数据中的机密数据导出到关系数据库中，并将所述原始数据中的海量数据导出到非关系数据库中；根据所述查询请求对所述非关系数据库中的海量数据进行统计分析得到有价值数据；将所述机密数据与所述有价值数据相关联生成查询结果数据进行输出。本发明另一方面提供一种数据中心系统，其中包括抽取模块，用于当接收到查询请求后从数据源抽取待处理的原始数据；导出模块，用于将所述原始数据中的机密数据导出到关系数据库中，并将所述原始数据中的海量数据导出到非关系数据库中；分析模块，用于根据所述查询请求对所述非关系数据库中的海量数据进行统计分析得到有价值数据；输出模块，用于将所述机密数据与所述有价值数据相关联生成查询结果数据进行输出。本发明通过将机密数据导出到关系数据库，从而保证了机密数据的安全性，并通过将海量数据导出到非关系数据库，提高了分布式查询的效率，从而能够充分利用关系型数据库和非关系型数据库各自的优势实现数据处理。
图I为本发明所述数据处理方法实施例的流程图；图2为本发明所述数据中心系统实施例的结构示意图。
具体实施例方式图I为本发明所述数据处理方法实施例的流程图，如图所示，包括如下步骤步骤100，数据中心系统接收到查询请求后从数据源抽取待处理的原始数据。其中，所述待处理的原始数据是指为了满足所述查询请求而需要进行处理的原始数据，例如，为了查询如下表5中的数据，则如下的表I 4中的数据则为需要抽取的待处理的原始数据；所述数据源可以由DB2、oracle、sqlserver等数据库构成；具体地，可以使
用数据提取、转换和加载(Extraction Transformation Loading,简称ETL)工具进行上述抽取操作，所述原始数据的内容举例如下表I
Id密码
2氺氺氺氺氺氺氺氺氺
3氺氺氺氺氺氺氺氺氺表2
Id标签(tags)
1狗(Dog)
~猫(Cat)
2猫(Cat)
3鼠(Mouse)
3猫(Cat)
3狗(Dog)表权利要求
1.一种数据处理方法，其特征在于，包括 数据中心系统接收到查询请求后从数据源抽取待处理的原始数据； 将所述原始数据中的机密数据导出到关系数据库中，并将所述原始数据中的海量数据导出到非关系数据库中； 根据所述查询请求对所述非关系数据库中的海量数据进行统计分析得到有价值数据； 将所述机密数据与所述有价值数据相关联生成查询结果数据进行输出。
2.根据权利要求I所述的方法，其特征在于，所述数据中心系统从数据源抽取待处理的原始数据包括所述数据中心系统利用ETL工具抽取所述待处理的原始数据。
3.根据权利要求2所述的方法，其特征在于，将所述原始数据中的机密数据导出到关系数据库中，并将所述原始数据中的海量数据导出到非关系数据库中包括 根据所述ETL工具的配置文件中的预设配置信息识别所述原始数据中的机密数据和海量数据； 将识别出的机密数据导出到所述关系数据库中，并将识别出的海量数据导出到所述非关系数据库中。
4.根据权利要求I所述的方法，其特征在于，所述对所述非关系数据库中的海量数据进行统计分析得到有价值数据包括通过多个云节点服务器采用映射化简技术对所述非关系数据库中的海量数据进行实时统计分析和/或离线统计分析得到所述有价值数据。
5.根据权利要求I所述的方法，其特征在于，将所述查询结果数据进行输出包括通过基于HTTP协议的REST接口将所述查询结果数据作为数据产品进行输出。
6.一种数据中心系统，其特征在于，包括 抽取模块，用于当接收到查询请求后从数据源抽取待处理的原始数据； 导出模块，用于将所述原始数据中的机密数据导出到关系数据库中，并将所述原始数据中的海量数据导出到非关系数据库中； 分析模块，用于根据所述查询请求对所述非关系数据库中的海量数据进行统计分析得到有价值数据； 输出模块，用于将所述机密数据与所述有价值数据相关联生成查询结果数据进行输出。
7.根据权利要求6所述的系统，其特征在于，所述导出模块包括 识别单元，用于根据ETL工具的配置文件中的预设配置信息识别所述原始数据中的机密数据和海量数据； 导出单元，用于将识别单元识别出的机密数据导出到所述关系数据库中，并将识别出的海量数据导出到所述非关系数据库中。
8.根据权利要求6所述的系统，其特征在于，还包括 所述关系数据库，用于接收由导出模块导出的机密数据； 所述非关系数据库，用于接收由导出模块导出的海量数据。
9.根据权利要求6所述的系统，其特征在于，还包括所述数据源，用于保存所述原始数据。
全文摘要
本发明提供一种数据中心系统及数据处理方法。其中方法包括数据中心系统接收到查询请求后从数据源抽取待处理的原始数据；将所述原始数据中的机密数据导出到关系数据库中，并将所述原始数据中的海量数据导出到非关系数据库中；根据所述查询请求对所述非关系数据库中的海量数据进行统计分析得到有价值数据；将所述机密数据与所述有价值数据相关联生成查询结果数据进行输出。本发明能够充分利用关系型数据库和非关系型数据库各自的优势实现数据处理。
文档编号G06F17/30GK102855277SQ201210257038
公开日2013年1月2日 申请日期2012年7月23日 优先权日2012年7月23日
发明者王伟华, 李建功, 李珩, 齐飞, 博格利 申请人:中国联合网络通信集团有限公司