一种兼容关系数据库的数据管理系统的制作方法
【专利摘要】本发明公开了一种兼容关系数据库的数据管理系统，包括：相互兼容的关系数据库和Nosql数据库，维持关系数据库和Nosql数据库中数据库表的统一操作；该数据管理系统包括数据导入组件，用于将数据文件按配置文件要求导入到数据库管理系统中；查询优化组件，用于从查询效率的角度，选择存在性能瓶颈且可通过类型切换提升性能的关系型数据库表进行数据库类型切换；数据库更新管理组件，用于对数据库管理系统中的表进行内容更新，更新过程不间断查询服务。从而实现了关系数据库和Nosql数据库的整合管理，使得外层组件的操作人员可以方便的实现数据库类型的更新、切换、删除等操作，从而大大方便了用户。
【专利说明】一种兼容关系数据库的数据管理系统
【技术领域】
[0001]本发明涉及计算机【技术领域】，尤其涉及一种兼容关系数据库的数据管理系统。
【背景技术】
[0002]随着信息技术的发展，参与处理的数据规模迅速膨胀，不断挑战传统数据管理软件的上限，为有效应对数据规模的不断提升，本发明设计了一种兼容关系数据库的大数据管理系统架构，可以充分兼容关系型数据库的已有成果；在处理大规模数据时，可以提供Nosql技术的可扩展性；数据规模较小时，能够提供关系型数据库的良好可操作性。
[0003]当前应对数据规模快速增长的解决方案主要有如下几个:方案一沿用传统的关系型数据库管理方案，通过扩容数据库管理服务器，应对数据规模提升。方案二沿用传统的关系型数据库管理方案，通过改进软件技术引入并行数据库，应对数据规模提升。方案三沿用传统的关系型数据库管理方案，通过对数据进行预处理(如数据抽样等)，减小数据规模，应对数据规模提升。方案四采用Nosql技术对数据进行管理，应对数据规模提升。Nosql技术是在应对当前信息规模快速膨胀，难以用常规的数据库管理技术进行有效处理，在分布式集群技术、云计算技术日趋成熟与完善的背景下，兴起的一个研究热点，是对海量、异构数据处理技术体系的一种统称。Nosql技术可以有效弥补传统关系数据库在数据规模扩展方面遇到的瓶颈。
[0004]但是，如何实现系统即能充分兼容关系数据库的大数据管理系统架构，又能在数据规模较小时保持关系型数据库良好的用户可操作性成为现在亟待需要解决的问题。
【发明内容】
[0005]鉴于上述的分析，本发明旨在提供一种兼容关系数据库的数据管理系统，用以解决现有技术中不能同时兼容关系数据库的大数据管理系统架构并在数据规模较小时保持关系型数据库良好的用户可操作性的问题。
[0006]本发明主要是通过以下技术方案实现的:
[0007]—种兼容关系数据库的数据管理系统，该数据管理系统包括:相互兼容的关系数据库和Nosql数据库，维持关系数据库和Nosql数据库中数据库表的统一操作，支持数据库表的导入、更新和查询操作；
[0008]该数据管理系统包括使关系数据库和Nosql数据库兼容的数据导入组件、查询优化组件和数据库更新管理组件；
[0009]所述数据导入组件，用于将数据文件按配置文件要求导入到所述数据库管理系统中；
[0010]所述查询优化组件，用于从查询效率的角度，选择存在性能瓶颈且可通过类型切换提升性能的关系型数据库表进行数据库类型切换；
[0011]所述数据库更新管理组件，用于对数据库管理系统中的表进行内容更新，更新过程不间断查询服务。[0012]优选地，该数据管理系统还包括:
[0013]数据库管理的基本功能模块，用于提供数据操作的基本功能，所述数据操作的基本功能包括:数据库创建、数据库状态查询、表创建、表状态查询、表导入、表插入、表查询、表删除和记录删除中的一种或多种；
[0014]数据库集成系统表状态维护模块，用于为数据库集成系统中的表提供状态维护以及状态转换，保证数据库的可扩展性，维持数据库切换以及查询的封装操作的表可用性和一致性；
[0015]数据库集成系统表状态操作模块，用于查询指定表的状态并完成表的状态切换；
[0016]数据库类型切换功能模块，用于对表的数据库类型进行切换；
[0017]数据库集成系统表查询功能模块，用于通过使用数据库管理系统中的基本服务和表状态，选择能够提供查询服务表响应上层的查询请求。
[0018]优选地，数据库类型切换功能模块具体用于，根据数据库表状态切换自动机，对处于“服务中”状态的表进行数据库类型间的切换。
[0019]优选地，表的状态包括:服务中、切换中、待删除、导入中、更新中、备份中以及服务备份中的一种或多种。
[0020]优选地，所述数据库集成系统表状态操作模块具体用于，遍历数据库中的表名，获取以指定表名开始的表，返回其具体状态，并根据表名调用表状态查询，获取表状态，根据状态机中的转换关系触发其转变状态，并返回转变成功与否的结果。
[0021]优选地，所述数据导入组件具体用于，通过配置文件对输入文件进行记录级筛选和属性级筛选，由输入文件的字节规模以及记录数规模选择导入目标数据库的类型，并通过配置文件指定源数据导入目标数据库的类型。
[0022]优选地，所述数据库更新管理组件具体用于，通过手动读取更新配置文件，调用数据导入中间件中的数据导入模型进行数据更新，更新完成后返回数据导入模型的执行结果，或者是读取更新配置文件，为配置文件中的每个表建立一个线程，按配置文件内容调用数据导入中间件中的数据导入模型进行数据更新，线程按配置文件制定的周期进行休眠，休眠完成后再按配置文件内容调用数据导入中间件中的数据导入模型进行数据更新。
[0023]本发明提供的一种兼容关系数据库的数据管理系统，实现关系数据库和Nosql数据库的整合管理，在两种类型的数据库中实现了对相同表名的写互斥、读并发，使得外层组件的操作人员可以方便的实现数据库类型的更新、切换、删除等操作，从而大大方便了用户。
[0024]本发明的其他特征和优点将在随后的说明书中阐述，并且部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
【专利附图】
【附图说明】
[0025]图1为本发明实施例的兼容关系数据库的数据管理系统的架构图；
[0026]图2为本发明实施例的表状态生命周期图；
[0027]图3为本发明实施例的数据导入流程图；
[0028]图4为本发明实施例的查询优化流程图；[0029]图5为本发明实施例的查询效率对比图；
[0030]图6为本发明实施例的数据导入对比图。
【具体实施方式】
[0031]下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理。为了清楚和简化目的，当其可能使本发明的主题模糊不清时，将省略本文所描述的器件中已知功能和结构的详细具体说明。
[0032]本发明设计了一种兼容关系数据库的数据管理系统。参见图1，通过为关系数据库和Nosql数据库中的表建立状态集以及状态转换系统，实现两种数据库资源的统一管理，提供数据库类型的智能化选择，可以充分兼容关系数据库的现有成果，同时在数据规模方面提供良好的可扩展性。其架构如图一所示，整个数据库管理系统以文件为接口，从分布式文件系统中导入数据，调用分布式数据处理组件进行数据基本处理，对外提供数据操作接口。整个大数据管理系统由数据集成系统、数据导入组件、内容更新组件、查询优化组件构成，数据库集成系统是核心，集成了关系数据库和Nosql数据，并提供表状态维护系统，维持两种类型下数据库表的统一操作。数据导入组件负责向数据集成系统中导入数据；查询优化组件负责根据查询效率对数据库系统中的表类型进行优化；内容更新组件负责周期性对数据库集成系统的内容进行更新。具体组件介绍如下:
[0033]数据库集成系统:
[0034]负责集成关系数据库和Nosql数据库，并提供表状态维护系统，维持两种类型下数据库表的统一操作，主要包含四个模块:提供数据库管理的基本功能模块，数据库服务状态维护功能模块、数据库类型切换功能模块、数据库指定字段查询功能模块。下面分别进行介绍。
[0035]1、数据库管理的基本功能模块:提供数据操作的基本功能，其功能详述，实现方式以及接口见表一
[0036]表一数据库管理的基本功能模块
【权利要求】
1.一种兼容关系数据库的数据管理系统，其特征在于，包括:相互兼容的关系数据库和Nosql数据库，维持关系数据库和Nosql数据库中数据库表的统一操作，支持数据库表的导入、更新和查询操作； 该数据管理系统包括使关系数据库和Nosql数据库兼容的数据导入组件、查询优化组件和数据库更新管理组件； 所述数据导入组件，用于将数据文件按配置文件要求导入到所述数据库管理系统中；所述查询优化组件，用于从查询效率的角度，选择存在性能瓶颈且可通过类型切换提升性能的关系型数据库表进行数据库类型切换； 所述数据库更新管理组件，用于对数据库管理系统中的表进行内容更新，更新过程不间断查询服务。
2.根据权利要求1所述的数据管理系统，其特征在于，该数据管理系统还包括: 数据库管理的基本功能模块，用于提供数据操作的基本功能，所述数据操作的基本功能包括:数据库创建、数据库状态查询、表创建、表状态查询、表导入、表插入、表查询、表删除和记录删除中的一种或多种； 数据库集成系统表状态维护模块，用于为数据库集成系统中的表提供状态维护以及状态转换，保证数据库的可扩展性，维持数据库切换以及查询的封装操作的表可用性和一致性； 数据库集成系统表状态操作模块，用于查询指定表的状态并完成表的状态切换； 数据库类型切换功能模块，用于对表的数据库类型进行切换； 数据库集成系统表查询功能模块，用于通过使用数据库管理系统中的基本服务和表状态，选择能够提供查询服务表响应上层`的查询请求。
3.根据权利要求2所述的数据管理系统，其特征在于， 数据库类型切换功能模块具体用于，根据数据库表状态切换自动机，对处于“服务中”状态的表进行数据库类型间的切换。
4.根据权利要求2所述的数据管理系统，其特征在于，表的状态包括:服务中、切换中、待删除、导入中、更新中、备份中以及服务备份中的一种或多种。
5.根据权利要求2所述的数据管理系统，其特征在于， 所述数据库集成系统表状态操作模块具体用于，遍历数据库中的表名，获取以指定表名开始的表，返回其具体状态，并根据表名调用表状态查询，获取表状态，根据状态机中的转换关系触发其转变状态，并返回转变成功与否的结果。
6.根据权利要求1所述的数据管理系统，其特征在于， 所述数据导入组件具体用于，通过配置文件对输入文件进行记录级筛选和属性级筛选，由输入文件的字节规模以及记录数规模选择导入目标数据库的类型，并通过配置文件指定源数据导入目标数据库的类型。
7.根据权利要求1-6中任意一项,其特征在于， 所述数据库更新管理组件具体用于，通过手动读取更新配置文件，调用数据导入中间件中的数据导入模型进行数据更新，更新完成后返回数据导入模型的执行结果，或者是读取更新配置文件，为配置文件中的每个表建立一个线程，按配置文件内容调用数据导入中间件中的数据导入模型进行数据更新，线程按配置文件制定的周期进行休眠，休眠完成后再按配置文件内容调用数据`导入中间件中的数据导入模型进行数据更新。
【文档编号】G06F17/30GK103631868SQ201310537809
【公开日】2014年3月12日 申请日期:2013年11月4日 优先权日:2013年11月4日
【发明者】李常宝, 高石玉, 周凤, 贾贺, 刘忠麟, 艾中良, 顾平莉 申请人:中国电子科技集团公司第十五研究所