一种异构数据库的虚拟访问管理方法
【专利摘要】本发明涉及云数据库【技术领域】，尤其是一种异构数据库的虚拟访问管理方法。本发明提出一种客户机-前置端-服务端的数据控制处理架构和面向流程及基于成分的功能组件，引入基于用户、角色、权限的异构数据库系统的成分组件访问控制管理，完成平台、资源、通道等流程实现异构数据源注册、虚拟数据库对象注册、虚拟资源访问，完成异构数据库的共享访问管理，屏蔽数据库访问细节及异构系统多源性，并提供统一的数据标准和访问接口，支持对数据源的透明访问，实现多个独立的业务系统之间数据资源的共享和统一管理。本发明解决了服务器端、操作系统、数据库管理系统、数据结构等异构性因素引起的数据共享访问问题；可以用于异构数据库的虚拟访问管理上。
【专利说明】一种异构数据库的虚拟访问管理方法
【技术领域】
[0001]本发明涉及云数据库【技术领域】，尤其是一种异构数据库的虚拟访问管理方法。
【背景技术】
[0002]企业及政府信息化脚步不断前进，信息化水平不断提升；但同时也引起了各业务系统间无法回避的信息孤岛与烟囱效应等瓶颈。异构数据库之间的连接问题，大幅降低了客户信息化系统整体效率及办事能力。
【发明内容】
[0003]本发明解决的技术问题在于提供一种异构数据库的虚拟访问管理方法，有效实现了对异构数据源的透明访问管理。
[0004]本发明解决上述技术问题的技术方案是:
[0005]所述的方法采用客户机-前置端-服务端的数据控制处理架构，具体步骤如下:
[0006]第一步，客户机开放数据访问权限；
[0007]第二步，前置机应用程序将客户机生产库同步到前置机数据服务器中，客户机新产生的数据将以增量方式完成同步；
[0008]第三步，服务端进行数据预处理，配置数据清洗规则完成前置机数据抽取；
[0009]第四步，对数据进行分布式存储、并行计算、分布式文件传输优化和Map/Reduce计算优化；
[0010]第五步，服务端对异构数据库系统的成分组件访问进行控制管理，通过三大成分组件控制异构数据资源访问权限；
[0011 ] 第六步，服务端完成平台、资源、通道等异构数据库流程管理及访问；实现异构数据源虚拟数据库注册管理，虚拟数据库表对象访问控制管理；
[0012]第七步，服务端基于虚拟数据库注册管理，绑定异构数据源物理连接信息，实现异构数据源的统一共享访问；。
[0013]所述的服务端数据预处理包括数据抽取、数据清洗、数据转换、数据加载等；具体流程如下:
[0014]第一步，抽取待处理数据到缓冲池，包括增量抽取和全量抽取两种抽取方式；增量抽取完成部分新增数据或新增字段数据抽取；全量抽取完成当前中转数据池中数据整体抽取，原数据以历史数据形式保留；
[0015]第二步，用户定义增量抽取方式抽取数据，抽取模式:I)、时间戳方式，要求源表中存在一个或多个字段(时间戳)，其值随着新纪录的增加而不断增加，执行数据抽取时，通过时间戳进行数据过滤，抽取结束后，程序记录时间戳信息；2)、触发器方式，要求用户在源数据库中有创建触发器和临时表的权限，触发器捕获新增的数据到临时表中，执行抽取时，程序自动从临时表中读取数据；3)，全表对比方式，每次从源表中读取所有记录，然后逐条与目标表进行对比，有则插入，没有则放弃；[0016]第三步，用户定义全量抽取方式抽取数据，每次从源表中抽取全部数据更新到目标表中，更新前将目标表数据清空。目标表中数据以本次更新为主；
[0017]第四步，读取数据清洗规则参数配置，进行数据清洗；清洗规则包括数据合法性检验、数据补缺、数据规范化；针对元数据及数据抽取后沉淀的数据进行数据清洗，清洗脏数据、重复数据，提高数据质量，减少后续应用的复杂度，满足业务支撑系统对数据的特定要求，提高决策分析的效率；
[0018]第五步，数据转换负责将不同数据源的格式转换统一的数据格式，在转换过程中，根据转换规则的定义可以完成数据从原始格式，到既定统一格式的转换；
[0019]第六步，定义空值数据转换，可捕获字段空值，进行加载或替换为其他含义数据，并可根据字段空值实现分流加载到不同目标库；
[0020]第七步，规范化数据格式转换，可实现字段格式约束定义，对于数据源中时间、数值、字符等数据，可自定义加载格式；
[0021]第八步，拆分数据，将复杂数据字段拆分；
[0022]第九步，加载经清洗、转换的数据到目标数据库中，可实现SQL或批量加载，将数据按照物理数据模型定义的表结构装入；加载方式支持自动及时间调度方式；加载策略有时间戳方式、日志方式、全表比对方式、全表删除插入方式。
[0023]服务端数据共享支撑访问包括数据平台、数据资源、数据通道、数据注册、数据共享访问等；具体如下:
[0024]第一步，用户创建数据平台，平台是异构数据库核心管理单位，平台支持创建、查询、修改、删除操作；
[0025]第二步，数据资源是异构数据库系统的管理单位之一，一种虚拟映射关系，映射类型可分成:数据库、文件系统、存储过程、uRL等；数据资源按照映射的属性又分成虚拟资源和物理资源；区分原则为，物理资源的映射范围包括关系数据库的物理对象如表、视图等；虚拟资源的映射范围除物理对象外还包括基于多个物理对象抽象子集的映射；
[0026]第三步，数据通道是资源实体对象的访问途径，将数据库系统或文件系统中的数据按照资源的映射要求加载到异构数据库系统中，提供统一访问功能；
[0027]第四步，数据注册，根据系统提供的可选资源类型注册访问资源类型；物理资源定义为数据库表对象，虚拟资源定义为单个或多个表对象的集合或子集，虚拟资源支持二级映射；
[0028]第五步，数据映射交换，根据物理模型、概念模型绑定数据结构，自定义数据结构类型、字段、别名；
[0029]第六步，数据访问抽取，加载数据到异构数据库系统中；
[0030]第七步，异构数据库系统虚拟数据库服务器资源节点的动态伸缩管理、数据安全性加密、数据副本备份、并行数据模型计算、数据模型分析、数据库管理实例分析；完成数据分析、挖掘、数据计算及分布式集群计算能力的数据库管理系统。
[0031]本发明有效解决了由于各信息化系统业务功能重叠或业务功能孤立的问题；提供了一种异构数据源统一访问、管理、存储、维护的方法；提出了一种客户机-前置端-服务端的数据控制处理架构和面向流程及基于成分的功能组件，引入基于用户、角色、权限的异构数据库系统的成分组件访问控制管理，基于平台、资源、通道等流程实现异构数据源注册、虚拟数据库对象注册、虚拟资源访问，完成异构数据库的共享访问管理，屏蔽数据库访问细节及异构系统多源性。
【专利附图】
【附图说明】
[0032]下面结合附图对本发明进一步说明:
[0033]图1是本发明的活动流程图；
[0034]图2是本发明系统功能图；
[0035]图3是本发明数据预处理活动流程图；
[0036]图4是本发明服务端数据共享支撑访问交互图。
【具体实施方式】
[0037]如图1所示，实施本发明客户机-前置端-服务端的数据控制处理架构和面向流程及基于成分的功能组件的详细流程为:
[0038]第一步，客户机授权访问；
[0039]第二步，前置机应用程序将客户机生产库同步到前置机数据服务器中，客户机新产生的数据将以增量方式完成同步；
[0040]第三步，服务端基于数据抽取、清洗、转换、加载、实时同步、异构数据源共享访问、数据审核、安全性验证控制、资源映射驱动的数据预处理流程，配置数据清洗规则完成前置机数据抽取；
[0041]第四步，数据分布式存储、并行计算、分布式文件传输优化和Map/Reduce计算优化；
[0042]第五步，服务端基于用户、角色、权限的异构数据库系统的成分组件访问控制管理，通过三大成分组件控制异构数据资源访问权限；
[0043]第六步，服务端完成平台、资源、通道等异构数据库流程管理及访问；实现异构数据源虚拟数据库注册管理，虚拟数据库表对象访问控制管理；
[0044]第七步，服务端基于虚拟数据库注册管理，绑定异构数据源物理连接信息，实现异构数据源的统一共享访问；
[0045]如图2所示，本发明的系统功能组成为:
[0046]异构数据源客户机授权数据访问权限，将生产数据定期同步到前置端中间数据服务集群仓库；异构数据库系统使用数据预处理流程将前置机数据持久化存储到数据集群服务器节点，并进行非业务关联的数据清洗规则配置及数据清洗、数据审核、安全性验证控制等操作，形成稳定、高效的数据资源，数据抽取机制采用基于时间及事件的智能调度算法，同步方式支持增量及全量比对抽取；数据管理层创建数据库实例、权限、运行状态及故障分析报告；数据访问层完成业务相关的数据访问管理功能并提供透明的统一数据访问接口供不同数据库加载使用。
[0047]如图3所示，服务端数据预处理流程包括:
[0048]第一步，抽取待处理数据到缓冲池。系统提供两种抽取方式:增量抽取和全量抽取，增量抽取完成部分新增数据或新增字段数据抽取。全量抽取完成当前中转数据池中数据整体抽取，原数据以历史数据形式保留；[0049]第二步，用户定义增量抽取方式抽取数据，增量是以一个时间段为计量单位，记录该段时间内较以前增加的数据记录。增量抽取是将该段时间内增长的记录查找出来。增量抽取一般有三种抽取模式:1)时间戳方式2)触发器方式3)全表对比方式；
[0050]第三步，用户定义全量抽取方式抽取数据，每次从源表中抽取全部数据更新到目标表中，更新前将目标表数据清空。目标表中数据以本次更新为主；
[0051]第四步，读取数据清洗规则参数配置，进行数据清洗；清洗规则暂时支持三种:数据合法性检验、数据补缺、数据规范化；针对元数据及数据抽取后沉淀的数据进行数据清洗，清洗脏数据、重复数据，提高数据质量，减少后续应用的复杂度，满足业务支撑系统对数据的特定要求，提高决策分析的效率；
[0052]第五步，数据转换是数据预处理过程中重要的一环，它负责将不同数据源的格式转换统一的数据格式，在转换过程中，根据转换规则的定义可以完成数据从原始格式，到既定统一格式的转换；
[0053]第六步，定义空值数据转换，可捕获字段空值，进行加载或替换为其他含义数据，并可根据字段空值实现分流加载到不同目标库；
[0054]第七步，规范化数据格式转换，可实现字段格式约束定义，对于数据源中时间、数值、字符等数据，可自定义加载格式；
[0055]第八步，拆分数据，将复杂数据字段拆分；
[0056]第九步，加载经清洗、转换的数据到目标数据库中，可实现SQL或批量加载，将数据按照物理数据模型定义的表结构装入；加载方式支持自动及时间调度方式。4种加载策略:时间戳方式、日志方式、全表比对方式、全表删除插入方式。
[0057]如图4所示，服务端统一数据共享支撑访问流程如下:
[0058]第一步，用户创建数据平台，平台是异构数据库核心管理单位，平台支持创建、查询、修改、删除操作；
[0059]第二步，资源是异构数据库系统的管理单位之一。资源是一种虚拟映射关系，映射类型可分成:数据库、文件系统、存储过程、URL等。资源按照映射的属性又分成虚拟资源和物理资源。区分原则为，物理资源的映射范围包括关系数据库的物理对象如表、视图等；虚拟资源的映射范围除物理对象外还包括基于多个物理对象抽象子集的映射；
[0060]第三步，通道是资源实体对象的访问途径，将数据库系统或文件系统中的数据按照资源的映射要求加载到异构数据库系统中，提供统一访问功能；
[0061]第四步，数据资源注册，根据系统提供的可选资源类型:虚拟资源和物理资源。注册访问资源类型，物理资源定义为数据库表对象，虚拟资源定义为单个或多个表对象的集合或子集，虚拟资源支持二级映射；
[0062]第五步，数据映射交换，根据物理模型、概念模型绑定数据结构，自定义数据结构类型、字段、别名；
[0063]第六步，数据访问抽取，加载数据到异构数据库系统中；
[0064]第七步，异构数据库系统虚拟数据库服务器资源节点的动态伸缩管理、数据安全性加密、数据副本备份、并行数据模型计算、数据模型分析、数据库管理实例分析；完成数据分析、挖掘、数据计算及分布式集群计算能力的数据库管理系统。
【权利要求】
1.一种异构数据库的虚拟访问管理方法，其特征在于:所述的方法采用客户机-前置端-服务端的数据控制处理架构，具体步骤如下: 第一步，客户机开放数据访问权限； 第二步，前置机应用程序将客户机生产库同步到前置机数据服务器中，客户机新产生的数据将以增量方式完成同步； 第三步，服务端进行数据预处理，配置数据清洗规则完成前置机数据抽取； 第四步，对数据进行分布式存储、并行计算、分布式文件传输优化和Map/Reduce计算优化； 第五步，服务端对异构数据库系统的成分组件访问进行控制管理，通过三大成分组件控制异构数据资源访问权限； 第六步，服务端完成平台、资源、通道等异构数据库流程管理及访问；实现异构数据源虚拟数据库注册管理，虚拟数据库表对象访问控制管理； 第七步，服务端基于虚拟数据库注册管理，绑定异构数据源物理连接信息，实现异构数据源的统一共享访问。
2.根据权利要求工所述的虚拟访问管理方法，其特征在于:所述的服务端数据预处理包括数据抽取、数据清洗、数据转换、数据加载等；具体流程如下: 第一步，抽取待处理数据到缓冲池，包括增量抽取和全量抽取两种抽取方式；增量抽取完成部分新增数据或新增字段数据抽取；全量抽取完成当前中转数据池中数据整体抽取，原数据以历史数据形式保留； 第二步，用户定义增量抽取方式抽取数据，抽取模式:1)、时间戳方式，要求源表中存在一个或多个字段(时间戳)，其值随着新纪录的增加而不断增加，执行数据抽取时，通过时间戳进行数据过滤，抽取结束后，程序记录时间戳信息；2)、触发器方式，要求用户在源数据库中有创建触发器和临时表的权限，触发器捕获新增的数据到临时表中，执行抽取时，程序自动从临时表中读取数据；3)，全表对比方式，每次从源表中读取所有记录，然后逐条与目标表进行对比，有则插入，没有则放弃； 第三步，用户定义全量抽取方式抽取数据，每次从源表中抽取全部数据更新到目标表中，更新前将目标表数据清空。目标表中数据以本次更新为主； 第四步，读取数据清洗规则参数配置，进行数据清洗；清洗规则包括数据合法性检验、数据补缺、数据规范化；针对元数据及数据抽取后沉淀的数据进行数据清洗，清洗脏数据、重复数据，提高数据质量，减少后续应用的复杂度，满足业务支撑系统对数据的特定要求，提高决策分析的效率； 第五步，数据转换负责将不同数据源的格式转换统一的数据格式，在转换过程中，根据转换规则的定义可以完成数据从原始格式，到既定统一格式的转换； 第六步，定义空值数据转换，可捕获字段空值，进行加载或替换为其他含义数据，并可根据字段空值实现分流加载到不同目标库； 第七步，规范化数据格式转换，可实现字段格式约束定义，对于数据源中时间、数值、字符等数据，可自定义加载格式； 第八步，拆分数据，将复杂数据字段拆分； 第九步，加载经清洗、转换的数据到目标数据库中，可实现SQL或批量加载，将数据按照物理数据模型定义的表结构装入；加载方式支持自动及时间调度方式；加载策略有时间戳方式、日志方式、全表比对方式、全表删除插入方式。
3.根据权利要求1或2所述的虚拟访问管理方法，其特征在于:服务端数据共享支撑访问包括数据平台、数据资源、数据通道、数据注册、数据共享访问等；具体如下: 第一步，用户创建数据平台，平台是异构数据库核心管理单位，平台支持创建、查询、修改、删除操作； 第二步，数据资源是异构数据库系统的管理单位之一，一种虚拟映射关系，映射类型可分成:数据库、文件系统、存储过程、URL等；数据资源按照映射的属性又分成虚拟资源和物理资源；区分原则为，物理资源的映射范围包括关系数据库的物理对象如表、视图等；虚拟资源的映射范围除物理对象外还包括基于多个物理对象抽象子集的映射； 第三步，数据通道是资源实体对象的访问途径，将数据库系统或文件系统中的数据按照资源的映射要求加载到异构数据库系统中，提供统一访问功能； 第四步，数据注册，根据系统提供的可选资源类型注册访问资源类型；物理资源定义为数据库表对象，虚拟资源定义为单个或多个表对象的集合或子集，虚拟资源支持二级映射； 第五步，数据映射交换，根据物理模型、概念模型绑定数据结构，自定义数据结构类型、字段、别名； 第六步，数据访问抽取，加载数据到异构数据库系统中； 第七步，异构数据库系统虚拟数 据库服务器资源节点的动态伸缩管理、数据安全性加密、数据副本备份、并行数据模型计算、数据模型分析、数据库管埋实例分析；完成数据分析、挖掘、数据计算及分布式集群计算能力的数据库管理系统。
【文档编号】G06F17/30GK103593422SQ201310535363
【公开日】2014年2月19日 申请日期:2013年11月1日 优先权日:2013年11月1日
【发明者】安宏伟, 艾建文, 季统凯 申请人:国云科技股份有限公司