历史数据归档集成系统及方法
【技术领域】
[0001]本发明涉及一种数据归档系统及方法，具体涉及一种历史数据归档集成系统以及方法。
【背景技术】
[0002]现有技术中，数据库环境都基于单个项目独立建设的，其特点为“烟囱式”，每套数据库服务器都有独立的存储和管理工具，相互不能共享资源，形成了一大堆孤立的数据库服务器。会导致以下问题:数据库服务器和存储设备规模大而分散，资源利用率低下；数据库环境的维护难度大，难以适应业务变化的需求；服务器数量和管理的总体成本偏高。
[0003]传统的独立部署模式导致服务器硬件资源难以合理分配，大部分系统CPU负载在20%以下，某些业务高峰期空闲主机资源无法做到动态分配；资源利用率低的同时也导致增加更多的冗余设备。
[0004]随着企业信息化的不断建设，机房资源已经成为瓶颈，提升优化迫在眉睫；机房空间前期规划不足，机房扩建成本昂贵，技术难点多。
[0005]随着信息系统运行年限越久，业务量和数据量不断增长，在信息化建设过程中，未考虑数据的生命周期，数据库臃肿存在风险；数据恢复难度大，周期长，需将历史数据下线分呙。
[0006]因主机、数据库宕机等原因造成的数据库故障无法自动切换，部分应用业务中断无法被及时发现；因主机层面检修、内存扩容等需数据库停机操作无法在线操作，周期长，需要技术人员夜间操作，加大工作量及操作风险，且业务系统重大版本升级无环境测试。
[0007]因业务系统关联，导致多个业务系统从生产数据库重复抽数，接口冗余，无故增加数据库运行风险，及维护难度；对于数据流转无有效监控工具。
【发明内容】
[0008]为了解决上述问题，本发明提供一种历史数据归档集成系统及方法，解决因运行年限增加而导致数据库臃肿的业务系统来开展历史数据归档处理工作，从而遏制系统数据指数级增长的趋势，降低系统数据库运行风险。
[0009]本发明提供了如下的技术方案:
[0010]一种历史数据归档集成系统，包括生产库模块、在线历史库模块、离线归档库模块、高端分布式存储模块和高端分布式存储模块；
[0011]所述生产库模块作为写库，所述在线历史库模块作为读库；
[0012]所述生产库模块的数据实时同步到所述在线历史库模块；
[0013]所述在线历史库模块根据数据的活跃情况将部分数据存储到所述离线归档库模块；
[0014]所述高端分布式存储模块为所述在线历史数据库提供数据存储；
[0015]所述低端分布式存储模块为所述离线归档库模块提供数据存储。
[0016]优选的，所述高端分布式存储模块为一高端分布式存储一体机。
[0017]优选的，所述低端分布式存储模块为一 PC服务器。
[0018]—种历史数据归档集成方法，
[0019]对数据进行分类；
[0020]设置生产库与在线历史库实时同步，设置生产库为读库，设置在线历史库为写库，实现读写分离；
[0021]设置离线归档数据库，存储不活跃数据；
[0022]分布存储所述离线归档数据库与所述在线历史库数据。
[0023]优选的，所述在线历史库采用高端分布式存储一体机存储数据。
[0024]优选的，所述离线数据归档库采用PC服务器存储数据。
[0025]进一步的，为所述在线历史库设置数据库资源池，所述数据库资源池采用集群的方式管理。
[0026]本发明的有益效果是:
[0027]1.生产库与在线历史库实时同步，在线历史库可用于读写分离，分担生产库负担，
一库多用；
[0028]生产库与在线历史库采用GoldenGate/Streams技术实现生产库与在线历史库的实时同步，生产库的数据变化会实时的同步到在线历史库，在线历史库可以作为读库，生产库作为写库，实现读写分离，最大限度的减少生产库的负担。在线历史库的数据是生产库数据的一个超集，在对近年的历史数据进行查询时，可以直接到在线历史库进行查询，方便历史数据的追溯。目前主流的归档解决方案一般把归档数据作为文件形式存放，当需要查询历史数据时，需要对归档数据进行恢复，代价较高。也有些归档解决方案支持直接对归档的文件进行查询，例如IBM Optim，但查询效率非常低，而且需要对查询功能部分进行二次开发，成本较高。本发明采用在线历史库和离线归档库实现对数据的分级存放，既能保证历史数据的可追溯性，同时也实现了历史数据方便、高效的查询。
[0029]2.分布式存储降低硬件成本；
[0030]历史数据的重要特点之一是数据量庞大，为了存储这些海量级的历史数据，需要海量级的存储解决方案，然而传统的存储非常昂贵，且扩展性较差。为了解决这一问题，本发明采用分布式存储作为存储解决方案，分布式存储的特点是容量巨大、扩展性较高、价格低廉。在线历史库和离线归档库对于存储性能的要求完全不一样，在线历史库需要承担历史数据查询或者读写分离的工作，对于存储性能的要求较高，因此本发明采用公司自主研发的高端分布式存储一体机，保证在线历史库的高效稳定运行。而离线归档库对于存储的性能要求较低，因此采用自主研发的分布式存储技术，用普通PC服务器搭建分布式存储，大大降低了硬件成本。
[0031]3.在线历史库采用数据库资源池技术，降低在线历史库的硬件成本，使在线历史库高度集成，方便在线历史库的管理；
[0032]在线历史库能够很好的解决历史数据查询问题，但是需要为每一个生产库搭建一套在线历史库，对硬件的需求量较大，因此我们本发明采用数据库资源池技术，采用池化技术充分利用硬件资源，大大降低对硬件的需要。同时数据库采用集群的方式管理，采用集群软件对数据库进行管理，降低了管理的难度，提高整个平台的可维护性。
【附图说明】
[0033]附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中:
[0034]图1是本发明一个较佳实施例的流程示意图；
[0035]图2是本发明一个较佳实施例数据分类示意图；
[0036]图3是本发明一个较佳实施例外部结构示意图。
【具体实施方式】
[0037]实施例1，如图1-3所示，本发明公开一种历史数据归档集成系统及方法，在本实施例中，包括如下步骤:
[0038]1、历