一种数据库历史数据自动归档系统的制作方法

本发明涉及计算机技术领域，尤其涉及一种autoarchive数据库历史数据自动归档系统。

背景技术：

现有的percona-toolkit工具无法实现自动化归档数据，也无法根据业务定制归档规则。通过autoarchive的封装，实现其自动化，并可以在autoarchive中自定义业务规则。

技术实现要素：

本发明所要解决percona-toolkit工具无法实现自动化归档数据，也无法根据业务定制归档规则的问题，提供一种autoarchive数据库历史数据自动归档系统。

为解决上述技术问题，本发明采用的技术方案是：

本发明提供一种数据库历史数据自动归档系统，包括七个模块；

历史数据备份模块：对数据进行备份；

历史数据归档模块：对归档后的数据进行备份；

表碎片整理模块：对数据库表的物理空间进行释放；

数据校验模块：在数据同步完成后，需要校验数据同步后结果集进行校验；

数据库查询接口模块：提供常用数据库查询功能；

数据库巡检模块：巡检数据库服务器硬盘信息；

自动故障处理模块：在数据库故障时给出可执行性方案。

进一步地，所述数据库历史数据自动归档系统历史数据备份模块是通过调用mydumper工具组件进行数据备份。

进一步地，所述数据库历史数据自动归档系统历史数据归档模块由表结构同步、表数据归档、表数据校验、原表数据清理、邮件通知功能点组成。

进一步地，所述数据库历史数据自动归档系统表碎片整理模块是通过调用ghost工具对数据库表的物理空间进行释放；数据归档完毕后，及时释放物理空间，提升磁盘空间和提高数据库性能。

进一步地，所述数据库历史数据自动归档系统数据校验模块可以对比任意两张表数据是否一致；在数据同步完成后，需要校验数据同步后结果的一致性。

进一步地，所述数据库历史数据自动归档系统数据库查询接口包括进程、数据库状态、数据库用户、数据库空间、主从同步等信息。

进一步地，所述数据库历史数据自动归档系统数据库巡检模块主要是巡检数据库服务器硬盘信息，统计剩余空间和每日数据增量，评估磁盘可使用时长，并以报表的方式进行展示。

进一步地，所述数据库历史数据自动归档系统自动故障处理模块是通过对故障信息、binlog日志、error日志、进程收集汇总，然后与自定义解决方案进行匹配，给出解决方案。

本发明还公开了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1数据库历史数据自动归档系统所。

本发明还公开了一种装置/终端设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序所述处理器执行所述计算机程序时实现如权利要求1所述数据库历史数据自动归档系统所。

本发明通过autoarchive的封装，实现其自动化，并可以在autoarchive中自定义业务规则。该系统方案具特点如下：

业务数据库服务器始终保持轻量化，历史数据压缩并归档到历史数据库。减少服务器和磁盘使用。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

图1是本技术系统流程图。

具体实施方式

实施例1

本技术提供一种autoarchive数据库历史数据自动归档系统，其系统流程如图1所示。

本技术提供一种autoarchive数据库历史数据自动归档系统，包括历史数据备份模块、历史数据归档模块、表碎片整理模块、数据校验模块、数据库查询接口模块、数据库巡检模块、自动故障处理模块。

本发明提供一种autoarchive数据库历史数据自动归档系统，包括七个模块；

历史数据备份模块：对数据进行备份；

历史数据归档模块：对归档后的数据进行备份；

表碎片整理模块：对数据库表的物理空间进行释放；

数据校验模块：在数据同步完成后，需要校验数据同步后结果集进行校验；

数据库查询接口模块：提供常用数据库查询功能；

数据库巡检模块：巡检数据库服务器硬盘信息；

自动故障处理模块：在数据库故障时给出可执行性方案。

进一步地，所述数据库历史数据自动归档系统历史数据备份模块是通过调用mydumper工具组件进行数据备份。

进一步地，所述数据库历史数据自动归档系统历史数据归档模块由表结构同步、表数据归档、表数据校验、原表数据清理、邮件通知功能点组成。如图1所示，通过获取表结构列表记录归档信息，对表结构进行同步，同步后对数据进行归档。

进一步地，所述数据库历史数据自动归档系统表碎片整理模块是通过调用ghost工具对数据库表的物理空间进行释放；数据归档完毕后，及时释放物理空间，提升磁盘空间和提高数据库性能。

进一步地，所述数据库历史数据自动归档系统数据校验模块可以对比任意两张表数据是否一致；在数据同步完成后，需要校验数据同步后结果的一致性。

进一步地，所述数据库历史数据自动归档系统数据库查询接口包括进程、数据库状态、数据库用户、数据库空间、主从同步等信息。

进一步地，所述数据库历史数据自动归档系统数据库巡检模块主要是巡检数据库服务器硬盘信息，统计剩余空间和每日数据增量，评估磁盘可使用时长，并以报表的方式进行展示。

进一步地，所述数据库历史数据自动归档系统自动故障处理模块是通过对故障信息、binlog日志、error日志、进程收集汇总，然后与自定义解决方案进行匹配，给出解决方案。

本发明还公开了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1数据库历史数据自动归档系统所。

本发明还公开了一种装置/终端设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序所述处理器执行所述计算机程序时实现如权利要求1所述数据库历史数据自动归档系统所。

以上对本发明的具体实施例进行了详细描述，但其只是作为范例，本发明并不限制于以上描述的具体实施例。对于本领域技术人员而言，任何对本发明进行的等同修改和替代也都在本发明的范畴之中。因此，在不脱离本发明的精神和范围下所作的均等变换和修改，都应涵盖在本发明的范围内。

技术特征：

1.一种数据库历史数据自动归档系统，其特征在于，包括

历史数据备份模块：对数据进行备份；

历史数据归档模块：对归档后的数据进行备份；

表碎片整理模块：对数据库表的物理空间进行释放；

数据校验模块：在数据同步完成后，需要校验数据同步后结果集进行校验；

数据库查询接口模块：提供常用数据库查询功能；

数据库巡检模块：巡检数据库服务器硬盘信息；

自动故障处理模块：在数据库故障时给出可执行性方案。

2.根据权利要求1所述的数据库历史数据自动归档系统，其特征在于所述的历史数据备份模块是通过调用mydumper工具组件进行数据备份。

3.根据权利要求1所述的数据库历史数据自动归档系统，其特征在于所述的历史数据归档模块由表结构同步、表数据归档、表数据校验、原表数据清理、邮件通知功能点组成。

4.根据权利要求1所述的数据库历史数据自动归档系统，其特征在于所述的表碎片整理模块是通过调用ghost工具对数据库表的物理空间进行释放；数据归档完毕后，及时释放物理空间，提升磁盘空间和提高数据库性能。

5.根据权利要求1所述的数据库历史数据自动归档系统，其特征在于所述的数据校验模块可以对比任意两张表数据是否一致；在数据同步完成后，需要校验数据同步后结果的一致性。

6.根据权利要求1所述的数据库历史数据自动归档系统，其特征在于所述的数据库查询接口模块包括进程、数据库状态、数据库用户、数据库空间、主从同步等信息。

7.根据权利要求1所述的数据库历史数据自动归档系统，其特征在于所述的数据库巡检模块主要是巡检数据库服务器硬盘信息，统计剩余空间和每日数据增量，评估磁盘可使用时长，并以报表的方式进行展示。

8.根据权利要求1所述的数据库历史数据自动归档系统，其特征在于所述的自动故障处理模块是通过对故障信息、binlog日志、error日志、进程收集汇总，然后与自定义解决方案进行匹配，给出解决方案。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1所述数据库历史数据自动归档系统。

10.一种装置/终端设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序所述处理器执行所述计算机程序时实现如权利要求1所述所述数据库历史数据自动归档系统。

技术总结
本发明提供了一种数据库历史数据自动归档系统，其特征在于，包括历史数据备份模块、历史数据归档模块、表碎片整理模块、数据校验模块、数据库查询接口模块、数据库巡检模块、自动故障处理模块。AutoArchive数据库历史数据自动归档系统通过Auto Archive的封装，实现其自动化归档数据。

技术研发人员：王文;易翔;罗淋;柳松
受保护的技术使用者：宝付网络科技(上海)有限公司
技术研发日：2019.09.11
技术公布日：2019.12.13