一种处理数据库大批量数据请求的方法和系统与流程

本发明涉及信息技术领域，特别涉及一种处理数据库大批量数据请求的方法和系统。

背景技术：

关系数据库是建立在关系数据库模型基础上的数据库。关系数据库产品以其简单清晰的概念、易懂易学的数据库语言，得到广泛采用。

关系数据库借助于集合代数等概念和方法来处理数据库中的数据，同时也是一个被组织成一组拥有正式描述性的表格，该形式的表格作用的实质是装载着数据项的特殊收集体，这些表格中的数据能以许多不同的方式被存取或重新召集而不需要重新组织数据库表格。关系数据库的定义造成元数据的一张表格或造成表格、列、范围和约束的正式描述。每个表格(有时被称为一个关系)包含用列表示的一个或更多的数据种类。每行包含一个唯一的数据实体，这些数据是被列定义的种类。当创造一个关系数据库的时候，你能定义数据列的可能值的范围和可能应用于那个数据值的进一步约束。

关系型数据库的主要特征主要包括：

1)、数据集中控制。在文件管理方法中，文件是分散的，每个用户或每种处理都有各自的文件，这些文件之间一般是没有联系的，因此，不能按照统一的方法来控制、维护和管理。而关系数据库则很好地克服了这一缺点，可以集中控制、维护和管理有关数据。

2)、数据独立。关系数据库中的数据独立于应用程序，包括数据的物理独立性和逻辑独立性，给数据库的使用、调整、优化和进一步扩充提供了方便，提高了关系数据库应用系统的稳定性。

3)、数据共享。关系数据库中的数据可以供多个用户使用，每个用户只与库中的一部分数据发生联系；用户数据可以重叠，用户可以同时存取数据而互不影响，大大提高了数据库的使用效率。

4)、减少数据冗余。关系数据库中的数据不是面向应用，而是面向系统。数据统一定义、组织和存储，集中管理，避免了不必要的数据冗余，也提高了数据的一致性。

5)、数据结构化。关系数据库按一定的结构形式构成，数据在记录内部和记录类型之间相互关联，用户可通过不同的路径存取数据。

6)、统一的数据保护功能。在多用户共享数据资源的情况下，对用户使用数据有严格的检查，对数据库规定密码或存取权限，拒绝非法用户进入数据库，以确保数据的安全性、一致性和并发控制。

关系数据库在运营过程中，会涉及到大批量数据的导出，尤其在峰值应用时间段，会对数据库产生大量的数据读取操作，远远超过数据库的容量限制。为了满足峰值时间段的业务需求，需要对数据库进行大量的容量备份，以应对可能的大量业务数据读取操作。而数据库峰值往往是短时间的、阶段性的，在整体运维时间内的比例很低，与一次性的设备投资形成了对比，这就造成了设备投资的浪费。峰值的业务需求与节约设备投资成了一对矛盾，需要通过技术手段来实现效率与投资的双项目标。

技术实现要素：

本发明提供一种处理数据库大批量数据请求的方法和系统，优化了数据库批量导出数据的流程，提高了数据读取的效率，能够应对峰值阶段大批量数据读取的业务需求，满足数据库应用的多场景要求，提高了数据库读取的速度，降低了数据库的设备投资，满足了数据库大批量读取的需求。

本发明的技术方案提供了一种处理数据库大批量数据请求的方法，包括以下步骤：

向数据库请求数据；

判断数据类型；

调取备份数据源；

输出数据。

进一步的，所述数据类型，进一步包括：

第一类，在设定周期内不更新的数据；

第二类，在设定周期内更新少于或等于10％的数据；

第三类，在设定周期内更新大于10％的数据。

进一步的，所述设定周期为七日。

进一步的，所述第一类数据备份于远程服务器中；

所述第二类数据备份于服务器的本地缓存中；

所述第三类数据备份于数据库缓存中。

进一步的，所述数据库缓存设定有缓存有效期，超过所述缓存有效期则进行数据更新。

进一步的，所述输出数据是，向数据的备份地址请求数据，由所述备份地址进行输出。

进一步的，从所述备份地址请求数据失败，则向数据库请求数据。

本发明的技术方案还提供了一种处理数据库大批量数据请求的系统，包括：管理单元、数据库单元和备份单元，其中，

管理单元用于管理所述数据库数据的备份、管理所述备份的更新、管理数据类型的判断和管理所述输出数据；

数据库单元用于存储数据；

备份单元用于对数据库数据进行备份、并提供数据输出。

进一步的，数据库数据根据分类分别进行备份和数据输出。

进一步的，所述备份单元包括远程服务器、服务器本地缓存和数据库缓存。

本发明技术方案优化了数据库批量导出数据的流程，提高了数据读取的效率，能够应对峰值阶段大批量数据读取的业务需求，满足数据库应用的多场景要求，提高了数据库读取的速度，降低了数据库的设备投资，满足了数据库大批量读取的需求。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例一中处理数据库大批量数据请求的方法流程图；

图2为本发明实施例一中处理数据库大批量数据请求的系统结构图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1为本发明实施例一中处理数据库大批量数据请求的方法流程图。如图1所示，该流程包括以下步骤：

步骤101、向数据库请求数据。

步骤102、判断数据类型。

数据类型包括：

第一类，在设定周期内不更新的数据；

第二类，在设定周期内更新少于或等于10％的数据；

第三类，在设定周期内更新大于10％的数据。

设定周期为七日，统计七日内的数据更新比例。

步骤103、调取备份数据源。

不同类型的数据分别备份于不同的地址：

第一类数据备份于远程服务器中；

第二类数据备份于服务器的本地缓存中；

第三类数据备份于数据库缓存中。

其中，数据库缓存设定有缓存有效期，超过缓存有效期则进行数据更新。

步骤104、输出数据。

系统向数据的备份地址请求数据，由备份地址进行数据的输出。

若向备份地址请求数据失败，则向数据库请求数据。

上述方法流程，本实施例还提供了一种处理数据库大批量数据请求的系统，图2为本发明实施例一中处理数据库大批量数据请求的系统结构图。如图2所示，该系统包括：管理单元201、数据库单元202和备份单元203，其中，

管理单元用于管理数据库数据的备份、管理备份的更新、管理数据类型的判断和管理输出数据；

数据库单元用于存储数据；

备份单元用于对数据库数据进行备份、并提供数据输出。

其中，数据库数据根据分类分别进行备份和数据输出。

备份单元包括远程服务器、服务器本地缓存和数据库缓存，分别备份不同类型的数据。

本发明技术方案优化了数据库批量导出数据的流程，提高了数据读取的效率，能够应对峰值阶段大批量数据读取的业务需求，满足数据库应用的多场景要求，提高了数据库读取的速度，降低了数据库的设备投资，满足了数据库大批量读取的需求。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。