一种基于中间件的数据处理方法及系统与流程

本发明涉及计算机技术领域，尤其涉及一种基于中间件的数据处理方法及系统。

背景技术：

数据库是按照数据结构来组织、存储和管理数据的仓库，是信息系统经常使用的部分。数据库保存的数据可以供给其他的信息系统使用，如业务系统。现有技术中，业务系统通常直接连接或访问一个或多个数据库，这需要开发人员预先编写连接或制定相关模块进行管理，如果对获取的数据有性能要求时，还需要各自进行优化工作，造成大量重复工作。另外，业务系统直接连接数据库，数据库庞大的数据会造成数据读写速度慢，而且也存在一定的安全隐患。

技术实现要素：

本发明实施例提出一种基于中间件的数据处理方法及系统，能提高数据读写速度和安全性。

本发明实施例提供一种基于中间件的数据处理方法，包括：

根据业务系统预设的数据源配置，以key-value结构加载若干个数据库的数据结构和数据，并缓存所述数据源配置所对应的N个数据集；N≥1；

接收所述业务系统发送的http请求；其中，所述http请求包括数据操作和消息体；

根据所述数据操作和所述消息体，对所述N个数据集进行数据处理。

进一步的，所述接收所述业务系统发送的http请求，具体为：

接收所述业务系统按照restful架构发送的http请求。

进一步的，所述根据所述数据操作和所述消息体，对所述N个数据集进行数据处理，具体为：

如果所述数据操作为数据读操作，则根据所述消息体，查询所述N个数据集中是否存在需读取的数据集；

若是，则向所述业务系统发送所述需读取的数据集；

否则，根据所述消息体，从所述N个数据库中的一个数据库加载并缓存所述需读取的数据集，再向所述业务系统发送所述需读取的数据集。

进一步的，所述根据所述数据操作和所述消息体，对所述N个数据集进行数据处理，具体为：

如果所述数据操作为数据写操作，则根据所述消息体，创建新的数据集，并将所述新的数据集存储在缓存中。

进一步的，所述基于中间件的数据处理方法还包括：

根据预设的时间间隔，将缓存中的数据集按所述数据源配置更新到所述若干个数据库中。

相应地，本发明实施例还提供一种基于中间件的数据处理系统，包括：加载缓存单元、接收单元和操作单元；

其中，所述加载缓存单元用于根据业务系统预设的数据源配置，以key-value结构加载若干个数据库的数据结构和数据，并缓存所述数据源配置所对应的N个数据集；N≥1；

所述接收单元用于接收所述业务系统发送的http请求；其中，所述http请求包括数据操作和消息体；

所述操作单元用于根据所述数据操作和所述消息体，对所述N个数据集进行数据处理。

进一步的，所述接收单元用于接收所述业务系统发送的http请求，具体为：

接收所述业务系统按照restful架构发送的http请求。

进一步的，所述操作单元包括：查询模块和操作模块；

所述查询模块用于如果所述数据操作为数据读操作，则根据所述消息体，查询所述N个数据集中是否存在需读取的数据集；

所述操作模块用于在所述查询单元确定所述N个数据集中存在需读取的数据集时，向所述业务系统发送所述需读取的数据集；以及用于在所述查询单元确定所述N个数据集中不存在需读取的数据集时，根据所述消息体，从所述N个数据库中的一个数据库加载并缓存所述需读取的数据集，再向所述业务系统发送所述需读取的数据集。

进一步的，所述操作单元包括：创建模块；

所述创建模块用于如果所述数据操作为数据写操作，则根据所述消息体，创建新的数据集，并将所述新的数据集存储在缓存中。

进一步的，所述基于中间件的数据处理系统更新单元；

所述更新单元用于根据预设的时间间隔，将缓存中的数据集按所述数据源配置更新到所述若干个数据库中。

实施本发明实施例，具有如下有益效果：

本发明实施例提供的基于中间件的数据处理方法及系统，在业务系统和数据库之间设置中间件将其隔离，并提供数据交换和缓存功能，减少业务系统对数据库的依赖，提高了安全性，而且数据库的数据集以key-value结构缓存到中间件中，大幅度减少了业务系统的数据交互及检索时间，提高数据读写速度。

附图说明

图1是本发明提供的基于中间件的数据处理方法的一种实施例的流程示意图；

图2是本发明提供的基于中间件的数据处理方法的另一种实施例的流程示意图；

图3是本发明提供的基于中间件的数据处理系统的一种实施例的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，是本发明提供的基于中间件的数据处理方法的一种实施例的流程示意图，该方法包括步骤101至步骤103，各步骤具体如下：

步骤101：根据业务系统预设的数据源配置，以key-value结构加载若干个数据库的数据结构和数据，并缓存该数据源配置所对应的N个数据集；N≥1。

在本实施例中，业务系统和若干个数据库之间需预先设置若干个数据源配置，使得本发明的数据处理系统(中间件系统)能根据该配置以key-value结构加载相应的数据结构和数据，并以key-value结构缓存该配置所对应的N个数据集；N≥1。

步骤102：接收业务系统发送的http请求；其中，http请求包括数据操作和消息体。

在本实施例中，http请求方式是最为常用的交互方式，便于其他业务系统的调用。

在本实施例中，当业务系统需要访问某个数据库以进行数据操作时，业务系统可按照restful架构向本发明的数据处理系统发送http请求，该http请求包括数据操作和消息体。其中，restful架构是一种软件架构风格，设计风格而不是标准，只是提供了一组设计原则和约束条件。数据操作使用http的get、post、delete、等，分别代表数据读操作、数据写操作、数据删除操作及其他相关操作。消息体为该数据操作所对应的内容，内容根据http请求的特性以json方式组织或URL参数的方式进行传递。

步骤103：根据数据操作和消息体，对N个数据集进行数据处理。

在本实施例中，步骤103具体为：如果数据操作为数据读操作，消息体为URL参数，则根据该消息体中的URL参数，查询配置的N个数据集中是否存在需读取的数据集；若是，则向业务系统发送读取结果；否则，根据数据配置，从数据库加载并缓存需读取的数据集，再向业务系统发送读取的数据集。

在本实施例中，步骤103具体为：如果数据操作为数据写操作，消息体为json结构，则根据消息体中的json结构，按配置创建新的数据集，并将新的数据集存储在缓存中。

作为本实施例的一种举例，参见图2，图2是本发明提供的基于中间件的数据处理方法的另一种实施例的流程示意图。图2与图1的区别在于，在步骤103之后还包括步骤104。步骤104根据预设的时间间隔，将缓存中的数据集按预设的数据源配置更新到若干个数据库中。本举例能保证数据的持久性。此外，步骤104不限于在步骤103之后，也只需要达到预设时间间隔，即可进行同步更新

参见图3，图3是本发明提供的基于中间件的数据处理系统的一种实施例的结构示意图。如图3所述，该数据处理系统包括：加载缓存单元301、接收单元302和操作单元303。

其中，加载缓存单元301用于根据业务系统预设的数据源配置，以key-value结构加载若干个数据库的数据结构和数据，并缓存数据源配置所对应的N个数据集；N≥1。

接收单元302用于接收业务系统发送的http请求；其中，http请求包括数据操作和消息体。

操作单元303用于根据数据操作和消息体，对N个数据集进行数据处理。

在本实施例中，接收单元302用于接收业务系统发送的http请求，具体为：接收业务系统按照restful架构发送的http请求。

在本实施例中，操作单元303包括：查询模块、操作模块和创建模块。

查询模块用于如果数据操作为数据读操作，则根据消息体，查询N个数据集中是否存在需读取的数据集；

操作模块用于在查询单元确定所述N个数据集中存在需读取的数据集时，向业务系统发送需读取的数据集；以及用于在查询单元确定N个数据集中不存在需读取的数据集时，根据消息体，从N个数据库中的一个数据库加载并缓存需读取的数据集，再向业务系统发送需读取的数据集。

创建模块用于如果数据操作为数据写操作，则根据消息体，创建新的数据集，并将新的数据集存储在缓存中。

作为本实施例的一种举例，该数据处理系统还包括更新单元。更新单元用于根据预设的时间间隔，将缓存中的数据集按预设的数据源配置更新到若干个数据库中。

由上可见，本发明实施例提供的基于中间件的数据处理方法及系统，在业务系统和数据库之间设置中间件将其隔离，并提供数据交换和缓存功能，减少业务系统对数据库的依赖，提高了安全性，而且数据库的数据集以key-value结构缓存到中间件中，大幅度减少了业务系统的数据交互及检索时间，提高数据读写速度。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。