一种数据处理方法、装置、设备和计算机可读存储介质与流程

本技术涉及计算机领域的数据处理技术，尤其涉及一种数据处理方法、装置、设备和计算机可读存储介质。

背景技术：

1、在基于electron的客户端应用开发中，一旦涉及数据字典、产品信息等在业务逻辑中需高频查询使用的基础数据，因数据体量、业务需求等不同需要采取不同的方案。常规方法是应用启动或用户登录时从后台请求基础数据并缓存在内存当中，后续使用时直接从内存读取；但是，因为重新登录或打开应用都需要重复获取数据，当数据量较多时会影响性能。针对该问题，目前出现了以下优化方案，首次读取基础数据后存放至本地存储(localstorage)、索引数据库(indexed database)等可持久化保存的数据库中，二次登录时先根据本地信息向服务端检查缓存是否更新，决定是否需要重新获取新的数据。这种方案可以使得二次登录时不必重复获取全量数据。相关技术中的这种方案可以较好的应对绝大多数业务场景的需求。但当需要缓存的数据较大时，该数据存储方案会存在明显的性能问题，大量基础数据缓存在内存当中，会导致内存占用高、影响应用的稳定性。

技术实现思路

1、为解决上述技术问题，本技术实施例提供一种数据处理方法、装置、设备和计算机可读存储介质，解决了相关技术中针对基础数据存储的方案存在明显的性能问题，避免了内存的占用过高，且保证了应用的稳定性。

2、本技术实施例的技术方案是这样实现的：

3、一种数据处理方法，所述方法包括：

4、获得用于获取待查询基础数据的查询请求；其中，所述查询请求中携带有所述待查询基础数据的数据标识；

5、基于所述数据标识和所述待查询基础数据的参数，确定所述待查询基础数据的数据类型；

6、基于所述待查询基础数据的数据类型，从内存和/或目标关系型数据库中获取所述待查询基础数据。

7、上述方案中，所述基于所述数据标识和所述待查询基础数据的参数，确定所述待查询基础数据的数据类型，包括：

8、基于所述数据标识确定所述待查询基础数据的数据量和读取频率；其中，所述参数包括所述数据量和所述读取频率；

9、在所述数据量和所述读取频率满足第一数据条件的情况下，确定所述待查询基础数据的数据类型为第一数据类型；

10、在所述数据量和所述读取频率满足第二数据条件的情况下，确定所述待查询基础数据的数据类型为第二数据类型；

11、在所述数据量和所述读取频率满足第三数据条件的情况下，确定所述待查询基础数据的数据类型为第三数据类型。

12、上述方案中，所述基于所述待查询基础数据的数据类型，从内存和/或目标关系型数据库中获取所述待查询基础数据，包括：

13、若所述待查询基础数据的数据类型为所述第一数据类型，从所述内存中获取所述待查询基础数据；

14、若所述待查询基础数据的数据类型为所述第二数据类型，从所述目标关系型数据库中获取所述待查询基础数据；

15、若所述待查询基础数据的数据类型为所述第三数据类型，基于所述内存中的数据的存储情况，从所述内存和/或所述目标关系型数据库中获取所述待查询基础数据；

16、相应的，所述方法还包括：

17、将所述待查询基础数据传输给第一目标业务模块。

18、上述方案中，所述基于所述内存中的数据的存储情况，从所述内存和/或所述目标关系型数据库中获取所述待查询基础数据，包括：

19、若所述内存中未存储有所述待查询基础数据，从所述目标关系型数据库中获取所述待查询基础数据，并存储所述待查询基础数据至所述内存中；

20、若所述内存中存储有所述待查询基础数据，从所述内存中获取所述待查询基础数据。

21、上述方案中，所述获得用于获取待查询基础数据的查询请求之前，还包括：

22、若存在所述目标关系型数据库且所述目标关系型数据库中存储的基础数据有效，基于所述存储的基础数据的数据信息，从服务器中获取发生变化的变化基础数据；

23、基于所述变化基础数据更新所述目标关系型数据库中存储的基础数据；

24、若不存在所述目标关系型数据库或所述存储的基础数据无效，从所述服务器中获取初始基础数据；

25、基于所述初始基础数据的数据类型，存储所述初始基础数据。

26、上述方案中，所述基于所述初始基础数据的数据类型，存储所述初始基础数据，包括：

27、基于所述初始基础数据的数据量确定所述初始基础数据的数据类型；

28、若所述初始基础数据的数据类型为第四数据类型，存储所述初始基础数据至所述内存中；

29、若所述初始基础数据的数据类型为第五数据类型，存储所述初始基础数据至所述目标关系型数据库中。

30、上述方案中，所述基于所述初始基础数据的数据量确定所述初始基础数据的数据类型，包括：

31、若所述初始基础数据的数据量满足目标数据阈值，确定所述初始基础数据的数据类型为第四数据类型；

32、若所述初始基础数据的数据量不满足所述目标数据阈值，确定所述初始基础数据的数据类型为第五数据类型。

33、上述方案中，所述方法还包括：

34、接收用于获取业务数据的业务请求；其中，所述业务请求中携带有业务标识；

35、基于所述业务请求，通过目标数据处理模块获取与所述业务标识对应的目标业务数据；

36、对所述目标业务数据进行处理，存储处理后的所述目标业务数据至所述目标关系型数据库中；

37、将用于通知业务数据存在更新的通知消息携带在目标进程消息中，并通过所述目标进程消息通知第二目标业务模块业务数据存在更新。

38、一种数据处理装置，所述装置包括：

39、获取单元，用于获得用于获取待查询基础数据的查询请求；其中，所述查询请求中携带有所述待查询基础数据的数据标识；

40、确定单元，用于基于所述数据标识和所述待查询基础数据的参数，确定所述待查询基础数据的数据类型；

41、处理单元，用于基于所述待查询基础数据的数据类型，从内存和目标关系型数据库中获取所述待查询基础数据。

42、一种数据处理设备，所述设备包括：处理器、存储器和通信总线；

43、所述通信总线用于实现处理器和存储器之间的通信连接；

44、所述处理器用于执行存储器中的数据处理程序，以实现上述的数据处理方法的步骤。

45、一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述的数据处理方法的步骤。

46、本技术的实施例所提供的数据处理方法、装置、设备及计算机可读存储介质，可以获得用于获取待查询基础数据的携带有待查询基础数据的数据标识的查询请求，并基于数据标识和待查询基础数据的参数，确定待查询基础数据的数据类型，之后基于待查询基础数据的数据类型，从内存和/或目标关系型数据库中获取待查询基础数据，如此，可以在根据待查询基础数据的数据标识和待查询基础数据的参数确定了待查询基础数据的数据类型后，可以根据数据类型的不同选择从内存和/或目标关系型数据库中获取该待查询基础数据，并不是如相关技术中那样所有的基础数据都从内存中来获取，从而解决了相关技术中针对基础数据存储的方案存在明显的性能问题，避免了内存的占用过高，且保证了应用的稳定性。