一种APP格式化文件离线存储方法、装置、设备及存储介质与流程

本发明涉及大数据领域，尤其涉及一种app格式化文件离线存储方法、装置、设备及存储介质。

背景技术：

1、现在的app移动应用中，涉及离线使用，均需使用移动端本地存储，多数据移动端将采用成熟的sqlite作为本地存储，当用户需要下载从服务端同步下载大量的基础业务数据数据，然后进入完全离线的场景内进行后续业务工作；下载大量的数据后，sqlite特性，需要将新数据进行索引，受限移动设备计算能力，用户可能出现离线场景下无法马上使用的情况。

2、现有方案在需要大量同步下载云端数据并马上进行搜索使用时，需要用户等待索引完成，离线开发工程师需要了解sql查询语法相关技术，开发成本增高，进而导致大量的频繁数据操作性能较差。

技术实现思路

1、本发明提供了一种app格式化文件离线存储方法、装置、设备及存储介质，用于提升数据读写效率并节省内存资源。

2、本发明第一方面提供了一种app格式化文件离线存储方法，所述app格式化文件离线存储方法包括：

3、在客户端处于无网络环境之前，通过所述客户端同步下载云端数据，并获取不同的业务操作数据；

4、对所述云端数据进行格式转换，得到本地格式数据，并对所述本地格式数据和所述业务操作数据进行数据合并和数据缓存，得到离线缓存数据；

5、对所述离线缓存数据进行数据序列化处理，得到序列化数据，并对所述序列化数据进行持久化操作，得到持久化文件数据；

6、接收业务模块发送的数据调用请求，并根据所述数据调用请求加载所述持久化文件数据；

7、对所述持久化文件数据进行反序列化和过滤查询，生成拷贝副本数据并输出。

8、结合第一方面，在本发明第一方面的第一实施方式中，所述对所述云端数据进行格式转换，得到本地格式数据，并对所述本地格式数据和所述业务操作数据进行数据合并和数据缓存，得到离线缓存数据，包括：

9、按照预设的本地数据格式，对所述云端数据进行格式转换，得到本地格式数据；

10、配置业务主键，并根据所述业务主键，对所述本地格式数据和所述业务操作数据进行内存运算和数据合并，生成目标合并数据；

11、对所述目标合并数据进行数据缓存操作，得到离线缓存数据。

12、结合第一方面，在本发明第一方面的第二实施方式中，所述对所述离线缓存数据进行数据序列化处理，得到序列化数据，并对所述序列化数据进行持久化操作，得到持久化文件数据，包括：

13、采用protobuf，对所述离线缓存数据进行数据序列化处理，得到序列化数据；

14、对所述序列化数据进行单元格式数据独立存储，得到所述序列化数据对应的多个单元数据；

15、对所述多个单元数据进行单线程持久化操作，得到持久化文件数据。

16、结合第一方面，在本发明第一方面的第三实施方式中，所述app格式化文件离线存储方法还包括：

17、基于预设的监测周期，判断所述多个单元数据中是否存在读写操作；

18、若不存在读写操作，则对所述多个单元数据进行内存自动释放，并获取数据请求；

19、根据所述数据请求，从所述持久化文件数据中将所述多个单元数据加载至内存进行读取使用。

20、结合第一方面，在本发明第一方面的第四实施方式中，所述接收业务模块发送的数据调用请求，并根据所述数据调用请求加载所述持久化文件数据，包括：

21、接收业务模块发送的数据调用请求，并根据所述数据调用请求判断是否存在数据内存；

22、若存在，则从所述数据内存中，通过用户函数条件进行过滤复制输出

23、若不存在，则根据所述数据调用请求加载所述持久化文件数据。

24、结合第一方面，在本发明第一方面的第五实施方式中，所述对所述持久化文件数据进行反序列化和过滤查询，生成拷贝副本数据并输出，包括：

25、对所述持久化文件数据进行反序列化处理，得到反序列化数据；

26、对所述反序列化数据进行业务函授过滤查询，生成拷贝副本数据并输出。

27、本发明第二方面提供了一种app格式化文件离线存储装置，所述app格式化文件离线存储装置包括：

28、下载模块，用于在客户端处于无网络环境之前，通过所述客户端同步下载云端数据，并获取不同的业务操作数据；

29、转换模块，用于对所述云端数据进行格式转换，得到本地格式数据，并对所述本地格式数据和所述业务操作数据进行数据合并和数据缓存，得到离线缓存数据；

30、处理模块，用于对所述离线缓存数据进行数据序列化处理，得到序列化数据，并对所述序列化数据进行持久化操作，得到持久化文件数据；

31、加载模块，用于接收业务模块发送的数据调用请求，并根据所述数据调用请求加载所述持久化文件数据；

32、输出模块，用于对所述持久化文件数据进行反序列化和过滤查询，生成拷贝副本数据并输出。

33、结合第二方面，在本发明第二方面的第一实施方式中，所述转换模块具体用于：

34、按照预设的本地数据格式，对所述云端数据进行格式转换，得到本地格式数据；

35、配置业务主键，并根据所述业务主键，对所述本地格式数据和所述业务操作数据进行内存运算和数据合并，生成目标合并数据；

36、对所述目标合并数据进行数据缓存操作，得到离线缓存数据。

37、结合第二方面，在本发明第二方面的第二实施方式中，所述处理模块具体用于：

38、采用protobuf，对所述离线缓存数据进行数据序列化处理，得到序列化数据；

39、对所述序列化数据进行单元格式数据独立存储，得到所述序列化数据对应的多个单元数据；

40、对所述多个单元数据进行单线程持久化操作，得到持久化文件数据。

41、结合第二方面，在本发明第二方面的第三实施方式中，所述app格式化文件离线存储装置还包括：

42、释放模块，用于基于预设的监测周期，判断所述多个单元数据中是否存在读写操作；若不存在读写操作，则对所述多个单元数据进行内存自动释放，并获取数据请求；根据所述数据请求，从所述持久化文件数据中将所述多个单元数据加载至内存进行读取使用。

43、结合第二方面，在本发明第二方面的第四实施方式中，所述加载模块具体用于：

44、接收业务模块发送的数据调用请求，并根据所述数据调用请求判断是否存在数据内存；

45、若存在，则从所述数据内存中，通过用户函数条件进行过滤复制输出

46、若不存在，则根据所述数据调用请求加载所述持久化文件数据。

47、结合第二方面，在本发明第二方面的第五实施方式中，所述输出模块具体用于：

48、对所述持久化文件数据进行反序列化处理，得到反序列化数据；

49、对所述反序列化数据进行业务函授过滤查询，生成拷贝副本数据并输出。

50、本发明第三方面提供了一种app格式化文件离线存储设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述app格式化文件离线存储设备执行上述的app格式化文件离线存储方法。

51、本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的app格式化文件离线存储方法。

52、本发明提供的技术方案中，在客户端处于无网络环境之前，通过客户端同步下载云端数据，并获取不同的业务操作数据；对云端数据进行格式转换，得到本地格式数据，并对本地格式数据和业务操作数据进行数据合并和数据缓存，得到离线缓存数据；对离线缓存数据进行数据序列化处理，得到序列化数据，并对序列化数据进行持久化操作，得到持久化文件数据；接收业务模块发送的数据调用请求，并根据数据调用请求加载持久化文件数据；对持久化文件数据进行反序列化和过滤查询，生成拷贝副本数据并输出，本发明由于是内存操作，无任何需要索引时间，大量下载后即可马上使用，开发人员无需担心操作频繁读写带来额外问题，且性能卓越，用户操作完数据即自动持久化，开发人员无需额外保存数据，开发人员采用函数式过滤条件，不涉及sql查询语法，使用门槛低。