一种内存数据获取优化的方法和系统与流程

本技术涉及数据库技术和数据可视化领域，更具体地，涉及一种内存数据获取优化的方法和系统。

背景技术：

1、自助分析业务系统为电信运营商提供数据提取和分析的自助化平台。此平台通过提取和分析，将电信运营商已有的用户数据资源，变为具有商业价值的可用资源。自助分析业务系统支撑运营商内部业务运营分析及其用户自助查询消费记录、套餐使用情况等业务需求，是一种自助类型的数据统计分析服务平台，业务人员在自助分析平台进行数据模型上架、自助取数、数据关联分析、自助报表等操作。

2、以某省运营商为例，系统服务的用户覆盖全省及下属各个地市。此前，该省级运营商各个地市的业务及用户数据主要集中存储于省级数据库中，部分存储于地市级数据库中，因此在业务运营过程中，不仅要从省级数据库中取数据，也要从地市级数据库中取数据。为满足用户的个性化自助查询和分析的要求，保证数据高质量和数据完整性，该省级运营商一方面需要汇聚运营商各个市、县的所有业务及用户数据，另一方面需要保障数据读取和处理的高效性，以确保系统能够根据用户查询条件快速查找出相关数据，并将查询结果反馈给用户。

3、但在实际运营中，由于用户量大且增长快，该省级运营商自助分析业务数据和访问并发量一直保持着持续增长态势，居高不下，使得现有数据库管理系统的数据处理压力与日俱增。同时地市级自助分析业务数据集中化后数据量较大，自助取数时每次都需要从大数据量中进行大规模的关联查询，再将小量数据频繁加载并展示给前端，导致执行周期延长，结果反馈延迟，用户等待时间长，数据处理效率低，用户体验难以进一步提升，不仅影响了自助分析业务数据处理、查询及分析的实时性，也在一定程度上阻碍了电信运营商自助分析业务发展。

4、如何提高自助分析业务系统中的数据获取速度，是目前有待解决的技术问题。

技术实现思路

1、针对上面提到的技术问题，本发明提供一种内存数据获取优化的方法和系统，用以解决现有技术中的自助分析业务执行周期长、查询结果反馈延迟和数据处理效率低、用户体验难以进一步提升，影响业务运行效率的技术问题。

2、本发明提供一种内存数据获取优化的方法，所述方法应用于分布式数据库平台中，所述方法包括：

3、s1，内存数据预加载：根据内存数据预处理请求和高速存储空间容量，对内存数据进行预加载处理，将数据从低速存储中预加载至高速存储空间中，并进行分区存储，添加数据访问标签；s2，响应请求：接收并根据内存数据读取请求，对所述高速存储空间进行搜索，根据搜索结果返回请求处理结果，并更新所述数据访问标签的值；s3，内存数据均衡：根据所述数据访问标签的值、访问标准值和所述高速存储空间的容量，对内存数据进行均衡处理；

4、其中，内存数据预加载时，根据高速存储空间容量从所述低速存储中确定预加载的数据表，基于所述预加载的数据表提取数据键和数据键值，并根据服务器节点数量和数据存储优化算法对提取的内存数据进行分区压缩存储；在响应所述内存数据读取请求的同时，根据所述数据访问标签的值、访问标准值和所述高速存储空间的容量，对内存数据进行动态均衡处理，将访问频率低的内存数据下载至所述低速存储中，并加载新的数据。

5、如上所述，步骤s1中，对内存数据进行预加载处理的步骤包括：接收所述内存数据预处理请求，并对所述内存数据预处理请求进行解析，并根据解析结果确定低速存储的地址；根据所述高速存储空间容量和内存空间使用阈值，确定内存数据大小；根据所述低速存储的地址和所述内存数据大小从所述低速存储中确定所述预加载的数据表；对所述预加载的数据表进行数据提取处理，获得预处理数据，并根据预设存储方式将所述预处理数据分区存储至所述高速存储中；其中，所述预设存储方式为数据键与数据键值对应的方式，一个数据键对应至少一个数据键值。

6、如上所述，所述对所述预加载的数据表进行数据提取处理的步骤还包括：基于所述预加载的数据表，获取所述预加载的数据表的列字段名称，并根据列字段名称确定数据键；根据所述数据键构建内存数据表，并将所述内存数据表发送至各个服务器节点的所述高速存储中；根据所述数据键从所述预加载的数据表提取所述内存数据，并基于所述内存数据表将所述内存数据按照所述服务器节点的数量分别存储在各个服务器节点的所述高速存储中，并为所述内存数据表添加数据访问标签，并所述数据访问标签的初始置设置为零。

7、如上所述，步骤s1中，在将数据从低速存储中预加载至高速存储空间后，还包括索引构建的步骤，具体为：统计内存数据表中各个所述数据键对应的所述数据键值，以及所述数据键值的数量，根据所述数据键和所述数据键值的数量创建索引数组；其中，设，所述数据键为k，所述数据键值为value，所述数据键值的数量为n，则所述索引数组为k[n]，n为大于或等于1的整数；value＝*k[n]。

8、如上所述，所述s2，响应请求：接收并根据内存数据读取请求，对所述高速存储空间进行搜索，根据搜索结果返回请求处理结果，并更新所述数据访问标签的值的步骤包括：接收所述内存数据读取请求，所述内存数据读取请求进行解析得到读取请求解析结果，并根据所述读取请求解析结果对所述高速存储空间进行搜索；根据所述搜索结果确定和返回所述请求处理结果，并更新所述数据访问标签的值。

9、如上所述，所述根据所述搜索结果确定和返回所述请求处理结果，并更新所述数据访问标签的值的步骤包括：若所述高速存储空间中存在所述请求处理结果，则根据索引数组k[n]从各个服务器节点的高速存储空间中的内存数据表中获取目标数据，并对所述目标数据进行合并后得到所述请求处理结果，返回所述请求处理结果，并将与所述目标数据对应的内存数据表的数据访问标签的值分别加1；若所述高速存储空间中不存在所述请求处理结果，且所述低速存储中存在所述请求处理结果，则将所述读取请求解析结果转发至低速存储中，并从所述低速存储获取并返回所述请求处理结果；若所述高速存储空间中不存在所述请求处理结果，且所述低速存储中不存在所述请求处理结果，则返回查询数据不存在。

10、如上所述，所述根据所述数据访问标签的值、访问标准值和所述高速存储空间的容量，对内存数据进行动态均衡处理的步骤包括：实时统计所述数据访问标签的值，并将所述数据访问标签的值与所述访问标准值进行比较，并根据比较结果对所述内存数据进行动态调度；若所述数据访问标签的值小于所述访问标准值，则将与所述数据访问标签的内存数据表存储至所述低速存储中，并从所述高速存储空间中删除；其中，所述访问标准值根据请求响应的情况进行预先设定。

11、如上所述，所述根据所述数据访问标签的值、访问标准值和所述高速存储空间的容量，对内存数据进行动态均衡处理的步骤还包括：当所述高速存储空间中不存在所述请求处理结果，且所述低速存储中存在所述请求处理结果，将所述低速存储中与所述请求处理结果对应的数据表加载至所述高速存储空间中，并根据所述低速存储中与所述请求处理结果对应的数据表的数据大小、各个内存数据表的数据访问标签的值和所述高速存储空间的容量删除所述内存数据表。

12、相应地，本发明还提供了一种内存数据获取优化系统，所述系统包括数据加载模块、请求响应模块和内存数据均衡模块；

13、所述数据加载模块，用于内存数据预加载：根据内存数据预处理请求和高速存储空间容量，对内存数据进行预加载处理，将数据从低速存储中预加载至高速存储空间中，并进行分区存储，添加数据访问标签；所述请求响应模块，用于响应请求并返回请求处理结果：接收并根据内存数据读取请求，对所述高速存储空间进行搜索，根据搜索结果返回请求处理结果，并更新所述数据访问标签的值；所述内存数据均衡，用于内存数据的动态均衡：根据所述数据访问标签的值、访问标准值和所述高速存储空间的容量，对内存数据进行均衡处理；其中，内存数据预加载时，根据高速存储空间容量从所述低速存储中确定预加载的数据表，基于所述预加载的数据表提取数据键和数据键值，并根据服务器节点数量和数据存储优化算法对提取的内存数据进行分区压缩存储；在响应所述内存数据读取请求的同时，根据所述数据访问标签的值、访问标准值和所述高速存储空间的容量，对内存数据进行动态均衡处理，将访问频率低的内存数据下载至所述低速存储中，并加载新的数据。

14、与现有技术对比，本发明具备以下有益效果：

15、本发明公开了一种内存数据获取优化的方法和系统，所述方法应用于分布式数据库平台中，所述方法包括：根据内存数据预处理请求和高速存储空间容量，对内存数据进行预加载处理，将数据从低速存储中预加载至高速存储空间中进行分区存储，并添加数据访问标签；接收并根据内存数据读取请求，对所述高速存储空间进行搜索，根据搜索结果返回请求处理结果，并更新所述数据访问标签的值；根据所述数据访问标签的值、访问标准值和所述高速存储空间的容量，实时对内存数据进行动态均衡处理；其中，在内存数据预加载时，根据高速存储空间容量从所述低速存储中确定预加载的数据表，基于所述预加载的数据表提取数据键和数据键值，并根据服务器节点数量和数据存储优化算法对提取的内存数据进行分区压缩存储；在响应所述内存数据读取请求的同时，根据所述数据访问标签的值、访问标准值和所述高速存储空间的容量，对内存数据进行动态均衡处理，将访问频率低的内存数据下载至所述低速存储中，并加载新的数据，解决了现有技术中的自助分析业务执行周期长、查询结果反馈延迟和数据处理效率低、用户体验难以进一步提升，影响业务运行效率的技术问题，满足了快速灵活处理大规模数据的获取和交互分析查询的需求，从而提高了分布式数据库平台中的数据获取速度，提升了用户体验和内存空间的利用。