数据查询索引创建方法、装置、存储介质及电子设备与流程

本技术涉及数据检索领域，具体涉及一种数据查询索引创建方法、装置、存储介质及电子设备。

背景技术：

1、随着全国大量政策的颁布与推行，公示政策以及相关资料等数据也随之增多。用户在了解相关政策时，需要进行相应地检索。

2、相关技术中用户使用mysql进行多表连表查询时，由于政策数据量较为庞大，且政策数据的新增量较大或查询人数较多，导致查询速度较慢。

技术实现思路

1、本技术提供一种数据查询索引创建方法、装置、存储介质及电子设备，将监听到的mysql数据库中的变动信息映射为elasticsearch索引，相比于从mysql数据库中查询政策数据，能够减少政策数据查询的响应时间。

2、第一方面，本技术提供了一种数据查询索引创建方法，所述方法包括：

3、构建政策数据的mysql数据库；将所述mysql数据库中的政策数据同步至elasticsearch库中；使用canal组件监听mysql数据库中政策数据的变动数据，所述变动数据从变动记录中生成；使用所述变动数据的相关性数据对所述变动数据进行加工聚合，得到更新数据，所述变动数据的相关性数据通过查询所述变动数据的唯一标识得到；通过配置所述更新数据对应的映射信息，创建所述更新数据的elasticsearch索引。

4、通过采用上述技术方案，在监听到mysql数据库中的变动数据时，加工聚合相关性数据得到更新数据，通过配置更新数据对应的映射信息，由于映射信息中包括更新数据中的字段的数据类型和属性，因此能够确定更新数据中需要搜索和分析的字段，从而能够创建更加精确的elasticsearch索引，相比于mysql数据库通过结构化数据查询政策数据，使用elasticsearch索引还能够通过非结构化或半结构化数据进行政策数据查询，能够提高查询的效率和速度，减少政策数据查询的响应时间。

5、可选的，所述通过配置所述更新数据对应的映射信息，创建所述更新数据的elasticsearch索引，包括：

6、获取所述更新数据对应的映射信息中的第一字段名以及第一分词器，所述第一分词器为对文本型字段的进行分词的规则；

7、将所述第一字段名以及所述第一分词器输入至性能预测模型，得到所述更新数据对应的配置分值；

8、将配置分值大于或等于第一阈值的第一字段名以及第一分词器作为所述更新数据对应的映射信息，创建所述更新数据的elasticsearch索引。

9、通过采用上述技术方案，通过配置分值分析测试结果，查看优化后的索引是否达到预期的性能提升，从而能够保证查询响应速度的下限。

10、可选的，所述将所述第一字段名以及所述第一分词器输入至性能预测模型，得到所述更新数据对应的配置分值之后，还包括：

11、获取与所述第一字段名的相似度大于第二阈值的第二字段名以及与所述第一分词器的相似度大于第三阈值的第二分词器；

12、将同时包含所述第二字段名以及所述第二分词器的映射信息作为相似映射信息，所述相似映射信息对应于相似数据；

13、合并所述相似数据与所述更新数据的elasticsearch索引，并将所述相似数据与所述更新数据存储于同一分片。

14、通过采用上述技术方案，通过字段名与分词器确定相似映射信息，从而得到对应的相似数据，将相似数据与更新数据存储于同一分片，能够将相似数据的查询限制在特定的分片中，从而提高查询响应速度。

15、可选的，所述将所述第一字段名以及所述第一分词器输入至性能预测模型，得到所述更新数据对应的配置分值，包括：

16、基于所述第一字段名以及所述第一分词器生成查询场景，所述查询场景为模拟用户的查询操作；

17、使用所述性能预测模型中的性能测试工具测试各个所述查询场景对应的查询响应速度；

18、求取各个所述查询场景对应的查询响应速度的均方根，得到所述更新数据对应的配置分值。

19、通过采用上述技术方案，使用性能测试工具测试模拟用户的各个查询操作的查询场景的查询响应速度，再通过求取查询响应速度的均方根的方式计算配置分值，能够提高配置分值计算的准确性。

20、可选的，所述通过配置所述所述更新数据相应的映射信息，创建所述更新数据的elasticsearch索引之后，还包括：

21、判断历史elasticsearch索引中是否存在所述更新数据对应的映射信息；

22、若历史elasticsearch索引中存在所述更新数据对应的映射信息，则通过所述更新数据对应的映射信息查询相应的历史文本，基于所述更新数据对所述历史文本进行新增或删除操作。

23、通过采用上述技术方案，若已有的历史elasticsearch索引中已经存在更新数据对应的映射信息，对相应的历史文本进行新增或删除操作，能够实现elasticsearch索引中历史文本的快速更新，同时能够提高数据查询的准确性。

24、可选的，所述通过配置所述所述更新数据相应的映射信息，创建所述更新数据的elasticsearch索引之后，还包括：

25、获取所述更新数据的访问频率；

26、基于所述访问频率调整所述更新数据在elasticsearch索引中的分片大小与数量。

27、通过采用上述技术方案，能够根据更新数据的访问频率动态调整更新数据的分片大小和数量，能够优化更新数据的分布和查询过程，从而提高政策数据查询的效率与准确性。

28、可选的，获取使用所述mysql数据库进行政策数据查询返回的第一搜索结果，获取使用所述elasticsearch索引进行政策数据查询返回的第二搜索结果；

29、将所述第一搜索结果与所述第二搜索结果进行合并，得到合并搜索结果；

30、将所述合并搜索结果输出至用户侧。

31、通过采用上述技术方案，能够提高搜索结果的准确性，满足用户对于政策数据的精确搜索的需求。

32、第二方面，本技术提供了一种数据查询索引创建装置，所述装置包括：

33、数据库构建模块，用于构建政策数据的mysql数据库；

34、数据同步模块，用于将所述mysql数据库中的政策数据同步至elasticsearch库中；

35、变动数据监听模块，用于使用canal组件监听mysql数据库中政策数据的变动数据，所述变动数据从变动记录中生成；

36、更新数据加工模块，用于使用所述变动数据的相关性数据对所述变动数据进行加工聚合，得到更新数据，所述变动数据的相关性数据通过查询所述变动数据的唯一标识得到；

37、索引创建模块，用于通过配置所述更新数据对应的映射信息，创建所述更新数据的elasticsearch索引；

38、数据查询模块，用于使用所述elasticsearch索引进行政策数据查询。

39、第三方面，本技术提供了一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述任意一项方法。

40、第四方面，本技术提供了一种电子设备，包括处理器、存储器和收发器，所述存储器用于存储指令，所述收发器用于和其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述电子设备执行如上述任意一项方法。

41、综上所述，本技术技术方案所带来的有益效果包括：

42、在监听到mysql数据库中的变动数据时，加工聚合相关性数据得到更新数据，通过配置更新数据对应的映射信息，由于映射信息中包括更新数据中的字段的数据类型和属性，因此能够确定更新数据中需要搜索和分析的字段，从而能够创建更加精确的elasticsearch索引，相比于mysql数据库通过结构化数据查询政策数据，使用elasticsearch索引还能够通过非结构化或半结构化数据进行政策数据查询，能够提高查询的效率和速度，减少政策数据查询的响应时间。