数据检索方法、装置、设备及存储介质与流程

本发明涉及数据检索，尤其涉及一种数据检索方法、装置、设备及存储介质。

背景技术：

1、传统的纯文本检索技术，针对语义层面的相关性召回能力偏弱，在业内提出向量检索之后，由于向量的距离计算代价较大，通常会对向量进行压缩，如通过对向量进行分段，将高维向量进行降维，从而粗糙化向量的计算。再通过聚类的方式，将向量数据聚合为“多个中心点”和中心点最近似向量节点倒排链的方式。在此过程会涉及到如下问题：在倒排链链较长的场景下，遍历代价较大；由于是先召回一批n条距离最近的向量结果，在召回阶段无法考虑各种过滤条件，导致在过滤场景下，召回能力受限。因此，如何提高文本检索的效率成为亟待解决的技术问题。

2、上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本发明的主要目的在于提供了一种数据检索方法、装置、设备及存储介质，旨在解决现有技术通过纯文本或语义向量单独召回导致召回效率不高的技术问题。

2、为实现上述目的，本发明提供了一种数据检索方法，所述方法包括以下步骤：

3、在接收到文本检索指令时，根据所述文本检索指令确定待检索文本；

4、对所述待检索文本进行语义向量召回，获得向量召回结果，并对所述待检索文本进行文本检索，获得文本倒排索引；

5、根据所述向量召回结果和所述文本倒排索引确定所述待检索文本对应的检索结果。

6、可选地，所述对所述待检索文本进行语义向量召回，获得向量召回结果，并对所述待检索文本进行文本检索，获得文本倒排索引的步骤，包括：

7、根据所述待检索文本确定目标向量，对所述目标向量进行语义向量召回，确定所述目标向量对应的向量中心点；

8、根据所述向量中心点确定向量召回结果；

9、对所述待检索文本进行文本检索，获得文本倒排索引。

10、可选地，所述根据所述向量中心点确定向量召回结果的步骤，包括：

11、确定所述向量中心点对应的向量簇；

12、基于预设权重分配信息确定所述向量簇中的各个向量与目标向量之间的向量相关性；

13、根据所述向量相关性确定向量召回结果。

14、可选地，所述根据所述向量相关性确定向量召回结果的步骤，包括：

15、获取预设向量截断信息；

16、根据所述预设向量截断信息对召回过程进行截断处理，获得向量召回结果。

17、可选地，所述根据所述预设向量截断信息对召回过程进行截断处理，获得向量召回结果的步骤，包括：

18、在所述预设向量截断信息为根据召回时间截断时，启动预设定时器；

19、根据所述向量相关性召回向量簇中的目标向量；

20、在计时结束时，终止召回过程，根据召回的目标向量确定向量召回结果。

21、可选地，所述根据所述预设向量截断信息对召回过程进行截断处理，获得向量召回结果的步骤，包括：

22、获取所述预设向量截断信息中的预设召回链长；

23、判断召回过程中的实际召回链长是否大于所述预设召回链长；

24、在所述实际召回链长大于所述预设召回链长时，对召回过程进行截断处理，确定向量召回结果。

25、可选地，所述对所述待检索文本进行语义向量召回，获得向量召回结果，并对所述待检索文本进行文本检索，获得文本倒排索引的步骤之前，还包括：

26、在接收到新增数据时，对所述新增数据进行分段，获得分段数据；

27、对所述分段数据进行数据降维，获得降维向量；

28、查找所述降维向量所属的目标向量中心点；

29、在查找到所述降维向量所属的目标向量中心点时，根据所述目标向量中心点将所述降维向量插入至对应的向量簇。

30、可选地，所述查找所述降维向量所属的目标向量中心点的步骤之后，还包括：

31、在未查找到所述降维向量所属的目标向量中心点时，根据所述降维向量构建聚类中心点。

32、可选地，所述在接收到新增数据时，对所述新增数据进行分段，获得分段数据的步骤，包括：

33、在接收到新增数据时，确定所述新增数据的数据大小；

34、获取预设分段数据大小；

35、根据所述数据大小和所述预设分段数据大小对所述新增数据进行分段，获得分段数据。

36、可选地，所述根据所述向量召回结果和所述文本倒排索引确定所述待检索文本对应的检索结果的步骤，包括：

37、对所述向量召回结果和所述文本倒排索进行求交处理，获得求交结果；

38、根据所述求交结果确定所述待检索文本对应的检索结果。

39、可选地，所述根据所述求交结果确定所述待检索文本对应的检索结果的步骤，包括：

40、获取所述求交结果中各召回内容对应的语义相关性和文本相关性；

41、根据所述语义相关性和所述文本相关性对所述召回内容进行打分，获得打分结果；

42、根据所述打分结果确定所述待检索文本对应的检索结果。

43、此外，为实现上述目的，本发明还提供一种数据检索装置，所述装置包括：

44、待检索文本确定模块，用于在接收到文本检索指令时，根据所述文本检索指令确定待检索文本；

45、语义向量召回模块，用于对所述待检索文本进行语义向量召回，获得向量召回结果，并对所述待检索文本进行文本检索，获得文本倒排索引；

46、检索结果确定模块，用于根据所述向量召回结果和所述文本倒排索引确定所述待检索文本对应的检索结果。

47、可选地，所述语义向量召回模块，还用于根据所述待检索文本确定目标向量，对所述目标向量进行语义向量召回，确定所述目标向量对应的向量中心点；根据所述向量中心点确定向量召回结果；对所述待检索文本进行文本检索，获得文本倒排索引。

48、可选地，所述语义向量召回模块，还用于确定所述向量中心点对应的向量簇；基于预设权重分配信息确定所述向量簇中的各个向量与目标向量之间的向量相关性；根据所述向量相关性确定向量召回结果。

49、可选地，所述语义向量召回模块，还用于获取预设向量截断信息；根据所述预设向量截断信息对召回过程进行截断处理，获得向量召回结果。

50、可选地，所述语义向量召回模块，还用于在所述预设向量截断信息为根据召回时间截断时，启动预设定时器；根据所述向量相关性召回向量簇中的目标向量；在计时结束时，终止召回过程，根据召回的目标向量确定向量召回结果。

51、可选地，所述语义向量召回模块，还用于获取所述预设向量截断信息中的预设召回链长；判断召回过程中的实际召回链长是否大于所述预设召回链长；在所述实际召回链长大于所述预设召回链长时，对召回过程进行截断处理，确定向量召回结果。

52、可选地，所述语义向量召回模块，还用于在接收到新增数据时，对所述新增数据进行分段，获得分段数据；对所述分段数据进行数据降维，获得降维向量；查找所述降维向量所属的目标向量中心点；在查找到所述降维向量所属的目标向量中心点时，根据所述目标向量中心点将所述降维向量插入至对应的向量簇。

53、可选地，所述语义向量召回模块，还用于在未查找到所述降维向量所属的目标向量中心点时，根据所述降维向量构建聚类中心点。

54、可选地，所述语义向量召回模块，还用于在接收到新增数据时，确定所述新增数据的数据大小；获取预设分段数据大小；根据所述数据大小和所述预设分段数据大小对所述新增数据进行分段，获得分段数据。

55、可选地，所述检索结果确定模块，还用于对所述向量召回结果和所述文本倒排索进行求交处理，获得求交结果；根据所述求交结果确定所述待检索文本对应的检索结果。

56、可选地，所述检索结果确定模块，还用于获取所述求交结果中各召回内容对应的语义相关性和文本相关性；根据所述语义相关性和所述文本相关性对所述召回内容进行打分，获得打分结果；根据所述打分结果确定所述待检索文本对应的检索结果。

57、此外，为实现上述目的，本发明还提出一种数据检索设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据检索程序，所述数据检索程序配置为实现如上文所述的数据检索方法的步骤。

58、此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有数据检索程序，所述数据检索程序被处理器执行时实现如上文所述的数据检索方法的步骤。

59、本发明在接收到文本检索指令时，根据所述文本检索指令确定待检索文本；对所述待检索文本进行语义向量召回，获得向量召回结果，并对所述待检索文本进行文本检索，获得文本倒排索引；根据所述向量召回结果和所述文本倒排索引确定所述待检索文本对应的检索结果。由于本发明是对待检索文本进行语义向量召回，获得向量召回结果，并对待检索文本进行文本检索，获得文本倒排索引；根据向量召回结果和文本倒排索引确定待检索文本对应的检索结果。相对于现有的通过纯文本或语义向量单独召回的方式，本发明上述方式能够通过文本和向量检索的方式实现待检索文本的召回，弥补语义召回的短板，提高召回效率。