基于光线追踪相交的近似近邻搜索方法、系统、介质及设备

本申请涉及近似近邻搜索领域，特别是涉及一种基于光线追踪相交的近似近邻搜索方法、系统、介质及设备。

背景技术：

1、目前，包括生成式模型在内的各种智能应用广泛使用嵌入向量(embeddingvector)表示现实生活中的各种概念。其定义是基于原始数据通过某些变换或训练而成的嵌入在高维空间中的向量。因此，近邻搜索(nearest neighbor search，nns)是对嵌入向量进行的最重要的操作之一，基于近邻搜索可以对图像、语音、文字等在某种相似的概念上进行搜索，如搜索画风相近的图片、内容相近的语音信息等。嵌入向量往往都存在于高维空间中，其维度往往在102～103数量级。随着维度的升高，在大量的嵌入向量上进行穷尽的、精确的近邻搜索成本快速升高。而在实际工业生产场景中，往往允许对搜索质量进行一定程度的妥协，因此，近似近邻搜索(approximate nearest neighbor search，anns)的应用日益广泛。anns以牺牲一定搜索质量为代价换取更高的搜索吞吐、更快的搜索响应。

2、目前，基于反向索引的乘积量化(inverted file index product quantization，ivfpq)在anns中被广泛应用。但是，对于ivfpq而言，其过程引入了大量不必要的距离计算和子空间距离查询表的查询操作，增加计算资源，这都会影响搜索响应速度。

技术实现思路

1、本申请的目的在于提供一种基于光线追踪相交的近似近邻搜索方法、系统、介质及设备，用于解决如何提高基于ivfpq的anns的搜索效率的技术问题。

2、为实现上述目的及其他相关目的，本申请的第一方面提供一种基于光线追踪相交的近似近邻搜索方法，包括：过滤搜索点以获取编码本条目与子空间级反向索引；基于光线追踪相交情况筛选所述编码本条目以构建子空间距离查询表；基于所述子空间距离查询表与所述子空间级反向索引查询距离以获取近似近邻搜索结果。

3、于所述第一方面的一实施例中，过滤搜索点以获取编码本条目包括：基于原始空间进行第一次聚类以获取参考搜索点；基于所述原始空间和所述参考搜索点进行第二次聚类以获取编码本条目。

4、于所述第一方面的一实施例中，基于光线追踪相交情况筛选所述编码本条目以构建子空间距离查询表包括：在所述参考搜索点处放置球体；基于所述查询点投影投射的射线与所述球体的相交情况筛选必要编码本条目；计算所述必要编码本条目与所述查询点投影的距离以构建所述子空间距离查询表。

5、于所述第一方面的一实施例中，所述查询点投影处投射射线与所述球体相交以筛选必要编码本条目包括：基于所述参考搜索点密度确定距离阈值；基于所述距离阈值计算所述射线与所述球体的最大相交时间；基于所述最大相交时间筛选所述必要编码本条目。

6、于所述第一方面的一实施例中，计算所述必要编码本条目与所述查询点投影的距离以构建所述子空间距离查询表包括：在所述球体内放置子球体；根据所述射线与所述球体、所述子球体的相交情况计算所述必要编码本条目与所述查询点投影的距离以构建所述子空间距离查询表。

7、于所述第一方面的一实施例中，根据所述射线与所述球体、所述子球体的相交情况计算所述必要编码本条目与所述查询点投影的距离包括：当所述射线与所述球体、所述子球体均相交时，增加相交数；当所述射线与所述球体、所述子球体均不相交时，减少相交数；将相交数作为所述必要编码本条目与所述查询点投影的距离。

8、于所述第一方面的一实施例中，基于所述子空间距离查询表和所述子空间级反向索引计算距离以获取近似近邻搜索结果包括：基于所述子空间级反向索引获取所述必要编码本条目对应的必要搜索点；基于所述子空间距离查询表查询所述必要搜索点与所述查询点投影的距离以累加获取近似距离；基于所述近似距离对所述必要搜索点排序以获取所述近似近邻搜索结果。

9、本申请的第二方面提供一种基于光线追踪相交的近似近邻搜索系统，包括：编码模块，用于过滤搜索点以获取编码本条目与子空间级反向索引；构建模块，用于基于光线追踪相交情况筛选所述编码本条目以构建子空间距离查询表；计算模块，用于基于所述子空间距离查询表与所述子空间级反向索引查询距离以获取近似近邻搜索结果。

10、本申请的第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请第一方面所述的基于光线追踪相交的近似近邻搜索方法。

11、本申请的第四方面提供一种电子设备，所述电子设备包括：存储器，存储有一计算机程序；处理器，与所述存储器通信相连，调用所述计算机程序时执行本申请第一方面所述的基于光线追踪相交的近似近邻搜索方法。

12、如上所述，本申请实施例提供的基于光线追踪相交的近似近邻搜索方法、系统、介质及设备，具有以下有益效果：本申请通过光线追踪单元筛选必要编码本条目，使用光线追踪相交测试取代子空间距离查询表构建中的距离计算操作，将不同表项子空间中的相交值作为距离进行选择性距离计算，从而以很小的搜索质量下降为代价大大加速搜索速度，进而提高基于ivfpq的anns的搜索效率。

技术特征：

1.一种基于光线追踪相交的近似近邻搜索方法，其特征在于，包括：

2.根据权利要求1所述的基于光线追踪相交的近似近邻搜索方法，其特征在于，过滤搜索点以获取编码本条目包括：

3.根据权利要求2所述的基于光线追踪相交的近似近邻搜索方法，其特征在于，基于光线追踪相交情况筛选所述编码本条目以构建子空间距离查询表包括：

4.根据权利要求3所述的基于光线追踪相交的近似近邻搜索方法，其特征在于，所述查询点投影处投射射线与所述球体相交以筛选必要编码本条目包括：

5.根据权利要求4所述的基于光线追踪相交的近似近邻搜索方法，其特征在于，计算所述必要编码本条目与所述查询点投影的距离以构建所述子空间距离查询表包括：

6.根据权利要求5所述的基于光线追踪相交的近似近邻搜索方法，其特征在于，根据所述射线与所述球体、所述子球体的相交情况计算所述必要编码本条目与所述查询点投影的距离包括：

7.根据权利要求5所述的基于光线追踪相交的近似近邻搜索方法，其特征在于，基于所述子空间距离查询表和所述子空间级反向索引计算距离以获取近似近邻搜索结果包括：

8.一种基于光线追踪相交的近似近邻搜索系统，其特征在于，包括：

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于光线追踪相交的近似近邻搜索方法。

10.一种电子设备，其特征在于，所述设备包括：

技术总结
本申请提供一种基于光线追踪相交的近似近邻搜索方法、系统、介质及设备，所述方法包括过滤搜索点以获取编码本条目与子空间级反向索引；基于光线追踪相交情况筛选所述编码本条目以构建子空间距离查询表；基于所述子空间距离查询表与所述子空间级反向索引查询距离以获取近似近邻搜索结果。本申请通过使用光线追踪相交测试取代子空间距离查询表构建中的距离计算操作，将不同表项子空间中的相交值作为距离进行选择性距离计算，进而提高基于IVFPQ的ANNS的搜索效率。

技术研发人员：冷静文,刘子汉,卢淑文,于昌明,李超,过敏意
受保护的技术使用者：上海交通大学
技术研发日：
技术公布日：2024/1/16