基于数字序列的数据检索方法、装置及设备与流程

1.本公开涉及数据检索技术领域，特别是涉及一种基于数字序列的数据检索方法、装置及设备。


背景技术：

2.随着计算机技术以及通讯技术的快速发展，如今的数字化时代，如何快速、准确地进行数据查找就尤为重要了。在数据存储时，通常基于接收数据的先后顺序进行顺序写入，而在数据写入时可以将数据分为结构化数据和非结构化数据。其中，结构化数据是可以称为数字化的数据信息，可以方便地通过计算机和数据库技术进行检索和管理。非结构化数据则是无法完全进行数字化的数据，这些非结构数据同结构化数据一样，拥有大量的有价值的信息，这类非结构化数据不仅在存储时难度较大，在数据检索时同样难度较大，难以做到快速、准确地检索。
3.具体在于，非结构化数据指数据的形式相对不固定，常常是各种格式的文件。相比于结构化数据而言，不容易用关系模型进行描述，从而导致数据检索是检索速度较慢，检索准确性较低。相关技术中，对于结构化数据的检索，可以通过建立数据库索引，实现快速、准确的检索。而对于非结构式数据的检索，一般通过标注、摘要等形式进行存储，以便于检索。然而，这样的方式不仅增加了存储时的工作量，在数据检索时，需要先根据标注、摘要进行数据存储地址定位，检索耗时，并且标注和摘要存在相似性，同样会导致检索准确性较低。


技术实现要素：

4.基于此，有必要针对通过标注、摘要对非结构式数据进行存储时，数据检索耗时且准确性较低的问题，提供一种基于数字序列的数据检索方法、装置及设备。
5.本公开第一方面，提供一种基于数字序列的数据检索方法，所述方法包括：
6.接收待检索数据请求，所述待检索数据请求中携带有待检索数据信息和词条拆解原则，其中，所述词条拆解原则包括结构式数据拆解原则和非结构式数据拆解原则；
7.根据所述词条拆解原则，对所述待检索数据请求中的待检索信息进行词条拆解，并对词条拆解后的待检索信息中的词条进行检索式重排，得到预用检索式集合；
8.对所述预用检索式集合中的各预用检索式的词性分类，并计算每一分类后的预用检索式相对该分类中其他预用检索式的皮尔逊相关系数，并计算各所述皮尔逊相关系数的平均值和方差；
9.基于高斯定理，根据各所述皮尔逊相关系数的平均值、方差、各所述皮尔逊相关系数，对每一分类中的预用检索式进行相似性判断，并根据相似性判断结果对每一分类中的预用检索式进行去重处理；
10.根据去重处理后的每一分类预用检索式进行编码，得到每一预用检索式对应的数字序列，根据所述每一预用检索式对应的数字序列，确定查询起始点、查询半径值和查询步进步数；
11.以所述查询起始点为圆心、且以所述查询步进步数为目标步进步数逐步在所述查询半径值为半径的圆形区域内进行数据检索，得到所述待检索数据信息对应的检索结果，并输出用于响应所述待检索数据请求的检索结果。
12.在其中一个实施例中，所述以所述查询起始点为圆心、且以所述查询步进步数为目标步进步数逐步在所述查询半径值为半径的圆形区域内进行数据检索，得到所述待检索数据信息对应的检索结果，并输出用于响应所述待检索数据请求的检索结果的步骤，包括：
13.以所述查询起始点为圆心，以初始查询半径为半径在所述查询半径值为半径的圆形区域内进行数据检索；
14.对所述初始查询半径执行加查询步进的操作，并根据执行加查询步进操作后的初始查询半径，在所述查询半径值为半径的圆形区域内进行数据检索；
15.循环执行所述对所述初始查询半径执行加查询步进的操作，到所述在所述查询半径值为半径的圆形区域内进行数据检索，直到加查询步进的次数达到所述查询步进步数。
16.在其中一个实施例中，所述输出用于响应所述待检索数据请求的检索结果，包括：
17.逐次将所述初始查询半径为半径对应的检索结果进行展示，并将执行加查询步进操作后的初始查询半径对应的检索结果进行展示。
18.在其中一个实施例中，所述待检索数据请求包括地理范围条件，所述根据所述每一预用检索式对应的数字序列，确定查询起始点、查询半径值和查询步进步数的步骤，包括：
19.通过数据接口将所述地理范围条件注入检索系统，从海量数据集中确定满足所述地理范围条件的查询半径值；
20.确定各所述预用检索式对应的数字序列中每一数字出现的频率，并将频率最大的序列所在的存储位置作为所述查询起始点；
21.确定各所述去重处理后的每一分类的数字序列中不同词性词条的数量，并将所述不同词性词条的数量的数值作为所述查询步进步数。
22.在其中一个实施例中，所述根据去重处理后的每一分类预用检索式进行编码，得到每一预用检索式对应的数字序列的步骤，包括：
23.给定最小信息单元，对最小信息单元进行编码，编码的结果为该信息单元的特征序列；
24.对所述最小信息单元进行增量编码，其中，所述编码的方式为：
25.信息序列按最小单元排列如下：i1、i2、i3、...、in；依次表示为最小单元1到最小单元n的排列，其中，i1的特征序列定义为：t1＝hash(n*i1)，i2的特征序列定义为：t2＝hash[(n-1)*t1+i2]，依此类推，in的特征序列定义为：tn＝hash(t
n-1
+in)。
[0026]
在其中一个实施例中，所述根据所述词条拆解原则，对所述待检索数据请求中的待检索信息进行词条拆解的步骤，包括：
[0027]
在所述待检索数据信息为结构式数据的情况下，按照8位字节对所述待检索数据请求中的待检索信息进行词条拆解，所述结构式数据拆解原则为所述按照8位字节进行拆解；
[0028]
在所述待检索数据信息为非结构式数据的情况下，对所述待检索数据信息进行逐字节滑动的异或计算，并根据异或计算结果对所述待检索数据请求中的待检索信息进行词
条拆解，所述非结构式数据拆解原则为逐字节滑动的异或计算。
[0029]
本公开第二方面，提供一种基于数字序列的数据检索装置，所述装置包括：
[0030]
接收模块，被配置为用于接收待检索数据请求，所述待检索数据请求中携带有待检索数据信息和词条拆解原则，其中，所述词条拆解原则包括结构式数据拆解原则和非结构式数据拆解原则；
[0031]
拆解模块，被配置为用于根据所述词条拆解原则，对所述待检索数据请求中的待检索信息进行词条拆解，并对词条拆解后的待检索信息中的词条进行检索式重排，得到预用检索式集合；
[0032]
分类模块，被配置为用于对所述预用检索式集合中的各预用检索式的词性分类，并计算每一分类后的预用检索式相对该分类中其他预用检索式的皮尔逊相关系数，并计算各所述皮尔逊相关系数的平均值和方差；
[0033]
去重模块，被配置为用于基于高斯定理，根据各所述皮尔逊相关系数的平均值、方差、各所述皮尔逊相关系数，对每一分类中的预用检索式进行相似性判断，并根据相似性判断结果对每一分类中的预用检索式进行去重处理；
[0034]
确定模块，被配置为用于根据去重处理后的每一分类预用检索式进行编码，得到每一预用检索式对应的数字序列，根据所述每一预用检索式对应的数字序列，确定查询起始点、查询半径值和查询步进步数；
[0035]
检索模块，被配置为用于以所述查询起始点为圆心、且以所述查询步进步数为目标步进步数逐步在所述查询半径值为半径的圆形区域内进行数据检索，得到所述待检索数据信息对应的检索结果，并输出用于响应所述待检索数据请求的检索结果。
[0036]
在其中一个实施例中，所述检索模块，被配置为用于：
[0037]
以所述查询起始点为圆心，以初始查询半径为半径在所述查询半径值为半径的圆形区域内进行数据检索；
[0038]
对所述初始查询半径执行加查询步进的操作，并根据执行加查询步进操作后的初始查询半径，在所述查询半径值为半径的圆形区域内进行数据检索；
[0039]
循环执行所述对所述初始查询半径执行加查询步进的操作，到所述在所述查询半径值为半径的圆形区域内进行数据检索，直到加查询步进的次数达到所述查询步进步数。
[0040]
在其中一个实施例中，所述检索模块，被配置为用于：
[0041]
逐次将所述初始查询半径为半径对应的检索结果进行展示，并将执行加查询步进操作后的初始查询半径对应的检索结果进行展示。
[0042]
在其中一个实施例中，所述待检索数据请求包括地理范围条件，所述确定模块，被配置为用于：
[0043]
通过数据接口将所述地理范围条件注入检索系统，从海量数据集中确定满足所述地理范围条件的查询半径值；
[0044]
确定各所述预用检索式对应的数字序列中每一数字出现的频率，并将频率最大的序列所在的存储位置作为所述查询起始点；
[0045]
确定各所述去重处理后的每一分类的数字序列中不同词性词条的数量，并将所述不同词性词条的数量的数值作为所述查询步进步数。
[0046]
在其中一个实施例中，所述确定模块，被配置为用于：
[0047]
给定最小信息单元，对最小信息单元进行编码，编码的结果为该信息单元的特征序列；
[0048]
对所述最小信息单元进行增量编码，其中，所述编码的方式为：
[0049]
信息序列按最小单元排列如下：i1、i2、i3、...、in；依次表示为最小单元1到最小单元n的排列，其中，i1的特征序列定义为：t1＝hash(n*i1)，i2的特征序列定义为：t2＝hash[(n-1)*t1+i2]，依此类推，in的特征序列定义为：tn＝hash(t
n-1
+in)。
[0050]
在其中一个实施例中，所述拆解模块，被配置为用于：
[0051]
在所述待检索数据信息为结构式数据的情况下，按照8位字节对所述待检索数据请求中的待检索信息进行词条拆解，所述结构式数据拆解原则为所述按照8位字节进行拆解；
[0052]
在所述待检索数据信息为非结构式数据的情况下，对所述待检索数据信息进行逐字节滑动的异或计算，并根据异或计算结果对所述待检索数据请求中的待检索信息进行词条拆解，所述非结构式数据拆解原则为逐字节滑动的异或计算。
[0053]
本公开第三方面，提供一种电子设备，包括：
[0054]
存储器，其上存储有计算机程序；
[0055]
处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面中任意一项所述基于数字序列的数据检索方法的步骤。
[0056]
上述基于数字序列的数据检索方法通过接收待检索数据请求，待检索数据请求中携带有待检索数据信息和词条拆解原则；根据词条拆解原则，对待检索数据请求中的待检索信息进行词条拆解，并对词条拆解后的待检索信息中的词条进行检索式重排，得到预用检索式集合；对预用检索式集合中的各预用检索式的词性分类，并计算每一分类后的预用检索式相对该分类中其他预用检索式的皮尔逊相关系数，并计算各皮尔逊相关系数的平均值和方差；基于高斯定理，根据各皮尔逊相关系数的平均值、方差、各皮尔逊相关系数，对每一分类中的预用检索式进行相似性判断，并根据相似性判断结果对每一分类中的预用检索式进行去重处理；根据去重处理后的每一分类预用检索式进行编码，得到每一预用检索式对应的数字序列，根据每一预用检索式对应的数字序列，确定查询起始点、查询半径值和查询步进步数；以查询起始点为圆心、且以查询步进步数为目标步进步数逐步在查询半径值为半径的圆形区域内进行数据检索，得到待检索数据信息对应的检索结果，并输出用于响应待检索数据请求的检索结果。降低了数据检索耗时且提高了检索准确性。
附图说明
[0057]
图1为其中一个实施例的基于数字序列的数据检索方法的流程图。
[0058]
图2为其中一个实施例的基于数字序列的数据检索装置的框图。
具体实施方式
[0059]
为使本公开的上述目的、特征和优点能够更加明显易懂，下面结合附图对本公开的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本公开。但是本公开能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本公开内涵的情况下做类似改进，因此本公开不受下面公开的具体实施例的限制。
[0060]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。
[0061]
图1为其中一个实施例的基于数字序列的数据检索方法的流程图，如图1所示，该方法包括以下步骤：
[0062]
在步骤s11中，接收待检索数据请求，所述待检索数据请求中携带有待检索数据信息和词条拆解原则，其中，所述词条拆解原则包括结构式数据拆解原则和非结构式数据拆解原则；
[0063]
在步骤s12中，根据所述词条拆解原则，对所述待检索数据请求中的待检索信息进行词条拆解，并对词条拆解后的待检索信息中的词条进行检索式重排，得到预用检索式集合；
[0064]
在步骤s13中，对所述预用检索式集合中的各预用检索式的词性分类，并计算每一分类后的预用检索式相对该分类中其他预用检索式的皮尔逊相关系数，并计算各所述皮尔逊相关系数的平均值和方差；
[0065]
在步骤s14中，基于高斯定理，根据各所述皮尔逊相关系数的平均值、方差、各所述皮尔逊相关系数，对每一分类中的预用检索式进行相似性判断，并根据相似性判断结果对每一分类中的预用检索式进行去重处理；
[0066]
在步骤s15中，根据去重处理后的每一分类预用检索式进行编码，得到每一预用检索式对应的数字序列，根据所述每一预用检索式对应的数字序列，确定查询起始点、查询半径值和查询步进步数；
[0067]
在步骤s16中，以所述查询起始点为圆心、且以所述查询步进步数为目标步进步数逐步在所述查询半径值为半径的圆形区域内进行数据检索，得到所述待检索数据信息对应的检索结果，并输出用于响应所述待检索数据请求的检索结果。
[0068]
上述基于数字序列的数据检索方法通过接收待检索数据请求，待检索数据请求中携带有待检索数据信息和词条拆解原则；根据词条拆解原则，对待检索数据请求中的待检索信息进行词条拆解，并对词条拆解后的待检索信息中的词条进行检索式重排，得到预用检索式集合；对预用检索式集合中的各预用检索式的词性分类，并计算每一分类后的预用检索式相对该分类中其他预用检索式的皮尔逊相关系数，并计算各皮尔逊相关系数的平均值和方差；基于高斯定理，根据各皮尔逊相关系数的平均值、方差、各皮尔逊相关系数，对每一分类中的预用检索式进行相似性判断，并根据相似性判断结果对每一分类中的预用检索式进行去重处理；根据去重处理后的每一分类预用检索式进行编码，得到每一预用检索式对应的数字序列，根据每一预用检索式对应的数字序列，确定查询起始点、查询半径值和查询步进步数；以查询起始点为圆心、且以查询步进步数为目标步进步数逐步在查询半径值为半径的圆形区域内进行数据检索，得到待检索数据信息对应的检索结果，并输出用于响应待检索数据请求的检索结果。降低了数据检索耗时且提高了检索准确性。
[0069]
在其中一个实施例中，在步骤s16中，所述以所述查询起始点为圆心、且以所述查询步进步数为目标步进步数逐步在所述查询半径值为半径的圆形区域内进行数据检索，得到所述待检索数据信息对应的检索结果，并输出用于响应所述待检索数据请求的检索结果的步骤，包括：
[0070]
以所述查询起始点为圆心，以初始查询半径为半径在所述查询半径值为半径的圆形区域内进行数据检索；
[0071]
对所述初始查询半径执行加查询步进的操作，并根据执行加查询步进操作后的初始查询半径，在所述查询半径值为半径的圆形区域内进行数据检索；
[0072]
循环执行所述对所述初始查询半径执行加查询步进的操作，到所述在所述查询半径值为半径的圆形区域内进行数据检索，直到加查询步进的次数达到所述查询步进步数。
[0073]
在其中一个实施例中，在步骤s16中，所述输出用于响应所述待检索数据请求的检索结果，包括：
[0074]
逐次将所述初始查询半径为半径对应的检索结果进行展示，并将执行加查询步进操作后的初始查询半径对应的检索结果进行展示。
[0075]
在其中一个实施例中，所述待检索数据请求包括地理范围条件，在步骤s15中，所述根据所述每一预用检索式对应的数字序列，确定查询起始点、查询半径值和查询步进步数的步骤，包括：
[0076]
通过数据接口将所述地理范围条件注入检索系统，从海量数据集中确定满足所述地理范围条件的查询半径值；
[0077]
确定各所述预用检索式对应的数字序列中每一数字出现的频率，并将频率最大的序列所在的存储位置作为所述查询起始点；
[0078]
确定各所述去重处理后的每一分类的数字序列中不同词性词条的数量，并将所述不同词性词条的数量的数值作为所述查询步进步数。
[0079]
在其中一个实施例中，在步骤s14中，所述根据去重处理后的每一分类预用检索式进行编码，得到每一预用检索式对应的数字序列的步骤，包括：
[0080]
给定最小信息单元，对最小信息单元进行编码，编码的结果为该信息单元的特征序列；
[0081]
对所述最小信息单元进行增量编码，其中，所述编码的方式为：
[0082]
信息序列按最小单元排列如下：i1、i2、i3、...、in；依次表示为最小单元1到最小单元n的排列，其中，i1的特征序列定义为：t1＝hash(n*i1)，i2的特征序列定义为：t2＝hash[(n-1)*t1+i2]，依此类推，in的特征序列定义为：tn＝hash(t
n-1
+in)。
[0083]
在其中一个实施例中，在步骤s12中，所述根据所述词条拆解原则，对所述待检索数据请求中的待检索信息进行词条拆解的步骤，包括：
[0084]
在所述待检索数据信息为结构式数据的情况下，按照8位字节对所述待检索数据请求中的待检索信息进行词条拆解，所述结构式数据拆解原则为所述按照8位字节进行拆解；
[0085]
在所述待检索数据信息为非结构式数据的情况下，对所述待检索数据信息进行逐字节滑动的异或计算，并根据异或计算结果对所述待检索数据请求中的待检索信息进行词条拆解，所述非结构式数据拆解原则为逐字节滑动的异或计算。
[0086]
基于相同的发明构思，本公开的实施例还提供一种基于数字序列的数据检索装置，图2为其中一个实施例的基于数字序列的数据检索装置的框图，所述装置200包括：
[0087]
接收模块210，被配置为用于接收待检索数据请求，所述待检索数据请求中携带有待检索数据信息和词条拆解原则，其中，所述词条拆解原则包括结构式数据拆解原则和非
结构式数据拆解原则；
[0088]
拆解模块220，被配置为用于根据所述词条拆解原则，对所述待检索数据请求中的待检索信息进行词条拆解，并对词条拆解后的待检索信息中的词条进行检索式重排，得到预用检索式集合；
[0089]
分类模块230，被配置为用于对所述预用检索式集合中的各预用检索式的词性分类，并计算每一分类后的预用检索式相对该分类中其他预用检索式的皮尔逊相关系数，并计算各所述皮尔逊相关系数的平均值和方差；
[0090]
去重模块240，被配置为用于基于高斯定理，根据各所述皮尔逊相关系数的平均值、方差、各所述皮尔逊相关系数，对每一分类中的预用检索式进行相似性判断，并根据相似性判断结果对每一分类中的预用检索式进行去重处理；
[0091]
确定模块250，被配置为用于根据去重处理后的每一分类预用检索式进行编码，得到每一预用检索式对应的数字序列，根据所述每一预用检索式对应的数字序列，确定查询起始点、查询半径值和查询步进步数；
[0092]
检索模块260，被配置为用于以所述查询起始点为圆心、且以所述查询步进步数为目标步进步数逐步在所述查询半径值为半径的圆形区域内进行数据检索，得到所述待检索数据信息对应的检索结果，并输出用于响应所述待检索数据请求的检索结果。
[0093]
在其中一个实施例中，所述检索模块260，被配置为用于：
[0094]
以所述查询起始点为圆心，以初始查询半径为半径在所述查询半径值为半径的圆形区域内进行数据检索；
[0095]
对所述初始查询半径执行加查询步进的操作，并根据执行加查询步进操作后的初始查询半径，在所述查询半径值为半径的圆形区域内进行数据检索；
[0096]
循环执行所述对所述初始查询半径执行加查询步进的操作，到所述在所述查询半径值为半径的圆形区域内进行数据检索，直到加查询步进的次数达到所述查询步进步数。
[0097]
在其中一个实施例中，所述检索模块260，被配置为用于：
[0098]
逐次将所述初始查询半径为半径对应的检索结果进行展示，并将执行加查询步进操作后的初始查询半径对应的检索结果进行展示。
[0099]
在其中一个实施例中，所述待检索数据请求包括地理范围条件，所述确定模块250，被配置为用于：
[0100]
通过数据接口将所述地理范围条件注入检索系统，从海量数据集中确定满足所述地理范围条件的查询半径值；
[0101]
确定各所述预用检索式对应的数字序列中每一数字出现的频率，并将频率最大的序列所在的存储位置作为所述查询起始点；
[0102]
确定各所述去重处理后的每一分类的数字序列中不同词性词条的数量，并将所述不同词性词条的数量的数值作为所述查询步进步数。
[0103]
在其中一个实施例中，所述确定模块250，被配置为用于：
[0104]
给定最小信息单元，对最小信息单元进行编码，编码的结果为该信息单元的特征序列；
[0105]
对所述最小信息单元进行增量编码，其中，所述编码的方式为：
[0106]
信息序列按最小单元排列如下：i1、i2、i3、...、in；依次表示为最小单元1到最小单
元n的排列，其中，i1的特征序列定义为：t1＝hash(n*i1)，i2的特征序列定义为：t2＝hash[(n-1)*t1+i2]，依此类推，in的特征序列定义为：tn＝hash(t
n-1
+in)。
[0107]
在其中一个实施例中，所述拆解模块220，被配置为用于：
[0108]
在所述待检索数据信息为结构式数据的情况下，按照8位字节对所述待检索数据请求中的待检索信息进行词条拆解，所述结构式数据拆解原则为所述按照8位字节进行拆解；
[0109]
在所述待检索数据信息为非结构式数据的情况下，对所述待检索数据信息进行逐字节滑动的异或计算，并根据异或计算结果对所述待检索数据请求中的待检索信息进行词条拆解，所述非结构式数据拆解原则为逐字节滑动的异或计算。
[0110]
本公开实施例还提供一种电子设备，包括：
[0111]
存储器，其上存储有计算机程序；
[0112]
处理器，用于执行所述存储器中的所述计算机程序，以实现前述中任意一项所述基于数字序列的数据检索方法的步骤。
[0113]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0114]
以上所述实施例仅表达了本公开的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对公开专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本公开构思的前提下，还可以做出若干变形和改进，这些都属于本公开的保护范围。因此，本公开专利的保护范围应以所附权利要求为准。