计算搜索服务器文本匹配程度的方法、装置以及存储介质与流程

本发明属于搜索服务器算法技术领域，具体涉及一种计算搜索服务器文本匹配程度的方法、装置以及存储介质。

背景技术：

elasticsearch是一个分布式、高扩展、高实时的搜索与数据分析引擎，使用elasticsearch时，对于查询出的文档数据会有文档相似度之分。而理想的排序是和查询条件相关性越高排序越靠前，而这个排序的依据就是_score，开源的_score计算方法多为依据词频/逆向文档频率来计算的，方法局限，且多应用于文档数据及根据某个或几个字段进行评分排序，而在一定程度上具有不准确性及应用单一性。

此为现有技术中存在的缺陷和不足；有鉴于此，本发明提供一种计算搜索服务器文本匹配程度的方法、装置以及存储介质；以解决现有技术中存在的缺陷和不足。

技术实现要素：

针对现有技术的上述不足，本发明提供一种计算搜索服务器文本匹配程度的方法、装置以及存储介质，以解决上述技术问题。

为实现上述目的，本发明给出以下技术方案：

第一方面，本发明提供一种计算搜索服务器文本匹配程度的方法，包括以下步骤：

s1：数据收集的步骤；

对存储在分布式文件存储系统中的数据或是存储在hive数据仓中的数据进行收集；

s2：数据预处理的步骤；

对收集到的数据进行预处理，对数据的缺失、重复以及异常进行处理；并获取数据的缺失值、重复值以及异常值。

s3：因子分析的步骤；

通过因子对数据进行简化，获取数据之间的依赖关系；

因子分析是一种降维，简化数据的技术，通过研究多变量之间的内部依赖关系，使用少数“抽象变量”来表示基本的数据结构，即叫做“因子”，能用这些因子反应原来众多变量的主要信息。实际应用中，在数据量大，且多维的情况下，避免维灾难的问题发生，通常多用降维的技术来达到目的；更重要的是鉴于后面朴素贝叶斯算法依据于特征条件独立，所以使用因子分析的方法来达到特征条件独立的条件。这样使数据更具有代表性，也使结果提高了准确性。

s4：数据离散化的步骤；

对于连续特征数据，采用特征离散的方法对数据进行处理；在增强鲁棒性同时也能起到简化模型以及降低模型过拟合的风险。

s5：获取文本匹配程度的步骤；

调用朴素贝叶斯分类算法，统一以下模型计算概率：

其中，b为类别，a为特征；

上述公式求得的概率结果作为文本匹配程度值。即得到elasticsearch每个文档的一个对应评分，再实际应用中也可以筛选出评分相对高的文档，从而进一步进行分析，发现潜在的规律。

作为优选，该计算搜索服务器文本匹配程度的方法还包括以下步骤：

s6：将步骤s1-s5集成于应用程序编程接口；开发完成之后，可以将其封装成api的形式并集成于elasticsearch，这样大大了简化了使用者的操作，通过直接调用api的方法进行分析及结果的查看。

作为优选，所述步骤s4中，

离散方法采用无监督方法或者有监督方法。无监督方法又包含分箱法(等宽和等频)和直观划分法；有监督方法又包含1r方法、基于卡方的离散方法以及基于熵的离散方法。

第二方面，本发明提供一种计算搜索服务器文本匹配程度的装置，包括：

数据收集模块，对存储在分布式文件存储系统中的数据或是存储在hive数据仓中的数据进行收集；

数据预处理模块，对收集到的数据进行预处理，对数据的缺失、重复以及异常进行处理；并获取数据的缺失值、重复值以及异常值。

因子分析模块，通过因子对数据进行简化，获取数据之间的依赖关系；

因子分析是一种降维，简化数据的技术，通过研究多变量之间的内部依赖关系，使用少数“抽象变量”来表示基本的数据结构，即叫做“因子”，能用这些因子反应原来众多变量的主要信息。实际应用中，在数据量大，且多维的情况下，避免维灾难的问题发生，通常多用降维的技术来达到目的；更重要的是鉴于后面朴素贝叶斯算法依据于特征条件独立，所以使用因子分析的方法来达到特征条件独立的条件。这样使数据更具有代表性，也使结果提高了准确性。

数据离散化模块，对于连续特征数据，采用特征离散的方法对数据进行处理；在增强鲁棒性同时也能起到简化模型以及降低模型过拟合的风险。

文本匹配程度计算模块，调用朴素贝叶斯分类算法，统一以下模型计算概率：

其中，b为类别，a为特征；

上述公式求得的概率结果作为文本匹配程度值。即得到elasticsearch每个文档的一个对应评分，再实际应用中也可以筛选出评分相对高的文档，从而进一步进行分析，发现潜在的规律。

作为优选，该装置还包括编程接口集成模块，将数据收集模块，数据预处理模块，因子分析模块，数据离散化模块，文本匹配程度计算模块封装成api并集成于搜索服务中；简化了使用者的操作，通过直接调用api的方法进行分析及结果的查看。

作为优选，所述数据离散化模块中，离散方法采用无监督方法或者有监督方法。无监督方法又包含分箱法(等宽和等频)和直观划分法；有监督方法又包含1r方法、基于卡方的离散方法以及基于熵的离散方法。

第三方面，本发明提供一种计算机存储介质，所述计算机存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面的方法。

第四方面，本发明提供一种终端，包括：

处理器、存储器，其中，

该存储器用于存储计算机程序，

该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述第一方面的方法。

第五方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面的方法。

本发明的有益效果在于，解决了开源计算匹配程度单一方法及对数据不同要求的问题，扩展其功能，同时也增强了实际应用性及广泛性。

此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的一种计算搜索服务器文本匹配程度的方法的流程图。

图2是本发明提供的一种计算搜索服务器文本匹配程度的装置的原理框图。

其中，1-数据收集模块，2-数据预处理模块，3-因子分析模块，4-数据离散化模块，5-文本匹配程度计算模块，6-编程接口集成模块。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

实施例1：

如图1所示，本实施例提供的一种计算搜索服务器文本匹配程度的方法，包括以下步骤：

s1：数据收集的步骤；

对存储在分布式文件存储系统中的数据或是存储在hive数据仓中的数据进行收集；

s2：数据预处理的步骤；

对收集到的数据进行预处理，对数据的缺失、重复以及异常进行处理；并获取数据的缺失值、重复值以及异常值。

s3：因子分析的步骤；

通过因子对数据进行简化，获取数据之间的依赖关系；

因子分析是一种降维，简化数据的技术，通过研究多变量之间的内部依赖关系，使用少数“抽象变量”来表示基本的数据结构，即叫做“因子”，能用这些因子反应原来众多变量的主要信息。实际应用中，在数据量大，且多维的情况下，避免维灾难的问题发生，通常多用降维的技术来达到目的；更重要的是鉴于后面朴素贝叶斯算法依据于特征条件独立，所以使用因子分析的方法来达到特征条件独立的条件。这样使数据更具有代表性，也使结果提高了准确性。

s4：数据离散化的步骤；

对于连续特征数据，采用特征离散的方法对数据进行处理；在增强鲁棒性同时也能起到简化模型以及降低模型过拟合的风险。离散方法采用无监督方法或者有监督方法。无监督方法又包含分箱法(等宽和等频)和直观划分法；有监督方法又包含1r方法、基于卡方的离散方法以及基于熵的离散方法。

s5：获取文本匹配程度的步骤；

调用朴素贝叶斯分类算法，统一以下模型计算概率：

其中，b为类别，a为特征；

上述公式求得的概率结果作为文本匹配程度值。即得到elasticsearch每个文档的一个对应评分，再实际应用中也可以筛选出评分相对高的文档，从而进一步进行分析，发现潜在的规律。

s6：将步骤s1-s5集成于应用程序编程接口；开发完成之后，可以将其封装成api的形式并集成于elasticsearch，这样大大了简化了使用者的操作，通过直接调用api的方法进行分析及结果的查看。

实施例2：

如图2所示，本实施例提供一种计算搜索服务器文本匹配程度的装置，包括：

数据收集模块1，对存储在分布式文件存储系统中的数据或是存储在hive数据仓中的数据进行收集；

数据预处理模块2，对收集到的数据进行预处理，对数据的缺失、重复以及异常进行处理；并获取数据的缺失值、重复值以及异常值。

因子分析模块3，通过因子对数据进行简化，获取数据之间的依赖关系；

因子分析是一种降维，简化数据的技术，通过研究多变量之间的内部依赖关系，使用少数“抽象变量”来表示基本的数据结构，即叫做“因子”，能用这些因子反应原来众多变量的主要信息。实际应用中，在数据量大，且多维的情况下，避免维灾难的问题发生，通常多用降维的技术来达到目的；更重要的是鉴于后面朴素贝叶斯算法依据于特征条件独立，所以使用因子分析的方法来达到特征条件独立的条件。这样使数据更具有代表性，也使结果提高了准确性。

数据离散化模块4，对于连续特征数据，采用特征离散的方法对数据进行处理；在增强鲁棒性同时也能起到简化模型以及降低模型过拟合的风险。离散方法采用无监督方法或者有监督方法。无监督方法又包含分箱法(等宽和等频)和直观划分法；有监督方法又包含1r方法、基于卡方的离散方法以及基于熵的离散方法。

文本匹配程度计算模块5，调用朴素贝叶斯分类算法，统一以下模型计算概率：

其中，b为类别，a为特征；

上述公式求得的概率结果作为文本匹配程度值。即得到elasticsearch每个文档的一个对应评分，再实际应用中也可以筛选出评分相对高的文档，从而进一步进行分析，发现潜在的规律。

编程接口集成模块6，将数据收集模块，数据预处理模块，因子分析模块，数据离散化模块，文本匹配程度计算模块封装成api并集成于搜索服务中；简化了使用者的操作，通过直接调用api的方法进行分析及结果的查看。

实施例3：

本实施例提供一种计算机存储介质，所述计算机存储介质中存储有指令，当其在计算机上运行时，使得计算机执行实施例1的方法。

实施例4：

本实施例提供一种终端，包括：

处理器、存储器，其中，

该存储器用于存储计算机程序，

该处理器用于从存储器中调用并运行该计算机程序，使得终端执行实施例1的方法。

实施例5：

本实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行实施例1的方法。

尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。