一种基于问答平台的数据处理方法和装置的制造方法
【技术领域】
[0001]本发明涉及数据处理技术领域，特别是涉及一种基于问答平台的数据处理方法和一种基于问答平台的数据处理装置。
【背景技术】
[0002]问答平台为用户提供的一个交流平台，用户可以在问答平台接受专家和其他网民等用户的帮助，同时也尽力给其他用户提供有效的帮助。问答平台的内容都是由用户产生，经过统计和挖掘，可以获得各方面有价值的信息。
[0003]基于问答平台挖掘相关实体时，通常是抽取问答平台中对同一个话题的相关问题，然后根据不同用户针对同一问题的回答来挖掘出相关的实体信息。例如，有关电动车的话题，对于问答平台中的问题1“买什么牌子的电动车最划算？ ”，用户A回答:“爱玛最近降价很多”;用户B回答:“我的是雅迪，挺不错”。对于问题2 “什么牌的电动车最省电？”，用户A回答:“爱玛的很费电”;用户B回答:“绿源的骑一周基本没问题。”由此可以得知“爱玛” “雅迪”和“绿源”都是相关实体的关键词。
[0004]但是，对于同一个问题，各用户的回答可能包含有很多不相关数据或者噪声，会导致数据挖掘的效率和精度较低。其中一种是由于答案数据对应的数据量往往过大，且不易量化答案的相关性，而导致产生很多不相关数据的计算，该计算并过程没有实际价值，进而导致数据挖掘的效率较低。例如，对于上述问题1，用户可能产生的不相关回答有“电动车老得充电不实用”、“骑自行车的飘过”等。还有一种是由于问题的不准确而导致回答中包含较多噪声答案，进而导致挖掘的精度下降。例如，对于上述问题2 “买什么牌子的车最划算？ ”，由于问题本身不明确，用户可能回答“爱玛”、“宝马”、“雅马哈”等不同种类的车的品牌，而实际上，它们分别是电动车、汽车和摩托车的品牌，在数据挖掘中通过统计词频等操作后“爱玛”、“宝马”、“雅马哈”等都会被算作是相关实体，产生混淆的概念，使得数据挖掘结果不准确，数据分析效率往往偏低。
【发明内容】
[0005]本发明实施例所要解决的技术问题是提供一种基于问答平台的数据处理方法，以解决数据挖掘的效率和精度较低的问题。
[0006]相应的，本发明实施例还提供了一种基于问答平台的数据处理装置，用以保证上述方法的实现及应用。
[0007]为了解决上述问题，本发明公开了一种基于问答平台的数据处理方法，包括:对从问答平台获取的各答案数据分别进行文本分析，确定各答案数据的相似度；根据所述问答平台记录的各项问题与答案数据之间的对应关系，按照所述相似度分别对各答案数据对应的问题进行聚类，得到各问题簇；分别对每个问题簇中的各项问题进行文本分析，提取所述问题簇中由各问题的关键词所构成的相关词对，其中，同一问题簇内的各关键词具有相关性。
[0008]可选的，所述对从问答平台获取的各答案数据分别进行文本分析，确定各答案数据的相似度，包括:对从问答平台获取的属于同一预设类别的各答案数据进行文本特征提取，获取答案数据的特征词汇；根据所述特征词汇计算各答案数据之间的相似度。
[0009]可选的，所述根据所述问答平台记录的各项问题与答案数据之间的对应关系，按照所述相似度分别对各答案数据对应的问题进行聚类，包括:根据所述问答平台记录的各项问题与答案数据之间的对应关系，分别查找每个答案数据对应的问题；按照所述各答案数据之间的相似度，对预设类别内的各项问题进行聚类，获取所述预设类别下聚类得到的各问题簇。
[0010]可选的，所述分别对每个问题簇中的各项问题进行文本分析，提取所述问题簇中由各问题的关键词所构成相关词对，包括:按照预设的实体词列表对同一问题簇的各项问题进行文本匹配，提取与所述实体词列表匹配的各关键词构成相关词对。
[0011]可选的，所述提取所述问题簇中由各问题的关键词所构成的相关词对，还包括:统计问题簇中每个关键词在问题和/或答案数据中出现的频次；采用出现的频次达到第一阈值的关键词构成相关词集合；记录各相关词集合，以及所述相关实体集合内每个关键词出现的频次。
[0012]可选的，还包括:从所述相关词对中查找与当前浏览页面中提取的关键词具有相关性的相关词，并在所述当前浏览页面中推荐所述相关词。
[0013]可选的，还包括:提取当前浏览页面中的关键词，以及所述关键词在页面中的位置权重；在相关词对中查找所述当前浏览页面中每个关键词所在的相关词集合；将所述相关词集合内出现的频次达到第二阈值的关键词作为所述关键词的相关词；按照所述关键词在页面中的位置权重和所述相关词出现的频次对所述相关词进行排序，按照排序结果在所述当前浏览页面中推荐所述相关词。
[0014]可选的，所述对从问答平台获取的各答案数据分别进行文本分析之前，还包括:从问答平台中获取问题以及问题对应的答案数据；对每个问题和对应的答案数据的文本进行特征提取；依据提取得到的特征对所述问题和答案数据进行分类，将所述问题和答案数据分别划分到既定的预设类别中。
[0015]本发明实施例还公开了一种基于问答平台的数据处理装置，包括:分析模块，用于对从问答平台获取的各答案数据分别进行文本分析，确定各答案数据的相似度；聚类模块，用于根据所述问答平台记录的各项问题与答案数据之间的对应关系，按照所述相似度分别对各答案数据对应的问题进行聚类，得到各问题簇；生成模块，用于分别对每个问题簇中的各项问题进行文本分析，提取所述问题簇中由各问题的关键词所构成的相关词对，其中同一问题族内的各关键词具有相关性。
[0016]可选的，所述分析模块，包括:特征提取子模块，用于对从问答平台获取的属于同一预设类别的各答案数据进行文本特征提取，获取答案数据的特征词汇；相似度计算子模块，用于根据所述特征词汇计算各答案数据之间的相似度。
[0017]可选的，所述聚类模块，包括:查找子模块，用于根据所述问答平台记录的各项问题与答案数据之间的对应关系，分别查找每个答案数据对应的问题；聚类子模块，用于按照所述各答案数据之间的相似度，对预设类别内的各项问题进行聚类，获取所述预设类别下聚类得到的各问题簇。
[0018]可选的，所述生成模块，用于按照预设的实体词列表对同一问题簇的各项问题的文本进行匹配，提取与所述实体词列表匹配的各关键词构成相关词对。
[0019]可选的，所述生成模块，还用于统计问题簇中每个关键词在问题和/或答案数据中出现的频次；采用出现的频次达到第一阈值的关键词构成相关词集合；记录各相关词集合，以及所述相关词集合内每个关键词出现的频次。
[0020]可选的，还包括:推荐模块，用于从所述相关词对中查找与当前浏览页面中提取的关键词具有相关性的相关词，并在所述当前浏览页面中推荐所述相关词。
[0021]可选的，还包括:提取模块，用于提取当前浏览页面中的实体词，以及所述实体词在页面中的位置权重；所述推荐模块，用于在相关词对中查找所述当前浏览页面中每个关键词所在的相关词集合；将所述相关词集合内出现的频次达到第二阈值的关键词作为所述关键词的相关词；按照所述关键词在页面中的位置权重和所述相关词出现的频次对所述相关词进行排序，按照排序结果在所述当前浏览页面中推荐所述相关词。
[0022]可选的，还包括:预处理模块，用于从问答平台中获取问题以及问题对应的答案数据；对每个问题和对应的答案数据的文本进行特征提取；依据提取得到的特征对所述问题和答案数据进行分类，将所述问题和答案数据分别划分到既定的预设类别中。
[0023]与现有技术相比，本发明实施例包括以下优点:
[0024]通过对问答平台的答案数据进行文本分析确定各答案数据的相似度，然后根据所述问答平台记录的各项问题与答案数据之间的对应关系，按照相似度分别对各答案数据对应的问题进行聚类，得到各问题簇，再分别从每个问题簇中提取具有相关性的相关词构成相关词对。对由于问题不精确而导致答案数据中噪声较大的情况，通过答案数据的相似度分析可以消除答案数据中的噪声，同时减少了对答案数据中不相关数据的处理，有效地量化了问题的相似性，既提高了数据的处理效率，又提高了数据处理的精度。
【附图说明】
[0025]图1是本发明的一种基于问答平台的数据处理方法实施例的步骤流程图；
[0026]图2是本发明的一种基于问答平台的数据处理方法可选实施例的步骤流程图；
[0027]图3是本发明实施例提供的基于该相关词进行推荐的方法流程图；
[0028]图4是本发明一种基于问答平台的数据处理装置实施例的结构框图；
[0029]图5是本发明一种基于问答平台的数据处理装置可选实施例的结构框图。
【具体实施方式】
[0030]为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和【具体实施方式】对本发明作进一步详细的说明。
[0031]本发明实施例的核心构思之一在于，提出一种基于问答平台的数据处理方法，以解决数据挖掘的效率和精度较低的问题。通过对问答平台的答案数据分别进行文本分析确定各答案数据的相似度，然后根据所述问答平台记录的各项问题与答案数据之间的对应关系，按照相似度分别对各答案数据对应的问题进行聚类，得到各问题簇，再分别从每个问题簇中提取具有相关性的相关词构成相关词对。对由于问题不精确而导致答案数据中噪声较大的情况，通过答案数据的相似度分析可以消除答案数据中的噪声，同时减少了对答案数据中不相关数据的处理，有效地量化了问题的相似性，既提高了数