一种用于公共安全领域大数据知识库的自动化构建方法与流程

本发明涉及一种大数据知识库的自动化构建方法，具体涉及一种用于公共安全领域大数据知识库的自动化构建方法。

背景技术：

信息技术的发展不断推动着互联网技术的变革，搜索引擎由于使得用户寻找信息的范围缩小，已经成为人们查找海量信息不可或缺的工具。

知识库概念由谷歌公司最先提出，谷歌公司想在知识库项目的基础上，构建新一代的智能化搜索引擎。该搜索引擎的思想是从网页上获得各类知识的实体、属性信息，以及各实体之间的关联关系，从而建立知识的语义网络。传统的搜索引擎都是基于字符串的搜索，而不是根据相应的语义信息进行搜索，因此传统的搜索引擎可能会搜索出与语义毫不相关的信息，而仅仅包含该字符串，而基于知识库的搜索是基于语义分析的，因而搜索更加精确。

知识库的构建对于知识的展示与检索具有很高的研究价值，在国内百度和搜狗分别推出了“知心”和“知立方”来改善其搜索质量。清华大学建立了第一个大规模中英文跨语言知识库，中科院在开放网络的基础上研发了“人立方、事立方、知立方”的原型系统。

目前随着中国经济的高速发展以及对外经济的持续开放，结合近几年在公共安全领域内恐暴事件来看，传统公共安全领域业务面临作案手法高科技化、多样化、智能化的挑战，因此知识库越来越受到人们的关注。但目前知识库在公共安全领域内如何构建还没有成熟技术。

技术实现要素：

为解决上述问题，本发明提出一种用于公共安全领域大数据知识库的自动化构建方法，使安全知识库的编写变得有理可依、有据可查。

为实现上述目的，本发明提出如下技术方案：一种用于公共安全领域大数据知识库的自动化构建方法，其步骤包括：建立公共安全领域标准体系；建立实体映射库，将实体的主要属性存储到文件存储数据库，将数据推送至内存存储数据库，进行碎片实体自动化串联；构建公共安全领域知识库：对公共安全领域所有数据资源进行数据地图分类展示；从关系型数据库、开放数据库、半结构化网页、纯文本中进行文本深度挖掘，提取出结构化的实体、属性以及实体间的关系、事件，并在此基础上形成本体化的知识表达；对多源知识进行实体融合，消除矛盾和歧义，解决同名实体产生歧义的问题，完成公共安全领域知识库的构建。

通过人机协同模式进行语料标注不同数据资源对应数据的实体类型，根据数据元标准自动化标准不同实体的关联规则和标签规则，通过数据地图自动显示不同实体之间的关联关系。

通过权威度、冗余度、多样性、一致性进行知识验证，判断新知识是否正确。

通过对库密度、中心性特征、孤立节点和比例、属性填充率完成知识库的质量管控。

对构建的公共安全领域知识库进行优化，提升构建公共安全领域知识库的完整性。

采用数据挖掘分类算法对实体进行分析，对实体的属性、关联、标签进行自动关联。

通过公共安全领域知识库的建模数据、公共安全领域实体映射库的数据、用户搜索行为数据，通过变长命令序列检测模型分析用户搜索意图，根据用户搜索行为数据建立序列，定义一个集合c＝{l(1)<l(2)<…<l(n)}，在样本序列库建立映射，明确n确定的情况下，c的取值不同范围，进而完成公共安全领域搜索意图解析器的构建，其中，用户搜索行为数据指的是用户搜索关键词、点击搜索选中数据。

相对现有技术，本发明用于公共安全领域大数据知识库的自动化构建方法的有益效果：安全知识库的编写提供了基本的规则，使安全知识库的编写变得有理可依、有据可查。

附图说明

图1为本发明用于公共安全领域大数据知识库的自动化构建方法的流程图；

图2为发明公共安全领域知识库的流程图。

具体实施方式

参照图1，为本发明为用于公共安全领域大数据知识库的自动化构建方法的流程图。

一种用于公共安全领域大数据知识库的自动化构建方法，其步骤包括：

步骤s1，建立公共安全领域标准体系；

根据公共安全所涉及领域建立标准体系，确保多源异构数据的融汇贯通和深度智能挖掘有章可循；

步骤s2，建立公共安全领域实体映射库，将实体的主要属性存储到文件存储数据库，将数据推送至内存存储数据库，进行碎片实体自动化串联；

具体的，通过公共安全领域知识库的建模数据、公共安全领域实体映射库的数据、用户搜索行为数据，通过变长命令序列检测模型分析用户搜索意图，根据用户搜索行为数据建立序列，定义一个集合c＝{l(1)<l(2)<…<l(n)}，在样本序列库建立映射，明确n确定的情况下，c的取值不同范围，进而完成公共安全领域搜索意图解析器的构建，其中，用户搜索行为数据指的是用户搜索关键词、点击搜索选中数据。

步骤s3，将数据抽象成实体、关系、事件三大类，构建公共安全领域知识库：

步骤s31，通过知识建模工具对公共安全领域所有数据资源进行数据地图分类展示，

通过人机协同模式进行语料标注不同数据资源对应数据的实体类型，根据数据元标准自动化标准不同实体的关联规则和标签规则，通过数据地图自动显示不同实体之间的关联关系。

步骤s32，依托机器学习和深度学习服务进行文本深度挖掘，提取出结构化的实体、属性以及实体间的关系、事件，并在此基础上形成本体化的知识表达，从关系型数据库、开放数据库、半结构化网页、纯文本中进行文本深度挖掘，提取出结构化的实体、属性以及实体间的关系、事件，并在此基础上形成本体化的知识表达；

采用数据挖掘分类算法对实体进行分析，对实体的属性、关联、标签进行自动关联。

步骤s33，对多源知识进行实体融合，消除矛盾和歧义，解决同名实体产生歧义的问题，完成公共安全领域知识库的构建。

步骤s4，通过权威度、冗余度、多样性、一致性进行知识验证，判断新知识是否正确；通过对库密度、中心性特征、孤立节点和比例、属性填充率完成知识库的质量管控。

步骤s5，对构建的公共安全领域知识库进行优化，提升构建公共安全领域知识库的完整性。

当然，本技术领域内的一般技术人员应当认识到，上述实施例仅是用来说明本发明，而并非用作对本发明的限定，只要在本发明的实质精神范围内，对上述实施例的变化、变型都将落在本发明权利要求的范围内。

技术特征：

1.一种用于公共安全领域大数据知识库的自动化构建方法，其特征在于，其步骤包括：

步骤s1，建立公共安全领域标准体系；

步骤s2，建立实体映射库，将实体的主要属性存储到文件存储数据库，将数据推送至内存存储数据库，进行碎片实体自动化串联；

步骤s3，构建公共安全领域知识库：

步骤s31，对公共安全领域所有数据资源进行数据地图分类展示；

步骤s32，从关系型数据库、开放数据库、半结构化网页、纯文本中进行文本深度挖掘，提取出结构化的实体、属性以及实体间的关系、事件，并在此基础上形成本体化的知识表达；

步骤s33，对多源知识进行实体融合，消除矛盾和歧义，解决同名实体产生歧义的问题，完成公共安全领域知识库的构建。

2.如权利要求1所述的用于公共安全领域大数据知识库的自动化构建方法，其特征在于，在上述步骤s31中，通过人机协同模式进行语料标注不同数据资源对应数据的实体类型，根据数据元标准自动化标准不同实体的关联规则和标签规则，通过数据地图自动显示不同实体之间的关联关系。

3.根据权利要求1所述的用于公共安全领域大数据知识库的自动化构建方法，其特征在于，还包括:步骤s4，通过权威度、冗余度、多样性、一致性进行知识验证，判断新知识是否正确。

4.根据权利要求3所述的用于公共安全领域大数据知识库的自动化构建方法，其特征在于，上述步骤s4中，通过对库密度、中心性特征、孤立节点和比例、属性填充率完成知识库的质量管控。

5.根据权利要求2所述的用于公共安全领域大数据知识库的自动化构建方法，其特征在于，还包括：步骤s5，对构建的公共安全领域知识库进行优化，提升构建公共安全领域知识库的完整性。

6.根据权利要求1所述的用于公共安全领域大数据知识库的自动化构建方法，其特征在于，在上述s32步骤中，采用数据挖掘分类算法对实体进行分析，对实体的属性、关联、标签进行自动关联。

7.根据权利要求2所述的用于公共安全领域大数据知识库的自动化构建方法，其特征在于，还包括：所涉及自动化构建方法的实现过程还包括步骤s34,通过公共安全领域知识库的建模数据、公共安全领域实体映射库的数据、用户搜索行为数据，通过变长命令序列检测模型分析用户搜索意图，根据用户搜索行为数据建立序列，定义一个集合c＝{l(1)<l(2)<…<l(n)}，在样本序列库建立映射，明确n确定的情况下，c的取值不同范围，进而完成公共安全领域搜索意图解析器的构建，其中，用户搜索行为数据指的是用户搜索关键词、点击搜索选中数据。

技术总结
本发明提供一种用于公共安全领域大数据知识库的自动化构建方法，其步骤包括：建立公共安全领域标准体系；建立实体映射库，将实体的主要属性存储到文件存储数据库，将数据推送至内存存储数据库，进行碎片实体自动化串联；构建公共安全领域知识库：对公共安全领域所有数据资源进行数据地图分类展示；从关系型数据库、开放数据库、半结构化网页、纯文本中进行文本深度挖掘，提取出结构化的实体、属性以及实体间的关系、事件，并在此基础上形成本体化的知识表达；对多源知识进行实体融合，消除矛盾和歧义，解决同名实体产生歧义的问题，完成公共安全领域知识库的构建。有益效果：安全知识库的编写提供了基本的规则，使安全知识库的编写变得有理可依、有据可查。

技术研发人员：董大旻;韩军华
受保护的技术使用者：飞越无限(苏州)科技发展有限公司
技术研发日：2019.08.27
技术公布日：2019.12.06