一种不良语料内容检测装置和方法与流程

本发明涉及文字处理领域，特别是涉及一种不良语料内容检测装置和方法。

背景技术：

随着互联网的发展，网络检索的需求也越来越高，因此需要储备更多的关键词，以及语料，存储于云端的语料库中，供网民上网搜索时使用。为优化网络环境，往往需要对网络用户输入的词汇或语料进行不良内容检测，屏蔽不良内容的词汇或语料。

现有技术中，对于不良语料的检测方法通常采用统计方法，统计方法主要是根据不良信息词库来判断是否是不良内容，现有技术的缺点在于准确率不高，无法精确全面的检测到待检测内容中的全部不良内容，容易造成漏判。

技术实现要素：

本发明主要解决的技术问题是提供一种不良语料内容检测装置和方法，能够通过与已知语义框架种类进行比对，辨别待检测的语义框架是否为不良内容语料，能够对精确判断待检测语料是否为不良内容，防止漏判现象。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种不良语料内容检测装置，该装置包括：语义框架确定模块，用于对待检测语料进行分词，确定待检测语料的语义框架；检测标准设定模块，连接语料库和语义框架确定模块，用于将语料库中的语料传输到语义框架确定模块，以提取语料库中语料的语义框架，同时提取对语料库进行分词处理时得到的不良内容词汇；检测模块，用于比对待检测语料的分词结果和不良内容词汇，并比对待检测语义框架和全部语义框架，确定待检测语料是否为不良语料内容。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种不良语料内容检测方法，该方法的步骤包括：对待检测语料进行分词，确定待检测语料的语义框架；提取语料库中语料的语义框架，同时提取对语料库进行分词处理时得到的不良内容词汇；比对待检测语料的分词结果和不良内容词汇，并比对待检测语义框架和全部语义框架，确定待检测语料是否为不良语料内容。

区别于现有技术，本发明的不良语料内容检测装置通过对待检测的语料进行分词处理，分词后根据语料中每一分词的语义确定其语义框架，通过和已知的语义框架进行比较，确定是否为不良语料内容。通过本发明，能够通过与已知语义框架种类进行比对，辨别待检测的语义框架是否为不良内容语料，能够对精确判断待检测语料是否为不良内容，防止漏判现象。

附图说明

图1是本发明提供的一种不良语料内容检测装置的实施方式的结构示意图；

图2是本发明提供的一种不良语料内容检测方法的实施方式的流程示意图。

具体实施方式

下面结合具体实施方式对本发明的技术方案作进一步更详细的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

语料库的建设是统计学习方法的重要基础，近年来，语料库资源对于自然语言研究的巨大价值已经得到越来越多的认可。特别是双语语料库(Bilingual Corpus)，已经成为机器翻译、机器辅助翻译以及翻译知识获取研究不可或缺的重要资源。一方面，双语语料库的出现直接推动了机器翻译新技术的发展，像平行语料库为统计机器翻译的模型构建提供了必不可少的训练数据，基于统计(Statistic-Based)和基于实例(Example-Based)等基于语料库的翻译方法为机器翻译研究提供了新的思路，有效改善了翻译质量，在机器翻译研究领域掀起了新的高潮。另一方面，双语语料库又是获取翻译知识的重要来源，从中可以挖掘学习各种细粒度的翻译知识，如翻译词典和翻译模板，从而改进传统的机器翻译技术。此外，双语语料库也是跨语言信息检索，翻译词典编撰、双语术语自动提取以及多语言对比研究等的重要基础资源。当前的网络中，为创建健康网络环境，需要对网络现有的语料以及网络用户实时输入的语料的内容进行诊断检测。语料库内容的不断丰富壮大，给语料库内容的检测带来困难。

参阅图1，图1是本发明提供的一种不良语料内容检测装置的实施方式的结构示意图。该装置100包括：语义框架确定模块110、检测标准设定模块120和检测模块130，其中，检测标准设定模块120连接到语义框架确定模块110和语料库101。

语料库101是指经科学取样和加工的大规模电子文本库。借助计算机分析工具，研究者可开展相关的语言理论及应用研究。语料库有多种类型，确定类型的主要依据是它的研究目的和用途，这一点往往能够体现在语料采集的原则和方式上。通常把语料库分成四种类型：⑴异质的(Heterogeneous)：没有特定的语料收集原则，广泛收集并原样存储各种语料；⑵同质的(Homogeneous)：只收集同一类内容的语料；⑶系统的(Systematic)：根据预先确定的原则和比例收集语料，使语料具有平衡性和系统性，能够代表某一范围内的语言事实；⑷专用的(Specialized)：只收集用于某一特定用途的语料。

语义框架确定模块110对待检测语料进行分词，提取待检测语料的待检测语义框架。语义框架确定模块110包括分词单元111和语义框架确定单元112。语义框架确定单元112根据分词单元111分词后得到的分词结果确定待检测语料和语料库中的语料的语义框架，并根据待检测语料的上下文确定其所属场景。在用户输入语料时，对用户输入的语料进行检测，首先通过分词单元111对待检测的语料进行分词处理，分词可通过现有的分词工具进行处理。分词完成后，生成语义独立的单词。在本实施方式中，需要确定语料库101中现有语料的语义框架，故应先通过分词单元111对语料库101中的现有语料进行分词处理。且在分词处理后，识别全部分词的语义，可从中筛选不良语义的词汇，将全部的不良语义词汇汇总并存储。

语义框架确定单元112根据分词单元111对待检测语料的分词处理结果，结合每一分词的语义类型确定待检测语料的语义框架。同时，对于现有语料库101中的已知语料经过分词单元111分词处理后，语义框架确定单元112结合已知语料的语义确定该语料的语义框架，并根据该待检测语料的上下文确定其所属的场景。汇总语料的语义框架，将语义框架按照场景进行分组，并在每一分组中区分正常语料的语义框架和不良语料的语义框架。将全部种类的语义框架存储。

检测标准设定模块120连接语料库101和语义框架确定模块110，用于将语料库中的语料传输到检测标准提取模块110，以提取语料库中语料的语义框架，确定语义框架种类，提取已知的不良内容词汇，同时将全部语义框架和已知不良内容词汇存储。

检测标准设定模块120包括不良内容词汇获取单元121和语义框架分类单元122。不良内容词汇获取单元121连接语料库101，用于从语料库101中获取已知的不良内容词汇。在本实施方式中，分词单元111对现有语料库101中的语料进行分词处理后，对分词处理结果进行辨别，筛选其中的不良内容词汇，汇总并存储。不良内容词汇获取单元121连接语料库101，将语料库101筛选汇总的不良内容词汇提取。在其他实施方式中，网络云端已经存储了不良内容词汇的词汇库，不良内容词汇获取单元121可直接连接到网络云端，提取网络云端存储的不良内容词汇的词汇库中已知的不良内容词汇。语义框架分类单元122按照语料库101中语料的语义框架将全部的语义框架分类为正常语义框架和不良语义框架。其中，包含反动、暴力、淫秽、政治敏感等类型的词汇均为不良内容词汇，包含相关词汇的语料，或者虽然未包含上述类型词汇，但是经分析其语义类型为攻击或谩骂类型的语料，可将其分类为不良语义框架，除不良语义框架之外的语料的语义框架为正常语义框架。然后按照每一语料所属场景对正常语义框架和不良语义框架进行分组。

检测模块130比对待检测语料的分词结果和已知不良内容词汇，以及比对待检测语义框架和全部语义框架，确定待检测语料是否为不良语料内容。当分词单元111将待检测语料进行分词处理后，将待检测语料的分词和不良内容词汇获取单元121获取的不良内容词汇进行比对，检测其中是否包含不良内容词汇，若包含，则认定为不良语料内容；若不包含，通过语义框架确定单元112确定待检测语料的语义框架，比对待检测语料的语义框架和现有语料库101中的语料的语义框架，分析待检测语料的语义框架属于正常语义框架或不良语义框架，从而检测出待检测的语料是否为不良语料内容。

在对比判断过程中，若经对比检测到待检测语料的分词中包含不良内容词汇中的至少之一者，而待检测语料的语义框架属于正常语义框架时，确定待检测语料为正常内容的语料。若待检测语料的语义框架不属于语料库中语料的语义框架的任意一者时，根据分词与不良内容词汇的比较结果确定待检测语料是否为不良语料。即若在检测模块130对比发现待检测语料的分词中包含至少一个不良内容词汇中的词汇，但对比待检测语料的语义框架和语料库101中相同场景下的全部语义框架时，待检测语料的语义框架属于相应场景下的现有正常语料的语义框架时，则认定该语料内容为正常语料内容。若检测模块130经过对比待检测语料的语义框架和现有语料库中相同场景下语料的语义框架，发现该待检测语料的语义框架不属于语料库中该场景下的语义框架，则该待检测语料是否为不良内容则根据该待检测语料的分词结果和不良内容词汇的比较结果确定，若含有不良内容词汇，则为不良内容的语料。

区别于现有技术，本发明的不良语料内容检测装置通过对待检测的语料进行分词处理，分词后根据语料中每一分词的语义确定其语义框架，通过和已知的语义框架进行比较，确定是否为不良语料内容。通过本发明，能够通过与已知语义框架种类进行比对，辨别待检测的语义框架是否为不良内容语料，能够对精确判断待检测语料是否为不良内容，防止漏判现象。

参阅图2，图2是本发明提供的一种不良语料内容检测方法的实施方式的流程示意图。该方法的步骤包括：

S210：对待检测语料进行分词，确定待检测语料的语义框架。

对待检测语料进行分词，提取待检测语料的待检测语义框架。根据分词后得到的分词结果确定待检测语料和语料库中的语料的语义框架，并根据待检测语料的上下文确定其所属场景。在用户输入语料时，对用户输入的语料进行检测，首先对待检测的语料进行分词处理，分词可通过现有的分词工具进行处理。分词完成后，生成语义独立的单词。在本实施方式中，需要确定语料库中现有语料的语义框架，故应先对语料库中的现有语料进行分词处理。且在分词处理后，识别全部分词的语义，可从中筛选不良语义的词汇，将全部的不良语义词汇汇总并存储。

根据对待检测语料的分词处理结果，结合每一分词的语义类型确定待检测语料的语义框架。同时，对于现有语料库中的已知语料经过分词处理后，结合已知语料的语义确定该语料的语义框架，并根据该待检测语料的上下文确定其所属的场景。汇总语料的语义框架，将语义框架按照场景进行分组，并在每一分组中区分正常语料的语义框架和不良语料的语义框架。将全部种类的语义框架存储。

S220：提取语料库中语料的语义框架，同时对语料库进行分词处理时得到的不良内容词汇。

提取语料库中语料的语义框架，确定语义框架种类，提取已知的不良内容词汇，同时将全部语义框架和已知不良内容词汇存储。

从语料库中获取已知的不良内容词汇。在本实施方式中，对现有语料库中的语料进行分词处理后，对分词处理结果进行辨别，筛选其中的不良内容词汇，汇总并存储。将语料库筛选汇总的不良内容词汇提取。在其他实施方式中，网络云端已经存储了不良内容词汇的词汇库，可直接连接到网络云端，提取网络云端存储的不良内容词汇的词汇库中已知的不良内容词汇。按照语料库中语料的语义框架将全部的语义框架分类为正常语义框架和不良语义框架。其中，包含反动、暴力、淫秽、政治敏感等类型的词汇均为不良内容词汇，包含相关词汇的语料，或者虽然未包含上述类型词汇，但是经分析其语义类型为攻击或谩骂类型的语料，可将其分类为不良语义框架，除不良语义框架之外的语料的语义框架为正常语义框架。然后按照每一语料所属场景对正常语义框架和不良语义框架进行分组。

S230：比对待检测语料的分词结果和不良内容词汇，并比对待检测语义框架和全部语义框架，确定待检测语料是否为不良语料内容。

比对待检测语料的分词结果和已知不良内容词汇，以及比对待检测语义框架和全部语义框架，确定待检测语料是否为不良语料内容。将待检测语料进行分词处理后，将待检测语料的分词和获取的不良内容词汇进行比对，检测其中是否包含不良内容词汇，若包含，则认定为不良语料内容；若不包含，确定待检测语料的语义框架，比对待检测语料的语义框架和现有语料库中的语料的语义框架，分析待检测语料的语义框架属于正常语义框架或不良语义框架，从而检测出待检测的语料是否为不良语料内容。

在对比判断过程中，若经对比检测到待检测语料的分词中包含不良内容词汇中的至少之一者，而待检测语料的语义框架属于正常语义框架时，确定待检测语料为正常内容的语料。若待检测语料的语义框架不属于语料库中语料的语义框架的任意一者时，根据分词与不良内容词汇的比较结果确定待检测语料是否为不良语料。即若对比发现待检测语料的分词中包含至少一个不良内容词汇中的词汇，但对比待检测语料的语义框架和语料库中相同场景下的全部语义框架时，待检测语料的语义框架属于相应场景下的现有正常语料的语义框架时，则认定该语料内容为正常语料内容。若经过对比待检测语料的语义框架和现有语料库中相同场景下语料的语义框架，发现该待检测语料的语义框架不属于语料库中该场景下的语义框架，则该待检测语料是否为不良内容则根据该待检测语料的分词结果和不良内容词汇的比较结果确定，若含有不良内容词汇，则为不良内容的语料。

区别于现有技术，本发明的不良语料内容检测方法通过对待检测的语料进行分词处理，分词后根据语料中每一分词的语义确定其语义框架，通过和已知的语义框架进行比较，确定是否为不良语料内容。通过本发明，能够通过与已知语义框架种类进行比对，辨别待检测的语义框架是否为不良内容语料，能够对精确判断待检测语料是否为不良内容，防止漏判现象。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。