一种标准检索智能分词方法
【专利摘要】本发明公开了一种标准检索智能分词方法，其特征在于，包括如下步骤：（1）对输入的字符串的进行规范化预处理；（2）判断当前输入的字符串是否为编号，如果输入的是编号，转步骤（3），反之，转步骤（4）；（3）判断是否到字符串的末尾，如果不是到字符串末尾，则判断当前字符和上一个字符是否为同一类，同类则直接归并到上一个字符所在的组中，形成词段，否则创建新组，并将新组加入到组链中，并将该字符计入新组，组成另一个词段，循环上述操作直到字符串末尾为止，如果是字符串末尾，则针对生成出来的组链，转步骤（5）；（4）采用基于词典的方式处理，形成分词并存储；（5）根据得到的组链，依次利用分词规则形成分词并存储。
【专利说明】一种标准检索智能分词方法
【技术领域】
[0001]本发明涉及一种智能检索领域，具体地讲，涉及一种标准检索智能分词方法。
【背景技术】
[0002]随着科学技术的发展，生产的社会化程度越来越高，生产规模越来越大，技术要求越来越复杂，分工越来越细，生产协作越来越广泛，这就要求必须通过制定和使用符合国家或国际规定的标准，来保证各生产部门的活动，在技术上保持高度的统一和协调，从而保障生产的正常进行，获得最佳经济和社会效益，并为促进技术进步，产业结构调整，产品升级换代和广品质量提闻等提供全方位的标准支持。
[0003]在以往采用数据库的系统中，通过sql查询操作难以得到用户所需的标准。目前，使用的标准数量已经达到千万级别的、甚至更高的海量级别。在大众对标准不熟悉，查询不准确的情况下，提供准确的查找或者相似的标准，成为一个急需解决的难题。
针对标准数量众多、用户对标准不熟悉，查询所需标准效率低等问题，引入有限状态机和记忆规则原理，提出解决该海量标准数据检索问题的一个算法，对用户的查询进行相关的智能提示或推荐，简单、快速挖掘用户所需标准，有效提高了查询效率。
【发明内容】
[0004]本发明要解决的技术问题是提供一种标准检索智能分词方法，满足用户的查询需要，提高用户的标准检索速度。
[0005]本发明采用如下技术方案实现发明目的:
一种标准检索智能分词方法，其特征在于，包括如下步骤:
(1)对输入的字符串的进行规范化预处理；
(2)判断当前输入的字符串是否为编号，如果输入的是编号，转步骤(3)，反之，转步骤
(4)；
(3)判断是否到字符串的末尾，如果不是到字符串末尾，则判断当前字符和上一个字符是否为同一类，同类则直接归并到上一个字符所在的组中，形成词段，否则创建新组，并将新组加入到组链中，并将该字符计入新组，组成另一个词段，循环上述操作直到字符串末尾为止，如果是字符串末尾，则针对生成出来的组链，转步骤(5)；
(4)采用基于词典的方式处理，形成分词并存储；
(5)根据得到的组链，采用基于记忆规律的分词组合方式，依次利用分词规则形成分词，并且在去重过滤后进行存储。
[0006]作为对本技术方案的进一步限定，所述分词规则具体包括简单词的分词组合、相连词的分词组合、相连词的模糊组合和全词组合。
[0007]与现有技术相比，本发明的优点和积极效果是:本发明根据用户输入的检索条件，经过预处理、分词等处理过程，形成检索条件，然后利用检索引擎，匹配出符合条件的记录，从而反馈给用户检索结构。本发明利用空间维度换取时间维度，实时反馈查询结果，以便最快速的满足用户的检索请求，提高平台和用户的交互性。
【专利附图】
【附图说明】
[0008]图1为本发明优选实施例的流程图。
【具体实施方式】
[0009]下面结合附图和优选实施例对本发明作更进一步的详细描述。
[0010]标准编号:由标准化组织制定的符合国家或国际标准的具有唯一性的、用以记录各种标准的代号，称为标准编号。
[0011]标准编号有国际标准编号和我国的国家标准编号两种。国际及国外的标准编号形式各异，但基本结构为:标准代号+专业代号+顺序号+年代号。我国的标准编号由标准代号、标准发布顺序和标准发布年代号构成。
[0012]标准查询:
根据标准组织代号、标准顺序号、标准名称、适用范围、中标分类号、标准年代号、ICS分类号等检索条件进行模糊检索。查询结果显示标准号、标准名称、实施日期、标准状态、页数、前言、引言、预览按钮等。
[0013]预处理:
对输入的字符串进行规范化的预先处理，如:去除字符串中的首尾空格、回车、换行符、制表符等，并将所有小写字母转化成大写字母，这个处理过程称为预处理；在系统构建索弓1、用户查询时均先进行该步骤，以便规范化系统、用户的输入。
[0014]词段:
在输入字符串判断是否为编号中，根据依次输入的字符是否为同一类进行划分，把同类的字符放入一组，形成一个子字符串，称之为词段。由多个字符组成字符串，在是否为同一词段的判断过程中，若当前字符和上一字符同类，则放到同一个词段中。例如字符串SJZl 162013，首先输入字符串S，因为是第一个字符，直接放入一组，再次输入J时，就开始判断当前字符J是否和上一字符S是否为同类，从而决定是否放入同一词段中。按字符是英文字母和阿拉伯数字分类，SJZl 162013会分为SJZ和1162013两个词段。
[0015]组链:
在输入字符串判断是否为编号中，根据依次输入的字符是否为同一类进行划分，把同类的字符放入一组，形成一个词段。不同类的放到另一新组中组成另一个词段。把由这些词段组成的长链称为组链；组链中的词段具有先后顺序性。
[0016]例如字符串SJZ1162013，由词段SJZ和词段1162013就构成了如下组链 {SJZ.#.1162013};其中.φ标示词段的顺序性、{标示组链的开始、}表示组链的结束。
[0017]目前，随着众多新的国家标准、行业标准、地方标准和企业标准的相继产生，检索所需标准比较困难和麻烦，本算法利用智能分词技术，旨在满足用户的查询需要，提高用户的标准检索速度。
[0018]其主要包括两部分:分词的加工和分词的检索。针对当前存在的各种标准，将其划分为多种分词组合，并存储到分词索引库中，该过程为分词的加工存储过程，并可对加工的标准等记录进行实时的分词更新，便于用户实时准确查询检索。根据用户的输入的检索条件，经预处理、分词等处理，形成检索条件，利用检索引擎，匹配出符合条件的记录，从而反馈给用户检索结果。
[0019]基于有限状态机和记忆规则的分词器:
传统的分词器一般采用词典或者基于概率统计等方式。而标准变编号涉及英文、数字、特殊符号等并非常用的词，且不符合概率统计的方法。针对日常大众的搜索习惯，现采用有限状态机分组和基于记忆规则的组合方法，从而满足用户的搜索需求。
[0020]参见图1，本方法主要包含三个部分，字符串的预处理，有限状态机下的词段划分和基于记忆规律的分词。
[0021]首先，当输入字符串时，会针对所输入的字符串进行预处理，判断当前输入是否为编号，如果输入是编号，利用有限状态机的原理进行字符处理；反之，则采用基于词典的方式处理，形成分词并存储。
[0022]其次，当判断当前输入是编号之后，再判断是否到字符串末尾，如果没有到字符串末尾，则判断当前字符和上一字符是否为同一类，同类则直接归并到本组中，形成一个词段，不同类则创建新组，并加入到组链中，并将该字符计入新组，组成另一个词段，本次字符处理结束之后，再判断是否到字符串末尾，循环直到字符串末尾为止，以保证整个输入字符串的完整处理。如果是字符串末尾，则针对生成出来的组链，按照记忆规律分词。
[0023]最后，根据得到的组合，采用基于记忆规律的分词组合方式，依次利用简单词的分词组合、相连词的分词组合、相连词的模糊组合、全词组合等多种方式形成分词，并且在去重过滤后进行存储。
[0024]以组链JZOl为例，介绍分词组合方式的实现细节和分词结果，其中包含两个词段JZ和01，如表1所示:
表1分词的四种组合方式
【权利要求】
1.一种标准检索智能分词方法，其特征在于，包括如下步骤: (1)对输入的字符串的进行规范化预处理； (2)判断当前输入的字符串是否为编号，如果输入的是编号，转步骤(3)，反之，转步骤(4)； (3)判断是否到字符串的末尾，如果不是到字符串末尾，则判断当前字符和上一个字符是否为同一类，同类则直接归并到上一个字符所在的组中，形成词段，否则创建新组，并将新组加入到组链中，并将该字符计入新组，组成另一个词段，循环上述操作直到字符串末尾为止，如果是字符串末尾，则针对生成出来的组链转步骤(5)； (4)采用基于词典的方式处理，形成分词并存储； (5)根据得到的组链，采用基于记忆规律的分词组合方式，依次利用分词规则形成分词，并且在去重过滤后进行存储。
2.根据权利要求1所述的标准检索智能分词方法，其特征在于，所述步骤(5)的分词规则具体包括简单词的分词组合、相连词的分词组合、相连词的模糊组合和全词组合。
3.根据权利要求1所述的标准检索智能分词方法，其特征在于，所述步骤(I)的规范化预处理包括去除字符串中的首尾空格、回车、换行符、制表符，并将所有小写字母转化成大写字母步骤。
【文档编号】G06F17/30GK103870537SQ201410024472
【公开日】2014年6月18日 申请日期:2014年1月20日 优先权日:2013年12月3日
【发明者】李凤龙, 刘丽梅, 王秀芹, 马强 申请人:山东金质信息技术有限公司