本发明涉及电子商务领域，具体设计一种基于多维词句特征和情感分析的关键新词发现方法。
背景技术：
分词技术是中文自然语言处理领域一个非常重要的研究内容。新词发现是优化分词的重要一环。由于在中文信息处理中,不像英文等西方语言,词与词之间有固定的分隔符,所以分词通常作为中文信息处理任务最开始的一个必要步骤。分词任务中所遇到的分词工具字典未包含的词(即未登录词,本文所指新词属于未登录词)会显著影响分词的性能.因此,新词发现对于提高分词准确率,以致后续工作都有重要的意义.然而近年来,个人博客、个性签名、微博、贴吧等应用的出现,允许用户自己生成网页内容,导致类似于“兔波波”、“蓝瘦”等等新词汇大量出现,并以非常快的速度更新,使得新词发现面临更大的挑战。然而,目前关于新词发现的研究主要集中在人名、地名、翻译缩写或者某几个领域术语(如军事、财经等领域)的自动提取。而本发明将对电商平台用户评论文本进行新词发现，从而进行优化分词。
目前新词发现方法主要有：基于规则的方法和基于统计的方法。基于规则的方法是根据语言学特征，包括词性、语义、词法等来匹配候选的重构串。该方法能达到较高的准确率，但是适用范围局限性大。基于统计的方法可分为有监督和无监督两类。有监督的方法需要先对语料进行训练，然后用训练得到的结果对候选重构串进行测试，依赖训练语料和模板设计。无监督的方法则需要设定有效统计量的阈值，词句特征的统计量主要有词本身、词性、左右熵、互信息、TF/IDF，该方法适用范围较大，但是阈值难设定，准确率较低。为了提高新词发现的查准率和查全率，调整合理的阈值，本发明将有采用有监督方法和无监督方法相结合，设计了一种基于多维词句特征和情感分析的关键新词发现方法。
技术实现要素：
(一)要解决的技术问题
本发明提供了一种基于多维词句特征和情感分析的关键新词发现方法，有效地发现评论文本中未被分词工具切分出来的新词，能为文本挖掘工作提供良好的基础。
本发明提出了对候选重复串的字数组合和词性组合进行统计，字数组合为调整构造重复串合理的阈值提供了依据，词性组合过滤能有效的提高重构串的查准率。
本发明提出的有监督和无监督相结合的方法，该方法可以适当的扩大无监督方法的阈值，增加查全率，再用LTP进行句法分析，然后采用有监督的CRF方法，根据情感分析，可以有效地找到评论中具有挖掘价值的关键新词。
(二)技术方案
一种基于多维词句特征和情感分析的关键新词发现方法，其特征在于，所述方法包括：
步骤1，使用网络爬虫技术从电商平台上抓取某类商品的评论文本。爬虫技术是从一个初始网页的URL开始，根据设计的正则表达式抓取网页中的内容和抽取新的URL，直到完成设定的任务为止。将记录数据的网页用dom4j技术提取需要的信息节点解析为文本，持久化处理，存入数据库中。
步骤2，对评论进行预处理，去除无效评论、去除重复评论、去除无效符号。
步骤3，采用中科院的NLPIR分词工具对评论文本进行初次分词，每条评论被切分成一个个的词，同时标注了每个词的词性。
步骤4，基于多维度词句特征，采用n-gram算法构造重复串，同时设定合理的阈值，结合词性过滤、词频过滤、停用词过滤、词长过滤；然后进行重复串的筛选，环节包括：频数过滤、内聚性过滤、左右熵过滤。最后，得到训练样本的1号重复串集。
步骤5，由于是否为完整的一个词语非常易判别，因此，可以人工筛选出待清洗1号重复串集中正确的新词；
步骤6，统计出新词的词性组合，如v+v+n、v+n等；统计出新词的字数组合，为步骤4中n-gram算法构造重复串提供阈值合理设定的依据。
步骤7，根据步骤6中字数组合的统计结果调整n-gram算法构造重复串的阈值，之后对测试样本的筛选重复串的环节增加为：频数过滤、内聚性过滤、左右熵过滤及词性组合过滤。最后，得到测试样本的2号重复串集。
步骤8，由于构造的重复串存在交叠现象，比如“屏\幕\亮度”和“屏\幕”，为了确保最终新词的准确率，防止遗漏或者过度组合，每次取有交叠重复串的其中一个加入用户词典，这里以从长到短，从前往后的顺序依次取，进行优化分词，然后进行后续新词的判别工作。
步骤9，利用哈工大LTP对优化分词的结果进行依存句法分析，得到每个词的支配词以及它们的依存关系。
步骤10，人工对训练样本的支配词进行情感标记，根据词形、词性、依存关系、支配词、情感标记建立特征模板，CRF++利用特征模板自动生成所需要的特征函数，然后使其对待测样本进行情感标记。
步骤11，根据重复串是否为情感词或者其支配词是否为情感词来筛选得到新词，并将带入不同有交叠现象的重复串的新词结果合并，得到最终的关键新词集。
(三)有益效果
本发明提出的一种基于多维词句特征和情感分析的关键新词发现方法，能够有效的解决之前基于统计的方法阈值难以设定的问题，同时加入词性组合过滤和情感分析提高了新词的准确率，有效地发现具有挖掘价值的关键新词。
附图说明
图1是本发明的技术路线图；
图2是本发明的n-gram算法构造重复串流程图；
图3是本发明的新词字数组合分布图；
图4是本发明的新词词性组合分布图。
具体实施方式
为了使本发明的目的、技术方案和有点更加清楚明了，下面结合具体实施方案并参照附图，对本发明进一步详细说明。
在下面的描述中阐述了很多细节以便于充分理解本发明，但是，本发明还可以在采用其他不同于此描述范围内的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例限制。
图1显示了本发明一种基于多维词句特征和情感分析的关键新词发现方法的技术路线图。
步骤1，使用网络爬虫技术从电商平台上抓取某类商品的评论文本。爬虫技术是从一个初始网页的URL开始，根据设计的正则表达式抓取网页中的内容和抽取新的URL，直到完成设定的任务为止。将记录数据的网页用dom4j技术提取需要的信息节点解析为文本，持久化处理，存入数据库中。
步骤2，对评论进行预处理，去除无效评论、去除重复评论、去除无效符号。无效评论包括：无评论(“此用户没有填写评论”)、过短评论(如“好”、“好评”、“还行”等)；重复评论是指复制已有评论的评论；无效符号指表情符号等。
步骤3，采用中科院的NLPIR分词工具对评论文本进行初次分词，每条评论被切分成一个个的词，同时标注了每个词的词性。词语序列为W＝w1w2...wn，其中wn表示这条评论中的第n个词语。词性序列为P＝p1p2...pn，其中pn表示这条评论中的第n个词语的词性。
步骤4，基于多维度词句特征，采用2-gram～4-gram算法构造重复串，结合词性过滤、词频过滤、停用词过滤、词长过滤，需要的数据表如表1所示，同时设定合理的阈值。
表1构造重复串的数据表
然后，进行重复串的筛选，环节包括：频数过滤、内聚性过滤、左右熵过滤，如表2所示。最后，得到训练样本1号重复串集。具体流程如图2所示。
表2重复串过滤统计量表
步骤5，由于是否为完整的一个词语非常易判别，因此，可以人工筛选出待清洗1号重复串集中正确的新词；
步骤6，统计出新词的词性组合，如图3所示；统计出新词的字数组合，如图4所示，为步骤4中n-gram算法构造重复串提供阈值合理设定的依据，由图4可知重复串词长阈值设置为5最优。
步骤7，根据步骤6中字数组合的统计结果调整n-gram算法构造重复串的阈值，之后将测试样本的过滤重复串的环节增加为：频数过滤、内聚性过滤、左右熵过滤及词性组合过滤。最后，得到测试样本2号重复串集。
步骤8，由于构造的重复串存在交叠现象，比如“屏\幕\亮度”和“屏\幕”，为了确保最终新词的准确率，防止遗漏或者过度组合，每次取有交叠重复串的其中一个加入用户词典，这里以从长到短，从前往后的顺序依次取，进行优化分词，然后进行后续新词发现工作。
步骤9，利用哈工大LTP是优化分词的结果进行依存句法分析，得到每个词的支配词以及它们的依存关系，如表3所示。
表3LTP句法分析结果
步骤10，人工对训练样本的支配词进行情感标记，根据词形、词性、依存关系、支配词、情感标记建立特征模板，训练文本格式如表4所示，特征模板如表5所示，CRF++利用特征模板自动生成所需要的特征函数，然后使其对待测样本进行情感标记。
表4训练文本格式
表5特征模板
步骤11，根据重复串是否为情感词或者其支配词是否为情感词来筛选得到新词，并将带入不同有交叠现象的重复串的新词结果合并，得到最终的关键新词集。
应理解，本发明的上述具体实施方式是用于示例性说明本发明的原理，而不构成对本发明的限制。本发明所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。