一种有效的网络热点监测系统的制作方法

本发明创造涉及舆情监控领域，具体涉及一种有效的网络热点监测系统。

背景技术：

随着社会的发展，科技的进步，人类步入了飞速发展的互联网时代，各种各样的资源以互联网为载体进行汇聚、整合，形成了一个庞大的信息库。因为网络的传播是自由的、开放的，每个人都有机会成为网络信息的发布者，因此更能直接、真实、全面地反映民众的观点和态度，但是正是网上发表言论的自由性和无限制性，使得舆情很大程度上取决于网民的情绪状态等非主观因素，因此，为了保证舆论的正确导向，同时便于了解当今网民较为关注的热点领域，对网络舆情的监测有着重要的现实意义。

技术实现要素：

针对上述问题，本发明旨在提供一种有效的网络热点监测系统。

本发明创造的目的通过以下技术方案实现：

一种有效的网络热点监测系统，包括信息采集模块、舆情预处理模块、舆情分析模块和管理模块，所述信息采集模块用于对网络上的舆情信息进行采集，获取网页数据，所述舆情预处理模块用于对获取的网页数据进行噪声处理以及中文分词，所述舆情分析模块用于从所述中文分词结果中提取网页的特征项并计算所述特征项的权重，从而进行网页主题的划分，所述管理模块用于对采集得到的文档进行存储，并向用户显示系统的监测结果。

本发明创造的有益效果：提出一种有效的网络热点监测系统，通过对网络上的信息的抓取和科学有效的分析，实现了对网络热点的有效监测。

附图说明

利用附图对发明创造作进一步说明，但附图中的实施例不构成对本发明创造的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明结构示意图；

图2是本发明舆情分析模块结构示意图

图3是本发明管理模块结构示意图。

附图标记：

信息采集模块1；舆情预处理模块2；舆情分析模块3；管理模块4；网页表示单元31；主题划分单元32；信息存储单元41；信息显示单元42。

具体实施方式

结合以下实施例对本发明作进一步描述。

参见图1、图2和图3，本实施例的一种有效的网络热点监测系统，包括信息采集模块1、舆情预处理模块2、舆情分析模块3和管理模块4，所述信息采集模块1用于对网络上的舆情信息进行采集，获取网页数据，所述舆情预处理模块2用于对获取的网页数据进行噪声处理以及中文分词，所述舆情分析模块3用于从所述中文分词结果中提取网页的特征项并计算所述特征项的权重，进而进行网页主题归类，所述管理模块4用于对采集得到的文档进行存储，并向用户显示系统的监测结果。

优选地，所述管理模块4包括信息存储单元41和信息显示单元42，所述信息存储单元41用于根据主题归类结果对采集得到的文档进行分类存储，所述信息显示单元42用于向用户显示系统的监测结果。

本优选实施例提出一种有效的网络热点监测系统，通过对网络上的信息的抓取和科学有效的分析，实现了对网络热点的有效监测。

优选地，所述舆情分析模块3包括网页表示单元31和主题划分单元32，所述网页表示单元31用于从所述中文分词结果中提取能够反映网页主题的特征项并计算所述特征项的权重，所述主题划分单元32用于根据计算所得的相似性系数进行采集得到的网页主题的划分。

优选地，所述网页表示单元31用于从所述中文分词结果中提取能够反映网页主题的特征项并计算所述特征项的权重，具体包括：

(1)定义采集得到的网页中类别为lk(1≤k≤u)的文本有{ck1,ck2,……ckr},则采用一种改进的信息增益计算方法进行特征项ti的选择，具体为：

式中，p(ti)为特征词ti出现的概率，则为ti不出现的概率，p(ti|li)为特征词ti存在的文本属于lk类的概率，为ti不存在的文本属于lk类的概率，u为类别数，p(lk)为lk类文本出现的概率，c(ti,lk)为lk类文本出现的特征项ti的次数,为特征项ti在采集得到的网页中出现次数的平均数；

将所得的特征词的信息增益值按从大到小的顺序进行排列，选取前g个特征词作为采集得到的文档的特征项；

(2)定义文本cl的特征项为{tl1,tl2,……tlg}，则对应特征项的权重{ql1,ql2,……qlg}的计算公式为：

式中，ulr表示特征项tr在文本cl中出现的频数，max(ur)表示特征项tr在文本集中出现的频数的最大值，min(ur)表示特征项tr在文本集中出现的频数的最小值，qlr表示特征项tr在文本cl中的权重，d表示文本集中的文本数量，dr表示文本集中包含特征项tr的文本数。

本优选实施例采用一种改进的信息增益的计算方法，增加了特征项的分类能力，有助于选出较有效的特征项,此外，采用一种改进的权重计算方法，相较于传统的tfidf计算权重方法，对特征项在文本集中出现的频数进行处理，综合考虑了特征项在文本集中的总体价值，充分体现了特征项权重的重要性。

优选地，所述主题划分单元32用于根据计算所得的相似性系数对采集得到的网页进行主题划分，具体包括：

(1)创建待监测的网络热点领域集合r＝{r1,r2,……rw}，分别定义网络热点领域ri(i＝1,2,……w)的主题文档为ri＝(ti1,ti2,……tib)，采集得到的文档为cj＝(tj1,tj2,……tjg)；

a.计算采集得到的文档cj和热点领域集中的各个主题文档ri之间的相似性系数θi，θi的计算表达式如下：

式中，sim(tj,ti)为采集得到的文档cj中的特征项和主题文档ri中的各个特征项之间的概念词语相似度的加权平均值，θi为采集得到的文档cj和主题文档ri之间的相似性系数，qjh为文档cj中特征项tjh的权重，g为文档cj中的特征项个数，b为主题文档中特征项的个数；

b.计算采集文档和各个主题相似性系数中的最大相似性系数θmax，具体为：

(2)定义主题阈值τ，当最大相似性系数θmax大于主题阈值τ时，则θmax对应的主题ri即为采集得到的文档的主题，当最大相似性系数θmax小于主题阈值τ时，则判断为主题不相关网页，即舍弃采集得到的文档。

本优选实施例通过计算采集得到的文档与热点领域集合中主题的相似性系数的计算，实现了对采集得到的文档的主题的有效划分。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。