面向云平台的一种政务舆情监控方法
【技术领域】
[0001] 本发明设及云计算技术领域，尤其是面向云平台的一种政务舆情监控方法。
【背景技术】
[0002] 基于云数据库的分布式实时智能监控方法，整合互联网信息采集技术及信息智能 处理技术，通过对互联网海量信息自动抓取、自动分类聚类、主题检测、专题聚焦，实现用户 的网络舆情监测和新闻专题追踪等信息需求，形成简报、报告、图表等分析结果，为客户全 面掌握群众思想动态，做出正确舆论引导，提供分析依据。
【发明内容】
[0003] 本发明解决的技术问题在于提供面向云平台的一种政务舆情监控方法。
[0004] 本发明解决上述技术问题的技术方案是：
[0005] 所述的方法包括数据采集、数据预处理、数据分析及预警;所述的系统搭载在分布 式集群上，由一个作为主节点的爬虫服务器和多个作为从节点的爬虫客户端组成，主节点 负责任务分配，子节点负责任务执行，主从节点之间采用加密的屯、跳包进行通信;从节点上 包括数据采集、预处理、分析及预警模块;所述的采集模块根据用户配置、W及知识库抓取 论坛、新闻、贴吧、博客等数据，并自动过滤重复数据，构建主题数据库;数据预处理模炔基 于规则和自动混合的方式提取正文数据;数据分析及预警模块利用机器学习的方法对清洗 后的文本进行聚类、情感分析、热点分析，并对分析结果进行预警。
[0006] 所述的主从节点之间的通信，包括如下步骤：
[0007] 第一步，用户开启采集任务；
[000引第二步，主节点保存任务信息到元数据信息库；
[0009] 第Ξ步，主节点根据用户配置信息进行任务初始化；
[0010] 第四步，主节点根据丛节点的CPU、内存、当前任务数等指标进行任务分配；
[00川第五步，从节点接收任务；
[0012]第六步，从节点发送成功接收任务消息到主节点；
[001引第屯步，主节点写任务信息到元数据库；
[0014] 第八步，从节点开始执行任务；
[0015] 第九步，若主节点N次未接收到从节点屯、跳包，则视为丛节点岩机并记录到日志系 统，并重新分配任务给其他节点。
[0016] 所述的采集模块具体处理流程是：
[0017] 第一步，获取待采集的1]化；
[001引第二步，通过数据路由器对URL进行过滤；
[0019] 第Ξ步，抓取页面数据；
[0020] 第四步，对抓取的数据进行文本抽取，链接抽取，把抽取的链接加入待采集URL集 合；
[0021 ]第五步，自动文本特征提取，生成网页指纹；
[0022] 第六步，检测是否为有相同文章；
[0023] 第屯步，如果已有相同文章则放弃抓取返回第一步，否则对正文文本进行分词操 作；
[0024] 第八步，用TF_IDF算法提取N个关键词；
[0025] 第九步，找到与其重合度最高的m篇文章；
[0026] 第十步，若其重合度大于C则归为相应主题数据库；
[0027] 第十一步，建立倒排索引W供其他模块使用。
[0028] 所述的数据分析及预警模块具体处理流程是：
[0029] 第一步，将主题数据库进行重构，选择有代表性的数据；
[0030] 第二步，对每篇文档进行情感分析并计算分值化ndency e [-1，1 ];
[0031 ]第Ξ步，对上述分析结果记入预警数据库；
[0032] 第四步，计算预警级别，预警级别
其中degreei代表第i 篇文档的热度，其计算公式为：
[0033] degreei=(praisei X 0.3+commenti X 0.7)/(houri+2)
[0034] 其中：praisei代表赞数，commenti代表评论数，houri代表发帖时间到现在的时差；
[0035] 第五步，根据预警策略和预警级别给予email或短信等相应预警信息。
[0036] 所述的自动文本特征提取，生成网页指纹的步骤是：。
[0037] 第一步，提取正文各段落首句关键词(去掉停用词)作为文章的主特征；
[0038] 第二步，提取正文各段落的标点符号作为副特征；
[0039] 第Ξ步，分别对主特征和副特征使用Sim化sh，然后拼接两段特征码，得到整个文 章的指纹；
[0040] 第四步，存入缓存数据库。
[0041] 本发明采用分布式多线程的方式提高了抓取速度，提高了新闻的时效性;通过URL 去重和使用文本相似度算法检测文本重复性，从而节省了磁盘空间，也同时提高了抓取速 度;通过网页指纹算法提高了网页重复性检测的速度W及准确度。
【附图说明】
[0042] 下面结合附图对本发明进一步说明：
[0043] 图1是本发明运用框架图；
[0044] 图2是主从节点架构图；
[0045]图3是屯、数据抓取流程图；
[0046] 图4是数据分析流程图。
【具体实施方式】
[0047] 如图1至4所示，本发明方法包括数据采集、数据预处理、数据分析及预警;所述的 系统搭载在分布式集群上，由一个作为主节点的爬虫服务器和多个作为从节点的爬虫客户 端组成，主节点负责任务分配，子节点负责任务执行，主从节点之间采用加密的屯、跳包进行 通信;从节点上包括数据采集、预处理、分析及预警模块;所述的采集模块根据用户配置、w 及知识库抓取论坛、新闻、贴吧、博客等数据，并自动过滤重复数据，构建主题数据库;数据 预处理模炔基于规则和自动混合的方式提取正文数据;数据分析及预警模块利用机器学习 的方法对清洗后的文本进行聚类、情感分析、热点分析，并对分析结果进行预警。
[0048] 如图2所示:所述的一个主节点和多个从节点组成，主节点负责任务分配，子节点 负责任务执行，主从节点之间采用加密的屯、跳包进行通信，包括如下步骤：
[0049] 第一步，用户开启采集任务；
[0050] 第二步，主节点保存任务信息到元数据信息库；
[0051] 第Ξ步，主节点根据用户配置信息进行任务初始化；
[0052] 第四步，主节点根据丛节点的CPU、内存、当前任务数等指标进行任务分配；
[0053] 第五步，从节点接收任务；
[0054] 第六步，从节点发送成功接收任务消息到主节点；
[0055] 第屯步，主节点写任务信息到元数据库；
[0056] 第八步，从节点开始执行任务；
[0057] 第九步，若主节点N次未接收到从节点屯、跳包，则视为丛节点岩机并记录到日志系 统，并重新分配任务给其他节点。
[0058] 如图3所示:所述的采集模块根据用户配置、W及知识库抓取论坛、新闻、贴吧、博 客等数据，并过滤重复数据，构建主题数据库，包括如下流程：
[0059] 第一步，获取待采集的11化；
[0060] 第二步，通过数据路由器对ML进行过滤；
[0061] 第Ξ步，抓取页面数据；
[0062] 第四步，对抓取的数据进行文本抽取，链