全网舆情监控系统的制作方法
【技术领域】
[0001]本发明涉及对网络社会的有序管理系统，进行网络舆情管理，以此来实现顺应规律，立足阵地、疏堵结合、网络上下互动、整合媒体力量、多渠道引导的立体化机制。
【背景技术】
[0002]为加强对网络社会的有序管理，近年来，国家机关不断加强监控系统建设工作，在全国逐步实现了对网通、电信等主流ISP的监控，并开展了监控工作，取得了一定的成绩。但是，随着技术的发展以及网络应用的不断普及，运营商出口线路条数和带宽不断提升，互联网监控技术本身也在不断发展和提升，从最初的针对10M/100M网络通道的监控，发展到目前的针对多路10GP0S通道的监控；从最初的针对电子邮件、网站浏览的内容监控，发展到现在对即时通信、网络游戏、VOIP等100多种网络应用的监控。监控系统所监控的网络速率越来越高，内容越来越丰富,规模越来越大,所截获的数据也已经达到了上百T的海量规模，如何有效地管理和利用这些海量信息成为下一阶段发展要解决的重点问题之一。在长期的实战过程中，国家职能部门的需求已经从原来的针对特定对象、特定行为、特定内容的监控向大规模数据缓存与分析挖掘方向发展，需要实现面向多运营商的大规模网络统一监控；实现信息内容的综合搜索、基于内容特征、行为特性的实时匹配；在事先不掌握疑犯明确线索的情况下，主动发现网上违法犯罪行为，实现对象、组织、群体、行为、内容的关联。
[0003]由于网上的信息量十分巨大，仅依靠人工的方法难以应对网上海量信息的收集和处理，需要加强相关信息技术的研究，形成一套自动化的网络舆情监控系统，及时应对网络舆情，由被动防堵，化为主动梳理、引导。综上所述，特别需要全网舆情监控系统，以解决现有技术的不足。
【发明内容】
[0004]本发明的目的是提供全网舆情监控系统，解决互联网信息不能够随时进行监测的现象。
[0005]本发明为解决其技术问题所采用的技术方案是:
[0006]全网舆情监控系统，该系统的数据来源包括电信、网通、教育网、联通、铁通、长宽等主要ISP，存储容量:对获取的数据进行存储，对于日志数据存储周期为I年，对文本内容数据的存储周期为I年；
[0007]该系统包括有网络通讯平台建设、无线监控系统、远程联网和数据共享、监控业务系统、海量信息处理系统；
[0008]另外该系统的子系统包括有:
[0009]信息获取子系统:信息获取子系统负责对电信、网通等网络运行单位的出口通道进行监控，截获流经ISP网络出口的数据，通过光纤方式将信息传回数据预处理子系统，信息获取子系统同时为互联网舆情监控系统的业务提供支持可以复用地方原来投入建设监控系统的资源，数据进入监控系统后，进入互联网舆情监控系统的存储部分，此外，还将采用专用接口获取报警处置系统的数据；
[0010]信息预处理子系统:信息预处理子系统是实现对各种信息源获取的数据进行还原和数据转换，互联网舆情监控系统的建设需要全面获取从ISP出口通道上的还原后信息，因此需要大量的信息预处理器集群，还原和筛选后的海量信息将进入互联网舆情监控系统的信息存储部分；
[0011]数据存储子系统:数据存储子系统是互联网舆情监控系统的基础，由于所需要处理和缓存的数据量巨大，因而整个数据缓存存储子系统规模很大，根据从互联网获取的数据特点，主要包括结构化数据和非结构化数据，因此数据存储子系统也分为结构化数据部分和非结构化数据部分；
[0012]数据处理和分析子系统:数据处理和分析子系统是互联网舆情监控系统的核心，负责对信息获取子系统获得的处理后的海量监控数据以及相应的基础库进行进一步的加工和处理，并提供信息查询、统计分析功能，为互联网舆情监控系统实现情报和线索的发现提供支持；
[0013]系统管理调度子系统:系统管理调度子系统保障互联网舆情监控系统正常运行，由于整个互联网舆情监控系统规模巨大，合理有效的管理调度是保证整个系统稳定运行的基础，该子系统通过对相关设备、服务器、应用软件等进行监控，配以调度管理策略，使得系统运行状态受到实时监控，故障时能够即时告警，并采取调度措施，使得故障不影响系统正常运行；
[0014]业务管理子系统:业务管理子系统是互联网舆情监控系统对用户的接口，用户通过该子系统访问互联网舆情监控系统的服务，为了进一步保证系统的安全性，该模块按照监控工作的要求，制定了规范的处理流程，规范各项活动，该子系统提供任务管理、情报处理、权限管理和系统管理等功能。
[0015]进一步，该系统的网络通讯平台建设是为了实现海量数据的截获，监控系统的分流过滤设备将与信息还原处理机集群间存在巨大数据交换量，故配置11台48 口10/100/1000M自适应千兆交换机；
[0016]根据各子系统的不同设备组的连接需要，将利用交换机的VLAN功能将整个系统划分为多个子网，包括数据预处理网段、海量信息处理网段、业务处理网段、管理网段、用户终端网段等，其中数据预处理网段用于连接数据预处理集群和接入设备群；海量信息处理网段用于连接数据预处理集群和海量信息处理器集群(结构化和非结构化)；业务处理网段用于连接业务服务器群和海量信息处理器集群；管理网段用于连接上述各网段中的设备群，实现管理功能。
[0017]进一步，所述的无线监控系统是当厅CDMA无线监控系统建设完成后，为有效利用现有资源，达成接口标准无缝衔接，拟建通过在汇聚交换机上对CDMA信令解析机群数据(经过信令解析之后输出的是标准的IP包和Radius包)，以镜像方式以千兆接口直接接入光华专用平台，对于将来GPRS数据处理方式雷同，此方案一方面不影响烽火无线监控系统的独立运行，同时有效的将标准IP包的数据复制到光华系统，通过业务处理页面统一向客户展现，能够实现对各种来源数据的统一查询和分析这种接口方式是最简单易行的一种方式。
[0018]进一步，所述的远程联网和数据共享在系统内部可以根据不同地方用户的权限设置不同的案件、对象、线索以及数据访问、情报分析等权限，使得各地方使用该系统达到数据的隔离和共享目的，根据与其他部门共建的要求，电信省出口已有相应的分光、传输设备，此部分设备已在信息获取子系统中进行了复用，为了实现与其他部门已建设的过滤分流平台进行联动，以及其他部门新控线路的过滤分流平台进行联动，需要配置一台规则接口服务器，对双方规则进行转换和监控，规则接口机实现双方规则的转换和监控，同时也可以对规则进行控制，对给共建部门的ISP数据源、数据种类等方面进行控制。
[0019]进一步，所述的监控业务系统是互联网安全监控业务管理系统提供了对统一的用户、权限、设备、消息、维护管理、案件子系统、报警定位子系统以及海量情报子系统的统一管理，该业务管理系统是用户访问整个系统的统一门户，包含有统一管理模块、案件管理模块、报警定位模块、舆情分析引擎；
[0020]统一管理模块是整个监控业务管理系统，采用统一的基础管理模块，实现业务系统中各个子系统的统一管理，包括:统一的权限、用户管理，设备管理、系统维护、档案库和消息管理等；
[0021]案件管理模块是针对网监部门使用监控手段而开发的管理系统，系统以“案件”为单位自动配置前端设备，以“案件”一 “对象”一“线索”为模型组织监控线索和监控数据，即由“线索”组成“对象”，由“对象”组成案件，通过系统在“案件”与监控设备之间建立的关联隐蔽前端监控设备，简化设备使用，自动收集、处理前端数据，截获的数据按照不同“对象”、不同的“案件”分门别类入库，方便数据管理和分析，系统提供案件管理、案件审核、案情处理、案情统计等主要功能；
[0022]报警定位模块的功能是:根据违法犯罪嫌疑人网上特征或标识(如即时通讯用户名等)，对违法犯罪嫌疑人进行网上定位(如网络IP地址、上下网时间等);获取定位信息后，能够实时报警，通知有关人员，是基于监控系统的功能扩展；主要包括报警设置、报警查看、手机管理、手机查询等功能；
[0023]舆情分析引擎指的是通过对指定话题(关键词)进行自动化的搜索，根据搜索获得的结果(URL信息、内容信息)进行下一步的网页抓取或者语料整理分析，这种方法的优点是能够快速有效的获取指定话题的舆情语料，过滤、提取方法简便，缺点是难以进行话题发现，需要用户指定一组关键词，才能进行反复的自动搜索，抓取，
[0024]这是舆情监控系统的核心功能，主要包括:
[0025]1.热点话题、敏感话题的识别:
[0026]可以根据新闻出处权威度、评论数量、发言时间密集程度等参数，识别出给定时间段内的热门话题，利用关键字布控和语义分析，识别敏感话题；
[0027]2.倾向性分析:
[0028]对于每个话题，对每个发信人发表的文章的观点、倾向性进行分析与统计；
[0029]3.主题跟踪:
[0030]分析新发表文章、帖子的话题是否与已有主题相同；
[0031]4.自动摘要:
[0032]对各类主题，各类倾向能够形成自动摘要；
[0033]5.趋势分析:
[0034]分析某个主题在不同的时间段内，人们所关注的程度；
[0035]6.突发事件分析:
[0036]对突发事件进行跨时间、跨空间综合分析，获知事件发生的全貌并预测事件发展的趋势；
[0037]7.报警系统:
[0038]对突发事件、涉及内容安全的敏感话题及时发现并报警；
[0039]8.统计报告:
[0040]根据舆情分析引擎处理后的结果库生成报告，用户可通过浏览器浏览，提供信息检索功能，根据指定条件对热点话题、倾向性进行查询，并浏览信息的具体内容，提供决策支持。
[0041]进一步，所述的海量信息处理系统的建设一方面是整合各类数据源，形成网监工作所需的强大的数据支持，另一方面将总结多年来网监部门在情报收集、案情分析、舆情监控等各方面工作所积累的经验，实现各类分析工作所需的业务处理流程，形成适合于多个网监部门进行日常信息分析工作所不可缺少的工作平台；
[0042]海量信息处理系统包括多类数据的综合查询功能、追踪调查功能、重点对象与组织的持续监视功能、宏观态势预警功能、虚拟身份功能；
[0043]多类数据的综合查询功能是通过各种信息获取手段所获得的海量信息将向所有工作组开放，系统提供各类通用的信息查询功能，使各个工作组成员可以对阶段暂存的信息以及系统自动积累的基础库信息进行综合查询，获得的查询结果经过工作组成员的人工排查和确认进入各自的工作组空间，具体功能包括:
[0044]1.海量内容关键词查询:
[0045]根据掌握的关键词或组合关键词，在海量暂存信息中查找包含特定关键词或者关键词组合的信息内容，对搜索的结果可以进行二次查询和精选；通过搜索到的信息内容结果可以获得相关的行为和对象；
[0046]2.网民身份查询:
[0047]根据已经掌握的某对象的某些帐号信息，查询该对象可能使用的所有网上应用帐号和上网帐号信息，以及该对象的真实身份信息(如姓名、年龄、身份证等);
[0048]3.关系人查询:
[0049]根据已掌握的某些特定对象的某些账号信息，查询与该特定对象有联系的关系人信息，与该功能与追踪调查功能集中“网民联络关系追踪”功能的区别在于:本功能可即时返回结果，不需要作为任务提交后等待结果，但仅查询60日以内的数据；
[0050]4.网络行为查询:
[0051]根据已掌握的有限信息，通过时间、IP、帐号、标题、内容、行为特征等组合条件，对暂存的海量行为进行综合查询，获得相关的网上行为，以及行为所相关的对象、帐号、线索、内容、定位等信息，经过筛选、排查后确认的特定行为、特定内容以及特定对象可以积累到工作组空间，并可基于工作组空间中已积累的行为、内容、对象进行进一步的扩展查询；
[0052]5.伴随网民身份查找:
[0053]根据已掌握的特定网络帐号，查询与该帐号在某个时间段总是伴随出现的其他网络帐号信息；
[0054]6.相关网民身份查找:
[0055]在没有掌握特定网络帐号的情况下，查找某个或多个时间段、某个或多个IP段内的同时相关的网民账号信息；
[0056]7.异常网民身份查找:
[0057]在没有掌握特定网络帐号的情况下，确定案发时间后，查找案发前多少小时开始出现，到案发后多少小时后突然消失的某个或多个IP段的异常网民信息；
[0058]8.伴生网民身份查找:
[0059]在没有掌握特定网络帐号的情况下，确定案发时间后，查找案发前多少小时开始出现，案发时间段不出现，案发后多少小时又出现的某个或多个IP段的伴生网民信息；
[0060]9.相似帐号密码查询:
[0061]根据掌握的帐号或密码，查找与该帐号或密码充分相似的其他帐号或密码，以掌握系统未发现的可能属于同一对象的不同帐号；系统支持用户对所有查询结果的进一步精炼和排查，精炼和排查的结果可以存放在相应的工作组空间，以便组内和组间信息共享，并可在今后进一步基于结果进行相关挖掘分析；系统支持对查询结果(和以前暂存的查询结果)中提取可疑线索，并将提取的对象、行为、内容信息积累到工作组空间；
[0062]追踪调查功能是针对嫌疑对象、组织或特定信息,追踪对象或组织的活动轨迹,描绘网上联络关系，追溯信息来源和传播途径，系统以“任务”方式管理用户对对象、组织和信息的追踪操作，系统具备以下功能:
[0063]1.网民身份扩展:
[0064]用户能够在掌握某网民若干帐号的基础上，实现对特定对象的虚拟身份自动扩展，系统将根据一段时间内的历史行为记录，挖掘可能属于该网民的其他虚拟身份信息，系统提供对身份扩展结果的进一步精炼和确认，并可更新到用户工作区的网民虚拟身份库中；
[0065]2.网民活动情况追踪:
[0066]用户能够在掌握某网民若干帐号的基础上，全面收集和汇总该网民的所有网上活动(以各种虚拟身份进行的各类网上活动)，并可刻划该对象的网上活动时序，进行相关的活动情况统计，用户可以在系统自动挖掘生成的结果基础上再进行增删改，从而精确而全面地描绘特定对象的所有虚拟身份和活动轨迹，挖掘生成的暂时结果和确认结果均积累在相应的工作组空间，以便进一步共享和进一步加工排查；
[0067]3.网民活动规律空间统计:
[