专利名称：网络文本数据内容探测高速处理方法
技术领域：
:本发明涉及网络文本分类技术，特别涉及一种利用可编程逻辑器件从网络文本中抽取出用于分类的特征，然后利用分类技术给出其类别并进行相应处理的网络文本数据内容探测高速处理方法。
背景技术：
:目前，互联网技术已渗透到人们的生活中，给人们带来了极大的便利。例如，人们在家里通过网络了解各种信息，包括国际国内发生的大事，以及日常生活用品价格等。同时，通过网络也传播了许多色情、暴力、非法广告等信息，不利于未成年学生(7-17岁)的健康成长。文本作为网络传输信息的重要载体，对未成年学生的影响更大。例如，浏览黄色网页，收到黄色短信，将使未成年学生变坏，甚至犯罪。如何在不妨碍网络正常使用的情况下，保护好青少年的身心健康，是一个亟需解决的重大问题。网络路由和交换设备是能够控制网络用户的浏览内容，它通过事先设定一些网站黑名单(即网站的IP地址)，让网络用户不能够访问黑名单中的网页，在一定程度上可保护青少年的身心健康。例如，家长可预先设定一些黄色网页黑名单，让孩子访问不到这些网页。但这种人工事先设定黑名单的方法存在如下问题:I)对黄色网页的覆盖率不够，很难有效果。因为该方法需要人工事先去浏览网页，确定那些是黄色和健康网站。这就很难把所有不良网站收集齐全。而某一个漏网的不良网站就可能对孩子的身心健康造成伤害。2)不具有动态设置黑名单的功能，不适应真实情况。为了躲避检查，一般不良网站的IP地址经常在变化。
3)内容无法自由定制，不同年龄段，不同文化背景的人对色情内容的理解也不尽相同，统一提供的内容无法满足所有人的需求，人们也无法对内容进行编辑更改，满足自己的需要；4)隐私保护差，用户在定制服务后，自动连接服务器，全程监视用户行为，用户无法根据自身的需要来开关服务，个人隐私得不到保护。5)社交网络信息无法保护，现在不少人利用QQ、MSN等社交网络工具来进行色情聊天或发布色情信息，而这些工具都没有具体的IP地址，无法添加进黑名单进行保护
发明内容
:本发明专利的目的在于提供一种利用可编程逻辑器件，能够根据网络文本自动判别其类别良与不良，并能根据判定出的类别动态的对网络文本进行管控，保护好青少年的身心健康的网络文本数据内容探测高速处理方法。为了实现上述目的，本发明提出如下技术方案实现:网络文本数据内容探测高速处理系统，包括通过互联网与内容处理云服务器相连的内容处理终端设备，所述内容处理终端设备与至少一台数据终端相连，数据终端上安装控制台。所述内容处理终端设备包括通过至少一个连接器与互联网相连的可编程逻辑器件，所述可编程逻辑器件分别与储存器、闪存器连接。所述可编程逻辑器件包括至少一个内置的网卡，用于输入、输出数据；内置的控制处理部件，用于设置IP地址黑名单、复制由网卡发送来的网包数据；内置的网络内容处理部件，用于比较从控制部件发送来的网包数据。所述网络内容处理部件包括内置的网络协议内容解析部件，用于将网络数据包通过包重组，还原为文本；内置的文本特征抽取部件，采用简化的分词技术从文本中提取特征；内置的特征扩展部件，对少于100字的短文本进行扩展处理；内置的文本分类部件，给出文本类别。网络文本数据内容探测高速处理方法，包括以下步骤:步骤a，储存器从闪存器中复制所需词典；步骤b，网卡将网包数据发送至控制处理部件；步骤C，控制处理部件根据网包数据的内容进行分类处理:相关数据包发送至网络内容处理部件；其他数据包直接转发至网卡中通过；步骤d，网络内容处理部件内的网络协议内容解析部件接受从控制处理部件发来的相关数据包，并将相关数据包通过包重组，还原为文本，发送至文本特征抽取部件；步骤e，文本特征抽取部件接受文本后，从储存器中调用相应词典对文本进行查找；查找结果输出为特征词语列表、非特征重要词语列表；步骤f，特征扩展部件从储存器中调用相应词典对非特征重要词语列表进行查找、扩展处理，将非特征重要词语列表转换为特征词语列表+折算系数；步骤g，文本分类部件将步骤e中的特征词语列表、步骤f中的非特征重要词语列表进行扩展、合并处理得到特征词语列表+折算系数，从储存器中调用对应类别的词典进行查找处理，并得出权重，采用折算系数X权重得到处理结果，并将结果进行累加，根据累加的结果进行类别判定:如果为不良文本，则进行过滤、预警处理；如果为正常文本，则转发至网卡中通过。所述闪存器内储存有分词词典、特征词典、重要词语词典、重要词语VS特征词语映射词典、特征词语分类词典、IP地址黑名单词典。所述相关数据包为社交网络数据包。所述相关数据包还包括网页数据包。控制处理部件从储存器中调用IP地址黑名单词典对网页数据包进行查找处理，如果是黑名单中的IP地址，则判断为不良网页，进行过滤、预警处理，如果不是黑名单中的IP地址，则转发至网卡正常通过。步骤e中，从储存器中调用相应词典为分 词词典。步骤e中，查找采用正向匹配查找、反向匹配查找。步骤e中，查找结果一致时，从储存器中调用特征词典、重要词语词典对文本进行词语查找。步骤e中，查找结果不一致时，从储存器中调用特征词典、重要词语词典对文本进行字符串查找。
步骤f中，从储存器中调用重要词语VS特征词语映射词典。步骤g中，从储存器中调用特征词语分类词典。闪存器通过互联网连接内容处理云服务器更新词典；用户可通过数据终端上的控制台上传需要订制的内容至内容处理云服务器。用户添加的内容还可以包括视频信息。本发明专利可解决的技术问题是:利用可编程逻辑器件对通过设备的网络数据进行探测，控制处理部件从网卡复制数据包，并交给网络协议内容解析部件，解析出文本后提交给文本特征抽取部件，提取出特征后提交给文本分类部件，根据分出的文本类别，进行相应处理，采用动态管理，具有实时监控网络内容良与不良的能力，并能实时预警；用户根据自己的需要上传个例，可以自己定制监控内容，满足不同人群的要求；由用户决定是否添加订制的服务，是否与服务器连接，避免用户个人隐私被泄露。
:
图1为本发明结构示意图；图2为本发明内容处理终端设备结构示意图；图3为本发明工作流程图；图4为本发明文本特征抽取部件工作流程图；图5为本发明特征扩展部件工作流程图；图6为本发明文本分类部件工作流程图。
具体实施方式
:如图所示，用户通过数据终端3上的控制台4上传需要定制的内容至内容处理云服务器2，用户可根据自身需要决定是否通过互联网连接内容处理云服务器2更新词典。当用户用PC机连接INTERNET网络时，网卡将网包数据发送至控制处理部件52 ；控制处理部件52根据网包数据的内容进行分类处理:QQ、MSN、推特等社交网络数据包发送至网络内容处理部件53 ;控制处理部件52从储存器7中调用IP地址黑名单词典对网页数据包进行查找处理，如果是黑名单中的IP地址，则判断为不良网页，进行过滤、预警处理，如果不是黑名单中的IP地址，则转发至网卡51正常通过；不属于上述两种数据的其他数据包，则直接转发至网卡51中通过。网络内容处理部件53内的网络协议内容解析部件54接受从控制处理部件52发来的社交网络数据包，并将社交网络数据包通过包重组，还原为文本，发送至文本特征抽取部件55 ;文本特征抽取部件55接受文本后，从储存器7中调用分词词典对文本进行正向匹配查找、反向匹配查找；如果结果一致，则从储存器7中调用特征词典、重要词语词典对文本进行词语查找；如果结果不一致，则从储存器7中调用特征词典、重要词语词典对文本进行字符串查找；查找结果输出为特征词语列表、非特征重要词语列表；特征扩展部件56从储存器7中调用重要词语VS特征词语映射词典对非特征重要词语列表进行查找、扩展处理，将非特征重要词语列表转换为特征词语列表+折算系数；文本分类部件57将特征词语列表、非特征重要词语列表进行扩展、合并处理得到特征词语列表+折算系数，从储存器7中调用特征词语1-N类分类词典进行查找处理，并得出权重，采用折算系数X权重得到处理结果，并将结果进行累加，根据累加的结果进行类别判定:如果为不良文本，则进行过滤、预警处理；如果为正常文本，则转发至网卡中通过。当用户用手机连接GSM/GPRS网络时，网卡51将网包数据发送至控制处理部件52 ；控制处理部件52根据网包数据的内容进行分类处理:短信数据包发送至网络内容处理部件53;其他数据包，则直接转发至网卡51中通过。网络内容处理部件53内的网络协议内容解析部件54接受从控制处理部件52发来的短信数据包，并将短信数据包通过包重组,还原为文本,发送至文本特征抽取部件55 ；文本特征抽取部件55接受文本后，从储存器7中调用分词词典对文本进行正向匹配查找、反向匹配查找；如果结果一致，则从储存器7中调用特征词典、重要词语词典对文本进行词语查找；如果结果不一致，则从储存器7中调用特征词典、重要词语词典对文本进行字符串查找；查找结果输出为特征词语列表、非特征重要词语列表；特征扩展部件56从储存器7中调用重要词语VS特征词语映射词典对非特征重要词语列表进行查找、扩展处理，将非特征重要词语列表转换为特征词语列表+折算系数；文本分类部件57将特征词语列表、非特征重要词语列表进行扩展、合并处理得到特征词语列表+折算系数，从储存器7中调用特征词语1-N类分类词典进行查找处理，并得出权重，采用折算系数X权重得到处理结果，并将结果进行累加，根据累加的结果进行类别判定:如果为不良文本，则进行过滤、预警处理；如果为正常文本，则转发至网卡51中通过。用户添加了视频相关的特征词语后，通过本系统还可以对用户浏览的视频信息进行检测、监控 和处理。
权利要求
1.网络文本数据内容探测高速处理方法，包括以下步骤: 步骤a，储存器从闪存器中复制所需词典； 步骤b，网卡将网包数据发送至控制处理部件； 步骤C，控制处理部件根据网包数据的内容进行分类处理:相关数据包发送至网络内容处理部件；其他数据包直接转发至网卡中通过； 步骤d，网络内容处理部件内的网络协议内容解析部件接受从控制处理部件发来的相关数据包，并将相关数据包通过包重组,还原为文本,发送至文本特征抽取部件； 步骤e，文本特征抽取部件接受文本后，从储存器中调用相应词典对文本进行查找；查找结果输出为特征词语列表、非特征重要词语列表； 步骤f，特征扩展部件从储存器中调用相应词典对非特征重要词语列表进行查找、扩展处理，将非特征重要词语列表转换为特征词语列表+折算系数； 步骤g，文本分类部件将步骤e中的特征词语列表、步骤f中的非特征重要词语列表进行扩展、合并处理得到特征词语列表+折算系数，从储存器中调用对应类别的词典进行查找处理，并将处理结果进行累加，根据累加的结果进行类别判定:如果为不良文本，则进行过滤、预警处理；如果为正常文本，则转发至网卡中通过。
2.根据权利要求1所述的网络文本数据内容探测高速处理方法，其特征在于:所述闪存器内储存有分词词典、特征词典、重要词语词典、重要词语VS特征词语映射词典、特征词语分类词典、IP地址黑名单词典。
3.根据权利 要求1所述的网络文本数据内容探测高速处理方法，其特征在于:所述相关数据包为社交网络数据包。
4.根据权利要求1所述的网络文本数据内容探测高速处理方法，其特征在于:所述相关数据包还包括网页数据包。
5.根据权利要求1或4所述的网络文本数据内容探测高速处理方法，其特征在于:控制处理部件从储存器中调用IP地址黑名单词典对网页数据包进行查找处理，如果是黑名单中的IP地址，则判断为不良网页，进行过滤、预警处理，如果不是黑名单中的IP地址，则转发至网卡正常通过。
6.根据权利要求1或2所述的网络文本数据内容探测高速处理方法，其特征在于:步骤e中，从储存器中调用分词词典。
7.根据权利要求1所述的网络文本数据内容探测高速处理方法，其特征在于:步骤e中，查找采用正向匹配查找、反向匹配查找。
8.根据权利要求1、2或7所述的网络文本数据内容探测高速处理方法，其特征在于:步骤e中，查找结果一致时，从储存器中调用特征词典、重要词语词典对文本进行词语查找；查找结果不一致时，从储存器中调用特征词典、重要词语词典对文本进行字符串查找。
9.根据权利要求1或2所述的网络文本数据内容探测高速处理方法，其特征在于:步骤f中，从储存器中调用重要词语VS特征词语映射词典。
10.根据权利要求1或2所述的网络文本数据内容探测高速处理方法，其特征在于:步骤g中，从储存器中调用特征词语分类词典。
11.根据权利要求1所述的网络文本数据内容探测高速处理方法，其特征在于:闪存器通过互联网连接内容处理云服务器更新词典。
12.根据权利要求1所述的网络文本数据内容探测高速处理方法，其特征在于:用户可通过数据终端上的控制台上传需要订制的内容至内容处理云服务器。
13.根据权利要求13所述的网络文本数据内容探测高速处理方法，其特征在于:用户添加的内容还可以包 括视频信息。
全文摘要
本发明涉及一种网络文本数据内容探测高速处理方法，利用可编程逻辑器件对通过设备的网络数据进行探测，控制部件从网卡复制数据包，并交给网络协议内容解析部件，解析出文本后提交给文本特征抽取部件，提取出特征后提交给文本分类部件，根据分出的文本类别，进行相应处理，采用动态管理，具有实时监控网络内容良与不良的能力，并能实时预警；用户根据自己的需要上传个例，可以自己定制监控内容，满足不同人群的要求；由用户决定是否添加订制的服务，是否与服务器连接，避免用户个人隐私被泄露。
文档编号G06F17/30GK103246705SQ201310120200
公开日2013年8月14日 申请日期2013年4月9日 优先权日2013年4月9日
发明者樊兴华 申请人:无锡安康讯信息科技有限公司, 樊兴华