基于专家系统url清洗知识库的“垃圾”内容过滤方法
【专利摘要】基于专家系统URL清洗知识库的“垃圾”内容过滤方法，属于海量大数据清洗、数据顾虑领域。本发明采用人工智能专家系统的方法，通过“完全URL”、“含一级域名”、“不含一级域名”、“完整域名”和“不完整域名”等分类规则的推理，以及与其List下的“左侧”、“左右”、“包含”和“右侧”等分类知识的匹配；若数据清洗推理匹配成功，则对“URL清洗知识库”实时进行更新，将该访问记录页面从原始的“移动互联网访问记录”中清洗掉，即删除，数据清洗结束。若推理匹配失败，则数据清洗失败。对URL清洗知识库的更新，使系统变得越来聪明，不仅提高了清洗过滤的效率，更重要是提高了内容分类的覆盖面和准确程度。
【专利说明】基于专家系统URL清洗知识库的“垃圾”内容过滤方法
【技术领域】
[0001]本发明属于数据清洗、数据过滤领域，特别是涉及到一个基于专家系统URL清洗知识库的移动互联网访问内容的“垃圾”过滤方法。
【背景技术】
[0002]随着移动互联网的迅猛发展，特备是3G、4G互联网普及，原本只有专业和时尚人士上网变成草根屌丝们都能上网，带来了全民上网的信息化时代，造成信息爆炸。有效的组织管理好互联网信息，并从这些海量的大数据中快速、准确、全面的获取客户的兴趣特征，是对当今信息科学【技术领域】的一大挑战。数据清洗技术，作为处理海量互联网文本数据的关键技术，可以解决电信运营商智能营销的问题，达到提高效率、降低成本、减少投诉、增加收益精细化运营的目的。
[0003]中国移动、中国电/[目和中国联通二大运营商每天从固网(IP网)、移动互联网(2G、3G、4G)从DPI分光数据中获取的移动互联网访问数据规模，小者几亿条访问记录，多者上百亿，因此数据清洗过滤工作是用户移动互联网访问行为分析的基础。传统数据清洗主要目的是保持数据一致性，处理无效值和缺失值，即处理不完整的数据、错误的数据、重复的数据。但是，移动互联网访问数据清洗不仅要清洗传统意义上的噪声或脏数据，还要清洗掉导航、统计、功能、接口、脚本、天气、流量、登录、下载、版权等不是用户最终访问内容(页面URL)。因此，这部分内容对于用户访问兴趣偏好就是“垃圾”，这也正是本发明要解决的问题。
【发明内容】
[0004]鉴于以上存在的问题，本发明的目的在于:提供一种通过人工智能专家系统构建的基于“URL清洗知识库”的“垃圾”内容过滤方法，旨在解决电信运营商百亿级海量“垃圾”内容(页面URL)清洗的问题。
[0005]本发明的目的是通过如下技术方案实现:
[0006]一种基于专家系统的URL清洗知识库的“垃圾”内容过滤方法，其特征在于，包括如下步骤:
[0007](I)格式验证:完整性验证，即访问记录的核心字段是否包括用户ID，URL格式，访问时间(包括日期YYYY-MM-DD和时间HH:MM:SS)，只要不包括其中一个字段，即为数据不完整，则清洗掉该条记录；一致性验证是验证用户ID、URL和访问时间格式是否规范，若不规范，则清洗掉该条记录；
[0008](2) “完全URL”垃圾清洗推理:从“URL清洗知识库”读取清洗知识，在完全URL特征的Hash散列表中，推理在原始的访问记录页面URL中是否存在“完全URL”为“垃圾”页面特征？若存在，执行步骤(7)推理。若不存在，则进行步骤(3)推理；
[0009](3) “含一级域名”垃圾清洗推理；从原始URL中截取“一级域名”，构造为特征容器包装类TSDL，在“一级域名”特征的Hash散列表中，推理是否存在TSDL为“垃圾”页面的特征。若存在“一级域名”，则进行步骤(5)推理。若不存在，则执行步骤(4)推理；
[0010](4) “不含一级域名”垃圾清洗推理:若不存在“一级域名”，则获取不含一级域名“垃圾”页面特征知识的List，在List中包括后缀、左侧、左右和包含四类匹配知识，按照知识特征的置信度降幂顺序进行匹配推理。若匹配成功，则执行步骤(7)推理。若匹配失败，则数据清洗结束。
[0011](5) “完整域名”垃圾清洗推理:从原始URL中截取“完整域名”，构造为特征容器包装类DOMAIN，在完整域名特征的Hash散列表中，推理是否存在DOMAIN为“垃圾”页面的特征；若存在“完整域名”，则获取完整域名“垃圾”页面特征知识的List，在List中有右侧匹配知识和包含匹配知识，如果匹配成功，执行步骤(7)推理，如果匹配失败，执行步骤(6)推理；
[0012](6) “不完整域名”垃圾清洗推理:若在Hash散列表中不存在“完整域名”，则获取不完整域名“垃圾”特征的知识List，在List中包括左侧、左右和包含三类匹配知识，按照“不完整域名”知识特征的置信度降幂顺序进行匹配推理。若匹配成功，则执行步骤(7)推理。若匹配失败，则执行步骤(4)推理；
[0013](7)若清洗推理匹配成功，则对“URL清洗知识库”进行更新，同时在原始“移动互联网访问记录”中删除“垃圾”数据，数据清洗结束。
[0014]其中步骤(2)中的“URL清洗知识库”的初始集建立，其特征在于:是通过一天的“基于客户移动互联网访问行为分析” Top排名的“垃圾”页面作为训练集，通过下一天Top排名的“垃圾”页面作为测试集，反复测试，直至达到要求的覆盖率后而建立完成，其是一个机器分析人工验证的过程。
[0015]所述步骤(7)中的“URL清洗知识库”知识更新，其步骤包括:
[0016](I)根据客户移动互联网访问行为分析，计算出“垃圾”页面URL的PV值(PageView值)和置信度，并给出“垃圾”页面和对应的URL特征的Top排名；
[0017](2)新增URL清洗知识的添加:根据“垃圾”页面的置信度，经人工确认，将新URL清洗知识添加到规则中，即将完全匹配、一级域名和完整域名Hash特征包装类中的知识添加到“URL清洗知识库”中，和将特征包装类构造下的List中的后缀规则、右侧规则、左侧规贝U、包含规则和左右规则中的知识添加到“URL清洗知识库”中；
[0018](3)URL清洗推理规则的更新:实时更新基于URL清洗的推理规则，即在完全匹配、一级域名和完整域名Hash特征包装类中更新检索序列,在特征包装类构造下的List中更新后缀规则、右侧规则、左侧规则、包含规则和左右规则中更新URL清洗知识的推理优先级别；
[0019](4) URL清洗陈旧知识的删除:根据客户移动互联网访问行为分析，若URL清洗知识N天没有被使用过，则认定为陈旧知识，从“URL清洗知识库”中删除。N为预先设置的阈值。
[0020]本发明方案的工作原理及技术效果:
[0021]本发明涉及到一个专家系统(ExpertSystem)，起源于20世纪60年代，属于人工智能的一个发展分支，是一个或一组能在某些特定领域内，应用大量的专家知识和推理方法求解复杂问题的一种人工智能计算机程序。通常由人机交互界面、知识库、推理机、解释器、综合数据库、知识获取等6个部分构成。本发明只涉及基于“URL清洗知识库”的页面URL的内容分类推理方法，不涉及专家系统的人机交互界面、解释器、综合数据库和知识获取。
[0022]本发明是涉及到一个完整URL构成:协议://用户名:密码@子域名.域名.顶级域名:端口号/目录/文件名.文件后缀？参数=值#标志。顶级域名分为国际和国内，如，.com为国际顶级域名，.cn为国家顶级域名。一级域名是在顶级域名前再加一级，如baidu.com、sina.com.cn ; 二级域名是在一级域名前再加一级，如music, baidu.com、sports, sina.com.cn,以此类推N级域名。本发明中的完整域名=子域名+域名+顶级域名。
[0023]本发明对如此复杂的、海量的访问数据，首先要根据“URL清洗知识库”，然后调用“URL清洗推理机”对数据进行清洗，清洗掉图片、导航、功能、统计、天气、错误、流量、登录、下载、版权、接口、脚本等不是“有效”访问内容的“垃圾”页面信息。
[0024]本发明涉及到的“URL清洗知识库”中的知识由两种形式组成:
[0025]I) “完整URL”、“一级域名”和“完整域名”构成的Hash Table知识
[0026]2)由通配符组成URL集合的左侧匹配、右侧匹配、左右匹配和包含匹配等List知识
[0027]“URL清洗知识库”初始集的建立是通过移动互联网客户行为分析，获取一天“垃圾”页面URL浏览数(PV值)的Top N排名作为训练集，再用下一天“垃圾”页面URL浏览数的Top N排名作为测试集，来检查分析“垃圾”页面抽取的准确性和覆盖程度是否达到预想的M%。当覆盖程度达到1%以上时，则“URL清洗知识库”初始集建立完成。当覆盖程度达不到11%时，则再取下一天的Top N “垃圾”页面数据作为训练集继续训练，直至达到为止。其中:N和M%为预先设置的经验阈值。
[0028]本发明中的“URL清洗推理机”是基于Hash散列表数据结构架构下，其清洗推理过程如下:
[0029]格式验证:验证访问数据的完整性和一致性，完整性是验证访问记录的核心字段是否包括用户ID，URL格式，访问时间(包括日期YYYY-MM-DD和时间HH:丽:SS)等，只要不包括其中一个字段，即为数据不完整，则清洗掉该条记录。一致性是验证用户ID和访问时间格式是否规范，若不规范，则清洗掉该条记录。
[0030]在格式验证的基础上，从“URL清洗知识库”中读取清洗知识，在“完全URL”特征的Hash散列表中，进行“完全URL”推理，即推理在原始的访问记录页面URL中是否存在“完全URL”为“垃圾”页面特征？例如:在某一时间段内，在Hash散列表中存储的“完全URL”为“垃圾”页面特征的知识如下:
[0031]
【权利要求】
1.基于专家系统URL清洗知识库的“垃圾”内容过滤方法，其特征在于，包括: (1)格式验证:完整性验证，即访问记录的核心字段是否包括用户ID，URL格式，访问时间，只要不包括其中一个字段，即为数据不完整，则清洗掉该条记录；一致性验证是验证用户ID、URL和访问时间格式是否规范，若不规范，则清洗掉该条记录； (2)“完全URL”垃圾清洗推理:从“URL清洗知识库”读取清洗知识，在完全URL特征的Hash散列表中，推理在原始的访问记录页面URL中是否存在“完全URL”为“垃圾”页面特征？若存在，执行步骤(7)推理；若不存在，则进行步骤(3)推理； (3)“含一级域名”垃圾清洗推理；从原始URL中截取“一级域名”，构造为特征容器包装类TSDL，在“一级域名”特征的Hash散列表中，推理是否存在TSDL为“垃圾”页面的特征。若存在“一级域名”，则进行步骤(5)推理；若不存在，则执行步骤(4)推理； (4)“不含一级域名”垃圾清洗推理:若不存在“一级域名”，则获取不含一级域名“垃圾”页面特征知识的List，在List中包括后缀、左侧、左右和包含四类匹配知识，按照知识特征的置信度降幂顺序进行匹配推理；若匹配成功，则执行步骤(7)推理；若匹配失败，则数据清洗结束； (5)“完整域名”垃圾清洗推理:从原始URL中截取“完整域名”，构造为特征容器包装类DOMAIN，在完整域名特征的Hash散列表中，推理是否存在DOMAIN为“垃圾”页面的特征；若存在“完整域名”，则获取完整域名“垃圾”页面特征知识的List，在List中有右侧匹配知识和包含匹配知识，如果匹配成功，执行步骤(7)推理，如果匹配失败，执行步骤(6)推理； (6)“不完整域名”垃圾清洗推理:若在Hash散列表中不存在“完整域名”，则获取不完整域名“垃圾”特征的知识List，在List中包括左侧、左右和包含三类匹配知识，按照“不完整域名”知识特征的置信度降幂顺序进行匹配推理。若匹配成功，则执行步骤(7)推理。若匹配失败，则执行步骤(4)推理； (7)若清洗推理匹配成功，则对“URL清洗知识库”进行更新，同时在原始“移动互联网访问记录”中删除“垃圾”数据，数据清洗结束。
2.如权利要求1所述的基于专家系统URL清洗知识库的“垃圾”内容过滤方法，其特征在于，所述的步骤(7)中的“URL清洗知识库”需要定期进行知识更新，其步骤如下: (1)根据客户移动互联网访问行为分析，计算出“垃圾”页面URL的PV值(PageView值)和置信度，并给出“垃圾”页面和对应的URL特征的Top排名； (2)新增URL清洗知识的添加:根据“垃圾”页面的置信度，经人工确认，将新URL清洗知识添加到规则中，即将完全匹配、一级域名和完整域名Hash特征包装类中的知识添加到“URL清洗知识库”中，和将特征包装类构造下的List中的后缀规则、右侧规则、左侧规则、包含规则和左右规则中的知识添加到“URL清洗知识库”中； (3)URL清洗推理规则的更新:实时更新基于URL清洗的推理规则，即在完全匹配、一级域名和完整域名Hash特征包装类中更新检索序列,在特征包装类构造下的List中更新后缀规则、右侧规则、左侧规则、包含规则和左右规则中更新URL清洗知识的推理优先级别； (4)URL清洗陈旧知识的删除:根据客户移动互联网访问行为分析，若URL清洗知识N天没有被使用过，则认定为陈旧知识，从“URL清洗知识库”中删除；N即为预先设置的阈值。
【文档编号】G06F17/30GK103902707SQ201410127394
【公开日】2014年7月2日 申请日期:2014年3月31日 优先权日:2014年3月31日
【发明者】孙宏, 赵晓波, 季海东, 董童霖, 赵宇龙 申请人:辽宁四维科技发展有限公司