一种动态url过滤方法及装置的制造方法
【技术领域】
[0001] 本发明涉及URL过滤技术领域，尤其涉及一种动态URL过滤方法及装置。
【背景技术】
[0002] 2014年1月16日，中国互联网络信息中心（CNNIC)在京发布第33次《中国互联网 络发展状况统计报告》。《报告》显示，截至2013年12月，中国网民规模达6. 18亿，互联网 普及率为45. 8%。其中，手机网民规模达5亿，继续保持稳定增长。随之而存在的是每天上 网活动产生的大量数据，这里面浏览网页占了绝大部分的比重，也就是说http (hypertext transfer protocol，超文本传送协议）的承载量很大。随之必然会有大规模的URL存在。 但是，其中往往有意义的URL只是一部分。有一定数量的URL (Uniform Resource Locator， 统一资源定位器）已经不能再访问，比例约20%。在能访问的URL集合里面也只是关心静 态部分的URL，因为占比约15%的动态URL的内容会发生变化。因此，对动态URL的过滤很 有必要性。
[0003] 传统的对动态URL进行过滤的方法是基于对网页内容变化进行判断的，具体是先 对URL进行一次访问，判断出它是否能被访问，然后对能访问的URL进行两次访问，对其页 面内容进行MD5值转换。然后对两次的MD5值进行比较。如果两次内容的MD5值相同，那 么该URL就是静态URL，否则认为该URL是动态URL。但是此种方法的速度比较慢，过程比 较长，而且比较耗资源。因此，需要寻找一种更好更快速的方法来进行分类。
【发明内容】
[0004] 本发明要解决的技术问题是，提供一种动态URL过滤方法及装置，在节省资源消 耗的同时提高处理的速度。
[0005] 本发明采用的技术方案是，所述动态URL过滤方法，包括：
[0006] 基于URL标注集创建信息字典，所述信息字典的内容包括两种类型：字符串特征 和统计特征；
[0007] 针对URL标注集中的每一个URL，根据所述信息字典生成对应的特征向量，由URL 标注集中所有的URL对应的特征向量组成特征矩阵；
[0008] 采用分类算法对URL特征矩阵进行分类得到特征权重向量和二分类阈值；
[0009] 基于所述信息字段对待预测的URL进行特征提取，并基于提取出的特征生成所述 待预测的URL的特征向量；
[0010] 将所述待预测的URL的特征向量与所述特征权重向量对应相乘后相加得到目标 数值，将目标数值与二分类阈值相比较以判断所述待预测的URL是动态URL还是静态URL。
[0011] 进一步的，所述统计特征至少包括以下各项之一的归一化数值：设定的标点符号 出现次数、路径深度、域名和/或路径中的数字个数、域名和/或路径中的最长字符串长度、 后缀长度、数字与字符之间的转换频次；
[0012] 所述字符串特征是指设定的字符串在URL中是否出现的量化信息，所述设定的字 符串的获取过程包括：至少采用设定的停用词对URL中的词进行划分得到设定的字符串， 所述设定的停用词包括和"；"。
[0013] 进一步的，设定的标点符号出现次数的归一化数值的确定方式是：先计算该设定 的标点符号在各URL中出现的次数，找出出现该设定的标点符号的次数最多的URL，然后相 对于该最多的出现次数，将所有URL中的出现次数进行归一化后得到每个URL中的该设定 的标点符号的统计特征，经过归一化后，任一 URL的该设定的标点符号的统计特征的数值 均在0?1范围内；
[0014] 后缀长度的归一化数值的确定方式是：先计算各URL的后缀长度，然后找出具备 最长后缀长度的URL，再计算出各URL的后缀长度与最长后缀长度的比值即得到归一化后 的每个URL中的后缀长度的归一化数值，任一 URL的后缀长度的归一化数值均在0?1范 围内。
[0015] 进一步的，针对URL标注集中的每一个URL，根据所述信息字典生成对应的特征向 量，包括：
[0016] 针对URL标注集中的每一个URL，确定该URL中的字符串特征和统计特征；
[0017] 将该URL中的字符串特征和统计特征组成该URL的特征向量。
[0018] 进一步的，所述分类算法，包括：线性逻辑回归分类算法、朴素贝叶斯算法或者支 持向量机算法。
[0019] 本发明还提供一种动态URL过滤装置，包括：
[0020]训练模块，用于基于URL标注集创建信息字典，所述信息字典的内容包括两种类 型：字符串特征和统计特征；针对URL标注集中的每一个URL，根据所述信息字典生成对应 的特征向量，由URL标注集中所有的URL对应的特征向量组成特征矩阵；采用分类算法对 URL特征矩阵进行分类得到特征权重向量和二分类阈值；
[0021] 预测模块，用于基于所述信息字段对待预测的URL进行特征提取，并基于提取出 的特征生成所述待预测的URL的特征向量；将所述待预测的URL的特征向量与所述特征权 重向量对应相乘后相加得到目标数值，将目标数值与二分类阈值相比较以判断所述待预测 的URL是动态URL还是静态URL。
[0022] 进一步的，所述统计特征至少包括以下各项之一的归一化数值：设定的标点符号 出现次数、路径深度、域名和/或路径中的数字个数、域名和/或路径中的最长字符串长度、 后缀长度、数字与字符之间的转换频次；
[0023] 所述字符串特征是指设定的字符串在URL中是否出现的量化信息，所述设定的字 符串的获取过程包括：至少采用设定的停用词对URL中的词进行划分得到设定的字符串， 所述设定的停用词包括和"；"。
[0024] 进一步的，所述训练模块，用于按照如下方式确定设定的标点符号出现次数的归 一化数值：先计算该设定的标点符号在各URL中出现的次数，找出出现该设定的标点符号 的次数最多的URL，然后相对于该最多的出现次数，将所有URL中的出现次数进行归一化后 得到每个URL中的该设定的标点符号的统计特征，经过归一化后，任一 URL的该设定的标点 符号的统计特征的数值均在〇?1范围内；
[0025] 所述训练模块，用于按照如下方式确定后缀长度的归一化数值：先计算各URL的 后缀长度，然后找出具备最长后缀长度的URL，再计算出各URL的后缀长度与最长后缀长度 的比值即得到归一化后的每个URL中的后缀长度的归一化数值，任一 URL的后缀长度的归 一化数值均在〇?1范围内。
[0026] 进一步的，所述训练模块，用于针对URL标注集中的每一个URL，确定该URL中的字 符串特征和统计特征；
[0027] 将该URL中的字符串特征和统计特征组成该URL的特征向量。
[0028] 进一步的，所述分类算法，包括：线性逻辑回归分类算法、朴素贝叶斯算法或者支 持向量机算法。
[0029] 采用上述技术方案，本发明至少具有下列优点：
[0030] 本发明所述动态URL过滤方法及装置，相比于传统的方法，可以离线处理，不需要 访问网络、减少了存储，比较节省处理时间和计算资源。且在采用线性逻辑回归分类算法时 具有更快的处理速度。
【附图说明】
[0031] 图1为本发明第一实施例的动态URL过滤方法流程图；
[0032] 图2为本发明第二实施例的动态URL过滤装置组成结构示意图；
[0033] 图3为本发明第三实施例的分类过程的流程示意图；
[0034] 图4(a)?（h)分别为本发明第三实施例的区分动态网页和静态网页的8个新特 征的比例分析示意图；
[0035]图5为本发明第三实施例的基于域名和路径中的特征的向量表示示意图；
[0036] 图6为本发明第三实施例的三种同分类算法的识别结果比较示意图；
[0037] 图7为本发明第三实施例的三种同分类算法的时间性能比较示意图。
【具体实施方式】
[0038] 为更进一步阐述本发明为达成预定目的所采取的技术手段及功效，以下结合附图 及较佳实施例，对本发明进行详细说明如后。
[0039] 本发明第一实施例，一种动态URL过滤方法，如图1所示，包括以下具体步骤：
[0040] 步骤S101，基于URL标注集创建信息字典，所述信息字典的内容包括两种类型：字 符串特征和统计特征。
[0041] 具体的，所述统计特征和所述字符串特征均来源于URL标注集中的所有URL，所述 统计特征至少包括以下各项之一的归一化数值：设定的标点符号出现次数、路径深度、域名 和/或路径中的数字个数、域名和/或路径中的最长字符串长度、后缀长度、数字与字符之 间的转换频次。比如：设定的标点符号出现次数的归一化数值的确定方式是：先计算该设 定的标点符号在各URL中出现的次数，找出出现该设定的标点符号的次数最多的URL，然后 相对于该最多的出现次数，将所有URL中的出现次数进行归一化