一种URL的类别确定方法及装置与流程
本发明涉及互联网技术领域，特别涉及一种统一资源定位符(uniformresourcelocator，url)的类别确定方法及装置。
背景技术：
目前，互联网在人们的生活中扮演着非常重要的角色，互联网在改善人们生活的同时，也使用户面临着严重的网络信息安全问题。以网络钓鱼、垃圾邮件为代表的网络恶意行为层出不穷。从这些网络恶意行为的实施过程中，人们不难发现，恶意网页及其统一资源定位符(uniformresourcelocator，url)在协助攻击者实施网络恶意行为方面起到了推波助澜的作用，因此人们不断发展和完善网页识别的相关技术及工具。作为识别恶意网页的基础技术之一，url分类问题具有重大的理论意义和科研价值。
在现有技术中，url分类的方法主要包括：基于黑名单技术的分类方法和基于启发式规则的分类方法。
黑名单中包含恶意网页的url，通过使用黑名单技术，人们可以准确识别已被确认的url分类，但不能正确识别之前未出现的url，从而不能将url进行分类。
基于启发式规则的分类方法，原理是依据恶意网页的url之间存在的相似性，通常是假设对于同一类别的url，其统计特征(例如，链接关系)是唯一的，根据统计特征对url进行分类。但是，对于大规模url分类而言，简单的特征统计容易导致分类不准确。
技术实现要素：
本发明提供一种url的类别确定方法及装置，用以解决现有技术中不能识别url的类别及url分类不准确的问题。
为达到上述目的，本发明实施例公开了一种url的类别确定方法，所述方法包括：
在待分类的url对应的网页内容中，获取预设的每个特征对应的每个特征字段；
针对每个特征字段，将该特征字段划分为至少一个第一词组，根据预先保存的每个词组在每个特征中的目标分类概率和非目标分类概率，确定该特征字段的第一特征值；
根据确定的所述待分类的url对应的每个第一特征值，及预先训练完成的url分类模型，确定所述待分类的url对应的类别。
进一步地，所述根据预先保存的每个词组在每个特征中的目标分类概率和非目标分类概率，确定该特征字段的第一特征值包括：
针对每个特征的特征字段中的每个第一词组，根据预先保存的每个词组在每个特征中的目标分类概率和非目标分类概率，获取该第一词组在该特征中的第一目标分类概率和第一非目标分类概率；根据该第一词组的第一目标分类概率和第一非目标分类概率，确定该第一词组的第一子特征值；
针对每个特征字段，将该特征字段中的至少一个第一词组对应的第一子特征值的和，确定为该特征字段的第一特征值。
进一步地，预先确定每个词组在每个特征中的目标分类概率和非目标分类概率的过程包括：
针对每个特征，识别包含该特征的样本url的第一数量；将所述第一数量的样本url中该特征对应的特征字段划分为至少一个第二词组；根据预先保存的每个词组所属的类别，确定每个第二词组所属的目标类别；针对每个第二词组，在所述第一数量的样本url中识别特征对应的特征字段中包含该第二词组的样本url的第二数量；识别所述第一数量的样本url中属于所述目标类别的样本url的第三数量，以及该第二数量的样本url中属于所述目标类别的样本url的第四数量；将所述第四数量与第三数量的第一比值确定为该第二词组在该特征中的目标分类概率；确定所述第二数量与第四数量的第一差值和第一数量与第三数量的第二差值，将所述第一差值与第二差值的第二比值确定为该第二词组在该特征中的非目标分类概率。
进一步地，所述特征包括以下至少一种：
标题、标签和正文。
进一步地，当所述特征为标题时，所述根据该第一词组的第一目标分类概率和第一非目标分类概率，确定该第一词组的第一子特征值包括：
根据公式：
进一步地，当所述特征为标签或正文时，所述根据该第一词组的第一目标分类概率和第一非目标分类概率，确定该第一词组的第一子特征值包括：
根据公式：
进一步地，所述方法还包括：
根据预设的相似度算法，确定该待分类的url对应的第二特征值；
所述根据确定的该待分类的url对应的每个第一特征值，及预先训练完成的url分类模型，确定所述待分类的url对应的类别包括：
根据确定的该待分类的url对应的第二特征值和每个第一特征值，及预先训练完成的url分类模型，确定所述待分类的url对应的类别。
进一步地，所述根据预设的相似度算法，确定该待分类的url的对应的第二特征值包括：
根据该待分类的url，及保存的实际访问的网页对应的url与用户输入的真实url之间的对应关系，获取该待分类的url对应的用户输入的真实url，其中所述待分类的url为实际访问的网页对应的url；
根据距离编辑法，确定用户输入的真实url与该待分类的url的第二特征值。
进一步地，所述预先训练完成的url分类模型包括：
采用支持向量机svm方法训练完成的第一模型和/或采用迭代决策树gbdt的方法训练完成的第二模型。
进一步地，当预先训练完成的url分类模型包括采用svm方法训练完成的第一模型和采用gbdt的方法训练完成的第二模型时，所述确定所述待分类的url对应的类别包括：
针对所述待分类的url，识别第一模型确定出的所述待分类的url对应的每一类别的第一子概率以及识别第二模型确定出的所述待分类的url对应的每一类别的第二子概率；
针对每一类别，根据预设的加权处理算法，以及该类别对应的第一子概率和第二子概率，确定该类别对应的目标概率；
识别目标概率最高时对应的目标类别，将所述目标类别确定为所述待分类的url对应的类别。
进一步地，当采用第一模型和/或第二模型进行训练时，确定每个模型中的每个参数的过程包括：
a、预设参数的第一变化区间，并将该第一变化区间分为至少两个第一子变化区间；
b、将每个第一子变化区间的区间边界值输入到第一模型和/或第二模型中，采用样本url对该第一模型和/或第二模型进行训练，根据训练结果，确定该参数的最优参数值；
c、判断每个第一子变化区间的区间长度值是否不大于设定阈值，如果是，则进行e，如果否，则进行d；
d、根据第一子变化区间的区间长度值确定包含该最优参数值的第二变化区间，将所述第二变化区间作为第一变化区间，返回步骤a；
e、将所述最优参数值作为所述参数的最优值。
本发明实施例公开了一种统一资源定位符url的类别确定装置，所述装置包括：
获取模块，用于在待分类的url对应的网页内容中，获取预设的每个特征对应的每个特征字段；
确定模块，用于针对每个特征字段，将该特征字段划分为至少一个第一词组，根据预先保存的每个词组在每个特征中的目标分类概率和非目标分类概率，确定该特征字段的第一特征值；
分类模块，用于根据确定的所述待分类的url对应的每个第一特征值，及预先训练完成的url分类模型，确定所述待分类的url对应的类别。
进一步地，所述确定模块，具体用于针对每个特征的特征字段中的每个第一词组，根据预先保存的每个词组在每个特征中的目标分类概率和非目标分类概率，获取该第一词组在该特征中的第一目标分类概率和第一非目标分类概率；根据该第一词组的第一目标分类概率和第一非目标分类概率，确定该第一词组的第一子特征值；针对每个特征字段，将该特征字段中的至少一个第一词组对应的第一子特征值的和，确定为该特征字段的第一特征值。
进一步地，所述确定模块，还用于针对每个特征，识别包含该特征的样本url的第一数量；将所述第一数量的样本url中该特征对应的特征字段划分为至少一个第二词组；根据预先保存的每个词组所属的类别，确定每个第二词组所属的目标类别；针对每个第二词组，在所述第一数量的样本url中识别特征对应的特征字段中包含该第二词组的样本url的第二数量；识别所述第一数量的样本url中属于所述目标类别的样本url的第三数量，以及该第二数量的样本url中属于所述目标类别的样本url的第四数量；将所述第四数量与第三数量的第一比值确定为该第二词组在该特征中的目标分类概率；确定所述第二数量与第四数量的第一差值和第一数量与第三数量的第二差值，将所述第一差值与第二差值的第二比值确定为该第二词组在该特征中的非目标分类概率。
进一步地，所述确定模块，具体用于根据公式：
进一步地，所述确定模块，具体用于根据公式：
进一步地，所述确定模块，还用于根据预设的相似度算法，确定该待分类的url对应的第二特征值；
所述分类模块，具体用于根据确定的该待分类的url对应的第二特征值和每个第一特征值，及预先训练完成的url分类模型，确定所述待分类的url对应的类别。
进一步地，所述确定模块，具体用于根据该待分类的url，及保存的实际访问的网页对应的url与用户输入的真实url之间的对应关系，获取该待分类的url对应的用户输入的真实url，其中所述待分类的url为实际访问的网页对应的url；根据距离编辑法，确定用户输入的真实url与该待分类的url的第二特征值。
进一步地，所述分类模块，具体用于针对所述待分类的url，识别第一模型确定出的所述待分类的url对应的每一类别的第一子概率以及识别第二模型确定出的所述待分类的url对应的每一类别的第二子概率；针对每一类别，根据预设的加权处理算法，以及该类别对应的第一子概率和第二子概率，确定该类别对应的目标概率；识别目标概率最高时对应的目标类别，将所述目标类别确定为所述待分类的url对应的类别。
进一步地，所述确定模块，还用于a、预设参数的第一变化区间，并将该第一变化区间分为至少两个第一子变化区间；b、将每个第一子变化区间的区间边界值输入到第一模型和/或第二模型中，采用样本url对该第一模型和/或第二模型进行训练，根据训练结果，确定该参数的最优参数值；c、判断每个第一子变化区间的区间长度值是否不大于设定阈值，如果是，则进行e，如果否，则进行d；d、根据第一子变化区间的区间长度值确定包含该最优参数值的第二变化区间，将所述第二变化区间作为第一变化区间，返回步骤a；e、将所述最优参数值作为所述参数的最优值。
本发明实施例公开了一种url的类别确定方法及装置，所述方法包括：在待分类的url对应的网页内容中，获取预设的每个特征对应的每个特征字段；针对每个特征字段，将该特征字段划分为至少一个第一词组，根据预先保存的每个词组在每个特征中的目标分类概率和非目标分类概率，确定该特征字段的第一特征值；根据确定的所述待分类的url对应的每个第一特征值，及预先训练完成的url分类模型，确定所述待分类的url对应的类别。由于在本发明实施例中，在确定待分类的url对应的类别时，是根据url对应的网页内容，在该网页内容中获取预设的每个特征对应的特征字段，从而确定每个特征字段的第一特征值，根据每个第一特征值及预先训练完成的url分类模型来确定待分类的url对应的类别，可以在一定程度上提高确定待分类的url的类别的准确性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种url的类别确定过程示意图；
图2为本发明实施例提供的一种url混合分类模型示意图；
图3为本发明实施例提供的一种url分类模型流程图；
图4为本发明实施例提供的一种url的类别确定装置结构图。
具体实施方式
为了可以对url进行分类，并且提高url分类的准确性，本发明实施例提供了一种url的类别确定方法及装置。
的下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
图1为本发明实施例提供的一种url的类别确定过程示意图，该过程包括以下步骤：
s101：在待分类的url对应的网页内容中，获取预设的每个特征对应的每个特征字段。
本发明实施例提供的url的类别确定方法可以应用于电子设备，该电子设备可以为手机、平板电脑、pc等设备。
为了确定待分类的url的类别，在本发明实施例中，根据待分类的url对应的每个特征字段的第一特征值，确定该待分类的url的类别。
电子设备中预先保存有url对应的网页内容中的每个特征，在获取待分类的url对应的每个特征字段时，可以是根据预先设定的url对应的每个特征，在待分类的url对应的网页内容中，获取该待分类的url对应的每个特征的每个特征字段。
所述特征可以是一个，例如标签或标题或正文，所述特征可以是两个，例如标签和正文，或标签和标题，或标题和正文，所述特征也可以是三个，例如标签、标题和正文。
当所述特征为标签时，所述特征字段可以理解为网页内容中的标签的内容。当所述特征为标题时，所述特征字段可以理解为网页内容中的标题的内容。当所述特征为正文时，所述特征字段可以理解为网页内容中的正文的内容。
s102：针对每个特征字段，将该特征字段划分为至少一个第一词组，根据预先保存的每个词组在每个特征中的目标分类概率和非目标分类概率，确定该特征字段的第一特征值。
电子设备中保存有分词方法，在根据预设的分词方法，将该特征字段划分为至少一个第一词组时，可以是电子设备中保存有分词包，根据分词包将该特征字段划分为至少一个第一词组，该分词包中的词组可以包括名词，例如“儿童”，可以包括形容词，例如“开心的”。
针对于每个特征，电子设备中保存有每个词组在该特征中的目标分类概率和非目标分类概率。在根据预先保存的每个词组在每个特征中的目标分类概率和非目标分类概率，确定该特征字段的第一特征值时，可以是根据预先保存的每个词组在每个特征中的目标分类概率和非目标分类概率，确定该特征字段中的每个第一词组的第一子特征值，将每个第一子特征值由大至小进行排序，将最大的第一子特征值作为所述特征字段的第一特征值。
在根据预先保存的每个词组在每个特征中的目标分类概率和非目标分类概率，确定该特征字段中的每个第一词组的第一子特征值时，可以是针对该特征字段中的每个第一词组，根据预先保存的每个词组在每个特征中的目标分类概率和非目标分类概率，获取该第一词组在该特征中的第一目标分类概率和第一非目标分类概率，将该第一目标分类概率与第一非目标分类概率的比值确定为该第一词组的第一子特征值。
所述每个词组对应的目标分类概率和非目标分类概率可以是用户设定的，针对每个词组，该词组在每个特征中的目标分类概率可以是相同的，也可以是不同的，该词组在每个特征中的非目标分类概率可以是相同的，也可以是不同的。
在同一特征中，不同类型的词组的目标分类概率和非目标分类概率可以不同，例如表示地区的词组的目标分类概率为0.5，非目标分类概率为0.6，表示人物的词组的目标分类概率为0.4，非目标分类概率为0.8。该地区例如可以是天津、北京等，该人物例如可以是儿童、教师等。
在同一特征中，同一词组的目标分类概率和非目标分类概率可能是相同的，也可能是不同的。同一词组的目标分类概率和非目标分类概率的和可以为1，也可以是为大于0的任何数。
s103：根据确定的所述待分类的url对应的每个第一特征值，及预先训练完成的url分类模型，确定所述待分类的url对应的类别。
在本发明实施例中预先对url分类模型进行训练，并且在对url分类模型进行训练时，是根据样本url对应的网页内容中的每个特征，以及每个特征对应的每个特征字段的特征值，对该url分类模型进行训练的。
当确定了待分类的url对应的每个第一特征值后，在训练完成的url分类模型中输入每个第一特征值，确定该待分类的url对应的类别。具体的，该url分类模型会针对该待分类的url输出响应结果，该响应结果即为确定出的该待分类的url对应的类别。
其中，根据url对应的每个第一特征值及预先训练完成的url分类模型，输出响应结果的过程属于现有技术，在本发明实施例中对该过程不进行赘述。
url分类模型中的url的类别包括教育类、体育类、新闻类等。
由于在本发明实施例中，在确定待分类的url对应的类别时，是根据url对应的网页内容，在该网页内容中获取预设的每个特征对应的特征字段，从而确定每个特征字段的第一特征值，根据每个第一特征值及预先训练完成的url分类模型来确定待分类的url对应的类别，可以在一定程度上提高确定待分类的url的类别的准确性。
实施例2：
为了提高确定的特征字段的第一特征值的准确性，在上述实施例的基础上，在本发明实施例中，所述根据预先保存的每个词组在每个特征中的目标分类概率和非目标分类概率，确定该特征字段的第一特征值包括：
针对每个特征的特征字段中的每个第一词组，根据预先保存的每个词组在每个特征中的目标分类概率和非目标分类概率，获取该第一词组在该特征中的第一目标分类概率和第一非目标分类概率；根据该第一词组的第一目标分类概率和第一非目标分类概率，确定该第一词组的第一子特征值；
针对每个特征字段，将该特征字段中的至少一个第一词组对应的第一子特征值的和，确定为该特征字段的第一特征值。
在本发明实施例中，电子设备中保存有网页内容中的每个特征，和每个词组在每个特征中的目标分类概率和非目标分类概率。在根据预先保存的每个词组在每个特征中的目标分类概率和非目标分类概率，确定该特征字段的第一特征值时，可以是针对该特征字段中的每个第一词组，确定该第一词组所在的特征，即针对每个特征的特征字段中的每个第一词组，根据预先保存的每个词组在每个特征中的目标分类概率和非目标分类概率，获取该第一词组在该特征中的第一目标分类概率和第一非目标分类概率；根据该第一词组的第一目标分类概率和第一非目标分类概率，确定该第一词组的第一子特征值；针对每个特征字段，将该特征字段中的至少一个第一词组对应的第一子特征值的和，确定为该特征字段的第一特征值。
在根据该第一词组的第一目标分类概率和第一非目标分类概率，确定该第一词组的第一子特征值时，可以是将该第一目标分类概率与第一非目标分类概率的比值确定为该第一词组的第一子特征值。
所述每个词组对应的目标分类概率和非目标分类概率可以是用户设定的，针对每个词组，该词组在每个特征中的目标分类概率可以是相同的，也可以是不同的，该词组在每个特征中的非目标分类概率可以是相同的，也可以是不同的。
在同一特征中，不同类型的词组的目标分类概率和非目标分类概率可以不同，例如表示地区的词组的目标分类概率为0.5，非目标分类概率为0.6，表示人物的词组的目标分类概率为0.4，非目标分类概率为0.8。该地区例如可以是天津、北京等，该人物例如可以是儿童、教师等。
在同一特征中，同一词组的目标分类概率和非目标分类概率可能是相同的，也可能是不同的。同一词组的目标分类概率和非目标分类概率的和可以为1，也可以是为任何大于0的数。
所述特征可以是一个，例如标签或标题或正文，所述特征可以是两个，例如标签和正文，或标签和标题，或标题和正文，所述特征也可以是三个，例如标签、标题和正文。
这种将该特征字段中的至少一个第一词组对应的第一子特征值的和确定为该特征字段的第一特征值的方法，使确定的该特征字段的第一特征值更加准确，从而可以进一步提高确定的待分类的url的类别的准确性。
电子设备在保存每个词组在每个特征中的目标分类概率和非目标分类概率时，例如，特征包括标题、标签和正文，可以是采用“标题-词组1-目标分类概率为*-非目标分类概率为*”、“标签-词组1-目标分类概率-非目标分类概率”的形式进行保存。当然为了减小存储空间的占用量，可以给每个特征设置标识，例如可以是标题的标识为1，标签的标识为2，正文的标识为3，目标分类概率的标识为a、非目标分类概率的标识为b，采用“1-词组1-a为*-b为*”、“3-词组1-a为*-b为*”的形式进行保存。
针对每个特征保存每个词组对应的目标分类概率和非目标分类概率，当确定了该词组所属的特征后，根据保存的目标分类概率和非目标分类概率确定该词组的特征值。为了进一步提高确定的待分类的url的类别的准确性，在上述各实施例的基础上，在本发明实施例中，当所述特征为标题时，所述根据该第一词组的第一目标分类概率和第一非目标分类概率，确定该第一词组的第一子特征值包括：
根据公式：
一般情况下，标签和正文相比标题字数较多，则划分的第一词组的数量也会增多，则确定的特征字段的第一特征值就会较大，在确定标签或正文对应的特征字段中的第一词组的第一子特征值时，可以采取与确定标题对应第一子特征值相同的方式，为了使确定的标签或正文对应的特征字段中的第一词组的第一子特征值更加准确，也可以采用取对数的方式确定第一子特征值，当所述特征为标签或正文时，所述根据该第一词组的第一目标分类概率和第一非目标分类概率，确定该第一词组的第一子特征值包括：
根据公式：
实施例3：
为了进一步提高确定的待分类的url的类别的准确性，在上述各实施例的基础上，在本发明实施例中，预先确定每个词组在每个特征中的目标分类概率和非目标分类概率的过程包括：
针对每个特征，识别包含该特征的样本url的第一数量；将所述第一数量的样本url中该特征对应的特征字段划分为至少一个第二词组；根据预先保存的每个词组所属的类别，确定每个第二词组所属的目标类别；针对每个第二词组，在所述第一数量的样本url中识别特征对应的特征字段中包含该第二词组的样本url的第二数量；识别所述第一数量的样本url中属于所述目标类别的样本url的第三数量，以及该第二数量的样本url中属于所述目标类别的样本url的第四数量；将所述第四数量与第三数量的第一比值确定为该第二词组在该特征中的目标分类概率；确定所述第二数量与第四数量的第一差值和第一数量与第三数量的第二差值，将所述第一差值与第二差值的第二比值确定为该第二词组在该特征中的非目标分类概率。
在本发明实施例中，所述特征可以是一个，例如标签或标题或正文，所述特征可以是两个，例如标签和正文，或标签和标题，或标题和正文，所述特征也可以是三个，例如标签、标题和正文。
电子设备中保存样本url，每个样本url包含的特征的可以是相同的，也可以是不同的，例如第一样本url包含的特征为标签和正文，第二样本url包含的特征为标签，第三样本url包含的特征为标签、标题和正文。
电子设备中预先保存有每个词组所属的类别，在预先确定每个词组在每个特征中的目标分类概率和非目标分类概率时，具体的可以是，针对每个特征，识别包含该特征的样本url的第一数量，将所述第一数量的样本url中该特征对应的特征字段划分为至少一个第二词组；根据预先保存的每个词组所属的类别，确定每个第二词组所属的目标类别；针对每个第二词组，在所述第一数量的样本url中识别特征对应的特征字段中包含该第二词组的样本url的第二数量；识别所述第一数量的样本url中属于所述目标类别的样本url的第三数量，以及该第二数量的样本url中属于所述目标类别的样本url的第四数量；将所述第四数量与第三数量的第一比值确定为该第二词组在该特征中的目标分类概率；确定所述第二数量与第四数量的第一差值和第一数量与第三数量的第二差值，将所述第一差值与第二差值的第二比值确定为该第二词组在该特征中的非目标分类概率。
所述每个词组所属的类别可以是用户任意设定的，也可以是根据该词组所在的样本url对应的类别确定的。
所述第一数量不大于电子设备保存的样本url的总数量，所述第二数量不大于所述第一数量，所述第三数量不大于所述第一数量，所述第四数量不大于所述第二数量。所述第二数量与第三数量可以相同，也可以不同。
例如，特征为标题，包含标题的样本url的第一数量为100，标题中的一个第二词组为“儿童”，所述“儿童”所属的类别为教育类，第一数量的样本url中包含“儿童”的样本url的第二数量为20，第一数量的样本url中属于教育类的样本url的第三数量为30，第二数量的样本url中属于教育类的样本url的第四数量为15，则所述“儿童”的目标分类概率为15/30，所述所述“儿童”的非目标分类概率为(20-15)/(100-30)＝5/70。
这种通过样本url的数量确定出的每个第二词组在每个特征中的目标分类概率和非目标分类概率的方法，使确定的目标分类概率和非目标分类概率更加准确，从而可以提高确定的待分类的url的类别的准确性。
实施例4：
在确定待分类的url对应的类别时，不仅可以根据待分类的url对应的网页内容来确定，还可以根据该待分类的url的特征来确定，为了进一步提高确定的待分类的url的类别的准确性，在上述各实施例的基础上，在本发明实施例中，所述方法还包括：
根据预设的相似度算法，确定该待分类的url对应的第二特征值；
所述根据确定的该待分类的url对应的每个第一特征值，及预先训练完成的url分类模型，确定所述待分类的url对应的类别包括：
根据确定的该待分类的url对应的第二特征值和每个第一特征值，及预先训练完成的url分类模型，确定所述待分类的url对应的类别。
为了确定待分类的url的类别，在本发明实施例中，除了根据待分类的url对应的每个第一特征值，确定该待分类的url的类别。还根据待分类的url对应的第二特征值，确定该待分类的url的类别。
用户在电子设备中输入url时，电子设备记录了用户输入的真实url，但是打开的网页对应的url可能与用户输入的真实url不同。打开的网页为用户实际访问的网页，该实际访问的网页对应的url为该待分类的url。因为每个网页都会有其对应的url，一般发生错误跳转时，该实际访问的网页对应的url与用户输入的真实url之间存在一定的相似性。
电子设备中预先保存有相似度算法，在确定该待分类的url对应的第二特征值时，可以根据预先保存的相似度算法，确定该待分类的url与该待分类的url对应的用户输入的真实url之间的相似度，将该相似度作为所述第二特征值。
确定待分类url和用户输入的真实url的相似度，即计算待分类url的第一字符串与用户输入的真实url的第二字符串之间，由第一字符串转成第二字符串所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。一般来说，编辑操作次数越少，两个字符串的相似度越大，即第二特征值越大。
在根据预先保存的相似度算法，确定该待分类的url与该待分类的url对应的用户输入的真实url之间的相似度时，具体的可以是将编辑操作次数的和的倒数确定为所述第二特征值。
为了提高确定的第二特征值的准确性，在上述各实施例的基础上，在本发明实施例中，根据该待分类的url，及保存的实际访问的网页对应的url与用户输入的真实url之间的对应关系，获取该待分类的url对应的用户输入的真实url，其中所述待分类的url为实际访问的网页对应的url；
根据距离编辑法，确定用户输入的真实url与该待分类的url的第二特征值。
在本发明实施例中，电子设备中保存有实际访问的网页对应的url与用户输入的真实url之间的对应关系，在获取该待分类的url对应的用户输入的真实url时，可以是根据该待分类的url，及保存的实际访问的网页对应的url与用户输入的真实url之间的对应关系，获取该待分类的url对应的用户输入的真实url，其中所述待分类的url为实际访问的网页对应的url。
当获取到该待分类的url对应的用户输入的真实url后，可以根据距离编辑法，确定用户输入的真实url与该待分类的url的相似度，即第二特征值。
所述根据据距离编辑法，确定用户输入的真实url与该待分类的url的相似度的过程属于现有技术，在本发明实施例中对该过程不进行赘述。
实施例5：
在上述各实施例的基础上，在本发明实施例中，在预先训练url分类模型时，可以是电子设备中保存有url对应的网页内容中的每个特征，针对训练集中的每个样本url，在样本url对应的网页内容中，获取预的每个特征对应的每个第一特征字段，针对每个第一特征字段，将该第一特征字段划分为至少一个第三词组，根据预先保存的每个词组在每个特征中的目标分类概率和非目标分类概率，确定该样本url对应的每个特征的第一特征字段的第三特征值；根据每个样本url对应的类别，以及每个样本url对应的每个第三特征值，对所述url分类模型进行训练。
也可以是针对训练集中的每个样本url，根据预设的相似度算法，确定该样本url对应的第四特征值；根据每个样本url对应的类别，以及每个样本url对应的第四特征值和每个第三特征值，对所述url分类模型进行训练。
在对url分类模型进行训练时，可以采用支持向量机(supportvectormachine，svm)的方法训练，则所述预先训练完成的url分类模型为采用svm方法训练完成的第一模型。可以采用迭代决策树(gradientboostingdecisiontree，gbdt)的方法训练，则所述预先训练完成的url分类模型为采用gbdt方法训练完成的第二模型。所述预先训练完成的url分类模型也可以包括采用支持向量机svm方法训练完成的第一模型和采用迭代决策树gbdt的方法训练完成的第二模型。
在根据预先设定的url对应的每个特征，确定该样本url对应的每个特征的特征字段的第三特征值和第四特征值时，首先对样本url使用网页爬虫进行网页信息收集，得到预设的特征对应的每个特征字段。
网也爬虫获取的数据称为原始数据，在原始数据中，不可避免的会有大量的重复的数据，这些重复数据不仅会占据大量的存储空间容量，影响模型训练的效率，同时还对模型训练的结果毫无帮助。因此在进行特征值的确定之前要对重复数据进行删除处理。
因为在对模型进行训练时，主要是根据特征字段中的正常文本数据进行训练，所以需要将噪声数据以及停用词删除。噪声数据包括中英文标点符号，数字等信息。停用词包括语气助词、副词、介词和连词，例如“none”、“gt”、“none”等停用词。
同时针对特征字段，还可以将该特征字段中的非中英文和乱码进行过滤，当采用预设的分词包将特征字段划分为至少一个词组时，分词包有其特有的特性，分词后的词组包括中文、英文和数字，从而完成了对非中英文的过滤。
在待分类的url对应的网页内容中，获取预设的每个特征对应的每个特征字段；针对每个特征字段，将该特征字段划分为至少一个第一词组，在根据预先保存的每个词组在每个特征中的目标分类概率和非目标分类概率，确定该特征字段的第一特征值之前，所述方法还包括：
针对每个特征字段，根据划分后的词组的数量及预设的比例，确定是否将该特征字段删除。
使用分词包分词后，乱码会被分割成单字，即每个单字即一个词组，因此乱码对应的词组数量会趋近于该特征字段的总字符数量。当该特征字段中词组数量超过该特征字段的总字符数量的预设比例时，认为该特征字段为乱码，则可以将该特征字段删除。所述预设比例可以为80％。针对未被删除的特征字段，计算其第一特征值。
上述过程可以称为非必要数据过滤过程，在对待分类的url进行分类时，也可以是采用上述的非必要数据的过滤过程对该待分类的url进行非必要数据的过滤。
实施例6：
为了进一步提高确定的待分类的url的准确性，在上述各实施例的基础上，在本发明实施例中，当预先训练完成的url分类模型包括采用svm方法训练完成的第一模型和采用gbdt的方法训练完成的第二模型时，所述确定所述待分类的url对应的类别包括：
针对所述待分类的url，识别第一模型确定出的所述待分类的url对应的每一类别的第一子概率以及识别第二模型确定出的所述待分类的url对应的每一类别的第二子概率；
针对每一类别，根据预设的加权处理算法，以及该类别对应的第一子概率和第二子概率，确定该类别对应的目标概率；
识别目标概率最高时对应的目标类别，将所述目标类别确定为所述待分类的url对应的类别。
在本发明实施例中，当预先训练完成的url分类模型包括采用svm方法训练完成的第一模型和采用gbdt的方法训练完成的第二模型，在确定所述待分类的url对应的类别时，可以是根据第一模型和第二模型共同确定所述待分类的url对应的类别。
每个模型在确定待分类的url对应的类别时，是根据确定出的该待分类的url属于每一类别的概率，将概率最高的类别作为输出响应结果，即确定出的待分类的url对应的类别。
电子设备中预先保存有加权处理算法，每个模型识别每一类别的可靠度不同，根据每个模型识别每一类别的可靠度，预先保存有每个模型对应每一类别的权重值，如果模型识别某一类别的可靠度比较高，则该模型对应的该类别的权重值较大。
在根据第一模型和第二模型确定所述待分类的url对应的类别时，可以是针对所述待分类的url，识别第一模型确定出的所述待分类的url对应的每一类别的第一子概率以及识别第二模型确定出的所述待分类的url对应的每一类别的第二子概率；针对每一类别，根据预设的加权处理算法，以及该类别对应的第一子概率和第二子概率，确定该类别对应的目标概率；识别目标概率最高时对应的目标类别，将所述目标类别确定为所述待分类的url对应的类别。
所述针对每一类别，根据预设的加权处理算法，以及该类别对应的第一子概率和第二子概率，确定该类别对应的目标概率，具体的可以是针对每一类别，确定第一子概率与第一模型中该类别的第一权重值的第一乘积，并确定第二子概率与第二模型中该类别的第二权重值的第二乘积，将第一乘积与第二乘积的和确定为该类别对应的目标概率。两个模型针对同一类别的第一权重值和第二权重值可以相同，例如都为0.5，也可以不同，例如第一权重值为0.4，第二权重值为0.6。当第一模型和第二模型，针对同一类别，权重值均为0.5时，即将第一子概率与第二子概率的平均值作为该类别的目标概率。
另外，每个模型针对每个类别的权重值可以相同，也可以不同。例如第一模型中针对第一类别的权重为0.3，针对第二类别的权重是0.6，针对第三类别的权重是0.5，第二模型中针对第一类别的权重为0.4，针对第二类别的权重是0.6，针对第三类别的权重是0.5。
如图2所示的url混合分类模型示意图，针对待分类的url，将第一分类模型(svm模型)确定的每一类别的第一子概率与第二分类模型(gbdt模型)确定出的每一类别的第二子概率，进行加权处理，确定最终的待分类的url对应的类别。
例如，第一模型和第二模型中的类别包括：教育类、新闻类和体育类，针对待分类的url，第一模型确定出的属于教育类的第一子概率为80％，属于体育类的第一子概率为60％，属于新闻类的第一子概率为70％，第二模型确定出的属于教育类的第二子概率为70％，属于体育类的第二子概率为65％，属于新闻类的第二子概率为82％。针对教育类的目标概率为(80％+70％)/2＝75％，针对体育类的目标概率为(60％+65％)/2＝62.5％，针对新闻类的目标概率为(82％+70％)/2＝76％，新闻类的目标概率是最高的，则将新闻类作为目标类别，即所述待分类的url对应的类别。
实施例7：
为了进一步提高确定的待分类的url的准确性，在上述各实施例的基础上，在本发明实施例中，当采用第一模型和/或第二模型进行训练时，确定每个模型中的每个参数的过程包括：
a、预设参数的第一变化区间，并将该第一变化区间分为至少两个第一子变化区间；
b、将每个第一子变化区间的区间边界值输入到第一模型和/或第二模型中，采用样本url对该第一模型和/或第二模型进行训练，根据训练结果，确定该参数的最优参数值；
c、判断每个第一子变化区间的区间长度值是否不大于设定阈值，如果是，则进行e，如果否，则进行d；
d、根据第一子变化区间的区间长度值确定包含该最优参数值的第二变化区间，将所述第二变化区间作为第一变化区间，返回步骤a；
e、将所述最优参数值作为所述参数的最优值。
在本发明实施例中，在对url分类模型进行训练时，可以是采用第一模型进行训练的，可以是采用第二模型进行训练的，也可以是采用第一模型和第第二模型进行训练的，在进行训练时，每个模型中均需要调节参数，确定最终的参数值。
以下针对两个模型的中的任意一个模型，对调节该模型中的任意一个参数的过程进行说明。
电子设备中保存有阈值，在确定每个模型中的每个参数时，可以是针对该参数，预设该参数的第一变化区间，并将该第一变化区间分为至少两个第一子变化区间，将每个第一子变化区间的区间边界值输入到第一模型和/或第二模型中，采用样本url对该第一模型和/或第二模型进行训练，根据训练结果，确定该参数的最优参数值。并且判断每个第一子变化区间的长度值是否不大于设定阈值，如果是，则将该最优参数值确定为所述参数的最优值，如果否，则可以根据第一子变化区间的区间长度值确定包含该最优参数值的第二变化区间，将该第二变化区间分为至少两个第二子变化区间，将每个第二子变化区间的区间边界值输入到第一模型和/或第二模型中，采用样本url对该第一模型和/或第二模型进行训练，根据训练结果，再次确定该参数的最优参数值；并且判断每个第二子变化区间的区间长度值是否不大于设定阈值，……，重复上述过程，直到第n子变化区间的区间长度值不大于设定阈值，将最终确定的最优参数值确定为所述参数的最优值。
所述根据训练结果，确定该参数的最优参数值的过程属于现有技术，在本发明实施例中对该过程不进行赘述。
在将第一变化区间分为至少两个第一子变化区间时，可以是按照预设的区间长度值来分，例如10或30。较优的，是将第一变化区间平均分为至少两个第一子变化区间，这样每个第一子变化区间的区间长度值为相同的。同理在将第n变化区间分为至少两个第n子变化区间时，较优的是将第n变化区间平均分为至少两个第n子变化区间。
在根据第一子变化区间的区间长度值确定包含该最优参数值的第二变化区间时，可以是将该最优参数值为该第二变化区间的边界值，或者是该将最优参数值作为第二变化区间中的任意位置上的值，较优的，该最优参数值为该第二变化区间的中值。所述第二变化区间的区间长度值可以为一个第一子变化区间的区间长度值，也可以是任意几个第一子变化区间的区间长度值，较优的，所述第二变化区间的区间长度值为两个第一子变化区间的区间长度值。
例如，设定阈值为20，第一模型的参数的第一变化区间d1为0-1000时，将第一变化区间平均分为10个第一子变化区间，每个第一子变化区间的区间长度值d1为1000/10＝100，则第一子变化区间为0-100，100-200，200-300，……，800-900，900-1000，将每个区间边界值：0、100、200、300、400、500、600、700、800、900、1000输入到第一模型中，采用样本url对该第一模型进行训练，根据训练结果，确定该参数的最优参数值300，并判断第一子变化区间的区间长度值d1大于设定阈值20，则需要确定第二变化区间。
在确定第二变化区间时，以最优参数值300为中值，将两个第一变化区间的区间长度值d1作为第二变化区间的区间长度值，则所述第二变化区间d2为200-400，将第二变化区间平均分为10个第二子变化区间，每个第二子变化区间的区间长度值d2为(400-200)/10＝20，则第二子变化区间为200-220，220-240，240-260，……，340-360，360-380，380-400，将第二子变化区间的区间边界值：200、220、240、260、……、340、360、380、400输入到第一模型中，采用样本url对该第一模型进行训练，根据训练结果，确定该参数的最优参数值340，并判断第二子变化区间的区间长度值d2不大于设定阈值20，则将最优参数值340作为所述参数的最优值。
上述确定每个模型中的每个参数的过程，大大减少了确定参数值的计算量。
实施例8：
图3为上述各实施例提供的url分类模型流程图，在训练url分类模型时，爬虫获取的原始数据进行非必要数据过滤，然后针对预设的特征，确定特征值，将每个样本url的特征值以及该样本url的类别输入到模型进行分类训练，得到url分类模型。
针对待分类的url，获取该待分类的url的每个第一特征值，将该第一特征值输入到训练好的url分类模型中，得到分类结果，即该待分类的url对应的类别。
在对url分类模型训练完成后，为了确定模型的准确性，可以根据每个特征对模型的影响，对该训练模型进行人工校验，也可以是根据模型中的每个参数对该模型进行人工校验。
图4为本发明实施例提供的一种url的类别确定装置结构图，所述装置包括：
获取模块41，用于在待分类的url对应的网页内容中，获取预设的每个特征对应的每个特征字段；
确定模块42，用于针对每个特征字段，将该特征字段划分为至少一个第一词组，根据预先保存的每个词组在每个特征中的目标分类概率和非目标分类概率，确定该特征字段的第一特征值；
分类模块43，用于根据确定的所述待分类的url对应的每个第一特征值，及预先训练完成的url分类模型，确定所述待分类的url对应的类别。
所述确定模块42，具体用于针对每个特征的特征字段中的每个第一词组，根据预先保存的每个词组在每个特征中的目标分类概率和非目标分类概率，获取该第一词组在该特征中的第一目标分类概率和第一非目标分类概率；根据该第一词组的第一目标分类概率和第一非目标分类概率，确定该第一词组的第一子特征值；针对每个特征字段，将该特征字段中的至少一个第一词组对应的第一子特征值的和，确定为该特征字段的第一特征值。
所述确定模块42，还用于针对每个特征，识别包含该特征的样本url的第一数量；将所述第一数量的样本url中该特征对应的特征字段划分为至少一个第二词组；根据预先保存的每个词组所属的类别，确定每个第二词组所属的目标类别；针对每个第二词组，在所述第一数量的样本url中识别特征对应的特征字段中包含该第二词组的样本url的第二数量；识别所述第一数量的样本url中属于所述目标类别的样本url的第三数量，以及该第二数量的样本url中属于所述目标类别的样本url的第四数量；将所述第四数量与第三数量的第一比值确定为该第二词组在该特征中的目标分类概率；确定所述第二数量与第四数量的第一差值和第一数量与第三数量的第二差值，将所述第一差值与第二差值的第二比值确定为该第二词组在该特征中的非目标分类概率。
所述确定模块42，具体用于根据公式：
所述确定模块42，具体用于根据公式：
所述确定模块42，还用于根据预设的相似度算法，确定该待分类的url对应的第二特征值；
所述分类模块43，具体用于根据确定的该待分类的url对应的第二特征值和每个第一特征值，及预先训练完成的url分类模型，确定所述待分类的url对应的类别。
所述确定模块42，具体用于根据该待分类的url，及保存的实际访问的网页对应的url与用户输入的真实url之间的对应关系，获取该待分类的url对应的用户输入的真实url，其中所述待分类的url为实际访问的网页对应的url；根据距离编辑法，确定用户输入的真实url与该待分类的url的第二特征值。
所述分类模块43，具体用于针对所述待分类的url，识别第一模型确定出的所述待分类的url对应的每一类别的第一子概率以及识别第二模型确定出的所述待分类的url对应的每一类别的第二子概率；针对每一类别，根据预设的加权处理算法，以及该类别对应的第一子概率和第二子概率，确定该类别对应的目标概率；识别目标概率最高时对应的目标类别，将所述目标类别确定为所述待分类的url对应的类别。
所述确定模块42，还用于a、预设参数的第一变化区间，并将该第一变化区间分为至少两个第一子变化区间；b、将每个第一子变化区间的区间边界值输入到第一模型和/或第二模型中，采用样本url对该第一模型和/或第二模型进行训练，根据训练结果，确定该参数的最优参数值；c、判断每个第一子变化区间的区间长度值是否不大于设定阈值，如果是，则进行e，如果否，则进行d；d、根据第一子变化区间的区间长度值确定包含该最优参数值的第二变化区间，将所述第二变化区间作为第一变化区间，返回步骤a；e、将所述最优参数值作为所述参数的最优值。
本发明实施例公开了一种url的类别确定方法及装置，所述方法包括：在待分类的url对应的网页内容中，获取预设的每个特征对应的每个特征字段；针对每个特征字段，将该特征字段划分为至少一个第一词组，根据预先保存的每个词组在每个特征中的目标分类概率和非目标分类概率，确定该特征字段的第一特征值；根据确定的所述待分类的url对应的每个第一特征值，及预先训练完成的url分类模型，确定所述待分类的url对应的类别。由于在本发明实施例中，在确定待分类的url对应的类别时，是根据url对应的网页内容，在该网页内容中获取预设的每个特征对应的特征字段，从而确定每个特征字段的第一特征值，根据每个第一特征值及预先训练完成的url分类模型来确定待分类的url对应的类别，可以在一定程度上提高确定待分类的url的类别的准确性。
对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者一个操作与另一个实体或者另一个操作区分开来，而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全应用实施例、或结合应用和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一序列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
- 还没有人留言评论。精彩留言会获得点赞！