站点页面分级的方法、装置、设备及存储介质与流程

1.本技术涉及计算机技术领域，尤其涉及一种站点页面分级的方法、装置、设备及存储介质。


背景技术：

2.随着技术的发展和业务的增长，站点页面数量也在不断增加，为了保证站点页面的安全性，目前提出对站点页面进行监测处理。在对站点页面监测时，根据站点页面的重要等级进行监测，不同重要等级进行不同频率与强度的监测，使得监测所消耗的网络、计算等资源可控。因此，如何对站点页面进行分级处理是至关重要的。
3.目前，对站点页面进行分级处理主要包含两种方式，分别为：使用爬虫构建页面树，根据站点页面所在层级确定重要等级，以及使用pagerank算法根据站点页面之间的相互引用进行度量。
4.其中，站点页面层级取决于站点组织结构，层级较高的站点页面不一定会被经常访问，同理层级较低的站点页面可能会被经常访问，访问热度较高。但是，层级较高的站点页面对应的监测频率和监测强度较高，而层级较低的站点页面对应的监测频率和监测强度较低。此时，由于层级较低的站点页面具有较高的访问热度，层级较低的站点页面更加容易被篡改挂马等恶意攻击；又，由于监测频率和监测强度较低，导致不能及时发现问题，造成巨大损失。
5.pagerank算法下新站点页面指向其引用很少，因此基于指向其引用的数量确定的重要等级较低，但是这类新站点页面往往访问热度较高。同理，新站点页面更加容易被篡改挂马等恶意攻击，但是因重要等级较低，对应的监测频率和监测强度较低，导致不能及时发现问题，造成巨大损失。
6.因此，如何对站点页面进行分级，保证站点页面分级的准确性，进一步保证站点页面监测的准确性，以及时发现站点页面是否被恶意攻击，避免损失，是目前需要解决的技术问题。


技术实现要素：

7.本技术提供一种站点页面分级的方法、装置、设备及存储介质，用以保证站点页面分级的准确性。
8.第一方面，本技术实施例提供一种站点页面分级的方法，该方法包括：
9.获取站点对应的历史访问日志，历史访问日志用于记录通过各个源访问地址，分别访问站点中的至少一个站点页面时的访问记录数据；
10.基于历史访问日志，确定至少一个站点页面各自对应的访问状态数据；
11.基于访问状态数据，对至少一个站点页面进行聚类处理，并确定各个聚类集合各自的权重值；
12.基于各个权重值，分别确定相应的聚类集合中所包含的站点页面的重要等级。
13.第二方面，本技术实施例提供一种站点页面分级的装置，该装置包括：
14.获取单元，用于获取站点对应的历史访问日志，历史访问日志用于记录通过各个源访问地址，分别访问站点中的至少一个站点页面时的访问记录数据；
15.第一确定单元，基于历史访问日志，确定至少一个站点页面各自对应的访问状态数据；
16.聚类单元，用于基于访问状态数据，对至少一个站点页面进行聚类处理，并确定各个聚类集合各自的权重值；
17.第二确定单元，用于基于各个权重值，分别确定相应的聚类集合中所包含的站点页面的重要等级。
18.在一种可能的实现方式中，该装置还包括剔除单元；
19.通过获取单元获取站点对应的历史访问日志之后，通过第一确定单元基于历史访问日志，确定至少一个站点页面各自对应的访问状态数据之前，剔除单元用于：
20.基于各个源访问地址各自对应的访问记录数据中的记录信息，将历史访问日志中不满足条件的源访问地址以及相应的访问记录数据剔除。
21.在一种可能的实现方式中，剔除单元具体用于：
22.针对各个源访问地址中的一个源访问地址，分别执行如下操作中的至少一种：
23.若记录信息中包括一个源访问地址的访问次数，且访问次数达到次数阈值，则将一个源访问地址以及相应的访问记录数据剔除；
24.若记录信息中包含一个源访问地址的访问时间间隔，且访问时间间隔小于间隔阈值时，则将一个源访问地址以及相应的访问记录数据剔除；
25.若记录信息中包含一个源访问地址的访问成功率，且的访问成功率低于成功率阈值时，则将一个源访问地址以及相应的访问记录数据剔除。
26.在一种可能的实现方式中，访问状态数据包括：至少一个站点页面各自对应的被访次数、被访成功率以及被访时间间隔中的至少一种。
27.在一种可能的实现方式中，若访问状态数据中包括被访成功率，则至少一个站点页面中的一个站点页面对应的被访成功率，是第一确定单元通过如下方式确定的：
28.确定一个站点页面对应的至少一个源访问地址，以及通过至少一个访问源地址访问一个站点页面时，各自对应的子被访成功率；
29.基于至少一个子被访成功率，确定同一子被访成功率对应的目标数量；
30.基于目标数量，以及子被访成功率的第一总数量，通过公式确定被访成功率；
31.其中，p表示被访成功率，n表示子被访成功率，m表示目标数量，s表示第一总数量。
32.在一种可能的实现方式中，若访问状态数据中包括被访时间间隔，则至少一个站点页面中的一个站点页面对应的被访时间间隔，是第一确定单元通过如下方式确定的：
33.确定一个站点页面对应的各个子被访时间间隔，以及子被访时间间隔的第二总数量；
34.基于第二总数量以及各个子被访时间间隔，通过公式确定被
访时间间隔；
35.其中，q表示被访时间间隔，xi表示各个子被访时间间隔，表示基于各个子被访时间间隔确定的平均时间间隔，r表示第二总数量。
36.在一种可能的实现方式中，若访问状态数据包括至少一个站点页面各自对应的被访次数、被访成功率以及被访时间间隔，则聚类单元具体用于：
37.针对各个聚类集合，分别确定各自包含的至少一个目标站点页面，并基于至少一个目标站点页面各自对应的被访次数、被访成功率以及被访时间间隔，分别确定各自对应的中心被访次数、中心被访成功率以及中心被访时间间隔；
38.基于各个聚类集合各自对应的中心被访次数、中心被访成功率以及中心被访时间间隔，通过公式确定各自的权重值；
39.其中，w表示权重，p
′
表示中心被访成功率，b表示经验值，q
′
表示中心被访时间间隔，o
′
表示中心被访次数。
40.在一种可能的实现方式中，第二确定单元具体用于：
41.按照确定的各个权重值的大小，对相应的聚类集合进行排序，并基于排序结果确定各个聚类集合中所包含的站点页面的重要等级。
42.第三方面，本技术实施例提供一种电子设备，包括：存储器和处理器，其中，存储器，用于存储计算机指令；处理器，用于执行计算机指令以实现本技术实施例提供的站点页面分级的方法的步骤。
43.第四方面，本技术实施例提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令被处理器执行时实现本技术实施例提供的站点页面分级的方法的步骤。
44.第五方面，本技术实施例提供一种计算机程序产品，其包括计算机指令，计算机指令存储在计算机可读存储介质中；当电子设备的处理器从计算机可读存储介质读取计算机指令时，处理器执行计算机指令，使得电子设备执行本技术实施例提供的站点页面分级的方法的步骤。
45.本技术有益效果如下：
46.本技术实施例提供一种站点页面分级的方法、装置、设备及存储介质；首先，获取站点对应的历史访问日志，历史访问日志用于记录通过各个源访问地址，分别访问站点中的至少一个站点页面时的访问记录数据；然后，基于历史访问日志，确定至少一个站点页面各自对应的访问状态数据，并基于访问状态数据，对至少一个站点页面进行聚类处理，并确定各个聚类集合各自的权重值；在确定权重值后，基于各个权重值，分别确定相应的聚类集合中所包含的站点页面的重要等级。直接基于历史访问记录进行分析，根据真实的访问记录进行站点页面分级，相比于基于站点页面层级分级的方式更加贴近实际，且相比于pagerank算法解决了热度高的新站点页面和热度不高的原站点页面的分级问题，更加精准的反映站点页面的重要程度。进一步，根据站点页面的重要程度对站点页面进行合理监测，保证站点页面监测的准确性，以避免出现因监测频率和监测强度较低，导致的无法及时发现站点页面被篡改挂马等恶意攻击的问题，即保证站点页面的安全性；以及避免出现因监测频率和监测强度较高，导致的资源浪费的问题，即减少损失。且本技术提出的实施方式无
需进行定时爬虫爬取等动作，避免带来额外的访问负载。
47.本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
48.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
49.图1为本技术实施例提供的一种应用场景示意图；
50.图2为本技术实施例提供的一种站点页面分级的方法流程图；
51.图3为本技术实施例提供的一种站点页面分级的具体实施方法流程图；
52.图4为本技术实施例提供的一种站点页面分级的装置结构图；
53.图5为本技术实施例提供的一种电子设备结构图。
具体实施方式
54.为了使本技术的目的、技术方案及有益效果更加清楚明白，以下将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术部分实施例，并不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
55.为了便于本领域技术人员更好地理解本技术的技术方案，下面对本技术涉及的部分概念进行介绍。
56.站点指一个可以通过互联网访问的网页，站点可以由一个页面构成，也可以由多个页面构成。
57.源访问地址即互联网协议地址(internet protocol address，ip)，是为互联网上的每一个网络和每一台主机分配的逻辑地址，在本技术实施例中可以为每一台终端设备分配的逻辑地址。
58.统一资源定位系统(uniform resource locator，url)是因特网的万维网服务程序上用于指定信息位置的表示方法，在本技术实施例中，url用于指定站点页面，一个站点页面对应唯一一个url，也可以说url为站点页面的唯一标识，因此访问站点页面也可称为访问url，两者在本技术实施例中可相互替换。
59.下文中所用的词语“示例性”的意思为“用作例子、实施例或说明性”。作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
60.文中的术语“第一”、“第二”仅用于描述目的，而不能理解为明示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个特征，在本技术实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
61.下面对本技术实施例的设计思想进行简要介绍：
62.随着技术的发展和业务的增长，站点页面数量也在不断增加，为了保证站点页面的安全性，目前提出对站点页面进行监测处理。在对站点页面进行监测时，根据站点页面的重要等级进行监测，不同重要等级进行不同频率与强度的监测，使得监测所消耗的网络、计算等资源可控。因此，如何对站点页面进行分级处理是至关重要的。
63.相关技术中，对站点页面进行分级处理主要包含两种方式，分别为：
64.方式一、使用爬虫构建页面树，根据站点页面所在层级确定重要等级。
65.站点页面层级取决于站点组织结构，层级较高的站点页面的重要等级较高，层级较低的站点页面的重要等级较低。此时，在根据重要等级对站点页面进行监测时，层级较高的站点页面对应的监测频率和监测强度较高，而层级较低的站点页面对应的监测频率和监测强度较低。
66.但是，层级较高的站点页面不一定会被经常访问，同理层级较低的站点页面可能会被经常访问，访问热度较高，且访问热度越高的站点页面越容易被篡改挂马等恶意攻击。此时，由于层级较低的站点页面具有较高的访问热度，因此层级较低的站点页面更容易被篡改挂马等恶意攻击；但是，层级较低的站点页面的监测频率和监测强度较低，不能及时发现该站点页面已被攻击，即不能及时发现问题，并造成巨大损失。
67.方式二、使用pagerank算法根据站点页面之间的相互引用进行度量。
68.pagerank算法是在由站点网页形成的有向图上定义一个随机游走模型，描述随机游走者沿着有向图随机访问各个结点的行为。且pagerank算法是根据站点页面与其他站点页面的链接量，来确定站点页面的重要等级的，此时，如果一个原站点网页被很多其他站点网页链接的话，说明该原站点网页的重要等级较高。但是，对于一个新站点网页而言，该新站点网页链接的其他站点网页的数量较少，该新站点网页的重要等级较低。此时，在根据重要等级对站点页面进行监测时，该原站点页面对应的监测频率和监测强度较高，而该新站点页面对应的监测频率和监测强度较低。
69.但是，新站点页面往往会有较高的访问量，即访问热度较高，因此新站点页面更容易被篡改挂马等恶意攻击；但是，新站点页面的监测频率和监测强度较低，不能及时发现该站点页面已被攻击，即不能及时发现问题，造成巨大损失。
70.因此，如何对站点页面进行分级，保证站点页面分级的准确性，进一步保证站点页面监测的准确性，以及时发现站点页面是否被篡改挂马等恶意攻击，避免损失，是目前需要解决的技术问题。
71.有鉴于此，本技术实施例提供一种站点页面分级的方法、装置、电子设备及存储介质；在本技术实施例中，首先，获取站点对应的历史访问日志，历史访问日志用于记录通过各个源访问地址，分别访问站点中的至少一个站点页面时的访问记录数据；然后，基于历史访问日志，确定至少一个站点页面各自对应的访问状态数据，并基于访问状态数据，对至少一个站点页面进行聚类处理，并确定各个聚类集合各自的权重值；在确定权重值后，基于各个权重值，分别确定相应的聚类集合中所包含的站点页面的重要等级。
72.直接基于历史访问记录进行分析，根据真实的访问记录进行站点页面分级，相比于基于站点页面层级分级的方式更加贴近实际，且相比于pagerank算法解决了热度高的新站点页面和热度不高的原站点页面的分级问题，更加精准的反映站点页面的重要程度。进
一步，根据站点页面的重要程度对站点页面进行合理监测，保证站点页面监测的准确性，以避免出现因监测频率和监测强度较低，导致的无法及时发现站点页面被篡改挂马等恶意攻击的问题，即保证站点页面的安全性；以及避免出现因监测频率和监测强度较高，导致的资源浪费的问题，即减少损失。且本技术提出的实施方式无需进行定时爬虫爬取等动作，避免给站点带来额外的访问负载。
73.以下结合说明书附图对本技术的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本技术，并不用于限定本技术，并且在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。
74.参考图1，图1为本技术实施例的应用场景示意图。该应用场景中包括终端设备110和服务器120，终端设备110与服务器120之间可以通过通信网络进行通信。
75.在一种可选的实施方式中，通信网络可以是有线网络或无线网络。因此，终端设备110和服务器120可以通过有线或无线通信方式进行直接或间接地连接。比如，终端设备110可以通过无线接入点与服务器120间接地连接，或发终端设备110通过因特网与服务器120直接地连接，本技术在此不做限制。
76.在本技术实施例中，终端设备110包括但不限于手机、平板电脑、笔记本电脑、台式电脑、电子书阅读器、智能语音交互设备、智能家电、车载终端等设备；终端设备上可以安装有各种客户端，该客户端可以是应用程序(例如浏览器、游戏软件等)，也可以是网页、小程序等；
77.服务器120是与终端设备110中安装的客户端相对应的后台服务器。服务器120可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
78.需要说明的是，本技术实施例中的站点页面分级的方法可由部署在电子设备中，该电子设备可以为服务器，其中服务器可以为图1中所示的服务器120，也可以为出图1中所示的服务器120以外的其他服务器。
79.图1所示只是举例说明，实际上终端设备110和服务器120的数量不受限制，在本技术实施例中不做具体限定。
80.本技术实施例中，当服务器120的数量为多个时，多个服务器120可组成为一区块链，而服务器120为区块链上的节点；如本技术实施例所公开的站点页面分级的方法，其中所涉及的访问记录数据、访问状态数据等可保存于区块链上。
81.基于上述应用场景，下面结合上述描述的应用场景，根据附图来描述本技术示例性实施方式提供的站点页面分级的方法，需要注意的是，上述应用场景仅是为了便于理解本技术的精神和原理而示出，本技术的实施方式在此方面不受任何限制。
82.参考图2，图2示例性提供本技术实施例中一种站点页面分级的方法，该方法中包括：
83.步骤s200，获取站点对应的历史访问日志，历史访问日志用于记录通过各个源访问地址，分别访问站点中的至少一个站点页面时的访问记录数据。
84.示例性的，获取过去一周各个源访问地址访问站点页面的访问记录数据，或获取
过去一个月各个源访问地址访问站点页面的访问记录数据；其中，一周、一个月是举例说明，时间还可以被设置为更长或更短，在此不在赘述。
85.在一种可能的实现方式中，访问记录数据包括的记录信息包括但不限于：
86.每个源访问地址对应的访问次数、访问站点页面的数量、每次访问是否成功、访问成功率、访问时间、访问时间间隔。
87.示例性的，本技术实施例中可采用表格的形式存储访问记录数据，具体如表1所示，其中表1仅以一个源访问地址为例：
88.表1
[0089][0090]
需要说明的是，表1中的数据仅用于举例，以便理解本技术的实施方式；且基于表1中的数据还可以推导出ip1地址访问的站点页面的数量、访问的时间间隔、以及访问成功率。
[0091]
同理，所有源访问地址对应的数据均可采用上述方式存储和确定，在此不在重复赘述。
[0092]
步骤s201，基于历史访问日志，确定至少一个站点页面各自对应的访问状态数据。
[0093]
由于历史访问日志中记录了各个ip地址访问站点页面的访问时间、以及访问是否成功等数据；因此，基于历史访问日志，可以确定每个站点页面对应的源访问地址，即访问过该站点页面的源访问地址，以及每个源访问地址访问该站点页面的访问时间，以及在每个时间点访问是否成功等数据。如表2所示，其中表2仅以一个站点页面为例：
[0094]
表2
[0095][0096]
需要说明的是，表2中的数据仅用于举例，以便理解本技术的实施方式；且基于表2中的数据还可以推导出站点页面url1对应的被访次数、被访成功率以及被访时间间隔等数据。
[0097]
下面，分别对本技术实施例中确定被访次数、被访成功率以及被访时间间隔的具体实施方式进行说明。
[0098]
一、确定站点页面对应的被访次数o：
[0099]
由于每个源访问地址每次访问站点页面时都对应一个访问时间，因此基于访问时间可直接确定站点页面对应的被访次数o。
[0100]
二、确定站点页面对应的被访成功率p：
[0101]
在确定站点页面对应的被访成功率时，首先确定站点页面对应的至少一个源访问地址，以及通过至少一个访问源地址访问站点页面时，各自对应的子被访成功率；
[0102]
由于每个源访问地址每次访问站点页面时都对应一个是否访问成功的数据，因此基于一个源访问地址对应的是否访问成功的数据，可以确定该源访问地址访问该站点页面时，对应的一个子被访成功率，即该源访问地址访问该站点页时的成功率；也就是说，一个子被访成功率＝一个源访问地址访问该站点页面的成功次数/一个源访问地址访问该站点页面的总次数。
[0103]
此时，可以确定访问该站点页面的各个源访问地址对应的子被访成功率；例如，以
表2数据为例：ip1地址访问url1的成功率为80％、ip2地址访问url1的成功率为60％、ip3地址访问url1的成功率为100％、ip4地址访问url1的成功率为100％，此时，至少一个子被访成功率分别为：80％、60％、100％、100％。
[0104]
在确定至少一个子被访成功率后，基于至少一个子被访成功率，确定同一子被访成功率对应的目标数量；例如：80％的目标数量为1、60％的目标数量为1、100％的目标数量为2。
[0105]
在确定目标数量后，基于目标数量，以及子被访成功率的第一总数量，通过公式确定被访成功率；其中，p表示被访成功率，n表示每个子被访成功率，m表示每个被访成功率对应的目标数量，s表示第一总数量。
[0106]
基于上述方式可以准确的确定每个站点页面对应的被访成功率。
[0107]
三、确定站点页面对应的被访时间间隔q：
[0108]
在确定站点页面对应的被访时间间隔时，首先确定一个站点页面对应的各个子被访时间间隔，以及子被访时间间隔的第二总数量。
[0109]
由于每个源访问地址每次访问站点页面时都对应一个访问时间，因此站点页面对应多个被访时间，然后基于多个被访时间的时间顺序，确定相邻两个被访时间的时间间隔，并将两个被访时间的时间间隔作为站点页面对应的一个子被访时间，并统计子被访时间间隔的总数量，即本技术实施例中的第二总数量。
[0110]
在确定各个子被访时间间隔以及第二总数量后，基于第二总数量以及各个子被访时间间隔，通过公式确定被访时间间隔；其中，q表示被访时间间隔，xi表示各个子被访时间间隔，表示基于各个子被访时间间隔确定的平均时间间隔，r表示第二总数量。
[0111]
需要说明的是，本技术实施例中的被访时间间隔q为站点页面的被访时间间隔的标准差，描述该站点页面被访间隔的离散程度。
[0112]
基于上述方式可以准确的确定每个站点页面对应的被访时间间隔。
[0113]
因此，本技术实施例中，访问状态数据包括至少一个站点页面各自对应的被访次数、被访成功率以及被访时间间隔中的至少一种。
[0114]
需要说明的是，所有站点页面对应的访问状态数据均可采用上述方式存储和确定，在此不在重复赘述。
[0115]
步骤s202，基于访问状态数据，对至少一个站点页面进行聚类处理，并确定各个聚类集合各自的权重值。
[0116]
在一种可能的实现方式中，当访问状态数据包括至少一个站点页面各自对应的被访次数、被访成功率以及被访时间间隔时，将站点页面根据被访次数、被访成功率以及被访时间间隔进行聚类处理，即聚为k类，确定k个聚类集合，其中k为正整数。
[0117]
在聚类处理时，首先选择初始化的k个样本作为初始聚类中心：
[0118]
a(o,p,q)＝a1、a2…ak
[0119]
然后，针对站点中的站点页面，计算站点页面到k个聚类中心的距离，并将站点页
面分到距离最小的聚类中心所对应的聚类集合中，并针对每个聚类集合重新计算聚类中心；
[0120]
在一种可能的实现方式中，通过公式其中aj表示聚类中心，ci表示聚类集合，s表示站点页面，即样本数据。
[0121]
在获得聚类集合后，针对每个聚类集合分别执行如下操作，以确定聚类集合对应的权重值：
[0122]
首先，确定聚类集合中包含的至少一个目标站点页面，并基于至少一个目标站点页面各自对应的被访次数、被访成功率以及被访时间间隔，分别确定各自对应的中心被访次数、中心被访成功率以及中心被访时间间隔；
[0123]
其中，中心被访次数、中心被访成功率以及中心被访时间间隔可以是最终确定的聚类中心对应的数据，也可以是根据至少一个目标站点页面各自对应的被访次数、被访成功率以及被访时间间隔确定的均值。
[0124]
然后，基于聚类集合对应的中心被访次数、中心被访成功率以及中心被访时间间隔，通过公式确定各自的权重值；其中，w表示权重，p
′
表示中心被访成功率，b表示经验值，q
′
表示中心被访时间间隔，o
′
表示中心被访次数。
[0125]
基于上述方式可以准确的确定每个聚类集合对应的权重值，其中权重值用于表征重要程度，因此基于权重值，可以对站点页面进行分级处理。
[0126]
步骤s203，基于各个权重值，分别确定相应的聚类集合中所包含的站点页面的重要等级。
[0127]
在一种可能的实现方式中，按照确定的各个权重值的大小，对相应的聚类集合进行排序，并基于排序结果确定各个聚类集合中所包含的站点页面的重要等级。
[0128]
示例性的，权重值越大，说明该权重值对应的聚类集合中所包含的站点页面的重要等级越高。
[0129]
在本技术中，直接基于历史访问记录进行分析，根据真实的访问记录进行站点页面分级，更加精准的反映站点页面的重要程度。
[0130]
本技术实施例中，考虑到历史访问日志中，除了用户真实访问数据，还包括有来自网络爬虫扫描器等设备产生的非用户访问数据。因此，为了进一步保证数据的真实性，以保证站点页面分级的准确性，本技术实施例中，在获取站点页面对应的历史访问日志之后，基于历史访问日志，确定至少一个站点页面各自对应的访问状态数据之前，基于各个源访问地址各自对应的访问记录数据中的记录信息，将历史访问日志中不满足条件的源访问地址以及相应的访问记录数据剔除；
[0131]
在一种可能的实现方式中，若记录信息中包括一个源访问地址的访问次数，且访问次数达到次数阈值，则将一个源访问地址以及相应的访问记录数据剔除；或确定各个源访问地址的访问次数，并按照访问次数从大到小进行排序，并剔除访问次数排名靠前的源访问地址以及相应的访问记录数据，其中访问次数排名靠前可以是基于名次直接确定，也可以根据比例确定。
[0132]
在一种可能的实现方式中，若记录信息中包含一个源访问地址的访问时间间隔，
且访问时间间隔小于间隔阈值时，则将一个源访问地址以及相应的访问记录数据剔除；
[0133]
本技术实施例中，此处的访问时间间隔为平均访问时间间隔，平均访问时间间隔是通过如下方式确定的：
[0134]
按照设定采取间隔，计算每个源访问地址在该设定采取间隔内的平均访问时间间隔，访问时间间隔是后一个访问时间点减去前一个访问时间点，然后对所有的访问时间间隔求平均值，就可以得到平均访问时间间隔。其中，设定采取间隔可以为15分钟、20分钟，在此不做设定。
[0135]
在一种可能的实现方式中，若记录信息中包含一个源访问地址的访问成功率，且的访问成功率低于成功率阈值时，则将一个源访问地址以及相应的访问记录数据剔除。
[0136]
在本技术中，对历史访问记录进行清除处理，剔除来自网络爬虫扫描器等非用户真实访问数据，并基于清除处理后的数据进行站点页面分级，更加保证了数据的真实性，保证站点页面分级更加准确
[0137]
请参考图3，图3示例性提供本技术实施例中一种站点页面分级的具体实施方法流程图，包括如下步骤：
[0138]
步骤s300，获取站点对应的历史访问日志，历史访问日志用于记录通过各个源访问地址，分别访问站点中的至少一个站点页面时的访问记录数据；
[0139]
步骤s301，基于各个源访问地址各自对应的访问记录数据中的记录信息，将历史访问日志中不满足条件的源访问地址以及相应的访问记录数据剔除；
[0140]
步骤s302，基于剔除处理后的历史访问日志，确定至少一个站点页面各自对应的被访次数、被访成功率以及被访时间间隔；
[0141]
步骤s303，基于被访次数、被访成功率以及被访时间间隔，对至少一个站点页面进行聚类处理，并确定各个聚类集合各自的权重值；
[0142]
步骤s304，基于各个权重值，分别确定相应的聚类集合中所包含的站点页面的重要等级。
[0143]
在本技术中，在对站点页面分级时，直接基于历史访问记录进行分析，根据真实的访问记录进行站点页面分级，相比于基于站点页面层级分级的方式更加贴近实际，且相比于pagerank算法解决了热度高的新站点页面和热度不高的原站点页面的分级问题，更加精准的反映站点页面的重要程度；且，对历史访问记录进行清除处理，剔除来自网络爬虫扫描器等非用户真实访问数据，并基于清除处理后的数据进行站点页面分级，更加保证了数据的真实性，保证站点页面分级更加准确。进一步，根据站点页面的重要程度对站点页面进行合理监测，保证站点页面监测的准确性，以避免出现因监测频率和监测强度较低，导致的无法及时发现站点页面被篡改挂马等恶意攻击的问题，即保证站点页面的安全性；以及避免出现因监测频率和监测强度较高，导致的资源浪费的问题，即减少损失。且本技术提出的实施方式无需进行定时爬虫爬取等动作，避免给站点带来额外的访问负载。
[0144]
需要说明的是，本技术实施例中涉及到的用户信息是在用户允许的情况下获取的。
[0145]
与本技术上述方法实施例基于同一发明构思，本技术实施例中还提供了一种站点页面分级的装置，装置解决问题的原理与上述实施例的方法相似，因此装置的实施可以参见上述方法的实施，重复之处不再赘述。
[0146]
请参考图4，图4示例性提供本技术实施例提供一种站点页面分级的装置400，该站点页面分级的装置400包括：
[0147]
获取单元401，用于获取站点对应的历史访问日志，历史访问日志用于记录通过各个源访问地址，分别访问站点中的至少一个站点页面时的访问记录数据；
[0148]
第一确定单元402，基于历史访问日志，确定至少一个站点页面各自对应的访问状态数据；
[0149]
聚类单元403，用于基于访问状态数据，对至少一个站点页面进行聚类处理，并确定各个聚类集合各自的权重值；
[0150]
第二确定单元404，用于基于各个权重值，分别确定相应的聚类集合中所包含的站点页面的重要等级。
[0151]
在一种可能的实现方式中，该装置还包括剔除单元405；
[0152]
通过获取单元401获取站点对应的历史访问日志之后，通过第一确定单元402基于历史访问日志，确定至少一个站点页面各自对应的访问状态数据之前，剔除单元405用于：
[0153]
基于各个源访问地址各自对应的访问记录数据中的记录信息，将历史访问日志中不满足条件的源访问地址以及相应的访问记录数据剔除。
[0154]
在一种可能的实现方式中，剔除单元405具体用于：
[0155]
针对各个源访问地址中的一个源访问地址，分别执行如下操作中的至少一种：
[0156]
若记录信息中包括一个源访问地址的访问次数，且访问次数达到次数阈值，则将一个源访问地址以及相应的访问记录数据剔除；
[0157]
若记录信息中包含一个源访问地址的访问时间间隔，且访问时间间隔小于间隔阈值时，则将一个源访问地址以及相应的访问记录数据剔除；
[0158]
若记录信息中包含一个源访问地址的访问成功率，且的访问成功率低于成功率阈值时，则将一个源访问地址以及相应的访问记录数据剔除。
[0159]
在一种可能的实现方式中，访问状态数据包括：至少一个站点页面各自对应的被访次数、被访成功率以及被访时间间隔中的至少一种。
[0160]
在一种可能的实现方式中，若访问状态数据中包括被访成功率，则至少一个站点页面中的一个站点页面对应的被访成功率，是第一确定单元402通过如下方式确定的：
[0161]
确定一个站点页面对应的至少一个源访问地址，以及通过至少一个访问源地址访问一个站点页面时，各自对应的子被访成功率；
[0162]
基于至少一个子被访成功率，确定同一子被访成功率对应的目标数量；
[0163]
基于目标数量，以及子被访成功率的第一总数量，通过公式确定被访成功率；
[0164]
其中，p表示被访成功率，n表示子被访成功率，m表示目标数量，s表示第一总数量。
[0165]
在一种可能的实现方式中，若访问状态数据中包括被访时间间隔，则至少一个站点页面中的一个站点页面对应的被访时间间隔，是第一确定单元402通过如下方式确定的：
[0166]
确定一个站点页面对应的各个子被访时间间隔，以及子被访时间间隔的第二总数量；
[0167]
基于第二总数量以及各个子被访时间间隔，通过公式确定被访时间间隔；
[0168]
其中，q表示被访时间间隔，xi表示各个子被访时间间隔，表示基于各个子被访时间间隔确定的平均时间间隔，r表示第二总数量。
[0169]
在一种可能的实现方式中，若访问状态数据包括至少一个站点页面各自对应的被访次数、被访成功率以及被访时间间隔，则聚类单元403具体用于：
[0170]
针对各个聚类集合，分别确定各自包含的至少一个目标站点页面，并基于至少一个目标站点页面各自对应的被访次数、被访成功率以及被访时间间隔，分别确定各自对应的中心被访次数、中心被访成功率以及中心被访时间间隔；
[0171]
基于各个聚类集合各自对应的中心被访次数、中心被访成功率以及中心被访时间间隔，通过公式确定各自的权重值；
[0172]
其中，w表示权重，p
′
表示中心被访成功率，b表示经验值，q
′
表示中心被访时间间隔，o
′
表示中心被访次数。
[0173]
在一种可能的实现方式中，第二确定单元404具体用于：
[0174]
按照确定的各个权重值的大小，对相应的聚类集合进行排序，并基于排序结果确定各个聚类集合中所包含的站点页面的重要等级。
[0175]
为了描述的方便，以上各部分按照功能划分为各单元(或模块)分别描述。当然，在实施本技术时可以把各单元(或模块)的功能在同一个或多个软件或硬件中实现。
[0176]
所属技术领域的技术人员能够理解，本技术的各个方面可以实现为系统、方法或程序产品。因此，本技术的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
[0177]
在介绍了本技术示例性实施方式的站点页面分级的方法和装置之后，接下来，介绍根据本技术的另一示例性实施方式的用于站点页面分级的电子设备。
[0178]
与本技术上述方法实施例基于同一发明构思，本技术实施例中还提供了一种电子设备，该电子设备可以是服务器。在该实施例中，电子设备的结构可以如图5所示，包括存储器501，通讯模块503以及一个或多个处理器502。
[0179]
存储器501，用于存储处理器502执行的计算机程序。存储器501可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统，以及运行即时通讯功能所需的程序等；存储数据区可存储各种即时通讯信息和操作指令集等。
[0180]
存储器501可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，ram)；存储器501也可以是非易失性存储器(non-volatile memory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，hdd)或固态硬盘(solid-state drive，ssd)；或者存储器501是能够用于携带或存储具有指令或数据结构形式的期望的计算机程序并能够由计算机存取的任何其他介质，但不限于此。存储器501可以是上述存储器的组合。
[0181]
处理器502，可以包括一个或多个中央处理单元(central processing unit，cpu)或者为数字处理单元等等。处理器502，用于调用存储器501中存储的计算机程序时实现上述站点页面分级的方法。
[0182]
通讯模块503用于与终端设备和其他服务器进行通信。
[0183]
本技术实施例中不限定上述存储器501、通讯模块503和处理器502之间的具体连接介质。本技术实施例在图5中以存储器501和处理器502之间通过总线504连接，总线504在图5中以粗线描述，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。总线504可以分为地址总线、数据总线、控制总线等。为便于描述，图5中仅用一条粗线描述，但并不描述仅有一根总线或一种类型的总线。
[0184]
存储器501中存储有计算机存储介质，计算机存储介质中存储有计算机可执行指令，计算机可执行指令用于实现本技术实施例的站点页面分级的方法。处理器502用于执行上述的站点页面分级的方法。
[0185]
在一些可能的实施方式中，本技术提供的站点页面分级的方法的各个方面还可以实现为一种程序产品的形式，其包括计算机程序，当程序产品在电子设备上运行时，计算机程序用于使电子设备执行本说明书上述描述的根据本技术各种示例性实施方式的站点页面分级的方法中的步骤。
[0186]
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0187]
本技术的实施方式的程序产品可以采用便携式紧凑盘只读存储器(cd-rom)并包括计算机程序，并可以在计算装置上运行。然而，本技术的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被命令执行系统、装置或者器件使用或者与其结合使用。
[0188]
可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由命令执行系统、装置或者器件使用或者与其结合使用的程序。
[0189]
可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
[0190]
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本技术的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
[0191]
此外，尽管在附图中以特定顺序描述了本技术方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的
结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
[0192]
本领域内的技术人员应明白，本技术实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用计算机程序的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0193]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0194]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。