异常日志数据的识别方法、识别装置及介质与流程

本申请实施例涉及数据处理，尤其涉及异常日志数据的识别方法、识别装置及介质。

背景技术：

1、客户端的日志系统记录有用户浏览网页页面过程中产生的多个日志数据，日志数据一般以文本形式承载。一旦网页浏览过程出现异常，如无响应或404报错等，运维人员可以通过客户端的日志系统查找出异常日志数据，并通过异常日志数据检查错误发生的原因，或者在客户端受到攻击时查询攻击者的信息。

2、而日志系统中记录有海量的日志数据，通过人为进行查找异常日志数据较为困难，目前通常做法是使用异常规则从海量的日志数据中查找出异常日志数据。其中，异常规则的确定方法为，若从上一网页页面跳转到当前网页页面时出现异常，运维人员可以获取加载当前网页页面所需的网页加载数据，并基于该网页加载数据确定异常规则。

3、然而，在跳转时出现的异常，可能不是由于加载当前网页页面导致的异常，使用当前网页页面对应的网页加载数据确定异常规则，容易导致得到的异常规则不够准确，在使用异常规则进行查找时得到的查找结果容易出现错误。

技术实现思路

1、本申请实施例提供了一种异常日志数据的识别方法、识别装置及介质，能在识别异常日志数据时有效提高识别结果的准确性。

2、本申请实施例提供了一种异常日志数据的识别方法，包括：

3、获取异常网页页面对应的异常日志数据，所述异常日志数据包含加载所述异常网页页面所需的第一网页加载数据；

4、基于所述异常日志数据，确定所述异常网页页面对应的目标网页页面，其中，所述目标网页页面为从所述目标网页页面跳转到所述异常网页页面的网页页面；

5、根据预设的页面跳转关系，确定所述目标网页页面跳转到所述异常网页页面过程中经过的隐藏网页页面；其中，所述隐藏网页页面对应有加载所述隐藏网页页面所需的第二网页加载数据；

6、基于所述第一网页加载数据以及所述第二网页加载数据，确定异常日志数据判定规则，其中所述异常日志数据判定规则用于识别异常日志数据。

7、进一步的，所述根据预设的页面跳转关系，确定所述目标网页页面跳转到所述异常网页页面过程中经过的隐藏网页页面，包括：

8、确定从所述目标网页页面跳转到所述异常网页页面访问过的页面地址，将所述页面地址对应的网页页面确定为所述隐藏网页页面。

9、进一步的，其特征在于，还包括：

10、获取加载所述隐藏网页页面所需的初始网页加载数据，以及加载正常网页页面所需的目标网页加载数据；

11、若所述初始网页加载数据中存在与所述目标网页加载数据相匹配的网页加载数据，则从所述初始网页加载数据中剔除所述相匹配的网页加载数据，得到所述第二网页加载数据。

12、进一步的，所述第一网页加载数据包括：加载所述异常网页页面所需的用户行为数据、页面渲染数据、网络请求数据以及设备元数据；所述第二网页加载数据包括：加载所述隐藏网页页面所需的用户行为数据、页面渲染数据、网络请求数据以及设备元数据。

13、进一步的，所述基于所述第一网页加载数据以及所述第二网页加载数据，确定异常日志数据判定规则，包括：

14、将所述第一网页加载数据以及所述第二网页加载数据经格式转化处理，得到预设格式数据；

15、对所述预设格式数据进行特征提取，得到异常日志数据的页面数据特征；

16、使用所述异常日志数据的页面数据特征训练预设网络模型，将训练完成的预设网络模型作为所述异常日志数据判定规则。

17、进一步的，所述预设网络模型包括二分类网络模型；

18、所述使用所述异常日志数据的页面数据特征训练预设网络模型，包括：

19、获取正常日志数据的页面数据特征、所述正常日志数据的页面数据特征对应的正常数据标签、以及所述异常日志数据的页面数据特征对应的异常数据标签；

20、基于所述正常日志数据的页面数据特征、所述正常数据标签、所述异常日志数据的页面数据特征以及所述异常数据标签，训练所述二分类网络模型。

21、进一步的，页面数据特征表征为多维页面数据特征组成的特征向量；

22、所述基于所述正常日志数据的页面数据特征、所述正常数据标签、所述异常日志数据的页面数据特征以及所述异常数据标签，训练所述二分类网络模型，包括：

23、将所述正常日志数据的特征向量、所述正常数据标签、所述异常日志数据的特征向量以及所述异常数据标签输入所述二分类网络模型，以使所述二分类模型分别对特征向量中每一维度的页面数据特征进行统计，得到所述正常日志数据对应的正常特征阈值以及所述异常日志数据对应的异常特征阈值；

24、将所述正常特征阈值关联所述正常数据标签，将所述异常特征阈值关联所述异常数据标签，以得到训练完成的二分类网络模型。

25、本申请实施例还提供了一种异常日志数据的识别方法，包括：

26、接收待识别的日志数据；

27、基于上述方法得到的异常日志数据判定规则判定所述待识别的日志数据是否为异常日志数据。

28、进一步的，还包括：

29、当确定所述待识别的日志数据为异常日志数据，则将异常日志数据反馈至用户。

30、本申请实施例还提供了一种异常日志数据的识别装置，包括：

31、中央处理器，存储器以及输入输出接口；

32、所述存储器为短暂存储存储器或持久存储存储器；

33、所述中央处理器配置为与所述存储器通信，并执行所述存储器中的指令操作以执行上述的方法。

34、本申请实施例还提供了一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行如上所述的方法。

35、从以上技术方案可以看出，本申请实施例具有以下优点：

36、本申请实施例中，获取异常网页页面对应的异常日志数据，异常日志数据包含加载异常网页页面所需的第一网页加载数据；基于异常日志数据，确定异常网页页面对应的目标网页页面，其中，目标网页页面为从目标网页页面跳转到异常网页页面的网页页面；根据预设的页面跳转关系，确定目标网页页面跳转到异常网页页面过程中经过的隐藏网页页面；其中，隐藏网页页面对应有加载隐藏网页页面所需的第二网页加载数据；基于第一网页加载数据以及第二网页加载数据，确定异常日志数据判定规则，其中异常日志数据判定规则用于识别异常日志数据。

37、其中，从上一网页页面跳转到当前网页页面时出现的异常，可能是加载隐藏网页页面时出现的异常，通过隐藏网页页面对应的第二网页加载数据确定异常日志数据判定规则，能有效提高异常日志数据判定规则的准确性，以提高识别结果的准确性。

技术特征：

1.一种异常日志数据的识别方法，其特征在于，包括：

2.根据权利要求1所述的识别方法，其特征在于，所述根据预设的页面跳转关系，确定所述目标网页页面跳转到所述异常网页页面过程中经过的隐藏网页页面，包括：

3.根据权利要求1所述的识别方法，其特征在于，还包括：

4.根据权利要求1所述的识别方法，其特征在于，所述第一网页加载数据包括：加载所述异常网页页面所需的用户行为数据、页面渲染数据、网络请求数据以及设备元数据；所述第二网页加载数据包括：加载所述隐藏网页页面所需的用户行为数据、页面渲染数据、网络请求数据以及设备元数据。

5.根据权利要求1所述的识别方法，其特征在于，所述基于所述第一网页加载数据以及所述第二网页加载数据，确定异常日志数据判定规则，包括：

6.根据权利要求5所述的识别方法，其特征在于，所述预设网络模型包括二分类网络模型；

7.根据权利要求6所述的识别方法，其特征在于，页面数据特征表征为多维页面数据特征组成的特征向量；

8.一种异常日志数据的识别方法，其特征在于，包括：

9.根据权利要求8所述的识别方法，其特征在于，还包括：

10.一种异常日志数据的识别装置，其特征在于，包括：

11.一种计算机可读存储介质，其特征在于，包括指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1至7中任一项或权利要求8至9中任一项所述的方法。

技术总结
本申请实施例公开了一种异常日志数据的识别方法、识别装置及介质，用于数据处理技术领域。该方法包括：获取异常网页页面对应的异常日志数据，异常日志数据包含加载异常网页页面所需的第一网页加载数据；基于异常日志数据，确定异常网页页面对应的目标网页页面；根据预设的页面跳转关系，确定目标网页页面跳转到异常网页页面过程中经过的隐藏网页页面，及加载隐藏网页页面所需的第二网页加载数据；基于第一网页加载数据以及第二网页加载数据，确定异常日志数据判定规则；通过隐藏网页页面对应的第二网页加载数据确定异常日志数据判定规则，能有效提高异常日志数据判定规则的准确性，以提高识别结果的准确性。

技术研发人员：纳勇林
受保护的技术使用者：腾讯音乐娱乐科技（深圳）有限公司
技术研发日：
技术公布日：2024/4/17