生成作弊预测模型的方法、装置、设备、介质及程序产品与流程

文档序号:26637379发布日期:2021-09-14 23:48阅读:91来源:国知局
生成作弊预测模型的方法、装置、设备、介质及程序产品与流程

1.本公开涉及计算机领域,具体涉及深度学习和知识图谱等人工智能领域,尤其涉及一种生成作弊预测模型的方法、装置、设备、介质及程序产品。


背景技术:

2.流量反作弊方法是从正常用户行为、机器爬取、恶意刷点击以及羊毛党等行为中去掉非正常用户行为的数据,从而得到有效的日活跃用户数量(daily active user,dau)、点击等数据为后续进行机器学习建模提供准确数据的过程。
3.目前,目前的反作弊方法包括以下几种情况:(1)基于规则的反作弊方法。(2)采用统计的方法。(3)基于聚类的算法。


技术实现要素:

4.本公开实施例提出了一种生成作弊预测模型的方法、装置、设备、介质及程序产品。
5.第一方面,本公开实施例提出了一种生成作弊预测模型的方法,包括:获取目标流量数据集;根据作弊预测模型的第一神经网络,确定目标流量数据集中不作弊对应的第一流量数据;根据作弊预测模型的第二神经网络,对第一流量数据进行作弊检测,得到第一流量数据中作弊对应的第二流量数据;利用目标流量数据集中作弊对应的流量数据和第二流量数据进行训练和对应的真实标签,生成作弊预测模型。
6.第二方面,本公开实施例提出了一种生成作弊预测模型的装置,包括:数据获取模块,被配置成获取目标流量数据集;数据确定模块,被配置成根据作弊预测模型的第一神经网络,确定目标流量数据集中不作弊对应的第一流量数据;数据得到模块,被配置成根据作弊预测模型的第二神经网络,对第一流量数据进行作弊检测,得到第一流量数据中作弊对应的第二流量数据;模型训练模块,被配置成利用目标流量数据集中作弊对应的流量数据和第二流量数据进行训练和对应的真实标签,生成作弊预测模型。
7.第三方面,本公开实施例提出了一种预测作弊的方法,包括:获取待预测的流量数据集;将待预测的流量数据集输入预先训练的作弊预测模型的第一神经网络中,得到第一预测标签;以及将所述待预测的流量数据集中第一预测标签为不作弊的第一预测流量数据输入预先训练的作弊预测模型的第二神经网络中,得到第二预测标签;根据所述待预测的流量数据集中第一预测标签为作弊的流量数据,以及所述第一预测流量数据中第二预测标签为作弊的流量数据,确定所述待预测的流量数据集的作弊预测结果。
8.第四方面,本公开实施例提出了一种预测作弊的装置,包括:数据获取模块,被配置成获取待预测的流量数据集;第一得到模块,被配置成将待预测的流量数据集输入预先训练的作弊预测模型的第一神经网络中,得到第一预测标签;以及第二得到模块,被配置成将所述待预测的流量数据集中第一预测标签为不作弊的第一预测流量数据输入预先训练的作弊预测模型的第二神经网络中,得到第二预测标签;结果得到模块,被配置成根据所述
待预测的流量数据集中第一预测标签为作弊的流量数据,以及所述第一预测流量数据中第二预测标签为作弊的流量数据,确定所述待预测的流量数据集的作弊预测结果
9.第五方面,本公开实施例提出了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如第一方面或第二方面描述的方法。
10.第六方面,本公开实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质,计算机指令用于使计算机执行如第一方面或第二方面描述的方法。
11.第七方面,本公开实施例提出了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现如第一方面或第二方面描述的方法。
12.本公开实施例提供的生成作弊预测模型的方法、装置、设备、介质及程序产品提高了作弊预测模型对作弊行为的预测精度。
13.应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
14.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本公开的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案,不构成对本公开的限定。其中:
15.图1是本公开可以应用于其中的示例性系统架构图;
16.图2是根据本公开的生成作弊预测模型的方法的一个实施例的流程图;
17.图3是根据本公开的生成作弊预测模型的方法的一个实施例的流程图;
18.图4是正常流量数据和异常流量数据之间的预设的比例对应的示意图;
19.图5是根据本公开的生成作弊预测模型的方法的一个实施例的示意图;
20.图6是根据本公开的生成作弊预测模型的方法的一个实施例的示意图;
21.图7是根据本公开的生成作弊预测模型的方法的一个实施例的示意图;
22.图8是根据本公开的生成作弊预测模型的方法的一个实施例的示意图;
23.图9是根据本公开的作弊预测的方法的一个实施例的示意图;
24.图10是根据本公开的生成作弊预测模型的装置的一个实施例的结构示意图;
25.图11是根据本公开的作弊预测的装置的一个实施例的结构示意图;
26.图12是用来实现本公开实施例的电子设备的框图。
具体实施方式
27.以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
28.需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
29.图1示出了可以应用本公开的生成作弊预测模型的方法和装置或预测作弊的方法和装置的实施例的示例性系统架构100。
30.如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
31.用户可以使用终端设备101、102、103通过网络104与服务器105交互,例如流量数据集。终端设备101、102、103上可以安装有各种客户端应用、智能交互应用,例如数据处理应用等等。
32.终端设备101、102、103可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,终端设备可以为与用户通过键盘、触摸板、显示屏、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品,例如pc(personal computer,个人计算机)、手机、智能手机、pda(personal digital assistant,个人数字助手)、可穿戴设备、ppc(pocket pc,掌上电脑)、平板电脑、智能车机、智能电视、智能音箱、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时,可以安装在上述电子设备中。其可以实现成多个软件或软件模块,也可以实现成单个软件或软件模块。在此不做具体限定。
33.服务器105可以提供各种服务。例如,服务器105可以获取终端设备101、102、103上的流量数据集;根据作弊预测模型的第一神经网络,确定目标流量数据集中不作弊对应的第一流量数据;根据作弊预测模型的第二神经网络,对第一流量数据进行作弊检测,得到第一流量数据中作弊对应的第二流量数据;利用目标流量数据集中作弊对应的流量数据和第二流量数据进行训练和对应的真实标签,生成作弊预测模型。
34.需要说明的是,服务器105可以是硬件,也可以是软件。当服务器105为硬件时,可以实现成多个服务器组成的分布式服务器集群,也可以实现成单个服务器。当服务器105为软件时,可以实现成多个软件或软件模块(例如用来提供分布式服务),也可以实现成单个软件或软件模块。在此不做具体限定。
35.需要说明的是,本公开实施例所提供的生成作弊预测模型的方法或预测作弊的方法一般由服务器105执行,相应地,生成作弊预测模型的装置或预测作弊行为的装置一般设置于服务器105中。
36.应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
37.继续参考图2,其示出了根据本公开的生成作弊预测模型的方法的一个实施例的流程200。该生成作弊预测模型的方法生成作弊预测模型的方法可以包括以下步骤:
38.步骤201,获取目标流量数据集。
39.在本实施例中,生成作弊预测模型的方法(例如图1所示的终端设备101、102、103)可以采集其运行产生的流量数据,以得到目标流量数据集;或,生成作弊预测模型的方法(例如图1所示的服务器105)可以获取终端设备(例如图1所示的终端设备101、102、103)运行时产生的目标流量数据集。上述目标流量数据集可以为在网络上传输的流量数据,该目标流量数据可以用于对目标流量数据对应的用户的行为进行预测是否具为作弊行为。上述目标流量数据集可以为用户预设时间段内在网络上传输的数据的集合。在训练时,可以获
取不同用户对应的目标流量数据集,以扩充训练样本。
40.本公开的技术方案中,所涉及的数据流量集的获取,存储和应用等,均符合相关法律法规的规定,且不违背公序良俗。
41.步骤202,根据作弊预测模型的第一神经网络,确定目标流量数据集中不作弊对应的第一流量数据。
42.在本实施例中,上述执行主体可以将目标流量数据集输入至作弊预测模型的第一神经网络中,得到目标流量数据集对应的预测标签,该预测标签可以为作弊或不作弊;之后,根据目标流量数据集中流量数据对应的预测标签,确定目标流量数据集中不作弊对应的第一流量数据。上述作弊预测模型可以用于预测目标流量数据集是否存在作弊。上述第一神经网络可以用于对目标流量数据集进行初步预测。上述第一流量数据可以为通过第一神经网络预测其为作弊的数据集,该第一流量数据的数量可以为一个或多个。
43.步骤203,根据作弊预测模型的第二神经网络,对第一流量数据进行作弊检测,得到第一流量数据中作弊对应的第二流量数据。
44.在本实施例中,上述执行主体可以将第一流量数据输入第二神经网络中,得到第一流量数据对应的预测标签,该预测标签可以为作弊或不作弊。上述第二神经网络可以用于对第一流量数据中的每个流量数据进行预测,以确定是否存在作弊,以起到再次预测的目的。
45.步骤204,利用目标流量数据集中作弊对应的流量数据和第二流量数据对应的真实标签进行训练,生成作弊预测模型。
46.在本实施例中,上述执行主体可以利用目标流量数据集中作弊对应的流量数据和第二流量数据作为作弊预测模型的输入,将真实标签作为作弊预测模型的期望输出,训练初始模型,得到作弊预测模型。上述真实标签可以为真实值,该真实标签可以为作弊或不作弊。上述目标流量数据集中作弊对应的流量数据和第二流量数据,以及目标流量数据集中作弊对应的流量数据和第二流量数据对应的真实标签为训练作弊预测模型对应的训练样本。
47.具体地,上述执行主体在得到目标流量数据集中作弊对应的流量数据和第二流量数据,以及真实标签后,可以利用目标流量数据集中作弊对应的流量数据和第二流量数据,以及真实标签训练初始模型,得到作弊预测模型。在训练时,执行主体可以将目标流量数据集中作弊对应的流量数据和第二流量数据作为作弊预测模型的输入,以及将所输入对应的真实标签,作为期望输出,得到作弊预测模型。上述初始模型可以为现有技术或未来发展技术中的神经网络模型,例如,神经网络模型可以包括分类模型,如决策树模型(xgboost)、逻辑回归模型(lr)、深度神经网络模型(dnn)、梯度提升决策树模型(gradient boosting decision tree,gbdt)、lightgbm网络等,对数字显示屏的类别和位置进行识别。
48.本公开实施例提供的生成作弊预测模型的方法,首先获取流量数据集;然后根据作弊预测模型的第一神经网络,确定流量数据集中不作弊对应的第一流量数据;然后根据作弊预测模型的第二神经网络,对第一流量数据进行作弊检测,得到第一流量数据中作弊对应的第二流量数据;最后利用流量数据集中作弊对应的流量数据,以及第二流量数据进行训练,生成作弊预测模型。能够基于作弊预测模型中的第二神经网络对流量数据集中不作弊对应的第一流量数据进行检测是否还存在作弊的流量数据;然后,将第一流量数据中
作弊的流量数据和流量数据集中作弊对应的流量数据对作弊预测模型进行训练,提高了作弊预测模型对作弊行为的预测精度。
49.进一步参考图3,图3示出了根据本公开的一种生成作弊预测模型的方法的一个实施例的流程300。该生成作弊预测模型的方法可以包括以下步骤:
50.步骤301,获取目标流量数据集。
51.步骤302,将目标流量数据集输入作弊预测模型的第一神经网络中,得到目标流量数据集对应的预测标签,其中,预测标签为作弊或不作弊。
52.在本实施例中,生成作弊预测模型的方法的执行主体(例如图1所示的终端设备101、102、103或服务器105)可以将目标流量数据集输入作弊预测模型的第一神经网络中,以得到目标流量数据集对应的预测标签,该预测标签可以用于表征目标流量数据集对应的用户是否具有作弊行为或不作弊行为。上述作弊预测模型的第一神经网络用于通过对目标流量数据集进行预测,以确定目标流量数据集对应的用户是否具备作弊行为。
53.步骤303,根据预测标签,确定目标流量数据集中不作弊对应的第一流量数据。
54.在本实施例中,上述执行主体可以根据目标流量数据集中每个流量数据对应的预测标签,从目标流量数据集中确定不作弊对应的第一流量数据。上述目标流量数据集中不作弊对应的第一流量数据可以为目标流量数据集中预测标签为不作弊对应的流量数据。
55.需要说明的是,第一流量数据中的流量数据的数量可以为一个或多个。
56.步骤304,根据作弊预测模型的第二神经网络,对第一流量数据进行作弊检测,得到第一流量数据中作弊对应的第二流量数据。
57.步骤305,利用目标流量数据集中作弊对应的流量数据和第二流量数据进行训练和对应的真实标签,生成作弊预测模型。
58.在本实施例中,步骤301、304、305的具体操作分别已在图2所示的实施例中步骤201、203、204进行了详细的介绍,在此不再赘述。
59.从图3中可以看出,与图2对应的实施例相比,本实施例中的生成作弊预测模型的方法突出了确定第一流量数据的步骤。由此,本实施例描述的方案根据作弊预测模型的第一神经网络,对目标流量数据集进行预测,以得到目标流量数据集中每个流量数据对应的预测标签;之后,根据目标流量数据集对应的预测标签,从目标流量数据集中确定不作弊对应的第一流量数据。能够通过作弊预测模型的第一神经网络实现对目标流量数据集的预测,进而可以根据预测结果对目标流量数据集进行分类。
60.在本实施例的一些可选的实现方式中,对目标流量数据集进行特征提取,得到目标流量数据集对应的特征库,可以包括:
61.从以下至少一个维度,对目标流量数据集进行特征提取,得到目标流量数据集对应的特征库:业务维度、渠道来源维度、设备维度、时序维度。
62.在本实现方式中,上述执行主体可以业务维度、渠道来源维度、设备维度、时序维度中的至少一个维度,对目标流量数据集进行特征提取,以得到目标流量数据集对应的特征库。
63.在这里,上述业务维度可以为从应用业务角度,该业务维度可以分为:搜索、推荐和广告,而每个业务对应的用户行为数据分布有较大的差异,如果直接通过用户纬度去聚合来提取相应特征会导致特征业务区分度不够而导致模型准确率和召回率的损失,因此,
在用户维度的基础上增加业务纬度,之后聚合用户维度和业务维度,之后提取用户的行为统计特征,这样不仅增加了更多的特征使得模型不容易过拟合,同时也使得模型具有较强的业务辨识度。
64.渠道来源纬度:随着移动互联网的不断发展,流量数据的来源不仅有pc端同时还有移动端、小程序端以及外部流量等。各种不同渠道来的用户所产生的用户行为数据在分布上存在较大的差异,如果直接通过用户纬度进行特征提取,会由于不同渠道数据分布差异的问题,会导致模型在准确率识别上有较大的问题。因此,在用户加上渠道纬度聚合后再提取用户的行为统计特征,这样使得模型能够准确识别出由于不同渠道的用户所产生的行为不同,从而提升模型识别的准确率。
65.设备纬度:由于作弊用户如果使用高端设备进行作弊会导致成本较大,因此,作弊用户常常使用一些配置一般或较差的设备来进行作弊。我们为了提升模型的准确率,我们针对设备这个纬度进行特征细化,具体做法为:将设备分为不同的档,例如高、中、低三档,这样在将用户加上设备分档进行聚合再去提取相关的用户行为特征。
66.需要说明的是,目前电子设备迭代更新快,一个用户可能一年内更换设备,还可以将用户更换设备频率这个维度用于提取特征。
67.时序纬度:由于用户行为的长尾特性,以及特定行业场景。可以从时序纬度提取用户行为的信息墒和基尼系数来捕捉用户是否有规则的在网站上进行操作以及是否频繁更换行业,从而提取模型的召回率。
68.其它基础特征:为了使得模型能够更加精准捕捉到作弊用户,可以增加top 1特征,统计用户过去预设时间段(例如,1年)中搜索最多的query(查询)、点击最多的商品类目、时长最多的小时段以及使用最多的ua版本号。通过这些特征,可以使得模型的作弊识别能力进一步提升。
69.需要说明的是,上述流量数据可以来源于to b(business,企业)和/或to c(customer,用户)。
70.在本实现方式中,可以通过多个维度去提取丰富的特征库。
71.在本实施例的一些可选的实现方式中,目标流量数据集包括异常流量数据和正常流量数据,其中,正常流量数据与异常流量数据之间成预设的比例。
72.在本实现方式中,目标流量数据集可以包括异常流量数据和正常流量数据。上述异常流量数据可以与正常流量数据,为在一定期间内异常或正常波动的数据。上述预设的比例可以根据作弊预测模型的预测精度进行设置或由人工设定。
73.在这里,正常流量数据和异常流量数据之间成预设的比例,例如,正常流量数据a占目标流量数据集的40%,异常流量数据b占目标流量数据集的60%;或,正常流量数据a占目标流量数据集的70%,异常流量数据b占目标流量数据集的30%;之后,按照正常流量数据与异常流量数据之间成预设的比例,从正常流量数据a中抽取和异常流量数据b成预设的比例的正常流量数据c;之后,根据正常流量数据c和异常流量数据,得到新的数据流量集。
74.需要说明的是,预设的比例可以根据作弊预测模型的精度进行设置或由人工进行设定。上述从正常流量数据a中抽取数据可以为随机抽取的方式。
75.另外,正常流量数据a和异常流量数据b在目标流量数据集中的占比也是可以根据作弊预测模型的精度进行设置或由人工设定。
76.在一个示例中,在图4中,通过调整正常流量数据和异常流量数据之间成预设的比例,可以改变作弊预测模型的召回率。
77.需要说明的是,目标流量数据集可以为预设时间段的数据集,该目标流量数据集作为训练样本在数据集层面已经足够丰富,但是对于to b电商来说,用户行为容易受季节性的影响,在节假日和季度末流量会异常波动,为了使模型能够更加精准的在这些特殊节假日能识别出正常流量和作弊流量,可以将目标流量数据集划分为流量异常波动和正常波动两部分。
78.在本实现方式中,可以动态调整目标流量数据集中异常流量数据和正常流量数据之间的预设的比例,以提高作弊预测模型的预测精度。
79.在本实施例的一些可选的实现方式中,真实标签可以基于以下步骤确定:基于目标流量数据集中作弊对应的流量数据和第二流量数据中的异常流量数据对应的知识图谱和正常流量数据对应的知识图谱,确定真实标签。
80.在本实现方式中,可以将目标流量数据集中作弊对应的流量数据和第二流量数据中的异常流量数据和正常流量数据分别通过对应的知识图谱确定对应的标签;之后,根据所有数据的标签,确定真实标签。例如,在异常流量数据对应的标签与正常流量数据对应的标签满足预设的关系(例如,9:1),确定真实标签。或,异常流量数据(或正常流量数据)对应的标签占所有标签(异常流量数据和正常流量数据对应的标签)的比重,确定真实标签。
81.在本实现方式中,可以通过知识图谱,比如:一定时间内(一般为较短的时间内)中之类更换了4个ip等强规则来标注是否作弊,为了使得作弊召回率更加的高,可以针对上述正常流量数据a和异常流量数据b采取不同的知识图谱去标注是否作弊。
82.进一步参考图5,图5示出了根据本公开的一种生成作弊预测模型的方法的一个实施例的流程500。该生成作弊预测模型的方法可以包括以下步骤:
83.步骤501,获取目标流量数据集。
84.步骤502,根据作弊预测模型的第一神经网络,确定目标流量数据集中不作弊对应的第一流量数据。
85.步骤503,对目标流量数据集进行特征提取,得到对应的特征库。
86.在本实施例中,生成作弊预测模型的方法的执行主体(例如图1所示的终端设备101、102、103或服务器105)对目标流量数据集进行特征提取,以生成目标流量数据集对应的特征库。上述特征库可以包括目标流量数据集涵盖的所有特征。
87.步骤504,根据特征重要性,从目标流量数据集对应的特征库中提取预设个特征。
88.在本实施例中,上述执行主体可以根据特征库中每个特征的特征重要性,从目标流量数据集对应的特征库中提取预设个特征。上述特征重要性可以为每个特征的权重。上述预设个特征可以为特征重要性的得分排序在前的一定数量的特征。该预设个特征可以根据作弊预测模型的预测精度进行设置或由用户设定,例如前10个特征。
89.步骤505,根据作弊预测模型的第二神经网络,对第一流量数据中预设个特征对应的流量数据进行作弊检测,得到第一流量数据中作弊对应的第二流量数据。
90.在本实施例中,上述执行主体可以根据作弊预测模型的第二神经网络,对第一流量数据中预设个特征对应的流量数据进行作弊检测,得到第一流量数据中作弊对应的第二流量数据。
91.具体地,上述执行主体可以将第一流量数据中预设个特征对应的流量数据输入作弊预测模型的第二神经网络中,得到预设个特征对应的流量数据对应的预测标签;之后,将预设个特征对应的流量数据中不作弊的流量数据确定为第二流量数据。上述第二流量数据可以基于作弊预测模型的第二神经网络,对预设个特征对应的流量数据进行作弊检测所得到的流量数据。
92.需要说明的是的,第二流量数据中的流量数据的数量可以为至少一个。
93.步骤506,利用目标流量数据集中作弊对应的流量数据和第二流量数据进行训练对应的真实标签,生成作弊预测模型。
94.需要说明的是,步骤503和步骤504的执行顺序可以在步骤501之后,例如与步骤502同时执行;或在步骤502之后执行。
95.在一个示例中,在图6中,基于步骤503获取目标流量数据集601,以实现对训练样本的处理。之后,基于步骤504,按照设备维度、业务维度、渠道维度和时序维度,从目标流量数据集中提取特征602,以得到特征库。之后,基于步骤505中的第二神经网络对目标流量数据集进行优化,以得到优化后的训练样本(即,目标流量数据集中作弊对应的流量数据和第二流量数据),以便基于优化后的训练样本进行模型训练603。之后,对训练后的模型进行召回604。
96.在本实施例中,步骤501、502、506的具体操作分别已在图2所示的实施例中步骤201、202、204进行了详细的介绍,在此不再赘述。
97.从图5中可以看出,与图2对应的实施例相比,本实施例中的生成作弊预测模型的方法突出了确定第二流量数据的步骤。由此,本实施例描述的方案根据作弊预测模型的第二神经网络,对第一流量数据进行作弊检测,以得到第一流量数据对应的预测标签;之后,根据第一流量数据对应的预测标签,从第一流量数据中确定不作弊对应的第二流量数据。能够通过作弊预测模型的第二神经网络实现对第一流量数据的预测,进而可以根据预测结果对第一流量数据进行分类。
98.在本实施例的一些可选的实现方式中,若所述第一神经网络为lightgbm网络;
99.根据特征重要性,从目标流量数据集对应的特征库中提取预设个特征,可以包括:将目标流量数据集对应的特征库中的每个特征输入lightgbm网络中,得到目标流量数据集对应的特征库中每个特征的特征重要性;根据每个特征的特征重要性,从目标流量数据集对应的特征库中提取预设个特征。
100.在本实现方式中,上述执行主体可以根据lightgbm网络,确定特征库中每个特征的特征重要性;之后,根据每个特征的特征重要性,从目标流量数据集对应的特征库中提取预设个特征。
101.在本实现方式中,可以通过lightgbm网络确定特征库中每个特征的特征重要性,从而不需要其他的网络确定特征的特征重要性,进而实现对特征库中特征的排序。
102.在本实施例的一些可选的实现方式中,第二神经网络为孤立森林网络。
103.在本实现方式中,第二神经网络可以为孤立森林网络、k

means(k均值),或基于相似度衡量的模型(proximity based models)。
104.需要说明的是,可以实现对流量数据的作弊检测方法都可以纳入本公开的保护范围内。
105.在本实现方式中,可以基于孤立森林网络实现对流量数据的作弊检测。
106.进一步参考图7,图7示出了根据本公开的一种生成作弊预测模型的方法的一个实施例的流程700。该生成作弊预测模型的方法可以包括以下步骤:
107.步骤701,获取目标流量数据集。
108.步骤702,根据作弊预测模型的lightgbm网络,确定目标流量数据集中不作弊对应的第一流量数据。
109.在本实施例中,生成作弊预测模型的方法的执行主体(例如图1所示的终端设备101、102、103或服务器105)可以将目标流量数据集输入至作弊预测模型的lightgbm网络中,得到目标流量数据集对应的预测标签,该预测标签可以为作弊或不作弊;之后,根据目标流量数据集对应的预测标签,确定目标流量数据集中不作弊对应的第一流量数据。
110.步骤703,根据作弊预测模型的孤立森林网络,对第一流量数据进行作弊检测,得到第一流量数据中作弊对应的第二流量数据。
111.在本实施例中,上述执行主体可以将第一流量数据中的每个流量数据分别输入孤立森林网络中,得到第一流量数据对应的预测标签,该预测标签可以为作弊或不作弊。上述孤立森林网络用于对第一流量数据中的流量数据进行作弊检测。
112.步骤704,利用目标流量数据集中作弊对应的流量数据和第二流量数据进行训练和对应的真实标签,生成作弊预测模型。
113.在一个示例中,在图8中,生成作弊预测模型可以包括:先获取目标流量数据集801,其中,该目标流量数据集中的70%流量正常波动记为正常流量数据a,目标流量数据集中的30%异常波动流量记为异常流量数据b。之后,将异常流量数据b不处理,全部加入到训练数据集中,针对正常流量数据a随机抽取和b等比例的流量数据一并加入到训练数据集中。之后,对异常流量数据b和与异常流量数据b等比例的正常流量数据a提取特征,得到特征库。之后,将特征库中的特征输入lightgbm作弊预测网络中,得到排在前10的特征,以及通过lightgbm网络802对异常流量数据b和与异常流量数据b等比例的正常流量数据a进行预测,以得到无作弊流量数据803。之后,将无作弊流量数据中前10个特征输入孤立森林网络(iforst)804中进行作弊检测,以得到无作弊流量数据中存在作弊的流量数据。之后,根据异常流量数据b和与异常流量数据b等比例的正常流量数据a中的作弊流量数据,以及无作弊流量数据中存在作弊的流量数据生成训练样本,以进行模型训练。
114.在本实施例中,对于to b电商的作弊预测模型,需要能处理大量数据同时需要较强的解释性、能快速校验迭代。该专利在模型上选择lightgbm网络进行建模,该lightgbm网络在处理大量数据集上、作弊预测准确率上也有较大的优势,同时该lightgbm网络可以输出用户作弊的概率,后续业务可以灵活的调整概率来适应不同业务场景。
115.为了扩大模型的召回率,在模型迭代上设计一套基于ifrost算法的模型反馈训练机制,具体的过程如下,该首先根据lightgbm网络在最优的参数下输出特征最为重要的10个特征,然后根据这10个特征通过ifrost算法对lightgbm模型没有识别成作弊的流量数据进行校验,将ifrost识别成作弊的用户加入到10训练集中,重新修改lightgbm网络的训练集,然后重新训练lightgbm网络,不断重复上述过程,直至ifrost在高置信度的情况下,不再产生新的新的作弊用户,或者作弊用户在可接受的范围内。通过上述的模型反馈训练机制可以在高准确率的识别作弊用户的情况下大幅提升模型的召回率,从而使得模型拥有高
准确率和召回率。
116.在本实施例中,步骤701、704的具体操作分别已在图2所示的实施例中步骤201、204进行了详细的介绍,在此不再赘述。
117.从图7中可以看出,与图2对应的实施例相比,本实施例中的生成作弊预测模型的方法突出了第一神经网络和第二神经网络。由此,本实施例描述的方案根据作弊预测模型的lightgbm网络可以实现对目标流量数据集中的流量数据的预测,以及根据作弊预测模型的孤立森林网络第一流量数据中的流量数据进行作弊检测;以通过孤立森林网络对lightgbm网络的训练样本进行校验,以对模型训练的训练样本进行更新,进而可以提高作弊预测模型的识别精度。
118.进一步参考图9,图9示出了根据本公开的一种预测作弊的方法的一个实施例的流程900。该预测作弊的方法可以包括以下步骤:
119.步骤901,获取待预测的流量数据集。
120.在本实施例中,预测作弊的方法的执行主体(例如图1所示的终端设备101、102、103或服务器105)获取待预测的流量数据集。上述待预测的流量数据集可以通过作弊预测模型确定其的预测结果,该预测结果可以为作弊或不作弊。该待预测的流量数据集可以为预设时间段流量数据的集合。
121.需要说明的是,预测作弊的方法的执行主体与生成作弊预测模型的方法的执行主体可以相同,也可以不同。
122.步骤902,将待预测的流量数据集输入预先训练的作弊预测模型的第一神经网络中,得到第一预测标签。
123.在本实施例中,上述执行主体可以将待预测的流量数据集输入预先训练的作弊预测模型的第一神经网络中,得到第一预测标签,该第一预测标签可以为作弊或不作弊。
124.需要说明的是,作弊预测模型可以为生成作弊预测模型的方法所训练的模型。
125.步骤903,将待预测的流量数据集中第一预测标签为不作弊的第一预测流量数据输入预先训练的作弊预测模型的第二神经网络中,得到第二预测标签。
126.在本实施例中,上述执行主体可以将待预测的流量数据集输入预先训练的作弊预测模型的第二神经网络中,得到第二预测标签,该第二预测标签可以为作弊或不作弊。
127.需要说明的是,步骤902和步骤903的执行顺序可以为同时执行,或先执行步骤902后执行步骤903,或先执行步骤903后执行步骤902。
128.步骤904,根据待预测的流量数据集中第一预测标签为作弊的流量数据,以及第一预测流量数据中第二预测标签为作弊的流量数据,确定待预测的流量数据集的作弊预测结果。
129.在本实施例中,上述执行主体可以基于第一预测标签和第二预测标签,确定待预测的流量数据集对应的标签,该标签为作弊或不作弊。
130.在一个示例中,根据第一预测标签和第二预测标签的比值,或第一预测标签占(第一预测标签和第二预测标签)比值,确定待预测的流量数据集对应的标签。
131.在本公开实施例提供的作弊预测的方法,基于预先训练的作弊预测模型,能够准确地预测待预测的流量数据集的预测结果。
132.在本实施例的一些可选的实现方式中,该预测作弊的方法还包括:对待预测的流
量数据集进行特征提取,得到样本特征库;根据样本特征重要性,从样本特征库中提取预设个样本特征。
133.在本实现方式中,可以先将待预测的流量数据集进行特征提取,以得到样本特征库;之后,根据样本特征重要性,从样本特征库中提取预设个样本特征。
134.在本实现方式中,可以基于特征重要性,从样本特征库中提取预设个样本特征。
135.在本实施例的一些可选的实现方式中,若第一神经网络为lightgbm网络;以及根据样本特征重要性,从样本特征库中提取预设个样本特征,包括:将样本特征库中的每个样本特征输入lightgbm网络中,得到每个样本特征的特征重要性;根据每个样本特征的特征重要性,从样本特征库中提取预设个样本特征。
136.在本实现方式中,上述执行主体可以通过lightgbm网络确定样本特征库中的样本特征的特征重要性;之后,根据每个样本特征的特征重要性,从样本特征库中提取预设个样本特征。
137.需要说明的是,确定特征重要性的方法并不局限与lightgbm网络,还可以通过xgboost网络确定特征的特征重要性。
138.在本实现方式中,可以基于lightgbm网络实现对样本特征库中预设个样本特征的确定。
139.在本实施例的一些可选的实现方式中,将待预测的流量数据集中第一预测标签为不作弊的第一预测流量数据输入预先训练的作弊预测模型的第二神经网络中,得到第二预测标签,包括:
140.将预设个样本特征输入第二神经网络中,得到第二预测标签。
141.在本实现方式中,可以将提取的预设个样本特征输入第二神经网络中,以得到第二预测标签。
142.在本实现方式中,可以基于第二神经网络实现对预设个特征样本的预测。
143.进一步参考图10,作为对上述各图所示方法的实现,本公开提供了一种生成作弊预测模型的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
144.如图10所示,本实施例的生成作弊预测模型的装置1000可以包括:数据获取模块1001、数据确定模块1002、数据得到模块1003和模型训练模块1004。其中,数据获取模块1001,被配置成获取目标流量数据集;数据确定模块1002,被配置成根据作弊预测模型的第一神经网络,确定目标流量数据集中不作弊对应的第一流量数据;数据得到模块1003,被配置成根据作弊预测模型的第二神经网络,对第一流量数据进行作弊检测,得到第一流量数据中作弊对应的第二流量数据;模型训练模块1004,被配置成利用目标流量数据集中作弊对应的流量数据和第二流量数据进行训练和对应的真实标签,生成作弊预测模型。
145.在本实施例中,生成作弊预测模型的装置1000中:数据获取模块1001、数据确定模块1002、数据得到模块1003和模型训练模块1004的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201

204的相关说明,在此不再赘述。可选的,数据确定模块1002和数据得到模块1003可以为相同的模块或不同的模块。
146.在本实施例的一些可选的实现方式中,数据确定模块1002,进一步配置成:将目标流量数据集输入作弊预测模型的第一神经网络中,得到目标流量数据集对应的预测标签,
其中,预测标签为作弊或不作弊;将目标流量数据集中预测标签为不作弊对应的流量数据确定为第一流量数据。
147.在本实施例的一些可选的实现方式中,该生成作弊预测模型的装置1000还包括:第一提取模块,被配置成对目标流量数据集进行特征提取,得到对应的特征库;第二提取模块,被配置成根据特征重要性,从特征库中提取预设个特征;数据得到模块1003,进一步被配置成:根据作弊预测模型的第二神经网络,对第一流量数据中预设个特征对应的流量数据进行作弊检测,得到第一流量数据中作弊对应的第二流量数据。
148.在本实施例的一些可选的实现方式中,若第一神经网络为lightgbm网络;第二提取模块,进一步被配置成:将特征库输入lightgbm网络中,得到特征库中每个特征的特征重要性;根据每个特征的特征重要性,从特征库中提取预设个特征。
149.在本实施例的一些可选的实现方式中,第二神经网络为孤立森林网络。
150.在本实施例的一些可选的实现方式中,第一提取模块,进一步被配置成:从以下至少一个维度,对目标流量数据集进行特征提取,得到对应的特征库:业务维度、渠道来源维度、设备维度、时序维度。
151.在本实施例的一些可选的实现方式中,目标流量数据集包括异常流量数据和正常流量数据,其中,正常流量数据与异常流量数据之间成预设的比例。
152.在本实施例的一些可选的实现方式中,该生成作弊预测模型的装置1000装置还包括:标签确定模块,被配置成基于目标流量数据集中作弊对应的流量数据和第二流量数据中的异常流量数据对应的知识图谱和正常流量数据对应的知识图谱,确定真实标签。
153.进一步参考图11,作为对上述各图所示方法的实现,本公开提供了一种预测作弊的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
154.如图11所示,本实施例的预测作弊的装置1100可以包括:数据获取模块1101、第一得到模块1102、第二得到模块1103和结果得到模块1104。其中,数据获取模块1101,被配置成获取待预测的流量数据集;第一得到模块1102,被配置成将待预测的流量数据集输入预先训练的作弊预测模型的第一神经网络中,得到第一预测标签;以及第二得到模块1103,被配置成将待预测的流量数据集中第一预测标签为不作弊的第一预测流量数据输入预先训练的作弊预测模型的第二神经网络中,得到第二预测标签;结果得到模块1104,被配置成根据待预测的流量数据集中第一预测标签为作弊的流量数据,以及第一预测流量数据中第二预测标签为作弊的流量数据,确定待预测的流量数据集的作弊预测结果。
155.在本实施例中,预测作弊的装置1100中:数据获取模块1101、第一得到模块1102、第二得到模块1103和结果得到模块1104的具体处理及其所带来的技术效果可分别参考图9对应实施例中的步骤901

904的相关说明,在此不再赘述。其中,第一得到模块1102和第二得到模块1103可以同一模块或不同的模块。
156.在本实施例的一些可选的实现方式中,该预测作弊的装置1100还包括:第一提取模块,被配置成对待预测的流量数据集进行特征提取,得到样本特征库;第二提取模块,被配置成根据样本特征重要性,从样本特征库中提取预设个样本特征。
157.在本实施例的一些可选的实现方式中,若第一神经网络为lightgbm网络;以及第一提取模块,进一步被配置成:将样本特征库中的每个样本特征输入lightgbm网络中,得到
每个样本特征的特征重要性;根据每个样本特征的特征重要性,从样本特征库中提取预设个样本特征。
158.在本实施例的一些可选的实现方式中,第二得到模块1103,进一步被配置成:将预设个样本特征输入第二神经网络中,得到第二预测标签。
159.根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
160.图12示出了可以用来实施本公开的实施例的示例电子设备1200的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
161.如图12所示,设备1200包括计算单元1201,其可以根据存储在只读存储器(rom)1202中的计算机程序或者从存储单元1208加载到随机访问存储器(ram)1203中的计算机程序,来执行各种适当的动作和处理。在ram 1203中,还可存储设备1200操作所需的各种程序和数据。计算单元1201、rom 1202以及ram 1203通过总线1204彼此相连。输入/输出(i/o)接口1205也连接至总线1204。
162.设备1200中的多个部件连接至i/o接口1205,包括:输入单元1206,例如键盘、鼠标等;输出单元1207,例如各种类型的显示器、扬声器等;存储单元1208,例如磁盘、光盘等;以及通信单元1209,例如网卡、调制解调器、无线通信收发机等。通信单元1209允许设备1200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
163.计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1201的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元1201执行上文所描述的各个方法和处理,例如生成作弊预测模型的方法或预测作弊的方法。例如,在一些实施例中,生成作弊预测模型的方法或预测作弊的方法可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元1208。在一些实施例中,计算机程序的部分或者全部可以经由rom 1202和/或通信单元1209而被载入和/或安装到设备1200上。当计算机程序加载到ram 1203并由计算单元1201执行时,可以执行上文描述的生成作弊预测模型的方法或预测作弊的方法的一个或多个步骤。备选地,在其他实施例中,计算单元1201可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行生成作弊预测模型的方法或预测作弊的方法。
164.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至
少一个输出装置。
165.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
166.在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd

rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
167.为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,crt(阴极射线管)或者lcd(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
168.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(lan)、广域网(wan)和互联网。
169.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端

服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,也可以为分布式系统的服务器,或者是结合了区块链的服务器。
170.人工智能是研究计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术;人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语音处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
171.应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开提及的技术方案所期望的结果,本文在此不进行限制。
172.上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1