一种基于隐私保护的模型训练方法及装置与流程

文档序号:29707156发布日期:2022-04-16 16:03阅读:111来源:国知局
一种基于隐私保护的模型训练方法及装置与流程

1.本说明书涉及隐私安全技术领域,尤其涉及一种基于隐私保护的模型训练方法及装置。


背景技术:

2.针对成员推理的黑盒攻击指的是,在获得特定数据和目标业务模型api接口(即获得目标业务模型的黑盒访问权限)的情况下,来确定特定数据是否属于目标业务模型的训练数据集的攻击。训练数据集中的训练数据一般包括用户真实的数据,其中会包括用户隐私数据,若确定出特定数据属于训练数据,则获得了用户隐私数据,进而造成用户隐私泄露的问题。
3.例如目标业务模型为反欺诈场景中的反欺诈模型,其训练数据集的训练数据均包括用户的真实的转账消费信息,如果目标业务模型黑盒被攻击成功,则容易造成用户隐私如用户真实的转账消费信息的泄露。


技术实现要素:

4.本说明书一个或多个实施例提供了一种基于隐私保护的模型训练方法及装置,以训练得到隐私保护的业务模型。
5.根据第一方面,提供一种基于隐私保护的模型训练方法,包括:
6.获得用于训练目标业务模型的初始事件序列集合;
7.针对所述初始事件序列集合中的各初始事件序列,根据第一增强策略的策略信息,基于预设的用于进行数据扰动修改的多个数据增强单元,对该初始事件序列进行第一数目的数据增强操作,得到对应的增强事件序列,其中,一次数据增强操作利用一个数据增强单元执行;所述策略信息至少指示所述第一数目;
8.利用各增强事件序列形成的第一增强序列集合进行模型训练,得到隐私保护的第一业务模型。
9.在一种可选实施方式中,所述数据增强单元,用于扰动修改以下中的一项或多项:事件序列中事件的顺序、数量、属性。
10.在一种可选实施方式中,还包括:
11.获得所述第一业务模型对应的第一效能结果;
12.根据所述第一效能结果和所述第一增强策略,确定用于下一轮次的第二增强策略。
13.在一种可选实施方式中,还包括:
14.获得所述第一业务模型对应的第一效能结果;
15.至少根据所述第一效能结果和所述第一业务模型,确定所述目标业务模型对应的目标隐私保护模型,或其备选模型。
16.在一种可选实施方式中,所述确定所述目标业务模型对应的目标隐私保护模型,
或其备选模型,包括:
17.获得所述初始事件序列集合对应的若干第二增强序列集合,其中,各第二增强序列集合,根据对应增强策略的策略信息,基于所述多个数据增强单元,对所述初始事件序列集合进行数据增强操作而得到;
18.分别利用各第二增强序列集合进行模型训练,得到对应的若干第二业务模型;
19.获得若干第二业务模型对应的若干第二效能结果;
20.基于所述第一效能结果和所述第二效能结果,从所述第一业务模型和若干第二业务模型中,确定出所述目标隐私保护模型,或所述备选模型。
21.在一种可选实施方式中,还包括:
22.获得所述目标业务模型对应的目标效能结果,所述目标业务模型利用所述初始事件序列集合训练得到;
23.所述从所述第一业务模型和若干第二业务模型中,确定出所述目标隐私保护模型,或所述备选模型,包括:
24.分别确定所述第一效能结果和若干第二效能结果,相对于所述目标效能结果的效能变化情况;
25.基于各效能变化情况,从所述第一业务模型和所述若干第二业务模型中,确定出效能变化情况表征效能较优的业务模型,作为所述目标隐私保护模型。
26.在一种可选实施方式中,所述第一效能结果包括如下结果的至少一个:业务预测准确性,被黑盒攻击成功的概率。
27.在一种可选实施方式中,所述策略信息还包括:扰动强度值,所述第一数目的数据增强操作包括第一增强操作,所述第一增强操作利用第一增强操作单元进行符合所述扰动强度值的数据扰动。
28.在一种可选实施方式中,所述数据扰动修改包括对事件序列中事件顺序和/或数量的扰动修改;所述多个数据增强单元包括用于执行以下操作中的至少一项的数据增强单元:
29.删除事件序列中的部分事件;
30.从事件序列中抽取出若干第一事件,对所述若干第一事件无放回抽样重排后放回事件序列;
31.从事件序列中抽取出若干第二事件,对所述若干第二事件有放回抽样重排后放回事件序列;
32.将事件序列中包含的第三事件修改为第四事件;
33.保持事件序列。
34.在一种可选实施方式中,所述数据扰动修改包括对事件序列中事件的属性的扰动修改;所述多个数据增强单元包括用于执行以下操作中的至少一项的数据增强单元:
35.针对事件序列中第五事件的数值型的第一属性,利用该第一属性的各属性值对应的高斯分布,对该第一属性的属性值进行扰动修改;
36.针对事件序列中第六事件的类别型的第二属性,利用该第二属性的各属性值对应的先验分布,对该第二属性的属性值进行扰动修改。
37.在一种可选实施方式中,所述策略信息还包括扰动强度值;所述利用该第一属性
的各属性值对应的高斯分布,对该第一属性的属性值进行扰动修改,包括:
38.基于该第一属性的各属性值对应的高斯分布,生成该第五事件的第一属性对应的扰动值;
39.基于所述扰动值以及所述扰动强度值,对该第一属性的属性值进行扰动修改。
40.在一种可选实施方式中,一次数据增强操作所利用的数据增强单元,是以等概率方式从所述多个数据增强单元中随机选择的。
41.根据第二方面,提供一种基于隐私保护的模型训练装置,包括:
42.第一获得模块,配置为获得用于训练目标业务模型的初始事件序列集合;
43.数据增强模块,配置为针对所述初始事件序列集合中的各初始事件序列,根据第一增强策略的策略信息,基于预设的用于进行数据扰动修改的多个数据增强单元,对该初始事件序列进行第一数目的数据增强操作,得到对应的增强事件序列,其中,一次数据增强操作利用一个数据增强单元执行;所述策略信息至少指示所述第一数目;
44.模型训练模块,配置为利用各增强事件序列形成的第一增强序列集合进行模型训练,得到隐私保护的第一业务模型。
45.在一种可选实施方式中,所述数据增强单元,用于扰动修改以下中的一项或多项:事件序列中事件的顺序、数量、属性。
46.在一种可选实施方式中,所述装置还包括:
47.第二获得模块,配置为获得所述第一业务模型对应的第一效能结果;
48.第一确定模块,配置为根据所述第一效能结果和所述第一增强策略,确定用于下一轮次的第二增强策略。
49.在一种可选实施方式中,所述装置还包括:
50.第三获得模块,配置为获得所述第一业务模型对应的第一效能结果;
51.第二确定模块,配置为至少根据所述第一效能结果和所述第一业务模型,确定所述目标业务模型对应的目标隐私保护模型,或其备选模型。
52.在一种可选实施方式中,所述第二确定模块,包括:
53.第一获得子模块,配置为获得所述初始事件序列集合对应的若干第二增强序列集合,其中,各第二增强序列集合,根据对应增强策略的策略信息,基于所述多个数据增强单元,对所述初始事件序列集合进行数据增强操作而得到;
54.模型训练子模块,配置为分别利用各第二增强序列集合进行模型训练,得到对应的若干第二业务模型;
55.第二获得子模块,配置为获得若干第二业务模型对应的若干第二效能结果;
56.确定子模块,配置为基于所述第一效能结果和所述第二效能结果,从所述第一业务模型和若干第二业务模型中,确定出所述目标隐私保护模型,或所述备选模型。
57.在一种可选实施方式中,所述第二确定模块,还包括:
58.第三获得子模块,配置为获得所述目标业务模型对应的目标效能结果,所述目标业务模型利用所述初始事件序列集合训练得到;
59.所述确定子模块,具体配置为分别确定所述第一效能结果和若干第二效能结果,相对于所述目标效能结果的效能变化情况;
60.基于各效能变化情况,从所述第一业务模型和所述若干第二业务模型中,确定出
效能变化情况表征效能较优的业务模型,作为所述目标隐私保护模型。
61.在一种可选实施方式中,所述第一效能结果包括如下结果的至少一个:业务预测准确性,被黑盒攻击成功的概率。
62.在一种可选实施方式中,所述策略信息还包括:扰动强度值,所述第一数目的数据增强操作包括第一增强操作,所述第一增强操作利用第一增强操作单元进行符合所述扰动强度值的数据扰动。
63.在一种可选实施方式中,所述数据扰动修改包括对事件序列中事件顺序和/或数量的扰动修改;所述多个数据增强单元包括用于执行以下操作中的至少一项的数据增强单元:
64.删除事件序列中的部分事件;
65.从事件序列中抽取出若干第一事件,对所述若干第一事件无放回抽样重排后放回事件序列;
66.从事件序列中抽取出若干第二事件,对所述若干第二事件有放回抽样重排后放回事件序列;
67.将事件序列中包含的第三事件修改为第四事件;
68.保持事件序列。
69.在一种可选实施方式中,所述数据扰动修改包括对事件序列中事件的属性的扰动修改;所述多个数据增强单元包括用于执行以下操作中的至少一项的数据增强单元:
70.针对事件序列中第五事件的数值型的第一属性,利用该第一属性的各属性值对应的高斯分布,对该第一属性的属性值进行扰动修改;
71.针对事件序列中第六事件的类别型的第二属性,利用该第二属性的各属性值对应的先验分布,对该第二属性的属性值进行扰动修改。
72.在一种可选实施方式中,其中,所述策略信息还包括扰动强度值;一个数据增强单元,具体配置为基于该第一属性的各属性值对应的高斯分布,生成该第五事件的第一属性对应的扰动值;
73.基于所述扰动值以及所述扰动强度值,对该第一属性的属性值进行扰动修改。
74.在一种可选实施方式中,一次数据增强操作所利用的数据增强单元,是以等概率方式从所述多个数据增强单元中随机选择的。
75.根据第三方面,提供一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机执行第一方面所述的方法。
76.根据第四方面,提供一种计算设备,包括存储器和处理器,其中,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现第一方面所述的方法。
77.根据本说明书实施例提供的方法及装置,根据第一增强策略的策略信息,基于预设的用于进行数据扰动修改的多个数据增强单元,对初始事件序列进行数据增强操作,以实现对初始事件序列中真实事件信息的掩盖,得到对应的增强事件序列,进而利用掩盖了真实事件信息的增强事件序列进行模型训练,得到隐私保护的第一业务模型,以在一定程度上可提高模型的防御能力,降低模型训练数据中真实事件信息泄露的风险。
附图说明
78.为了更清楚地说明本发明实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
79.图1为本说明书披露的一个实施例的实施框架示意图;
80.图2为实施例提供的基于隐私保护的模型训练方法的一种流程示意图;
81.图3为实施例提供的一种数据增强过程示意图;
82.图4为实施例提供的基于隐私保护的模型训练装置的一种示意性框图。
具体实施方式
83.下面将结合附图,详细描述本说明书实施例的技术方案。
84.本说明书实施例披露一种基于隐私保护的模型训练方法及装置,下面首先对方法的应用场景和技术构思进行介绍,具体如下:
85.目前,用于训练业务模型的训练数据一般包括所采集的真实用户数据及其对应的标签数据。而针对成员推理的黑盒攻击存在一定概率推断出其所使用的特定数据是否为业务模型的训练数据,进而容易造成训练数据中真实用户数据泄露的问题。
86.鉴于此,发明人提出一种基于隐私保护的模型训练方法,图1示出根据本说明书披露的一个实施例的实施框架示意图。该实施例中,实现基于隐私保护的模型训练方法的系统,其关联有预设的多个数据增强单元,例如数据增强单元1、数据增强单元2
……
数据增强单元n,该多个数据增强单元用于对事件序列进行数据扰动修改,以掩盖真实的事件序列中真实事件信息。具体的,该系统可以包括:第一获得模块获得用于训练目标业务模型的多个事件序列,以组成初始事件序列集合,其中,每一事件序列是针对样本对象所采集的真实的事件序列,每一事件序列包括若干个事件,该若干个事件按样本对象触发事件的时间先后顺序排列,不同事件序列可以对应不同样本对象,也可以对应相同样本对象。
87.例如,样本对象为电子支付平台的用户,各事件序列中的若干事件可以是,各用户在一定时间内基于电子支付平台所触发的一系列事件。又例如,样本对象为电商平台的商户,各事件序列中的若干事件可以是,各商户在一定时间内基于电商平台所触发的一系列事件。可以理解的,上述仅是对样本对象的举例说明,并不构成对样本对象的具体类型的限定,样本对象可以为任一可以触发一系列事件进而形成事件序列的对象,例如还可以为社交平台的用户、金融管理平台的用户等。
88.数据增强模块,针对初始事件序列集合中的各初始事件序列,根据当前增强策略的策略信息,基于该多个数据增强单元,对该初始事件序列进行一定数目的数据增强操作,以对初始事件序列中的真实事件信息(例如事件序列中事件的顺序、事件的属性、事件的数量)进行掩盖,得到该初始事件序列对应的增强事件序列,其中,一次数据增强操作利用一个数据增强单元执行,策略信息至少指示上述增强操作的数目。进而,通过模型训练模块利用各增强事件序列形成的第一增强序列集合进行模型训练,得到隐私保护的第一业务模型。
89.其中,该目标业务模型可以是基于该初始事件序列集合以及其中各初始事件序列
对应的标签数据,对初始化模型训练所得的。
90.一种实现中,模型训练模块可以利用第一增强序列集合及其中各增强事件序列对应的原始标签数据,对目标业务模型进行进一步的模型训练,得到隐私保护的第一业务模型,从而在一定程度上保证第一业务模型的业务预测准确性的同时,提高第一业务模型的防御能力以及泛化性,提高第一业务模型的攻击难度,达到隐私保护的目的。
91.另一种实现中,模型训练模块可以利用第一增强序列集合及其中各增强事件序列对应的原始标签数据,对初始化模型进行模型训练,得到隐私保护的第一业务模型,直接利用掩盖真实事件序列的增强事件序列训练得到第一业务模型,更好的实现隐私保护。
92.其中,各增强事件序列对应的原始标签数据为该增强事件序列对应的初始事件序列的标签数据。
93.在一种示例性场景中,该目标业务模型可以是欺诈检测模型。相应的,该初始事件序列集合中的各初始事件序列可以是针对电子支付平台的各用户所采集的事件序列,该事件序列中各事件可以包括但不限于用户的转账事件、消费事件、开通账户事件、绑定银行卡事件。标签数据可以包括表征所对应事件序列的用户是否受欺诈的标签。电子支付平台可以是任一可支持进行资产消费管理的平台。
94.在又一示例性场景中,该目标业务模型可以是商户分类模型,相应的,该初始事件序列集合中的各初始事件序列可以是针对电商平台的各商户所采集的事件序列,该事件序列中各事件可以包括但不限于商户的转账事件、收款事件以及消费事件。标签数据可以包括表征所对应事件序列的商户的类别标签。
95.本实施例中,对初始事件序列进行数据增强操作,以实现对初始事件序列中真实事件信息的掩盖,得到对应的增强事件序列,进而利用掩盖了真实事件信息的增强事件序列进行模型训练,得到隐私保护的第一业务模型,以在一定程度上可提高模型的防御能力,降低模型训练数据中真实事件信息(隐私数据)泄露的风险。
96.下面结合具体实施例,对本说明书提供的基于隐私保护的模型训练方法进行详细阐述。
97.图2示出了本说明书一个实施例中基于隐私保护的模型训练方法的流程图。该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群等来实现。所述方法包括如下步骤s210-s230:
98.s210:获得用于训练目标业务模型的初始事件序列集合。该初始事件序列集合包括针对样本对象所采集的多个真实的事件序列,每一事件序列包括若干个事件,该若干个事件为某一样本对象在一定时间内顺序触发的事件,事件序列所包括的若干个事件可以按事件发生时间的先后顺序排序,每一事件对应若干属性,该属性可以从各维度描述所对应事件。
99.每一事件对应的属性可以包括但不限于:事件的基本属性,例如:事件对应的样本对象标识、事件自身标识和自身类别(例如转账事件、消费事件等)、事件发生时间、事件发生地理位置、事件发生设备类型、事件对应的操作路径等;事件的类别相关属性,例如:事件类别为转账事件时,类别相关属性包括:转账资金数额、资金转入方标识、资金转出方标识、转账备注信息等。事件类别为消费事件时,类别相关属性包括:消费资金数额、资金转入方标识及相关信息、资金转出方标识及相关信息、消费购买(或卖出)的物品信息等。其中,事
件对应的操作路径可以指,样本对象触发该事件所顺序执行的各操作的集合,例如事件为转账事件,事件对应的操作路径可以包括:点击资金转入方图标、点击进入相应的转账操作页面、选择转账方式(例如:银行卡、账户余额)、输入转账资金数额、触发转账功能操作以及输入转账密码。
100.目标业务模型可以是基于该初始事件序列集合及其中各初始事件序列对应的标签数据,对初始化模型训练所得的。目标业务模型可以是任一基于事件序列进行业务预测的模型,例如:欺诈检测模型、商户分类模型等。
101.s220:针对初始事件序列集合中的各初始事件序列,根据第一增强策略的策略信息,基于预设的用于进行数据扰动修改的多个数据增强单元,对该初始事件序列进行第一数目的数据增强操作,得到对应的增强事件序列。其中,一次数据增强操作利用一个数据增强单元执行;该策略信息至少指示第一数目。
102.首先,可以获得预设的用于进行数据扰动修改的多个数据增强单元,该数据增强单元,用于扰动修改以下中的一项或多项:事件序列中事件的顺序、数量、属性,以实现对真实的初始事件序列中真实事件信息的掩盖。获得当前的增强策略即第一增强策略的策略信息,该策略信息至少指示第一数目,即表征需要针对初始事件序列进行第一数目次数据增强操作。
103.其中,针对初始事件序列集合中的各初始事件序列,执行以下步骤,以得到各初始事件序列对应的增强事件序列,具体的,在每一次数据增强操作过程中,从该多个数据增强单元中选择一个数据增强单元,作为目标数据增强单元,基于该目标数据增强单元对事件序列进行数据增强操作,得到输出序列,并将其作为下一轮次的数据增强操作的输入序列,直至对事件序列进行第一数目的数据增强操作,得到初始事件序列对应的增强事件序列,其中,首次数据增强操作,其输入序列为初始事件序列;非首次数据增强操作,其输入序列为前一轮次数据增强操作的输出序列。
104.在一种实现方式中,每一次数据增强操作所利用的数据增强单元,是以等概率方式从预设的多个数据增强单元中随机选择的。
105.s230:利用各增强事件序列形成的第一增强序列集合进行模型训练,得到隐私保护的第一业务模型。在一种实现中,可以利用第一增强序列集合及其中各增强事件序列对应的原始标签数据,对基于初始事件序列训练好的目标业务模型进行进一步的模型训练,得到隐私保护的第一业务模型,以可以在一定程度上保证第一业务模型的业务预测准确性的同时,提高第一业务模型的攻击难度,达到隐私保护的目的。另一种实现中,可以利用第一增强序列集合及其中各增强事件序列对应的原始标签数据,对初始化模型进行模型训练,得到隐私保护的第一业务模型,直接利用掩盖真实事件序列的增强事件序列训练得到第一业务模型,更好的实现隐私保护。
106.其中,各增强事件序列对应的原始标签数据为该增强事件序列对应的初始事件序列的标签数据。
107.本实施例,对初始事件序列进行数据增强操作,以实现对初始事件序列中真实事件信息的掩盖,得到对应的增强事件序列,进而利用掩盖了真实事件信息的增强事件序列进行模型训练,得到隐私保护的第一业务模型,以在一定程度上可提高模型的防御能力,降低模型训练数据中真实事件信息泄露的风险。并且本实施例,提供了一种对事件序列进行
数据增强的方法,在一定程度上可以有效增多用于训练模型的训练数据,更有助于模型的训练。
108.并且,在第一业务模型为利用第一增强序列集合进一步训练目标业务模型所得的情况下,该第一业务模型的训练数据增多,其泛化能力在一定程度上高于目标业务模型。
109.在本说明书的一个实施例中,策略信息还可以包括:扰动强度值,第一数目的数据增强操作包括第一增强操作,第一增强操作利用第一增强操作单元进行符合扰动强度值的数据扰动。其中,该第一增强操作可以为一个或者多个。第一增强操作利用的第一增强操作单元为多个数据增强单元中的任意一个。一种情况中,扰动强度值的取值范围可以是[0,1]。
[0110]
在本说明书的一个实施例中,该数据扰动修改包括对事件序列中事件顺序和/或数量的扰动修改;多个数据增强单元包括用于执行以下操作中的至少一项的数据增强单元。其中,可理解的是,该事件序列可以指初始事件序列或者初始事件序列进行若干次数据增强操作后所得到的事件序列。操作包括:
[0111]
删除事件序列中的部分事件;具体的,以随机方式或者基于前述扰动强度值,删除事件序列中的部分事件。其中,前述扰动强度值可以表征事件序列中每一事件被删除的概率。
[0112]
从事件序列中抽取出若干第一事件,对若干第一事件无放回抽样重排后放回事件序列;其中,可以以随机方式或者基于前述扰动强度值,从事件序列中抽取出若干第一事件,进而对若干第一事件无放回抽样重排后放回事件序列,前述扰动强度值可以表征事件序列中每一事件被抽取的概率。举例而言,事件序列a、b、c、d、e和f,从事件序列中抽取出事件a、c和d作为第一事件,对该事件a、c和d进行无放回抽样重排,即首先从事件a、c和d抽样出一个事件,例如抽样出事件c,作为重排后的第一个位置的事件;继而从事件a和d中抽样出一个事件,例如抽样出事件a,作为重排后的第二个位置的事件,后续的,仅剩余一个事件d,将事件d重排后的第三个位置的事件;之后将重排后的事件放回事件序列,即得到事件序列c、b、a、d、e和f,即本次数据增强操作的输出序列。
[0113]
从事件序列中抽取出若干第二事件,对若干第二事件有放回抽样重排后放回事件序列;其中,可以以随机方式或者基于前述扰动强度值,从事件序列中抽取出若干第二事件,对若干第二事件有放回抽样重排后放回事件序列,前述扰动强度值可以表征事件序列中每一事件被抽取出(作为第二事件)的概率。举例而言,事件序列b、a、d、e和f,从事件序列中抽取出事件b、a、e和f作为第二事件,对该事件b、a、e和f进行有放回抽样重排,即首先从事件b、a、e和f抽样出一个事件,例如抽样出事件a,作为重排后的第一个位置的事件;进而,继续从事件b、a、e和f抽样出一个事件,例如抽样出事件e,作为重排后的第二个位置的事件;接着继续从事件b、a、e和f抽样出一个事件,例如抽样出事件e,作为重排后的第三个位置的事件;仍然从事件b、a、e和f抽样出一个事件,例如抽样出事件b,作为重排后的第四个位置的事件,之后将重排后的事件放回事件序列,即得到事件序列a、e、d、e和b,即本次数据增强操作的输出序列。
[0114]
将事件序列中包含的第三事件修改为第四事件;其中,可以以随机方式或者基于前述扰动强度值,将事件序列中包含的第三事件修改为第四事件,前述扰动强度值可以表征事件序列中每一事件被修改的概率。一种情况中,该第三事件和第四事件可以均是事件
序列中的事件。另一种情况中,该第四事件可以是根据事件序列中事件的属性所生成的非事件序列中的事件。
[0115]
保持事件序列,即不对事件序列进行数据扰动。
[0116]
在本说明书的一个实施例中,该数据扰动修改还包括对事件序列中事件的属性的扰动修改;多个数据增强单元包括用于执行以下操作中的至少一项的数据增强单元:一种操作,为针对事件序列中第五事件的数值型的第一属性,利用该第一属性的各属性值对应的高斯分布,对该第一属性的属性值进行扰动修改。具体的,可以首先利用该事件序列中第一属性的各属性值(各事件的第一属性的属性值)构建对应的高斯分布,进而,利用该高斯分布对第五事件的第一属性的属性值进行扰动修改,其中,该第五事件可以是事件序列中的部分或全部事件。
[0117]
一种实现中,利用预设的高斯扰动函数,基于该高斯分布的均值和方差,生成第一属性的扰动值,将该扰动值叠加至第一属性的各属性值,实现对该第一属性的属性值的扰动修改。另一种实现中,利用预设的高斯扰动函数,基于该高斯分布的均值和方差,生成第一属性的扰动值,基于该扰动值以及前述扰动强度值,对第一属性的属性值进行扰动修改,具体的,将该扰动值与前述扰动强度值的乘积结果叠加至第一属性的各属性值,实现对该第一属性的属性值的扰动修改,以得到符合实际的扰动后的事件序列。
[0118]
其中,该数值型的第一属性可以是一个或者多个。在第一属性为多个时,针对事件序列中第五事件的数值型的各第一属性,利用该第一属性的各属性值对应的高斯分布,对该第一属性的属性值进行扰动修改。
[0119]
另一种操作包括,针对类别型属性进行扰动修改。类别型属性又可称为离散型属性,通常包括由若干离散值指示的类别,例如,职业、城市、设备类型等属性,均为类别型属性。为此,数据增强单元中的操作可以包括,针对事件序列中第六事件的类别型的第二属性,利用该第二属性的各属性值对应的先验分布,对该第二属性的属性值进行扰动修改。其中,第六事件可以是事件序列中的部分或全部事件。
[0120]
一种实现中,可以基于前述扰动强度值,从事件序列中选取出若干事件,作为第六事件,其中,前述扰动强度值表征事件序列中各事件被选取出的概率。后续的,将该第六事件的全部(或者部分)类别型的属性,作为第二属性;针对每一第二属性,利用该第二属性的各属性值(事件序列中各事件的该第二属性的属性值),构建对应的先验分布;利用该先验分布对第六事件的该第二属性的属性值进行扰动修改。例如,第二属性为事件发生设备类型,其对应的先验分布表征事件序列中各事件的第二属性的事件发生设备类型包括,设备类型1、设备类型2以及设备类型3,上述对第六事件的该第二属性的属性值进行扰动修改,可以是将事件a的事件发生设备类型1修改为设备类型3,保持事件b的设备类型2,将事件c的设备类型1修改为设备类型2等。又例如,先验分布还可以表征,设备类型3出现的概率大于设备类型2出现的概率,设备类型2出现的概率等于设备类型1出现的概率,相应的,可以根据各设备类型出现的概率,对第六事件的该第二属性的属性值进行扰动修改。
[0121]
另一种实现中,可以将事件序列中全部事件(或部分事件)作为第六事件,进而基于前述扰动强度值,从事件序列各事件对应的所有类别型的属性中,选取出若干属性,作为第六事件的第二属性,其中,前述扰动强度值表征事件序列中各类别型的属性被选取出的概率。针对每一第二属性,利用该第二属性的各属性值(事件序列中各事件的该第二属性的
属性值),构建对应的先验分布;利用该先验分布对第六事件的该第二属性的属性值进行扰动修改。
[0122]
上述实施方式中所述的数据扰动修改的具体操作是对数据扰动修改的举例说明,并不构成对本说明书中数据扰动修改的具体操作的限定。在另一实施方式中,对事件序列中事件顺序和/或数量的扰动修改还可以包括如下操作,随机交换事件序列中两个事件的顺序、随机用事件序列中的一个事件代替另一个事件等。对事件序列中事件的属性的扰动修改还可以包括如下操作,对于数值型的属性,随机正向波动,或者随机负向波动等。
[0123]
下面通过一个具体实施例对初始事件序列的数据增强过程进行说明,如图3所示,初始事件序列1包括事件a、b、c、d、e、f和g,假设第一增强策略的策略信息包括第一数目为4,多个数据增强单元分别为数据增强单元1-7。
[0124]
首先,第一轮数据增强操作,从多个数据增强单元中选择出数据增强单元2,例如具体操作为从事件序列中抽取出若干事件,对所抽取的若干事件无放回抽样重排后放回事件序列;如图3所示,将初始事件序列1输入数据增强单元2,得到相应的输出序列1,作为第二轮数据增强操作的输入序列。第二轮数据增强操作,从多个数据增强单元中选择出数据增强单元7,例如具体操作为保持事件序列,如图3所示,将输出序列1输入数据增强单元7,得到相应的输出序列2,作为第三轮数据增强操作的输入序列。第三轮数据增强操作,从多个数据增强单元中选择出数据增强单元4,例如具体操作为针对事件序列中的若干事件的若干数值型的属性,对其属性值进行扰动修改,如图3所示,将输出序列2输入数据增强单元4,得到相应的输出序列3,作为第四轮数据增强操作的输入序列。第四轮数据增强操作,从多个数据增强单元中选择出数据增强单元6,例如具体操作为针对事件序列中的若干事件的若干类别型的属性,对其属性值进行扰动修改,如图3所示,将输出序列3输入数据增强单元6,得到相应的输出序列4,作为初始事件序列1对应的增强事件序列。
[0125]
在以上的实施例中,通过当前的第一增强策略,利用前述的多个数据增强单元产生了第一增强序列集合,并利用该集合训练得到了第一业务模型。可以理解,不同的增强策略,可以产出不同的增强序列集合,继而训练出效能不同的业务模型。为了保证最终训练所得的业务模型的效能,可以通过对增强策略进行寻优的方式,确定出可得到数据增强效果好的增强序列集合,进而得到效能更优的业务模型。相应的,在一些实施例中,所述方法还包括如下步骤11-12:
[0126]
步骤11:获得第一业务模型对应的第一效能结果;在一种实现中,第一效能结果包括如下结果的至少一个:业务预测准确性,被黑盒攻击成功的概率。其中,业务预测准确性越高,被黑盒攻击成功的概率越低,表征第一业务模型的效能越好,相应的,表征训练该第一业务模型的增强事件序列的数据增强效果越好。
[0127]
步骤12:根据第一效能结果和第一增强策略,确定用于下一轮次的第二增强策略。
[0128]
一种实现方式中,可以获得用于测试第一业务模型的测试数据,其中,该测试数据包括若干测试事件序列及其各自对应的标签数据,为了描述清楚,称测试事件序列对应的标签数据为测试标签数据。之后,将若干测试事件序列输入第一业务模型,使得第一业务模型分别对若干测试事件序列进行业务预测,得到若干测试事件序列对应的业务预测数据;分别对比若干测试事件序列对应的测试标签数据以及业务预测数据,确定第一业务模型的业务预测准确性。并且,利用针对成员推理的黑盒测试工具,对第一业务模型进行黑盒攻
击,以得到其被黑盒攻击成功的概率,以此得到第一业务模型对应的效能结果,作为第一效能结果。
[0129]
另一种实现中,还可以在得到第一业务模型之后,将第一业务模型发送至模型测试设备中,以通过模型测试设备对第一业务模型进行测试,从而得到第一业务模型对应的第一效能结果。
[0130]
后续的,一种情况,可以利用预设寻优算法,基于第一效能结果和第一增强策略,确定用于下一轮次的第二增强策略。其中,该预设寻优算法可以包括但不限于:暴力搜索寻优算法、基于遗传算法的寻优算法、基于强化学习的寻优算法、基于格点搜索的寻优算法等。
[0131]
另一种情况,可以基于第一效能结果和第一增强策略,确定调整增强策略的方向,基于该调整增强策略的方向,确定用于下一轮次的第二增强策略。例如,上述确定调整增强策略的方向可以是,若第一增强策略的策略信息中第一数目,大于前一轮次的增强策略的策略信息中的数目,第一增强策略的策略信息中扰动强度值大于前一轮次的增强策略的策略信息中的扰动强度值,且第一效能结果表征第一业务模型的效能更优,则可以确定可以继续增大策略信息中的数目以及扰动强度值,以得到用于下一轮次的第二增强策略。
[0132]
不同增强策略,可以确定出不同的增强序列集合,而基于不同的增强序列集合训练所得的模型的效能存在不同,本实施例中,为了提高模型预测服务的使用体验,需要得到效能好即业务预测准确性高且模型攻击防御能力高(被黑盒攻击成功概率低)的业务模型。相应的,可以通过基于增强序列集合训练所得的业务模型的效能结果,确定出效能好的业务模型。在本说明书的另一实施例中,所述方法还可以包括如下步骤21-22:
[0133]
步骤21:获得第一业务模型对应的第一效能结果。
[0134]
步骤22:至少根据第一效能结果和第一业务模型,确定初始事件序列集合对应的目标隐私保护模型,或其备选模型。
[0135]
在一种实现中,可以预设有业务模型的预期效能结果,在第一效能结果达到预期效能结果的情况下,可以直接将该第一业务模型确定为初始业务模型对应的目标隐私保护模型。或者,在另一种实现中,在第一效能结果表征第一业务模型的效能相对于目标业务模型的效能有所提升的情况下,则可以将第一业务模型作为确定目标隐私保护模型的备选模型。
[0136]
在另一种实现方式中,为了确定出效能更好的业务模型,所述步骤22,可以包括如下步骤221-224:
[0137]
步骤221:获得初始事件序列集合对应的若干第二增强序列集合。其中,各第二增强序列集合,根据对应增强策略的策略信息,基于多个数据增强单元,对初始事件序列集合进行数据增强操作而得到。对于不同第二增强序列集合对应的增强策略的策略信息而言,其中指示进行数据增强操作次数的具体数目和/或扰动强度值的具体数值存在不同。各第二增强序列集合的具体确定过程,参见第一增强序列集合的确定过程,在此不再赘述。
[0138]
步骤222:分别利用各第二增强序列集合进行模型训练,得到对应的若干第二业务模型。其中,若干第二业务模型中的任一第二业务模型可以是:利用其对应的第二增强序列集合及其中各第二增强事件序列对应的标签数据,对目标业务模型(或者前述的初始化模型)进行训练所得到。各第二增强事件序列对应的标签数据,为各第二增强事件序列对应的
初始事件序列的标签数据。
[0139]
步骤223:获得若干第二业务模型对应的若干第二效能结果。其中,各第二业务模型对应的第二效能结果的获得方式可以参见第一效能结果的获得方式,在此不再赘述。
[0140]
步骤224:基于第一效能结果和第二效能结果,从第一业务模型和若干第二业务模型中,确定出目标隐私保护模型,或其备选模型。其中,一种情况,可以从第一效能结果和第二效能结果中,确定出效能结果较优(业务预测准确性最高,且模型攻击防御能力最高即被黑盒攻击成功概率最低)的效能结果,从第一业务模型和若干第二业务模型中,确定出该效能结果较优的效能结果对应的业务模型,作为目标隐私保护模型。或者,另一种情况,可以基于预期效能结果、第一效能结果和第二效能结果,从第一业务模型和若干第二业务模型中,确定出所对应效能结果达到预期效能结果的业务模型,作为目标隐私保护模型的备选模型。后续的,可以根据业务需求从备选模型中确定出满足业务需求的模型作为目标隐私保护模型等等。
[0141]
在一种实现方式中,还可以根据第一业务模型和若干第二业务模型的效能相对于目标业务模型的效能变化情况,确定目标隐私保护模型,或其备选模型,相应的,在步骤224之前,所述方法还包括步骤225:
[0142]
步骤225:获得目标业务模型对应的目标效能结果,目标业务模型利用初始事件序列集合训练得到。
[0143]
相应的,所述步骤224,包括如下步骤2241-2242:
[0144]
步骤2241:分别确定第一效能结果和若干第二效能结果,相对于目标效能结果的效能变化情况。其中,效能变化情况可以包括业务模型预测结果准确性的变化情况和被黑盒攻击成功的概率变化情况。
[0145]
步骤2242:基于各效能变化情况,从第一业务模型和若干第二业务模型中,确定出效能变化情况表征效能较优的业务模型,作为目标隐私保护模型。
[0146]
本实现方式中,第一效能结果和若干第二效能结果,相对于目标效能结果的效能变化情况,可以表征出第一业务模型和若干第二业务模型的效能,相对于目标业务模型的效能的提升、降低或者保持。具体的,可以首先基于各效能变化情况,从第一业务模型和若干第二业务模型中,确定出表征效能相对于目标业务模型的效能提升的若干业务模型,作为中间业务模型。更进一步的,可以基于效能变化情况,从中间业务模型中,确定出提升幅度最大的业务模型,即效能变化情况表征效能较优的业务模型,作为目标隐私保护模型。以此,利用该目标隐私保护模型进行业务预测,既能保证业务预测准确性又能实现对隐私的保护。
[0147]
举例而言,效能提升的情况可以包括但不限于以下情况:第一种情况,第一业务模型和若干第二业务模型的业务预测准确性相对于目标业务模型的业务预测准确性提升,且第一业务模型和若干第二业务模型的攻击防御能力相对于目标业务模型的攻击防御能力提升(即第一业务模型和若干第二业务模型被黑盒攻击成功概率,相对于目标业务模型被黑盒攻击成功概率降低);第二种情况,第一业务模型和若干第二业务模型的业务预测准确性相对于目标业务模型的业务预测准确性降低,但降低幅度在预设允许范围内,且第一业务模型和若干第二业务模型的攻击防御能力相对于目标业务模型的攻击防御能力提升(提升幅度达到预期幅度),等。
[0148]
通过上述实施例,可以针对初始事件序列集合确定出其对应的较优的增强策略,其对应的数据增强效果较优的增强序列集合,以及确定出对应的效能较优的目标隐私保护模型。
[0149]
上述内容对本说明书的特定实施例进行了描述,其他实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行,并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要按照示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的,或者可能是有利的。
[0150]
相应于上述方法实施例,本说明书实施例,提供了一种的装置400,其示意性框图如图4所示,包括:
[0151]
第一获得模块410,配置为获得用于训练目标业务模型的初始事件序列集合;
[0152]
数据增强模块420,配置为针对所述初始事件序列集合中的各初始事件序列,根据第一增强策略的策略信息,基于预设的用于进行数据扰动修改的多个数据增强单元,对该初始事件序列进行第一数目的数据增强操作,得到对应的增强事件序列,其中,一次数据增强操作利用一个数据增强单元执行;所述策略信息至少指示所述第一数目;
[0153]
模型训练模块430,配置为利用各增强事件序列形成的第一增强序列集合进行模型训练,得到隐私保护的第一业务模型。
[0154]
在一种可选实施方式中,所述数据增强单元,用于扰动修改以下中的一项或多项:事件序列中事件的顺序、数量、属性。
[0155]
在一种可选实施方式中,所述装置还包括:
[0156]
第二获得模块(图中未示出),配置为获得所述第一业务模型对应的第一效能结果;
[0157]
第一确定模块(图中未示出),配置为根据所述第一效能结果和所述第一增强策略,确定用于下一轮次的第二增强策略。
[0158]
在一种可选实施方式中,所述装置还包括:
[0159]
第三获得模块(图中未示出),配置为获得所述第一业务模型对应的第一效能结果;
[0160]
第二确定模块(图中未示出),配置为至少根据所述第一效能结果和所述第一业务模型,确定所述初始事件序列集合对应的目标隐私保护模型,或其备选模型。
[0161]
在一种可选实施方式中,所述第二确定模块,包括:
[0162]
第一获得子模块(图中未示出),配置为获得所述初始事件序列集合对应的若干第二增强序列集合,其中,各第二增强序列集合,根据对应增强策略的策略信息,基于所述多个数据增强单元,对所述初始事件序列集合进行数据增强操作而得到;
[0163]
模型训练子模块(图中未示出),配置为分别利用各第二增强序列集合进行模型训练,得到对应的若干第二业务模型;
[0164]
第二获得子模块(图中未示出),配置为获得若干第二业务模型对应的若干第二效能结果;
[0165]
确定子模块(图中未示出),配置为基于所述第一效能结果和所述第二效能结果,从所述第一业务模型和若干第二业务模型中,确定出所述目标隐私保护模型,或所述备选
模型。
[0166]
在一种可选实施方式中,所述第二确定模块,还包括:
[0167]
第三获得子模块(图中未示出),配置为获得所述目标业务模型对应的目标效能结果,所述目标业务模型利用所述初始事件序列集合训练得到;
[0168]
所述确定子模块,具体配置为分别确定所述第一效能结果和若干第二效能结果,相对于所述目标效能结果的效能变化情况;
[0169]
基于各效能变化情况,从所述第一业务模型和所述若干第二业务模型中,确定出效能变化情况表征效能较优的业务模型,作为所述目标隐私保护模型。
[0170]
在一种可选实施方式中,所述第一效能结果包括如下结果的至少一个:业务预测准确性,被黑盒攻击成功的概率。
[0171]
在一种可选实施方式中,所述策略信息还包括:扰动强度值,所述第一数目的数据增强操作包括第一增强操作,所述第一增强操作利用第一增强操作单元进行符合所述扰动强度值的数据扰动。
[0172]
在一种可选实施方式中,所述数据扰动修改包括对事件序列中事件顺序和/或数量的扰动修改;所述多个数据增强单元包括用于执行以下操作中的至少一项的数据增强单元:
[0173]
删除事件序列中的部分事件;
[0174]
从事件序列中抽取出若干第一事件,对所述若干第一事件无放回抽样重排后放回事件序列;
[0175]
从事件序列中抽取出若干第二事件,对所述若干第二事件有放回抽样重排后放回事件序列;
[0176]
将事件序列中包含的第三事件修改为第四事件;
[0177]
保持事件序列。
[0178]
在一种可选实施方式中,所述数据扰动修改包括对事件序列中事件的属性的扰动修改;所述多个数据增强单元包括用于执行以下操作中的至少一项的数据增强单元:
[0179]
针对事件序列中第五事件的数值型的第一属性,利用该第一属性的各属性值对应的高斯分布,对该第一属性的属性值进行扰动修改;
[0180]
针对事件序列中第六事件的类别型的第二属性,利用该第二属性的各属性值对应的先验分布,对该第二属性的属性值进行扰动修改。
[0181]
在一种可选实施方式中,其中,所述策略信息还包括扰动强度值,一个数据增强单元,具体配置为基于该第一属性的各属性值对应的高斯分布,生成该第五事件的第一属性对应的扰动值;
[0182]
基于所述扰动值以及所述扰动强度值,对该第一属性的属性值进行扰动修改。
[0183]
在一种可选实施方式中,一次数据增强操作所利用的数据增强单元,是以等概率方式从所述多个数据增强单元中随机选择的。
[0184]
上述装置实施例与方法实施例相对应,具体说明可以参见方法实施例部分的描述,此处不再赘述。装置实施例是基于对应的方法实施例得到,与对应的方法实施例具有同样的技术效果,具体说明可参见对应的方法实施例。
[0185]
本说明书实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,当
所述计算机程序在计算机中执行时,令计算机执行本说明书所提供的所述支付平台中资产转移的方法。
[0186]
本说明书实施例还提供了一种计算设备,包括存储器和处理器,所述存储器中存储有可执行代码,所述处理器执行所述可执行代码时,实现本说明书所提供的所述支付平台中资产转移的方法。
[0187]
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于存储介质和计算设备实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。
[0188]
本领域技术人员应该可以意识到,在上述一个或多个示例中,本发明实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
[0189]
以上所述的具体实施方式,对本发明实施例的目的、技术方案和有益效果进行了进一步的详细说明。所应理解的是,以上所述仅为本发明实施例的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1