基于隐私保护的模型训练方法及装置与流程

1.本说明书一个或多个实施例涉及计算机技术领域，尤其涉及基于隐私保护的模型训练方法及装置。


背景技术：

2.随着人工智能技术在多个领域(如医疗、金融等领域)的广泛应用，面临着两个至关重要的问题，分别是大规模数据的高效处理和个体信息的隐私保护。一些敏感领域，如医疗和金融领域等，数据具有高隐私相关和高可用性。攻击方可能通过这些领域的一些公开或特殊渠道公开的信息推测出个体高隐私相关的信息，如身体状况、经济状况等。例如：攻击者通过在机器学习模型在训练过程中对于诚实的数据持有方的梯度的跟踪和模拟，推断数据持有方的数据隐私；恶意的攻击者构造正向学习的逆过程，从泄露的梯度信息中推测训练数据中具备的敏感信息和性质；在训练数据为图片的情况下，甚至高效地重构出训练的单张图片；等等。
3.差分隐私是隐私保护机器学习中一种常见手段，其提供了一个严格而完善的隐私损失度量框架，具有严格的理论基础，并被广泛地应用到数据采集和分析的产品中。差分隐私主要保护手段是对待处理数据或对数据进行处理得到的中间量，如梯度或神经网络隐层输出等，加入适当噪音进行隐私保护。通常，隐私保护的程度越强，加入的噪音越多，结果的准确性越低，可用性越差。反之，为了结果的准确性，降低隐私保护的程度，则可能使得数据泄露风险不能有效避免。因此，如何兼顾隐私保护程度和结果可用性，是差分隐私领域的一个重要问题。


技术实现要素：

4.本说明书一个或多个实施例描述了一种针对关系网络的数据处理方法及装置，用以解决背景技术提到的一个或多个问题。
5.根据第一方面，提供一种基于隐私保护的模型训练方法，用于训练预先确定的业务模型，所述方法包括：通过基于采样概率进行采样的第一采样方式获取当前批次的若干条训练样本；利用所述业务模型处理所述若干条训练样本，从而得到所述业务模型的r个待定参数对应的第一梯度数据；为所述第一梯度数据添加符合高斯差分隐私的第一高斯噪声，得到第二梯度数据以用于r个待定参数的更新，其中，所述第一高斯噪声为由第一方差σ2确定的高斯分布；基于所述第一采样方式在各个训练周期的隐私累积作用，利用第一关系确定添加第一高斯噪声后在高斯差分隐私空间中用于衡量当前累积隐私损失的第一参数μ，其中，所述第一关系为所述第一方差σ2与所述第一参数μ之间在基于周期数的复合损失的中心极限定理下满足的关系；利用高斯差分隐私和(ε，δ)差分隐私之间的第二关系，将第一参数μ转换为(ε，δ)差分隐私空间中用于衡量当前累积隐私损失的第二参数ε，从而，在所述第二参数ε满足预定条件的情况下，停止训练模型。
6.在一个实施例中，所述第一方差基于所述第一梯度数据对应的第一敏感度确定。
7.在一个进一步的实施例中，所述第一敏感度与所述第一梯度数据中各条梯度数据二范数的上界正相关，与当前批次所包含的样本数量负相关。
8.在一个实施例中，所述高斯差分隐私使得，对相邻的梯度数据集添加噪声后得到的分布之间的区分难度大于或等于平衡函数的函数值，所述平衡函数用于衡量方差相同、均值分别为0和μ的两个高斯分布之间的区分难度。
9.在一个进一步的实施例中，所述隐私累积作用为，所述第一采样方式对应的采样算子累积作用于所述平衡函数的复合损失；所述采样算子作用于所述平衡函数的结果是，所述平衡函数及其反函数中的最小者的两次凸共轭函数。
10.在一个实施例中，所述第一关系示出，所述第一参数μ正比于第一常数ν，且依赖于所述第一常数ν为周期数达到一定阈值后，所述采样概率与周期数的平方根的乘积所逼近的常数。
11.在一个实施例中，所述方法还包括，通过以下方式利用第二梯度数据更新r个待定参数：通过所述第二梯度数据，确定各个待定参数分别对应的各个噪声梯度；按照各个噪声梯度更新各个待定参数。
12.在一个实施例中，所述业务模型为联邦学习的模型，所述方法的执行主体为第一训练成员；所述方法还包括，通过以下方式利用第二梯度数据更新r个待定参数：将所述第二梯度数据发送至服务方，以供所述服务方根据其他训练成员发送的其他梯度数据，对各个待定参数的梯度进行同步，得到各个聚合梯度；按照各个聚合梯度更新各个待定参数。
13.根据第二方面，提供一种基于隐私保护的模型训练方法，用于训练预先确定的业务模型，所述方法包括：通过基于采样概率进行采样的第一采样方式获取当前批次的若干条训练样本；利用所述业务模型处理所述若干条训练样本，从而得到业务模型的n个待定参数对应的第一梯度数据；为第一梯度数据添加符合高斯差分隐私的第一高斯噪声，得到第二梯度数据，其中，所述第一高斯噪声满足由第一方差σ2确定的高斯分布，σ2通过给定的隐私预算ε、δ经由以下关系确定：所述第一方差σ2与高斯差分隐私的第一参数μ之间在基于周期数的复合损失的中心极限定理下满足的第一关系，以及高斯差分隐私和(ε，δ)差分隐私之间形成的、用于描述所述第一参数μ和(ε，δ)差分隐私空间内的第二参数ε的第二关系；基于第二梯度数据更新n个待定参数。
14.根据第三方面，提供一种基于隐私保护的模型训练装置，用于训练预先确定的业务模型，所述装置包括：
15.采样单元，配置为通过基于采样概率进行采样的第一采样方式获取当前批次的若干条训练样本；
16.处理单元，配置为利用所述业务模型处理所述若干条训练样本，从而得到所述业务模型的r个待定参数对应的第一梯度数据；
17.加噪单元，配置为为所述第一梯度数据添加符合高斯差分隐私的第一高斯噪声，得到第二梯度数据以用于r个待定参数的更新，所述第一高斯噪声满足由第一方差σ2确定的高斯分布；
18.累积单元，配置为基于所述第一采样方式在各个训练周期的隐私累积作用，利用第一关系确定添加第一高斯噪声后在高斯差分隐私空间中用于衡量当前累积隐私损失的第一参数μ，其中，所述第一关系为所述第一方差σ与所述第一参数μ之间在基于周期数的复
合损失的中心极限定理下满足的关系；
19.转换单元，配置为利用高斯差分隐私和(ε，δ)差分隐私之间的第二关系，将第一参数μ转换为(ε，δ)差分隐私空间内衡量当前累积隐私损失的第二参数ε，从而，在所述第二参数ε满足预定条件的情况下，停止模型更新。
20.根据第四方面，提供一种基于隐私保护的模型训练装置，用于训练预先确定的业务模型，所述装置包括：
21.采样单元，配置为通过基于采样概率进行采样的第一采样方式获取当前批次的若干条训练样本；
22.处理单元，配置为利用所述业务模型处理所述若干条训练样本，从而得到业务模型的n个待定参数对应的第一梯度数据；
23.加噪单元，配置为为第一梯度数据添加符合高斯差分隐私的第一高斯噪声，得到第二梯度数据，其中，第一高斯噪声满足由第一方差σ2确定的高斯分布，σ通过给定的隐私预算ε、δ经由以下第一关系和第二关系确定：所述第一方差σ2与高斯差分隐私的第一参数μ之间在基于周期数的复合损失的中心极限定理下满足的第一关系，以及高斯差分隐私和(ε，δ)差分隐私之间形成的、用于描述所述第一参数μ和(ε，δ)差分隐私空间内的第二参数ε的第二关系；
24.更新单元，配置为基于第二梯度数据更新n个待定参数。
25.根据第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面或第二方面的方法。
26.根据第六方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面或第二方面的方法。
27.通过本说明书实施例提供的方法和装置，利用高斯差分隐私和(ε，δ)差分隐私之间形成的对偶关系，以及在训练周期达到一定阈值的极限情况下高斯差分隐私空间中用于衡量累积隐私损失的第一参数μ与所添加的高斯噪声的第一方差σ2之间满足的关系，建立(ε，δ)差分隐私与所添加高斯噪声的第一方差σ2之间的关联。从而，一方面，可以根据高斯机制中的参数确定多次迭代累积的隐私损失，对模型性能进行衡量和管控，另一方面，根据给定的隐私预算，反向推导单次迭代过程中应该添加的高斯噪声的第一方差σ2，以加入适当的噪声。如此，可以在维护数据隐私的同时，维持模型的可用性。
附图说明
28.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
29.图1示出本说明书一个应用场景示意图；
30.图2示出根据一个实施例的基于隐私保护的模型训练方法流程图；
31.图3示出根据另一个实施例的基于隐私保护的模型训练方法流程图；
32.图4示出根据一个实施例的基于隐私保护的模型训练装置的示意性框图；
33.图5示出根据另一个实施例的基于隐私保护的模型训练装置的示意性框图。
具体实施方式
34.下面结合附图，对本说明书提供的技术方案进行描述。
35.首先在图1中，给出了一个应用场景示意图。图1示出的应用场景是一个联邦学习场景。实践中，本说明书提供的技术方案可以是用于任何业务模型训练过程，例如单个数据方训练模型过程等。如图1所示，在联邦学习场景下，各个训练成员(如训练成员1、训练成员2、训练成员3、训练成员4等)持有部分业务数据，这些业务数据在各个训练成员之间可以构成垂直切分或者水平切分。其中，在水平切分场景下，训练成员各自持有部分训练样本，例如多个银行作为训练成员各自持有1000条训练样本，在垂直切分场景下，训练成员各自持有训练样本的部分数据或标签，例如银行类训练成员持有用户样本的资产流水及借贷等数据，购物平台类训练成员持有用户样本的消费类数据。业务数据根据具体业务场景的不同，可以是各种形式的数据，例如字符数据、图片数据、动画数据、音频数据、视频数据等等。业务模型可以对这些业务数据进行处理，得到相应的业务结果。例如，业务模型可以对用户的资产流水及借贷等数据进行处理，得到用户信用评估结果等业务结果。
36.图1示出的联邦学习场景下，可以通过可信第三方辅助各个训练成员进行模型的训练。实践中，各个训练成员之间还可以通过多方安全计算等方式联合训练业务模型。在联合训练业务模型过程中，各个训练成员通常需要向可信第三方或其他训练成员传递本地模型对本地数据的处理结果。该处理结果可以是本地模型对本地数据进行处理得到的中间结果或预测结果，也可以是根据本地模型的输出结果更新的梯度或者根据梯度更新的待定参数等数据。为了保护本地的数据隐私，单个训练成员在向第三方或其他训练成员传递处理结果(如梯度)之前，还在处理结果上添加噪声，得到图1所示的待传递数据。这种噪声通常为满足差分隐私机制的噪声，如高斯噪声或拉普拉斯噪声等。在本说明书中主要考虑添加高斯噪声的情形。
37.如此，在多轮迭代过程中，根据差分隐私(differential privacy，dp)的保护原理，在每次迭代过程针对本地数据产生的相应结果(如梯度)都添加相应的噪声。深度学习的迭代次数通常数以万计，随着迭代次数的不断增加，相应的噪声也在不断迭代。经过多次迭代，噪声越来越多。而噪声增多的情况下，准确性会越来越低，这直接关乎模型的性能。
38.本说明书提供的技术方案，旨在给出一种隐私损失的衡量机制，利用高斯差分隐私和(ε，δ)差分隐私之间形成的对偶关系，以及在训练周期达到一定阈值的极限情况下高斯差分隐私空间中用于衡量累积隐私损失的第一参数μ与所添加的高斯噪声的第一方差σ2之间满足的关系，建立(ε，δ)差分隐私中的累积隐私损失与所添加高斯噪声的第一方差σ2之间的关联。通过高斯差分隐私和(ε，δ)差分隐私空间的参数变换，使得多次迭代后的模型隐私损失可通过第一方差σ2进行衡量。从而，在模型性能满足要求的前提下结束训练，维持模型性能，或者通过模型的隐私损失指导噪声添加，例如可以在给定的隐私预算下，在每一轮的迭代中尽可能减少噪声方差。如此，可以达到平衡算法的隐私性和提高算法可用性的双重目标。
39.下面首先描述本说明书的技术方案所依据的原理。
40.根据前文的描述可知，本说明书希望寻找一种衡量隐私损失的衡量方式，从而达
dp族中的一类，高斯差分隐私gdp表征空间可以视为f-dp表征空间的子空间，同样作为(ε，δ)-dp表征空间的对偶空间。
50.进一步地，为了表示g
μ
，引入累积分布函数φ。φ为高斯分布相关的累积分布函数，例如为在一个具体例子中，用α表示积分变量的情况下，g
μ
进一步可以表示为α为积分变量的积分：g
μ
(α)＝φ(φ-1
(1-α)-μ)。如此，对于一个平衡函数f，当且仅当其是误差ε和容忍度δ定义的差分隐私(ε，δ(ε))-dp，而且对于所有的ε≥0，有δ(ε)＝1+f
*
(-e
ε
)，该平衡函数满足前文的f-dp原理。其中，f
*
(-e
ε
)是关于-e
ε
的凸共轭函数。其中，关于一个函数g的凸共轭函数，可以按照以下方式定义：sup表示取上确界，即在负无穷和x之间积分至使得yx-f(x)取最大值的x。这里，将y＝-e
ε
代入，可以得到f
*
(-e
ε
)的表达。令f＝g
μ
，结合g
μ
的积分表示g
μ
(α)＝φ(φ-1
(1-α)-μ)，对gu(α)取共轭表示为在y＝-e
ε
的情况下，对α积分至使得yα-g
μ
(α)达到上确界，从而确定具体计算过程在此不再罗列，结果为：
[0051][0052]
可以理解，一个机制对于任意ε≥0，当且仅当其为满足式(1)的(ε，δ(ε))-dp机制时，其同时满足对偶空间的μ-gdp机制(由参数μ定义的高斯差分隐私机制，也可以称为g
μ-dp)。也就是说，在高斯差分隐私和(ε，δ)差分隐私两种差分隐私的表示形式之间形成对偶空间，式(1)描述了高斯差分隐私急之下的参数μ和(ε，δ)差分隐私中的参数ε、δ的关系。如此，可以进行隐私损失的参数在(ε，δ)差分隐私空间和与其构成对偶关系的高斯差分隐私空间(由μ定义)之间的转换。
[0053]
另一方面，在高斯差分隐私空间，为了使用随机梯度下降方式增加随机性，在每个训练周期的一个批次训练样本采样时，采用基于采样概率进行选择的第一采样方式进行采样，使得各个训练样本被采样到，如此，单个批次采样的样本数量具有一定的随机性。以泊松采样为例，第一采样方式可以是以一定采样概率(如采样期望与总样本数的比值)对各个样本进行采样。可以理解，泊松采样不要求每个批次的采样数量完全一致，但多次采样的数量满足预定期望。例如，样本总量为1000，预定采样数量期望为10，则采样概率可以是0.01，每次采样数量具有一定随机性，可以是8，也可以是11，但多次采样的均值在10附近，如9.5-10.5之间。在一个具体例子中，可以以预定采样概率对各个训练样本进行采样，满足预定条件的样本被采样到。假设样本总量m为1000，预定采样数量期望n为10，则采样概率p可以为n/m＝0.01。在采样过程中，可以生成预定范围的随机数，其中采样范围在预定范围内的比例与采样数量在样本总量中的比例n：m一致，如为10:1000。作为一个例子，例如生成的随机数范围为0-1，采样范围为0-0.01，则针对一个样本生成的随机数范围在0.01之间时，样本被采样到，否则样本不被采样到。如此，针对每个样本生成一个随机数，样本数量越多，采样比例接近期望比例。而对于单个批次的样本采样来说，最终采样到的样本数量是不确定的。
[0054]
如此，会因为采样的不确定性造成一部分隐私损失，经过采样过程，平衡函数f经由采样算子c
p
作用放大隐私损失变成c
p
(f)。其中，p为采样概率(例如前文p＝n/m)，采样算子c
p
表示线性泛函在某个函数上的映射，在作用于函数f的情况下，例如为：
[0055][0056]
也就是说，f-dp框架中的采样机制的隐私界限是由作用于权衡函数的采样算子给出的。f
p
定义了一个0≤p≤1在没有隐私损失的理想情况下的凸函数组合，f
p
：＝pf+(1-p)id。其中，根据f的定义，此时id(x)＝1-x。p是区间[0，1]上的数，在这里可以保持与前文的采样概率一致。*表示取函数的共轭函数，**表示连取两次共轭函数。在本说明书中，平衡函数f
p
可以取g
μ
。为f
p
的反函数。在区间[0,1]上，反函数例如可以定义为：f-1
(α)：＝inf{t∈[0，1]：f(t)≤α}。在中，自变量为p。通俗地说，反函数其实是一个映射，在自变量和因变量之间建立映射。另外，inf表示取下确界。也就是说，以上反函数表示在0-1之间确定最小t值，使得f(t)小于等于α成立。
[0057]
在高斯差分隐私空间，如果每次添加噪声时采用的高斯机制的标准差为σ，则平衡函数还可以是与σ相关的函数。平衡函数为g
1/σ
的情况下，满足g
1/σ-dp，采样算子作用的隐私损失为c
p
(g
1/σ
)。
[0058]
可以理解，每次迭代的隐私损失都由泛函c
p
作用在平衡函数g
μ
上确定，因此隐私损失还可以与当前已迭代次数相关。第t次迭代为泛函c
p
作用在平衡函数g
μ
上作用t次的结果。例如为：如此，即为考虑采样过程和迭代过程的复合的隐私损失。其中，fi＝g
1/σ
，i为1-t之间的整数。
[0059]
如此，为了在高斯隐私空间衡量隐私损失，问题关键在于，如何刻画经过采样和迭代这两个过程复合的隐私损失在高斯隐私空间，用于描述隐私损失例如可以被两个高斯分布限定为：根据中心极限定理，在周期数t趋于无穷大的情况下，隐私损失趋近于一个高斯分布。然而，实际情况下，迭代周期t通常不会趋于无穷大，而当其足够大(即达到一定阈值，如为5000)时，即可以满足中心极限定理的要求。
[0060]
为此，可以假定一个总迭代周期数为t0(n＝t0)，来刻画高斯隐私空间的复合的隐私损失。在采样概率p和迭代周期t0为常数的情况下，也是常数，令则v为常数(或者认为是超参数)。在复合的梯度损失在对偶空间上一致地逼近gu的情况下，结合g
μ
(α)＝φ(φ-1
(1-α)-μ)，利用中心极限定理，得到隐私参数μ和在每次迭代过程中添加的高斯噪声满足以下关系：
[0061][0062]
其中，μ为高斯差分隐私空间内的隐私损失衡量参数，σ2为高斯噪声的方差。在实际的计算中，可以根据采样概率p和迭代步数t0得到一个超参数ν，在根据公式(2)确定高斯差分隐私空间中的隐私参数μ，即训练到最后一步t时消耗的隐私。
[0063]
这样，结合公式(1)描述的高斯差分隐私和(ε，δ)差分隐私之间形成的对偶关系中的参数关联关系和公式(2)在高斯差分隐私空间中用于衡量累积隐私损失的第一参数μ与所添加的高斯噪声的第一方差σ2之间满足的关系，可以建立(ε，δ)差分隐私与所添加高斯噪声的第一方差σ2之间的关联。
[0064]
于是：一方面，对于给定的总的隐私预算ε、δ，通过公式(1)得到μ，再经由公式(2)可以确定迭代过程中单个轮次为梯度添加噪声的高斯机制下的标准差σ(均值为0)；另一方面，根据各个轮次为梯度添加噪声的高斯机制下的标准差σ，经由公式(2)得到μ，然后在δ固定的情况下，可以利用公式(1)推测确定隐私损失的累积误差ε。如此，通过以上的公式(1)和公式(2)，经由(ε，δ)差分隐私空间的对偶空间即高斯差分隐私空间的参数μ，可以建立为梯度添加噪声的方差σ2与差分隐私的隐私因子ε、δ之间的关联关系。从而，为联邦学习过程中，各个训练成员对为本地数据添加的隐私提供衡量依据。
[0065]
下面结合具体实施例详细描述本说明书的技术构思。
[0066]
图2示出一个实施例的更新模型的流程。图2示出的流程的执行主体可以是具有一定计算能力的计算机、设备或服务器，具体而言，例如是联邦学习过程中的单个训练成员。该流程用于基于对数据由添加噪声累积的隐私损失的衡量，更好地提高模型性能。值得说明的是，图2示出的实施例可以应用于联邦学习场景，也可以应用于任意其他在模型训练过程中需要添加噪声的场景，在此不做限定。在联邦学习场景下，该流程可以用于单个数据方的隐私损失衡量。
[0067]
如图2所示，该流程包括：步骤201，通过基于采样概率进行采样的第一采样方式，获取当前批次的若干条训练样本；步骤202，利用业务模型处理若干条训练样本，从而得到业务模型的r个待定参数对应的第一梯度数据；步骤203，为第一梯度数据添加符合高斯差分隐私的第一高斯噪声，得到第二梯度数据以用于r个待定参数的更新，其中，第一高斯噪声满足方差为第一方差σ2的高斯分布；步骤204，基于第一采样方式在各个训练周期的隐私累积作用，利用第一关系确定添加第一高斯噪声后在高斯差分隐私空间中用于衡量当前累积隐私损失的第一参数μ，其中，第一关系为第一方差σ2与所述第一参数μ之间在基于周期数的复合损失的中心极限定理下满足的关系；步骤205，利用高斯差分隐私和(ε，δ)差分隐私之间的第二关系，将第一参数μ转换为(ε，δ)差分隐私空间中用于衡量当前累积隐私损失的第二参数ε，从而，在第二参数ε满足预定条件的情况下，停止训练模型。
[0068]
首先，在步骤201中，通过基于采样概率进行采样的第一采样方式，获取当前批次的若干条训练样本。在本说明书的实施架构中，采用带有随机性的方式从训练样本中获取当前批次的训练样本。训练样本可以是预先采集的各条业务数据，单条训练样本例如是针对单个用户的与金融相关的业务数据(如收入、历史借贷数据)等。这种随机方式是基于一定采样概率从训练样本集中采样，从而各个样本被采样到的采样结果具有随机性，单批次采样的样本数量具有随机性。
[0069]
例如，基于采样概率进行采样的第一采样方式可以是泊松采样。具体地，可以基于采样概率p对样本集中的各个训练样本进行采样，从而得到当前批次的训练样本。在一个实施例中，采样概率p可以是固定值，例如前文描述的n/m。在另一个实施例中，采样概率p也可以是非固定值，例如与当前迭代周期数t负相关，如为1/t
1/2
的整数倍(如100倍)等。可以理解的是，在泊松采样情形下，单个批次实际采样结果得到的训练样本数量可以是不确定的，例如当前周期采样到的训练样本数量为j，而多次采样的样本数量期望为预定值，如10等。
[0070]
然后，通过步骤202，利用业务模型处理若干条训练样本，从而得到业务模型的r个待定参数对应的第一梯度数据。可以理解，业务模型可以是神经网络、回归模型等各种可以通过梯度更新待定参数的机器学习模型。业务模型可以是完整的机器学习模型，也可以是
机器学习模型的一部分。r为业务模型中待定参数的数量，通常为正整数。在模型训练过程中，业务模型对训练样本(业务数据)的处理结果可以为相应的预测结果，例如对用户金融风险性的预测结果等。
[0071]
业务模型可以分别处理通过步骤201选定的各条训练样本。针对单条训练样本，可以根据业务模型的处理结果确定模型损失，进而得到模型损失针对各个待定参数的梯度。这样，针对j条训练样本，可以确定j次各个待定参数的梯度。此时，第一梯度数据可以是j
×
r维矩阵数据。实践中，还可以针对多条训练样本确定总的模型损失，从而确定相应的梯度数据。在利用j条训练样本确定总的模型损失的情况下，第一梯度数据可以是r维向量数据，或者说是1
×
r维矩阵数据。总而言之，第一梯度数据可以具有(1～j)
×
r维矩阵数据。
[0072]
接着，经由步骤203，为第一梯度数据添加符合高斯差分隐私的第一高斯噪声，得到第二梯度数据以用于r个待定参数的更新。可以理解，为了保护当前执行主体的数据隐私，可以为第一梯度数据添加噪声。高斯噪声是由均值和方差决定的正态分布数据，由于均值为0时，多次噪声可以相互抵消等原因，在数据噪声中较受欢迎。因此，实践中通常通过方差决定添加的噪声分布，从而实现高斯机制的差分隐私。也就是说，通常可以添加满足均值为0、方差为第一方差σ2的高斯分布的噪声，所添加的噪声例如对应称为第一高斯噪声。
[0073]
在一个可能的设计中，第一方差σ2可以是一个预定数值。此时，该预定数值可以是一个经验值，或者试验过程中按照一定方式(如从0按照预定幅度依次增加等方式)设定的测试值，等等。可选地，第一方差σ2可以是0-1之间的数值，如0.09等。
[0074]
在另一个可能的设计中，第一方差σ2的设置还可以考虑敏感度。在差分隐私领域，对任意一个数据集，改变数据集中的一项，这个函数的输出所发生的变化的最大值，称为差分隐私的敏感度。在考虑隐私敏感度s的情况下，高斯噪声的方差例如还可以为预设的参考方差σ0与敏感度s平方的乘积。例如，第一高斯噪声可以是满足均值为0、第一方差σ2为σ
02
s2的高斯分布，其中，参考方差σ0可以为预设值，s为针对第一梯度数据确定的当前梯度空间的第一敏感度。特别地，在敏感度s取1的情况下，σ2与σ
02
一致，和不考虑敏感度的情形一致。
[0075]
根据敏感度的定义，在一个实施例中，可以令第一敏感度s与第一梯度数据中梯度数据二范数的上界正相关，与当前批次所包含的样本数量负相关。例如在第一梯度数据j
×
r维矩阵数据的情况下，可以针对j条梯度数据分别确定其二范数，并将j个二范数中的最大值作为上界，第一敏感度s与该上界正相关，而与当前批次所包含的样本数量j负相关。
[0076]
在另一个实施例中，为了使得敏感度可控，可以使用一个预设的常数c(如为2)对梯度的二范数进行裁剪，使得这样，敏感度s可以为2c
×
j/m。其中，j为当前周期采集到的样本数量，m为本地的样本数量之和。
[0077]
在其他实施例中，还可以通过其他方式确定敏感度，在此不再赘述。总之，基于敏感度可以确定高斯机制下的噪声的分布，如为均值为0、方差与s2相关的高斯分布。按照该噪声分布生成与第一梯度数据维度一致的第一高斯噪声。
[0078]
第一高斯噪声和第一梯度数据叠加，可以得到差分隐私机制下的梯度数据，这里称之为第二梯度数据。第二梯度数据可以用于更新r个待定参数。更新过程可以采用梯度下降法、牛顿法等进行。以梯度下降法为例，单个待定参数wi可以被更新为w
i-λg
wi
＇，其中λ为预定步长，g
wi
＇表示参数在第二梯度数据中的梯度。根据前文的描述可知，第一梯度数据中针对单个待定参数可以以包含一个或多个梯度值，为了确定当前周期更新各个待定参数所
使用的梯度值，可以根据具体业务需求处理第二梯度数据。例如，在第一梯度数据针对单个待定参数包含一个梯度值的情况下，可以利用第二梯度数据中添加噪声后的相应梯度值(g
wi
＇)更新相应待定参数。而在第一梯度数据针对单个待定参数包含多个梯度值的情况下，可以利用第二梯度数据中添加噪声后的相应多个梯度值的平均值(g
wi
＇)更新相应待定参数。在联邦学习的业务场景下，还可以将第二梯度数据提供值第三方，以供第三方将各个训练成员的梯度数据同步聚合后，返回同步聚合后r个待定参数分别对应r个梯度值，以更新模型的r个待定参数。在更多业务场景下，还可以有其他利用第二梯度数据更新待定参数的方式，在此不再一一赘述。
[0079]
在本步骤203，更多关注当前添加的第一高斯噪声。该第一高斯噪声和步骤201中的基于采样概率的第一采样方式进行的采样对数据集构成复合的隐私损失。为了衡量这种隐私损失，本说明书通过高斯隐私空间中的衡量参数作为中间媒介，通过与(ε，δ)差分隐私空间的参数转换，得到隐私损失的累计结果。
[0080]
进一步地，在步骤204，基于第一采样方式在各个训练周期的隐私累积作用，利用第一关系确定添加第一高斯噪声后在高斯差分隐私空间中用于衡量当前累积隐私损失的第一参数μ。根据前文的原理描述，第一采样方式的采样算子可以记为c
p
。采样算子作用于平衡函数，可以累积一个迭代周期的隐私损失。在第t个迭代周期，采样算子在平衡函数作用t次。
[0081]
根据前文描述的原理，在单个迭代周期添加均值为0、方差为σ2的高斯分布噪声的情况下，平衡函数为g
1/σ
。令则根据中心极限定理，当前累积隐私损失的第一参数μ与σ之间存在如公式(2)所描述的第一关系。因此，在已知σ的情况下，可以根据公式(2)所描述的第一关系确定第一参数μ。
[0082]
另外，在步骤205中，利用高斯差分隐私和(ε，δ)差分隐私之间的第二关系，将第一参数μ转换为(ε，δ)差分隐私空间中用于衡量当前累积隐私损失的第二参数ε。根据前文的原理描述可知，高斯差分隐私空间衡量当前累积隐私损失的第一参数μ与(ε，δ)差分隐私空间内衡量当前累积隐私损失的第二参数ε存在公式(1)所描述的第二关系。在差分隐私中，通常给定隐私预算δ。如此，在确定第一参数μ的情况下，可以根据公式(1)所描述的高斯差分隐私空间与(ε，δ)差分隐私空间的隐私参数的第二关系，确定第二参数ε。根据前文第二参数ε的定义可知，ε可以用于衡量误差，也就是隐私损失。
[0083]
如此，经由步骤204和步骤205，借助高斯差分隐私空间内的参数μ作为媒介，可以利用所添加的高斯噪声的第一方差，确定(ε，δ)差分隐私下的隐私量的衡量，从而准确有效地衡量为梯度添加噪声后造成的隐私损失。
[0084]
更进一步地，在检测到第二参数ε满足预定条件的情况下，可以停止模型更新，从而避免损失超出隐私预算而降低模型的隐私保护程度。例如在一个实施例中，这里的预定条件可以是第二参数ε达到预定的隐私阈值。在第二参数ε通过多个迭代周期的累积逐渐接近预定误差的情况下，ε迭代达到隐私阈值，则可以在当前周期结束后停止迭代，以免ε超过预定隐私阈值。另外，如果第二参数ε直接大于隐私阈值，则本次增加的误差超过预算，可以终止当前周期，从而结束模型训练。在其他实施例中，预定条件还可以包括其他情形，例如迭代周期数大于预定周期数等，在此不再赘述。
[0085]
这样，通过对隐私损失的准确衡量，可以控制模型训练过程中为了保护数据隐私
添加噪声导致的隐私损失，确保模型的可用性。
[0086]
图3给出根据另一个实施例的模型训练过程。在该过程中，利用给定的(ε，δ)差分隐私空间的隐私预算ε、δ，对每个更新周期为保护数据隐私在梯度上添加的高斯隐私的噪声分布提供指导。图3示出的流程的执行主体可以是具有一定计算能力的计算机、设备或服务器。在联邦学习业务场景下，该流程的执行主体可以为任一个训练成员，如图1中的训练成员1至训练成员4之一等。
[0087]
如图3所示，该流程包括：步骤301，通过基于采样概率进行采样的第一采样方式获取当前批次的若干条训练样本；步骤302，利用业务模型处理若干条训练样本，从而得到业务模型的r个待定参数对应的第一梯度数据；步骤303，为第一梯度数据添加符合高斯差分隐私的第一高斯噪声，得到第二梯度数据，其中，第一高斯噪声满足方差为第一方差σ2的高斯分布，σ2通过给定的隐私预算ε、δ经由以下关系确定：第一方差σ2与高斯差分隐私的第一参数μ之间在基于周期数的复合损失的中心极限定理下满足的第一关系，以及高斯差分隐私和(ε，δ)差分隐私之间形成的、用于描述第一参数μ和(ε，δ)差分隐私空间内的第二参数ε的第二关系；步骤304，基于第二梯度数据更新r个待定参数。
[0088]
与图2示出的实施例不同的是，图2的实施例通过差分隐私的高斯机制添加噪声，并衡量所添加的噪声经过多个周期后在(ε，δ)差分隐私空间累积的隐私损失，而图3示出的实施例通过预先给定(ε，δ)差分隐私空间的隐私预算，反向确定各个迭代周期为梯度数据添加的符合高斯差分隐私的噪声的量化标准。
[0089]
其中，步骤301和步骤302分别与步骤201、步骤202类似，在此不再赘述。在步骤303中，为第一梯度数据添加第一高斯噪声，得到第二梯度数据。特别地，第一高斯噪声满足均值为0、方差为第一方差σ2的高斯分布。其中，σ2通过给定的隐私预算ε、δ经由公式(1)描述的第二关系和公式(2)描述的第一关系确定。具体地：利用公式(1)和给定的隐私预算ε、δ，可以确定与高斯差分隐私空间中衡量累积隐私损失的第一参数μ；利用第一参数μ和公式(2)可以确定但系添加的符合高斯差分隐私的高斯噪声所依赖的第一方差σ2。
[0090]
在一些可选的实现方式中，还可以考虑数据集(如第一梯度数据)的敏感度s。s可以是常数值，也可以根据第一梯度数据确定。在敏感度s是常数值(例如为1)的情况下，公式(2)描述的第一关系仅涉及未知量σ与第一参数μ，则可以预先根据第一关系、第二关系和给定的(ε、δ)确定公式(2)中的σ，此时，每个训练周期添加的高斯噪声满足的分布可以一致。在敏感度s根据第一梯度数据确定的情况下，敏感度s的确定方式如前文所述，根据第一关系和第二关系可以确定高斯噪声满足的分布中的σ与s的乘积(即公式2中的σ)。此时，从理论上说，s在各个迭代周期可以有不同的值，从而，在每个周期根据当前批次的第一梯度数据确定s，然后经由第一关系、第二关系和给定的(ε、δ)确定当前周期要添加的高斯噪声所满足的分布(如第一方差为基于公式(2)确定的方差σ2除以敏感度s的平方)。
[0091]
步骤304，基于第二梯度数据更新r个待定参数。可以理解，对r个待定参数的更新可以采用梯度下降法、牛顿法等各种机遇梯度的更新方法。根据具体业务场景，当前执行主体可以直接利用第二梯度数据更新r个待定参数，也可以将第二梯度数据发送至第三方与其他参与方进行数据同步后，利用同步的梯度数据更新r个待定参数，在此不做限定。
[0092]
在图3示出的流程中，由于单次添加的噪声由给定的隐私预算确定，因此，可以按照设定的迭代周期数合理添加噪声，将隐私损失控制在期望的范围内。
[0093]
回顾以上过程，本说明书实施例提供的方法，利用高斯差分隐私和(ε，δ)差分隐私之间形成的对偶关系，以及在训练周期达到一定阈值的极限情况下高斯差分隐私空间中用于衡量累积隐私损失的第一参数μ与所添加的高斯噪声的第一方差σ2之间满足的关系，建立(ε，δ)差分隐私与所添加高斯噪声的第一方差σ2之间的关联。从而，一方面，如图2示出的实施例，可以根据高斯机制中的参数确定多次迭代累积的隐私损失，对模型性能进行衡量和管控，另一方面，如图3示出的实施例，根据给定的隐私预算，反向推导单次迭代过程中应该添加的高斯噪声的第一方差σ2，以加入适当的噪声。如此，可以在维护数据隐私的同时，维持模型的可用性。特别地，在联邦学习过程中，可以在隐私损失可控的情况下，有效保护各方数据隐私。
[0094]
在现阶段大规模的机器学习和深度学习中，训练数据和模型规模数以兆记，传统的隐私度量机制不能满足大规模机器学习中的应用，过大的迭代次数可能引起隐私度量的爆炸。本说明书提供的基于对偶空间高斯差分隐私的度量机制，在同样的隐私限制下，通过精细设计的隐私度量规则，得到一个较小的噪音量，加在数据集上，从而达到保护隐私和维持模型可用性的双重目的。经试验证明，本说明书提供的方案优于google提出的moment accountant方法和学术界提出的reni dp等方法。为了明确本说明书提供的技术方案的效果，以下通过表1给出实验结果。
[0095]
表1模型准确性对比
[0096][0097]
表1的实验结果来自联邦学习过程中，对隐私预算设定阈值的情况下，采用不同的隐私衡量方法，业务模型所达到的准确度。其中，第一组数据没有设定隐私损失阈值，第二组数据和第三组数据分别设定了不同的隐私损失阈值。其中，“methods”对应的列为所采用的方法，“fedavg”和“lg-fedavg”为常规方案，“fedmtl”表示本说明书提供的方案(如采用图2示出的实施例)，“femnist”和“har”为两个实验数据集，百分数为模型准确率。从表1可以看出，采用本说明书技术构思下的技术方案，模型性能得到显著提升。
[0098]
根据另一方面的实施例，还提供一种基于隐私保护的模型训练装置，用于训练预先确定的业务模型。其中，对于给定的差分隐私在高斯机制下添加噪声的参数，可以衡量累积隐私损失，从而避免降低模型性能。图4示出了一个实施例的基于隐私保护的模型训练装置400。如图4所示，装置400包括：
[0099]
采样单元41，配置为通过基于采样概率进行采样的第一采样方式获取当前批次的若干条训练样本；
[0100]
处理单元42，配置为利用业务模型处理若干条训练样本，从而得到业务模型的r个待定参数对应的第一梯度数据；
[0101]
加噪单元43，配置为为第一梯度数据添加符合高斯差分隐私的第一高斯噪声，得到第二梯度数据以用于r个待定参数的更新，第一高斯噪声满足由第一方差σ2确定的高斯分布；
[0102]
累积单元44，配置为基于第一采样方式在各个训练周期的隐私累积作用，利用第一关系确定添加第一高斯噪声后在高斯差分隐私空间中用于衡量当前累积隐私损失的第一参数μ，其中，第一关系为第一方差σ2与第一参数μ之间在基于周期数的复合损失的中心极限定理下满足的关系；
[0103]
转换单元45，配置为利用高斯差分隐私和(ε，δ)差分隐私之间的第二关系，将第一参数μ转换为(ε，δ)差分隐私空间内衡量当前累积隐私损失的第二参数ε，从而，在第二参数ε满足预定条件的情况下，停止模型更新。
[0104]
根据另一方面的实施例，还提供一种基于隐私保护的模型训练装置，用于训练预先确定的业务模型。其中，在模型训练过程中，对于给定的隐私预算，可以经由对偶空间的参数转换，确定单个迭代周期为数据添加的噪声的量。图5示出了一个实施例的基于隐私保护的模型训练装置500。如图5所示，装置500包括：
[0105]
采样单元51，配置为通过基于采样概率进行采样的第一采样方式获取当前批次的若干条训练样本；
[0106]
处理单元52，配置为利用业务模型处理若干条训练样本，从而得到业务模型的n个待定参数对应的第一梯度数据；
[0107]
加噪单元53，配置为为第一梯度数据添加符合高斯差分隐私的第一高斯噪声，得到第二梯度数据，其中，第一高斯噪声满足由第一方差σ2确定的高斯分布，σ2通过给定的隐私预算ε、δ经由以下第一关系和第二关系确定：第一方差σ2与高斯差分隐私的第一参数μ之间在基于周期数的复合损失的中心极限定理下满足的第一关系，以及高斯差分隐私和(ε，δ)差分隐私之间形成的、用于描述第一参数μ和(ε，δ)差分隐私空间内的第二参数ε的第二关系；
[0108]
更新单元54，配置为基于第二梯度数据更新n个待定参数。
[0109]
值得说明的是，图4、图5所示的装置400、500分别与图2、图3描述的方法相对应，图2、图3的方法实施例中的相应描述同样分别适用于装置400、500，在此不再赘述。
[0110]
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图2、图3等所描述的方法。
[0111]
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图2、图3等所描述的方法。
[0112]
本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
[0113]
以上所述的具体实施方式，对本说明书的技术构思的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书的技术构思的具体实施方式而已，并不用于限定本说明书的技术构思的保护范围，凡在本说明书实施例的技术方案
的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书的技术构思的保护范围之内。