针对业务模型的纵向联邦学习方法及装置与流程

1.本说明书一个或多个实施例涉及安全计算技术领域，尤其涉及针对业务模型的纵向 联邦学习方法及装置。


背景技术：

2.随着深度学习的飞速发展，人工智能技术正在几乎每个行业中展示其优势。然而大 数据驱动的人工智能在现实情况中存在很多困难。例如数据孤岛现象严重，利用率低且成 本一直居高不下。一些行业的单一训练成员还可能存在数据有限或数据质量较差的问题。 另外，由于行业竞争，隐私安全和复杂的管理程序，即使同一公司的不同部门之间的数据 集成也可能面临着巨大的阻力，数据整合成本较高。
3.联邦学习正是在这样的背景下提出的。联邦学习是一种基于分布式机器学习的框架， 主要思想是基于分布在多个设备上的数据集构建机器学习模型，同时防止数据泄露。在这 种框架下，客户端(例如移动设备)在中央服务器的协调下协作地训练模型，同时训练数 据可保留在客户端本地，无需像传统机器学习方法将数据上传至数据中心。如此，训练成 员在将本地数据上传至服务器之前，需要对数据进行一些处理。那么，训练成员的数据在 上传至服务器的情况下，如何保护数据隐私，避免根据上传的数据反向推断本地数据，在 联邦学习过程中具有重要意义。


技术实现要素：

4.本说明书一个或多个实施例描述了一种针对业务模型的纵向联邦学习方法及装置， 用以解决背景技术提到的一个或多个问题。
5.根据第一方面，提供一种针对业务模型的纵向联邦学习方法，所述业务模型包括设于 服务方的全局模型和设于第一训练成员的第一局部模型，所述方法由所述第一训练成员执 行，包括：经由本地的第一局部模型对当前批次的若干条训练样本的第一特征数据进行处 理，得到第一中间张量；针对所述第一中间张量进行基于预设的第一裁剪阈值的裁剪操作， 形成第一规约张量；在所述第一规约张量上添加符合差分隐私的第一目标噪声，得到第一 发布张量以提供给所述服务方，使得所述服务方通过所述全局模型处理所述第一发布张量， 从而进行所述全局模型和所述第一局部模型的训练。
6.在一个实施例中，所述于预设的第一裁剪阈值的裁剪操作包括：若所述第一中间张量 的当前范数值超过所述第一裁剪阈值，确定所述第一裁剪阈值与所述当前范数值的比例， 将所述第一中间张量按照所述比例进行裁剪。
7.在一个实施例中，所述第一裁剪阈值通过以下之一的方式确定：从候选阈值集中选择； 取历史周期中确定的历史中间张量或历史针对中间张量的发布张量的平均值；取历史周期 中确定的历史中间张量或历史针对中间张量的发布张量的中位数。
8.在一个实施例中，所述在所述第一规约张量上添加符合差分隐私的第一目标噪声包括： 获取基于预定的隐私预算确定的噪声因子；利用所述噪声因子和所述第一裁剪阈
值，确定 第一噪声参数；基于所述第一噪声参数定义的第一噪声分布，采样所述第一目标噪声。
9.在一个实施例中，所述第一噪声分布为高斯分布，所述第一噪声参数为所述高斯分布 对应的第一方差。
10.在一个实施例中，所述第一方差与所述噪声因子乘以所述第一裁剪阈值的乘积绝对值 正相关。
11.在一个实施例中，所述第一训练成员还持有当前批次的若干条训练样本的第一标签数 据，所述第一标签数据对应有第一标签张量，所述方法还包括：在所述第一标签张量上添 加符合差分隐私的第二目标噪声，得到第二发布张量以提供给所述服务方，使得所述服务 方确定所述全局模型的输出结果与所述第二发布张量的对比结果，用于所述全局模型和所 述第一局部模型的训练。
12.在一个实施例中，所述在所述第一标签张量上添加符合差分隐私的第二目标噪声包括： 获取基于预定的隐私预算确定的噪声因子；利用所述噪声因子和所述第一标签张量的范数， 确定第二噪声参数；基于所述第二噪声参数定义的第二噪声分布，采样所述第二目标噪声。
13.在一个实施例中，所述第一标签张量为针对多个业务目标的多维张量，单个业务目标 对应着单个标签向量，所述在所述第一标签张量上添加符合差分隐私的第二目标噪声，得 到第二发布张量，包括：针对各个业务目标对应的各个标签向量，分别添加符合差分隐私 的各个目标噪声，得到各个发布向量；基于各个发布向量确定第二发布张量。
14.在一个实施例中，针对单个业务目标对应的单个标签向量，相应的单个目标噪声通过 以下方式确定：针对所述单个标签向量进行基于预设的单个裁剪阈值的裁剪操作，形成单 个规约向量；将相应的单个目标噪声添加到所述单个规约向量，形成单个发布张量。
15.在一个实施例中，所述单个裁剪阈值通过以下中的一种方式确定：与所述第一裁剪阈 值一致；从候选阈值集中选择；取所述单个标签向量中各元素的平均值；取所述单个标签 向量中各元素的中位数。
16.在一个实施例中，单个目标噪声符合高斯分布，单个目标噪声对应的单个噪声参数为 高斯分布的单个方差，所述单个方差根据所述单个裁剪阈值与基于预定的隐私预算确定的 噪声因子确定。
17.根据第二方面，提供一种针对业务模型的纵向联邦学习装置，所述业务模型包括设于 服务方的全局模型和设于第一训练成员的第一局部模型，所述装置设于所述第一训练成员， 包括：
18.处理单元，配置为经由本地的第一局部模型对本地当前批次的若干条训练样本的第一 特征数据进行处理，得到第一中间张量；
19.裁剪单元，配置为针对所述第一中间张量进行基于预设的第一裁剪阈值的裁剪操作， 形成第一规约张量；
20.发布单元，配置为在所述第一规约张量上添加符合差分隐私的第一目标噪声，得到第 一发布张量以提供给所述服务方，使得所述服务方通过所述全局模型处理所述第一发布张 量，从而进行所述全局模型和所述第一局部模型的训练。
21.根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述
计 算机程序在计算机中执行时，令计算机执行第一方面的方法。
22.根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储 器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。
23.通过本说明书实施例提供的方法和装置，在纵向联邦学习过程中，单个训练成员关 于训练样本的数据向服务方发布之前，先进行裁剪和添加满足差分隐私的噪声。裁剪可以 对数据进行初步的模糊化，有利于保护数据隐私，满足差分隐私的噪声可以在预定隐私预 算下添加可控噪声，确保结果的准确性。由于这种方式可以有效保护数据隐私，且隐私损 失可控，从而可以提高有中心的纵向联邦学习的隐私性和准确性，避免冗余运算，提高业 务模型的学习效率。
附图说明
24.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的 附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本 领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的 附图。
25.图1示出根据一个实施例的针对业务模型的纵向联邦学习方法流程图
26.图2示出纵向联邦学习的一个是业务模型架构示意图；
27.图3示出根据一个实施例的针对业务模型的纵向联邦学习装置的示意性框图。
具体实施方式
28.下面结合附图，对本说明书提供的技术方案进行描述。
29.首先描述本说明书中可能涉及的一些概念。
30.联邦学习(federated learning)，又可以称为联邦机器学习、联合学习、联盟学习等。联 邦机器学习是一个机器学习框架，能有效帮助多个机构在满足用户隐私保护、数据安全和 政府法规的要求下，进行数据使用和机器学习建模。
31.具体地，假设企业a、企业b各自建立一个任务模型，单个任务可以是分类或预测， 而这些任务也已经在获得数据时由各自用户的认可。然而，由于数据不完整，例如企业a 缺少标签数据、企业b缺少用户特征数据，或者数据不充分，样本量不足以建立好的模 型，那么在各端的模型有可能无法建立或效果并不理想。联邦学习要解决的问题是如何在 a和b各端建立高质量的模型，该模型的训练兼用a和b等各个企业的数据，并且各个 企业的自有数据不被其他方知晓，即在不违反数据隐私法规情况下，建立一个共有模型。 这个共有模型就好像各方把数据聚合在一起建立的最优模型一样。这样，建好的模型在各 方的区域仅为自有的目标服务。
32.联邦学习的各个机构可以称为训练成员。各个训练成员分别可以持有不同的业务数据， 还可以通过设备、计算机、服务器等参与业务模型的联合训练。这里的业务数据例如可以 是字符、图片、语音、动画、视频等各种数据。通常，各个训练成员持有的业务数据具有 相关性，各个训练成员对应的业务方也可以具有相关性。例如，涉及金融业务的多个业务 方中，业务方1为银行，为用户提供储蓄、贷款等业务，可以持有用户的年龄、性别、收 支流水、贷款额度、存款额度等数据，业务方2可以持有用户的借贷记录、投资记录、还 款时效等
数据，业务方3为购物网站，持有用户的购物习惯、付款习惯、付款账户等数据。 再例如，涉及医疗业务的多个业务方中，各个业务方可以是各个医院、体检机构等，如业 务方1为医院a，对应用户年龄、性别、症状、诊断结果、治疗方案、治疗结果等等诊疗 记录作为本地业务数据，业务方2可以为体检机构b，对应用户年龄、性别、症状、体检 结论等等的体检记录数据，等等。单个训练成员可以持有一个业务的业务数据，也可以持 有多个业务方的业务数据。联邦学习的目的是训练一个可以更好地处理这些业务数据的模 型，因此联邦学习的模型也可以称为业务模型。
33.联邦学习分为横向联邦学习和纵向联邦学习。横向联邦学习中，不同训练成员的样本 集合中样本的特征重合较高，但是样本来源不一样。例如，多个样本集合对应着不同银行 的客户。一般银行管理的数据特征都是相似的，但是客户是不同的，这样就可以采用横向 联邦学习的方式训练模型。纵向联邦学习中不同数据集id重合较高(比如用户身份证号或 电话号码等记录一致)，但是特征不一样。例如面对的用户群体(如一个小县城的居民) 一致的一家银行和一家医院，银行和医院的样本中有大量人员重合度很高，但是特征不一 样，银行数据可能对应有存款、贷款等特征信息，医院数据可能对应生理指标、健康状况、 就诊记录等特征信息。联合银行、医院的数据集训练模型可以称之为纵向联邦学习。
34.对于垂直切分数据的纵向联邦学习场景，业务模型通常分为两部分，一部分是各个训 练成员持有的局部模型，用于处理本地的特征数据，得到中间结果，另一部分是全局模型， 用于处理各个训练成员的中间结果，得到最终输出结果。其中，纵向联邦学习场景中可以 由多个训练成员使用无中心的多方安全计算mpc架构，此时，全局模型可以分布在各个 训练成员，并由多个训练成员联合计算。这种方式通常算力消耗大、通信频繁、通信量大， 难以拓展到大规模非线性的运算中。纵向联邦学习场景中也可以采用有中心的第三方辅助 架构，第三方作为服务中心，也可以称为服务方。此时，全局模型可以设于服务方。各个 训练成员一方面要将特征数据处理后的中间数据提供给服务方，另一方面，持有标签数据 的训练成员需要将标签数据提供给服务方。训练成员向服务方提供的数据存在隐私泄露的 风险。
35.有鉴于此，本说明书基于纵向联邦学习场景的有中心的实施架构，提出一种基于差分 隐私的数据传递方案，训练成员将使用局部模型处理本地特征数据得到的中间结果利用差 分隐私机制添加噪声之后，发送至服务方。这样，可以减小垂直数据切分场景下对于算力 和通信的强依赖，实现轻量级的高效隐私保护垂直场景下的拆分学习。
36.下面参考图1示出的一个具体例子描述本说明书的技术构思。
37.如图1所示，是一个针对业务模型的纵向联邦学习流程。纵向联邦学习过程可以通过 服务方和多个训练成员共同实现。单个训练成员可以是持有训练样本的部分特征数据的任 何具有计算、处理能力的设备、平台或设备集群，例如实现某种业务的业务方。在可选的 实现中，单个训练成员还可以持有部分或全部标签数据。服务方可以是第三方或其他可信 业务方。
38.图2示出了纵向联邦学习场景的有中心的实施架构下的模型架构。纵向联邦学习中， 业务模型可以分为多个局部模型和全局模型，各个局部模型分布在各个训练成员中，全局 模型设在服务方。纵向联邦学习的业务模型可以是多层神经网络、线性回归等模型。如图 2所示，各个局部模型之间是并列的。单个训练成员可以通过局部模型处理当前训练
样本 在本地的特征数据，得到相应的中间结果并提供给服务方。服务方接收各个训练成员各自 发送的中间结果，并通过全局模型处理这些中间结果，从而得到全局输出。在业务模型是 多层神经网络的情况下，各个训练成员发送的各个中间结果可以在全局模型的第一层融合， 并经过后续各层的处理。对于持有标签数据的训练成员，还可以将标签数据提供给服务方， 以供服务方将全局输出和标签数据相比较，从而反向传递梯度，以进行全局模型和各个局 部模型的训练。
39.本说明书的实施例基于图2示出的架构进行改进，在单个训练成员向服务方提供中间 结果时，对中间结果进行基于差分隐私的加密处理，从而向服务方提供满足差分隐私的中 间结果，保护本地特征数据的隐私。在训练成员还持有标签数据的情况下，还可以对标签 数据进行基于差分隐私的加密处理，保护本地标签数据的隐私。
40.为了描述方便，将多个训练成员中的任一个训练成员称为第一训练成员，设于第一训 练成员的局部模型称为第一局部模型。则如图1所示，第一训练成员执行的针对业务模型 的纵向联邦学习流程可以包括：步骤101，经由本地的第一局部模型对本地当前批次的若 干条训练样本的第一特征数据进行处理，得到第一中间张量；步骤102，针对第一中间张 量进行基于预设的第一裁剪阈值的裁剪操作，形成第一规约张量；步骤103，在第一规约 张量上添加符合差分隐私的第一目标噪声，得到第一发布张量以提供给服务方，使得服务 方通过全局模型处理第一发布张量，从而进行全局模型和第一局部模型的训练。
41.首先，在步骤101中，经由本地的第一局部模型对当前批次的若干条训练样本的第一 特征数据进行处理，得到第一中间张量。可以理解，在纵向联邦学习场景下，第一训练成 员可以持有训练样本的第一特征数据。
42.第一特征数据可以包括一项或多项特征。第一特征数据可以预先从本地数据中提取。 例如，一条训练样本对应一个用户，第一训练成员持有的本地数据为用户的理财、贷款、 还贷数据，则可以从中提取理财类型、理财额度、理财收益、贷款频次、贷款数额、还贷 及时性等特征作为相应训练样本的第一特征数据。当前批次的训练样本可以包括一条或多 条训练样本。当前批次的训练样本可以由各个训练成员通过协商一致的基于隐私保护的方 式从本地数据集中采样，且各个训练成员的采样结果相互对齐。
43.第一训练成员可以通过本地的第一局部模型处理第一特征数据，处理结果记为第一中 间结果。第一中间结果通常以张量的形式描述，因此可以称为第一中间张量。第一中间张 量可以是一维张量(向量)、二维张量(矩阵)或其他张量形式，在此不做限定。
44.然后，通过步骤102，针对第一中间张量进行基于预设的第一裁剪阈值的裁剪操作， 形成第一规约张量。裁剪操作可以将第一中间张量限定在一定范围内，从而对第一中间张 量进行一定程度的模糊化。
45.这里，第一裁剪阈值用于描述针对第一中间张量限定的数值范围。实践中，可以通过 第一中间张量中的元素值或者第一中间张量的范数值与第一裁剪阈值进行比较，从而确定 是否对相应元素值进行裁剪。当第一中间张量中的元素值或者第一中间张量的范数值与第 一裁剪阈值相比，超出第一裁剪阈值所限定的范围时，对第一中间张量中的元素值进行裁 剪。在一个具体例子中，可以将第一裁剪阈值与第一中间张量的2范数相比较。例如，将 第一中间张量记为h，则对h执行裁剪操作可以表示为：
[0046][0047]
其中，h用于表示第一中间张量，c为第一裁剪阈值，‖.‖2表示二阶范数。该式表示， 在第一中间张量h的2范数‖h‖2大于第一裁剪阈值c的情况下，将第一中间张量h按照第 一裁剪阈值c与当前范数值‖h‖2的比例进行限缩(即裁剪)。裁剪操作相当于对第一中间 张量进行的一种规约，因此，可以将裁剪后的张量称为第一规约张量。
[0048]
实践中，还可以通过第一中间张量h的一阶范数或其他描述第一中间张量h的性质的 值，基于预定的裁剪阈值进行裁剪操作，在此不做限定。
[0049]
根据一个实施例，在差分隐私的隐私机制下，根据数据大小不同，裁剪阈值可以有一 些候选值，例如1、2、0.8等等。此时，第一裁剪阈值可以从候选阈值集中选择。例如， 第一中间张量的各个元素值90％在1以下，则可以将第一裁剪阈值选择为1。
[0050]
根据另一个实施例，第一裁剪阈值取第一训练成员在当前的纵向联邦学习中，历史周 期中确定的历史中间张量或针对历史中间张量的历史发布张量的平均值。例如，当前周期 为第n周期，则第一裁剪阈值可以为前n个周期的历史中间张量的平均值 c＝mean(||h1||2，
…
，||hn||2)。
[0051]
根据在一个实施例，第一裁剪阈值取第一训练成员在当前的纵向联邦学习中，历史周 期中确定的历史中间张量或针对历史中间张量的历史发布张量的中位数。例如，当前周期 为第n周期，第一裁剪阈值可以为前n个周期的历史中间张量的中位数，如c＝median(||h1||2，
…
，||hn||2)。
[0052]
在其他实施例中，还可以通过其他方式确定第一裁剪阈值，在此不做限定。值得说明 的是，各个训练成员可以使用统一的第一裁剪阈值，也可以各自根据本地数据特征确定适 合本地数据特点的裁剪阈值。
[0053]
接着，经由步骤103，在第一规约张量上添加符合差分隐私的第一目标噪声，得到第 一发布张量以提供给服务方。这样，可以使得服务方通过全局模型处理第一发布张量代替 处理第一中间张量，从而进行全局模型和第一局部模型的训练。
[0054]
差分隐私dp(differential privacy)是密码学中的一种手段，旨在提供一种当从统计 数据库查询时，最大化数据查询的准确性，同时最大限度减少识别其记录的机会。设有随 机算法m，pm为m所有可能的输出构成的集合。对于任意两个邻近数据集x和x＇(即 x和x＇仅有一条数据记录不同)以及pm的任何子集若随机算法m满足： 则称算法m提供ε-差分隐私保护，其中参数ε称为隐 私保护预算，用于平衡隐私保护程度和准确度。ε通常可以预先设定。ε越接近0，e
ε
越接 近1，随机算法对两个邻近数据集x和x＇的处理结果越接近，隐私保护程度越强。
[0055]
实践中，对以上严格的ε-差分隐私可以进行一定程度放宽，实现为(ε，δ)差分隐私， 即如下式所示：
[0056]
其中，δ为松弛项，又称为容忍度，可以理解为不能实现严格差分隐私的概率。
[0057]
差分隐私的实现方式包括，噪声机制、指数机制等。在噪声机制的情况下，一般根据 查询函数的敏感度，确定所添加噪声的幅度。上述敏感度表示，该查询函数在一对相邻数 据集x和x＇查询时其查询结果的最大差异。
[0058]
在如图1所示的实施例中，可以利用噪声机制实现差分隐私。在不同例子中，上述第 一目标噪声可以是满足ε-差分隐私的拉普拉斯噪声，或者满足(ε,δ)差分隐私的高斯噪 声，等等。目标噪声的确定和添加，可以有多种不同实现方式。以下以满足(ε,δ)差分 隐私的高斯噪声为例描述噪声添加过程。
[0059]
具体地，可以基于预设的隐私预算确定噪声因子。该噪声因子用于衡量当前加入噪声 的量。例如为，在(ε，δ)差分隐私的机制下：
[0060][0061]
根据该噪声因子的表达式可知，噪声因子由隐私保护预算ε和容忍度δ确定。在一次 纵向联邦学习过程中，给定隐私预算的情况下，s是确定。因此，噪声因子可以预先确定， 并作为超参数在各个训练成员中使用，并在各个更新周期反复使用。
[0062]
噪声因子s描述了当前添加噪声的量，从而有利于控制隐私成本。而基于第一裁剪阈 值的裁剪操作，对中间结果(第一中间张量)按照第一裁剪阈值进行了缩放，相应地，为 了更好地控制隐私成本，基于噪声因子s的噪声参数同样按照第一财建阈值进行缩放。因 此，可以考虑通过噪声因子s和第一裁剪阈值确定要添加的噪声参数。在高斯噪声中，例 如噪声满足的分布为高斯分布噪声参数可以包括均值0和方差σ2。
[0063]
可以理解，为了限制噪声的数值，高斯噪声的均值通常为0，通过噪声因子s和第一 裁剪阈值确定的噪声参数可以为高斯分布的方差σ2。对于第一中间张量来说，在确定出与 相应噪声参数(例如记为第一噪声参数)定义的噪声分布(例如记为第一噪声分布)的方 差σ2后，就可以在基于方差σ2形成的高斯分布中采样出随机噪声，将其叠加在第一中间张 量上，得到第一发布张量。
[0064]
作为一个具体示例，第一中间张量对应的第一噪声分布中的第一方差可以与噪声因子 s乘以第一裁剪阈值c的乘积的绝对值正相关，如为：σ
21
＝s2c2。第一噪声分布可以记为n (0，s2c2)。在高斯分布n(0，s2c2)下随机采样得到与第一中间张量尺寸相同的噪声张 量，作为第一噪声张量叠加到第一中间张量，得到对第一中间张量扰动后的第一发布张量。
[0065]
第一训练成员可以将第一发布张量提供给服务方。相似地，其他各个训练成员也可以 将本地局部模型处理当前批次训练样本的本地特征数据，得到的其他中间向量添加噪声的 到的其他发布张量提供给服务方。服务方通过全局模型处理各个发布张量，从而得到全局 输出。全局输出可以是对业务进行预测的预测结果，或者进行业务分类的分类结果等。
[0066]
可以理解，在有监督的机器学习中，通常使用样本标签对业务模型的输出结果进行监 督，通过样本标签与业务模型的输出结果的对比，由服务方调整全局模型的待定参数，各 个训练成员各自调整本地的局部模型的待定参数，使得业务模型的输出结果向样本标签靠 近，从而进行全局模型和局部模型的训练。
[0067]
纵向联邦学习中，标签数据通常被部分训练成员持有。单个样本标签可以描述单个业 务目标，例如描述分类到的目标类别，也可以描述多个业务目标，例如描述在各个目标类 别上的概率，或者针对样本主体(如用户)预测的排列靠前的多个目标类别，例如对用户 兴趣预测的业务模型中，业务模型的输出结果可以为用户感兴趣的排列前三的目标类别。 相应地，在描述单个业务目标的情况下，单个样本标签可以对应单个值，多条训练样本
的 标签构成一维张量(如向量)，在描述多个业务目标的情况下，单个样本标签对应一个一 维张量，多条训练样本的标签构成二维张量(如矩阵)。
[0068]
样本标签数据可以由一个或多个训练成员持有。持有样本标签数据的训练成员可以将 标签数据提供给服务方。考虑到直接提供标签可能造成本地数据的隐私泄露，训练成员可 以在提供标签数据之前，为标签数据添加符合差分隐私的噪声，从而保护数据隐私。下面 以第一训练成员为例，描述针对标签数据添加符合差分隐私的噪声的过程。
[0069]
假设第一训练成员还持有当前批次的若干条训练样本的第一标签数据，该第一标签数 据对应有第一标签张量。第一训练成员可以在第一标签张量上添加符合差分隐私的第二目 标噪声，得到第二发布张量以提供给服务方。可以理解，第一标签张量可以为一维张量， 也可以为二维张量。
[0070]
在一种可能的设计中，第一训练成员可以利用前文描述的噪声因子s，和第一标签张 量y的范数，确定第二噪声参数，然后基于第二噪声参数定义的第二噪声分布，采样第二 目标噪声。以高斯差分隐私为例，噪声参数可以包括均值和方差。为了方便控制噪声的大 小且不影响第一标签张量的分布，噪声参数均值仍然取0，方差与噪声因子s、第一标签张 量y的乘积绝对值正相关，如为：σ
22
＝s2y2。其中，y2可以表示第一标签张量的二阶范数， 例如为y
t
y。第一训练成员可以在高斯分布n(0，s2y2)中随机采样与第一标签张量尺寸 一致的噪声张量，并叠加到第一标签张量上，形成第二发布张量。
[0071]
在另一种可能的设计中，在为第一标签张量添加噪声之前，还可以对其执行裁剪操作， 以进行初步的模糊化。
[0072]
根据一个实施例，对第一标签张量的裁剪操作可以使用与第一中间张量类似的方法， 例如基于第二裁剪阈值对第一标签张量统一裁剪。其中，第二裁剪阈值的确定方式可以与 第一裁剪阈值类似，如通过以下方式确定：从候选阈值集中选择；取第一标签张量中各元 素的平均值；取单个标签向量中各元素的中位数。可选地，第二裁剪阈值还可以与第一裁 剪阈值一致。
[0073]
根据另一个实施例，在第一标签张量为二维张量的情况下，考虑到数据分布与业务目 标的相关性，各个业务目标的数据之间可能存在一定差距，对第一标签张量的裁剪操作可 以各个业务目标分别进行。具体地，针对各个业务目标中的单个标签向量，裁剪得到单个 规约向量，并添加符合差分隐私的单个目标噪声，得到单个发布向量。各个发布向量构成 第二发布张量。针对单个业务目标，第一训练成员可以进行基于预设的单个裁剪阈值的裁 剪操作，形成单个规约向量，然后将相应的单个目标噪声添加到单个规约向量，形成单个 发布张量。这里的单个裁剪阈值可以：与第一裁剪阈值一致、从候选阈值集中选择、取单 个标签向量中各元素的平均值，或者取单个标签向量中各元素的中位数。
[0074]
在其他实施例中，还可以通过其他方式对第一标签张量进行裁剪，在此不再赘述。完 成裁剪后，可以按照相应裁剪阈值确定差分隐私的噪声参数，基于噪声参数定义的噪声分 布，采样相应的目标噪声。在差分隐私高斯的机制下，噪声参数可以包括均值0和基于隐 私因子确定的方差。在对标签张量进行了裁剪的情况下，可以使用隐私因子及裁剪阈值， 定义相应高斯分布的方差。例如，在针对各个业务目标对应的各个标签向量分别裁剪的情 况下，单个标签向量对应的噪声参数中的方差与相应的单个裁剪阈值c＇相关，如为：σ
20
＝s
2 c＇2。
[0075]
这样，在满足总的隐私预算(ε，δ)的情况下，第一训练成员可以对本地的第一中间 处理结果，以及第一标签数据(若存在的情况下)，均添加噪声后进行发布，将纵向联邦 学习的隐私损失控制在(ε，δ)内。
[0076]
回顾以上过程，本说明书提供的技术构思，在纵向联邦学习过程中，单个训练成员关 于训练样本的数据向服务方发布之前，先进行裁剪和添加满足差分隐私的噪声。裁剪可以 对数据进行初步的模糊化，有利于保护数据隐私，满足差分隐私的噪声可以在预定隐私预 算下添加可控噪声，确保结果的准确性。由于这种方式可以有效保护数据隐私，且隐私损 失可控，从而可以提高有中心的纵向联邦学习的隐私性和准确性，避免冗余运算，提高业 务模型的学习效率。
[0077]
根据另一方面的实施例，还提供一种针对业务模型的纵向联邦学习装置。其中，进行 联合学习的业务模型可以包括设于服务方的全局模型和设于各个训练成员的各个局部模 型。其中，各个训练成员中的任一个称为第一训练成员，该第一训练成员设有针对业务模 型的纵向联邦学习装置。
[0078]
图3示出了一个实施例的针对业务模型的纵向联邦学习装置300。如图3所示，针对 业务模型的纵向联邦学习装置300包括：
[0079]
处理单元31，配置为经由本地的第一局部模型对本地当前批次的若干条训练样本的第 一特征数据进行处理，得到第一中间张量；
[0080]
裁剪单元32，配置为针对第一中间张量进行基于预设的第一裁剪阈值的裁剪操作，形 成第一规约张量；
[0081]
发布单元33，配置为在第一规约张量上添加符合差分隐私的第一目标噪声，得到第一 发布张量以提供给服务方，使得服务方通过全局模型处理第一发布张量，从而进行全局模 型和第一局部模型的训练。
[0082]
值得说明的是，图3所示的装置300与图1描述的方法相对应，图1的方法实施例中 的相应描述同样适用于装置300，在此不再赘述。
[0083]
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序， 当计算机程序在计算机中执行时，令计算机执行结合图1等所描述的方法。
[0084]
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，存储器中存 储有可执行代码，处理器执行可执行代码时，实现结合图1等所描述的方法。
[0085]
本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书实施例所 描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时， 可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指 令或代码进行传输。
[0086]
以上的具体实施方式，对本说明书的技术构思的目的、技术方案和有益效果进行了 进一步详细说明，所应理解的是，以上仅为本说明书的技术构思的具体实施方式而已，并 不用于限定本说明书的技术构思的保护范围，凡在本说明书实施例的技术方案的基础之上， 所做的任何修改、等同替换、改进等，均应包括在本说明书的技术构思的保护范围之内。