模型参数获取方法、装置、计算机设备及存储介质与流程

[0001]
本发明涉及机器学习模型技术领域，具体涉及一种模型参数获取方法、装置、计算机设备及存储介质。


背景技术：

[0002]
随着大数据时代的不断演化，现有数据库中包含的数据越来越多，通过调用数据库中的数据进行模型训练已经非常普遍。
[0003]
目前，对于每个独立的数据库来说，各个数据库可以看做是一个数据孤岛，这些数据库中可能存在有相同用户的不同数据。比如，有两个数据库中，他们包含的用户相同，但是各自有各自的数据特征，在训练机器学习模型过程中，各个数据库可以采用自己的数据特征进行训练，也可以将多个数据库之间的数据特征联合，实现联合建模的效果。其中，对于联合建模过程中，对数据进行加密时，主要是通过同态加密的方式。
[0004]
由于在上述方案中，在联合建模过程中采用同态加密的方式需要建立在半诚实假设的条件下，因此存在数据泄露的风险，导致了建模过程中数据的安全性低的问题。


技术实现要素：

[0005]
本申请实施例提供了一种模型参数获取方法、装置、计算机设备及存储介质，可以提高建模过程中数据的保密性，增加数据的安全性。所述技术方案如下：
[0006]
一方面，本申请实施例提供了一种模型参数获取方法，所述方法包括：
[0007]
获取第一数据库中的原始数据的第一梯度；
[0008]
对所述第一梯度进行局部差分隐私ldp处理，获取第一目标梯度；
[0009]
根据所述第一目标梯度，计算目标参数，所述目标参数是训练机器学习模型的待确定参数。
[0010]
一方面，本申请实施例提供了一种模型参数获取装置，所述装置包括：
[0011]
获取模块，用于获取第一数据库中的原始数据的第一梯度；对所述第一梯度进行局部差分隐私ldp处理，获取第一目标梯度；
[0012]
处理模块，用于根据所述第一目标梯度，计算目标参数，所述目标参数是训练机器学习模型的待确定参数。
[0013]
另一方面，本申请实施例提供了一种计算机设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如上述一个方面所述的模型参数获取方法。
[0014]
另一方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述一个方面所述的模型参数获取方法。
[0015]
另一方面，本申请实施例提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如上述一个方面所述的模型参数获取方法。
[0016]
另一方面，本申请实施例提供了一种应用发布平台，所述应用发布平台用于发布
计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如上述一个方面所述的模型参数获取方法。
[0017]
本申请实施例提供的技术方案可以至少包含如下有益效果：
[0018]
在本申请中，通过获取第一数据库中的原始数据的第一梯度；对第一梯度进行局部差分隐私ldp处理，获取第一目标梯度；根据第一目标梯度，计算目标参数，目标参数是训练机器学习模型的待确定参数。本申请通过对第一数据库中原始数据的第一梯度做ldp处理，得到第一目标梯度，利用第一目标梯度计算机器学习模型中的待确定参数，由于通过ldp对第一梯度进行扰动，规避了具有机器学习模型的背景知识攻击者发起的差分攻击，降低了数据库中数据泄露的风险，提高了建模过程中数据的安全性。
附图说明
[0019]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]
图1是本申请一示例性实施例涉及的一种联合建模的结构示意图；
[0021]
图2是本申请一示例性实施例提供的一种模型参数获取方法的方法流程图；
[0022]
图3是本申请一示例性实施例提供的一种模型参数获取方法的方法流程图；
[0023]
图4是本申请一示例性实施例提供的一种a机构的结构示意图；
[0024]
图5是本申请一示例性实施例提供的一种模型参数获取方法的方法流程图；
[0025]
图6是本申请一示例性实施例提供的模型参数获取装置的结构框图；
[0026]
图7是本申请一示例性实施例提供的一种计算机设备的结构示意图。
具体实施方式
[0027]
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
[0028]
在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
[0029]
本申请提供的方案，可以用于人们在日常生活中使用终端时，在终端中运行有应用程序的现实场景中，为了便于理解，下面首先对本申请实施例涉及的一些名词和应用场景进行简单介绍。
[0030]
机器学习是一门多学科交叉专业，涵盖概率论知识，统计学知识，近似理论知识和复杂算法知识，使用计算机作为工具并致力于真实实时的模拟人类学习方式，并将现有内容进行知识结构划分来有效提高学习效率。
[0031]
联邦机器学习(federated machine learning/federated learning)，又名联邦学习，联合学习，联盟学习。联邦机器学习是一个机器学习框架，能有效帮助多个机构在满
足用户隐私保护、数据安全和政府法规的要求下，进行数据使用和机器学习建模。
[0032]
纵向联邦学习(vertical federated learning)，联合多个参与者的共同样本的不同数据特征进行联邦学习，即各个参与者的训练数据是纵向划分的。纵向联邦学习也称为样本对齐的联邦学习(sample-aligned federated learning)，即纵向联邦学习的参与者的训练样本是对齐的，纵向联邦可以增加训练数据特征维度。
[0033]
随机响应技术(randomized response)是结构化调查访谈中使用的一种研究方法，是一种标准的局部差异隐私扰动机制。
[0034]
梯度是一个向量(矢量)，表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向(此梯度的方向)变化最快，变化率最大(为该梯度的模)。
[0035]
随着大数据时代的不断演化，各行各业争先转变思路，从经验主义转变为依托数据进行分析决策的数据智能时代。
[0036]
目前，各个机构、公司、厂商等都已经具有能力建立自己的数据库，随着日益增长的用户以及用户的频繁使用，数据库中可以存储的用户的数据越来越多，在机器学习方面，可以使用数据库中存储的数据进行模型训练，从而得到想要得到的机器学习模型。其中，机器学习模型训练过程中采用的数据越多、特征种类越丰富、标签越准确，通过这些数据由不同机器学习、深度学习算法生成的模型的预测能力越强大、准确性也越高。
[0037]
但是，由于各个机构、公司、厂商等存在物理隔离，比如，各个机构之间的数据库并不互通，各自存储各自的数据，各个机构各自的数据库中的数据相当于是以数据孤岛的形式存在各个机构内部。当存在两个不同机构，他们的用户大部分相同，但各自有各自的特征，如果能够联合这些特征建模，模型效果往往会由于独立建模，即联邦机器学习，例如机构a是一家银行，有着信贷方面的特征；机构b是一家保险公司，有着财产健康等方面的特征，如果这两家机构同处一地，此时这两家机构的用户可能有很大部分重叠。如果要实现联合建模，通常，机构a会直接将相应的数据和特征通过可信渠道传输给机构b，或两家机构同时将各自的数据传输到可信第三方来进行融合后建模。
[0038]
请参考图1，其示出了本申请一示例性实施例涉及的一种联合建模的结构示意图。如图1所示，其中包含了若干个计算机设备101，中心计算机设备102。
[0039]
可选的，若干个计算机设备101可以是服务器或者终端，其中，服务器可以是一台服务器，或者由若干台服务器，或者是一个虚拟化平台，或者是一个云计算服务中心。终端可以是手机、平板电脑、电子书阅读器、智能眼镜、智能手表、笔记本电脑、膝上型便携计算机和台式计算机等等。
[0040]
中心计算机设备102也可以是上述的服务器或者终端。
[0041]
其中，若干个计算机设备101中的任意一个可以看做是某个机构对应的计算机设备，在进行联合模型训练时，计算机设备可以将自己对应的机构内数据库的数据和特征通过可信渠道传输给其他机构对应的计算机设备(比如，若干个计算机设备101中的另一个计算机设备)，从而实现两个或者多个机构之间的数据互通，进而进行联合建模。或者，计算机设备也可以将自己对应的机构内数据库的数据和特征发送给中心计算机设备102(该中心计算机设备102充当可信第三方)，由该中心计算机设备102对接收到的其他计算机设备的数据进行联合建模，最终训练出模型。
[0042]
可选的，上述各个计算机设备之间可以通过通信网络连接，可选的，该通信网络是
有线网络或无线网络。
[0043]
可选的，上述的无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(local area network，lan)、城域网(metropolitan area network，man)、广域网(wide area network，wan)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合。在一些实施例中，使用包括超文本标记语言(hyper text mark-up language，html)、可扩展标记语言(extensible markup language，xml)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(secure socket layer，ssl)、传输层安全(transport layer security，tls)、虚拟专用网络(virtual private network，vpn)、网际协议安全(internet protocol security，ipsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。
[0044]
然而，随着欧盟通用数据保护条例(general data protection regulation，gdpr)的发布以及国内响应出台的相应数据隐私保护条例，不同机构间的数据直接进行融合建模的方式越来越行不通。因此，为进行联合建模，目前业界通常采用的方法主要分为以下两类：1)通过人工携带数据的方式，2)通过基于同态加密的纵向联邦学习。
[0045]
其中，通过人工携带数据的方法如下：机构a派遣建模人员将加密样本身份标识号(identity document，id)及特征通过物理存储设备携带到机构b的建模机器上，机构b的建模人员同样将加密样本及特征上传到建模机器，通过加密样本对齐的方式进行数据整合并建模。整个过程需要机构a及b的建模人员参与，存在数据泄露隐患。
[0046]
基于同态加密的纵向联邦建模方案如下：通过在机构a和机构b部署纵向联邦学习框架，将模型训练梯度通过同态加密的方式加密后互传，从而达到联合建模的目的。该方案需建立在半诚实假设的条件下，因此如果存在有背景知识的攻击者，存在数据泄露隐患。另外，在现有算力的情况下，实现同态或半同态加密算法会使建模效率降低，增加模型的训练时间。
[0047]
为了解决上述相关技术中存在的数据泄露的风险，联合建模过程中数据的安全性低的问题，本申请提供了一种模型参数获取方法，请参考图2，其示出了本申请一示例性实施例提供的一种模型参数获取方法的方法流程图。该方法可以应用于图1所示的计算机设备中，由该计算机设备执行，如图2所示，该模型参数获取方法可以包括如下几个步骤。
[0048]
步骤201，获取第一数据库中的原始数据的第一梯度。
[0049]
其中，第一数据库可以是任意一个数据库，比如，该第一数据库可以是某个银行的数据库、保险公司的数据库、通讯公司的数据库等。其中，数据库中的原始数据可以是数据库中以二维矩阵形式存储的数据。可选的，数据库中可以以样本以及变量(数据特征)的形式将原始数据进行存储。请参考表1，其示出了本申请一示例性实施例涉及的一种原始数据的示意结构。
[0050]
表1
[0051]
样本变量一变量二变量三
……
样本一abc
……
样本二def
……
样本三hij
……
…………………………
[0052]
如表1所示，对于每个样本来说，都可以对应有多个变量。其中，a，b
……
j分别表示各个变量对应的值。可选的，计算机设备可以对第一数据库中的原始数据按照每个样本，计算出各个样本各自对应的第一梯度。
[0053]
步骤202，对第一梯度进行局部差分隐私ldp处理，获取第一目标梯度。
[0054]
可选的，计算机设备对上述获取到的第一梯度进行局部差分隐私(local differential privacy，ldp)处理，处理后的第一梯度即为第一目标梯度。
[0055]
步骤203，根据第一目标梯度，计算目标参数，目标参数是训练机器学习模型的待确定参数。
[0056]
其中，训练机器学习模型的过程可以看做是机器学习模型中待确定参数的确定过程，此处计算的目标参数正是机器学习模型中的待确定参数。可选的，计算机设备可以将第一目标梯度带入至目标参数的计算公式中，从而进行迭代计算，得到最终的目标参数。
[0057]
综上所述，在本申请中，通过获取第一数据库中的原始数据的第一梯度；对第一梯度进行局部差分隐私ldp处理，获取第一目标梯度；根据第一目标梯度，计算目标参数，目标参数是训练机器学习模型的待确定参数。本申请通过对第一数据库中原始数据的第一梯度做ldp处理，得到第一目标梯度，利用第一目标梯度计算机器学习模型中的待确定参数，由于通过ldp对第一梯度进行扰动，规避了具有机器学习模型的背景知识攻击者发起的差分攻击，降低了数据库中数据泄露的风险，提高了建模过程中数据的安全性。
[0058]
在一种可能实现的方式中，上述机器学习模型是纵向联邦学习模型，本方案以第一机构(任意一个机构)的计算机设备作为执行主体，并获取其他机构的第二目标梯度，从而实现不同机构之间联合模型建立过程中的数据交互。其中，该第二目标梯度是第二数据库的原始数据的第二梯度进行ldp处理后得到的。
[0059]
请参考图3，其示出了本申请一示例性实施例提供的一种模型参数获取方法的方法流程图。该方法可以应用于图1所示的计算机设备中，由该计算机设备执行，如图3所示，该模型参数获取方法可以包括如下几个步骤。
[0060]
步骤301，获取第一数据库中原始数据的数据特征。
[0061]
其中，第一数据库中的原始数据如上述图2实施例中的介绍，此处不再赘述。
[0062]
可选的，计算机设备可以根据第一数据库中的原始数据，获取原始数据对应的各个数据特征各自的数学指标，其中，该数学指标可以是缺失值、方差、标准差中的一项或者多项；计算机设备根据数学指标对各个数据特征进行筛选，获取第一数据库中原始数据的数据特征。
[0063]
可选的，当上述数学指标是缺失值时，计算机设备可以根据第一数据库中的原始数据，获取原始数据对应的各个数据特征各自的缺失值，并且根据第一目标阈值进行筛选，获取第一数据库中缺失值小于第一目标阈值的原始数据的数据特征。比如，在上述表1中，计算机设备可以计算出变量一至变量三各自的缺失值，如果变量一的缺失值小于第一目标阈值，那么变量一就是计算机设备获取到的一个数据特征。其中，第一目标阈值可以由开发人员预先设置在计算机设备中。
[0064]
可选的，当上述数学指标是方差时，计算机设备可以根据第一数据库中的原始数据，获取原始数据对应的各个数据特征各自的方差，并且根据第二目标阈值进行筛选，获取
第一数据库中方差小于第二目标阈值的原始数据的数据特征。比如，在上述表1中，计算机设备可以计算出变量一至变量三各自的方差，如果变量一的方差小于第二目标阈值，那么变量一就是计算机设备获取到的一个数据特征。其中，第二目标阈值可以由开发人员预先设置在计算机设备中。
[0065]
可选的，当上述数学指标是标准差时，计算机设备可以根据第一数据库中的原始数据，获取原始数据对应的各个数据特征各自的标准差，并且根据第三目标阈值进行筛选，获取第一数据库中标准差大于第三目标阈值的原始数据的数据特征。比如，在上述表1中，计算机设备可以计算出变量一至变量三各自的标准差，如果变量一的标准差大于第三目标阈值，那么变量一就是计算机设备获取到的一个数据特征。其中，第三目标阈值可以由开发人员预先设置在计算机设备中。
[0066]
在一种可能实现的方式中，上述数学指标也可以包括缺失值以及方差；计算机设备可以获取各个数据特征中缺失值小于第一目标阈值，且方差大于第二目标阈值的数据特征。在上述表1中，计算机设备可以计算出变量一至变量三各自的缺失值以及方差，如果变量一的缺失值小于第一目标阈值，变量一的方差大于第二目标阈值，那么变量一就是计算机设备获取到的一个数据特征。可选的，计算机设备获取数据特征的方式还可以是通过其他一个或者多个数学指标配合而进行筛选，本申请对此并不加以限定，在此不再一一举例。
[0067]
可选的，在上述计算机设备中，获取第一数据库中原始数据的数据特征的数据传输端口为单向传输端口。即，计算机设备中，在传输数据特征过程中，允许单方向传输数据。在本步骤之前，本方法还包括：获取第三数据指标，响应于第三数据指标大于第三指标阈值，暂停当前执行的步骤。其中，第三数据指标包含获取第一数据库中原始数据的数据特征过程中数据传输大小以及数据传输频率中的一项或者多项。相应的，本申请还可以响应于第三数据指标不大于第三指标阈值，继续执行当前执行的步骤。
[0068]
在一种可能实现的方式中，第三数据指标包含获取第一数据库中原始数据的数据特征过程中数据传输大小。例如，计算机设备在获取数据特征过程中，可以通过其他计算机程序对该数据特征获取过程进行监控，获取该过程中数据传输大小，如果获取的数据传输大小大于第三指标阈值，说明此次数据传输过程异常，停止此时执行的获取第一数据库中原始数据的数据特征的步骤，如果获取的数据传输大小不大于第三指标阈值，说明此次数据传输过程正常，可以继续执行此时执行的获取第一数据库中原始数据的数据特征的步骤。
[0069]
在一种可能实现的方式中，第三数据指标包含获取第一数据库中原始数据的数据特征过程中数据传输频率。类似地，计算机设备在获取数据特征过程中，可以通过其他计算机程序对该数据特征获取过程进行监控，获取该过程中数据传输频率，如果获取的数据传输频率大于第三指标阈值，说明此次数据传输过程异常，停止此时执行的获取第一数据库中原始数据的数据特征的步骤。如果获取的数据传输频率不大于第三指标阈值，说明此次数据传输过程正常，可以继续执行此时执行的获取第一数据库中原始数据的数据特征的步骤。
[0070]
在一种可能实现的方式中，第三数据指标包含获取第一数据库中原始数据的数据特征过程中数据传输大小以及数据传输频率。类似地，计算机设备在获取数据特征过程中，可以通过其他计算机程序对该数据特征获取过程进行监控，获取该过程中数据传输大小以
及数据传输频率，将获取的数据传输大小以及数据传输频率与第三指标阈值(此时第三指标阈值可以包含有两个子阈值，分别用于判断此次获取的数据传输大小以及数据传输频率)，如果数据传输大小以及数据传输频率中有任何一个大于第三指标阈值，说明此次数据传输过程异常，停止此时执行的获取第一数据库中原始数据的数据特征的步骤。在一种可能实现的方式中，计算机设备包含有显示模块(例如有显示屏)时，上述在停止当前执行的步骤时，还可以在显示模块中显示错误信息，从而提示此次数据异常。
[0071]
步骤302，根据原始数据以及原始数据的数据特征，计算原始数据的第一梯度。
[0072]
可选的，在上述获取到原始数据的数据特征之后，按照获取到的原始数据的数据特征以及原始数据计算原始数据的第一梯度。比如，以上述表1为例，对各个数据特征进行筛选后，计算机设备可能获取到的数据特征有变量一和变量三，对应这两个数据特征以及每个样本，计算机设备可以按照每个样本计算每个样本的第一梯度。
[0073]
步骤303，对第一梯度进行局部差分隐私ldp处理，获取第一目标梯度。
[0074]
即，通过对得到每个样本的第一梯度进行ldp处理，得到处理后的第一梯度(也是第一目标梯度)。
[0075]
在一种可能实现的方式中，上述获取第一目标梯度的方式可以如下，通过获取扰动函数，将第一梯度带入扰动函数，获取第一目标梯度。其中，扰动函数用于对第一梯度进行加噪处理。即，计算机设备对第一梯度做ldp处理之前，可以先获取在ldp处理过程中需要使用的扰动函数，通过该燃动函数，对第一梯度进行ldp处理。
[0076]
可选的，扰动函数可以是开发人员预先设置的，当需要用到扰动函数时，可以直接从存储的位置获取到。
[0077]
或者，扰动函数可以通过隐私预算值获取。在一种可能实现的方式中，获取扰动函数的方式可以如下：获取隐私预算值，隐私预算值用于指示对第一梯度加噪的程度；根据隐私预算值构建目标公式；从预设函数列表中获取符合目标公式的第一函数；将第一函数作为扰动函数。
[0078]
其中，隐私预算值与本方案中对第一梯度加噪的程度成反比，即，隐私预算值越小，对第一梯度加噪的程度越大，在第一梯度上增加的噪声就越大。另外，预设函数列表中可以包含预先存储的各个扰动函数。
[0079]
可选的，隐私预算值可以是开发人员预先设置的。例如，隐私预算值预先设置为e，在获取扰动函数的过程中，先获取隐私预算值e，通过隐私预算值构建目标公式。可选的，该目标公式可以如下：
[0080][0081]
其中，f表示扰动函数，g
i
表示一个样本的第一梯度，g
i+1
表示另一个样本的第一梯度，p表示概率，x表示0至1中的任意一个值。
[0082]
如上述公式【1】所示，计算机设备得到隐私预算值之后，可以按照上述公式【1】构建，并通过预设函数列表中每个函数带入公式【1】，判断其中符合该公式【1】的函数，从符合该公式的各个函数中选择一个函数作为扰动函数，后续对第一梯度进行加噪。可选的，该扰动函数可以随机选择，也可以按照顺序选择，此处并不加以限定。
[0083]
在一种可能实现的方式中，扰动函数与隐私预算值具有唯一对应的关系。比如，第一数据库或者计算机设备中还存储了扰动函数与隐私预算值之间的对应关系表，计算机设备在上述获取到隐私预算值后，还可以通过查询该对应关系表，获取到隐私预算值对应的扰动函数。例如，请参考表2，其示出了本申请一示例性实施例涉及的一种隐私预算值与扰动函数的对应关系表。
[0084]
表2
[0085]
隐私预算值扰动函数e1f1e2f2e3f3…………
[0086]
如表2所示，如果计算机设备在上述获取到隐私预算值是e2，那么，计算机设备可以根据上述表2的对应关系，获取到与隐私预算值e2对应的扰动函数f2。
[0087]
可选的，上述隐私预算值还可以根据隐私级别确定。例如，计算机设备可以通过获取隐私级别，并根据隐私级别，获取隐私预算值。其中，隐私级别用于指示第一数据库中的原始数据的保密程度。其中，在实际应用中，数据库中存储的数据可以对应有自己的保密程度，一个数据库的保密程度越高，说明这个数据库的数据越重要，越不能让其他攻击者获取。可选地，该隐私级别可以由开发人员提前设置在该数据库中，计算机设备可以通过获取该隐私级别，获取隐私级别对应的隐私预算值。
[0088]
比如，第一数据库或者计算机设备中还存储了隐私级别与隐私预算值之间的对应关系表，计算机设备在上述获取到隐私级别后，还可以通过查询该对应关系表，获取到隐私级别对应的隐私预算值。例如，请参考表3，其示出了本申请一示例性实施例涉及的一种隐私级别与隐私预算值之间的对应关系表。
[0089]
表3
[0090]
隐私级别隐私预算值级别一e1级别二e2级别三e3…………
[0091]
如表3所示，如果计算机设备在上述获取到的隐私级别是级别二，那么，计算机设备可以根据上述表3的对应关系，获取到与隐私级别二对应的隐私预算值e2。
[0092]
在一种可能实现的方式中，上述隐私预算值还可以根据隐私级别以及输出级别来共同确定。可选的，计算机设备在获取隐私级别时，还可以获取输出级别，输出级别用于指示机器学习模型的输出结果的可信程度；根据隐私级别以及输出级别，获取隐私预算值。
[0093]
其中，输出级别也可以看做是本次联合建模过程中联合模型的训练效果，可选的，该输出级别可以是开发人员预先设置。输出级别越高，说明后续对本次联合建模过程中联合模型的训练效果要求更好，输出级别越低，说明后续对本次联合建模过程中联合模型的训练效果要求更低。对于更低的输出级别，对第一梯度增加的噪声相对可以大一些，对于更高的输出级别，对第一梯度增加的噪声相对可以小一些。
[0094]
在一种可能实现的方式中，第一数据库或者计算机设备中还存储了输出级别、隐私级别与隐私预算值之间的对应关系表，计算机设备在上述获取到输出级别、隐私级别后，还可以通过查询该对应关系表，获取到输出级别、隐私级别对应的隐私预算值。例如，请参考表4，其示出了本申请一示例性实施例涉及的一种输出级别、隐私级别与隐私预算值之间的对应关系表。
[0095]
表4
[0096]
输出级别隐私级别隐私预算值级别一级别一e1级别一级别二e2级别二级别三e3………………
[0097]
如表4所示，如果计算机设备在上述获取到的输出级别是级别一、隐私级别是级别二，那么，计算机设备可以根据上述表3的对应关系，获取到与输出级别一、隐私级别二对应的隐私预算值e2。
[0098]
可选的，在获取第一目标梯度的过程中，还可以通过计算机设备中的其他程序指令获取第二数据指标，第二数据指标包含获取第一目标梯度过程中数据传输大小、数据传输速率以及数据存储大小中的一项或者多项；响应于第二数据指标大于第二指标阈值，暂停当前执行的步骤。其中，数据存储大小用于指示存储第一目标梯度的内存变化。另外，本申请还可以响应于第二数据指标不大于第二指标阈值，继续执行当前执行的步骤。
[0099]
在一种可能实现的方式中，第二数据指标包含获取第一目标梯度过程中数据传输大小时，与上述第三数据指标包含获取第一数据库中原始数据的数据特征过程中数据传输大小的执行细节类似，此处不再赘述。可选的，第二数据指标包含获取第一目标梯度过程中数据传输频率时，与上述第三数据指标包含获取第一数据库中原始数据的数据特征过程中数据传输频率的执行细节类似，此处不再赘述。可选的，第二数据指标包含获取第一目标梯度过程中数据传输频率以及数据传输大小时，与上述第三数据指标包含获取第一数据库中原始数据的数据特征过程中数据传输频率以及数据传输大小的执行细节类似，此处不再赘述。
[0100]
在一种可能实现的方式中，第三数据指标包含获取第一数据库中原始数据的数据特征过程中数据传输大小、数据传输频率以及数据存储大小。类似地，计算机设备在获取数据特征过程中，可以通过其他计算机程序对该第一目标梯度的获取过程进行监控，获取该过程中数据传输大小、数据传输频率以及数据存储大小，将获取的数据传输大小、数据传输频率以及数据存储大小与第二指标阈值(此时第二指标阈值可以包含有三个子阈值，分别用于判断此次获取的数据传输大小、数据传输频率以及数据存储大小)，如果数据传输大小、数据传输频率以及数据存储大小中有任何一个大于第二指标阈值，说明此次数据传输过程异常，停止此时执行的获取第一目标梯度的步骤。如果数据传输大小、数据传输频率以及数据存储大小中有均不大于第二指标阈值，说明此次数据传输过程正常，可以继续执行此时执行的获取第一目标梯度的步骤。
[0101]
在一种可能实现的方式中，计算机设备包含有显示模块(例如有显示屏)时，上述在停止当前执行的步骤时，还可以在显示模块中显示错误信息，从而提示此次数据异常。
[0102]
步骤304，获取第二目标梯度，第二目标梯度是第二数据库的原始数据的第二梯度进行ldp处理后得到的。
[0103]
其中，第二目标梯度可以是第二数据库对应的计算机设备(另一个计算机设备)在第二数据库中按照上述步骤301至步骤303中获取第一目标梯度的方式获取的，再将最终获取到的第二目标梯度发送过来，从而使得获取第一目标梯度的计算机设备也获取到第二目标梯度。可选的，第二目标梯度可以是上述另一个计算机设备主动发送过来的，也可以是另一个计算机设备通过接收本申请中上述获取第一目标梯度的计算机设备发送的梯度获取请求后，响应该梯度获取请求而发送的，本申请实施例对此并不加以限定。
[0104]
在一种可能实现的方式中，本申请实施例在获取第二目标梯度的过程中，还可以通过计算机设备的其他指令获取第一数据指标，第一数据指标包含接收第二目标梯度过程中数据传输大小以及数据传输频率中的一项或者多项；并且响应于第一数据指标大于第一指标阈值，暂停当前执行的步骤。相应的，本申请可以响应于第一数据指标不大于第一指标阈值，继续执行当前执行的步骤。
[0105]
在一种可能实现的方式中，第一数据指标包含获取第二目标梯度过程中数据传输大小时，与上述第三数据指标包含获取第一数据库中原始数据的数据特征过程中数据传输大小的执行细节类似，此处不再赘述。可选的，第一数据指标包含获取第二目标梯度过程中数据传输频率时，与上述第三数据指标包含获取第一数据库中原始数据的数据特征过程中数据传输频率的执行细节类似，此处不再赘述。可选的，第一数据指标包含获取第二目标梯度过程中数据传输大小以及数据传输频率时，与上述第三数据指标包含获取第一数据库中原始数据的数据特征过程中数据传输大小以及数据传输频率的执行细节类似，此处不再赘述。也就是说，计算机设备可以监控其他计算机设备发送的第二目标梯度过程中，自身接收到的数据传输大小或者数据传输频率，当发现该过程中的数据指标不符合指标阈值时，停止此时执行的获取第二目标梯度的步骤。
[0106]
在一种可能实现的方式中，计算机设备包含有显示模块(例如有显示屏)时，上述在停止当前执行的步骤时，还可以在显示模块中显示错误信息，从而提示此次数据异常。
[0107]
步骤305，根据第一目标梯度以及第二目标梯度，计算目标参数。
[0108]
其中，获取到第一目标梯度和第二目标梯度后，计算机设备可以通过第一目标梯度以及第二目标梯度来计算目标参数。
[0109]
可选地，计算机设备将根据第一目标梯度以及第二目标梯度拼接，获取拼接梯度；根据原始参数以及拼接梯度，计算目标参数，原始参数是训练机器学习模型过程中待确定参数的默认参数。
[0110]
可选的，计算机设备得到的第一数据库中各个样本(k个)对应的第一目标梯度可以如下：g1，g2，g3，
……
gk，计算机设备得到的第二数据库中各个样本(n-k个)对应的第一目标梯度可以如下：gk+1，gk+2，g k+3，
……
gn，计算机设备可以将第一目标梯度和第二目标梯度进行拼接，拼接后的拼接梯度j＝([g1]，[g2]，[g3]，
……
[gk])
·
([gk+1]，[gk+2]，[g k+3]，
……
[gn])；
[0111]
其中，“·”表示拼接(concatenate)。
[0112]
计算出拼接梯度后，计算机设备根据原始参数以及拼接梯度，计算目标参数。例如，计算目标参数的计算公式如下：θ1＝θ0–
αj；其中，θ1表示目标参数，θ0表示默认参数，α是
机器学习模型的学习率，θ0可以由开发人员预先设定。
[0113]
计算机设备将上述得到的拼接梯度带入至上述计算公式，从而计算出一次目标参数，进而可以更新机器学习模型中的待确定参数，实现模型的迭代训练。可选的，对于第一数据库中的每个样本的第一梯度，以及第二数据库中的每个样本的第二梯度，计算机设备也可以每次迭代出一个目标参数，比如，第一数据库中包含样本一和样本二的原始数据，第二数据库中包含样本三和样本四的原始数据，在第一次计算得到样本一的第一梯度并获取到对应的第一目标梯度，以及获取到样本三的第二目标梯度，计算机设备可以通过这两个目标梯度计算一次目标参数，更新机器学习模型中的待确定参数参数，后续第二次迭代时，获取到样本二的第一梯度并获取到对应的第一目标梯度，以及获取到样本四的第二目标梯度，计算机设备可以通过这两个目标梯度再次计算目标参数，并继续机器学习模型中的待确定参数参数，直至截止至设置的迭代次数。
[0114]
可选地，本申请在执行上述模型参数获取的过程中，还可以获取响应指标，响应指标包含执行模型参数获取方法过程中的输出数据以及目标内存变化量中的一项或者多项，目标内存用于存储输出数据；响应于响应指标超出预设指标范围，暂停当前执行的步骤。相应的，本申请在第一数据指标不大于第一指标阈值时，可以继续执行当前执行的步骤。
[0115]
可选的，贯穿整个联合建模过程，本申请通过计算机设备可以获取该过程中每个小模块的输出数据以及对应的目标内存变化量，当输出数据不正确、或者对应的目标内存变化量不正确(超过预设指标范围)，可以认为联合建模过程中出现错误，从而暂停当前步骤。当输出数据或者对应的目标内存变化量在预设指标范围内，可以认为联合建模过程正常，继续执行当前步骤。例如，在数据特征的选择过程中，或者，在计算数据的第一梯度过程中，类似上述获取第一数据指标、第二数据指标、第三数据指标等，计算机设备通过获取该过程中的输出结果或者目标内存变化量，进而判断出联合模型过程是否出现错误，及时停止运行。
[0116]
可选的，计算机设备包含有显示模块(例如有显示屏)时，上述在停止当前执行的步骤时，还可以在显示模块中显示错误信息，从而提示此次数据异常。
[0117]
综上所述，在本申请中，通过获取第一数据库中的原始数据的第一梯度；对第一梯度进行局部差分隐私ldp处理，获取第一目标梯度；根据第一目标梯度，计算目标参数，目标参数是训练机器学习模型的待确定参数。本申请通过对第一数据库中原始数据的第一梯度做ldp处理，得到第一目标梯度，利用第一目标梯度计算机器学习模型中的待确定参数，由于通过ldp对第一梯度进行扰动，规避了具有机器学习模型的背景知识攻击者发起的差分攻击，降低了数据库中数据泄露的风险，提高了建模过程中数据的安全性。
[0118]
另外，在通过输出级别以及隐私等级确定出对应的隐私预算值，可以灵活地丢失创建的联合模型的性能效果而提高联合建模的效率，也扩展了扰动函数的选择性。
[0119]
另外，在各个步骤过程中，增加第一数据指标、第二数据指标、第三数据指标、响应指标等监控，可以进一步提高训练模型过程中数据的安全性，防止数据泄露问题。
[0120]
请参考图4，其示出了本申请一示例性实施例提供的一种a机构的结构示意图。可选的，a机构可以是保险公司、银行等的后台服务系统，如图4所示，该a机构400可以包括特征筛选模块401，联邦建模模块402。
[0121]
其中，特征筛选模块401可以从系统中存储的原始数据中进行特征筛选，并将筛选
后的数据特征通过单向端口传输给联邦建模模块402，此过程中包含数据传输大小和/或数据传输频率的监控，从而提高数据安全性，该模块执行的步骤可以参照上述图3实施例中步骤301的内容，此处不再赘述。
[0122]
联邦建模模块402可以接收特征筛选模块401发送的数据特征，从而获取到数据库中原始数据的数据特征，并进行联邦建模。在联邦建模模块402中，也可以包含数据传输大小和/或数据传输频率和/或内存变化量的监控，从而提高数据安全性，该模块执行的步骤可以参照上述图3实施例中步骤302至步骤305的内容，此处不再赘述。
[0123]
需要说明的是，在现有技术中，联邦建模模块402一般会采用联邦人工智能技术推动者(federated ai technology enabler，fate)框架，该框架中集成了各种各样的机器学习算法，例如逻辑回归算法，boosting算法和深度学习算法等。并且为了实现无损训练，一般会使用同态加密算法对模型的训练梯度进行加密后互传，从而导致数据泄露风险，本方案中，上述联邦建模模块402仍可以采用fate框架，并把通过ldp模块替换fate框架中的同态加密模块，从而提高数据安全性，提高模型训练效率。其中，ldp模块用于对获取到的梯度进行ldp处理。
[0124]
下面，以a机构和b机构交互为例，其中，a机构作为主动方，b机构作为被动方，对上述图2和图3所示的实施例进行举例介绍。请参考图5，其示出了本申请一示例性实施例提供的一种模型参数获取方法的方法流程图。该方法可以应用于图1所示的场景中，由其中的计算机设备执行，如图5所示，该模型参数获取方法可以包括如下几个步骤。
[0125]
步骤501，a机构通过特征筛选模块筛选出a机构的数据库中原始数据的数据特征。
[0126]
步骤502，a机构通过特征筛选模块将筛选的数据特征发送给联邦建模模块。
[0127]
可选的，该过程中可以包含有数据传输大小和/或数据传输频率的监控。
[0128]
步骤503，a机构通过联邦建模模块计算第一目标梯度。
[0129]
可选的，该过程中可以包含有数据传输大小和/或数据传输频率和/或内存变化量的监控。
[0130]
步骤504，b机构通过特征筛选模块筛选出b机构的数据库中原始数据的数据特征。
[0131]
步骤505，b机构通过特征筛选模块将筛选的数据特征发送给联邦建模模块。
[0132]
步骤506，b机构通过联邦建模模块将计算的第二目标梯度发送给a机构。
[0133]
可选的，该过程中可以包含有数据传输大小和/或数据传输频率和/或内存变化量的监控。
[0134]
相应的，a机构接收b机构发送的第二目标梯度。
[0135]
可选的，该过程中可以包含有数据传输大小和/或数据传输频率和/或内存变化量的监控。
[0136]
步骤507，a机构通过联邦建模模块进行联合建模。
[0137]
可选的，上述a机构获取第一目标梯度的实现方式可以参照图3实施例中获取第一目标梯度的描述，此处不再赘述。b机构与a机构的结构相同，两者的实现方式也相同。
[0138]
需要说明的是，本申请实施例不局限于两个机构之间的联合建模，实际实现时，也可以三个或者更多机构之间的联合建模也可以采用本申请提供的方法，此处不再赘述。
[0139]
综上所述，在本申请中，通过获取a机构第一数据库中的原始数据的第一梯度；对第一梯度进行局部差分隐私ldp处理，获取第一目标梯度，并获取b机构中计算出的第二目
标梯度，根据第一目标梯度以及第二目标梯度，计算目标参数，目标参数是训练机器学习模型的待确定参数。本申请通过对a机构第一数据库中原始数据的第一梯度做ldp处理，得到第一目标梯度，也通过b机构对b机构第二数据库中原始数据的第二梯度做ldp处理，得到第二目标梯度，利用第一目标梯度和第二目标梯度计算机器学习模型中的待确定参数，由于通过ldp对第一梯度和第二梯度进行扰动，规避了具有机器学习模型的背景知识攻击者发起的差分攻击，降低了a机构和b机构数据库中数据泄露的风险，提高了联合建模过程中数据的安全性。
[0140]
下面为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
[0141]
请参考图6，其示出了本申请一示例性实施例提供的模型参数获取装置的结构框图。该模型参数获取装置600可以用于上述计算机设备中，以执行图2，图3，或者图5所示实施例提供的方法中由相机模组执行的全部或者部分步骤。该模型参数获取装置600可以包括如下几个模块：
[0142]
获取模块601，用于获取第一数据库中的原始数据的第一梯度；对第一梯度进行局部差分隐私ldp处理，获取第一目标梯度；
[0143]
处理模块602，用于根据第一目标梯度，计算目标参数，目标参数是训练机器学习模型的待确定参数。
[0144]
可选的，获取模块601，用于，
[0145]
获取扰动函数，扰动函数用于对第一梯度进行加噪处理；
[0146]
将第一梯度带入扰动函数，获取第一目标梯度。
[0147]
可选的，获取模块601，具体用于，
[0148]
获取隐私预算值，隐私预算值用于指示对第一梯度加噪的程度；
[0149]
根据隐私预算值构建目标公式；
[0150]
从预设函数列表中获取符合目标公式的第一函数；
[0151]
将第一函数作为扰动函数。
[0152]
可选的，获取模块601，具体用于，
[0153]
获取隐私级别，隐私级别用于指示第一数据库中的原始数据的保密程度；
[0154]
根据隐私级别，获取隐私预算值。
[0155]
可选的，获取模块601，还用于，
[0156]
获取输出级别，输出级别用于指示机器学习模型的输出结果的可信程度；
[0157]
获取模块601，具体用于，根据隐私级别以及输出级别，获取隐私预算值。
[0158]
可选的，机器学习模型是纵向联邦学习模型，获取模块601，还用于，
[0159]
在处理模块602根据第一目标梯度，计算目标参数之前，获取第二目标梯度，第二目标梯度是第二数据库的原始数据的第二梯度进行ldp处理后得到的；
[0160]
处理模块602，用于，
[0161]
根据第一目标梯度以及第二目标梯度，计算目标参数。
[0162]
可选地，处理模块602，具体用于：
[0163]
将根据第一目标梯度以及第二目标梯度拼接，获取拼接梯度；
[0164]
根据原始参数以及拼接梯度，计算目标参数，原始参数是训练机器学习模型过程
中待确定参数的默认参数。
[0165]
可选的，获取模块601，还用于，
[0166]
获取第一数据指标，第一数据指标包含接收第二目标梯度过程中数据传输大小以及数据传输频率中的一项或者多项；
[0167]
响应于第一数据指标大于第一指标阈值，暂停当前执行的步骤。
[0168]
可选的，获取模块601，还用于，
[0169]
在处理模块602根据第一目标梯度，计算目标参数之前，获取第二数据指标，第二数据指标包含获取第一目标梯度过程中数据传输大小、数据传输速率以及数据存储大小中的一项或者多项；
[0170]
响应于第二数据指标大于第二指标阈值，暂停当前执行的步骤。
[0171]
可选的，获取模块601，具体用于，
[0172]
获取第一数据库中原始数据的数据特征；
[0173]
处理模块602，还用于根据原始数据以及原始数据的数据特征，计算原始数据的第一梯度。
[0174]
可选的，获取模块601，具体用于，
[0175]
根据第一数据库中的原始数据，获取原始数据对应的各个数据特征各自的数学指标；数学指标是缺失值、方差、标准差中的一项或者多项；
[0176]
处理模块602，用于根据数学指标对各个数据特征进行筛选，获取第一数据库中原始数据的数据特征。
[0177]
可选的，获取第一数据库中原始数据的数据特征的数据传输端口为单向传输端口；
[0178]
获取模块601，还用于，
[0179]
在根据数学指标对各个数据特征进行筛选，获取第一数据库中原始数据的数据特征之前，获取第三数据指标，第三数据指标包含获取第一数据库中原始数据的数据特征过程中数据传输大小以及数据传输频率中的一项或者多项；
[0180]
处理模块602，还用于响应于第三数据指标大于第三指标阈值，暂停当前执行的步骤。
[0181]
可选的，数学指标包括缺失值以及方差；
[0182]
获取模块601，具体用于，将各个数据特征中缺失值大于第一目标阈值，且方差小于第二目标阈值的数据特征去除；
[0183]
获取第一数据库中原始数据剩余的数据特征。
[0184]
可选的，获取模块601，还用于，
[0185]
获取响应指标，响应指标包含执行模型参数获取方法过程中的输出数据以及目标内存变化量中的一项或者多项，目标内存用于存储输出数据；
[0186]
处理模块602，还用于响应于响应指标超出预设指标范围，暂停当前执行的步骤。
[0187]
综上所述，在本申请中，通过获取第一数据库中的原始数据的第一梯度；对第一梯度进行局部差分隐私ldp处理，获取第一目标梯度；根据第一目标梯度，计算目标参数，目标参数是训练机器学习模型的待确定参数。本申请通过对第一数据库中原始数据的第一梯度做ldp处理，得到第一目标梯度，利用第一目标梯度计算机器学习模型中的待确定参数，由
于通过ldp对第一梯度进行扰动，规避了具有机器学习模型的背景知识攻击者发起的差分攻击，降低了数据库中数据泄露的风险，提高了建模过程中数据的安全性。
[0188]
图7是本申请一示例性实施例提供的一种计算机设备的结构示意图。如图7所示，计算机设备700包括中央处理单元(central processing unit，cpu)701、包括随机存取存储器(random access memory，ram)702和只读存储器(read only memory，rom)703的系统存储器704，以及连接系统存储器704和中央处理单元701的系统总线705。所述计算机设备700还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(input/output system，i/o系统)708，和用于存储操作系统712、应用程序713和其他程序模块714的大容量存储设备707。
[0189]
所述基本输入/输出系统706包括有用于显示信息的显示器708和用于用户输入信息的诸如鼠标、键盘之类的输入设备709。其中所述显示器708和输入设备709都通过连接到系统总线705的输入输出控制器710连接到中央处理单元701。所述基本输入/输出系统706还可以包括输入输出控制器710以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器710还提供输出到显示屏、打印机或其他类型的输出设备。
[0190]
所述大容量存储设备707通过连接到系统总线705的大容量存储控制器(未示出)连接到中央处理单元701。所述大容量存储设备707及其相关联的计算机可读介质为计算机设备700提供非易失性存储。也就是说，所述大容量存储设备707可以包括诸如硬盘或者cd-rom(compact disc read-only memory，只读光盘)驱动器之类的计算机可读介质(未示出)。
[0191]
所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括ram、rom、eprom(erasable programmable read only memory，可擦除可编程只读存储器)、eeprom(electrically erasable programmable read-only memory，带电可擦可编程只读存储器)、闪存或其他固态存储其技术，cd-rom、dvd(digital video disc，高密度数字视频光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器704和大容量存储设备707可以统称为存储器。
[0192]
计算机设备700可以通过连接在所述系统总线705上的网络接口单元711连接到互联网或者其它网络设备。
[0193]
所述存储器还包括一个或者一个以上的程序，所述一个或者一个以上程序存储于存储器中，中央处理单元701通过执行该一个或一个以上程序来实现本申请上述各个实施例提供的方法中，由计算机设备执行的全部或者部分步骤。
[0194]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
[0195]
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存
储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(digital video disc，dvd))、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
[0196]
需要说明的是：在上述实施例提供的模型参数获取方法中，由像素模组和终端执行的步骤仅以上述各实施例进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0197]
本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读存储介质中或者作为计算机可读存储介质上的一个或多个指令或代码进行传输。计算机可读存储介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
[0198]
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。