一种基于深度学习的服务提供系统及方法与流程

本发明属于边缘数据信息计算领域，尤其涉及一种基于深度学习的服务提供系统及方法。

背景技术：

基于神经网络的深度学习技术发展迅速，使得人工智能(ai)被广泛应用。深度学习模型广泛应用于各种服务提供系统，包括图像识别、语音识别和语言翻译。

物联网(iot)于1999年在供应链管理中被首次提出。近年来，物联网为医疗保健、环境和运输做出重大贡献。物联网设备通常会产生巨大数量的复杂数据，特别是多媒体数据。目前的神经网络，特别是具有多个隐藏层的神经网络，擅长处理和分析这些巨大的复杂数据。因此，在物联网应用中，深度学习可以用来处理许多复杂任务。现有的基于深度学习的物联网应用的方法大部分依赖于集中式云架构，在集中式云架构中将所有计算任务放置在云服务器。由于对数据传输速度要求比较高，集中式云架构有限的网络带宽不能有效地处理和分析这些物联网数据。特别是随着用户在线活动的增加，在线学习应用对实时性要求越来越高，集中式云服务器无法满足实时性的需求。

随着物联网的发展和集中式云架构的缺陷，边缘计算已成为物联网应用的新型计算模式。边缘计算将计算任务从集中式云服务器卸载到靠近物联网设备的边缘服务器。

因此，基于深度学习的物联网应用非常适合处理边缘计算环境中的复杂任务。深度学习模型部署在边缘服务器，直接处理计算任务从而增强服务质量。但是边缘服务器的功率、处理器速度、数据存储能力和通信资源有限。深度学习模型拥有数百万甚至数十亿的参数需要较大的存储空间，内存带宽和计算成本，因此深度学习模型很难部署到边缘服务器。

深度学习模型通过裁剪低权重的网络连接后得到小规模压缩深度学习模型，很容易部署到边缘服务器中处理学习任务。压缩模型不仅节省计算时间和存储空间，而且具有良好的表现性能。物联网设备访问邻近边缘服务器进而增强服务质量。

但是攻击者可以从深度学习模型中提取有关训练数据集的敏感信息。因此，需要确保深度学习模型的隐私性，从而保护训练数据的隐私。

研究者们致力于研究k-匿名(k-anonymity)技术和安全多方计算(securemultipartycomputation)技术，保护数据发布中的隐私。文章“k-anonymity:amodelforprotectingprivacy”提出k-匿名技术，k-匿名技术指的是通过将对象的准标识符进行泛化、压缩等处理，形成k个不可区分的对象，攻击者无法推断出隐私信息所属的具体对象，从而保护目标对象的隐私，但是，攻击者仍然能利用公布的辅助信息重新识别出个体对象的敏感信息，造成隐私泄露。文章“protocolsforsecurecomputations”提出安全多方计算技术，安全多方计算技术是保护数据隐私的一种主要手段，多个参与方共同合作，在不泄露各自输入数据的前提下共同计算并分享输出结果，但是安全多方计算的计算效率比较低。

目前，差分隐私(differentialprivacy)机制应用比较广泛。文章“differentialprivacy”提出差分隐私机制，旨在发布统计信息时保护数据库中的个体隐私，使得单条记录对数据集的影响很小。差分隐私保护与传统的隐私保护技术相比，能解决传统隐私保护技术的两个缺陷：一方面，提供了一种有效的且定义严格的，可以对隐私保护水平进行定量化的数学证明；另一方面，即使攻击者获得除目标个体对象外的其他信息，也就是掌握了最大的背景辅助信息，也无法推测出目标对象的信息。文章“deeplearningwithdifferentialprivacy”通过利用差分隐私机制保护深度学习中的训练数据的隐私。

综上所述，k-匿名技术只能在一定程度上保护个体对象的敏感信息，攻击者仍然能利用公布的辅助信息重新识别出个体对象的敏感信息，造成隐私泄露；而安全多方计算的计算效率比较低。本发明与现有技术相比具有以下优点：本发明设计基于深度学习的服务提供系统和方法，采用的是一种边缘计算新型计算模式，将计算任务从云端服务器卸载到边缘端服务器，通过剪切低权重的网络连接将大规模全连接深度学习模型压缩为小规模深度学习模型，由于边缘服务器的功率、处理器速度、数据存储能力和通信资源有限，小规模的压缩深度学习模型更易部署到边缘服务器，边缘服务器直接处理计算任务，从而提高边缘端服务质量；本发明结合差分隐私机制，生成具有差分隐私保护的压缩深度学习模型，不仅能够保护深度学习过程中训练数据的隐私，并且模型的可用性也较高。

(1)现有技术在图像识别、语音识别和语言翻译的人工智能应用领域中，基于深度学习的物联网应用大都依赖于集中式云架构，即所有计算任务放置在云服务器，深度学习模型部署在云端服务器，因此集中式云架构有限的网络带宽不能有效地处理和分析这些物联网数据，尤其是在线学习应用对实时性要求极高，集中式云服务器无法满足实时性的需求。由于大量边缘设备产生大量的复杂数据，因此基于集中式云架构的现有技术不能有效分析和处理数据，从而降低服务质量。

而且现有技术深度学习模型不能解决训练数据的隐私泄露问题。

(2)现有边缘环境下基于深度学习的物联网应用缺乏考虑训练数据隐私泄露问题，大都直接将深度学习模型直接部署到服务器，但是攻击者可以通过深度学习模型提取训练数据的敏感信息，因此会导致训练数据隐私泄露问题。

解决上述技术问题的难度：由于边缘服务器的功率、处理器速度、数据存储能力和通信资源有限，大规模的深度学习模型很难部署到边缘服务器，因此需要将大规模的深度学习模型压缩为小规模的压缩深度学习模型，同时压缩深度学习模型部署到边缘服务器会带来训练数据泄露问题，因此需要结合差分隐私机制保护训练数据的隐私。但是差分隐私保护训练数据的隐私水平越高，需要在深度学习过程中添加越多的噪声，因此会降低压缩模型可用性，也就是训练数据隐私与压缩模型可用性相互矛盾，训练数据隐私保护水平越高，压缩模型可用性越低，因此如何平衡训练数据的隐私和压缩模型的可用性是技术难点。

解决上述技术问题的意义：本发明利用差分隐私机制，将大规模深度学习模型压缩为小规模的具有隐私保护的压缩深度学习模型，防止攻击者通过隐私压缩深度学习模型提取训练数据的隐私信息，同时保证隐私压缩模型的可用性。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种基于深度学习的服务提供系统及方法。

本发明是这样实现的，一种基于深度学习的服务提供系统的生成隐私的压缩深度学习模型的方法，一方面保护训练数据的隐私，一方面提高边缘端的服务质量。在云端服务器，结合差分隐私机制，将大规模的全连接深度学习模型通过剪切低权重的网络连接形成小规模的具有隐私保护的压缩深度学习模型，并将隐私压缩模型部署到边缘端服务器，边缘服务器为邻近设备提供服务，具体包括：

进行隐私稠密训练，在训练过程中，结合差分隐私机制，生成具有(ε1,δ)-差分隐私保护的全连接深度学习模型，保护训练数据的隐私；

进行隐私压缩训练，通过剪切具有(ε1,δ)-差分隐私保护的全连接深度学习模型的低权重的网络连接，只在最后一次剪切操作后，在重新训练过程中结合差分隐私机制，形成小规模的具有(ε2,δ)-差分隐私保护的压缩深度学习模型，保护训练数据的隐私。

进一步，所述基于深度学习的服务提供系统的生成隐私的压缩深度学习模型的方法进一步包括：

初始化，建立两层卷积层和三层全连接层的卷积神经网络，初始化卷积神经网络的模型参数θ⁰；定义输入训练数据集x＝{x1,x2,...,xn}，第t轮迭代训练的损失函数l(θt,x)，θt表示第t轮迭代训练的模型参数。定义梯度的约束范围g，训练样本xi的梯度值不大于g，训练样本xi经约束后的梯度取值定义为gt(xi)表示训练样本xi在第t轮迭代训练时的梯度。

进一步，进行隐私稠密训练的方法具体包括：

(a)根据公式计算其中c为常数，l^d表示小批量训练样本的个数，t^d表示最大迭代训练次数，δ是一个很小的常数，表示容忍差分隐私出错的概率，n表示训练样本的总数量，ε1表示保护全连接深度学习模型的差分隐私保护水平；

(b)每次随机选取l^d个训练样本，训练样本xi在第t轮的梯度为其中l(θt,xi)表示损失函数，θt表示第t轮迭代训练的模型参数；

(c)计算第t轮样本xi的约束梯度为

(d)利用高斯机制实现差分隐私保护，对添加合适的高斯噪声，得到扰动的ld个数据样本的平均梯度其中n(0,(σ^d)²g²i)表示均值为0，标准方差为σ^d·g的高斯分布，i表示相应的单位矩阵；

(e)第t+1轮训练的模型参数更新为ηt表示学习率；

(f)重复步骤(b)到(f)t^d次，进行t^d轮迭代训练，得到具有(ε1,δ)-差分隐私保护的全连接深度学习模型θ^d。

进一步，进行隐私压缩训练的方法包括：

a)定义每次选取小批量训练样本的个数为l^p，权重剪切阈值tpr，模型参数小于tpr时被剪切掉，模型剪切的总次数为k。根据tpr对模型参数进行剪切并进行模型再训练，重复以上模型剪切和模型再训练k-1次后得到性能良好的剪切模型；

b)在第k次模型剪切操作后，在模型再训练的过程中引入差分隐私机制，得到隐私的压缩深度学习模型。

进一步，步骤a)具体包括：

根据tpr对模型参数进行剪切，再训练剪切后的模型；

每次随机选取l^p个训练样本，训练样本xi在第t轮的梯度为其中l(θt,xi)表示损失函数，θt表示第t轮迭代训练的模型参数；

计算第t轮训练样本xi的约束梯度为

计算第t轮l^p个训练样本的平均梯度为

第t+1轮训练的模型参数更新为ηt表示学习率；

进行t轮迭代训练；

重复k-1次。

进一步，步骤b)具体包括：

根据公式计算其中c为常数，l^p表示小批量训练样本的个数，t^p表示最大迭代训练次数，δ是一个很小的常数，表示容忍差分隐私出错的概率，n表示训练样本的总数量，ε2表示保护压缩深度学习模型的差分隐私保护水平；

每次随机选取l^p个训练样本，训练样本xi在第t轮的梯度为其中l(θt,xi)表示损失函数，θt表示第t轮迭代训练的模型参数；

计算第t轮样本xi的约束梯度为

利用高斯机制实现差分隐私保护，对添加合适的高斯噪声，得到扰动的l^p个训练样本的平均梯度n(0,(σ^p)²g²i)表示均值为0，标准方差为σ^p·g的高斯分布，i表示相应的单位矩阵；

第t+1轮训练的模型参数更新为ηt表示学习率；

训练t^p轮迭代训练，得到具有(ε2,δ)-差分隐私保护的压缩深度学习模型θ^p。

本发明的另一目的在于提供一种所述基于深度学习的服务提供系统的生成隐私的压缩深度学习模型的方法的基于深度学习的服务提供系统。

本发明的另一目的在于提供一种所述基于深度学习的服务提供系统的生成隐私的压缩深度学习模型的方法的图像识别深度学习的服务终端。

本发明的另一目的在于提供一种所述基于深度学习的服务提供系统的生成隐私的压缩深度学习模型的方法的语音识别深度学习的服务终端。

本发明的另一目的在于提供一种所述基于深度学习的服务提供系统的生成隐私的压缩深度学习模型的方法的语言翻译深度学习的服务终端

综上所述，本发明的优点及积极效果为：

本发明在云服务器端生成小规模的隐私的压缩深度学习模型的方法，生成的隐私压缩深度学习模型不仅能够较好的保护训练数据的隐私，同时具有较高的可用性，隐私压缩深度学习模型部署到边缘服务器，为邻近物联网设备提供服务，相较于集中式云架构，提高边缘端的服务质量。

本发明所设计的基于深度学习的服务提供系统，采用的是一种边缘计算新型计算模式，相对于现有的大部分依赖于集中式云架构的基于深度学习的物联网应用的方法，将计算任务由云服务器卸载到边缘服务器，物联网设备通过访问邻近边缘服务器，提高服务质量。

本发明结合差分隐私机制，生成小规模的具有隐私保护的压缩深度学习模型，相对于现有技术下直接将深度学习模型部署到服务器，缺乏考虑训练数据的隐私泄露问题，能有效保护训练数据的隐私。

附图说明

图1是本发明实施例提供的基于深度学习的服务提供系统的生成隐私的压缩深度学习模型的方法流程图。

图2是本发明实施例提供的不同的l^p对隐私压缩深度学习模型性能的影响示意图。

图3是本发明实施例提供的不同的ηt对隐私压缩深度学习模型性能的影响示意图。

图4是本发明实施例提供的ε2＝6时不同迭代次数t^p对隐私压缩深度学习模型性能的影响示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

现有技术在图像识别、语音识别和语言翻译的人工智能应用领域中，基于深度学习的物联网应用的方法大部分依赖于集中式云架构，在集中式云架构中将所有计算任务放置在云服务器。由于对数据传输速度要求比较高，而大量的物联网设备产生巨大的复杂物联网数据，集中式云架构有限的网络带宽不能有效地处理和分析这些数据。因此，深度学习模型需要部署在边缘服务器，缓解由于集中式云架构有限的网络带宽带来的数据传输的压力。但是一方面边缘服务器的功率、处理器速度、数据存储能力和通信资源有限，一方面深度学习模型拥有数百万甚至数十亿的参数需要较大的存储空间、内存带宽和计算成本，因此深度学习模型很难部署到边缘服务器。而且现有技术深度学习模型大都直接将深度学习模型部署到服务器，不能解决训练数据的隐私泄露问题。

为解决上述问题，下面结合具体方案对本发明作详细描述。

如图1所述，本发明实施例提供的基于深度学习的服务提供系统的生成隐私的压缩深度学习模型的方法包括：

(1)初始化：建立两层卷积层和三层全连接层的卷积神经网络，初始化卷积神经网络的模型参数θ⁰。定义输入训练数据集x＝{x1,x2,...,xn}，第t轮迭代训练的损失函数l(θt,x)，θt表示第t轮迭代训练的模型参数。定义梯度的约束范围g，也就是训练样本xi的梯度值不大于g，因此训练样本xi经约束后的梯度取值定义为其中gt(xi)表示训练样本xi在第t轮迭代训练时的梯度。

(2)隐私稠密训练。

(3)隐私压缩训练。

在本发明实施例中，步骤(2)具体包括：

(2a)根据公式计算其中c为常数，l^d表示小批量训练样本的个数，t^d表示最大迭代训练次数，δ是一个很小的常数，表示容忍差分隐私出错的概率，n表示训练样本的总数量，ε1表示保护全连接深度学习模型的差分隐私保护水平。

(2b)每次随机选取l^d个数据样本，数据样本xi在第t轮的梯度为其中l(θt,xi)表示损失函数，θt表示第t轮迭代训练的模型参数。

(2c)计算第t轮样本xi的约束梯度为

(2d)利用高斯机制实现差分隐私保护。即对添加合适的高斯噪声，得到扰动的ld个数据样本的平均梯度其中n(0,(σ^d)²g²i)表示均值为0，标准方差为σ^d·g的高斯分布，i表示相应的单位矩阵。

(2e)第t+1轮训练的模型参数更新为其中ηt表示学习率。

(2f)重复步骤(2b)到(2f)t^d次，即进行t^d轮迭代训练，得到具有(ε1,δ)-差分隐私保护的全连接深度学习模型θ^d。

在本发明实施例中，步骤(3)具体包括：

(3a)定义每次选取小批量训练样本的个数为l^p，权重剪切阈值tpr，即模型参数小于tpr时被剪切掉，模型剪切的总次数为k。根据tpr对模型参数进行剪切并进行模型再训练，重复以上模型剪切和模型再训练k-1次后得到性能良好的剪切模型。需要注意的是，以上操作没有引入差分隐私机制。

(3b)在第k次模型剪切操作后，在模型重新训练的过程中引入差分隐私机制，得到隐私的压缩深度学习模型。

在本发明实施例中，步骤(3a)包括：

①根据tpr对模型参数进行剪切，通过步骤②到⑥再训练剪切后的模型。

②每次随机选取l^p个训练样本，训练样本xi在第t轮的梯度为其中l(θt,xi)表示损失函数，θt表示第t轮迭代训练的模型参数；

③计算第t轮训练样本xi的约束梯度为

④计算第t轮l^p个训练样本的平均梯度为

⑤第t+1轮训练的模型参数更新为其中ηt表示学习率。

⑥重复步骤①到⑤t次，即进行t轮迭代训练。

⑦重复步骤①到⑥k-1次。

在本发明实施例中，步骤(3b)包括：

①根据公式计算其中c为常数，l^p表示小批量训练样本的个数，t^p表示最大迭代训练次数，δ是一个很小的常数，表示容忍差分隐私出错的概率，n表示训练样本的总数量，ε2表示保护压缩深度学习模型的差分隐私保护水平。

②每次随机选取l^p个训练样本，训练样本xi在第t轮的梯度为其中l(θt,xi)表示损失函数，θt表示第t轮迭代训练的模型参数。

③计算第t轮训练样本xi的约束梯度为

④利用高斯机制实现差分隐私保护。即对添加合适的高斯噪声，得到扰动的l^p个训练样本的平均梯度其中n(0,(σ^p)²g²i)表示均值为0，标准方差为σ^p·g的高斯分布，i表示相应的单位矩阵。

⑤第t+1轮训练的模型参数更新为其中ηt表示学习率。

⑥训练t^p轮迭代训练，得到具有(ε2,δ)-差分隐私保护的压缩深度学习模型θ^p。

下面结合具体实施例对本发明作进一步描述。

实施例

本发明实施例提供的基于深度学习的服务提供系统的生成隐私的压缩深度学习模型的方法包括：

步骤1：初始化。

建立两层卷积层和三层全连接层的卷积神经网络，初始化卷积神经网络的模型参数θ⁰。定义输入训练数据集x＝{x1,x2,...,xn}，第t轮迭代训练的损失函数l(θt,x)，θt表示第t轮迭代训练的模型参数。定义梯度的约束范围g，也就是训练样本xi的梯度值不大于g，因此训练样本xi经约束后的梯度取值定义为其中gt(xi)表示训练样本xi在第t轮迭代训练时的梯度。

步骤2：隐私稠密训练。

根据公式计算其中c为常数，l^d表示小批量训练样本的个数，t^d表示最大迭代训练次数，δ是一个很小的常数，表示容忍差分隐私出错的概率，n表示训练样本的总数量，ε1表示保护全连接深度学习模型的差分隐私保护水平。

随机选取l^d个训练样本，训练样本xi在第t轮的梯度为其中l(θt,xi)表示损失函数，θt表示第t轮迭代训练的模型参数。

计算第t轮训练样本xi的约束梯度为

利用高斯机制实现差分隐私保护。即对添加合适的高斯噪声，得到扰动的ld个训练样本的平均梯度其中n(0,(σ^d)²g²i)表示均值为0，标准方差为σ^d·g的高斯分布，i表示相应的单位矩阵。

第t+1轮训练的模型参数更新为其中ηt表示学习率。

进行t^d轮迭代训练，得到具有(ε1,δ)-差分隐私保护的全连接深度学习模型θ^d。

步骤3：隐私压缩训练。

定义每次选取小批量训练样本的个数为l^p，权重剪切阈值tpr，即模型参数小于tpr时被剪切掉，模型剪切的总次数为k。根据tpr对模型参数进行剪切并进行模型再训练，重复以上模型剪切和模型再训练k-1次后得到性能良好的剪切模型。需要注意的是，以上操作没有引入差分隐私机制。

在本发明实施例中，根据tpr对模型参数进行剪切，再训练剪切后的模型。

每次随机选取l^p个训练样本，训练样本xi在第t轮的梯度为其中l(θt,xi)表示损失函数，θt表示第t轮迭代训练的模型参数。

计算第t轮训练样本xi的约束梯度为

计算第t轮l^p个训练样本的平均梯度为

第t+1轮训练的模型参数更新为其中ηt表示学习率。

进行t轮迭代训练。

再重复k-1次。

在第k次模型剪切操作后，在模型重新训练的过程中引入差分隐私机制，得到隐私的压缩深度学习模型。

在本发明实施例中，根据公式计算其中c为常数，l^p表示小批量训练样本的个数，t^p表示最大迭代训练次数，δ是一个很小的常数，表示容忍差分隐私出错的概率，n表示训练样本的总数量，ε2表示保护压缩深度学习模型的差分隐私保护水平。

在本发明实施例中，随机选取l^p个训练样本，训练样本xi在第t轮的梯度为其中l(θt,xi)表示损失函数，θt表示第t轮迭代训练的模型参数。

计算第t轮训练样本xi的约束梯度为

利用高斯机制实现差分隐私保护。即对添加合适的高斯噪声，得到扰动的l^p个训练样本的平均梯度其中n(0,(σ^p)²g²i)表示均值为0，标准方差为σ^p·g的高斯分布，i表示相应的单位矩阵。

第t+1轮训练的模型参数更新为其中ηt表示学习率。

训练t^p轮迭代训练，得到具有(ε2,δ)-差分隐私保护的压缩深度学习模型θ^p。

下面结合仿真对本发明的应用效果做详细的描述。

实验仿真：设计由2个卷积层和3个全连接层构成的卷积神经网络，此卷积神经网络由60000多个参数构成。通过在此卷积神经网络上测试mnist数据集评估本发明的性能。mnist数据集由60000个手写数字训练样例和10000个手写数字测试样例构成。实验任务目标是训练具有差分隐私保护的压缩深度学习模型，当输入无标签的样本时输出相应的类标签。

通过实验仿真测试不同参数对隐私压缩深度学习模型性能的影响。实验证明，在隐私压缩训练过程中，如图2所示当小批量样本个数l^p＝400，如图3所示当学习率ηt＝0.01时，通过剪切(1,10^-5)-差分隐私的全连接深度学习模型，结合差分隐私机制，可得到表现性能较高的具有(6,10^-5)-差分隐私压缩深度学习模型，即训练正确率和测试正确率都在90％以上。

如图4所示，剪切具有(6,10^-5)-差分隐私保护的全连接深度学习模型，结合差分隐私机制，得到具有(6,10^-5)-差分隐私保护的压缩深度学习模型，当迭代次数t^p＝60000时，隐私压缩模型性能较稳定，训练正确率和测试正确率都在96％左右。实验证明，当ε1＝6，ε2＝6时，隐私压缩深度学习模型不仅能够较好的保护训练数据的隐私，而且具有较高的模型可用性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。