模型提取攻击的动态防御方法、系统、介质、设备及应用与流程

[0001]
本发明属于网络安全技术领域，尤其涉及一种模型提取攻击的动态防御方 法、系统、介质、设备及应用。


背景技术：

[0002]
目前：随着人工智能技术的快速发展进步，越来越多的生产场景依赖于智 能模型的预测判断，因此随之出现了模型智能服务mlaas (machine-learning-as-a-service)，用户通过付费查询的形式即可将最先进的智能服 务应用于生产，包括数据分析、语言处理、安全检测等功能。此类智能服务通常 需要模型提供者提前在大量数据集上进行学习训练和参数优化，所使用的数据集 一般具有较强的专有性或涉及商业机密，所优化的模型对于隐私问题也非常敏 感，因此，mlaas在带来生产便利的同时也放大了其中的隐私问题。模型提取攻 击能够成功攻击没有保护的机器学习模型，效果突出，适用范围非常广。该攻击 方式通过伪装成正常用户发送查询请求就能够有效推测出模型内部结构，成功窃 取走所部署的模型，从而避免了付费使用，甚至如果被窃取的模型是用来进行安 全检测的，如恶意软件、流量等的检测，则攻击者可以利用窃取到的模型参数来 逃避检测，造成更大的危害，因此智能模型带来的隐私安全问题日益突出，对于 所有未经保护的模型安全对于国家网络安全具有非常重要的作用。
[0003]
目前针对该类型攻击的防御方案主要有两类型，一种是基于模型扰动的方 案，另一种是基于查询请求监控的方案。基于模型扰动的方案主要是在模型返 回结果时加入扰动，使得攻击者不能拿到准确的预测结果来推断出模型。目前 仅有的既能保证加入扰动后模型整体返回结果精度不降低太多，又能保护模型 不被窃取的技术主要是差分隐私技术，该技术通过严格的数学定义证明了其隐 私保护的有效性，同时提供了可控制的噪声和可评估的性能损失方法，是一种 非常适用于抵御模型提取攻击的防御技术，但是现有的基于差分隐私保护的方 案缺乏有效的隐私预算分配方式，在实际使用中保护效果非常有限，如固定隐 私预算的保护方式在开始阶段防御效果突出，但是随着攻击次数的增加，攻击 者可以凭借大数定律和统计等相关知识消除噪声的影响，获取到真实的结果， 最终导致该类方案防御效果会出现明显下滑，不足以保护模型。而基于请求监 控的方案主要是对模型收到的请求进行实时监控，当判断出模型通过查询泄漏 出的信息量达到预设范围时即停止提供预测服务，以此来保护模型。但是该方 案没有将查询与窃取信息关联分析，未能从根本上解决模型提取攻击存在的可 能性，其效果也非常受限于特定场景中的监控应用范围和反馈速度，如常用的 代理模型方案存在较大的检测延迟，当目标模型处于高速被查询状态下时，代 理模型的被提取程度并不能精确地反应目标模型的被攻击程度；除此之外在不 同场景中如何设置相应的合理的查询阈值也是一个关键的问题，如现有的攻击 能够在达到简单模型的常规检测阈值前就完成窃取。
[0004]
通过上述分析，现有技术存在的问题及缺陷为：
[0005]
(1)现有的基于差分隐私保护的方案缺乏有效的隐私预算分配方式，在实 际使用
中保护效果非常有限。
[0006]
(2)现有技术没有将查询与窃取信息关联分析，未能从根本上解决模型提 取攻击存在的可能性，其效果也非常受限于特定场景中的监控应用范围和反馈 速度，除此之外在不同场景中如何设置相应的合理的查询阈值也是一个关键的 问题。
[0007]
解决以上问题及缺陷的难度为：机器学习模型在面对模型提取攻击时无法 从根本理论上对其进行有效防御，其安全风险同时还带入了各种ai应用，如mlaas。目前还没有有效的方案能够准确反映出模型被提取攻击的状态，也没 有合理的方法来对模型返回结果进行扰动，这极大的限制了目前模型部署的安 全性和可用性，此外如何依据ai的不同使用场景来对模型提取攻击进行防御也 是一个悬而未决的问题。
[0008]
解决以上问题及缺陷的意义为：近年来大数据、云计算的发展和机器学习 算法的创新，使得人工智能技术得到广泛应用，产生了巨大的经济和社会效益。 但是机器学习模型算法在设计时未考虑到安全威胁，导致其非常容易受到恶意 攻击如模型提取攻击，在工业、医疗、交通、监控等关键领域，安全危害尤为 巨大；如果机器学习模型遭受恶意攻击，轻则造成财产损失，重则威胁人身安 全。因此提升模型的保护能力，可以帮助ai技术防御恶意攻击，增强ai产品 和业务的健壮性，最大限度降低风险，确保人工智能安全、可控、可靠发展， 促进智能服务的推广和利用。


技术实现要素：

[0009]
针对现有技术存在的问题，本发明提供了一种模型提取攻击的动态防御方 法、系统、介质、设备及应用。
[0010]
本发明是这样实现的，一种模型提取攻击的动态防御方法，所述模型提取 攻击的动态防御方法包括：
[0011]
使用mlaas，在线上部署待保护的智能模型；
[0012]
引入差分隐私技术，设定隐私预算，应用到模型中；
[0013]
模型收到请求后，生成正常应答，同时设定模型信息泄漏程度；
[0014]
使用差分隐私技术生成噪声来扰动模型应答，生成带噪回复；
[0015]
监听模型收到的请求和给出的带噪回复，与训练数据集对比计算得出模型 因接收到该次请求后导致的信息泄漏程度；
[0016]
计算模型信息泄漏程度的累计值；
[0017]
将信息泄漏程度代入隐私预算的适应性分配算法；
[0018]
将计算得到的新隐私预算输入给差分隐私技术。
[0019]
进一步，引入差分隐私技术设定隐私预算∈＝1，将其应用到模型中。
[0020]
进一步，模型收到请求后，包含有攻击查询，生成正常应答y，同时设定此 时模型信息泄漏程度l＝0。
[0021]
进一步，使用生成噪声来扰动模型应答，生成带噪回复，具体如下：
[0022][0023]
进一步，监听模型收到的请求和给出的带噪回复，与训练数据集对比计算 得出模型因接收到该次请求后导致的信息泄漏程度l
y
；
[0024]
计算模型信息泄漏程度的累计值：
[0025]
l＝l+l
y
；
[0026]
将信息泄漏程度代入隐私预算的适应性分配算法，如下：
[0027][0028]
其中l
t
为用户可接受的模型信息泄漏的最大程度，p为当前部署环境下 的范围参数；
[0029]
将计算得到的新隐私预算输入给
[0030]
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器 和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行 时，使得所述处理器执行如下步骤：
[0031]
使用mlaas，在线上部署待保护的智能模型；
[0032]
引入差分隐私技术，设定隐私预算，应用到模型中；
[0033]
模型收到请求后，生成正常应答，同时设定模型信息泄漏程度；
[0034]
使用差分隐私技术生成噪声来扰动模型应答，生成带噪回复；
[0035]
监听模型收到的请求和给出的带噪回复，与训练数据集对比计算得出模型 因接收到该次请求后导致的信息泄漏程度；
[0036]
计算模型信息泄漏程度的累计值；
[0037]
将信息泄漏程度代入隐私预算的适应性分配算法；
[0038]
将计算得到的新隐私预算输入给差分隐私技术。
[0039]
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序， 所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
[0040]
使用mlaas，在线上部署待保护的智能模型；
[0041]
引入差分隐私技术，设定隐私预算，应用到模型中；
[0042]
模型收到请求后，生成正常应答，同时设定模型信息泄漏程度；
[0043]
使用差分隐私技术生成噪声来扰动模型应答，生成带噪回复；
[0044]
监听模型收到的请求和给出的带噪回复，与训练数据集对比计算得出模型 因接收到该次请求后导致的信息泄漏程度；
[0045]
计算模型信息泄漏程度的累计值；
[0046]
将信息泄漏程度代入隐私预算的适应性分配算法；
[0047]
将计算得到的新隐私预算输入给差分隐私技术。
[0048]
本发明的另一目的在于提供一种信息数据处理终端，所述信息数据处理终 端用于实现所述的模型提取攻击的动态防御方法。
[0049]
本发明的另一目的在于提供一种实施所述的模型提取攻击的动态防御方法 的模型提取攻击的动态防御系统，所述模型提取攻击的动态防御系统包括：
[0050]
智能模型部署模块，用于使用mlaas，在线上部署待保护的智能模型；
[0051]
差分隐私应用模块，用于引入差分隐私技术，设定隐私预算，应用到模型 中；
[0052]
正常应答模块，用于模型收到请求后，生成正常应答，同时设定此时模型 信息泄漏程度；
[0053]
带噪回复模块，用于使用差分隐私技术生成噪声来扰动模型应答，生成带 噪回复；
[0054]
信息泄漏程度对比模块，用于监听模型收到的请求和给出的带噪回复，与 训练数据集对比计算得出模型因接收到该次请求后导致的信息泄漏程度；
[0055]
累计值计算模块，用于计算模型信息泄漏程度的累计值；
[0056]
适应性分配模块，用于将信息泄漏程度代入隐私预算的适应性分配算法；
[0057]
差分隐私输入模块，用于将计算得到的新隐私预算输入给差分隐私技术；
[0058]
查询请求模块，用于收到新的查询后继续动态防御。
[0059]
本发明的另一目的在于提供一种网络安全终端，所述网络安全终端搭载所 述的模型提取攻击的动态防御系统。
[0060]
结合上述的所有技术方案，本发明所具备的优点及积极效果为：本发明用 于防御模型提取攻击的方案，保护机器学习模型避免被敌手攻击窃取，提高mlaas的安全性。本发明采用动态差分隐私保护技术，将其引入到mlaas来抵 御模型提取攻击，提升了模型的安全性，解决了之前差分隐私保护能力弱的问 题。同时该方案适用范围广，保护效果突出。
[0061]
本发明提出了隐私预算的适应性分配算法，能够根据模型信息泄漏程度自 适应地调整所加噪声大小，越逼近用户可容忍模型信息泄漏的极限时，所添加 得噪声越无限放大，相比于添加固定扰动的方式，保证模型安全性的同时提升 了模型的性能。
[0062]
本发明用来指导差分隐私技术为人工智能模型动态添加噪声，帮助其有效 抵御模型提取攻击。同时本发明在保护模型隐私的同时能将模型性能最大化， 具有很强的实际应用价值。
附图说明
[0063]
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所 需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请 的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下 还可以根据这些附图获得其他的附图。
[0064]
图1是本发明实施例提供的模型提取攻击的动态防御方法流程图。
[0065]
图2是本发明实施例提供的模型提取攻击的动态防御系统的结构示意图；
[0066]
图2中：1、智能模型部署模块；2、差分隐私应用模块；3、正常应答模块； 4、带噪回复模块；5、信息泄漏程度对比模块；6、累计值计算模块；7、适应 性分配模块；8、差分隐私输入模块；9、查询请求模块。
[0067]
图3是本发明实施例提供的各方案在逻辑回归模型中的防御效果对比图。
[0068]
图4是本发明实施例提供的各方案在神经网络模型中的防御效果对比图。
[0069]
图5是本发明实施例提供的所提方案保护下的模型性能效果图。
[0070]
图6是本发明实施例提供的隐私预算分配函数图。
具体实施方式
[0071]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例， 对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以 解释本发明，并不用于限定本发明。
[0072]
针对现有技术存在的问题，本发明提供了一种模型提取攻击的动态防御方 法、系统、介质、设备及应用，下面结合附图对本发明作详细的描述。
[0073]
如图1所示，本发明提供的模型提取攻击的动态防御方法包括以下步骤：
[0074]
s101：使用mlaas，在线上部署待保护的智能模型；
[0075]
s102：引入差分隐私技术，设定隐私预算，应用到模型中；
[0076]
s103：模型收到请求后(包含有攻击查询)，生成正常应答，同时设定此时 模型信息泄漏程度；
[0077]
s104：使用差分隐私技术生成噪声来扰动模型应答，生成带噪回复；
[0078]
s105：监听模型收到的请求和给出的带噪回复，与训练数据集对比计算得 出模型因接收到该次请求后导致的信息泄漏程度；
[0079]
s106：计算模型信息泄漏程度的累计值；
[0080]
s107：将信息泄漏程度代入隐私预算的适应性分配算法；
[0081]
s108：将计算得到的新隐私预算输入给差分隐私技术；
[0082]
s109：收到新的查询后继续以上过程。模型回复中所添加的噪声随攻击次 数的增多而适应性的改变，最终有效保护了模型不被窃取信息。
[0083]
本发明提供的模型提取攻击的动态防御方法业内的普通技术人员还可以采 用其他的步骤实施，图1的本发明提供的模型提取攻击的动态防御方法仅仅是 一个具体实施例而已。
[0084]
如图2所示，本发明提供的模型提取攻击的动态防御系统包括：
[0085]
智能模型部署模块1，用于使用mlaas，在线上部署待保护的智能模型；
[0086]
差分隐私应用模块2，用于引入差分隐私技术，设定隐私预算，应用到模型 中；
[0087]
正常应答模块3，用于模型收到请求后(包含有攻击查询)，生成正常应答， 同时设定此时模型信息泄漏程度；
[0088]
带噪回复模块4，用于使用差分隐私技术生成噪声来扰动模型应答，生成带 噪回复；
[0089]
信息泄漏程度对比模块5，用于监听模型收到的请求和给出的带噪回复，与 训练数据集对比计算得出模型因接收到该次请求后导致的信息泄漏程度；
[0090]
累计值计算模块6，用于计算模型信息泄漏程度的累计值；
[0091]
适应性分配模块7，用于将信息泄漏程度代入隐私预算的适应性分配算法；
[0092]
差分隐私输入模块8，用于将计算得到的新隐私预算输入给差分隐私技术；
[0093]
查询请求模块9，用于收到新的查询后继续动态防御。
[0094]
本发明提供的模型提取攻击的动态防御方法具体包括以下步骤：
[0095]
(1)使用mlaas，在线上部署待保护的智能模型。
[0096]
(2)引入差分隐私技术设定隐私预算∈＝1，将其应用到模型中。 此时模型具备初步保护能力，但仍不能抵御大量的模型提取攻击。
[0097]
(3)模型收到请求后(包含有攻击查询)，生成正常应答y，同时设定此时 模型信息泄漏程度l＝0。
[0098]
(4)使用生成噪声来扰动模型应答，生成带噪回复，具体如下：
[0099][0100]
(5)监听模型收到的请求和给出的带噪回复，与训练数据集对比计算得出 模型因接收到该次请求后导致的信息泄漏程度l
y
。
[0101]
(6)计算模型信息泄漏程度的累计值：
[0102]
l＝l+l
y
；
[0103]
(7)将信息泄漏程度代入隐私预算的适应性分配算法，如下：
[0104][0105]
其中l
t
为用户可接受的模型信息泄漏的最大程度，p为当前部署环境下 的范围参数。具体分配算法函数图可见图6。
[0106]
(8)将计算得到的新隐私预算输入给
[0107]
(9)收到新的查询后继续以上过程。模型回复中所添加的噪声随攻击次数 的增多而适应性的改变，最终有效保护了模型不被窃取信息。
[0108]
下面结合实验对本发明的技术效果作详细的描述。
[0109]
在实施所提出的方案之前先构建了本发明被应用到的实际场景。首先部署 了两种常用的不同类型、作用于不同场景的机器学习模型作为mlaas，逻辑回 归(lr)和神经网络(nn)。选取了四种不同类型、适用于不同场景的数据集， 其特征维度各不相同，如表1。
[0110]
表1
[0111][0112][0113]
其中socialads是用来在社交网络中发布广告，需要模型来判断是否有客户 因此
愿意购买产品；titanic是需要模型来判断船上的乘客是否能获救； emailspam被模型用来判别邮件是否为垃圾邮件；mushrooms需要被判断蘑菇 是否可食用。这四种数据集的特征维度各不相同。然后复现了模型提取攻击， 攻击效果显著，证明了该类攻击的存在给mlaas带来了巨大威胁。接着部署了 本方案所提出的动态防御方法来进行测试，将背景技术中提及的目前最先进的 模型防御技术也加入了实验，进行对比，结果如图3和图4。
[0114]
同时测试了加入所提方案保护后的模型实际性能，结果如图5所示。自变 量为隐私预算参数，值越小代表所添加噪声越大，对模型的保护能力就越强。 图5上两图说明了模型的实际使用精度能保持在较好的范围(≥80％)，两图说 明了模型的抗攻击性良好(≤60％)。
[0115]
如图3所示，在4个不同类型的数据集上分别训练逻辑回归模型(模型算 法一致，参数各不相同，符合实际情况)，其中纵坐标均代表逻辑回归模型的 被提取程度，横坐标r均代表攻击者发送的攻击查询次数。相比于目前常用的两 类保护方案rc和bdpl，本发明所提方案mdp能够最大程度的保护逻辑回归 模型，且模型提取程度远低于该两种方案。
[0116]
如图4所示，在4个不同类型的数据集上分别训练神经网络模型(模型算 法一致，参数各不相同，符合实际情况)，其中纵坐标均代表神经网络模型的 被提取程度，横坐标r均代表攻击者发送的攻击查询次数。相比于目前常用的两 类保护方案rc和bdpl，本发明所提方案mdp能够最大程度的保护神经网络 模型，且模型的提取程度远低于该两种方案。
[0117]
如图5所示，图左上图代表在4个不同类型的数据集上部署的逻辑回归模 型，纵坐标代表模型受到mdp保护后的精度表现。左下图代表在4个不同类型 的数据集上部署的逻辑回归模型，纵坐标代表模型受到mdp保护后的防御能力 表现。右上图代表在4个不同类型的数据集上部署的神经网络模型，纵坐标代 表模型受到mdp保护后的精度表现。右下图代表在4个不同类型的数据集上部 署的神经网络模型，纵坐标代表模型受到mdp保护后的防御能力表现。四张图 横坐标epsilon均代表了本发明所提方案mdp的不同参数选择。证明了本发明 所提方案mdp在保证模型原有精度受到影响最小的情况下能够最大程度的保护 模型，有效抵御模型提取攻击。
[0118]
如图6所示，本发明所提出的机制mdp在保护模型时，随着横坐标信息泄 漏程度的增大，mdp的隐私预算参数epsilon的分配函数图。
[0119]
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合 来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中， 由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普 通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在 处理器控制代码中来实现，例如在诸如磁盘、cd或dvd-rom的载体介质、诸 如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载 体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路 或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、 可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的 处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
[0120]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于 此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明 的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的 保护范围之内。