一种智能模型信息泄漏程度评估方法、系统、介质、设备与流程

[0001]
本发明属于网络安全技术领域，尤其涉及一种智能模型信息泄漏程度评估方法、系统、介质、设备。


背景技术：

[0002]
目前：信息时代，数据量呈指数型爆炸增长，大数据技术的快速发展给人工智能技术带来了长足进步和广泛应用，大量智能模型被应用到了自然语言处理、图像识别、推荐系统等领域，为这些生产领域带来便利的同时也放大了模型自身存在的安全问题。大量针对模型的攻击如模型提取攻击、投毒攻击、推断攻击等在对模型造成破坏的同时，也带来了严重的模型信息泄漏问题，攻击者通常利用所泄漏的信息来窃取模型中包含的关键参数，借此来复制，逃避安全模型的检测，在除破坏模型之外给其他业务也带来了巨大的威胁。同时机器学习也依赖于大量数据集进行学习训练，数据安全是国家网络安全的重要组成部分，有效评估刻画数据集的信息泄漏程度对于防止数据泄漏，保护数据安全和保障信息安全具有非常重要的作用。然而现有的用于评估模型信息泄漏和数据集信息泄漏程度的相关技术极少，仅有的一些评估方案也过分依赖于数据所处的具体场景，需要结合其它技术进行判断，缺乏统一通用有效的刻画方案。
[0003]
现有方法一提出了一种基于代理模型状态的模型信息泄漏程度评估方案。该方法预先构建和现有模型等价的代理模型(通常采用决策树模型)，通过持续衡量攻击请求对代理模型的提取程度的方式来判断当前模型的信息泄漏程度。该方法难以为较复杂的模型构建等价代理模型，适用范围小，且需要保证攻击分布和代理模型训练数据集保持相同的分布，要求较高。
[0004]
现有方法二提出了一种基于查询分布的模型信息泄漏程度评估方案。该方法根据正常查询生成了通用分布，当发现查询产生的分布和正常分布产生差异时即认为该查询为恶意攻击。该方法同样能够适用的模型非常少(目前仅应用到了dnn模型)，且能检测的攻击类型也很局限，同时对泄漏程度刻画不够精确和及时，在实际使用中不利于推广。
[0005]
通过上述分析，现有技术存在的问题及缺陷为：
[0006]
(1)现有方法难以为较复杂的模型构建等价代理模型，适用范围小，且需要保证攻击分布和代理模型训练数据集保持相同的分布，要求较高。
[0007]
(2)现有方法能够适用的模型非常少(目前仅应用到了dnn模型)，且能检测的攻击类型也很局限，同时对泄漏程度刻画不够精确和及时，在实际使用中不利于推广。
[0008]
解决以上问题及缺陷的难度为：目前的检测方案大多依赖于代理模型或分布，没有从模型根本上直接解决问题，检测结果不能准确反映模型的信息泄漏程度，无法准确判断攻击和帮助模型进行防御。同时智能模型的结构复杂性和不可解释性，导致其决策逻辑、判断依据和方式都很难直接被理解，这导致检测方案的构造无法从根本上进行设计和实现，进一步增加了智能模型信息泄漏检测的难度。
[0009]
解决以上问题及缺陷的意义为：机器学习模型应用的大规模普及和发展需要很强
的安全性保证，而精确刻画智能模型的信息泄漏程度，能够帮助我们有效检测出模型遭到的窃取等攻击，提高智能服务系统的安全性和可靠性。同时由于智能模型是由大量包含用户隐私的数据训练而成，提高模型的隐私信息泄漏评估能力，能够及早预防模型中机密信息泄漏问题的出现，确保隐私侵犯问题在人工智能应用中的发生。


技术实现要素：

[0010]
针对现有技术存在的问题，本发明提供了一种智能模型信息泄漏程度评估方法、系统、介质、设备。
[0011]
本发明是这样实现的，一种智能模型信息泄漏程度评估方法，所述智能模型信息泄漏程度评估方法包括：
[0012]
定义代表特定数据集中包含的信息量的指标；
[0013]
利用信息论中的链式法则将指标展开后计算；
[0014]
定义查询向量拼接收到的攻击查询和模型回复；
[0015]
将向量添加到查询矩阵；
[0016]
计算单次查询从训练数据集窃取到的信息量；
[0017]
计算模型信息泄漏程度。
[0018]
进一步，定义指标i
m
，用来代表特定数据集m中包含的信息量，m是一个n
×
m的矩阵，代表该数据集中包含有m条数据，每条数据具有n维特征，使用信息论中的信息熵h来计算该指标：
[0019]
i
m
＝h(x1，x2，...，x
n
)；
[0020]
其中x
i
(1≤i≤n)代表该数据集中第i维特征空间。
[0021]
进一步，利用信息论中的链式法则将指标展开后计算即可求得：
[0022][0023]
进一步，定义查询向量u，用来拼接收到的攻击查询q和模型回复z如下：
[0024]
u＝q|z；
[0025]
该向量由特征组q和标签z构成，其中特征组q由多个特征x组成。
[0026]
进一步，将向量添加到查询矩阵q
a
，查询矩阵由模型收到的查询向量不断添加构成，目的是存储模型的输入输出，其具体结构如下：
[0027][0028]
进一步，计算单次查询从训练数据集窃取到的信息量，查询窃取到的信息量为信息相关程度与训练数据集包含信息量的乘积；使用皮尔逊积矩相关系数pcc和模型训练数据集d的信息相关程度；pcc主要度量两个变量之间的线性相关程度；训练数据集d为训练样本组成的集合，训练样本是机器学习模型算法在执行学习任务中使用到的数据；
[0029]
减去查询与查询矩阵之间的重复信息量，最终计算方法如下：
[0030][0031]
其中i
d
代表训练数据集所包含的信息量，代表模型累计收到的查询矩阵所包含的信息量。
[0032]
进一步，计算模型信息泄漏程度，训练数据集由属于不同分类的数据构成，设定训练数据集共有k种不同类数据c，每一类数据c的信息泄漏量可以通过将查询u遍历其特征空间后求得，而该类的信息泄漏程度即为信息泄漏量与自身包含信息量的比值；
[0033]
不同类别数据在训练数据集中占有不同比例，设定第k类数据占数据集的比例为p
k
，最终数据集整体信息泄漏程度可由每类数据集的泄漏程度加权和求得，最终具体的计算方法如下：
[0034][0035]
本发明的另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
[0036]
定义代表特定数据集中包含的信息量的指标；
[0037]
利用信息论中的链式法则将指标展开后计算；
[0038]
定义查询向量拼接收到的攻击查询和模型回复；
[0039]
将向量添加到查询矩阵；
[0040]
计算单次查询从训练数据集窃取到的信息量；
[0041]
计算模型信息泄漏程度。
[0042]
本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
[0043]
定义代表特定数据集中包含的信息量的指标；
[0044]
利用信息论中的链式法则将指标展开后计算；
[0045]
定义查询向量拼接收到的攻击查询和模型回复；
[0046]
将向量添加到查询矩阵；
[0047]
计算单次查询从训练数据集窃取到的信息量；
[0048]
计算模型信息泄漏程度。
[0049]
本发明的另一目的在于提供一种实施所述智能模型信息泄漏程度评估方法的智能模型信息泄漏程度评估系统，所述智能模型信息泄漏程度评估系统包括：
[0050]
指标定义模块，用于定义代表特定数据集中包含的信息量的指标；
[0051]
指标计算模块，用于利用信息论中的链式法则将指标展开后计算；
[0052]
查询和回复模块，用于定义查询向量拼接收到的攻击查询和模型回复；
[0053]
向量添加模块，用于将向量添加到查询矩阵；
[0054]
信息量计算模块，用于计算单次查询从训练数据集窃取到的信息量；
[0055]
信息泄露程度计算模块，用于计算模型信息泄漏程度。
[0056]
结合上述的所有技术方案，本发明所具备的优点及积极效果为：改善目前模型信息泄漏程度评估方法缺少的情形，在数据安全要求较高的场景中对于模型泄漏程度进行有
效提醒，如在线机器学习服务等。同时该方案也可应用于刻画不同模型的训练数据集之间的相似程度。
[0057]
本发明将模型信息泄漏问题转化为模型数据集信息泄漏问题。本发明从智能模型训练数据集出发，考虑到良好的模型需要充足的数据来进行训练，故模型具备的知识来自于其训练数据集所包含的自有信息，因此区别于其它直接对模型或模型输入输出进行评估的方案。
[0058]
本发明定义了查询请求/数据集包含信息量指标，用来判断模型被攻击时收到的敌手请求、模型训练数据集的信息量。设计了一种用于评估模型信息量泄漏程度的计算方法，能够实时准确地计算出当前模型遭受攻击时的信息泄漏程度。同时也可用于两类数据集之间共同信息量的评估。
[0059]
本发明定义了用于评估模型信息量泄漏程度的指标，该指标不受待评定模型种类、复杂度和信息泄漏方式的影响，能够应用于所有智能模型和数据集，除此之外，其具有评估精度高，反馈迅速，无需额外辅助部署等优点。
附图说明
[0060]
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
[0061]
图1是本发明实施例提供的智能模型信息泄漏程度评估方法流程图。
[0062]
图2是本发明实施例提供的智能模型信息泄漏程度评估系统的结构示意图；
[0063]
图2中：1、指标定义模块；2、指标计算模块；3、查询和回复模块；4、向量添加模块；5、信息量计算模块；6、信息泄露程度计算模块。
[0064]
图3是本发明实施例提供的现有方法warning评估效果图。
[0065]
图4是本发明实施例提供的所提方案的评估效果实验对比图。
具体实施方式
[0066]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0067]
针对现有技术存在的问题，本发明提供了一种智能模型信息泄漏程度评估方法、系统、介质、设备，下面结合附图对本发明作详细的描述。
[0068]
如图1所示，本发明提供的智能模型信息泄漏程度评估方法包括以下步骤：
[0069]
s101：定义代表特定数据集中包含的信息量的指标；
[0070]
s102：利用信息论中的链式法则将指标展开后计算；
[0071]
s103：定义查询向量拼接收到的攻击查询和模型回复；
[0072]
s104：将向量添加到查询矩阵；
[0073]
s105：计算单次查询从训练数据集窃取到的信息量；
[0074]
s106：计算模型信息泄漏程度。
[0075]
本发明提供的智能模型信息泄漏程度评估方法业内的普通技术人员还可以采用其他的步骤实施，图1的本发明提供的智能模型信息泄漏程度评估方法仅仅是一个具体实施例而已。
[0076]
如图2所示，本发明提供的智能模型信息泄漏程度评估系统包括：
[0077]
指标定义模块1，用于定义代表特定数据集中包含的信息量的指标；
[0078]
指标计算模块2，用于利用信息论中的链式法则将指标展开后计算；
[0079]
查询和回复模块3，用于定义查询向量拼接收到的攻击查询和模型回复；
[0080]
向量添加模块4，用于将向量添加到查询矩阵；
[0081]
信息量计算模块5，用于计算单次查询从训练数据集窃取到的信息量；
[0082]
信息泄露程度计算模块6，用于计算模型信息泄漏程度。
[0083]
本发明提供的智能模型信息泄漏程度评估方法具体包括以下步骤：
[0084]
(1)定义指标i
m
，用来代表特定数据集m中包含的信息量。m是一个n
×
m的矩阵，代表该数据集中包含有m条数据，每条数据具有n维特征。本发明使用信息论中的信息熵h来计算该指标：
[0085]
i
m
＝h(x1，x2，...，x
n
)
[0086]
其中x
i
(1≤i≤n)代表该数据集中第i维特征空间。
[0087]
(2)利用信息论中的链式法则将指标展开后计算即可求得：
[0088][0089]
(3)定义查询向量u，用来拼接收到的攻击查询q和模型回复z如下：
[0090]
u＝q|z
[0091]
该向量由特征组q和标签z构成(与查询、回复一一对应)，其中特征组q由多个特征x组成。
[0092]
(4)将向量添加到查询矩阵q
a
。查询矩阵由模型收到的查询向量不断添加构成，目的是存储模型的输入输出，其具体结构如下：
[0093][0094]
(5)计算单次查询从训练数据集窃取到的信息量。
[0095]
查询窃取到的信息量为信息相关程度与训练数据集包含信息量的乘积。信息量可由步骤(1)、(2)求得。本发明使用皮尔逊积矩相关系数(pcc)和模型训练数据集d的信息相关程度。
[0096]
pcc主要度量两个变量之间的线性相关程度，在统计学中被应用于各个领域，非常普适且有效。训练数据集d为训练样本组成的集合，训练样本是机器学习模型算法在执行学习任务中使用到的数据(如步骤(4)所示，d的结构和查询矩阵是一致的)。
[0097]
同时考虑到查询之间可能会有重复获取到的信息量，因此需要减去查询与查询矩
阵之间的重复信息量。最终计算方法如下：
[0098][0099]
其中i
d
代表训练数据集所包含的信息量，代表模型累计收到的查询矩阵所包含的信息量(使用步骤(1)、(2)即可计算求得)。
[0100]
(6)计算模型信息泄漏程度。
[0101]
模型拥有的信息都包含在其训练数据集中，故本发明将评估模型信息泄漏问题转化到了评估训练数据集信息泄漏问题。
[0102]
训练数据集由属于不同分类的数据构成，设定训练数据集共有k种不同类数据c。每一类数据c的信息泄漏量可以通过将查询u遍历其特征空间后求得。而该类的信息泄漏程度即为信息泄漏量与自身包含信息量的比值。
[0103]
不同类别数据在训练数据集中占有不同比例，设定第k类数据占数据集的比例为p
k
。所以最终数据集整体信息泄漏程度可由每类数据集的泄漏程度加权和求得，最终具体的计算方法如下：
[0104][0105]
下面结合实验对本发明的技术效果作详细的描述。
[0106]
在实施所提方案之前先构建了本发明被应用到的实际场景。收集了四种不同类型、适用于不同场景的数据集，如表1。
[0107]
表1
[0108]
数据集实例特征维度socialads4015titanic131028emailspam460146mushrooms8124112
[0109]
其中socialads是用来在社交网络中发布广告，需要模型来判断是否有客户因此愿意购买产品；titanic是需要模型来判断船上的乘客是否能获救；emailspam被模型用来判别邮件是否为垃圾邮件；mushrooms需要被判断蘑菇是否可食用。这四种数据集的特征维度各不相同。
[0110]
然后复现了现有的评估方案(warning)，其评估效果如图3所示。其中自变量r代表了模型受到的攻击次数，因变量代表了不同评估方法的的评估效果。从实验结果可以看出，当针对模型的攻击达到opt_r次时即可提取到模型信息的60％，而现有方案需要alarm次才会响应。
[0111]
最后将其与本发明的所提方案(monitor)进行了对比实验。实验效果如图4所示。1-r
test
代表此时模型信息泄漏的真实程度。下表为选出的在emailspam数据集上的评估效果对比为表2：
[0112]
表2
[0113] 信息泄漏程度本发明所提方案现有评估方案r＝1769.90％60.74％29.47％
r＝3689.94％82.38％60.04％
[0114]
如图3所示，在4个不同类型的数据集上分别训练逻辑回归模型(模型算法一致，参数各不相同，符合实际情况)，其中纵坐标均代表逻辑回归模型的被提取程度即信息泄漏程度，横坐标r均代表攻击者发送的攻击查询次数。当针对模型的攻击达到opt_r次时即可提取到模型信息的60％，而现有的模型隐私信息泄漏检测方案warning需要alarm次才会响应，而此时模型实际信息泄漏程度达到了80％以上。
[0115]
如图4所示，在4个不同类型的数据集上分别训练逻辑回归模型(模型算法一致，参数各不相同，符合实际情况)，其中纵坐标均代表逻辑回归模型的被提取程度，横坐标r均代表攻击者发送的攻击查询次数。相比于目前常用的模型隐私信息泄漏检测方案warning，本发明所提方案monitor能够准确检测出逻辑回归模型的信息泄漏程度，且程度描述与模型实际泄漏程度1-r
test
非常贴切。
[0116]
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、cd或dvd-rom的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
[0117]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。