基于关键区域动态分析的图片隐私风险预测方法与系统、模型训练方法与系统

1.本发明涉及深度学习领域，特别涉及一种基于关键区域动态分析的图片隐私风险预测方法与系统、模型训练方法与系统。


背景技术：

2.社交网络已成为日常生活的一部分，人们已习惯于每天在社交网络上发布大量图片，用于记录和分享生活。据统计，每天在instagram和facebook上分别有超过1亿和3亿张图片被上传。从2014年以后，图片取代纯文本，成为用户中最流行的一种分享形式。
3.然而，分享的图片中带有大量信息，可能会泄漏用户的隐私。因此，便捷的图片分享也带来了关于隐私泄露的问题。分享的图片可能被恶意利用，甚至导致一些严重后果。此外，利用数据挖掘、信息检索等技术，更多隐含的信息可能被发掘出来。
4.社交网络平台允许用户设置内容的可见度以保护用户隐私，然而还是存在用户无意间分享会泄露隐私的图片的可能。尽管人们对于何种图片会泄露隐私有一定的共识，然而用户实际对图片的隐私设置和他们的期望之间存在差异，这是由于用户在面对图片而非具体的隐私内容时，常常会低估待分享图片的隐私风险。因此，图片隐私这一问题正引起越来越多的关注，并且对于上述问题，需要一种帮助用户减少图片分享时泄露隐私风险的方法来解决。
5.在现有技术中，一种有效的方法是推断用户分享图片中的隐私风险，识别出可能泄露隐私的图片，并加以预警。其中，一部分现有方法利用图片整体信息，使用机器学习方法进行分类，缺乏可解释性及对本任务的针对性；另一部分现有方法基于物体检测，找出涉及隐私的物体，进一步融合这些物体的特征进行预警，但受限于预定义物体的类别，难以应对预定义列表外物体导致的图像隐私泄漏。


技术实现要素：

6.针对以上存在的问题，本发明的主要目的在于提出一种基于关键区域动态分析的图片隐私风险预测方法与系统、模型训练方法与系统，能够自动关注图片中的关键元素，如物体、场景、纹理等信息，并且动态构建关键元素之间的关联，预测图片的隐私风险，并对高隐私风险的图片加以预警，提醒用户谨慎上传。
7.为了实现上述目的，本发明提出了一种基于关键区域动态分析的图片隐私风险预测模型训练方法，包括：步骤1，提取训练数据集中的图片的初步特征；步骤2，将所述初步特征进行聚类以获得所述图片的多个关键区域及其特征；步骤3，基于所述多个关键区域的特征，利用神经网络学习所述图片的多个关键区域的相关性矩阵；步骤4，根据所述相关性矩阵融合所述多个关键区域的特征以获得所述图片的融合特征；步骤5，基于所述融合特征预测所述图片的隐私风险。
8.上述的基于关键区域动态分析的图片隐私风险预测模型训练方法，其中，所述训
练数据集中的图片分类为公开图片和隐私图片，其中所述公开图片被标注为0，所述隐私图片被标注为1。
9.上述的基于关键区域动态分析的图片隐私风险预测模型训练方法，其中，所述步骤2包括：步骤21，利用所述训练数据集预训练隐私预测分类模型；步骤22，将所述图片在所述隐私预测分类模型用于分类前的最后一个特征图在通道维度进行聚类以获得所述多个关键区域；步骤23，将所述多个关键区域对应的所述初步特征进行加权平均以获得所述多个关键区域的特征。
10.上述的基于关键区域动态分析的图片隐私风险预测模型训练方法，其中，所述步骤4包括：步骤41，利用所述多个关键区域的特征初始化图神经网络的多个节点，利用所述相关性矩阵初始化所述图神经网络的关联矩阵；步骤42，利用所述图神经网络融合所述多个关键区域的特征以获得所述图片的融合特征。
11.上述的基于关键区域动态分析的图片隐私风险预测模型训练方法，其中，所述步骤5包括：步骤51，将所述图片的融合特征与所述图片的整体特征进行拼接以获得所述图片的拼接特征；步骤52，基于所述拼接特征预测所述图片的隐私风险。
12.为了实现上述目的，本发明提出了一种基于关键区域动态分析的图片隐私风险预测模型训练系统，包括：特征提取模块，用于提取训练数据集中的图片的初步特征；关键区域捕获模块，用于将所述初步特征进行聚类以获得所述图片的多个关键区域及其特征；相关性学习模块，用于基于所述多个关键区域的特征，利用神经网络学习所述图片的多个关键区域的相关性矩阵；特征融合模块，用于根据所述相关性矩阵融合所述多个关键区域的特征以获得所述图片的融合特征；隐私风险预测模块，用于基于所述融合特征预测所述图片的隐私风险。
13.上述的基于关键区域动态分析的图片隐私风险预测模型训练系统，其中，所述训练数据集中的图片分类为公开图片和隐私图片，其中所述公开图片被标注为0，所述隐私图片被标注为1。
14.上述的基于关键区域动态分析的图片隐私风险预测模型训练系统，其中，所述关键区域捕获模块包括：模型预训练模块，用于利用所述训练数据集预训练隐私预测分类模型；关键区域获取模块，用于将所述图片在所述隐私预测分类模型用于分类前的最后一个特征图在通道维度进行聚类以获得所述多个关键区域；关键特征获取模块，用于将所述多个关键区域对应的所述初步特征进行加权平均以获得所述多个关键区域的特征。
15.上述的基于关键区域动态分析的图片隐私风险预测模型训练系统，其中，所述特征融合模块具体用于：利用所述多个关键区域的特征初始化图神经网络的多个节点，利用所述相关性矩阵初始化所述图神经网络的关联矩阵；利用所述图神经网络融合所述多个关键区域的特征以获得所述图片的融合特征。
16.上述的基于关键区域动态分析的图片隐私风险预测模型训练系统，其中，所述隐私风险预测模块具体用于：将所述图片的融合特征与所述图片的整体特征进行拼接以获得所述图片的拼接特征；基于所述拼接特征预测所述图片的隐私风险。
17.为了实现上述目的，本发明提出了一种基于关键区域动态分析的图片隐私风险预测方法，包括：将目标图片输入上述的基于关键区域动态分析的图片隐私风险预测模型训练方法训练得到图片隐私风险预测模型以输出所述图片的隐私风险值；根据所述隐私风险
值判断所述目标图片的隐私风险。
18.为了实现上述目的，本发明提出了一种基于关键区域动态分析的图片隐私风险预测系统，其特征在于，包括：隐私风险值预测模块，用于将目标图片输入上述的基于关键区域动态分析的图片隐私风险预测模型训练方法训练得到图片隐私风险预测模型以输出所述图片的隐私风险值；隐私风险判断模块，用于根据所述隐私风险值判断所述目标图片的隐私风险。
19.为了实现上述目的，本发明提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现上述的基于关键区域动态分析的图片隐私风险预测模型训练方法和/或上述的基于关键区域动态分析的图片隐私风险预测方法。
20.为了实现上述目的，本发明提出了一种电子设备，包括：处理器和存储器，所述存储器内存储有可在所述处理器运行的计算机程序，当所述计算机程序被所述处理器执行时，实现上述的基于关键区域动态分析的图片隐私风险预测模型训练方法和/或上述的基于关键区域动态分析的图片隐私风险预测方法。
21.以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
附图说明
22.图1为本发明一实施例的基于关键区域动态分析的图片隐私风险预测模型训练方法的流程图。
23.图2为本发明一实施例的基于关键区域动态分析的图片隐私风险预测模型训练方法的架构图。
24.图3为本发明一实施例的基于关键区域动态分析的图片隐私风险预测模型训练系统的模块图。
具体实施方式
25.下面结合附图对本发明的结构原理和工作原理作具体的描述：
26.本发明的目的在于对社交网络用户将要上传的图片进行隐私风险预测，并对高隐私风险图片进行预警，提醒用户谨慎上传。
27.在本发明的技术方案中，具有以下关键点：
28.第一，动态关键区域捕获。为摆脱已有方法对目标检测框架的依赖，获取图片中对于隐私风险判断起关键性作用的区域，如关键物体、场景特征、背景纹理等区域的信息，设计了基于特征图聚类的关键区域捕获方法。
29.第二，动态关系构建。对于上述获得的关键区域，基于每张图片单独得到，已有的基于数据集统计的方法无法用于单独构建每张图片中关键区域之间的关联。因此，本发明设计了基于自注意力机制的动态关系构建方法，用于得到关键区域之间的关联程度。
30.第三，动态区域感知的图网络特征融合。已有图神经网络只能利用固定的图结构融合节点特征。基于上述第一、第二关键点，本发明提出一种动态区域感知的图卷积网络，用于动态融合每张图片的关键区域的特征。
31.第四，隐私风险预测与预警。基于前三个关键点，获得基于每张图片关键区域的融合特征，最后与图片的整体表示进行拼接，用于预测图片的隐私风险，找出高隐私风险的图
片并进行预警。
32.参见图1及图2所示，本发明的实施例提出一种基于关键区域动态分析的图片隐私风险预测模型训练方法100，其包括：步骤s110～s150。其中：
33.步骤s110，提取训练数据集中的图片的初步特征。
34.在本实施例中，所述训练数据集例如通过在应用图片隐私风险预测的平台上收集图片并构建，将收集的图片进行分类，包括公开图片和隐私图片；并且，对收集的图片进行相应的标注，使其具有相应的标签，公开图片被标注为0，隐私图片被标注为1。然而，本发明对训练数据集的获取方式并不予以限制，也可采用其方式获得，例如利用现有公开的其他标注过的图片隐私数据集。
35.对于获取的训练数据集中的图片，可利用神经网络提取其初步特征，例如使用resnet获取图片的卷积特征。
36.步骤s120，将所述初步特征进行聚类以获得所述图片的多个关键区域及其特征。
37.在本实施例中，为获得图片中的关键区域，同时摆脱其他工作对目标检测框架的依赖，本发明设计了关键区域捕获方法：使用获得的训练数据集，图片的隐私/公开标签，及预训练一个预测隐私分类模型(例如resnet神经网络)，将该预训练的预测隐私分类模型用于分类前的最后一个特征图在通道维度进行进行聚类，使各通道特征图中的峰值响应区域接近的通道聚合成n类，得到n个关键区域。其中，为了使用神经网络拟合这一聚类结果进行端到端的训练，输入图片的初始特征(fb)，使用多层全连接网络(例如图2中的cgl)进行训练，使cgl的结果近似于特征图的聚类结果，其值表示了各个通道属于n个区域中的哪一个，从而可以得到初始特征(fb)中哪些通道表示同一个区域，对这些通道的图片的初始特征进行加权平均即可得到该区域的特征。对所有的n个通道进行同样的处理，即利用端到端训练的cgl结果与图片的初始特征(fb)进行加权求和，可得到n个关键区域的特征(fw)。
38.步骤s130，基于所述多个关键区域的特征，利用神经网络学习所述图片的多个关键区域的相关性矩阵。
39.在上述步骤s120中得到的关键区域会动态变化，因此无法利用基于数据集统计的方法预先定义。因此，本发明提出如下方法：基于上述步骤s120得到的n个关键区域的特征(fw)，利用神经网络学习n个关键区域的相关性矩阵a(如图2所示以self-attention机制为例)，其中a为n行n列的矩阵，矩阵中的每个值代表对应两个关键区域的相关性程度。
40.步骤s140，根据所述相关性矩阵融合所述多个关键区域的特征以获得所述图片的融合特征。
41.现有的图神经网络只能利用固定的图结构融合节点特征。基于上述步骤，本发明设计了一种动态初始化图神经网络的方法：利用获得的n个关键区域的特征(fw)初始化图神经网络的n个节点，利用n个关键区域的相关性矩阵a初始化图神经网络的关联矩阵；从而可以使用常规的图神经网络(如图2所示以gcn为例)进行n个关键区域的特征融合以获得图片的融合特征(fp)。
42.步骤s150，基于所述融合特征预测所述图片的隐私风险。
43.在本实施例中，优选的，为防止遗漏图片中的其他信息，融合特征(fp)与图像的整体特征具有相同尺寸、不同的通道数，将融合特征(fp)与图像的整体特征在通道维度进行拼接以得到图片的拼接特征，而后基于该拼接特征并利用全连接神经网络层给出二分类的
判断，预测图片是否存在泄漏隐私的风险。
44.以下为与上述方法实施例对应的系统实施例，本实施系统可与上述实施方式互相配合实施。上述施方式中提到的相关技术细节在本实施系统中依然有效，为了减少重复，这里不再赘述。相应地，本实施系统中提到的相关技术细节也可应用在上述实施方式中。
45.参见图3所示，基于相同的发明构思，本发明的实施例提出一种基于关键区域动态分析的图片隐私风险预测模型训练系统200，包括：
46.特征提取模块210，用于提取训练数据集中的图片的初步特征；
47.关键区域捕获模块220，用于将所述初步特征进行聚类以获得所述图片的多个关键区域及其特征；
48.相关性学习模块230，用于基于所述多个关键区域的特征，利用神经网络学习所述图片的多个关键区域的相关性矩阵；
49.特征融合模块240，用于根据所述相关性矩阵融合所述多个关键区域的特征以获得所述图片的融合特征；
50.隐私风险预测模块250，用于基于所述融合特征预测所述图片的隐私风险。
51.在本发明的一实施方式中，所述训练数据集中的图片分类为公开图片和隐私图片，其中所述公开图片被标注为0，所述隐私图片被标注为1。
52.在本发明的一实施方式中，所述关键区域捕获模块包括：
53.模型预训练模块，用于利用所述训练数据集预训练隐私预测分类模型；
54.关键区域获取模块，用于将所述图片在所述隐私预测分类模型用于分类前的最后一个特征图在通道维度进行聚类以获得所述多个关键区域；
55.关键特征获取模块，用于将所述多个关键区域对应的所述初步特征进行加权平均以获得所述多个关键区域的特征。
56.在本发明的一实施方式中，所述特征融合模块具体用于：利用所述多个关键区域的特征初始化图神经网络的多个节点，利用所述相关性矩阵初始化所述图神经网络的关联矩阵；利用所述图神经网络融合所述多个关键区域的特征以获得所述图片的融合特征。
57.在本发明的一实施方式中，所述隐私风险预测模块具体用于：将所述图片的融合特征与所述图片的整体特征进行拼接以获得所述图片的拼接特征；基于所述拼接特征预测所述图片的隐私风险。
58.承接上述，当通过上述方法的关键区域动态分析的图片隐私风险预测模型训练完成后，例如可部署为api用于各类网络社交平台的图片隐私风险预测。对于待判断的目标图片，经过动态区域分析后，例如可以给出0到1图片的隐私风险值，其中数值越高表明图片的隐私风险越高。
59.基于相同的发明构思，本发明的实施例提出了一种基于关键区域动态分析的图片隐私风险预测方法，包括：
60.将目标图片输入上述实施例的基于关键区域动态分析的图片隐私风险预测模型训练方法训练得到图片隐私风险预测模型以输出所述图片的隐私风险值；根据所述隐私风险值判断所述目标图片的隐私风险。
61.基于相同的发明构思，本发明的实施例提出了一种基于关键区域动态分析的图片隐私风险预测系统，包括：
62.隐私风险值预测模块，用于将目标图片输入上述的基于关键区域动态分析的图片隐私风险预测模型训练方法训练得到图片隐私风险预测模型以输出所述图片的隐私风险值；
63.隐私风险判断模块，用于根据所述隐私风险值判断所述目标图片的隐私风险。
64.基于相同的发明构思，本发明的实施例提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现上述的基于关键区域动态分析的图片隐私风险预测模型训练方法和/或上述的基于关键区域动态分析的图片隐私风险预测方法。
65.基于相同的发明构思，本发明的实施例提出了一种电子设备，包括：处理器和存储器，所述存储器内存储有可在所述处理器运行的计算机程序，当所述计算机程序被所述处理器执行时，实现上述的基于关键区域动态分析的图片隐私风险预测模型训练方法和/或上述的基于关键区域动态分析的图片隐私风险预测方法。
66.当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。