一种基于电网数据采集的数据脱敏方法及系统与流程

本发明属于电力数据处理领域，具体涉及基于电网数据采集的数据脱敏方法及系统。

背景技术：

目前，由国家电网内部兴建的大数据平台存储大量电力营销数据、电力调度数据、个人用电信息等敏感数据。这些数据涉及到个人隐私和公司机密，数据在产生、传输、存储、处理以及使用等各环节且缺乏有效的处理机制，存在隐私泄露的隐患，用户隐私信息的泄露和国家电网内部敏感数据的泄露，直接造成国家电网声誉和经济的双重损失。

另一方面，大量的电力数据需要挖掘分析，过于封锁屏藏数据无疑是对大数据平台的浪费，如何在信息便捷传递共享的基础上，对数据进行合理的处理，使数据隐私保护和数据挖掘分析达成合理的平衡点，也是当下需要重点解决的问题。

传统的数据脱敏或隐私保护方法通常利用正则匹配建立相关的规则对隐私数据进行匹配，然后采用相同或相近的方式对涉及隐私的数据进行脱敏。随着电网智能化和测量精度的不断提高，传统依赖于专家的领域知识去制定的正则匹配规则已无法满足多维度、多种数据类型的数据脱敏需求。而如果脱敏方法固定，也容易被高算力的破解，导致数据泄露。

技术实现要素：

为提高脱敏数据的安全性，自动适应不同的数据请求，在本发明的第一方面提供了一种基于电网数据采集的数据脱敏方法，包括：获取多维电力数据并识别出其中的敏感数据；根据每种敏感数据的各个数据项的频数绘制频数直方图，并根据其拟合第一分布曲线；利用训练完成的生成式对抗神经网络，生成与第一分布曲线的分布距离低于阈值的第二分布曲线；根据所述第二分布曲线和拉普拉斯噪声，返回多维数据的外部请求中的敏感数据。

在本发明的一些实施例中，所述获取多维电力数据并识别出其中的敏感数据包括如下步骤：

根据每种敏感数据的正则表达式识别多维电力数据中的敏感数据；

利用自然语言处理模型自动识别多维电力数据中的敏感数据。

在本发明的一些实施例中，所述生成式对抗神经网络通过如下步骤训练：获取多种敏感数据的第一分布曲线，并根据其建立训练集；构建生成网络，所述生成网络根据训练集生成第二分布曲线；构建判别网络，所述判别网络判断第二分布曲线来自训练集的概率；利用第二分布曲线与第一分布曲线的分布距离确定优化函数；根据所述优化函数优化生成式对抗神经网络，直至所述成式对抗神经网络的误差低于阈值。

进一步的，所述优化函数为：

；

其中表示对括号内的表达式求期望，x~pdata（x）表示训练集，z~pz(z)表示第二分布曲线的集合，x、y、z分别表示第一曲线、第一分布曲线与第二曲线的分布距离、第二曲线;d(x|y)表示第二分布曲线来自训练集的概率，d(g(z|y))表示z来自训练集的概率。

在本发明的一些实施例中，所述第二分布曲线和拉普拉斯噪声，返回多维数据的外部请求中的敏感数据包括：根据多维数据的外部请求确定其敏感数据的保护等级，并根据其确定拉普拉斯噪声区间；从拉普拉斯噪声区间随机取值作为第二分布曲线的隐私预算，利用生成式对抗神经网络生成敏感数据的镜像。

在上述的实施例中，还包括根据返回多维数据的外部请求中的敏感数据及其对应的非敏感数据返回外部请求。

本发明的第二方面，提供了一种基于电网数据采集的数据脱敏系统，包括获取模块、拟合模块、生成模块和返回模块，所述获取模块，用于获取多维电力数据并识别出其中的敏感数据；所述拟合模块，用于根据每种敏感数据的各个数据项的频数绘制频数直方图，并根据其拟合第一分布曲线；所述生成模块，用于利用训练完成的生成式对抗神经网络，生成与第一分布曲线的分布距离低于阈值的第二分布曲线；所述返回模块，用于根据所述第二分布曲线和拉普拉斯噪声，返回多维数据的外部请求中的敏感数据。

进一步的，所述生成模块包括生成网络和判别网络，所述生成网络根据训练集生成第二分布曲线；所述判别网络判断第二分布曲线来自训练集的概率。

在本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现实现本发明第一方面提供的基于电网数据采集的数据脱敏方法。

在本发明的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本发明第一方面提供的基于电网数据采集的数据脱敏方法。

本发明的有益效果是：

1.通过自然语言处理（nlp）模型实现敏感数据的自动识别，减少了通过人工制定复杂的规则来识别敏感数据，提高了灵活性和扩展性；

2.本发明通过生成式对抗神经网络（gan，generativeadversarialnet）动态生成敏感数据的近似分布，再结合拉普拉斯噪声实现了不同敏感度数据的脱敏，满足了不同数据应用场景的需求；

3.通过分布距离和拉普拉斯噪声共同确定敏感数据的镜像输出，在保证原始敏感数据的安全性同时，保留了数据的分布特征，从而满足不同数据应用场景下的需求。

附图说明

图1为本发明的一些实施例中的基于电网数据采集的数据脱敏方法的基本流程示意图；

图2为本发明的一些实施例中的生成式对抗神经网络的结构示意图；

图3为本发明的一些实施例中的基于电网数据采集的数据脱敏系统的结构示意图；

图4为本发明的一些实施例中的电子设备的基本结构图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

参考图1，在本发明的第一方面提供了一种基于电网数据采集的数据脱敏方法，包括：s100.获取多维电力数据并识别出其中的敏感数据；s200.根据每种敏感数据的各个数据项的频数绘制频数直方图，并根据其拟合第一分布曲线；s300.利用训练完成的生成式对抗神经网络，生成与第一分布曲线的分布距离低于阈值的第二分布曲线；s400.根据所述第二分布曲线和拉普拉斯噪声，返回多维数据的外部请求中的敏感数据。

可以理解，多维电力数据通常对应于某个公司、个人或集体的电费、计量、业务扩展、线损、用检、稽查、服务等，多维数据的外部请求包括单户查询、聚集查询、统计报表、数据分析、数据发布等。

在本发明的一些实施例的步骤s100中，所述获取多维电力数据并识别出其中的敏感数据包括如下步骤：s101.根据每种敏感数据的正则表达式识别多维电力数据中的敏感数据；s102.利用自然语言处理模型自动识别多维电力数据中的敏感数据。

示意性地，敏感数据可以为如经纬度、姓名、银行账号、身份证号码、电话号码(包括手机号码和固定电话号码)、单位名称、地址、性别、证件类型等涉及到用户隐私或业务配置的数据。以敏感数据为手机号码为例，可以根据手机号码各段的意义来设置正则表达式，一般情况下，手机号码各段的意义分别为：前三位数字表示运营商，中间四位数字表示区域号，后四位数字表示顺序号。因此，根据手机号各段的意义设置的正则表达式可以为：^(13[0-9]|14[5|7]|15[0|1|2|3|5|6|7|8|9]|18[0|1|2|3|5|6|7|8|9])\d{8}$；而证件类型的通常正则表达式为：^\d{15}|\d{18}$。

通常涉及业务配置的数据往往难以以一个正则表达式表示，因此，进一步的，在步骤s102中，可以利用tf-idf构建包括上述正则表达式以及业务配置的关键词，以动态扩充隐私数据的规则库。

在本发明的一些实施例的步骤s200中，由于多维数据的数据类型多样性，包括字符串、数字、序列等，为了便于用绘制将各种类型的敏感数据频数直方图（频率直方图），通过聚类的方法设置一个或多个聚类中心，然后通过相应的距离，将单个离散的数据标准化或归一化，得到每种敏感数据各个数据项的频数或频率。聚类的方法包括k-means、均值漂移聚类、基于密度的聚类方法(dbscan)、高斯混合模型（gmm）的最大期望（em）聚类、凝聚层次聚类、图团体检测(graphcommunitydetection)聚类等。

参考图2，在本发明的一些实施例的s300中，所述生成式对抗神经网络通过如下步骤训练：s301.获取多种敏感数据的第一分布曲线，并根据其建立训练集；s302.构建生成网络，所述生成网络根据训练集生成第二分布曲线；构建判别网络，所述判别网络判断第二分布曲线来自训练集的概率；s303.利用第二分布曲线与第一分布曲线的分布距离确定优化函数；s304.根据所述优化函数优化生成式对抗神经网络，直至所述成式对抗神经网络的误差低于阈值。

进一步的，所述优化函数为：

；

其中表示对括号内的表达式求期望，x~pdata（x）表示训练集，z~pz(z)表示第二分布曲线的集合，x、y、z分别表示第一曲线、第一分布曲线与第二曲线的分布距离、第二曲线;d(x|y)表示第二分布曲线来自训练集的概率，d(g(z|y))表示z来自训练集的概率。需要说明的是，上述步骤s301至s304并未明确的先后顺序，步骤之间可以串行或并行执行。

可选的，分布距离通过计算交叉熵、推土机距离计算；优选的，采用wasserstein距离计算第二分布曲线与第一分布曲线的分布距离。可以理解，wassersteindistance衡量了把数据从分布“移动成”分布时所需要移动的平均距离的最小值（类似于把一堆土从一个形状移动到另一个形状所需要做的功的最小值），即就是wasserstein距离在最优路径规划下的最小消耗。wessertein距离相比kl散度和js散度的优势在于，即使两个分布的支撑集没有重叠或者重叠非常少，仍然能反映两个分布的远近。而js散度在此情况下是常量，kl散度可能无意义。

在本发明的一些实施例中，所述第二分布曲线和拉普拉斯噪声，返回多维数据的外部请求中的敏感数据包括：根据多维数据的外部请求确定其敏感数据的保护等级，并根据其确定拉普拉斯噪声区间；从拉普拉斯噪声区间随机取值作为第二分布曲线的隐私预算，利用生成式对抗神经网络生成敏感数据的镜像。

可选的，上述拉普拉斯噪声通过拉普拉斯（laplace）分布的概率密度函数p(x)确定。具体地，p(x)如下：

；

一般取μ=0，即：；其中，p(x)的取值范围用分布距离表征，其中，δf是多维数据的敏感度函数,ε表示第二分布曲线的隐私预算。

由于上述实施例最终生成的是敏感数据的镜像，因此需要对外部请求所对应返回结果的非隐私数据进行不同方式的匹配或拼合，从而满足不同应用场景的需求。

在应用差分隐私进行隐私保护中，需要处理的数据主要分为两大类，一类是数值型的数据，比如说数据集中用电量的；另外一类是非数值型的数据，比如用户的付费周期。这两者，主体分别是数量(连续数据)和付费周期(离散数据：月付、日服、季付、年付)；对于数值型的数据，一般采用laplace或者高斯机制，对得到数值结果加入随机噪声即可实现差分隐私；而对于非数值型的数据，一般采用指数机制并引入一个打分函数，对每一种可能的输出都得到一个分数，归一化之后作为查询返回的概率值。比如现在有，将数量作为打分函数，那么得到对应输出概率为，当接收到一个查询之后，就以对应的概率值返回结果。

进一步的，上述拉普拉斯噪声也可替换为差分隐私（dp，differentialprivacy）的其他形式的噪声，例如高斯分布噪声、指数分布噪声等。

实施例2

参考图4，本发明的第二方面，提供了一种基于电网数据采集的数据脱敏系统1，包括获取模块11、拟合模块12、生成模块13和返回模块14，所述获取模块11，用于获取多维电力数据并识别出其中的敏感数据；所述拟合模块12，用于根据每种敏感数据的各个数据项的频数绘制频数直方图，并根据其拟合第一分布曲线；所述生成模块13，用于利用训练完成的生成式对抗神经网络，生成与第一分布曲线的分布距离低于阈值的第二分布曲线；所述返回模块14，用于根据所述第二分布曲线和拉普拉斯噪声，返回多维数据的外部请求中的敏感数据。

进一步的，所述生成模块13包括生成网络和判别网络，所述生成网络根据训练集生成第二分布曲线；所述判别网络判断第二分布曲线来自训练集的概率。

实施例3

本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明第一方面提供的基于电网数据采集的数据脱敏方法。

参考图4，电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(rom)502中的程序或者从存储装置508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、rom502以及ram503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。

通常以下装置可以连接至i/o接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置507；包括例如硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图4示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图4中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从rom502被安装。在该计算机程序被处理装置501执行时，执行本公开的实施例的方法中限定的上述功能。需要说明的是，本公开的实施例所描述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个计算机程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++、python、go，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。