一种图像敏感信息脱敏方法及装置与流程

本说明书一个或多个实施例涉及图像信息技术领域，尤其涉及一种图像敏感信息脱敏方法及装置。

背景技术：

目前，人们对于图像信息的保护越来越重视，图像信息脱敏是一个广泛用于图像信息保护的方法。图像信息脱敏是指对敏感信息通过脱敏规则进行数据变形，实现对敏感信息的保护。

现有的图像脱敏技术，多采用图像模糊、添加水印、添加马赛克等方式进行信息的遮挡，对于图像的敏感信息起到了一定的保护作用。

但是，发明人发现，现有的图像脱敏技术是不可逆的，在去除敏感信息的过程中，也去除了图像本身存在的一部分信息，无法进行图像的二次识别。

技术实现要素：

有鉴于此，本说明书一个或多个实施例的目的在于提出一种图像敏感信息脱敏方法及装置，以解决现有技术中脱敏后的图像无法二次识别的问题。

基于上述目的，本说明书一个或多个实施例提供了一种图像敏感信息脱敏方法，包括：

获得原始图像；

将所述原始图像输入预训练好的目标检测算法模型中，获得原始标识牌图像；

利用透视变换矫正所述原始标识牌图像，获得标识牌矫正图像；将所述标识牌矫正图像输入预训练好的机器学习算法模型中，获得敏感信息；

基于预设的替换规则，替换所述敏感信息，获得标识牌替换图像；

利用透视变换的逆变换处理所述标识牌替换图像，获得原始几何状态下的标识牌替换图像；

将所述原始几何状态下的标识牌替换图像放回所述原始图像，获得脱敏后的替换图像。

作为一种可选的实施方式，所述基于预设的替换规则，替换所述敏感信息，获得标识牌替换图像；利用透视变换的逆变换处理所述标识牌替换图像，获得原始几何状态下的标识牌替换图像；包括：

基于预设的替换规则，替换所述敏感信息，获得标识牌替换图像；

将所述标识牌替换图像进行做旧处理，获得做旧后的标识牌替换图像；

利用透视变换的逆变换处理所述做旧后的标识牌替换图像，获得原始几何状态下的标识牌替换图像。

作为一种可选的实施方式，将所述标识牌替换图像进行做旧处理，获得做旧后的标识牌替换图像，包括

对所述标识牌替换图像进行高斯加噪和/或椒盐加噪处理，获得添加高斯噪声和/或椒盐噪声的标识牌替换图像。

作为一种可选的实施方式，所述目标检测算法模型为yolov3或者yolov4模型；

所述目标检测算法模型的训练方法为：

获取第一训练集，所述第一训练集包括标识有标识牌图像的训练巡检图像；

将所述训练巡检图像输入yolov3或者yolov4模型进行迭代运算，直至达到预设的迭代次数；

获得训练好的yolov3或者yolov4模型。

作为一种可选的实施方式，所述机器学习算法模型为决策树模型；

所述机器学习算法模型的训练方法为：

获取第二训练集，所述第二训练集包括标识有标识信息的标识牌训练图像；

从训练集中选择特征集，以最优的特征集作为第一叶节点，以其它特征集作为第二叶节点或第三叶节点，直至叶节点全部输出或无数据遍历；

获得训练好的决策树模型。

作为一种可选的实施方式，所述敏感信息包括图像标识信息的底色和/或字符的位置和/或文字信息和/或字体和/或字号和/或字体颜色。

与所述获得方法相对应的，本发明实施例还提供了一种图像敏感信息脱敏装置，包括：

第一获取模块，用于获取原始图像；

第一计算模块，用于将所述原始图像输入预训练好的目标检测模型中，获得原始标识牌图像；

矫正模块，用于根据透视变换矫正所述原始标识牌图像，获得标识牌矫正图像；

第二计算模块，用于将所述标识牌矫正图像输入预训练好的机器学习算法模型中，获得敏感信息；

替换模块，用于根据预设的替换规则，替换所述敏感信息，获得标识牌替换图像；

第三计算模块，用于根据透视变换的逆变换处理所述标识牌替换图像，获得原始几何状态下的标识牌替换图像；

输出模块，用于将所述原始几何状态下的标识牌替换图像放回所述原始图像，获得脱敏后的替换图像。

作为一种可选的实施方式，所述目标检测算法模型为yolov3或者yolov4模型；

所述脱敏装置还包括：

第二获取模块，用于获取第一训练集，所述第一训练集包括标识有标识牌图像的训练巡检图像；

第一训练模块，用于将所述第一训练集内的训练巡检图像输入yolov3或者yolov4模型进行迭代运算，直至达到预设的迭代次数；

第一获得模块，用于获得训练好的yolov3或者yolov4模型。

作为一种可选的实施方式，所述机器学习算法模型为决策树模型；

所述脱敏装置还包括：

第三获取模块，用于获取第二训练集，所述第二训练集包括标识有标识信息的标识牌训练图像；

第二训练模块，用于从训练集中选择特征集，以最优的特征集作为第一叶节点，以其它特征集作为第二叶节点或第三叶节点，直至叶节点全部输出或无数据遍历；

第二获得模块，用于获得训练好的决策树模型。

作为一种可选的实施方式，所述敏感信息包括图像标识信息的底色和/或字符的位置和/或文字信息和/或字体和/或字号和/或字体颜色。

作为一种可选的实施方式，所述脱敏装置还包括第四计算模块，所述第四计算模块用于根据高斯加噪和/或椒盐加噪对标识牌替换图像进行处理，获得添加高斯噪声和/或椒盐噪声的标识牌替换图像。

从上面所述可以看出，本说明书一个或多个实施例提供的一种图像敏感信息脱敏方法及装置，不同于现有技术对图像信息的遮挡损坏，本发明实施例通过目标检测算法获得原始标识牌图像，通过透视变换矫正原始标识牌降低了对原始标识牌的采集要求，利用机器学习算法和替换规则获得脱敏后的图像，得到的脱敏后的图像可以进行二次识别。

附图说明

为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书一个或多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本说明书一个或多个实施例的获得方法的示意图；

图2为本说明书一个或多个实施例的获得装置的示意图。

具体实施方式

为使本发明公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，对本发明公开进一步详细说明。

为了实现上述发明目的，本发明实施例提供了一种图像敏感信息脱敏方法，包括：

获得原始图像；

将所述原始图像输入预训练好的目标检测算法模型中，获得原始标识牌图像；

利用透视变换矫正所述原始标识牌图像，获得标识牌矫正图像；将所述标识牌矫正图像输入预训练好的机器学习算法模型中，获得敏感信息；

基于预设的替换规则，替换所述敏感信息，获得标识牌替换图像；

利用透视变换的逆变换处理所述标识牌替换图像，获得原始几何状态下的标识牌替换图像；

将所述原始几何状态下的标识牌替换图像放回所述原始图像，获得脱敏后的替换图像。

本发明实施例中，针对原始图像，利用目标检测算法模型提取出其中的原始标识牌图像，利用透视变换对其进行矫正，获得标识牌矫正图像，再通过机器学习算法获得标识牌的敏感信息，通过预设的替换规则替换敏感信息，获得标识牌替换图像，将标识牌替换图像逆变换后放回原始图像中，获得脱敏后的替换图像，有效的实现了对原始图像中的敏感信息的脱敏，而且当需要二次识别图像中的敏感信息时，结合替换规则和替换后的标识牌替换图像，即可获得原始标识牌图像，实现敏感信息的二次识别。

请参考图1，本发明实施例提供了一种图像敏感信息脱敏方法，包括：

s100、获取原始图像。

可选的，所述原始图像通过无人机巡检时，无人机上携带的拍摄设备拍摄获得。

s200、将所述原始图像输入预训练好的目标检测算法模型中，获得原始标识牌图像。

作为一种可选的实施方式，所述目标检测模型为yolov3或者yolov4模型；

所述目标检测算法模型的训练方法为：

获取第一训练集，所述第一训练集包括标识有标识牌图像的训练巡检图像；

将所述训练巡检图像输入yolov3或者yolov4模型进行迭代运算，直至达到预设的迭代次数；

获得训练好的yolov3或者yolov4模型。

以yolov4为例，其主要包括如下几个部分：

输入一张图片，经过主干特征提取网络的cspdarknet53会提取到3个初始特征层用于目标检测，三个初始特征层位于cspdarknet53的不同位置，它们的shape分别为(608,608,32)、(304,304,64)、(152,152,128)，这三个特征层分别用来检测小、中等大小以及较大的目标；

由cspdarknet53提取得到3个初始特征层之后经过一定的处理，会得到3个有效的特征层，shape分别为(76,76,256)、(38,38,512)、(19,19,1024)；yolov4将spp结构参杂在对cspdarknet53的最后一个特征层的卷积中，在对cspdarknet53的最后一个特征层进行三次darknetconv2d_bn_leaky卷积后，分别利用四个不同尺度的最大池化进行处理，最大池化的池化核大小分别为13x13、9x9、5x5、1x1(1x1为无处理)，这样可以极大地增加感受野以分离出最显著的上下文特征；同时，yolov4模型通过对三个有效特征层使用panet结构，实现对特征层从上到下特征的反复提取；

yolov4模型经过对目标对象的特征提取后，利用yolov3head对获取的特征进行预测，得到三个有效特征层的预测结果，相应的shape数据也随之得出，并可明确3个预测框的位置；但这个预测结果并不对应着最终的预测框在原图片上的位置，还需要对每个特征层进行解码。解码后可获取预测框在原图片上的位置，这些预测框再经过相关算法筛选方可绘制在原图片上；

以上过程可完成yolov4目标检测的最终呈现效果。

s300、利用透视变换矫正所述原始标识牌图像，获得标识牌矫正图像；将所述标识牌矫正图像输入预训练好的机器学习算法模型中，获得敏感信息。

作为一种可选的实施方式，所述机器学习算法模型为决策树模型；

所述机器学习算法模型的训练方法为：

获取第二训练集，所述第二训练集包括标识有标识信息的标识牌训练图像；

从训练集中选择特征集，以最优的特征集作为第一叶节点，以其它特征集作为第二叶节点或第三叶节点，直至叶节点全部输出或无数据遍历；

获得训练好的决策树模型。

s400、基于预设的替换规则，替换所述敏感信息，获得标识牌替换图像；

作为一种可选的实施方式，所述敏感信息包括图像标识信息的底色和/或字符的位置和/或文字信息和/或字体和/或字号和/或字体颜色；

在替换的同时，不改变图像的底色、字符的位置、字体、字号以及字体颜色。

s500、利用透视变换的逆变换处理所述标识牌替换图像，获得原始几何状态下的标识牌替换图像；

作为一种可选的实施方式，所述利用透视变换的逆变换处理所述标识牌替换图像，主要是寻找世界坐标系相应和图像坐标系之间的对应关系，从而根据已有图像信息，结合相机的姿态和内外参数恢复三维世界某一平面的信息。

从现实世界到图像平面之间点与点的对应关系主要经过如下几个步骤：首先世界坐标系(xw,yw,zw)经平移和旋转后可得到摄像机坐标系(xc,yc,zc)，其次摄像机坐标系经过透视投影得到图像坐标系(x,y,z)，最后图像坐标系经空间采样得到屏幕坐标系(u,v)。整个过程的数学模型如下：

其中，k为相机的内参数矩阵，f为相机焦距，θ为v轴与y轴所成角度，fu、fv分别为像素在x、y轴上物理尺寸的倒数，r为3×3旋转矩阵，t为平移矢量，k、r、t均可由相机标定得到。

由上式可知，能由景物点的三维世界坐标(xw,yw,zw)可以得到二维屏幕点坐标(u,v)，反之无法实现。但如果已知景物点三维坐标中的某一维，则可由二维屏幕点坐标推出该景物点三维坐标中的另外两维坐标。

令zw＝0，带入(式1)，则有：

此时可求xw,yw分量：

经上述变换后，虽丢失了zw分量的信息，但对于xwyw平面上物体的形状特征得到了保持，并根据一定比例关系，将其映射到二维图像上，从而可以得到逆透视投影图像。

由于单位像素所表示的实际距离不同,需通过任意选取一对平行于u轴的点,依据(式3)计算得到它们在世界坐标系中沿xw方向的实际距离差δx，并给它在目标图像中分配相应的像素数n,则可得比例λ。取xwyw中某一点(xw0,yw0)作为变换基点，从而得到逆透视投影变换公式并完成透视变换逆变换：

从数学原理上面来讲，透视变换逆变换就是一个能用齐次坐标描述的正面投影，通过透视变换逆变换可消除相邻图像视角过大等问题从而消除图像的透视形变。

s600、将所述原始几何状态下的标识牌替换图像放回所述原始图像，获得脱敏后的替换图像。

需要说明的是，本说明书一个或多个实施例的方法可以由单个设备执行，例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下，由多台设备相互配合来完成。在这种分布式场景的情况下，这多台设备中的一台设备可以只执行本说明书一个或多个实施例的方法中的某一个或多个步骤，这多台设备相互之间会进行交互以完成所述的方法。

基于上面所述杆塔标识牌结构化数据获得方法的任意一个实施例，本发明还提供了一种图像敏感信息脱敏装置，如图2所示，包括：

第一获取模块10，用于获取原始图像；

第一计算模块20，用于将所述原始图像输入预训练好的目标检测模型中，获得原始标识牌图像；

矫正模块30，用于根据透视变换矫正所述原始标识牌图像，获得标识牌矫正图像；

第二计算模块40，用于将所述标识牌矫正图像输入预训练好的机器学习算法模型中，获得敏感信息；

替换模块50，用于根据预设的替换规则，替换所述敏感信息，获得标识牌替换图像；

第三计算模块60，用于根据透视变换的逆变换处理所述标识牌替换图像，获得原始几何状态下的标识牌替换图像；

输出模块70，用于将所述原始几何状态下的标识牌替换图像放回所述原始图像，获得脱敏后的替换图像。

本发明实施例中，针对原始图像，能够根据原始图像定位出原始标识牌图像，通过透视变换将原始标识牌图像矫正，获得标识牌矫正图像，再通过机器学习算法获得标识牌的敏感信息，接下来通过替换标识牌敏感信息，获得标识牌替换图像，通过透视变换的逆变换获得脱敏后的替换图像。本发明实施例中，不同于其他图像脱敏方法对图像进行信息的遮挡，其他图像脱敏方法无法进行图像的二次识别且脱敏位置容易识别，本发明中的脱敏方法能进行脱敏信息的二次识别且脱敏位置难以识别，通过对于图像的矫正降低了对于图像采集的要求，提高了工作的效率。

作为一种可选的实施方式，所述目标检测算法模型为yolov3或者yolov4模型；

所述脱敏装置还包括：

第二获取模块，用于获取第一训练集，所述第一训练集包括标识有标识牌图像的训练巡检图像；

第一训练模块，用于将所述第一训练集内的训练巡检图像输入yolov3或者yolov4模型进行迭代运算，直至达到预设的迭代次数；

第一获得模块，用于获得训练好的yolov3或者yolov4模型。

作为一种可选的实施方式，所述机器学习算法模型为决策树模型；

所述脱敏装置还包括：

第三获取模块，用于获取第二训练集，所述第二训练集包括标识有标识信息的标识牌训练图像；

第二训练模块，从训练集中选择特征集，以最优的特征集作为第一叶节点，以其它特征集作为第二叶节点或第三叶节点，直至叶节点全部输出或无数据遍历；

第二获得模块，用于获得训练好的决策树模型。

作为一种可选的实施方式，所述脱敏装置还包括第四计算模块，所述第四计算模块用于根据高斯加噪和/或椒盐加噪对标识牌替换图像进行处理，获得添加高斯噪声和/或椒盐噪声的标识牌替换图像。

需要说明的是，除非另外定义，本说明书一个或多个实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本说明书一个或多个实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本公开的范围(包括权利要求)被限于这些例子；在本公开的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的本说明书一个或多个实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。

本说明书一个或多个实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此，凡在本说明书一个或多个实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本公开的保护范围之内。