一种基于深度学习的影像相似度数据清洗方法及系统与流程

1.本发明涉及影像数据处理领域,具体涉及一种基于深度学习的影像相似度数据清洗方法及系统。


背景技术：

2.2010年，hinton在icml上发表了文章《rectified linear units improve restricted boltzmann machines》，论文中使用siamese architecture结构来构建模型，在给定一对人脸时，该模型分别应用于两个人脸，并使用一个固定的对称函数将两个对应的特征向量组合成一个对输入顺序不变的表示形式，两张脸是同一个人的概率被计算为这个表示的输出。整个系统，包括在两个面上复制的特征提取器，可以联合学习。简单来说，将两个人脸输入卷积神经网络，输出same or different。该论文已经用人脸进行了验证实验，实验结果很好。传统的用于影像区分的分类方法是需要确切知道每个样本属于哪个类，需要针对每个样本有确切的标签。而且相对来说标签的数量是不会太多的。当类别数量过多，每个类别的样本数量又相对较少的情况下，这些方法就不那么适用了。对于整个数据集来说，数据量是有的，但是对于每个类别来说，可以只有几个样本，如果用分类算法去做的话，由于每个类别的样本太少，难以训练出好的效果。特别是在电力行业，业务场景多样，电力设备繁多，缺陷故障类型繁杂，拍摄的影像中代表性数据不突出，导致训练结果效果不明显，分类效果不好。
3.在不同的应用场景下，同一样本的识别难度不同；在同一应用场景下，不同样本由于形态等因素的不同，识别难度也相差甚远。如何针对不同缺陷目标来筛选高适应度的数据是一大难点。
4.现有的人工智能自动化标注技术多是通过人力根据相应的标注标准完成的，不仅人工成本高、效率低下，而且容易产生重复操作，造成资源的极大浪费，随着人工智能技术的不断发展，科研投入的不断增加，未来数据标注技术将由现在的手工标注转化为“人工+机器”式的标注模式；随着人工智能技术的发展，无监督自学习技术突破，数据标注模式转变为全自动式标注模式。
5.当影像数据需要清洗时，数据标注存在问题，有时已经影响到模型训练效果，特别是在电力领域，大数据环境下影像数据量快速的积累，要想分析出海量影像数据所蕴含的价值，筛选出有价值的数据十分重要。而数据筛选在整个数据处理流程中处于至关重要的地位。数据筛选的目的是为了提高之前收集存储的相关数据的可用性，更利于后期影像数据分析。


技术实现要素：

6.为了解决人力标注成本高，效率低下，容易产生重复操作的问题，本发明提供了一种基于深度学习的影像相似度数据清洗方法，包括：
7.获取影像数据，并对所述影像数据进行处理得到成对的影像数据；
8.将所述成对的影像数据输入到预先训练好的融合网络模型中，得到所述成对的影像数据的相似性度量值；
9.由所述成对的影像数据的相似性度量值对所述影像数据进行聚类完成数据清洗；
10.其中，所述预先训练好的融合网络模型是基于成对的影像数据结合包含损失项和正则化项的学习目标函数对双支卷积神经网络进行训练得到的。
11.优选的，所述融合网络模型的训练包括：
12.获取影像数据；
13.对所述影像数据进行处理，得到成对的影像数据；
14.并对所述成对的影像数据按照相似度的大小划分正样本和负样本，并分别对正样本和负样本设置相似度量值；
15.将所述正样本和所述负样本分别作为双支卷积神经网络的输入，将所述正样本和所述负样本对应的相似度量值分别作为双支卷积神经网络的输出，以损失项和正则化项作为学习目标函数，对所述双支卷积神经网络的进行训练，得到训练好的融合网络模型。
16.优选的，所述将所述成对的影像数据输入到预先训练好的融合网络模型中，得到所述成对的影像数据的相似性度量值包括：
17.将所述成对的影像数据通过双支卷积神经网络从原始空间映射到低维度目标空间；
18.基于所述低维度目标空间中的成对的影像数据结合所述学习目标函数得到所述成对的影像数据的相似性度量值。
19.优选的，所述由所述成对的影像数据的相似性度量值对所述影像数据进行聚类完成数据清洗包括：
20.若所述相似性度量值达到预先设定的值则对成对的影像数据进行聚类，完成清洗，否则去除影像数据。
21.优选的，所述学习目标函数按下式计算：
[0022][0023]
式中，w为神经网络的权重；为第i个训练影像的输出神经元；yi为相应的标签。
[0024]
基于同一发明构思本发明还提供了一种基于深度学习的影像相似度数据清洗系统，包括：
[0025]
获取模块，用于获取影像数据，并对所述影像数据进行处理得到成对的影像数据；
[0026]
输入模块，用于将所述成对的影像数据输入到预先训练好的融合网络模型中，得到所述成对的影像数据的相似性度量值；
[0027]
聚类模块，由所述成对的影像数据的相似性度量值对所述影像数据进行聚类完成数据清洗；
[0028]
其中，所述预先训练好的融合网络模型是基于成对的影像数据结合包含损失项和正则化项的学习目标函数对双支卷积神经网络进行训练得到的。
[0029]
优选的，所述融合网络模型的训练包括：
[0030]
获取影像数据；
[0031]
对所述影像数据进行处理，得到成对的影像数据；
[0032]
并对所述成对的影像数据按照相似度的大小划分正样本和负样本，并分别对正样本和负样本设置相似度量值；
[0033]
将所述正样本和所述负样本分别作为双支卷积神经网络的输入，将所述正样本和所述负样本对应的相似度量值分别作为双支卷积神经网络的输出，以损失项和正则化项作为学习目标函数，对所述双支卷积神经网络的进行训练，得到训练好的融合网络模型。
[0034]
优选的，所述输入模块具体用于：
[0035]
将所述成对的影像数据通过双支卷积神经网络从原始空间映射到低维度目标空间；
[0036]
基于所述低维度目标空间中的成对的影像数据结合所述学习目标函数得到所述成对的影像数据的相似性度量值。
[0037]
优选的，所述学习目标函数按下式计算：
[0038][0039]
式中，w为神经网络的权重；为第i个训练影像的输出神经元；yi为相应的标签。
[0040]
与现有技术相比，本发明的有益效果为：
[0041]
本发明提供了一种基于深度学习的影像相似度数据清洗方法，包括：获取影像数据，并对所述影像数据进行处理得到成对的影像数据；将所述成对的影像数据输入到预先训练好的融合网络模型中，得到所述成对的影像数据的相似性度量值；由所述成对的影像数据的相似性度量值对所述影像数据进行聚类完成数据清洗；其中，所述预先训练好的融合网络模型是基于成对的影像数据结合包含损失项和正则化项的学习目标函数对双支卷积神经网络进行训练得到的。本发明采用了融合网络结合损失函数的方法，解决了人力标注成本高，效率低下，容易产生重复操作的问题，实现了对相同场景下的类似部件进行聚类，提高了效率和准确率。
附图说明
[0042]
图1是本发明提供的一种基于深度学习的影像相似度数据清洗方法的流程图；
[0043]
图2是本发明的siamese network技术流程图；
[0044]
图3是本发明的pseudo-siamese网络结构图；
[0045]
图4是本发明2-channel网络结构图；
[0046]
图5是本发明正、负样本数据集图；
[0047]
图6是本发明的特征提取过程图；
[0048]
图7是本发明的正样本训练过程图；
[0049]
图8是本发明的负样本训练过程图；
[0050]
图9是本发明的单幅图片预测图。
具体实施方式
[0051]
为了更好地理解本发明，下面结合说明书附图和实例对本发明的内容做进一步的
说明。
[0052]
实施例1：本发明提供一种基于深度学习的影像相似度数据清洗方法,如图1所示，包括：
[0053]
步骤1：获取影像数据，并对所述影像数据进行处理得到成对的影像数据；
[0054]
步骤2：将所述成对的影像数据输入到预先训练好的融合网络模型中，得到所述成对的影像数据的相似性度量值；
[0055]
步骤3：由所述成对的影像数据的相似性度量值对所述影像数据进行聚类完成数据清洗；
[0056]
其中，所述预先训练好的融合网络模型是基于成对的影像数据结合包含损失项和正则化项的学习目标函数对双支卷积神经网络进行训练得到的。
[0057]
步骤1中对获取影像数据，并对所述影像数据进行处理得到成对的影像数据，具体包括：
[0058]
针对基于siamese network影像相似度数据清洗技术，制定siamese network技术流程，如图2所示：
[0059]
首先预处理电力图像数据集，形成数据成对的训练样本集；
[0060]
在步骤2之前还包括：
[0061]
融合网络模型的训练包括：
[0062]
获取影像数据；
[0063]
对所述影像数据进行处理，得到成对的影像数据；
[0064]
并对所述成对的影像数据按照相似度的大小划分正样本和负样本，并分别对正样本和负样本设置相似度量值；
[0065]
将所述正样本和所述负样本分别作为双支卷积神经网络的输入，将所述正样本和所述负样本对应的相似度量值分别作为双支卷积神经网络的输出，以损失项和正则化项作为学习目标函数，对所述双支卷积神经网络的进行训练，得到训练好的融合网络模型。
[0066]
以强监督的方式训练模型，使用以下包含损失项和l2范数正则化项来作为学习目标函数：
[0067][0068]
上式中，第一部分是正则项，采用l2正则项，第二部分是误差损失，其中，其中w是神经网络的权重，是第i个训练影像的输出神经元，yi是相应的标签。
[0069]
下面对融合网络模型的训练进行详细介绍：
[0070]
(1)数据整理：
[0071]
将数据集分为正样本和负样本，并打好标签，用于模型的构建和参数的调整，如图5所示。
[0072]
(2)特征提取：
[0073]
针对每一个类型部件，分别进行特征提取，如图6所示。
[0074]
(3)训练神经网络：
[0075]
训练神经网络分别对正负样本进行训练，如图7和图8所示。
[0076]
训练完的模型便可以用来做输电部件的相似度清洗。
[0077]
步骤2中对所述成对的影像数据输入到预先训练好的融合网络模型中，得到所述成对的影像数据的相似性度量值，具体包括：
[0078]
将所述成对的影像数据通过双支卷积神经网络从原始空间映射到低维度目标空间；
[0079]
输入样本数据进入网络模型，在siamese network中完成图像数据的特征提取工作，将电力图像数据映射至低维空间内，融合网络中训练时采用contrastive loss函数；
[0080]
基于所述低维度目标空间中的成对的影像数据结合所述学习目标函数得到所述成对的影像数据的相似性度量值。
[0081]
最后以样本相似性为度量标准，判定成对的图像数据是否一致。
[0082]
(1)为了判别样本a和样本b是否相似或者计算相似度，需要将这两张图片分别输入到cnn模型中。
[0083]
(2)为了从头开始生成图片相似度函数，即不尝试使用任何手动设计的特征，而是直接从带注释的原始图像对中学习该函数，因此采用深度卷积神经网络来训练。
[0084]
(3)将上一步得到的两个特征向量直接输送到决策网络，通过计算损失函数和相似度。
[0085]
(4)输出相似度或者判别结果。
[0086]
siamese网络类似于有一个描述符的想法，分支网络中权值共享。分别将成对的图像数据集输入至分支网络，经过卷积、激活和池化等步骤，分支网络输出结果并送至顶层的决策网络。siamese网络的分支可以被视为描述符计算模块，顶部网络可以被视为相似函数。
[0087]
基于siamese network影像相似度的数据清洗技术主要包括两个基本的模型：pseudo-siamese网络和2-channel网络。
[0088]
(1)pseudo-siamese网络
[0089]
从复杂性角度来说，pseudo-siamese网络可以被认为介于siamese和2-channel网络之间。但其仅siamese network的网络结构相同，分支网络权值不共享。以增加的调参数量换取了网络结构上的灵活性，在二者之前举得一个均衡的水平。但是，在数据测试阶段时保持了与siamese network相同的效率，如图3所示。
[0090]
(2)2-channel网络
[0091]
在2-channel网络中，输入的图像对数据被直接处理成双通道图像数据，在网络层中完成卷积，并直接将卷积输出结果作为顶层决策网络的输入。相较于其他网络，2-channel网络中的顶层决策网络仅包含一个输出的全连接线性决策层，因此网络结构具备更高的灵活性。此外，它的训练速度很快，但通常在测试时它对硬件要求更高，因为它需要以暴力求解的方式来相互测试所有图像对，如图4所示。
[0092]
步骤3中对由所述成对的影像数据的相似性度量值对所述影像数据进行聚类完成数据清洗具体包括：
[0093]
若所述相似性度量值达到预先设定的值则对成对的影像数据进行聚类，完成清洗，否则去除影像数据。
[0094]
将数据集分为正样本和负样本，并打好标签，用于模型的构建和参数的调整，如图5所示。
[0095]
实施例2：
[0096]
基于同一种发明构思，本发明还提供了一种基于深度学习的影像相似度数据清洗系统，包括：
[0097]
获取模块，用于获取影像数据，并对所述影像数据进行处理得到成对的影像数据；
[0098]
输入模块，用于将所述成对的影像数据输入到预先训练好的融合网络模型中，得到所述成对的影像数据的相似性度量值；
[0099]
聚类模块，由所述成对的影像数据的相似性度量值对所述影像数据进行聚类完成数据清洗；
[0100]
其中，所述预先训练好的融合网络模型是基于成对的影像数据结合包含损失项和正则化项的学习目标函数对双支卷积神经网络进行训练得到的。
[0101]
获取模块具体用于：
[0102]
获取影像数据，并对所述影像数据进行处理得到成对的影像数据；
[0103]
首先预处理电力图像数据集，形成数据成对的训练样本集；将数据集分为正样本和负样本，并打好标签，用于模型的构建和参数的调整。
[0104]
输入模块具体用于：
[0105]
将所述成对的影像数据输入到预先训练好的融合网络模型中，得到所述成对的影像数据的相似性度量值；
[0106]
将所述成对的影像数据通过双支卷积神经网络从原始空间映射到低维度目标空间；
[0107]
基于所述低维度目标空间中的成对的影像数据结合所述学习目标函数得到所述成对的影像数据的相似性度量值。
[0108]
输入样本数据进入网络模型，在siamese network中完成图像数据的特征提取工作，将电力图像数据映射至低维空间内，融合网络中训练时采用contrastive loss函数；最后以样本相似性为度量标准，判定成对的图像数据是否一致。为了判别样本a和样本b是否相似或者计算相似度，需要将这两张图片分别输入到cnn模型中。
[0109]
聚类模块具体用于：
[0110]
由所述成对的影像数据的相似性度量值对所述影像数据进行聚类完成数据清洗；
[0111]
将得到的两个特征向量直接输送到决策网络，通过计算损失函数和相似度。输出相似度或者判别结果。针对每一个类型部件，分别进行特征提取，提取后采用训练神经网络分别对正负样本进行训练，训练完的模型便可以用来做输电部件的相似度清洗。
[0112]
其中，所述融合网络模型的训练包括：
[0113]
获取影像数据；
[0114]
对所述影像数据进行处理，得到成对的影像数据；
[0115]
并对所述成对的影像数据按照相似度的大小划分正样本和负样本，并分别对正样本和负样本设置相似度量值；
[0116]
将所述正样本和所述负样本分别作为双支卷积神经网络的输入，将所述正样本和所述负样本对应的相似度量值分别作为双支卷积神经网络的输出，以损失项和正则化项作为学习目标函数，对所述双支卷积神经网络的进行训练，得到训练好的融合网络模型。
[0117]
以强监督的方式训练模型，使用以下包含损失项和l2范数正则化项来作为学习目
标函数：
[0118][0119]
上式中，第一部分是正则项，采用l2正则项，第二部分是误差损失，其中，其中w是神经网络的权重，是第i个训练影像的输出神经元，yi是相应的标签。
[0120]
将数据集分为正样本和负样本，并打好标签，用于模型的构建和参数的调整。
[0121]
实施例3：
[0122]
下面实施例是对本发明更加详细的介绍。
[0123]
训练完的模型可以用来做小样本预测(one-shot prediction)，预测实验结果如下图所示，可看出该模型能从众多负样本中筛选出同类的部件，如图9所示。
[0124]
(1)理论指标
[0125]
指标数学定义如下所示(以均压环为正样本为例)：
[0126]
tp(true positives)：正样本被正确识别为正样本，例如均压环图片被正确识别为均压环。
[0127]
tn(true negatives)：负样本被正确识别为负样本，例如线夹的图片没有被识别出来，但模型识别结果正确。
[0128]
fp(false positives)：负样本被错误识别为正样本，即假的正样本，例如线夹的图片被错误地识别成了均压环。
[0129]
fn(false negatives)：正样本被错误识别为负样本，即假的负样本，例如均压环的图片没有被识别出来，模型错误地认为它们是线夹。
[0130]
精确率：在识别出来的图片中，所占的比率。所有被识别出来的均压环中，真正的均压环所占的比例。计算公式为：
[0131][0132]
召回率：测试集中所有正样本样例中，被正确识别为正样本的比例。被正确识别出来的均压环个数与测试集中所有真实均压环的个数的比值。计算公式为：
[0133][0134]
(2)指标分析
[0135]
以均压环、防震锤和线夹为典型部件，分别对2-channel网络结构和pseudo-siamese网络结构进行实验，以200张测试样本作为测试集，分别计算准确率和召回率实验结果如下。
[0136]
三种部件的效果指标
[0137]
[0138]
从上表可以看出，基于siamese network的影像数据清洗技术具有很高的准确率，可以从海量数据中筛选出均压环、防震锤等目标部件，能够满足对人工收集的数据样本库进行类似样本聚类，以提炼代表性数据。同时，不同的网络结构其准确率亦不相同，可以根据需求制定不同的网络结构进行数据清洗。
[0139]
显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0140]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0141]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0142]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0143]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0144]
以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。