图像数据清理方法、装置、电子设备及可读存储介质与流程

1.本技术涉及计算机技术领域，特别是涉及一种图像数据清理方法、装置、电子设备及可读存储介质。


背景技术：

2.随着图像采集设备如数码相机和互联网的飞速发展，图像数据大幅增长，方便计算机视觉任务和机器学习任务收集大量的图像样本数据。不可避免的，在图像收集过程中通常会出现大量近乎相同的图像，完全相同或近似相同的图像造成图像的重复，这些重复图像不仅对丰富数据集贡献很小，还会浪费大量的存储空间，而且在训练网络模型时还极易导致过拟合，降低了网络模型的泛化性。因此，识别多场景中海量图像数据库的重复数据并删除这些重复图像就很有必要了，数据处理过程的图像去重技术作为解决上述问题的有效手段应用而生。
3.传统的图像去重方法基于图像处理，其采用不同的手工特征描述符如hog，sift，orb等，来提取特征向量或特征图。其中一些复杂的程序还在特征图上生成视觉词袋。查询图像和数据库中其他图像之间的特征向量或视觉词袋的相似性度量通常使用k最近邻算法和欧氏距离度量来实现。这类方法经常具有高计算复杂度的繁琐流程设计。手工设计的特征描述符在某些复杂场景中无法生成足够辨识力的特征表示。视觉词袋虽利用了局部特征，却丢失了图像几何结构的信息。因此，传统方法通常对变化多端和复杂的视觉场景鲁棒性不强。为了解决传统图像去重方法的弊端，相关技术基于深度学习进行图像去重。基于深度学习的方法主要采用预训练网络的深度卷积层作为特征提取器，可以配备全局池化层或全连接层来生成由局部和全局特征图组成的辨识力强深度图像表征。
4.然而，深度表征通常会导致高维特征向量，这无疑会增加相似性度量过程的计算需求。所以合理的特征压缩且尽可能保留有价值的信息一直是该方法的重要挑战。而对于带有类标签的数据集，通过监督深度度量学习来训练深度排名网络，以计算成对相似度。这种方法需要较长的监督训练阶段和人工标注可用的类别标签，不适合广泛的大量无标记数据集场景。此外，如图1所示，不论是基于图像处理的常规方法，还是基于深度学习的方法均是采取先建库再去重的框架设计和单阈值分析的去重策略，这种方法存在去重耗时长，建库去重不同步，调参不灵活，易导致去重效果欠佳或过度等缺点。
5.鉴于此，如何高效、高质量的实现对图像数据的去重处理，是所属领域技术人员需要解决的技术问题。


技术实现要素：

6.本技术提供了一种图像数据清理方法、装置、电子设备及可读存储介质，实现高效、高质量的图像数据去重处理。
7.为解决上述技术问题，本发明实施例提供以下技术方案：
8.本发明实施例一方面提供了一种图像数据清理方法，包括：
9.预先基于无全连接层的预训练深度卷积网络和数据压平层构建特征提取模型，并创建索引库；所述索引库用于存储图像数据清理过程中满足入库条件的待处理图像的图像特征向量，且各图像特征向量具有索引值；
10.调用所述特征提取模型提取待处理图像的深度特征向量，并通过无监督的降维方法将所述深度特征向量转换为压缩特征向量；
11.通过将所述压缩特征向量与非空的索引库中各图像特征向量进行相似性比对，得到所述待处理图像的相似度检索信息；
12.基于所述相似度检索信息和清理条件确定所述待处理图像是输入至所述索引库还是进行清理；所述清理条件为根据所述相似度检索信息与相似度阈值、图像距离阈值之间的数值关系所确定。
13.可选的，所述相似度检索信息包括最高相似度和所述最高相似度对应的图像索引值；所述基于所述相似度检索信息和清理条件确定所述待处理图像是输入至所述索引库还是进行清理的过程，包括：
14.若所述最高相似度小于最小相似度阈值，则将所述压缩特征向量添加至所述索引库，并为所述压缩特征向量设置相应的索引值；若所述最高相似度大于最大相似度阈值，则清理所述待处理图像；
15.若所述最高相似度大于等于所述最小相似度阈值、且小于等于所述最大相似度阈值，则计算所述待处理图像和所述图像索引值对应的候选相似图像之间的图像距离值；
16.若所述图像距离值大于所述图像距离阈值，则将所述压缩特征向量添加至所述索引库，并为所述压缩特征向量设置相应的索引值；若所述图像距离值不大于所述图像距离阈值，清理所述待处理图像。
17.可选的，所述待处理图像为图像采集设备被固定时所捕获，所述计算所述待处理图像和所述图像索引值对应的候选相似图像之间的图像距离值的过程，包括：
18.计算所述待处理图像和所述候选相似图像之间的差异图；
19.将所述差异图转换为灰度图，并对所述灰度图进行平滑处理，得到平滑图；
20.对所述平滑图进行图像二值化处理，得到二值图；
21.根据所述二值图的总像素点和非零像素点数计算得到所述图像距离值。
22.可选的，所述待处理图像为图像采集设备在移动过程中所捕获，所述计算所述待处理图像和所述图像索引值对应的候选相似图像之间的图像距离值的过程，包括：
23.分别计算所述待处理图像和所述候选相似图像的全局特征图；
24.计算所述待处理图像和所述候选相似图像之间的差异特征图；
25.对所述差异特征图进行平滑处理，得到平滑特征图；
26.对所述平滑特征图进行图像二值化处理，得到二值特征图；
27.根据所述二值特征图中非零项的数量占比得到所述图像距离值。
28.可选的，所述通过将所述压缩特征向量与非空的索引库中各图像特征向量进行相似性比对，得到所述待处理图像的相似度检索信息的过程，包括：
29.判断所述索引库是否为空；
30.若所述索引库为空，则将所述压缩特征向量添加至所述索引库，并为所述压缩特征向量设置相应的索引值；
31.若所述索引库不为空，对所述索引库中的每个图像特征向量，计算所述压缩特征向量与当前图像特征向量之间的相似度；
32.从各相似度中选择数值最大的相似度，作为所述待处理图像与所述索引库的最高相似度；
33.根据所述最高相似度与所述最高相似度对应的图像特征向量的索引值生成所述相似度检索信息。
34.可选的，所述待处理图像为图像数据库的输出图像；所述基于所述相似度检索信息和清理条件确定所述待处理图像是输入至所述索引库还是进行清理之后，还包括：
35.若所述图像数据库停止输出图像，根据所述索引库包含的所有图像特征向量对应的索引值生成非重复图像列表；
36.基于所述非重复图像列表对所述图像数据库进行图像清理，得到不包含重复图像的目标图像库。
37.可选的，所述得到不包含重复图像的目标图像库之后，还包括：
38.将所述目标图像库作为训练样本数据集；
39.利用所述目标图像库执行机器学习模型的训练任务。
40.本发明实施例另一方面提供了一种图像数据清理装置，包括：
41.模型构建模块，用于预先基于无全连接层的预训练深度卷积网络和数据压平层构建特征提取模型；
42.索引库创建模块，用于预先创建索引库；所述索引库用于存储图像数据清理过程中满足入库条件的待处理图像的图像特征向量，且各图像特征向量具有索引值；
43.特征提取模块，用于调用所述特征提取模型提取待处理图像的深度特征向量，并通过无监督的降维方法将所述深度特征向量转换为压缩特征向量；
44.图像检索模块，用于通过将所述压缩特征向量与非空的索引库中各图像特征向量进行相似性比对，得到所述待处理图像的相似度检索信息；
45.图像清理模块，用于基于所述相似度检索信息和清理条件确定所述待处理图像是输入至所述索引库还是进行清理；所述清理条件为根据所述相似度检索信息与相似度阈值、图像距离阈值之间的数值关系所确定。
46.本发明实施例还提供了一种电子设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述图像数据清理方法的步骤。
47.本发明实施例最后还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前任一项所述图像数据清理方法的步骤。
48.本技术提供的技术方案的优点在于，通过无监督的降维方法将采用无全连接层的预训练深度卷积网络模型提取的图像特征向量进行压缩，不要求数据集带有标签，无须进行有监督训练，可适用于复杂多变的大规模数据场景；而且无监督降维压缩深度特征向量提升了特征向量索引库检索时的效率，有效提高整个图像去重效率。索引库的建立过程和图像去重操作同步执行，无须在去重操作前先建立非重复样本图像的特征向量索引库，当索引库最终建成时，去重结果也随之完成。图像统计距离分析与预训练深度卷积网络形成互补效应，通过二次分析筛选近重复的图像，能够增强去重结果的质量，同时计算复杂度低，可适用于固定摄像机捕获和移动摄像机捕获的数据集场景。使用去重后的数据集进行
训练模型，有利于降低过拟合和过参数化的风险，有利于提高模型的泛化性和鲁棒性。
49.此外，本发明实施例还针对图像数据清理方法提供了相应的实现装置、电子设备及可读存储介质，进一步使得所述方法更具有实用性，所述装置、电子设备及可读存储介质具有相应的优点。
50.应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
51.为了更清楚的说明本发明实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
52.图1为本发明实施例提供的一种相关技术中的图像清理方法的流程示意图；
53.图2为本发明实施例提供的一种图像数据清理方法的流程示意图；
54.图3为本发明实施例提供的另一种图像数据清理方法的流程示意图；
55.图4为本发明实施例提供的图像数据清理装置的一种具体实施方式结构图；
56.图5为本发明实施例提供的电子设备的一种具体实施方式结构图。
具体实施方式
57.为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
58.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
59.在介绍了本发明实施例的技术方案后，下面详细的说明本技术的各种非限制性实施方式。
60.首先参见图2，图2为本发明实施例提供的一种图像数据清理方法的流程示意图，本发明实施例可包括以下内容：
61.s201：预先基于无全连接层的预训练深度卷积网络和数据压平层构建特征提取模型，并创建索引库。
62.本步骤的预训练深度卷积网络是指利用相关技术中已经训练好且性能好的网络模型，例如mobilenet，nasnetmobile，efficientnet等，预训练深度卷积网络通常会公布在开源平台的。在构建本实施例的特征提取模型时，将预训练深度卷积网络的全连接层去掉，在预训练深度卷积网络的输出端添加数据压平层，便生成了本技术的特征提取模型。数据压平层用于将预训练深度卷积网络提取输入图像的多维特征图转换为一维特征也即深度特征向量，也就是把(height，width，channel)的数据压缩成长度为height
×
width
×
channel的一维数组，数据压平层例如可为flatten层。
63.本步骤的创建操作是指新建一个空的数据库，类似新建一个文件夹，通过后续s102
‑
s103步骤实现图像数据清理过程中逐渐建立该索引库，建立过程即是向索引库添加数据的过程。索引库用于存储图像数据清理过程中满足入库条件的待处理图像的图像特征向量，索引库中的每个图像特征向量都具有唯一的索引值，索引值用于表示图像特征向量和图像之间的对应关系，索引值例如可为图像id。入库条件是指索引库中不存在与待处理图像相似或类似相同或完全相同的图像的特征向量。待处理图像为用于执行数据清理的对象，待处理图像一般来源于图像数据库，相应的，待处理图像也即对图像数据库执行图像去重的对象。在该实施例中，图像数据库存储大量原始图像的库，索引库为存储图像数据库中满足入库条件的原始图像的图像特征向量的库。
64.s202：调用特征提取模型提取待处理图像的深度特征向量，并通过无监督的降维方法将深度特征向量转换为压缩特征向量。
65.在本步骤中，将待处理图像输入特征提取模型，特征提取模型的预训练卷积神经网络对待处理图像进行图像特征提取，并将提取的多维特征输入至数据压平层，数据压平层将多维图像特征转换为一维图像特征输出，也即得到待处理图像的深度特征向量。无监督的降维方法包括但并不限制于主成分分析(pca)，独立成分分析(ica)或随机投影(rp)。采用无监督压缩处理深度特征向量之后，得到压缩特征向量，该过程不要求数据集带有标签，无须进行有监督训练。基于压缩深度特征向量执行图像检索任务，可有效提升特征向量索引库检索时的效率。
66.s203：通过将压缩特征向量与非空的索引库中各图像特征向量进行相似性比对，得到待处理图像的相似度检索信息。
67.可以理解的是，索引库在s101步骤被创建时，是一个空的数据库。要执行相似性比对，索引库至少要包含一个图像特征向量，若当前索引库为空，则直接待处理图像对应的图像特征向量也即s102中的压缩特征向量直接添加至索引库中。若当前索引库为空，则将压缩特征向量分别与索引库中的每个图像特征向量进行相似度比对，可利用诸如k最近邻算法和距离度量方法对压缩特征向量执行相似度检索，距离度量方法包括但并不限制于欧几里得距离，余弦相似度。作为一种可选的实施方式，该步骤执行过程可为：判断索引库是否为空；若索引库为空，则将压缩特征向量添加至索引库，并为压缩特征向量设置相应的索引值；若索引库不为空，对索引库中的每个图像特征向量，计算压缩特征向量与当前图像特征向量之间的相似度。在将待处理图像的压缩特征向量与索引库中的各图像特征向量进行相似性比对后，可确定索引库中与待处理图像相似度最高的目标图像，为了便于区别，可称该目标图像为候选相似图像。相似度检索信息包括索引库中与待处理图像相似度最高的图像信息。具体的，该过程可为：计算压缩特征向量分别与索引库中每个图像特征向量的相似度，从各相似度中选择数值最大的相似度，作为待处理图像与索引库的最高相似度；根据最高相似度与最高相似度对应的图像特征向量的索引值生成相似度检索信息。
68.s204：基于相似度检索信息和清理条件确定待处理图像是输入至索引库还是进行清理。
69.在本步骤中，清理条件可为根据相似度检索信息与相似度阈值、图像距离阈值之间的数值关系所确定。如果是将待处理图像输入至索引库，就表明索引库中不存在与待处
理图像相似或相同的图像，如果是将待处理图像清理，证明索引库中已经存在与待处理图像相似或相同的图像，也就是说之前已经处理过与待处理图像相似或相同的图像了，待处理图像即为之前图像的重复图像。本技术在判断索引库中的图像与待处理图像是否相似不仅基于相似度阈值，还基于二者之间的图像距离，通过双重标准提高相似图像检索准确度，从而提高图像清理清理的准确度，进而提升图像去重准确度。
70.在本发明实施例提供的技术方案中，通过无监督的降维方法将采用无全连接层的预训练深度卷积网络模型提取的图像特征向量进行压缩，不要求数据集带有标签，无须进行有监督训练，可适用于复杂多变的大规模数据场景；而且无监督降维压缩深度特征向量提升了特征向量索引库检索时的效率，有效提高整个图像去重效率。索引库的建立过程和图像去重操作同步执行，无须在去重操作前先建立非重复样本图像的特征向量索引库，当索引库最终建成时，去重结果也随之完成。图像统计距离分析与预训练深度卷积网络形成互补效应，通过二次分析筛选近重复的图像，能够增强去重结果的质量，同时计算复杂度低，可适用于固定摄像机捕获和移动摄像机捕获的数据集场景。使用去重后的数据集进行训练模型，有利于降低过拟合和过参数化的风险，有利于提高模型的泛化性和鲁棒性。
71.在上述实施例中，对于如何执行步骤s204并不做限定，本实施例以相似度检索信息包括最高相似度和最高相似度对应的图像索引值为例，给出待处理图像的一种数据处理方法，可包括如下步骤：
72.若最高相似度小于最小相似度阈值，则将压缩特征向量添加至索引库，并为压缩特征向量设置相应的索引值；
73.若最高相似度大于最大相似度阈值，则清理待处理图像；
74.若最高相似度大于等于最小相似度阈值、且小于等于最大相似度阈值，则计算待处理图像和图像索引值对应的候选相似图像之间的图像距离值；
75.若图像距离值大于图像距离阈值，则将压缩特征向量添加至索引库，并为压缩特征向量设置相应的索引值；若图像距离值不大于图像距离阈值，清理待处理图像。
76.在本实施例中，最小相似度阈值小于最大相似度阈值，相似度越小，证明相比较的两张图像越不相似，相似度越大，证明相比较的两张图像越相似。所以若压缩特征向量与索引库的最相似图像的图像特征向量的相似度仍然小于最小相似度阈值，那么证明索引库中不存在与待处理图像相似的图像。若压缩特征向量与索引库的最相似图像的图像特征向量的相似度大于最大相似度阈值，那么证明索引库中存在与待处理图像相似乃至完全相同的图像。而若压缩特征向量与索引库的最相似图像的图像特征向量的相似度介于最小相似度阈值和最大相似度阈值，证明索引库中可能存在与待处理图像相似的图像，本实施例对该种情况通过图像距离进行进一步相似性判断。可以理解的是，对于物理参数完全相同的图像采集设备，在其固定时所采集图像的图像质量必定优于其在移动过程中所采集图像的图像质量，不同图像质量的两种图像的图像距离必然会被增大，为了提高图像相似性判断的精准度，本技术还分别针对不同的应用场景提高了相应的图像距离计算方式，可包括下述内容：
77.在待处理图像为图像采集设备被固定时所捕获的应用场景，待处理图像和图像索引值对应的候选相似图像之间的图像距离值的过程可包括：
78.计算待处理图像和候选相似图像之间的差异图；将差异图转换为灰度图，并对灰
度图进行平滑处理，诸如高斯平滑，得到平滑图；对平滑图进行图像二值化处理，诸如最大类间方差法，得到二值图；根据二值图的总像素点和非零像素点数计算得到图像距离值。
79.在待处理图像为图像采集设备在移动过程中所捕获的应用场景，待处理图像和图像索引值对应的候选相似图像之间的图像距离值的过程可包括：
80.分别计算待处理图像和候选相似图像的全局特征图；计算待处理图像和候选相似图像之间的差异特征图；对差异特征图进行平滑处理，得到平滑特征图；对平滑特征图进行图像二值化处理，得到二值特征图；根据二值特征图中非零项的数量占比得到图像距离值。
81.由上可知，本实施例通过设计三个关键超参数最大相似度阈值，最小相似度阈值和图像距离阈值形成了多阈值组合分析，增大了超参数选择的自由度，为各规模的图像数据集提供了相对灵活的去重调参空间。图像统计距离分析算法与预训练深度卷积网络形成互补效应，通过二次分析筛选近重复的图像，能够增强去重结果的质量，同时计算复杂度低，适用于固定摄像机捕获和移动摄像机捕获的数据集场景，普适性更强，图像去重效果更好。
82.基于上述实施例，本技术还提供了一种应用场景实施例，也即实现图像数据库去重操作，可包括下述内容：
83.预先按照s101搭建实施环境，将图像数据库中的各原始图像作为待处理图像进行输出，或者是说上述实施例中的待处理图像为图像数据库的输出图像，并对每一张待处理图像执行上述s102
‑
s104的步骤。若图像数据库停止输出图像，则表明图像数据库需要进行图像去重的图像已经输出完毕，对每张待处理图像按照上述实施例处理完之后，索引库中包含的必然都是彼此不相似或者是不相同的图像。根据索引库包含的所有图像特征向量对应的索引值生成非重复图像列表，基于非重复图像列表对图像数据库进行图像清理，得到不包含重复图像的目标图像库。也即将图像数据库中的没有在非重复图像列表的原始图像从图像数据库中删除，执行删除操作之后的图像数据库即为没有重复图像的数据库。或者是将原始数据库中在非重复图像列表的原始图像中提取至新建的目标数据库中，该目标数据库即为没有重复图像的数据库。在得到不包含重复图像的目标图像库之后，将目标图像库作为训练样本数据集；利用目标图像库执行机器学习模型如卷积神经网络模型、yolov2网络模型等的训练任务。
84.本实施例采用建立索引库和图像数据库去重操作同步的设计，无须在去重操作前先建立非重复样本图像的特征向量索引库。当索引库最终建成时，去重结果也随之完成，图像去重效率高，在复杂多变的大规模数据场景下能够稳定工作。使用本实施例去重后的数据集进行训练模型，有效降低了过拟合和过参数化的风险，提高了模型的泛化性和鲁棒性。
85.为了使所属领域技术人员更加清楚明白本技术的技术方案，本技术结合图3给出了一个结合了对深层图像表征的无监督压缩和图像统计距离分析技术的图像去重方法实施例，可包括：
86.预先获取图像数据库，图像数据库中包括多组查询图像，所谓查询图像是指去重操作正在处理的目标图像。新建索引库，并设置min_thr，max_thr和dist_thr这三个关键超参数，通过这些超参数提供多个自由度的调参操作，从而为各种规模的图像数据集提供了相对灵活的去重处理。min_thr为相似性度量的下边界阈值，max_thr为相似度度量的上边界阈值。小于min_thr的相似性值表明在索引库中找不到查询图像的vec_u的相似向量。介
于min_thr和max_thr之间的相似度值意味着i1对应的图像可能与查询图像相似，因此需要使用图像统计距离进行分析才能进一步确定。dist_thr是图像距离阈值，图像距离越大，图像之间的相似度越低。预先构建图像统计距离分析模块，图像统计距离分析模块封装实现图像距离计算的计算机程序，图像统计距离分析模块包括三个功能模块，第一功能模块用于为输入的两张图像匹配相应的图像距离计算方法，也即调用哪个功能模块执行图像距离计算任务，第二功能模块适用于图像是在图像采集设备固定时所采集的应用场景中的图像距离计算，相应的计算机程序请参阅表1。第三功能模块适用于图像是在图像采集设备移动过程中所采集的应用场景中的图像距离计算，相应的计算机程序请参阅表2。
87.在本实施例中，图像数据库将每个查询图像分别传递到不带全连接层的mobilenet网络中提取特征图，然后利用flatten层将特征图转换为深度特征向量vec_v。通过随机投影rp将vec_v转换为压缩特征向量vec_u。索引库在开始时被初始化用于向量相似检索。若索引库为空，则将vec_u以其图像id作为索引值直接添加到索引库。若索引库不为空，使用k最近邻算法对vec_u执行相似度检索，同时返回最高相似度值s1和相应的图像索引值i1。若min_thr大于s1，则将vec_u以其图像id作为索引值添加到索引库。若min_thr不大于s1，判断max_thr是否大于s1，若max_thr大于s1，则将i1对应的图像(记为img
i1
)和查询图像(记为img
q
)输入到图像统计距离分析模块，该模块返回图像距离标量值d，如果d大于dist_thr，则以其图像id作为索引值将vec_u添加到索引库中。对于s1大于max_thr或d小于dist_thr的情况，说明索引库具有与vec_u相似的样本，因此放弃了vec_u，也即清理该待处理图像。在图像数据库停止输入查询图像并完成索引库之后，索引库中的所有图像id聚合至非重复的图像id列表中，将图像id不在列表中的图像从图像数据库中清除，得到去重后的图像数据库。
88.表1用于固定摄像机捕获的数据集场景的图像统计距离算法流程表
89.[0090][0091]
表2用于移动摄像机捕获的数据集场景的图像统计距离算法流程表
[0092]
[0093][0094]
由上可知，本实施例采用了深度卷积的表征提取并做无监督压缩处理，且设计了一个图像统计距离分析的辅助模块，用于二次分析筛选近似重复的图像，有效增强了去重结果的质量，同时实现了建库和去重同步的框架设计和多阈值组合分析策略，对复杂多变的视觉场景鲁棒性可靠，无须进行监督训练，无须预先建特征向量库，去重效果好，调参自由度高，算法效率高，可适用于不同规模的有标记和无标记数据去重场景。
[0095]
需要说明的是，本技术中各步骤之间没有严格的先后执行顺序，只要符合逻辑上的顺序，则这些步骤可以同时执行，也可按照某种预设顺序执行，图1
‑
图2只是一种示意方式，并不代表只能是这样的执行顺序。
[0096]
本发明实施例还针对图像数据清理方法提供了相应的装置，进一步使得方法更具有实用性。其中，装置可从功能模块的角度和硬件的角度分别说明。下面对本发明实施例提供的图像数据清理装置进行介绍，下文描述的图像数据清理装置与上文描述的图像数据清理方法可相互对应参照。
[0097]
基于功能模块的角度，参见图4，图4为本发明实施例提供的图像数据清理装置在一种具体实施方式下的结构图，该装置可包括：
[0098]
模型构建模块401，用于预先基于无全连接层的预训练深度卷积网络和数据压平层构建特征提取模型。
[0099]
索引库创建模块402，用于预先创建索引库；索引库用于存储图像数据清理过程中满足入库条件的待处理图像的图像特征向量，且各图像特征向量具有索引值。
[0100]
特征提取模块403，用于调用特征提取模型提取待处理图像的深度特征向量，并通过无监督的降维方法将深度特征向量转换为压缩特征向量。
[0101]
图像检索模块404，用于通过将压缩特征向量与非空的索引库中各图像特征向量进行相似性比对，得到待处理图像的相似度检索信息。
[0102]
图像清理模块405，用于基于相似度检索信息和清理条件确定待处理图像是输入至索引库还是进行清理；清理条件为根据相似度检索信息与相似度阈值、图像距离阈值之
间的数值关系所确定。
[0103]
可选的，在本实施例的一些实施方式中，上述图像清理模块405可进一步用于：相似度检索信息包括最高相似度和最高相似度对应的图像索引值；若最高相似度小于最小相似度阈值，则将压缩特征向量添加至索引库，并为压缩特征向量设置相应的索引值；若最高相似度大于最大相似度阈值，则清理待处理图像；若最高相似度大于等于最小相似度阈值、且小于等于最大相似度阈值，则计算待处理图像和图像索引值对应的候选相似图像之间的图像距离值；若图像距离值大于图像距离阈值，则将压缩特征向量添加至索引库，并为压缩特征向量设置相应的索引值；若图像距离值不大于图像距离阈值，清理待处理图像。
[0104]
作为本实施例一种可选的实施方式，上述图像清理模块405包括图像距离分析单元，该图像距离分析单元可用于：待处理图像为图像采集设备被固定时所捕获，计算待处理图像和候选相似图像之间的差异图；将差异图转换为灰度图，并对灰度图进行平滑处理，得到平滑图；对平滑图进行图像二值化处理，得到二值图；根据二值图的总像素点和非零像素点数计算得到图像距离值。
[0105]
作为本实施例另一种可选的实施方式，上述图像距离分析单元还可进一步用于：待处理图像为图像采集设备在移动过程中所捕获，分别计算待处理图像和候选相似图像的全局特征图；计算待处理图像和候选相似图像之间的差异特征图；对差异特征图进行平滑处理，得到平滑特征图；对平滑特征图进行图像二值化处理，得到二值特征图；根据二值特征图中非零项的数量占比得到图像距离值。
[0106]
可选的，在本实施例的另一些实施方式中，上述图像检索模块404可进一步用于：判断索引库是否为空；若索引库为空，则将压缩特征向量添加至索引库，并为压缩特征向量设置相应的索引值；若索引库不为空，对索引库中的每个图像特征向量，计算压缩特征向量与当前图像特征向量之间的相似度；从各相似度中选择数值最大的相似度，作为待处理图像与索引库的最高相似度；根据最高相似度与最高相似度对应的图像特征向量的索引值生成相似度检索信息。
[0107]
可选的，在本实施例的其他一些实施方式中，上述装置还可包括数据库去重模块，用于若图像数据库停止输出图像，根据索引库包含的所有图像特征向量对应的索引值生成非重复图像列表；基于非重复图像列表对图像数据库进行图像清理，得到不包含重复图像的目标图像库。
[0108]
作为本实施例的一种可选的实施方式，上述装置例如还可包括模型训练模块，用于将目标图像库作为训练样本数据集；利用目标图像库执行机器学习模型的训练任务。
[0109]
本发明实施例图像数据清理装置的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
[0110]
由上可知，本实施例可实现高效、高质量的图像数据去重处理。
[0111]
上文中提到的图像数据清理装置是从功能模块的角度描述，进一步的，本技术还提供一种电子设备，是从硬件角度描述。图5为本技术实施例提供的电子设备在一种实施方式下的结构示意图。如图5所示，该电子设备包括存储器50，用于存储计算机程序；处理器51，用于执行计算机程序时实现如上述任一实施例提到的图像数据清理方法的步骤。
[0112]
其中，处理器51可以包括一个或多个处理核心，比如4核心处理器、8核心处理器，处理器51还可为控制器、微控制器、微处理器或其他数据处理芯片等。处理器51可以采用
dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器51也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器51可以集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器51还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
[0113]
存储器50可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器50还可包括高速随机存取存储器以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。存储器50在一些实施例中可以是电子设备的内部存储单元，例如服务器的硬盘。存储器50在另一些实施例中也可以是电子设备的外部存储设备，例如服务器上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。进一步地，存储器50还可以既包括电子设备的内部存储单元也包括外部存储设备。存储器50不仅可以用于存储安装于电子设备的应用软件及各类数据，例如：执行漏洞处理方法的程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。本实施例中，存储器50至少用于存储以下计算机程序501，其中，该计算机程序被处理器51加载并执行之后，能够实现前述任一实施例公开的图像数据清理方法的相关步骤。另外，存储器50所存储的资源还可以包括操作系统502和数据503等，存储方式可以是短暂存储或者永久存储。其中，操作系统502可以包括windows、unix、linux等。数据503可以包括但不限于图像数据清理结果对应的数据等。
[0114]
在一些实施例中，上述电子设备还可包括有显示屏52、输入输出接口53、通信接口54或者称为网络接口、电源55以及通信总线56。其中，显示屏52、输入输出接口53比如键盘(keyboard)属于用户接口，可选的用户接口还可以包括标准的有线接口、无线接口等。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light
‑
emitting diode，有机发光二极管)触摸器等。显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。通信接口54可选的可以包括有线接口和/或无线接口，如wi
‑
fi接口、蓝牙接口等，通常用于在电子设备与其他电子设备之间建立通信连接。通信总线56可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0115]
本领域技术人员可以理解，图5中示出的结构并不构成对该电子设备的限定，可以包括比图示更多或更少的组件，例如还可包括实现各类功能的传感器57。
[0116]
本发明实施例所述电子设备的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
[0117]
由上可知，本实施例可实现高效、高质量的图像数据去重处理。
[0118]
可以理解的是，如果上述实施例中的图像数据清理方法以软件功能单元的形式实
现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read
‑
only memory，rom)、随机存取存储器(random access memory，ram)、电可擦除可编程rom、寄存器、硬盘、多媒体卡、卡型存储器(例如sd或dx存储器等)、磁性存储器、可移动磁盘、cd
‑
rom、磁碟或者光盘等各种可以存储程序代码的介质。
[0119]
基于此，本发明实施例还提供了一种可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时如上任意一实施例所述图像数据清理方法的步骤。
[0120]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的硬件包括装置及电子设备而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0121]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0122]
以上对本技术所提供的一种图像数据清理方法、装置、电子设备及可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本技术进行若干改进和修饰，这些改进和修饰也落入本技术权利要求的保护范围内。