图像查重的方法及装置与流程

本发明涉及多媒体技术领域，具体而言，本发明涉及一种图像查重的方法及装置。

背景技术：

随着信息技术的发展，多媒体技术也随之发展，各种类型的网站应运而生，一些用户或者网站管理者将经常上传一些图像至该网站，以供其它用户下载以及查看。

因此，网站会接收到大量的上传图像，但是这些上传图像中有很多图像为重复图像或者为相似度很高的图像，当网站根据用户观看量对图像进行排名，以推荐给用户时，由于这些图像中存在大量重复图像或者相似度很高的图像，将导致网站对图像排名的准确度较低，并且推荐给用户的图像的准确度也较低，并且由于这些图像中存在大量重复图像或者相似度很高的图像，也不利于用户查找观看这些图像，从而导致用户的体验度较低。

技术实现要素：

为克服上述技术问题或者至少部分地解决上述技术问题，特提出以下技术方案：

本发明的实施例根据一个方面，提供了一种图像查重的方法，包括：

获取待查重的图像，并将该待查重的图像输入预设的特征提取模型，得到该待查重的图像对应的深度特征；

其中，预设的特征提取模型是通过对深度卷积神经网络训练得到的。

将该待查重的图像对应的深度特征进行图像特征池化处理，得到池化处理后的该待查重的图像对应的深度特征；

根据池化处理后的该待查重的图像对应的深度特征，进行图像查重。

进一步地，将该待查重的图像输入预设的特征提取模型，得到该待查重的图像对应的深度特征的步骤之前，还包括：

将该待查重的图像进行图像预处理，图像预处理包括以下至少一项：规整尺寸处理以及图片白化处理；

其中，将该待查重的图像输入预设的特征提取模型，得到该待查重的图像对应的深度特征的步骤，包括：

将图像预处理后的该待查重的图像输入预设的特征提取模型，得到该待查重图像对应的深度特征。

具体地，根据池化处理后的该待查重的图像对应的深度特征，进行图像查重的步骤，包括：

根据待查重的图像对应的深度特征，并通过乘积量化productquantization，确定待查重的图像对应的深度特征索引；

根据待查重的图像对应的深度特征索引，进行图像查重。

具体地，图像查重的方式，包括：

判断各个图像分别对应的深度特征索引是否存在相同；

若存在相同的深度特征索引，则确定相同的深度特征索引对应的各个图像重复。

进一步地，从重复的各个图像中，确定待删除的图像，并删除该待删除的图像。

本发明的实施例根据另一个方面，还提供了一种图像查重的装置，包括：

获取模块，用于获取待查重的图像；

输入模块，用于将获取模块获取到的待查重的图像输入预设的特征提取模型，得到该待查重的图像对应的深度特征；

其中，预设的特征提取模型是通过对深度卷积神经网络训练得到的。

图像特征池化模块，用于将该待查重的图像对应的深度特征进行图像特征池化处理，得到池化处理后的该待查重的图像对应的深度特征；

图像查重模块，用于根据图像特征池化模块池化处理后的该待查重的图像对应的深度特征，进行图像查重。

进一步地，装置还包括：图像预处理模块；

图像预处理模块，用于将该待查重的图像进行图像预处理，图像预处理包括以下至少一项：规整尺寸处理以及图片白化处理；

输入模块，具体用于将图像预处理模块图像预处理后的该待查重的图像输入预设的特征提取模型，得到该待查重图像对应的深度特征。

具体地，图像查重模块包括：确定单元、图像查重单元；

确定单元，用于根据待查重的图像对应的深度特征，并通过乘积量化productquantization，确定待查重的图像对应的深度特征索引；

图像查重单元，用于根据确定单元确定的待查重的图像对应的深度特征索引，进行图像查重。

具体地，图像查重模块，具体用于判断各个图像分别对应的深度特征索引是否存在相同；

图像查重模块，具体还用于当存在相同的深度特征索引时，确定相同的深度特征索引对应的各个图像重复。

进一步地，装置还包括：确定模块、删除模块；

确定模块，用于从重复的各个图像中，确定待删除的图像；

删除模块，用于删除该待删除的图像。

本发明的实施例根据又一个方面，还提供了一种计算机可读存储介质，其特征在于，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述图像查重的方法。

本发明的实施例根据又一个方面，还提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；

存储器用于存放至少一可执行指令，可执行指令使处理器执行上述的图像查重的方法对应的操作。

本发明提供了一种图像查重的方法及装置，本发明获取待查重的图像，并将该待查重的图像输入预设的特征提取模型，得到该待查重的图像对应的深度特征，然后将该待查重的图像对应的深度特征进行图像特征池化处理，得到池化处理后的该待查重的图像对应的深度特征，然后根据所述池化处理后的该待查重的图像对应的深度特征，进行图像查重。即本发明通过对图像进行查重，例如对已上传的图像进行查重，能够确定已上传的图像中的重复图像或者相似度很高的图像，从而可以提高网站对图像排名的准确度，并且由于对已上传的图像进行查重，因此降低了重复图像以及相似度较高的图像的概率，当用户查找图像时，能够更加准确地查找到所需图像，进而可以提升用户的体验度。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明实施例的一种图像查重的方法流程图；

图2为本发明实施例的三种进行池化的方式示意图；

图3为本发明实施例中的一种图像查重的装置结构示意图；

图4为本发明实施例中的另一种图像查重的装置结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，进行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；pcs(personalcommunicationsservice，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；pda(personaldigitalassistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或gps(globalpositioningsystem，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是pda、mid(mobileinternetdevice，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。

实施例一

本发明实施例提供了一种图像查重的方法，如图1所示，包括：

步骤101、获取待查重的图像。

步骤102、将该待查重的图像输入预设的特征提取模型，得到该待查重的图像对应的深度特征。

其中，预设的特征提取模型是通过对深度卷积神经网络训练得到的。

例如，通过2千万的素材图像，共21000类别对该深度卷积神经进行训练，得到该预设的特征提取模型。

对于本发明实施例，将各个关键帧输入训练后的深度卷积神经网络，得到该各个关键帧中每个关键帧所属21000类别中每类中的概率；或者输出该关键帧对应的预设维数的表征，该表征可以用于表征该帧图像对应的应用场景，例如，室内、室外、太阳以及天空等。

步骤103、将该待查重的图像对应的深度特征进行图像特征池化处理，得到池化处理后的该待查重的图像对应的深度特征。

对于本发明实施例，池化是在卷积特征提取的基础上，对每个卷积特征进行取平均等，继续缩小隐藏节点对于的卷积特征维数。

对于本发明实施例，一个图像区域有用的特征极有可能在另一个区域同样适用。因此，为了描述大的图像，一个很自然的想法就是对不同位置的特征进行聚合统计，例如，人们可以计算图像一个区域上的某个特定特征的平均值(或最大值)。这些概要统计特征不仅具有低得多的维度(相比使用所有提取得到的特征)，同时还会改善结果(不容易过拟合)。这种聚合的操作就叫做池化(pooling)。

对于本发明实施例，池化可以包括：1)mean-pooling，即对邻域内特征点只求平均，对背景保留更好；max-pooling，即对邻域内特征点取最大，对纹理提取更好；3)stochastic-pooling，介于两者之间，通过对像素点按照数值大小赋予概率，再按照概率进行亚采样。

其中，特征提取的误差主要来自两个方面：(1)邻域大小受限造成的估计值方差增大；(2)卷积层参数误差造成估计均值的偏移。一般来说，mean-pooling能减小第一种误差，更多的保留图像的背景信息，max-pooling能减小第二种误差，更多的保留纹理信息。在平均意义上，与mean-pooling近似，在局部意义上，则服从max-pooling的准则。其中上述三种池化的方式如图2所示。

步骤104、根据池化处理后的该待查重的图像对应的深度特征，进行图像查重。

对于本发明实施例，通过待查重图像的特征信息，确定已上线的图像中是否存在与该待查重图像的特征信息关联度较高的图像，以实现图像查重。

本发明实施例提供了一种图像查重的方法，本发明实施例获取待查重的图像，并将该待查重的图像输入预设的特征提取模型，得到该待查重的图像对应的深度特征，然后将该待查重的图像对应的深度特征进行图像特征池化处理，得到池化处理后的该待查重的图像对应的深度特征，然后根据所述池化处理后的该待查重的图像对应的深度特征，进行图像查重。即本发明实施例通过对图像进行查重，例如对已上传的图像进行查重，能够确定已上传的图像中的重复图像或者相似度很高的图像，从而可以提高网站对图像排名的准确度，并且由于对已上传的图像进行查重，因此降低了重复图像以及相似度较高的图像的概率，当用户查找图像时，能够更加准确地查找到所需图像，进而可以提升用户的体验度。

实施例二

本发明实施例的另一种可能的实现方式，在实施例一所示的基础上，还包括实施例二所示的操作，其中，

步骤102之前还包括：之前，还包括：将该待查重的图像进行图像预处理。

其中，图像预处理包括以下至少一项：规整尺寸处理以及图片白化处理。

对于本发明实施例，通过将各个关键帧分别进行规整尺寸处理以及图片白化处理，以提高各个关键帧图像的鲁棒性。

对于本发明实施例，对图像进行规整尺寸处理为通过采样的方式对图像进行规整尺寸处理，例如，将图像中扣取五个大块，包括从该图像的中间以及四角分别进行扣取。

对于本发明实施例，图像最终成像会受环境照明强度、物体反射、拍摄相机等多因素的影响。为了能够图像的中包含的那些不受外界影响的恒定信息，对图像进行图像白化处理。一般为了去除这些因素的影响，我们将它的像素值转化成零均值和单位方差。因此首先通过公式一以及公式二计算原始灰度图像p的像素平均值μ和方差值δ2。

其中公式一为：

公式二为：

然后，将使用μ和δ来对原始灰度图像的每个像素值进行转化：对于彩色图像，在三个通道分别计算μ和δ2，然后根据公式三分别进行像素转化。

其中公式三：

步骤102包括：将图像预处理后的该待查重的图像输入预设的特征提取模型，得到该待查重图像对应的深度特征。

实施例三

本发明实施例的另一种可能的实现方式，在实施例三所示的基础上，还包括实施例四所示的操作，其中，

步骤104包括：根据待查重的图像对应的深度特征，并通过乘积量化productquantization，确定待查重的图像对应的深度特征索引；根据待查重的图像对应的深度特征索引，进行图像查重。

对于本发明实施例，乘积量化productquantization包括两个过程特征的分组量化过程和类别的笛卡尔积过程。假设有一个数据集，那么k-means为将给定类别数目k，目标函数是所有样本到类中心的距离和最小值，迭代计算优化目标函数，得到k个类中心和每个样本所属的类别。目标函数不变，乘积量化的做法为：

(1)数据集为k个类别，每个样本以一个vector的形式表示，维数为d，将vector的各个分量分成m组。

(2)将所有vector的某组分量作为数据集，采用k-means算法得到个类中心，运行m次k-means算法，则每组都有个类中心，记这个类中心为一个集合。

(3)将上述得到的m个集合做笛卡尔积，就得到整个数据集的类中心了。

对于本发明实施例，将处理后的待查重图像的特征信息，通过乘积量化productquantization，得到待查重图像的图像特征索引，其中该待查重图像的图像特征索引为待查重图像与特征索引之间的对应关系。

例如，待查重图像包括图像1、图像2以及图像3，分别对应的索引值为001、002、003，图像1、图像2以及图像3分别对应的图像特征的索引值为1、2、1。

其中，图像查重的方式，包括：判断各个图像分别对应的深度特征索引是否存在相同；若存在相同的深度特征索引，则确定相同的深度特征索引对应的各个图像重复。

对于本发明实施例，若两个图像分别对应的图像特征索引相同，则表征这两个图像为重复图像。

例如，待查重图像包括图像1、图像2以及图像3，分别对应的索引值为001、002、003，图像1、图像2以及图像3分别对应的图像特征的索引值为1、2、1，由于图像1以及图像2对应的图像特征的索引值均为1(两个不同的图像对应的图像特征的索引值相同)因此图像1以及图像2为重复图像。

进一步地，从重复的各个图像中，确定待删除的图像，并删除该待删除的图像。

对于本发明实施例，若已上线的图像中存在多个重复图像，则从该多个重复图像中选择待删除的图像，并删除。

对于本发明实施例，按照预设原则，从重复的各个图像中，确定待删除的图像，其中预设原则包括以下至少一项：图像的清晰度、图像的发布时间、图像的观看量以及图像的下载量。

例如，已上线的图像中包括两个重复的图像，包括：图像1以及图像3，其中图像1的下载量为100，图像2的下载量为1200，则待删除的图像为图像1。

对于本发明实施例，通过从重复的各个图像中，确定待删除的图像，并删除该待删除的图像，当用户从已上线的图像中下载对应的图像时，能够准确的确定并下载待下载的图像，从而可以降低已上线图像中图像的重复率，进而可以提高查找待下载图像的准确度，提升用户的体验度。

对于本发明实施例，通过从重复的各个图像中，确定待删除的图像，并删除该待删除的图像，即将重复的图像从数据库中删除，能够降低数据库中的存储量，节省存储空间。

本发明实施例提供了一种图像处理的装置，如图3所示，该装置包括：获取模块31、输入模块32、图像特征池化模块33、图像查重模块34；其中，

获取模块31，用于获取待查重的图像。

输入模块32，用于将获取模块31获取到的待查重的图像输入预设的特征提取模型，得到该待查重的图像对应的深度特征。

其中，预设的特征提取模型是通过对深度卷积神经网络训练得到的。

图像特征池化模块33，用于将该待查重的图像对应的深度特征进行图像特征池化处理，得到池化处理后的该待查重的图像对应的深度特征。

图像查重模块34，用于根据图像特征池化模块33池化处理后的该待查重的图像对应的深度特征，进行图像查重。

进一步地，如图4所示，该装置还包括：图像预处理模块41。

图像预处理模块41，用于将该待查重的图像进行图像预处理。

其中，图像预处理包括以下至少一项：规整尺寸处理以及图片白化处理，

输入模块32，具体用于将图像预处理模块41图像预处理后的该待查重的图像输入预设的特征提取模型，得到该待查重图像对应的深度特征。

进一步地，如图4所示，图像查重模块34包括：确定单元341、图像查重单元342。

确定单元341，用于根据待查重的图像对应的深度特征，并通过乘积量化productquantization，确定待查重的图像对应的深度特征索引。

图像查重单元342，用于根据确定单元341确定的待查重的图像对应的深度特征索引，进行图像查重。

图像查重模块34，具体用于判断各个图像分别对应的深度特征索引是否存在相同。

图像查重模块34，具体还用于当存在相同的深度特征索引时，确定相同的深度特征索引对应的各个图像重复。

进一步地，如图4所示，该装置还包括：确定模块42、删除模块43。

确定模块42，用于从重复的各个图像中，确定待删除的图像。

删除模块43，用于删除该待删除的图像。

本发明实施例提供了一种图像查重的装置，本发明实施例获取待查重的图像，并将该待查重的图像输入预设的特征提取模型，得到该待查重的图像对应的深度特征，然后将该待查重的图像对应的深度特征进行图像特征池化处理，得到池化处理后的该待查重的图像对应的深度特征，然后根据所述池化处理后的该待查重的图像对应的深度特征，进行图像查重。即本发明实施例通过对图像进行查重，例如对已上传的图像进行查重，能够确定已上传的图像中的重复图像或者相似度很高的图像，从而可以提高网站对图像排名的准确度，并且由于对已上传的图像进行查重，因此降低了重复图像以及相似度较高的图像的概率，当用户查找图像时，能够更加准确地查找到所需图像，进而可以提升用户的体验度。

本发明实施例提供的图像查重的装置可以实现上述提供的方法实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。

本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述图像查重的方法。

本发明实施例提供了一种计算机可读存储介质，本发明实施例获取待查重的图像，并将该待查重的图像输入预设的特征提取模型，得到该待查重的图像对应的深度特征，然后将该待查重的图像对应的深度特征进行图像特征池化处理，得到池化处理后的该待查重的图像对应的深度特征，然后根据所述池化处理后的该待查重的图像对应的深度特征，进行图像查重。即本发明实施例通过对图像进行查重，例如对已上传的图像进行查重，能够确定已上传的图像中的重复图像或者相似度很高的图像，从而可以提高网站对图像排名的准确度，并且由于对已上传的图像进行查重，因此降低了重复图像以及相似度较高的图像的概率，当用户查找图像时，能够更加准确地查找到所需图像，进而可以提升用户的体验度。

本发明实施例提供的计算机可读存储介质可以实现上述提供的方法实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。

本发明实施例提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，处理器、存储器和通信接口通过通信总线完成相互间的通信；

存储器用于存放至少一可执行指令，可执行指令使处理器执行如上述的图像查重的方法对应的操作。

本发明实施例提供了一种计算机设备，本发明实施例获取待查重的图像，并将该待查重的图像输入预设的特征提取模型，得到该待查重的图像对应的深度特征，然后将该待查重的图像对应的深度特征进行图像特征池化处理，得到池化处理后的该待查重的图像对应的深度特征，然后根据所述池化处理后的该待查重的图像对应的深度特征，进行图像查重。即本发明实施例通过对图像进行查重，例如对已上传的图像进行查重，能够确定已上传的图像中的重复图像或者相似度很高的图像，从而可以提高网站对图像排名的准确度，并且由于对已上传的图像进行查重，因此降低了重复图像以及相似度较高的图像的概率，当用户查找图像时，能够更加准确地查找到所需图像，进而可以提升用户的体验度。

本发明实施例提供的计算机设备可以实现上述提供的方法实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。

本技术领域技术人员可以理解，本发明包括涉及用于执行本申请中所述操作中的一项或多项的设备。这些设备可以为所需的目的而专门设计和制造，或者也可以包括通用计算机中的已知设备。这些设备具有存储在其内的计算机程序，这些计算机程序选择性地激活或重构。这样的计算机程序可以被存储在设备(例如，计算机)可读介质中或者存储在适于存储电子指令并分别耦联到总线的任何类型的介质中，所述计算机可读介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、cd-rom、和磁光盘)、rom(read-onlymemory，只读存储器)、ram(randomaccessmemory，随即存储器)、eprom(erasableprogrammableread-onlymemory，可擦写可编程只读存储器)、eeprom(electricallyerasableprogrammableread-onlymemory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，可读介质包括由设备(例如，计算机)以能够读的形式存储或传输信息的任何介质。

本技术领域技术人员可以理解，可以用计算机程序指令来实现这些结构图和/或框图和/或流图中的每个框以及这些结构图和/或框图和/或流图中的框的组合。本技术领域技术人员可以理解，可以将这些计算机程序指令提供给通用计算机、专业计算机或其他可编程数据处理方法的处理器来实现，从而通过计算机或其他可编程数据处理方法的处理器来执行本发明公开的结构图和/或框图和/或流图的框或多个框中指定的方案。

本技术领域技术人员可以理解，本发明中已经讨论过的各种操作、方法、流程中的步骤、措施、方案可以被交替、更改、组合或删除。进一步地，具有本发明中已经讨论过的各种操作、方法、流程中的其他步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。进一步地，现有技术中的具有与本发明中公开的各种操作、方法、流程中的步骤、措施、方案也可以被交替、更改、重排、分解、组合或删除。

以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。