一种图像相似度确定方法、装置、设备及存储介质与流程

本发明涉及计算机应用技术领域，特别是涉及一种图像相似度确定方法、装置、设备及存储介质。

背景技术：

在图像识别、目标跟踪等应用场景中，常常需要确定两个图像的相似度。

在现有技术中，可以使用孪生网络进行图像相似度的确定。孪生网络是一种特殊的深度卷积网络结构，该网络具有两个数据输入端，可以同时利用卷积网络结构对两个端口的图像数据进行卷积处理，最终提取到输入图像的特征向量，然后利用两个图像的特征向量和特定的相似度量函数进一步进行相似度判定。

这种方法使用单个网络模型进行两个图像的相似度判定，其判定结果高度依赖于该网络模型训练的可靠性，在该网络模型使用单一图像特征作为输入，对于图像的表征存在一定的片面性，从而使得对于图像相似度的确定精度不高。

技术实现要素：

本发明的目的是提供一种图像相似度确定方法、装置、设备及存储介质，以有效提高图像相似度的确定精度。

为解决上述技术问题，本发明提供如下技术方案：

一种图像相似度确定方法，包括：

获得待进行相似度确定的目标图像对，所述目标图像对包括第一图像和第二图像；

提取所述目标图像对的至少两种图像特征；

分别将所述目标图像对的每种图像特征输入到基于相应图像特征预先训练得到的深度卷积网络模型中，获得每个深度卷积网络模型的相似度判定结果；

基于每个深度卷积网络模型的相似度判定结果的加权运算，确定所述目标图像对中所述第一图像和所述第二图像的相似度。

在本发明的一种具体实施方式中，所述提取所述目标图像对的至少两种图像特征，包括：

提取所述目标图像对的rgb图像特征和颜色命名图像特征。

在本发明的一种具体实施方式中，通过以下步骤基于rgb图像特征预先训练得到第一深度卷积网络模型：

获得训练样本集和测试样本集，所述训练样本集和所述测试样本集中均包含多个图像对；

提取所述训练样本集的rgb图像特征和所述测试样本集的rgb图像特征；

利用所述训练样本集的rgb图像特征作为网络输入，对预先构建的初始深度卷积网络进行训练，获得训练后的第一深度卷积网络；

利用所述测试样本集的rgb图像特征作为网络输入，对所述训练后的第一深度卷积网络进行测试；

在测试结果未达到设定第一精确度时，重复执行训练、测试操作，在测试结果达到所述第一精确度时，得到第一深度卷积网络模型。

在本发明的一种具体实施方式中，通过以下步骤基于颜色命名图像特征预先训练得到第二深度卷积网络模型：

提取所述训练样本集的颜色命名图像特征和所述测试样本集的颜色命名图像特征；

基于所述训练样本集的rgb图像特征的图像格式，对提取的所述训练样本集和所述测试样本集的颜色命名图像特征进行数据格式处理；

利用所述训练样本集的颜色命名图像特征作为网络输入，对所述初始深度卷积网络进行训练，获得训练后的第二深度卷积网络；

利用所述测试样本集的颜色命名图像特征作为网络输入，对所述训练后的第二深度卷积网络进行测试；

在测试结果未达到设定第二精确度时，重复执行训练、测试操作，在测试结果达到所述第二精确度时，得到第二深度卷积网络模型。

在本发明的一种具体实施方式中，所述基于每个深度卷积网络模型的相似度判定结果的加权运算，确定所述目标图像对中所述第一图像和所述第二图像的相似度，包括：

将每个深度卷积网络模型的相似度判定结果的加权和，确定为所述目标图像对中所述第一图像和所述第二图像的相似度。

一种图像相似度确定装置，包括：

图像对获得模块，用于获得待进行相似度确定的目标图像对，所述目标图像对包括第一图像和第二图像；

图像特征提取模块，用于提取所述目标图像对的至少两种图像特征；

判定结果获得模块，用于分别将所述目标图像对的每种图像特征输入到基于相应图像特征预先训练得到的深度卷积网络模型中，获得每个深度卷积网络模型的相似度判定结果；

相似度确定模块，用于基于每个深度卷积网络模型的相似度判定结果的加权运算，确定所述目标图像对中所述第一图像和所述第二图像的相似度。

在本发明的一种具体实施方式中，所述图像特征提取模块，具体用于：

提取所述目标图像对的rgb图像特征和颜色命名图像特征。

在本发明的一种具体实施方式中，所述相似度确定模块，具体用于：

将每个深度卷积网络模型的相似度判定结果的加权和，确定为所述目标图像对中所述第一图像和所述第二图像的相似度。

一种图像相似度确定设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任一项所述图像相似度确定方法的步骤。

一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述图像相似度确定方法的步骤。

应用本发明实施例所提供的技术方案，获得待进行相似度确定的目标图像对后，提取目标图像对的至少两种图像特征，分别将目标图像对的每种图像特征输入到基于相应图像特征预先训练得到的深度卷积网络模型中，获得每个深度卷积网络模型的相似度判定结果，基于获得的相似度判定结果的加权运算，确定目标图像对中第一图像和第二图像的相似度。通过对不同深度卷积网络模型的相似度判定结果的加权计算，共同决定最终的判定结果，有效提高了图像相似性的确定精度，对以此为基础的图像识别和目标跟踪任务的性能有一定提高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中一种图像相似度确定方法的实施流程图；

图2为本发明实施例中一种深度卷积网络模型训练示意图；

图3为本发明实施例中一种图像相似度确定流程图；

图4为本发明实施例中一种图像相似度确定装置的结构示意图；

图5为本发明实施例中一种图像相似度确定设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1所示，为本发明实施例所提供的一种图像相似度确定方法的实施流程图，该方法可以包括以下步骤：

s110：获得待进行相似度确定的目标图像对。

其中，目标图像对包括第一图像和第二图像。

在图像识别、目标跟踪任务等应用场景中，通常会需要进行两个图像的相似度的确定。根据实际应用场景，可以获得待进行相似度确定的目标图像对。目标图像对包括第一图像和第二图像两个图像。

s120：提取目标图像对的至少两种图像特征。

一个图像存在多种图像特征，如rgb颜色特征、颜色命名(colorname)图像特征、灰度图像特征等。

在获得待进行相似度确定的目标图像对后，可以提取目标图像对的至少两种图像特征。在本发明的一种具体实施方式中，可以提取目标图像对的rgb图像特征和颜色命名图像特征。

s130：分别将目标图像对的每种图像特征输入到基于相应图像特征预先训练得到的深度卷积网络模型中，获得每个深度卷积网络模型的相似度判定结果。

在本发明实施例中，可以基于不同图像特征预先训练得到多个深度卷积网络模型。提取目标图像对的至少两种图像特征后，可以分别将目标图像对的每种图像特征输入到基于相应图像特征预先训练得到的深度卷积网络模型中，获得多个相似度判定结果。如将目标图像对的rgb图像特征输入到基于rgb图像特征预先训练得到的第一深度卷积网络模型中，得到第一相似度判定结果，将目标图像对的颜色命名图像特征输入到基于颜色命名图像特征预先训练得到的第二深度卷积网络模型中，得到第二相似度判定结果。

在本发明的一种具体实施方式中，可以通过以下步骤基于rgb图像特征预先训练得到第一深度卷积网络模型：

步骤一：获得训练样本集和测试样本集，训练样本集和测试样本集中包含多个训练图像对；

步骤二：提取训练样本集的rgb图像特征和测试样本集的rgb图像特征；

步骤三：利用训练样本集的rgb图像特征作为网络输入，对预先构建的初始深度卷积网络进行训练，获得训练后的第一深度卷积网络；

步骤四：利用测试样本集的rgb图像特征作为网络输入，对训练后的第一深度卷积网络进行测试；

步骤五：在测试结果未达到设定第一精确度时，重复执行训练、测试操作，在测试结果达到第一精确度时，得到第一深度卷积网络模型。

为便于描述，将上述五个步骤结合起来进行说明。

在实际应用中，可以通过图像采集、图像处理等方式获得训练样本集合测试样本集，训练样本集和测试样本集中均包含多个图像对，每个图像对中均包含两个图像，可以预先对每个图像对的两个图像的相似程度进行标记。

提取训练样本集的rgb图像特征和测试样本集的rgb图像特征，利用训练样本集的rgb图像特征作为网络输入，对预先构建的初始深度卷积网络进行训练，调整网络参数，得到训练后的第一深度卷积网络。初始深度卷积网络具体可以为孪生网络，或者其他可用于图像相似性判别的网络。

经过训练得到第一深度卷积网络后，可以利用测试样本集的rgb图像特征作为网络输入，对训练后的第一深度卷积网络进行测试。如果关于相似度的测试结果未达到设定第一精确度，则可以重复执行训练、测试操作，也可以增大训练样本集和测试样本集规模后，重复执行训练、测试操作。如果测试结果达到设定第一精确度，则可以将当前的第一深度卷积网络确定为待用的第一深度卷积网络模型。

在本发明的一种具体实施方式中，可以通过以下步骤基于颜色命名图像特征预先训练得到第二深度卷积网络模型：

第一个步骤：提取训练样本集的颜色命名图像特征和测试样本集的颜色命名图像特征；

第二个步骤：基于训练样本集的rgb图像特征的图像格式，对提取的训练样本集和测试样本集的颜色命名图像特征进行数据格式处理；

第三个步骤：利用训练样本集的颜色命名图像特征作为网络输入，对初始深度卷积网络进行训练，获得训练后的第二深度卷积网络；

第四个步骤：利用测试样本集的颜色命名图像特征作为网络输入，对训练后的第二深度卷积网络进行测试；

第五个步骤：在测试结果未达到设定第二精确度时，重复执行训练、测试操作，在测试结果达到第二精确度时，得到第二深度卷积网络模型。

为便于描述，将上述五个步骤结合起来进行说明。

获得训练样本集和测试样本集后，可以提取训练样本集的颜色命名图像特征和测试样本集的颜色命名图像特征。基于训练样本集的rgb图像特征的图像格式，对提取的训练样本集和测试样本集的颜色命名图像特征进行数据格式处理，使其与rgb图像特征的图像格式相同。

在实际应用中，颜色命名图像特征的通道数会远大于rgb图像特征的通道数，如果初始深度卷积网络的参数结构相同，则可以采用主元分析法获取颜色命名图像特征中三通道特征。主元分析法为现有技术，本发明实施例对此不再赘述。

利用训练样本集的颜色命名图像特征作为网络输入，对初始深度卷积网络进行训练，进行网络参数调整，获得训练后的第二深度卷积网络。

经过训练得到第二深度卷积网络后，可以利用测试样本集的颜色命名图像特征作为网络输入，对训练后的第二深度卷积网络进行测试。如果关于相似度的测试结果未达到设定第二精确度，则可以重复执行训练、测试操作，也可以增大训练样本集和测试样本集规模后，重复执行训练、测试操作。如果测试结果达到设定第二精确度，则可以将当前的第二深度卷积网络确定为待用的第二深度卷积网络模型。

图2所示为深度卷积网络模型训练示意图，x1、x2分别为两个图像的rgb图像特征，利用特征提取方法可以提取到两个图像的其他图像特征，如颜色命名图像特征，得到经过卷积特征的提取网络后，得到对应的卷积特征和再利用相似度量函数对输入图像的相似度ew进行判定。

需要说明的是，基于不同图像特征预先训练的初始深度卷积网络的网络结构可以不同，即可以预先构建具有不同网络结构的初始深度卷积网络。

在实际应用中，在将目标图像对的每种图像特征输入到相应的深度卷积网络模型之前，可以先对图像特征进行数据格式处理，使其适应相应的深度卷积网络模型的输入格式。

s140：基于每个深度卷积网络模型的相似度判定结果的加权运算，确定目标图像对中第一图像和第二图像的相似度。

将目标图像对的每种图像特征分别输入到相应的深度卷积网络模型中后，可以获得每个深度卷积网络模型的相似度判定结果，基于每个深度卷积网络模型的相似度判定结果的加权运算，可以确定目标图像对中第一图像和第二图像的相似度。具体的，可以将每个深度卷积网络模型的相似度判定结果的加权和，确定为目标图像对中第一图像和第二图像的相似度。

如图3所示，深度卷积网络模型a为基于图像特征a预先训练得到的，其对应的权重为a，深度卷积网络模型b为基于图像特征b预先训练得到的，其对应的权重为b，将目标图像对(x1、x2)的图像特征a输入到深度卷积网络模型a中，得到相似度判定结果ea，将目标图像对的图像特征b输入到深度卷积网络模型b中，得到相似度判定结果eb，加权后得到目标图像对中第一图像和第二图像的相似度为e＝ea+eb。

每个深度卷积网络模型的具体权重可以根据实际情况进行设定和调整，本发明实施例对此不做限制。

应用本发明实施例所提供的方法，获得待进行相似度确定的目标图像对后，提取目标图像对的至少两种图像特征，分别将目标图像对的每种图像特征输入到基于相应图像特征预先训练得到的深度卷积网络模型中，获得每个深度卷积网络模型的相似度判定结果，基于获得的相似度判定结果的加权运算，确定目标图像对中第一图像和第二图像的相似度。通过对不同深度卷积网络模型的相似度判定结果的加权计算，共同决定最终的判定结果，有效提高了图像相似性的确定精度，对以此为基础的图像识别和目标跟踪任务的性能有一定提高。

相应于上面的方法实施例，本发明实施例还提供了一种图像相似度确定装置，下文描述的一种图像相似度确定装置与上文描述的一种图像相似度确定方法可相互对应参照。

参见图4所示，该装置包括以下模块：

图像对获得模块410，用于获得待进行相似度确定的目标图像对，目标图像对包括第一图像和第二图像；

图像特征提取模块420，用于提取目标图像对的至少两种图像特征；

判定结果获得模块430，用于分别将目标图像对的每种图像特征输入到基于相应图像特征预先训练得到的深度卷积网络模型中，获得每个深度卷积网络模型的相似度判定结果；

相似度确定模块440，用于基于每个深度卷积网络模型的相似度判定结果的加权运算，确定目标图像对中第一图像和第二图像的相似度。

应用本发明实施例所提供的装置，获得待进行相似度确定的目标图像对后，提取目标图像对的至少两种图像特征，分别将目标图像对的每种图像特征输入到基于相应图像特征预先训练得到的深度卷积网络模型中，获得每个深度卷积网络模型的相似度判定结果，基于获得的相似度判定结果的加权运算，确定目标图像对中第一图像和第二图像的相似度。通过对不同深度卷积网络模型的相似度判定结果的加权计算，共同决定最终的判定结果，有效提高了图像相似性的确定精度，对以此为基础的图像识别和目标跟踪任务的性能有一定提高。

在本发明的一种具体实施方式中，图像特征提取模块420，具体用于：

提取目标图像对的rgb图像特征和颜色命名图像特征。

在本发明的一种具体实施方式中，还包括第一模型获得模块，用于通过以下步骤基于rgb图像特征预先训练得到第一深度卷积网络模型：

获得训练样本集和测试样本集，训练样本集和测试样本集中均包含多个图像对；

提取训练样本集的rgb图像特征和测试样本集的rgb图像特征；

利用训练样本集的rgb图像特征作为网络输入，对预先构建的初始深度卷积网络进行训练，获得训练后的第一深度卷积网络；

利用测试样本集的rgb图像特征作为网络输入，对训练后的第一深度卷积网络进行测试；

在测试结果未达到设定第一精确度时，重复执行训练、测试操作，在测试结果达到第一精确度时，得到第一深度卷积网络模型。

在本发明的一种具体实施方式中，还包括第二模型获得模块，用于通过以下步骤基于颜色命名图像特征预先训练得到第二深度卷积网络模型：

提取训练样本集的颜色命名图像特征和测试样本集的颜色命名图像特征；

基于训练样本集的rgb图像特征的图像格式，对提取的训练样本集和测试样本集的颜色命名图像特征进行数据格式处理；

利用训练样本集的颜色命名图像特征作为网络输入，对初始深度卷积网络进行训练，获得训练后的第二深度卷积网络；

利用测试样本集的颜色命名图像特征作为网络输入，对训练后的第二深度卷积网络进行测试；

在测试结果未达到设定第二精确度时，重复执行训练、测试操作，在测试结果达到第二精确度时，得到第二深度卷积网络模型。

在本发明的一种具体实施方式中，相似度确定模块440，具体用于：

将每个深度卷积网络模型的相似度判定结果的加权和，确定为目标图像对中第一图像和第二图像的相似度。

相应于上面的方法实施例，本发明实施例还提供了一种图像相似度确定设备，参见图5所示，该设备包括：

存储器510，用于存储计算机程序；

处理器520，用于执行计算机程序时实现上述图像相似度确定方法的步骤。

相应于上面的方法实施例，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述图像相似度确定方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的技术方案及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。