一种基于预定义空间的跨类别细粒度手绘检索方法与流程

本发明属于计算机视觉领域，是图像处理领域中的一项重要应用，尤其是涉及一种基于预定义空间的跨类别细粒度手绘检索方法。

技术背景

跨类别细粒度手绘检索的目的是给一张手绘图片，通过算法感知图片中要检索的内容，并在要检索的范围中检索到与之最匹配的一张图片，不仅类别相同，而且前景物的拍摄角度，姿态等都相似；跨类别是指在测试时，选择的类别可以与训练时不相同。

随着科学技术的进步，触摸屏设备越来越普及，使得获取手绘越来越方便，为手绘检索提供了良好的前提条件。手绘检索结合了图片检索和文字检索的优势，使图片检索更直观更方便。

目前主流的细粒度手绘检索在精度和速度方面已经有了不错的效果，然而当检索对象超出了训练类别时，检索效果急剧下降，这与日益发展的需求之间有巨大的矛盾。因此，亟需一种能够跨类别的细粒度手绘检索方法。

我们提出的基于预定义空间的跨类别细粒度手绘检索方法在跨类别的检索中效果优于传统的检索网络，也不需要额外的语义辅助信息，有力地推动手绘检索的进一步发展。

技术实现要素：

本发明提出了一种基于预定义空间的跨类别细粒度手绘检索方法。该方法以深度卷积神经网络为基础，结合了无监督中的聚类算法、高斯分布、孪生网络等技术，较为准确的进行跨类别手绘检索，该方法可以在不同场景下有效的进行工作。

其技术解决方案是：

一种基于预定义空间的跨类别细粒度手绘检索方法，所述方法包括：

步骤1)，将手绘图片和自然图片配对，并缩放裁剪形成训练图片，训练图片的集合构成训练样本；

步骤2)，设计基于预定义空间的孪生网络，其中包含自定义的空间单位球；

步骤3)，确立相似性损失、编解码重构损失的权重因子；

步骤4)，将网络进行样本对的训练；

步骤5)，得到训练完的模型，用该模型提取测试手绘图片的特征图；

所述步骤1)中对于手绘图和自然图有多种匹配选择，在训练过程中使用轮换算法，防止过拟合。使用插值的方法实现图片的缩放，从而保持图片中前景物不发生形变失真；利用candy边缘检测算法，提取无与之匹配的自然图的边缘图来与该自然图配对。

所述步骤2)中根据数据集大小来定义预定义空间特征球的维度，在检索速度与检索精度之间找一个平衡点；使用在高斯分布上随机采样的方法在预定义空间特征球面空间预定义噪音点的位置。

所述步骤3)中确定损失函数的权重因子，主要需要特征图的区分性特征，因此编解码重构损失的权重因子可以相对减小。

所述步骤4)中中使用权重衰减算法，将训练数据从图片-边缘图逐步替换成图片-手绘；训练方式是经典的深度学习训练方法。

所述整个方法中网络在训练以及测试过程中都是端到端实现的。经过大规模的数据训练以后，能够适应多种场景，在多个数据集的跨类别检索，都有不俗的表现

本发明在传统的孪生检索网络中结合非监督学习的预定义空间网络，在基本不增加训练成本的情况下大大提升跨类别检索的效果，使用价值高，可扩展性强

附图说明

附图1是本发明所构建的基于预定义空间的跨类别细粒度手绘检索深度神经网络模型示意图。

具体实施方式

一种基于预定义空间的跨类别细粒度手绘检索方法，包括以下步骤：

1)在基于预定义空间的跨类别细粒度手绘检索方法的具体实例中，将所有图片用线性插值的方法缩放至128*128像素大小，并将自然图与手绘图配对，对于没有与之匹配的自然图，通过candy边缘检测算法提取边缘图，作为“伪手绘图”与自然图匹配，制作图像对训练集。

2)在基于预定义空间的跨类别细粒度手绘检索方法的具体实例中，自然图特征提取使用的vgg16网络，手绘图提取，将vgg16前三层卷积层替换成专门针对手绘的15*15大卷积核，自定义预定义空间空间维度为300，即特征提取之后最后一层全连接层输出维度为300，然后进行归一化，映射到预定义空间；之后采样高斯分布，生成预定义点。

3)在基于预定义空间的跨类别细粒度手绘检索方法的具体实例中，因为在向预定义空间映射过程中相当于实现的分类损失的功能，因此额外只需要定义相似性损失和编解码重构损失；

由于该方法目的是用来检索，因此更关注特征图中的区分性信息，非区分性信息允许有一定程度的损失，因此重构损失会大一点，将相似性损失和编解码重构损失权重定为4:1，能够得到最好的检索结果。损失函数为

loss＝α×||φske-φimg||²+(1-α)×||θske-ske||²+(1-α)×||θimg-ske||²

其中φ是编码网络，θ是解码网络，ske是手绘图片，img是自然图片，α是超参，α＝0.8。

4)在基于预定义空间的跨类别细粒度手绘检索方法的具体实例的训练过程中，一开始使用图片-边缘图来训练，之后使用权重衰减算法，将训练数据从图片-边缘图逐步替换成图片-手绘，从而避免了用边缘图预训练的过程。

5)在基于预定义空间的跨类别细粒度手绘检索方法的具体实例中，训练完成以后，将要检索的数据集所有图片特征通过该网络提取出来，在测试过程中，将手绘图特征提取出来，与所有图片特征图做欧氏距离，找到距离最小的那张图片，就是要检索的图片。

本发明中使用了预定义空间算法，能过定性的度量不同类别之间的距离，因此在不同数据集上实验跨类别检索，效果明显优于现有算法。而且相比现有算法，复杂度没有明显上升，适合于实际场景中应用。

上述方式中未述及的技术内容，采取或借鉴已有技术即可实现。需要说明的是，在本说明书的教导下，本领域技术人员还可以作出这样或那样的容易变化方式，诸如等同方式，或明显变形方式。上述的变化方式均应在本发明的保护范围之内。

技术特征：

1.一种基于预定义空间的跨类别细粒度手绘检索方法，所述方法包括：

步骤1)，将手绘图片和自然图片配对，并缩放裁剪形成训练图片，训练图片的集合构成训练样本；

步骤2)，设计基于预定义空间的孪生网络，其中包含自定义的空间单位球；

步骤3)，确立相似性损失、编解码重构损失的权重因子

步骤4)，将网络进行样本对的训练；

步骤5)，得到训练完的模型，用该模型提取测试手绘图片的特征图；

步骤6)，将特征图做欧氏距离，找到距离最近的一张图片，从而实现跨类别的检索。

2.根据权利要求1所述的基于预定义空间的跨类别细粒度手绘检索方法，其特征在于：步骤1)中对于手绘图和自然图有多种匹配选择，在训练过程中使用轮换算法，防止过拟合。

3.根据权利要求1所述的基于预定义空间的跨类别细粒度手绘检索方法，其特征在于：使用插值的方法实现图片的缩放，从而保持图片中前景物不发生形变失真。

4.根据权利要求1所述的基于预定义空间的跨类别细粒度手绘检索方法，其特征在于：由于手绘图难以获取，导致的自然图远远多于手绘图，因此使用candy边缘检测算法，提取无与之匹配的自然图的边缘图来与该自然图配对。

5.据权利要求1所述的基于预定义空间的跨类别细粒度手绘检索方法，其特征在于：步骤2)中根据数据集大小来定义预定义空间特征球的维度，在检索速度与检索精度之间找一个平衡点。

6.据权利要求1所述的基于预定义空间的跨类别细粒度手绘检索方法，其特征在于：在预定义空间特征球面空间确定噪音点的位置，这里使用的是在高斯分布上随机采样的方法。

7.据权利要求1所述的基于预定义空间的跨类别细粒度手绘检索方法，其特征在于：步骤3)中确定损失函数的权重因子，主要需要特征图的区分性特征，因此编解码重构损失的权重因子可以相对减小。

8.据权利要求1所述的基于预定义空间的跨类别细粒度手绘检索方法，其特征在于：步骤4)中使用权重衰减算法，将训练数据从图片-边缘图逐步替换成图片-手绘。

9.据权利要求1所述的基于预定义空间的跨类别细粒度手绘检索方法，其特征在于：训练方式是经典的深度学习训练方法。

10.据权利要求1所述的基于预定义空间的跨类别细粒度手绘检索方法，其特征在于：整个网络在训练以及测试过程中都是端到端实现的。

技术总结
本发明公开了一种基于预定义空间的跨类别手绘检索方法，属于计算机视觉领域中的图像检索方向，主要解决传统检索方法在未训练的类别上检索效果急剧下降的问题。算法主要包括：将手绘图片和自然图片配对，并缩放裁剪形成训练图片，训练图片的集合构成训练样本；设计基于预定义空间的孪生网络，其中包含自定义的预定义空间单位球；确立相似性损失、编解码重构损失的权重因子；将网络进行样本对的训练；得到训练完的模型，用该模型提取测试手绘图片的特征图。这种端到端的图像检索方法，在未训练的类别上测试效果明显优于现有算法。

技术研发人员：李宗民;李亚传;王文超;李思远;刘玉杰;李冠林
受保护的技术使用者：中国石油大学(华东)
技术研发日：2019.09.26
技术公布日：2020.12.08