精细目标识别方法和系统与流程

本发明涉及图像处理领域，具体而言，涉及一种精细目标识别方法和系统。

背景技术：

由于精细目标具有较小的类间差距，精确的局部描述对于精细目标识别非常重要，而传统的算法需要待识别图片中含有完备的人工标注信息，但是人工标记信息的获取是费时费力的，无法应用到大规模的实际生活中的图像识别中，因此如何更加简便随精细目标进行识别成为了一个亟待解决的问题。

相关技术主要是利用强标注对精细目标来进行识别，首先利用训练图像中的强标注信息预测得到测试图像中可能含有物体的局部区域；再利用卷积神经网络模型模型提取该局部区域的深度特征；最后进行特征融合，生成精细目标的描述。

但是，现有技术中需要对局部区域的属性和局部特征点进行强标注，在进行强标注时需要大量的时间和人力，而且只有少数小数据集提供人工强标注信息，大部分大数据集上很难提供人工标注信息，因此现有方法可移植性差。

技术实现要素：

有鉴于此，本发明实施例的目的在于提供一种精细目标识别方法和系统，以实现在无监督的情形下，进行精细目标的检测和区分性区域的提取。

第一方面，本发明实施例提供了精细目标识别方法，所述方法包括：

提取待识别图像的特征描述，生成目标显著图；

通过所述目标显著图对所述待识别图像进行处理，得到所述待识别图像的目标候选区域；

检索所述待识别图像的K近邻图像，并对所述K近邻图像进行处理，得到所述K近邻图像的目标候选区域；

计算所述待识别图像的目标候选区域和所述K近邻图像的目标候选区域的相似度；

根据所述相似度以及K近邻图像的目标候选区域之间的相似度之和，确定所述待识别图像的精细目标区域。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，提取待识别图像的特征描述，生成目标显著图，包括：

将所述待识别图像的尺寸改变到预设尺寸；

训练DomainNet卷积神经网络模型提取预设尺寸下所述待识别图像的pool5层特征，得到所述待识别图像的特征描述；

通过所述待识别图像的特征描述对所述待识别图像进行处理，得到所述待识别图像的目标显著图。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，通过所述待识别图像的特征描述对所述待识别图像进行处理，得到所述待识别图像的目标显著图，包括：

通过以下公式计算出所述目标显著图：

其中，I表示待识别图像，m_I表示目标显著图，为所述待识别图像的特征描述，i表示图像的特征描述中点的横坐标，j表示图像的特征描述中点的纵坐标，c表示特征通道，p5表示卷积神经网络DomainNet的第五层的池化特征。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，通过所述目标显著图对所述待识别图像进行处理，得到所述待识别图像的目标候选区域，包括：

根据候选区域生成算法生成所述待识别图像的候选区域；

计算所述候选区域和所述目标显著图的外接矩形的重叠度；

将重叠度大于预设重叠度阈值的候选区域确定为所述待识别图像的目标候选区域。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，计算所述待识别图像的目标候选区域和所述K近邻图像的目标候选区域相似度，包括：

通过以下公式计算所述相似度：

其中，D_TN(b_I)表示所述待识别图像的目标候选区域b_I与所述K近邻图像的目标候选区域的相似度之和，表示所有所述K近邻图像目标候选区域B_k中与待识别图像目标候选区域b_I最相似的区域，表示两个所述候选区域之间的相似度。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，根据所述相似度以及K近邻图像的目标候选区域之间的相似度之和，确定所述待识别图像的精细目标区域；

通过以下公式计算K近邻图像的目标候选区域之间的相似度之和：

其中，D_NN(b_I)表示候选区域之间的相似度之和，表示两个所述候选区域之间的相似度；

根据所述相似度以及计算得到的K近邻图像的目标候选区域之间的相似度之和，通过以下公式确定所述待识别图像的精细目标区域：

其中，表示所求得的所述待识别图像的精细目标区域。

第二方面，本发明实施例提供了一种精细目标识别系统，所述系统包括：

目标显著图生成模块，用于提取待识别图像的特征描述，生成目标显著图；

目标候选区域确定模块，用于通过所述目标显著图对所述待识别图像进行处理，得到所述待识别图像的目标候选区域；

K近邻图像检索模块，用于检索所述待识别图像的K近邻图像，并对所述K近邻图像进行处理，得到所述K近邻图像的目标候选区域；

相似度计算模块，用于计算所述待识别图像的目标候选区域和所述K近邻图像的目标候选区域的相似度；

精细目标区域确定模块，用于根据所述相似度以及K近邻图像的目标候选区域之间的相似度之和，确定所述待识别图像的精细目标区域。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述目标显著图生成模块包括：

尺寸改变单元，用于将所述待识别图像的尺寸改变到预设尺寸；

特征描述获取单元，用于训练DomainNet卷积神经网络模型提取预设尺寸下所述待识别图像的pool5层特征，得到所述待识别图像的特征描述；

目标显著图生成单元，用于通过所述待识别图像的特征描述对所述待识别图像进行处理，得到所述待识别图像的目标显著图。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，所述目标候选区域确定模块包括：

候选区域生成单元，用于根据候选区域生成算法生成所述待识别图像的候选区域；

重叠度计算单元，用于计算所述候选区域和所述目标显著图的外接矩形的重叠度；

目标候选区域确定单元，用于将重叠度大于预设重叠度阈值的候选区域确定为所述待识别图像的目标候选区域。

结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中，所述精细目标区域确定模块包括：

候选区域之间相似度之和计算单元，用于通过以下公式计算K近邻图像的目标候选区域之间的相似度之和：

其中，D_NN(b_I)表示候选区域之间的相似度之和，表示两个所述候选区域之间的相似度；

精细目标区域确定单元，用于根据所述相似度以及计算得到的K近邻图像的目标候选区域之间的相似度之和，通过以下公式确定所述待识别图像的精细目标区域：

其中，表示所求得的所述待识别图像的精细目标区域。

本发明实施例提供的一种精细目标识别方法和系统，通过提取图像的特征描述生成目标显著图，并对待识别图像进行处理得到目标候选区域，根据目标候选区域和K近邻图像的目标候选区域的相似度以及K近邻图像的目标候选区域之间的相似度之和来识别精细目标区域，从而不需要对待识别图像进行强标注，就能够对精细目标进行描述，节省了大量的时间和人力，提高了精细目标的识别效率。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的一种精细目标识别方法的方法流程图；

图2示出了本发明实施例所提供的生成目标显著图的方法流程图；

图3示出了本发明实施例所提供的一种精细目标识别系统的结构示意图；

图4示出了本发明实施例所提供的目标显著图生成模块的结构示意图。

图标：

附图3中，各标号所代表的部件列表如下：

30-目标显著图生成模块； 31-目标候选区域确定模块；

32-K近邻图像检索模块； 33-相似度计算模块；

34-精细目标区域确定模块。

附图4中，各标号所代表的部件列表如下：

40-尺寸改变单元；41-特征描述获取单元；

42-目标显著图生成单元。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到相关技术中主要是利用强标注对精细目标来进行识别的，首先利用训练图像中的强标注信息预测得到测试图像中可能含有物体的局部区域；再利用卷积神经网络模型模型提取该局部区域的深度特征；最后进行特征融合，生成精细目标的描述。但是，现有技术中需要对局部区域的属性和局部特征点进行强标注，在进行强标注时需要大量的时间和人力，而且只有少数数据集提供人工强标注信息，大部分数据集上很难提供人工标注信息，因此现有方法可移植性差。基于此，本发明实施例提供了一种精细目标识别方法和系统，下面通过实施例进行描述。

实施例1

本实施例提供的精细目标识别方法无需人为对图像进行强标注信息，能够实现在无监督的情形下，进行精细目标的检测和区分性区域的提取，节约了大量的时间和人力。

参见图1，本实施例提供了一种精细目标识别方法，该方法包括：

步骤S101，提取待识别图像的特征描述，生成目标显著图。

步骤S101进一步地包括步骤S201至步骤S203：

步骤S201，将待识别图像的尺寸改变到预设尺寸；

步骤S202，训练DomainNet卷积神经网络模型提取预设尺寸下待识别图像的pool5层特征，得到待识别图像的特征描述；

步骤S203，通过待识别图像的特征描述对待识别图像进行处理，得到待识别图像的目标显著图。

具体地步骤S203包括：

通过以下公式计算出目标显著图：

其中，I表示待识别图像，m_I表示目标显著图，为待识别图像的特征描述，i表示图像的特征描述中点的横坐标，j表示图像的特征描述中点的纵坐标，c表示特征通道，p5表示卷积神经网络DomainNet的第五层的池化特征。

其中，目标显著图表示图像中的每个像素点的值可以表达这个像素点属于目标的可能性，由于只有图像的类别标签，期望通过图像的目标显著图来进行无监督的目标检测，因此，如何得到一个比较有效的目标显著图是比较关键的一步，通过对卷积神经网络的中间特征分析，发现通过对神经网络的pool5层的特征的处理，可以得到一个目标显著图，因为全连接层的特征破坏了图像的位置相关性，不适于生成目标显著图.卷积层或pool层的特征会保持图像的位置相关性，非常适合用于描述目标位置信息；相比于其它的卷积层或pool层，例如，conv3，conv4，conv5，pool4等层，pool5层的神经元具有最大的可视域，因此很容易从背景中区分前景目标。

利用图像的基本类别信息，如鸟，狗，车，飞机等，训练出了一个DomainNet卷积神经网络模型，然后利用DomainNet提取图像的pool5层特征生成目标显著图，例如，给定图像I，首先改变图像的尺度到256乘256，然后输入到DomainNet提取图像的pool5特征，得到的特征记为其中512是conv5层卷积核的数目，8×8是pool5层特征图的大小，对于特征利用以下公式可以得到目标的显著图m_I。然后对m_I变换到和图像I同样大小的尺度并进行归一化：

步骤S102，通过目标显著图对待识别图像进行处理，得到待识别图像的目标候选区域。

步骤S102具体包括步骤(1)至步骤(3)：

(1)根据候选区域生成算法生成待识别图像的候选区域；

(2)计算候选区域和目标显著图的外接矩形的重叠度；

(3)将重叠度大于预设重叠度阈值的候选区域确定为待识别图像的目标候选区域。

现有算法生成的候选区域的数目太多，噪声区域太多，因此，在无监督的目标检测中，会影响算法的效率和准确性，由于目标显著图可以描述目标的位置信息，因此，利用目标显著图过滤掉大部分无关的候选区域，只保留一小部分有意义的区域。

在无监督的目标检测中，一般首先需要通过候选区域生成算法生成成百上千的目标图像候选区域，然后通过最优化的方法找到候选区域中最好的候选区域当作目标图像区域。由于直接用候选区域生成算法生成的候选区域比较多，因此我们首先利用生成的目标显著图过滤掉大部分无用的候选区域，保留一小部分最优的候选区域。过滤的方法是对于目标显著图利用不同的阈值进行二值化，利用二值化后的图像的外接矩形b^h来过滤precScore比较低的候选区域,对于每个阈值，我们选择precScore值较高的10个候选区域，其中precScore的计算如下式所示：

其中，b^h是二值化图像的外接矩形，b表示一个候选目标区域，采用阈值θ来过滤候选区域，θ可取值为0.1，0.2，0.3，0.4，0.5等，从而得到目标候选区域。

步骤S103，检索待识别图像的K近邻图像，并对K近邻图像进行处理，得到K近邻图像的目标候选区域。

利用目标显著图过滤掉大部分无用的候选区域之后，接下来利用图模型来选择最优的目标区域，如：给定一个测试图像I及它的候选目标区域B_I，首先利用图像的卷积神经网络的fc6层特征从所有训练集图像中检索该图像的K近邻图像，检索结果图像及其候选区域分别标记为{N₁,N₂,…,N_k}和{B₁,B₂,…,B_k}，由于K近邻图像和查询图像包含有视觉描述一致的目标，因此，K近邻图像可以用来帮助定位查询图像中的目标。

步骤S104，计算待识别图像的目标候选区域和K近邻图像的目标候选区域的相似度。

步骤S104具体包括：通过以下公式计算相似度：

其中，D_TN(b_I)表示待识别图像的目标候选区域b_I与K近邻图像的目标候选区域的相似度之和，表示所有K近邻图像目标候选区域B_k中与待识别图像目标候选区域b_I最相似的区域，表示两个候选区域之间的相似度。

步骤S105，根据相似度以及K近邻图像的目标候选区域之间的相似度之和，确定待识别图像的精细目标区域。

步骤S105进一步包括步骤(1)至步骤(2)：

(1)通过以下公式计算K近邻图像的目标候选区域之间的相似度之和：

其中，D_NN(b_I)表示候选区域之间的相似度之和，表示两个候选区域之间的相似度；

(2)根据相似度以及计算得到的K近邻图像的目标候选区域之间的相似度之和，通过以下公式确定待识别图像的精细目标区域：

其中，表示所求得的待识别图像的精细目标区域。

基于查询图像及其K近邻图像，我们构建一个图模型G＝{V,E}，其中点d结合为V＝{B₁,B₂,…,B_k}，B_I表示测试图像I的候选区域集合；E是边的集合，表示边的权值，反映了不同目标区域之间的相似性。通过图模型G找到图像I的最优目标区域b_I^*，及其近邻图像N_k的目标区域b_k^*。具体优化过程如下:

其中，D_TN(b_I)表示待识别图像的目标候选区域b_I与K近邻图像的目标候选区域的相似度，表示所有K近邻图像目标候选区域B_k中与待识别图像目标候选区域b_I最相似的区域，表示两个候选区域之间的相似度。

在计算两个候选区域之间的相似度时，不仅需要考虑的候选区域之间的视觉相似性dis，同时也要考虑候选区域本身包含目标的概率objScore，

objScore为了更准确的描述一个候选区域包含目标的概率，定义的objScore包含两部分：probScore和mapScore，其中mapScore是基于生成的目标显著图而计算得到的一个区域包含目标的概率。

objScore(b_I)＝probScore(b_I)×mapScore(b_I)，

probScore(b_I)＝max(f^prob(b_I))，

其中，f^prob(b_I)是卷积神经网络模型prob层的输出值，probScore(b_I)的值越高，目标候选区域b_I包含精细目标的概率越大。

除此之外，在目标显著图中发现显著性较高的区域常出现在在目标具有区分性的位置上，例如，头部，因此，可以利用高阈值来二值化显著图，得到具有区分性的区域，从而实现对精细目标的局部区域进行识别。

综上所述，本实施例提供了一种精细目标识别方法，通过提取图像的特征描述生成目标显著图，并对待识别图像进行处理得到目标候选区域，根据目标候选区域和K近邻图像的目标候选区域的相似度以及K近邻图像的目标候选区域之间的相似度之和来识别精细目标区域，从而不需要对待识别图像进行强标注，就能够对精细目标进行描述，节省了大量的时间和人力，提高了精细目标的识别效率。

实施例2

参见图3，本实施例提供的一种精细目标识别系统，该系统包括：

目标显著图生成模块30，用于提取待识别图像的特征描述，生成目标显著图；

目标候选区域确定模块31，用于通过目标显著图对待识别图像进行处理，得到待识别图像的目标候选区域；

K近邻图像检索模块32，用于检索待识别图像的K近邻图像，并对K近邻图像进行处理，得到K近邻图像的目标候选区域；

相似度计算模块33，用于计算待识别图像的目标候选区域和K近邻图像的目标候选区域的相似度；

精细目标区域确定模块34，用于根据相似度以及K近邻图像的目标候选区域之间的相似度之和，确定待识别图像的精细目标区域。

进一步地，参见图4，目标显著图生成模块30包括：

尺寸改变单元40，用于将待识别图像的尺寸改变到预设尺寸；

特征描述获取单元41，用于训练DomainNet卷积神经网络模型提取预设尺寸下待识别图像的pool5层特征，得到待识别图像的特征描述；

目标显著图生成单元42，用于通过待识别图像的特征描述对待识别图像进行处理，得到待识别图像的目标显著图。

目标候选区域确定模块31包括：

候选区域生成单元，用于根据候选区域生成算法生成待识别图像的候选区域；

重叠度计算单元，用于计算候选区域和目标显著图的外接矩形的重叠度；

目标候选区域确定单元，用于将重叠度大于预设重叠度阈值的候选区域确定为待识别图像的目标候选区域。

精细目标区域确定模块34包括：

候选区域之间相似度之和计算单元，用于通过以下公式计算K近邻图像的目标候选区域之间的相似度之和：

其中，D_NN(b_I)表示候选区域之间的相似度之和，表示两个候选区域之间的相似度；

精细目标区域确定单元，用于根据相似度以及计算得到的K近邻图像的目标候选区域之间的相似度之和，通过以下公式确定待识别图像的精细目标区域：

其中，表示所求得的待识别图像的精细目标区域。

综上所述，本实施例提供的一种精细目标识别系统，通过提取图像的特征描述生成目标显著图，并对待识别图像进行处理得到目标候选区域，根据目标候选区域和K近邻图像的目标候选区域的相似度以及K近邻图像的目标候选区域之间的相似度之和来识别精细目标区域，从而不需要对待识别图像进行强标注，就能够对精细目标进行描述，节省了大量的时间和人力，提高了精细目标的识别效率。

本发明实施例所提供的精细目标识别方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，程序代码包括的指令可用于执行前面方法实施例中的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。