基于区域卷积神经网络的精确图像检索方法
【专利摘要】本发明提出了一种基于区域卷积神经网络的精确图像检索方法，利用区域卷积神经网络分析图像的内容，并且标定图像所包含的物体的区域和数量，输入检索条件，通过遍历整个图像数据库就可以准确的输出所有包含该物体的图像。区域卷积神经网络可以分析图像中的所有物体，并且卷积神经网络拥有很高的准确率，相比于传统方法，在很大程度上避免了遗漏或者错误检索的情况，达到精确检索的目的。
【专利说明】
基于区域卷积神经网络的精确图像检索方法
技术领域
[0001]本发明涉及图像处理、机器学习领域，具体涉及一种基于区域卷积神经网络的精确图像检索方法。
【背景技术】
[0002]在图像检索领域，一般通过图像特征和图像标签两种方式进行检索。
[0003]通过图像特征检索的方法，提取输入图像和数据库图像的特征，比对图像相似度，例如颜色相似度，纹理相似度，尺度相似度，填充相似度等，找出相似度最高的图像，但是受图像本身的复杂性和图像背景图案的影响，这些特征不会达到很精准的效果。
[0004]通过图像标签检索的方法，直接遍历数据库中图像标签，比对关键字，找出关键字符合检索条件的图像，但这种方式必须对整个数据库进行人工增加标签，工作量非常庞大，而且对于新来的图像，不能及时增加标签，这部分图像就不会被检索到，很不利于系统的更新。
[0005]现有的图像检索方法精确度较低，其中一种情况是一幅图像包含多种不同的物体，分类算法不能明确判断这幅图像的类别，即使判断出图像类别也不能指出物体的数量和位置，因此现有的图像检索方法都无法达到精确检索的效果。
【发明内容】
[0006]为解决现有技术中的缺点和不足，本发明提出了一种基于区域卷积神经网络的精确图像检索方法，先通过选择性搜索产生目标假设区域，然后使用卷积神经网络对目标假设区域进行识别，最后通过统计目标假设区域的分类信息找出所有要检索的图像，这样可以将一幅图像中所有的物体准确识别并且分别统计，最大程度上分析图像的所有信息。
[0007]本发明的技术方案是这样实现的:
[0008]—种基于区域卷积神经网络的精确图像检索方法，包括物体定位和物体识别两个过程；
[0009]在物体定位过程中，使用选择性搜索的方法；
[0010]在物体识别过程中，使用卷积神经网络的方法；
[0011]对于一幅图像，使用选择性搜索产生目标假设区域，并用卷积神经网络识别每一个目标假设区域，给出分类结果;对每幅图像的分类结果进行统计，列出图像中所包含物体的种类、数量和位置;从整个图像数据库中找出所有包含所要检索物体的图像。
[0012]可选地，在物体定位过程中，使用选择性搜索的方法，具体步骤为:
[0013](11)产生一组初始区域；
[0014](12)使用贪心算法去迭代分组区域:首先，测量相邻区域的相似性;然后将最相似的两个区域合并为一个;然后在重新计算相邻区域的相似性。这个过程不断重复，直到合并以后的区域为整个图片为止。
[0015]可选地，在物体识别过程中，使用卷积神经网络的方法，具体步骤为:
[0016](21)图像预处理，固定图像的长宽比；
[0017](22)将图像输入卷积神经网络，经过卷积、池化、全连接层，得出分类结果。
[0018]可选地，选择性搜索和卷积神经网络通过预训练初始化权重以加快收敛速度，具体步骤为:
[0019](31)使用较大的、通用的数据集，例如ImageNet进行预训练初始化选择性搜索和卷积神经网络的权重；
[0020](32)使用较小的、专用的数据集对选择性搜索和卷积神经网络进行微调。
[0021]本发明的有益效果是:
[0022](I)卷积神经网络自动学习良好的特征，避免了人工选取特征的局限性，减少了复杂的人工操作，适应能力更强；
[0023](2)对图片内容进行全面分析，找出图片中包含的所有的物体，解决了由于图片内容太复杂无法对图片进行分类的问题，最大程度上减少错误或者遗漏的情况；
[0024](3)不仅对图片包含物体的类别进行检测，还标注了物体的位置和数量信息，使图片划分更加细致；
[0025](4)使用较大的数据集对选择性搜索和卷积神经网络进行预训练，然后使用特定数据集进行微调，可以大大缩短训练时间。
【附图说明】
[0026]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0027]图1为本发明基于区域卷积神经网络的精确图像检索方法的流程图；
[0028]图2为本发明选择性搜索方式的流程图；
[0029]图3为本发明卷积神经网络的结构图。
【具体实施方式】
[0030]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0031]如图1所示，本发明提出了一种基于区域卷积神经网络的精确图像检索方法，检索方法分为物体定位和物体识别两个过程。
[0032]对于一幅图像，使用选择性搜索的方式产生目标假设区域，并用卷积神经网络识别每一个目标假设区域，给出分类结果;对每幅图像的分类结果进行统计，列出图像中所包含物体的种类、数量和位置;从整个图像数据库中找出所有包含所要检索物体的图像。
[0033]在物体定位过程中，使用选择性搜索的方式，如图2所示，具体步骤为:
[0034](11)产生一组初始区域；
[0035](12)使用贪心算法去迭代分组区域:首先，测量相邻区域的相似性;然后将最相似的两个区域合并为一个;然后在重新计算相邻区域的相似性。这个过程不断重复，直到合并以后的区域为整个图片为止。
[0036]在物体识别过程中，使用卷积神经网络的方法，如图3所示，具体步骤为:
[0037](21)图像预处理，固定图像的长宽比；
[0038](22)将图像输入卷积神经网络，经过卷积、池化、全连接层，得出分类结果。
[0039]本发明的方法遍历图像数据库，对于每一张图片，使用选择性搜索产生目标假设区域，然后使用卷积神经网络对每一个目标假设区域进行识别，得出分类结果，判断该图像是否包含所要检索的内容，进行统计，并且每一幅图像都标注有该物体的位置和数量信息。
[0040]本发明基于区域卷积神经网络的精确图像检索方法，使用选择性搜索产生目标假设区域，然后使用卷积神经网络对每一个目标假设区域进行识别，这种方法提取了图片物体的所有特征，最大限度利用图片信息进行分析;对于每一张图片，不仅给出图片的分类，还给出其中物体的数量和位置，更细致的对图片进行划分;在训练选择性搜索和卷积神经网络时，通过预训练初始化权重以加快收敛速度，可以大大缩短训练时间，具体步骤为:
(31)使用较大的、通用的数据集，例如ImageNet进行预训练初始化选择性搜索和卷积神经网络的权重；(32)使用较小的、专用的数据集对选择性搜索和卷积神经网络进行微调。
[0041]本发明可以对图像数据库进行精确检索，在给出检索条件时，遍历图像数据库的每一张图像，分析该图像所包含物体的种类、数量和位置，找出符合检索条件的所有图像，比传统比较图像特征的方法更加细致和精确;这种方法节省了大量人工增加标签的工作，并且在图像数据库更新的时候也不用再去相应的更新标签;算法运行速度快，即使对于大型数据库也可以高效运行。
[0042]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种基于区域卷积神经网络的精确图像检索方法，其特征在于，包括物体定位和物体识别两个过程，使用选择性搜索的方式进行物体定位，使用卷积神经网络进行物体识别； 遍历图像数据库，对于每一张图片，使用选择性搜索的方式产生目标假设区域，然后使用卷积神经网络对每一个目标假设区域进行识别，得出分类结果，判断该图像是否包含所要检索的内容，进行统计。2.如权利要求1所述的基于区域卷积神经网络的精确图像检索方法，其特征在于，所述使用选择性搜索的方式进行物体定位，具体步骤为: (11)产生一组初始区域； (12)使用贪心算法去迭代分组区域:首先，测量相邻区域的相似性;然后将最相似的两个区域合并为一个;再然后，重新计算相邻区域的相似性;不断重复上述过程，直到合并以后的区域为整个图片为止。3.如权利要求1所述的基于区域卷积神经网络的精确图像检索方法，其特征在于，所述使用卷积神经网络进行物体识别，具体步骤为: (21)图像预处理，固定图像的长宽比； (22)将图像输入卷积神经网络，经过卷积、池化、全连接层，得出分类结果。4.如权利要求1所述的基于区域卷积神经网络的精确图像检索方法，其特征在于，所述选择性搜索和所述卷积神经网络通过预训练初始化权重以加快训练速度。5.如权利要求4所述的基于区域卷积神经网络的精确图像检索方法，其特征在于，所述选择性搜索和所述卷积神经网络通过预训练初始化权重以加快训练速度，具体步骤为: (31)使用较大的、通用的数据集进行预训练，初始化选择性搜索和卷积神经网络的权重； (32)使用较小的、专用的数据集对选择性搜索和卷积神经网络进行微调。
【文档编号】G06F17/30GK105868269SQ201610148294
【公开日】2016年8月17日
【申请日】2016年3月8日
【发明人】张卫山, 赵德海, 李忠伟, 宫文娟, 卢清华
【申请人】中国石油大学(华东)