一种图像检索方法及系统与流程

本发明涉及数据处理领域，尤其涉及一种图像检索方法及系统。
背景技术：
在室内装饰领域，壁纸又称为墙纸，是一种应用相当广泛的室内装饰材料，多用于胡裱墙面。壁纸具有色彩多样、图案丰富、安全环保、施工方便、质感性强、价格适宜等多种特点。室内装饰设计师在设计时，根据不同装饰风格选取壁纸。然而，面对种类繁多、成千上万不同颜色和纹理的壁纸，设计师只能凭借经验和记忆查询库存，把大量精力花费在挑选和查找上。耗时且费力。虽然，也存在一定的检索方法。传统壁纸检索方法就是在壁纸产品信息录入时，人工填写字段信息，然后设计师在使用时通过对效果图的理解，根据字段所有壁纸产品，但是这种方法通常对有明确定义的信息效果比较好，例如：价格、厂商、材质。而对于一些比较感性的特征，例如颜色、花纹等定义比较模糊的信息，不同人的理解和记录是不同，这对壁纸检索产生了很大的困难。技术实现要素：为解决上述技术问题，本发明提供了一种图像检索方法及系统。第一方面，本发明提供了一种：接收操作指令，并根据所述操作指令在目标图像上选择感兴趣区域(regionofinterest，简称roi)；提取roi的图像特征；将roi的图像特征与预建立的图像库中图像的图像特征进行匹配，获取至少两个候选图像。本发明的有益效果是：设计师或用户在已知效果图的情况下，指定选取roi或通过算法自适应分割得到目标roi。获取roi图像，对roi图像进行特征提取；然后将提取的图像特征与预建立的图像库中图像的图像特征进行匹配，找出最接近的，指定数量的图像作为输出结果，该方法可以应用于壁纸、地板或瓷砖等任意的便于图像检索的场景中。通过上述方法，设计师在设计工作时，可以快速找到自己想要的图像产品，避免了面对海量图像单凭经验或记忆进行搜索的弊端，也避免了传统方式(例如凭借人为录入字段)搜索带来的不准确性和遗漏的缺点，极大减轻了设计师的工作量，解放了设计师的思路，让设计回归本身。第二方面，本发明提供了一种图像检索系统，该系统包括：接收单元，用于接收操作指令，并根据操作指令在目标图像上选择感兴趣区域roi；提取单元，用于提取roi的图像特征；匹配单元，用于将roi的图像特征与预建立的图像库中图像的图像特征进行匹配，获取至少两个候选图像本发明的有益效果是：设计师或用户在已知效果图的情况下，指定选取roi或通过算法自适应分割得到目标roi。获取roi图像，对roi图像进行特征提取；然后将提取的图像特征与预建立的图像库中图像的图像特征进行匹配，找出最接近的，指定数量的图像作为输出结果，该系统可以应用于壁纸、地板或瓷砖等任意的便于图像检索的场景中。通过上述系统，设计师在设计工作时，可以快速找到自己想要的图像产品，避免了面对海量图像单凭经验或记忆进行搜索的弊端，也避免了传统方式(例如凭借人为录入字段)搜索带来的不准确性和遗漏的缺点，极大减轻了设计师的工作量，解放了设计师的思路，让设计回归本身。附图说明图1为本发明实施例提供的一种图像检索方法流程示意图；图2为本发明实施例提供的一种图像检索系统结构示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透切理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。图1为本发明实施例提供的一种图像检索方法流程示意图。在介绍上述方法之前，首先需要建立一个图像库。建立图像库时，仅以建立与壁纸相关的图像库为例，其他的图像库建立过程类似，这里不再赘述。具体包括：遍历壁纸库中所有的壁纸。然后基于颜色空间的特征向量提取和纹理空间的特征向量提取，分别获取每个壁纸对应的颜色空间的特征向量，并存入颜色特征数据库，以及获取每个壁纸对应的纹理空间的特征向量，存入纹理特征数据库。而颜色特征数据库和纹理特征数据库可以同时属于同一个数据库，但是存储于不同的存储位置。为叙述方便，上述数据库均统称为图像库。在分别提取每一张壁纸的颜色特征向量时，具体包括如下步骤：步骤1，输入rgb图像(读者还可以理解为从壁纸图像库中，选择一张壁纸，壁纸图像为rgb图像)，应用如下公式将rgb图像转换为hsv颜色空间图像，其中，rgb分别表示红绿蓝三个通道上的颜色分量。步骤2，对hsv颜色空间进行非均匀量化。例如，利用事先设置的映射表分别对h、s和v空间量化为8、12和4等三个级别。对壁纸图像中的每个像素的(新/旧)hsv值表进行查找，得到新的hsv值。具体如表1所示：新h取值原始h取值新s取值原始s取值新v取值原始v取值00-4500-0.08300-0.25146-9010.084-0.16610.26-0.50291-13520.167-0.24920.51-0.753136-18030.250-0.33230.76-1.04181-22540.333-0.4155226-27050.416-0.4986271-31560.499-0.5817316-36070.582-0.66480.665-0.74790.748-0.830100.831-0.913110.914-1.0表1步骤3、对hsv颜色空间进行非均匀量后，hsv颜色空间共有8×12×4，即384种取值。需要将3维颜色空间转化为384维颜色直方图向量，即每种壁纸可以用一个384维的向量表示。步骤4，将每种壁纸的唯一编号及与之对应的颜色特征向量建立映射关系，并存储至图像库中。而获取每个壁纸对应的纹理空间的特征向量，具体包括如下步骤：步骤1，输入rgb图像(读者还可以理解为从壁纸图像库中，选择一张壁纸，壁纸图像为rgb图像)，将rgb图像转换为灰度图像。具体可以采用如下公式：gray＝0.299r+0.587g+0.114b(公式2)步骤2，对灰度图像进行特征点提取，获取n个特征点。具体的，可以采用sift算法对灰度图像进行特征点的提取，找到n个特征点，而每个特征点都可以用一个128维的特征向量表示，其中n为大于或者等于2的正整数。步骤3，利用步骤1和步骤2的方法，当对壁纸库中的所有壁纸进行处理后，可以获取每一张壁纸图像所对应的n个特征点，以及n个特征点对应的特征向量表示。分别建立每一个特征点与特征向量之间的映射关系。步骤4，分别预测所有壁纸对应的特征点中每一个特征点所在的聚类中心，并获取每一个特征点与聚类中心之间的残差。具体的，根据每一个特征点对应的特征向量，利用kmeans聚类算法，预测每个壁纸对应的关键点所在的聚类中心，其中聚类中心簇的数量为k(例如：k可以选择192，理论上k取值越大纹理空间越详尽)，k为大于或等于1的正整数。并找出每一个关键点与聚类中心之间的残差。步骤5，分别获取每一张壁纸中属于同一聚类中心的所有特征点与该聚类中心之间的残差的和值。统计每一张壁纸中属于同一个聚类中心的所有特征点，然后计算所有特征点分别与该聚类中心之间的残差的和值。把所有k个聚类中心的残差串联后，得到k×128维向量。步骤6，对和值进行归一化及降维处理，获取每个壁纸的特征向量。具体的，对k×128维的特征向量进行l2范数归一化后，就是每个壁纸的特征向量。但是，对每个壁纸建立纹理特征空间索引时，由于壁纸的特征向量维度过高，比利于数据快速检索和存储等，所以为了达到减少存储空间和实时检索的目的，通常需要对上述特征向量做降维处理。例如采用pca方法可以在尽可能不降低精度的情况下，使k×128维向量降低到128维向量，获取壁纸最终的纹理特征向量。步骤7，将每一种壁纸的唯一编码和纹理特征向量建立映射并存储至图像库中。以上，则为建立图像库的具体流程。当然，可选的，建立图像库的具体过程中，还可以将最终获取的颜色特征向量和纹理特征向量进行串联，获取串联后的特征向量，然后将每种壁纸的唯一编号及串联后的特征向量建立映射关系，存储至图像库中。以上两种方式，可以选择任一种或两种同时存储图像库中。而后续用户则根据已经建立的图像库，选择最终的检索方法。当然，建立图像库仅仅是执行一次的准备工作。下面，在上述事先建立的图像库的基础上，将详细介绍图像检索方法及系统。如图1所示，该方法包括：步骤110，接收操作指令，并根据操作指令在目标图像上选择感兴趣区域roi。具体的，用户或者设计师可以在已知效果图的情况下，在目标图像上指定选取roi或通过输入算法自适应分割得目标roi，而系统则会接收用户输入的操作指令，根据操作指令在目标图像上选择roi。步骤120，提取roi的图像特征。可选的，roi的图像特征可以包括颜色特征和纹理特征。因此，提取时需要分别提取roi的颜色特征向量和纹理特征向量。提取时，可以包括：根据预设的颜色特征提取算法提取roi的颜色特征向量；以及，根据预设的纹理特征提取算法提取roi的纹理特征向量。进一步可选的，根据预设的颜色特征提取算法提取roi的颜色特征向量时，具体包括步骤1201～步骤1204。步骤1201，对roi的rgb图像转换为hsv颜色空间图像。步骤1202，并对hsv颜色空间图像进行非均匀量化，并赋予hsv颜色空间图像中每一个像素的新hsv值。步骤1203，分别将hsv颜色空间图像中每一个像素的新hsv值转换为颜色特征向量。步骤1204，根据hsv颜色空间图像中每一个像素的颜色特征向量，获取roi的颜色特征向量。进一步可选的，根据预设的纹理特征提取算法提取roi的纹理特征向量，具体可以包括：步骤1205，将roi的图像转换为灰度图像。步骤1206，对灰度图像进行特征点提取，获取至少两个特征点。步骤1207，预测至少两个特征点中每一个特征点所在的聚类中心，并获取每一个特征点与聚类中心之间的残差。步骤1208，获取属于同一聚类中心的所有特征点与该聚类中心之间的残差的和值。步骤1209，并对和值进行归一化及降维处理，获取roi的纹理特征向量。实际上，步骤1201～步骤1209所执行的具体方法步骤，均已经在上文中建立图像库时做了相应的介绍，仅仅是处理对象的不同。在步骤1201～步骤1209中，所处理的对象为roi的图像。因此，具体的执行过程这里不再赘述。步骤130，将roi的图像特征与预建立的图像库中图像的图像特征进行匹配，获取至少两个候选图像。可选的，步骤130可以包括如下两个步骤：步骤1301，将roi的颜色特征向量与预建立的图像库中图像的颜色特征向量进行匹配，获取至少一个候选图像。步骤1302，将roi的纹理特征向量与预建立的图像库中图像的纹理特征向量进行匹配，获取至少一个候选图像。不论在进行颜色特征向量匹配或者是纹理特征向量匹配过程中，均可以采用欧式距离法实现，具体公式如下：其中，dis是不同壁纸间的差异，fq,i是目标图像roi颜色(纹理)特征向量，fd,i是图像库中某一壁纸的颜色(纹理)特征向量。也可以用余弦距离公式计算两个向量之间的差异，具体公式如下：其中，n为图像库中壁纸的个数，ai为目标图像roi颜色(纹理)特征向量，bi为图像库中某一壁纸的颜色(纹理)特征向量，n为大于或者等于2的正整数。进一步可选的，在步骤130之后，该方法还可以包括步骤140：按照预设的权重比例，展示根据颜色特征向量进行匹配后获取的至少一个候选图像的个数，以及根据纹理特征向量进行匹配后获取的只是一个候选图像的个数。即，当通过颜色特征向量匹配后可以获取m个候选图像，而通过纹理特征向量匹配后，可以获取j个候选图像。那么，将这些候选图像展示给用户时，可以按照一定的比例进行展示，m和j均为大于或者等于1的正整数。例如，可以将m:j的权重比值进行预先设定，比如是7:3。当然，这个设定的权重比值可以为设计师通过个人经验或者不同的应用场景等自行设定。进一步的，再上述方法的基础上，还可以将产品的价格、品牌和材质等字段进行带有选择条件的检索推荐。进一步可选的，作为另一种备选的方案，步骤130还可以通过如下方式实现：步骤a，将roi的颜色特征向量和纹理特征向量进行串联，获取串联后的特征向量；步骤b,将串联后的特征向量与预建立的图像库中图像的串联特征向量进行匹配，获取至少两个候选图像。当然，步骤a和步骤b的实现是要在图像库中确实存在所有壁纸中每一种壁纸的颜色特征向量和纹理特征向量串联的情况下才可以实现。本发明实施例提供的一种图像检索方法，通过同时提取目标图像的颜色特征向量和纹理特征向量，然后再将这两个特征向量分别与图像库中对应的特征向量进行匹配。使设计师在设计工作时可以快速找到自己想要的图像产品，避免了面对海量图像，单凭经验和记忆搜索的苦恼，也避免了传统方式(例如凭借人为录入字段)搜索带来的不准确性和遗漏的缺点，极大减轻了设计师的工作量，解放了设计师的思路，让设计回归本身。省时省力的同时，降低检索困难。相应地，本发明实施例还提供了一种图像检索系统结构示意图。具体如图2所示，该系统包括：接收单元201，提取单元202以及匹配单元203。接收单元201，用于接收操作指令，并根据操作指令在目标图像上选择感兴趣区域roi；提取单元202，用于提取roi的图像特征；匹配单元203，用于将roi的图像特征与预建立的图像库中图像的图像特征进行匹配，获取至少两个候选图像。可选的，roi的图像特征包括：颜色特征和/或纹理特征。提取单元202具体用于：根据预设的颜色特征提取算法提取roi的颜色特征向量。以及，根据预设的纹理特征提取算法提取roi的纹理特征向量。具体的，提取单元202根据预设的颜色特征提取算法提取roi的颜色特征向量，具体包括：对roi的rgb图像转换为hsv颜色空间图像；并对hsv颜色空间图像进行非均匀量化，并赋予hsv颜色空间图像中每一个像素的新hsv值；分别将hsv颜色空间图像中每一个像素的新hsv值转换为颜色特征向量；根据hsv颜色空间图像中每一个像素的颜色特征向量，获取roi的颜色特征向量。提取单元202根据预设的纹理特征提取算法提取roi的纹理特征向量，具体包括：将roi的图像转换为灰度图像；对灰度图像进行特征点提取，获取至少两个特征点；预测至少两个特征点中每一个特征点所在的聚类中心，并获取每一个特征点与聚类中心之间的残差；获取属于同一聚类中心的所有特征点与该聚类中心之间的残差的和值；并对和值进行归一化及降维处理，获取roi的纹理特征向量。可选的，匹配单元203具体用于：将roi的颜色特征向量与预建立的图像库中图像的颜色特征向量进行匹配，获取至少一个候选图像；以及，将roi的纹理特征向量与预建立的图像库中图像的纹理特征向量进行匹配，获取至少一个候选图像。可选的，该装置还可以包括：展示单元204，用于按照预设的权重比例，展示根据颜色特征向量进行匹配后获取的至少一个候选图像的个数，以及根据纹理特征向量进行匹配后获取的只是一个候选图像的个数。进一步可选的，匹配单元203还可以用于，将roi的颜色特征向量和纹理特征向量进行串联，获取串联后的特征向量；将串联后的特征向量与预建立的图像库中图像的串联特征向量进行匹配，获取至少两个候选图像。该系统中的各部件所执行的功能均已经在上述实施例一种图像检索方法中做了详细的介绍，这里不再赘述。本发明实施例提供的一种图像检索系统，通过同时提取目标图像的颜色特征向量和纹理特征向量，然后再将这两个特征向量分别与图像库中对应的特征向量进行匹配。使设计师在设计工作时可以快速找到自己想要的图像产品，避免了面对海量图像，单凭经验和记忆搜索的苦恼，也避免了传统方式(例如凭借人为录入字段)搜索带来的不准确性和遗漏的缺点，极大减轻了设计师的工作量，解放了设计师的思路，让设计回归本身。省时省力的同时，降低检索困难。读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。当前第1页12