专利名称：图像检索方法、装置及系统的制作方法
技术领域：
本发明涉及图像处理领域，尤其涉及一种图像检索方法、装置及系统。
背景技术：
图像检索分为基于文本和基于内容两种。目前，大多数搜索引擎提供的图像检索都是基于文本的检索，即基于图像外部信息或人工标注的关键词进行自由词检索，基于文本的图像检索需要将图像与文本相关联，通过文本搜索来获取图像的检索结果，其检索准确度受关键字影响较大，图像中所包含的视觉特征(颜色或纹理等)往往无法用文本进行客观描述，主观理解的差异将导致图像检索中的失配错误。同时数据库的建立需要大量的人工操作，成本较高。随着大规模数字图像库的出现，基于文本的检索已经无法适应需求，基于内容的图像检索技术(content-based image retrieval)应运而生,区别于原有系统中对图像进 行人工标注的做法，基于内容的检索技术自动提取每幅图像的视觉内容特征作为其索引，如色彩、纹理、形状等。随着移动互联网技术的发展，基于内容的图像检索也逐渐被运用于移动终端中。现有的移动图像检索，均是将移动终端摄像模块采集的场景图像直接上传至检索服务器进行图像检索，这种方式不仅数据量大，对网络带宽要求较高，且更严重的是摄像模块在采集目标对象图像时，往往会采集到目标对象附近的背景内容，而图像背景内容在图像检索过程中会形成严重干扰，从而严重影响图像检索的准确度。
发明内容
本发明的目的是提供一种图像检索方法、装置及系统，在图像检索之前，进行轮廓检测，提取出目标对象轮廓，并将目标对象轮廓内的目标灰度图像截取出来上传至图像检索服务器端进行基于内容的图像检索，减少图像背景对图像检索结果的影响，提高检索精确度，本发明特别适用于移动云图像检索领域。为了实现上述发明目的，本发明提供了一种图像检索方法，包括对摄像模块捕获的场景图像进行灰度变换及降噪处理，得到场景灰度图像；在所述场景灰度图像中检测目标对象轮廓，并将目标对象轮廓内的目标灰度图像截取出来上传至图像检索服务器端进行图像检索；或对目标对象轮廓内的目标灰度图像进行特征检测得到特征描述，将得到的目标灰度图像的特征描述上传至图像检索服务器端进行图像检索，本处特征检测可采用SIFT、SURF、Ferns、ORB等算法，SIFT等特征检测可以用移动终端的CPU (CentralProcessing Unit,中央处理器)或 GPU (Graphic Processing Unit,图形处理器)或专用ASIC 芯片(ASIC, Application Specific Integrated Circuit)来完成。当向图像检索服务器端上传的数据为目标灰度图像时，图像检索服务器端首先要对上传的所述目标灰度图像进行特征检测，得到目标灰度图像的特征描述，然后再将所述目标灰度图像的特征描述与数据库中样本图像的特征描述进行匹配，返回匹配成功的样本图像所对应的资源信息。而当向图像检索服务器端上传的数据为目标灰度图像的特征描述时，图像检索服务器端可直接进入图像匹配步骤。优选的，所述在所述场景灰度图像中检测目标对象轮廓步骤进一步包括对所述场景灰度图像进行轮廓检测，得到场景灰度图像中的所有轮廓数据；对所述所有轮廓数据进行封闭性检测和多边形拟合，提取出与预置模板图像的轮廓形状一致的所有封闭轮廓或提取出满足预置形状参数的所有封闭轮廓；将所述提取出的封闭轮廓中的包含所述场景灰度图像中心点的最大轮廓或最小轮廓确定为目标对象轮廓。优选的，所述在所述场景灰度图像中检测目标对象轮廓步骤进一步包括对所述场景灰度图像进行轮廓检测，得到场景灰度图像中的所有轮廓数据；对所述所有轮廓数据进行封闭性检测及中心点检测，提取出包含所述场景灰度图像中心点的所有封闭性轮廓；对所述提取出的包含中心点的所有封闭性轮廓进行多边形拟合，提取出与预置模板图像的轮廓形状一致的准目标对象轮廓或提取出满足预置形状参数的准目标对象轮廓；将所述提取出的准目标对象轮廓中的最大轮廓或最小轮廓确定为目标对象轮廓。
优选的，所述对所述场景灰度图像进行轮廓检测采用Canny算子、Sobel算子、Prewitt算子、Robert算子和Laplacian算子中的一种,这些算法均属于现有技术,在此不做详细介绍。优选的，在目标对象轮廓检测出来之后，还包括检测距目标对象轮廓一定范围内是否有触发标识；当在预置时间内检测到触发标识，则进行目标灰度图像的截图或进行目标图像特征检测步骤，进而向图像检索服务器端发起图像检索请求；而当预置时间内检测不到触发标识时，则结束本次图像检索流程。优选的，在所述场景灰度图像中检测目标对象轮廓之前，还包括检测所述场景灰度图像中是否有触发标识；当在预置时间内检测到触发标识，则在所述场景灰度图像中检测目标对象轮廓，否则结束本次图像检索流程。相应的，本发明还提供了一种图像检索装置，包括灰度变换模块、轮廓提取模和检索请求模块，所述图像检索装置与移动终端的摄像模块连接，其中所述灰度变换模块，用于对摄像模块捕获的场景图像进行灰度变换及降噪处理，得到场景灰度图像；所述轮廓提取模块，用于在所述场景灰度图像中检测目标对象轮廓；所述检索请求模块，用于将目标对象轮廓内的目标灰度图像截取出来上传至图像检索服务器端进行图像检索；或对目标对象轮廓内的目标灰度图像进行特征检测，将得到目标灰度图像的特征描述上传至图像检索服务器端进行图像检索。优选的，所述轮廓提取模块包括轮廓数据检测单元，对所述灰度变换模块转换得到的场景灰度图像进行轮廓检测，得到场景灰度图像中的所有轮廓数据；轮廓封闭性检测及多边形拟合单元，对所述轮廓数据检测单元检测出的所有轮廓数据进行封闭性检测和多边形拟合，提取出与图像检索服务器端存储的预置模板图像的轮廓形状一致的所有封闭轮廓或提取出满足预置形状参数的所有封闭轮廓；目标对象轮廓确定单元，将所述提取出的封闭轮廓中的包含所述场景灰度图像中心点的最大轮廓或最小轮廓确定为目标对象轮廓。优选的，所述轮廓提取模块包括轮廓数据检测单元，对所述灰度变换模块转换得到的场景灰度图像进行轮廓检测，得到场景灰度图像中的所有轮廓数据；轮廓封闭性检测及中心点检测单元，在上述轮廓数据检测单元检测到得所有轮廓数据中，提取出包含所述场景灰度图像中心点的所有封闭性轮廓；多边形拟合单元，对所述提取出的包含中心点的所有封闭性轮廓进行多边形拟合，提取出与预置模板图像的轮廓形状一致的准目标对象轮廓或提取出满足预置形状参数的准目标对象轮廓；目标对象轮廓确定单元，将所述提取出的准目标对象轮廓中的最大轮廓或最小轮廓确定为目标对象轮廓。优选的，所述图像检索装置还包括触发标识检测模块，所述触发标识检测模块连接在所述轮廓提取模块与所述检索请求模块之间，用于在目标对象轮廓检测出来之后，检测距目标对象轮廓一定范围内是否有触发标识；当在预置时间内检测到触发标识，则触发所述检索请求模块工作。优选的，所述图像检索装置还包括触发标识检测模块，所述触发标识检测模块连接在所述所述灰度变换模块与所述轮廓提取模块之间，用于在所述轮廓提取模块工作之前，检测场景灰度图像内是否有触发标识；当在预置时间内检测到触发标识，则触发所述轮廓提取模块工作。 相应的，本发明还提供了一种移动终端，包括摄像模块及与摄像模块相连的图像检索装置，所述图像检索装置为前述的图像检索装置。相应的，本发明还提供了一种图像检索系统，包括移动终端和图像检索服务器端；所述移动终端为上述的移动终端，所述移动终端将摄像模块捕获的场景图像进行灰度变换及降噪处理，得到场景灰度图像；并在所述场景灰度图像中检测出目标对象轮廓，将目标对象轮廓内的目标灰度图像截取出来上传至图像检索服务器端；所述图像检索服务器端接收到所述目标灰度图像后，对所述目标灰度图像进行特征检测(本处特征检测可采用SIFT、SURF、Ferns、ORB、BRIEF、BRISK、FREAK等算法)，得到目标灰度图像的特征描述；并将所述目标灰度图像的特征描述与数据库中样本图像的特征描述进行匹配，向所述移动终端返回匹配成功的样本图像所对应的资源信息。相应的，本发明还提供了另一种图像检索系统，包括移动终端和图像检索服务器端；所述移动终端为上述的移动终端，所述移动终端将摄像模块捕获的场景图像进行灰度变换及降噪处理，得到场景灰度图像；并在所述场景灰度图像中检测出目标对象轮廓，对目标对象轮廓内的目标灰度图像进行特征检测，将得到目标灰度图像的特征描述上传至图像检索服务器端，本处特征检测可采用SIFT、SURF、Ferns、ORB、BRIEF、BRISK、FREAK等算法，SIFT等特征检测可以用移动终端的CPU或GPU或专用ASIC芯片来完成；所述图像检索服务器端接收到所述目标灰度图像的特征描述后，将所述目标灰度图像的特征描述与数据库中样本图像的特征描述进行匹配，向所述移动终端返回匹配成功的样本图像所对应的资源信息。本发明具有如下有益效果I、本发明是基于内容的图像检索，相对于基于文本的图像检索方式，其准确度不会受到搜索关键字的制约；2、本发明通过目标对象轮廓提取，去除摄像模块捕获场景图像中的背景内容，能有效防止干扰，提闻图像检索准确度；3、本发明上传到图像检索服务器端的数据为摄像模块捕获的原图像的子图像或子图像的特征描述，数据量相对较小，能有效缩短上传时间，减少用户的网络流量消耗。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图图I为本发明实施例图像检索方法流程图；图2为本发明实施例方法中在场景灰度图像中检测目标对象轮廓的流程示意图；图3为本发明实施例图像检索系统工作流程一；图4为本发明实施例图像检索系统工作流程二 ； 图5为本发明实施例图像检索装置结构示意图一；图6为本发明实施例图像检索装置结构示意图二 ；图7为本发明实施例中图像检索装置内的轮廓提取模块结构示意图一；图8为本发明实施例中图像检索装置内的轮廓提取模块结构示意图二。
具体实施例方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明主要涉及基于内容的图像检索，在图像特征提取与匹配之前，对输入图像进行目标轮廓检测，将目标与背景区域分割开来，然后将目标对象的灰度图像或目标对象灰度图像的特征描述上传至图像检索服务器进行图像检索，减少图像背景对图像检索结果的影响，提高检索精确度。本发明实施例中，基于内容的图像检索，图像特征提取可采用任意特征提取算法进行，例如基于描述的特征SIFT (Scale-invariant feature transform,尺度不变特征转换)、SURF(Speeded-Up Robust Features,快速稳健性特征)、ORB (OrientedFAST and Rotated BRIEF)、BRIEF(Binary Robust IndependentElementary Features)、BRISK(Binary Robust Invariant Scalable Keypoints)、FREAK (Fast Retina Keypoint)等，再如基于分类器的特征Ferns,其中Ferns算法可参考“Fast Keypoint Recognitionusing Random Ferns M. Ozuysal, M. Calonder, V. Lepetit, P. Fua IEEE Transactions onPattern Analysis and Machinelntelligence, Vol. 32, Nr. 3, pp. 448-461, March 2010，，。为了方便描述，后面的实施例中，统一选用SIFT算法来进行举例描述，此举不能视为对图像特征提取算法的限定。参见图1，为本发明实施例图像检索方法的一种流程图，所述图像检索方法，包括步骤SlOl :对摄像模块捕获的场景图像进行灰度变换及降噪处理，得到场景灰度图像；步骤S102 :在所述场景灰度图像中检测目标对象轮廓；步骤S103 :将目标对象轮廓内的目标灰度图像截取出来上传至图像检索服务器端进行图像检索；或对目标对象轮廓内的目标灰度图像进行SIFT特征检测，将得到的目标灰度图像的SIFT特征描述上传至图像检索服务器端进行图像检索。在步骤S102中，检测目标对象轮廓的流程有两种，两种流程均包括轮廓检测、轮廓封闭性检测、多边形拟合、中心点判断等步骤，只是这些步骤的先后顺序有所不同。下面首先结合图2进行介绍第一种目标对象轮廓的检测流程，主要包括以下三
I K
少Al :轮廓检测(边缘检测)，即对步骤SlOl中得到的场景灰度图像进行轮廓检测，得到场景灰度图像中的所有轮廓数据，本步中，轮廓检测可以采用Canny算子、Sobel算子、Prewitt算子、Robert算子和Laplacian等边缘检测算子中的一种。
A2 :轮廓封闭性检测及多边形拟合，即对Al步骤检测出的所有轮廓数据进行封闭性检测和多边形拟合，提取出与预置模板图像的轮廓形状一致的所有封闭轮廓或提取出满足预置形状参数的所有封闭轮廓。其中，封闭性检测是检查轮廓是否为封闭的，排除孤立的曲线轮廓对后续检测的影响。而轮廓多边形拟合，有两种方式，一种是预先用参数的形式设定要提取哪种或哪几种形状的多边形，在多边形拟合时将满足预置形状参数要求的封闭多边形轮廓提取出来(此种方式适合特定应用场景，即需要提取的为规则多边形轮廓，如三角形、四边形或五边形等简单多边形的其中一种或几种，可预置判断条件，仅判断多边形边数即可)；另外一种是在数据库中放入模板图像(可以为一张，也可以为多张)，然后将模板图像的形状抽象为多边形，提取出与模板图像形状一致的封闭多轮廓，此种方式适用于任意形状图像轮廓，尤其能解决复杂形状图像轮廓的拟合，如人脸轮廓等；如图2中，数据库中的模板图像轮廓为四边形，则多边形拟合时，仅提取四边形轮廓。当然在复杂情况下，两种多边形拟合方式可以混合使用。A3 :轮廓唯一性判断，即将所述提取出的封闭轮廓中的包含所述场景灰度图像中心点的最大轮廓或最小轮廓确定为目标对象轮廓。由于场景图像中与模板图像形状一致的轮廓或满足预置形状参数的轮廓并不唯一，因此经过A2步骤提取出来的封闭轮廓也极可能不唯一，为了得到目标对象轮廓，需要对A2步骤提取出来的轮廓进行一个唯一性判断，确定目标对象轮廓。例如，可以设定包含场景灰度图像中心点的最大轮廓或最小轮廓确定为目标对象轮廓，因为根据一般用户的使用习惯，用于在对目标对象拍照时，目标对象会占据屏幕的中间区域且相对尺寸较大，因此可以设定包含屏幕中心点的最大轮廓为目标对象轮廓(最小轮廓也可，但不太符合一般用户习惯)。第二种目标对象轮廓的检测流程中，先进行中心点检测再进行多边形拟合，通过中心点检测即可剔除大部分不相关轮廓，相比第一种目标对象轮廓的检测流程(即图2流程)更容易得到目标对象轮廓，具体步骤如下BI :对所述场景灰度图像进行轮廓检测，得到场景灰度图像中的所有轮廓数据；B2:对所述所有轮廓数据进行封闭性检测及中心点检测，提取出包含所述场景灰度图像中心点的所有封闭性轮廓；B3:对所述提取出的包含中心点的所有封闭性轮廓进行多边形拟合，提取出与预置模板图像的轮廓形状一致的准目标对象轮廓或提取出满足预置形状参数的准目标对象轮廓；B4 :将所述提取出的准目标对象轮廓中的最大轮廓或最小轮廓确定为目标对象轮廓。在步骤S103中，当向图像检索服务器端上传的数据为目标灰度图像时，图像检索服务器端接收图像检索请求后，首先对上传的所述目标灰度图像进行SIFT特征检测，得到目标灰度图像的SIFT特征描述，然后将所述目标灰度图像的SIFT特征描述与数据库中样本图像的特征描述进行匹配，返回匹配成功的样本图像所对应的资源信息，此种方式中，目标对象轮廓的检测流程采用图2方式时，则本发明实施例的整个图像检索流程可参见图3。 而当在步骤S103中，向图像检索服务器端上传的数据为目标灰度图像的SIFT特征描述时，图像检索服务器端接收图像检索请求后，直接进行图像匹配，此种方式中，目标对象轮廓的检测流程采用图2方式时，则本发明实施例的整个图像检索流程可参见图4。优选的，在步骤S102与S103之间，还可以增加一个触发标识检测步骤，即在目标对象轮廓检测出来之后，不是立即进入步骤S103，而是检测距目标对象轮廓一定范围内是否有触发标识，只有在预置时间内在目标对象轮廓周围检测到触发标识，才进入S103步骤，进而向图像检索服务器端发起图像检索请求；而当预置时间内检测不到触发标识时，则结束本次图像检索流程，本次图像检索流程结束后，可设定回到步骤SlOl重复进行检索步骤，也可设定为结束整个流程不再捕获场景图像。所述目标对象轮廓一定范围是根据需要预设的，例如可以设置为轮廓向外延I至2厘米或向内延1-2厘米的范围。所述触发标识可以为任意预置标识，比如一个L0G0，或一个特定图形等，该触发标识起到一个控制开关的作用，可实现只向服务器端上传带有触发标识的图像，提高检索准确率。例如将本发明实施例的图像检索方法运用于增强现实时，可以在能进行增强现实的图片轮廓周边标记一个特定触发标识，只有标记了这个触发标识的图片才将其上传到图像检索服务器检索，以实现准确推送增强现实信息，避免用户用终端任意捕获图像均发送到服务器端进行检索，造成的服务器端检索压力大，且任意图像入库增强现实的可能性也比较小，会造成时长检索不到结果，降低用户体验。在一种实施例中，上述的触发标识检测步骤可以设置在步骤SlOl与步骤S102之间，用触发标识触发是否进行轮廓检测，实现只对带有触发标识的场景灰度图像进行轮廓检测及后续步骤，即检测SlOl步骤得到的场景灰度图像中是否有触发标识，当在预置时间内检测到触发标识，则开始在所述场景灰度图像中检测目标对象轮廓，否则结束本次图像检索流程，这样可以极大减少移动终端中的开销。参见图5，为本发明实施例图像检索装置的结构示意图，包括灰度变换模块I、轮廓提取模2和检索请求模块3，所述图像检索装置安装于移动终端中(实际实施时，图像检索装置可以客户端系统的方式安装于移动终端中)，与移动终端的摄像模块信号连接，其中所述灰度变换模块1，用于对摄像模块捕获的场景图像进行灰度变换及降噪处理，得到场景灰度图像；所述轮廓提取模块2，用于在所述场景灰度图像中检测目标对象轮廓；所述检索请求模块3，用于将目标对象轮廓内的目标灰度图像截取出来上传至图像检索服务器端进行图像检索；或对目标对象轮廓内的目标灰度图像进行SIFT特征检测，将得到目标灰度图像的SIFT特征描述上传至图像检索服务器端进行图像检索。优选的，所述图像检索装置还包括触发标识检测模块4，参见图6，所述触发标识检测模块4连接在所述轮廓提取模块2与所述检索请求模块3之间，用于在目标对象轮廓检测出来之后，检测距目标对象轮廓一定范围内是否有触发标识；当在预置时间内检测到触发标识，则触发所述检索请求模块工作，起一个控制开关作用。优选的，在实际运用过程中，触发标识检测模块4还可以连接在灰度变换模块I与轮廓提取模块2之间，用于在所述轮廓提取模块工作之前，检测场景灰度图像内是否有触发标识，当在预置时间内检测到触发标识，则触发所述轮廓提取模块2工作。其中，轮廓提取模块2有两种结构，分别可参见图7、图8。下面首先结合图7介绍轮廓提取模块的第一种结构，参见图7，所述轮廓提取模块2包括轮廓数据检测单元21、轮廓封闭性检测及多边形拟合单元22和目标对象轮廓确定单元23，其中所述轮廓数据检测单元21，用于对所述灰度变换模块I转换得到的场景灰度图像 进行轮廓检测，得到场景灰度图像中的所有轮廓数据；所述轮廓封闭性检测及多边形拟合单元22，用于对所述轮廓数据检测单元检测出的所有轮廓数据进行封闭性检测和多边形拟合，提取出符合拟合要求的多边形。其中，封闭性检测是检查轮廓是否为封闭的，排除孤立的曲线轮廓对后续检测的影响。而轮廓多边形拟合，有两种方式，一种是预先用参数的形式设定要提取哪种或哪几种形状的多边形，在多边形拟合时将满足预置形状参数要求的封闭多边形轮廓提取出来(此种方式适合特定应用场景，即需要提取的为规则多边形轮廓，如三角形、四边形或五边形等简单多边形的其中一种或几种，可将多边形边数作为预置形状参数预置为判断条件，仅判断多边形边数即可)，此种方式中，需要在轮廓封闭性检测及多边形拟合单元22中预先设置需要拟合的多边形参数；另外一种是在数据库中放入模板图像(可以为一张，也可以为多张)，然后将模板图像的形状抽象为多边形，提取出与模板图像形状一致的封闭多轮廓，此种方式适用于任意形状图像轮廓，尤其能解决复杂形状图像轮廓的拟合，如人脸轮廓等，此种方式中，需要在服务器端的数据库中预先存入模板图像，轮廓封闭性检测及多边形拟合单元22在进行多边形拟合时，需调用服务器端数据库中的模板图像，进行轮廓多边形拟合；如图2中，数据库中的模板图像轮廓为四边形，则多边形拟合时，仅提取出四边形轮廓。当然在复杂情况下，两种多边形拟合方式可以混合使用。所述目标对象轮廓确定单元23，将所述提取出的封闭轮廓中的包含所述场景灰度图像中心点的最大轮廓或最小轮廓确定为目标对象轮廓(实际运用时，根据用户使用习惯，一般设置包含中心点的最大轮廓为目标对象轮廓)。下面首先结合图8介绍轮廓提取模块的第二种结构，参见图8，所述轮廓提取模块2包括轮廓数据检测单元211、轮廓封闭性检测及中心点检测单元222、多边形拟合单元233及目标对象轮廓确定单元234，其中所述轮廓数据检测单元211，对所述灰度变换模块转换得到的场景灰度图像进行轮廓检测，得到场景灰度图像中的所有轮廓数据；所述轮廓封闭性检测及中心点检测单元222,在上述轮廓数据检测单元211检测到得所有轮廓数据中，提取出包含所述场景灰度图像中心点的所有封闭性轮廓；所述多边形拟合单元233，对所述提取出的包含中心点的所有封闭性轮廓进行多边形拟合，提取出与预置模板图像的轮廓形状一致的准目标对象轮廓或提取出满足预置形状参数的准目标对象轮廓； 所述目标对象轮廓确定单元234，将所述提取出的准目标对象轮廓中的最大轮廓或最小轮廓确定为目标对象轮廓。本发明还公开了一种移动终端，包括摄像模块及与摄像模块相连的图像检索装置，所述图像检索装置为本发明实施例所公开的图像检索装置。本发明还公开了一种图像检索系统，包括上述安装有图像检索装置的移动终端和图像检索服务器端，下面结合图3来介绍本实施例图像检索系统工作流程，主要包括如下步骤Cl :移动终端摄像模块捕获包含目标对象的场景图像，得到彩色场景图像；简单理解，用户用移动终端摄像头对着需要进行图像检索的目标对象，以采集包含目标对象的场景图像(目标对象可以为特定的图片，人，物品等任意物体)，此时采集的场景图像除了 目标对象外,往往还包含目标对象周围的背景。C2 :将摄像模块捕获的场景图像进行灰度变换及降噪处理，得到场景灰度图像；C3 :对场景灰度图像进行轮廓检测，获得图像中所有的轮廓数据；C4 :对C3步骤得到的所有轮廓数据进行封闭性检测和多边形拟合，提取出与预置模板图像的轮廓形状一致的所有封闭轮廓或提取出预定形状的所有封闭轮廓；C5 :对C4筛选出来的轮廓进行唯一性判断，以确定目标对象轮廓；C6 :将目标对象轮廓内的目标灰度图像截取出来上传图像检索服务器端进行图像检索；C7 :图像检索服务器端接收图像检索请求，对上传的目标灰度图像进行SIFT特征检测，得到该图像的SIFT特征描述；CS :将所述目标灰度图像的SIFT特征描述与数据库中样本图像的特征描述进行匹配，向所述移动终端返回匹配成功的样本图像所对应的资源信息。上述步骤中Cl C6是在移动终端中完成的，而C7、CS步骤是在图像检索服务器端中进行的，移动终端是将目标灰度图像截取出来上传到服务器端。本发明还提供了另一种图像检索系统，同样包括安装有图像检索装置的移动终端和图像检索服务器端，其工作流程与上面实施例中图像检索系统的工作流程大体相同，唯一的区别就是移动终端在检测出目标对象轮廓后，不是直接将目标对象轮廓内的目标灰度图像截取出来上传到服务器端，而是在移动终端中对目标对象轮廓内的目标灰度图像进行特征检测，如SIFT特征检测，将得到目标灰度图像的SIFT特征描述上传至图像检索服务器端，服务器端接收到检索请求后，无需进行特征点检测，直接匹配即可，其流程之一可参见图4，本实施例中，移动终端向服务器端上传的是目标对象灰度图像的特征描述，数据量相对上传灰度图更小。本发明图像检索方法、装置及系统，在图像检索之前，通过轮廓检测精确提取出目标对象，能有效去除摄像模块捕获场景图像中的背景内容，能有效防止干扰，提高图像检索准确度，另外由于发明上传到图像检索服务器端的数据为摄像模块捕获的原图像的子图像或子图像的特征描述，数据量相对较小，能有效缩短上传时间，减少用户的网络流量消耗。本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
本发明并不局限于前述的具体实施方式
。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。
权利要求
1.一种图像检索方法，其特征在于，包括 对摄像模块捕获的场景图像进行灰度变换及降噪处理，得到场景灰度图像； 在所述场景灰度图像中检测目标对象轮廓； 将目标对象轮廓内的目标灰度图像截取出来上传至图像检索服务器端进行图像检索，或 对目标对象轮廓内的目标灰度图像进行特征检测，将得到的目标灰度图像的特征描述上传至图像检索服务器端进行图像检索。
2.如权利要求I所述的方法，其特征在于，所述在所述场景灰度图像中检测目标对象轮廓步骤进一步包括 对所述场景灰度图像进行轮廓检测，得到场景灰度图像中的所有轮廓数据； 对所述所有轮廓数据进行封闭性检测和多边形拟合，提取出与预置模板图像的轮廓形状一致的封闭轮廓或提取出满足预置形状参数的封闭轮廓； 将所述提取出的封闭轮廓中的包含所述场景灰度图像中心点的最大轮廓或最小轮廓确定为目标对象轮廓。
3.如权利要求I所述的方法，其特征在于，所述在所述场景灰度图像中检测目标对象轮廓步骤进一步包括 对所述场景灰度图像进行轮廓检测，得到场景灰度图像中的所有轮廓数据； 对所述所有轮廓数据进行封闭性检测及中心点检测，提取出包含所述场景灰度图像中心点的所有封闭性轮廓； 对所述提取出的包含中心点的所有封闭性轮廓进行多边形拟合，提取出与预置模板图像的轮廓形状一致的准目标对象轮廓或提取出满足预置形状参数的准目标对象轮廓； 将所述提取出的准目标对象轮廓中的最大轮廓或最小轮廓确定为目标对象轮廓。
4.如权利要求2或3所述的方法，其特征在于，所述对所述场景灰度图像进行轮廓检测采用Canny算子、Sobel算子、Prewitt算子、Robert算子和Laplacian算子中的一种。
5.如权利要求I至3中任一项所述的方法，其特征在于，在目标对象轮廓检测出来之后，还包括检测距目标对象轮廓一定范围内是否有触发标识； 当在预置时间内检测到触发标识，则进行目标灰度图像的截图或进行目标图像特征检测步骤，进而向图像检索服务器端发起图像检索请求； 而当预置时间内检测不到触发标识时，则结束本次图像检索流程。
6.如权利要求I至3中任一项所述的方法，其特征在于，在所述场景灰度图像中检测目标对象轮廓之前，还包括检测所述场景灰度图像中是否有触发标识； 当在预置时间内检测到触发标识，则在所述场景灰度图像中检测目标对象轮廓，否则结束本次图像检索流程。
7.一种图像检索装置，其特征在于，包括灰度变换模块、轮廓提取模和检索请求模块，所述图像检索装置与移动终端的摄像模块连接，其中 所述灰度变换模块，用于对摄像模块捕获的场景图像进行灰度变换及降噪处理，得到场景灰度图像； 所述轮廓提取模块，用于在所述场景灰度图像中检测目标对象轮廓； 所述检索请求模块，用于将目标对象轮廓内的目标灰度图像截取出来上传至图像检索服务器端进行图像检索；或对目标对象轮廓内的目标灰度图像进行特征检测，将得到目标灰度图像的特征描述上传至图像检索服务器端进行图像检索。
8.如权利要求7所述的装置，其特征在于，所述轮廓提取模块包括 轮廓数据检测单元，对所述灰度变换模块转换得到的场景灰度图像进行轮廓检测，得到场景灰度图像中的所有轮廓数据； 轮廓封闭性检测及多边形拟合单元，对所述轮廓数据检测单元检测出的所有轮廓数据进行封闭性检测和多边形拟合，提取出与图像检索服务器端存储的预置模板图像的轮廓形状一致的封闭轮廓或提取出满足预置形状参数的封闭轮廓； 目标对象轮廓确定单元，将所述提取出的封闭轮廓中的包含所述场景灰度图像中心点的最大轮廓或最小轮廓确定为目标对象轮廓。
9.如权利要求7所述的装置，其特征在于，所述轮廓提取模块包括 轮廓数据检测单元，对所述灰度变换模块转换得到的场景灰度图像进行轮廓检测，得到场景灰度图像中的所有轮廓数据； 轮廓封闭性检测及中心点检测单元，在上述轮廓数据检测单元检测到得所有轮廓数据中，提取出包含所述场景灰度图像中心点的所有封闭性轮廓； 多边形拟合单元，对所述提取出的包含中心点的所有封闭性轮廓进行多边形拟合，提取出与预置模板图像的轮廓形状一致的准目标对象轮廓或提取出满足预置形状参数的准目标对象轮廓； 目标对象轮廓确定单元，将所述提取出的准目标对象轮廓中的最大轮廓或最小轮廓确定为目标对象轮廓。
10.如权利要求7至9中任一项所述的装置，其特征在于，所述图像检索装置还包括触发标识检测模块，所述触发标识检测模块连接在所述轮廓提取模块与所述检索请求模块之间，用于在目标对象轮廓检测出来之后，检测距目标对象轮廓一定范围内是否有触发标识； 当在预置时间内检测到触发标识，则触发所述检索请求模块工作。
11.如权利要求7至9中任一项所述的装置，其特征在于，所述图像检索装置还包括触发标识检测模块，所述触发标识检测模块连接在所述所述灰度变换模块与所述轮廓提取模块之间，用于在所述轮廓提取模块工作之前，检测场景灰度图像内是否有触发标识； 当在预置时间内检测到触发标识，则触发所述轮廓提取模块工作。
12.—种移动终端，包括摄像模块，其特征在于，所述移动终端还包括与所述摄像模块连接的图像检索装置，所述图像检索装置为权利要求7至11中任一项所述的图像检索装置。
13.一种图像检索系统，其特征在于，包括移动终端和图像检索服务器端； 所述移动终端为权利要求12所述的移动终端，所述移动终端将摄像模块捕获的场景图像进行灰度变换及降噪处理，得到场景灰度图像；并在所述场景灰度图像中检测出目标对象轮廓，将目标对象轮廓内的目标灰度图像截取出来上传至图像检索服务器端； 所述图像检索服务器端接收到所述目标灰度图像后，对所述目标灰度图像进行特征检测，得到目标灰度图像的特征描述；并将所述目标灰度图像的特征描述与数据库中样本图像的特征描述进行匹配，向所述移动终端返回匹配成功的样本图像所对应的资源信息。
14.一种图像检索系统，其特征在于，包括移动终端和图像检索服务器端； 所述移动终端为权利要求12所述的移动终端，所述移动终端将摄像模块捕获的场景图像进行灰度变换及降噪处理，得到场景灰度图像；并在所述场景灰度图像中检测出目标对象轮廓，对目标对象轮廓内的目标灰度图像进行特征检测，将得到目标灰度图像的特征描述上传至图像检索服务器端； 所述图像检索服务器端接收到所述目标灰度图像的特征描述后，将所述目标灰度图像的特征描述与数据库中样本图像的特征描述进行匹配，向所述移动终端返回匹配成功的样本图像所对应的资源信息。
全文摘要
本发明公开了一种图像检索方法，首先对摄像模块捕获的场景图像进行灰度变换及降噪处理，得到场景灰度图像;然后在所述场景灰度图像中检测目标对象轮廓；最后将目标对象轮廓内的目标灰度图像或目标灰度图像的特征描述上传至图像检索服务器端进行图像检索，相应的，本发明还公开了一种图像检索装置、移动终端及图像检索系统，在图像检索之前，通过轮廓检测精确提取出目标对象，有效减少图像背景对图像检索结果的影响，提高检索精确度。
文档编号G06F17/30GK102915372SQ201210438698
公开日2013年2月6日 申请日期2012年11月6日 优先权日2012年11月6日
发明者柳寅秋, 李薪宇, 宋海涛 申请人:成都理想境界科技有限公司