专利名称：轮廓检测稳定性判断方法及图像检索方法
技术领域：
本发明涉及图像处理领域，尤其涉及一种应用于移动终端中的轮廓检测稳定性判断方法，及采用该轮廓检测稳定性判断方法的图像检索方法。
背景技术：
图像检索分为基于文本和基于内容两种。目前，大多数搜索引擎提供的图像检索都是基于文本的检索，即基于图像外部信息或人工标注的关键词进行自由词检索，基于文本的图像检索需要将图像与文本相关联，通过文本搜索来获取图像的检索结果，其检索准确度受关键字影响较大，图像中所包含的视觉特征(颜色或纹理等)往往无法用文本进行客观描述，主观理解的差异将导致图像检索中的失配错误。同时数据库的建立需要大量的人工操作，成本较高。随着大规模数字图像库的出现，基于文本的检索已经无法适应需求，基于内容的图像检索技术(content-based image retrieval)应运而生,区别于原有系统中对图像进行人工标注的做法，基于内容的检索技术自动提取每幅图像的视觉内容特征作为其索引，如色彩、纹理、形状等。随着移动互联网技术的发展，基于内容的图像检索也逐渐被运用于移动终端中。现有的移动图像检索，均是将移动终端摄像模块采集的场景图像直接上传至检索服务器进行图像检索，这种方式不仅数据量大，对网络带宽要求较高，且更严重的是摄像模块在采集目标对象图像时，往往会采集到目标对象附近的背景内容，而图像背景内容在图像检索过程中会形成严重干扰，从而严重影响图像检索的准确度。综上可知，目如应用于移动终端上的图像检索技术还有待提闻。
发明内容
本发明的目的是提供一种轮廓检测稳定性判断方法，及采用该轮廓检测稳定性判断方法的图像检索方法，轮廓检测稳定性判断方法可有效解决用户在使用移动终端过程中，由于手的抖动而造成的轮廓检测不稳的问题；而图像检索方法，在进行图像检索之前，先进行目标对象轮廓检测及轮廓检测稳定性判断，将判定为稳定后的目标对象轮廓内的目标灰度图像截取出来上传至图像检索服务器端进行基于内容的图像检索，减少图像背景对图像检索结果的影响，提高检索精确度，本发明特别适用于移动云图像检索领域。为了实现上述发明目的，本发明提供了一种轮廓检测稳定性判断方法，应用于移动终端中，包括在摄像模块捕获的每一帧场景图像中检测一次目标对象轮廓；对每一帧中检测到的目标对象轮廓进行一次完整性判断，并从每一个完整轮廓上按相同顺序提取出至少3个顶点作为比对点；当判断出连续N帧中检测到的目标对象轮廓均为完整轮廓，且将这N帧中的第2至N帧目标对象轮廓上提取的比对点分别与第I帧目标对象轮廓上提取的比对点进行位置稳定性比对，若均未超出预设的误差范围，则判定轮廓检测为稳定，其中N=[帧率FPS*预置等待时间]，其中[]表示取整，即N等于帧率FPS*预置等待时间取整后的整数。优选的，所述对每一帧中检测到的目标对象轮廓进行一次完整性判断，进一步包括检测目标对象轮廓的有效顶点个数是否等于设定值，若检测结果为是，则判断本帧中检测到的目标对象轮廓为完整轮廓。优选的，所述预置等待时间为0. 5秒 5秒，尤其是1. 5秒 2秒较优。其中，所述将这N帧中的第2至N帧目标对象轮廓上提取的比对点分别与第I帧目标对象轮廓上提取的比对点进行位置稳定性比对，对方式可以有多种，其目的均是为了比对两帧中提取的目标对象轮廓在移动终端屏幕坐标系中是否发生较大的位置移动。例如可以取第2至N帧目标对象轮廓上提取的所有比对点的X坐标值和/或Y值与第I帧目标对象轮廓上提取的所有比对点的X坐标值和/或Y值进行求差、求方差、平均差等数学方式进行比对。可以进行单点逐个比对，也可用多个点的坐标数据依据求差、求均值等数学方式进行比对。优选的一种比对方式为分别将第2至N帧目标对象轮廓上提取的所有比对点的X坐标值总和/Y值总和/X+Y值的总和，与第I帧目标对象轮廓上提取的所有比对点的X坐标值总和/Y值总和/X+Y值的总和进行求差比对；判断每一次比对计算得到的差值是否均在预设的误差范围内(本处的预设误差范围需要根据每个轮廓上提取的比对点个数K来确定，例如对每个顶点的误差容限为(TlO个像素，则X坐标值总求差的误差可接受范围为(TlOK);若判断结果为是，则判定轮廓检测为稳定。优选的另一种比对方式为分别将第2至N帧目标对象轮廓上提取的比对点，依照提取顺序逐个与第I帧目标对象轮廓上提取的比对点进行单点X坐标值或Y坐标值求差比对；判断每一次比对计算得到的差值是否均在预设的误差范围内(本处预设的误差范围可以为(T120像素，优选为(T60像素)；若判断结果为是，则判定轮廓检测为稳定。相应的，本发明还提供了一种应用于移动终端中的图像检索方法，包括对摄像模块捕获的每一帧场景图像进行灰度变换及降噪处理，得到场景灰度图像，并在每帧场景灰度图像中进行一次目标对象轮廓检测；采用上述的轮廓检测稳定性判断方法判断目标对象轮廓的检测是否达到稳定；判断结果为稳定时，将当前帧目标对象轮廓内的目标灰度图像截取出来上传至图像检索服务器端进行图像检索，或对当前帧目标对象轮廓内的目标灰度图像进行特征检测，将得到的目标灰度图像的特征描述上传至图像检索服务器端进行图像检索。优选的，在场景灰度图像中进行第一次目标对象轮廓检测之前，还包括检测所述场景灰度图像中是否有触发标识；当在预置时间内或预置帧数内检测到触发标识，则从本帧开始对每帧场景灰度图像进行一次目标对象轮廓检测，否则结束本次图像检索流程。本发明具有如下有益效果1、本发明提供的轮廓检测稳定性判断方法，可有效解决用户在使用移动终端过程中，由于手的抖动而造成的轮廓检测不稳的问题，解决了轮廓检测稳定性问题后，对与轮廓相关的后续操作均可稳定进行，例如从稳定的轮廓内提取图像。2、本发明提供的图像检索方法，通过目标对象轮廓提取及轮廓稳定性判断，从稳定的轮廓内提取出目标图像，从而去除摄像模块捕获场景图像中的背景内容，能有效防止干扰，提闻图像检索准确度。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图图1为本发明实施例轮廓检测稳定性判断方法的一种流程示意图；图2为本发明实施例图像检索方法流程图；图3为本发明实施例方法中在场景灰度图像中检测目标对象轮廓的流程示意图。
具体实施例方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本申请发明人发现现有的基于内容的移动图像检索，均是将移动终端摄像模块采集的场景图像直接上传至检索服务器进行图像检索，这种方式不仅数据量大，对网络带宽要求较高，且更严重的是摄像模块在采集目标对象图像时，往往会采集到目标对象附近的背景内容，而图像背景内容在图像检索过程中会形成严重干扰，从而严重影响图像检索的准确度。本申请技术方案在提出的过程中，想到了一种应用于移动终端的图像检索方法，在图像特征提取与匹配之前，对输入图像进行目标轮廓检测，将目标与背景区域分割开来，然后将目标对象的灰度图像或目标对象灰度图像的特征描述上传至图像检索服务器进行图像检索，以减少图像背景对图像检索结果的影响，提高检索精确度。但是用户在使用移动终端对准目标对象进行拍摄的过程中，难免出现手抖动的情况，手的抖动会造成丢帧等不稳情况，如果在不稳定的情况下截取轮廓内的图像上传至服务器，会极大降低检索准确率。基于上述情况，本申请提出了一种轮廓检测稳定性判断方法，及采用该轮廓检测稳定性判断方法的图像检索方法，下面结合附图对这两种方法进行详细介绍。首先结合附图1介绍本发明实施例轮廓检测稳定性判断方法。参见图1，本发明实施例轮廓检测稳定性判断方法包括如下步骤步骤SlOl :在摄像模块捕获的每一帧场景图像中检测一次目标对象轮廓；本步骤中，首先对摄像模块捕获的场景图像进行灰度变换及降噪处理，得到场景灰度图像；然后在所述场景灰度图像中检测目标对象轮廓，如何从场景灰度图像中检测出目标对象轮廊将在后文中描述；步骤S102 :对每一帧中检测到的目标对象轮廓进行一次完整性判断，并从每一个完整轮廓上按相同顺序提取出至少3个顶点作为比对点；本步骤中，轮廓完整性判断主要是检测目标对象轮廓的有效顶点个数是否等于设定值，若检测结果为是，则判断本帧中检测到的目标对象轮廓为完整轮廓。例如一个应用中设定我们需要检测的目标对象为具有四边形的图片，那么在对该图片进行轮廓检测后，判断轮廓完整性时只需要检测轮廓的有效顶点个数是否为4个即可。其中有效顶点指该顶点能检测到，且能得到该顶点有效坐标值。步骤S102 :当判断出连续N帧中检测到的目标对象轮廓均为完整轮廓，且将这N帧中的第2至N帧目标对象轮廓上提取的比对点分别与第I帧目标对象轮廓上提取的比对点进行位置稳定性比对，若均未超出预设的误差范围，则判定轮廓检测为稳定，N=[帧率FPS*预置等待时间]。位置稳定性比对的方式可以有多种，其目的均是为了比对两帧中提取的目标对象轮廓在移动终端屏幕坐标系中是否发生较大的位置移动。本申请中所述的第N帧目标对象轮廓，特指从第N帧场景图像中提取的目标对象轮廓。其中“[]”表示取整，即N等于帧率FPS*预置等待时间取整后的整数，在本发明实施例中，N可以称为稳定系数。其中，所述巾贞率FPS (Frames Per Second)是指摄像模块将捕获的场景图像输入到处理器(手机CPU或GPU)后，处理器每秒处理输出的图像帧数。所述预置等待时间可以设置为0. 5秒 5秒，优选1. 5^2秒。另外需要说明的是，本步骤中的N的数值在实际运用过程中，可以人为根据“N=[帧率FPS*预置等待时间]”这一公式计算后，适当修正数值后以预设的方式写入程序代码，并不是必须以该公式直接代入程序计算N值。步骤S102在具体实施时，将从第一个完整轮廓上提取到的比对点作为基本点，将后面每帧完整轮廓上提取的所有点的X坐标值和/或Y值与基本点的X坐标值和/或Y值进行求差、求方差、平均差等数学方式进行比对(可以进行单点逐个比对，也可用多个点的坐标数据依据求差、求均值等数学方式进行比对)，如果比较值在预设的误差范围内(此区间被认为相对抖动误差较小)，则计数器加1，循环比较直到计数器的值达到设定的稳定系数(即上述的N)，则表明轮廓检测已达到稳定。需要注意的是从第一个完整轮廓开始，当后面的任一帧上检测到目标对象为非完全轮廓或该帧轮廓上提取的 比对点与基本点比对，误差结果超出预设的误差范围，则将与基本点比较的当前轮廓上提取的比对点变为基本点，计数器清零，重新进行入稳定性判定流程。下面以举例的方式说明本实施例可采用的比对计算方式，列出的方案并非全部方案，仅为举例说明。设定目标对象轮廓为四边形，在每帧完整轮廓上我们按相同顺序提取
4个顶点作为比对点,这四个点为 Ani (Xadi, YaiiiXBii1 (xBm, yBm)>Cm (xCm, yCm)>Dm (xDm, yDm),其中m=l, 2, 3---. N,如A1 (xA1, yA1)表不从第一个完整轮廓上提取的其中一个顶点A,xa1表不第一个完整轮廓上提提取的A顶点的X坐标值。采用不同的方案，需要预设不同的误差范围。方案一分别将第2至N帧目标对象轮廓上提取的所有比对点的X坐标值总和/Y值总和/X+Y值的总和，与第I帧目标对象轮廓上提取的所有比对点的X坐标值总和/Y值总和/X+Y值的总和进行求差比对；判断每一次比对计算得到的差值是否均在预设的误差范围内，若判断结果为是，则判定轮廓检测为稳定。如将第2帧目标对象轮廓上提取的比对点的X坐标值总和，与基本点(第2帧目标对象轮廓上提取的比对点)的X坐标值总和比对，即I (xA2+xB2+xC2+xD2)_ (xA1+xB1+xcl+xD1)
在预设的误差区间，则计数器加I，然后判断I (xA3+xB3+xC3+xD3) - (xA1+xB1+xcl+xD1) I是否在预设的误差区间，如果是，则计数器再加1，直到计数器数值等于稳定系数N。
将第2帧目标对象轮廓上提取的比对点的J坐标值总和与基本点的J坐标值总和比对，及将第2帧目标对象轮廓上提取的比对点的x+y坐标值总和与基本点的x+y坐标值总和比对与上面举例方式是同样的原理，不赘述。本处的预设误差范围需要根据每个轮廓上提取的比对点个数K来确定，例如对每个顶点的误差容限为(TlO像素,则X坐标值总求差或y坐标值总求差的误差可接受范围为(TlOK像素，而X+y坐标值总求差的误差可接受范围为(T20K像素。方案二 分别将第2至N帧目标对象轮廓上提取的比对点，依照提取顺序逐个与第I帧目标对象轮廓上提取的比对点进行单点X坐标值或Y坐标值求差比对；判断每一次比对计算得到的差值是否均在预设的误差范围内，若判断结果为是，则判定轮廓检测为稳定。本处预设的误差范围可以为(T120像素，优选为(T60像素。如依次对每个点做比较,若判断I Xa2-Xai1、I Xb2-Xb11、I Xc2-Xcl1、I Xd2-Xd1 |均在预设的误差区间，贝1Ji十数器加I ； I Xa3-Xai1、I Xb3-Xb11、I Xc3-Xcl1、I Xd3-Xm | ,贝U计数器再加I，直到计数器数值等于稳定系数N。方案三方案二中的公式求方差比较；方案四采用四个点中的至少2个点做均值比较，如判断I ( xA2+xB2+xC2+xD2)/4- (xA1+xB1+xcl+xD1)/41、或 I (xA2+xB2)/2_ (xA1+xB1) /2 是否在预设的误差范围。上述实施例介绍的轮廓检测稳定性判断方法，特别适用于移动终端中，下面结合图2介绍上述轮廓检测稳定性判断方法运用于移动图像检索的例子。参见图2，为本发明实施例图像检索方法流程示意图，本发明实施例图像检索方法包括如下步骤步骤S201 :对摄像模块捕获的每一帧场景图像进行灰度变换及降噪处理，得到场景灰度图像，并在每帧场景灰度图像中进行一次目标对象轮廓检测；步骤S202 :采用上述的轮廓检测稳定性判断方法判断目标对象轮廓的检测是否达到稳定，由于前面结合图1详细介绍了如何判断轮廓检测是否稳定，在此不赘述；步骤S203 :判断结果为稳定时，将当前帧目标对象轮廓内的目标灰度图像截取出来上传至图像检索服务器端进行图像检索，或对当前帧目标对象轮廓内的目标灰度图像进行特征检测，将得到的目标灰度图像的特征描述上传至图像检索服务器端进行图像检索。图像特征检测可采用任意特征提取算法进行，例如SIFT、SURF等。在步骤S201中，检测目标对象轮廓的流程有两种，均包括轮廓检测、轮廓封闭性检测、多边形拟合、中心点判断等步骤，只是这些步骤的先后顺序有所不同。下面首先结合图3进行介绍第一种目标对象轮廓的检测流程，包括Al:轮廓检测(边缘检测)，得到场景灰度图像中的所有轮廓数据，本步中，轮廓检测可以采用Canny算子、Sobel算子、Prewitt算子、Robert算子和Laplacian等边缘检测算子中的一种。A2:轮廓封闭性检测及多边形拟合，即对Al步骤检测出的所有轮廓数据进行封闭性检测和多边形拟合，提取出与预置模板图像的轮廓形状一致的所有封闭轮廓或提取出满足预置形状参数的所有封闭轮廓。如图3中，数据库中的模板图像轮廓为四边形，则多边形拟合时，仅提取四边形轮廓。A3 :轮廓唯一性判断，即将所述提取出的封闭轮廓中的包含所述场景灰度图像中心点的最大轮廓或最小轮廓确定为目标对象轮廓。第二种目标对象轮廓的检测流程中，先进行中心点检测再进行多边形拟合，通过中心点检测即可剔除大部分不相关轮廓，相比上述目标对象轮廓的检测流程更容易得到目标对象轮廓。本发明实施例中，为了提高检索准确率，可以在场景灰度图像中进行第一次目标对象轮廓检测之前，首先检测所述场景灰度图像中是否有触发标识；当在预置时间内或预置帧数内检测到触发标识，则从本帧开始对每帧场景灰度图像进行一次目标对象轮廓检测，否则结束本次图像检索流程，这样可以极大减少移动终端中的开销。所述触发标识可以为任意预置标识，比如一个L0G0，或一个特定图形等，该触发标识起到一个控制开关的作用，可实现只向服务器端上传带有触发标识的图像，提高检索准确率。例如将本发明实施例的图像检索方法运用于增强现实时，可以在能进行增强现实的图片轮廓周边标记一个特定触发标识，只有标记了这个触发标识的图片才将其上传到图像检索服务器检索，以实现准确推送增强现实信息，避免用户用终端任意捕获图像均发送到服务器端进行检索，造成的服务器端检索压力大，且任意图像入库增强现实的可能性也比较小，会造成时长检索不到结果，降低用户体验。本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。本发明并不局限于前述的具体实施方式
。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。
权利要求
1.一种轮廓检测稳定性判断方法，应用于移动终端中，其特征在于，包括 在摄像模块捕获的每ー帧场景图像中检测一次目标对象轮廓； 对每ー帧中检测到的目标对象轮廓进行一次完整性判断，并从每ー个完整轮廓上按相同顺序提取出至少3个顶点作为比对点； 当判断出连续N帧中检测到的目标对象轮廓均为完整轮廓，且将这N帧中的第2至N帧目标对象轮廓上提取的比对点分别与第I帧目标对象轮廓上提取的比对点进行位置稳定性比对，若均未超出预设的误差范围，则判定轮廓检测为稳定，其中N=[帧率FPS*预置等待时间]。
2.如权利要求1所述的方法，其特征在于，所述对每一帧中检测到的目标对象轮廓进行一次完整性判断，进ー步包括 检测目标对象轮廓的有效顶点个数是否等于设定值，若检测结果为是，则判断本帧中检测到的目标对象轮廓为完整轮廓。
3.如权利要求1或2所述的方法，其特征在于，所述预置等待时间为0.5秒飞秒。
4.如权利要求3所述的方法，其特征在于，所述将这N帧中的第2至N帧目标对象轮廓上提取的比对点分别与第I帧目标对象轮廓上提取的比对点进行位置稳定性比对，进ー步包括 分别将第2至N帧目标对象轮廓上提取的所有比对点的X坐标值总和/Y值总和/X+Y值的总和，与第I帧目标对象轮廓上提取的所有比对点的X坐标值总和/Y值总和/X+Y值的总和进行求差比对； 判断每一次比对计算得到的差值是否均在预设的误差范围内； 若判断结果为是，则判定轮廓检测为稳定。
5.如权利要求3所述的方法，其特征在于，所述将这N帧中的第2至N帧目标对象轮廓上提取的比对点分别与第I帧目标对象轮廓上提取的比对点进行位置稳定性比对，进ー步包括 分别将第2至N帧目标对象轮廓上提取的比对点，依照提取顺序逐个与第I帧目标对象轮廓上提取的比对点进行单点X坐标值或Y坐标值求差比对； 判断每一次比对计算得到的差值是否均在预设的误差范围内； 若判断结果为是，则判定轮廓检测为稳定。
6.如权利要求5所述的方法，其特征在于，所述预设的误差范围为0 120像素。
7.ー种图像检索方法，应用于移动终端中，其特征在于，包括 对摄像模块捕获的每一帧场景图像进行灰度变换及降噪处理，得到场景灰度图像，并在每帧场景灰度图像中进行一次目标对象轮廓检测； 采用权利要求1至6中任一项所述的方法判断目标对象轮廓的检测是否达到稳定； 当判断结果为稳定时，将当前帧目标对象轮廓内的目标灰度图像截取出来上传至图像检索服务器端进行图像检索，或 对当前帧目标对象轮廓内的目标灰度图像进行特征检测，将得到的目标灰度图像的特征描述上传至图像检索服务器端进行图像检索。
8.如权利要求7所述的方法，其特征在于，在场景灰度图像中进行第一次目标对象轮廓检测之前，还包括检测所述场景灰度图像中是否有触发标识；当在预置时间内或预置帧数内检测到触发标识，则从本帧开始对每帧场景灰度图像进行一次 目标对象轮廓检测，否则结束本次图像检索流程。
全文摘要
本发明公开了一种轮廓检测稳定性判断方法，根据检测到的连续多帧目标对象轮廓的完整性及轮廓上选取的比对顶点的位置稳定性，判断轮廓检测稳定性，该方法可有效解决用户在使用移动终端过程中，由于手的抖动而造成的轮廓检测不稳的问题；本发明还公开了一种图像检索方法，在进行图像检索之前，先进行目标对象轮廓检测及轮廓检测稳定性判断，将判定为稳定后的目标对象轮廓内的目标灰度图像截取出来，上传至图像检索服务器端进行基于内容的图像检索，减少图像背景对图像检索结果的影响，提高检索精确度，本发明特别适用于移动云图像检索领域。
文档编号G06T7/00GK103049911SQ20121055731
公开日2013年4月17日 申请日期2012年12月20日 优先权日2012年12月20日
发明者金科, 柳寅秋, 宋海涛 申请人:成都理想境界科技有限公司