一种适用于移动终端的视觉搜索方法
【专利摘要】本发明提供一种适用于移动终端的视觉搜索方法，该方法的具体过程为：步骤1：利用移动终端采集当前场景的待识别图像，并获取采集图像时移动终端的重力方向和当前场景的GPS信息；步骤2：获得待识别图像的二进制局部特征向量；步骤3：将所述GPS信息和二进制局部特征向量打包成一描述符文件，并将其发送出去；步骤4：从样本图像库中查找与所提取的GPS信息相距最近的GPS信息所对应的图像，并将其定义为查询图像；步骤5：将待识别图像与查询图像的二进制局部特征向量进行一一匹配，寻找与待识别图像最相近的查询图像，并将其对应的信息传输至移动终端，实现视觉搜索。该方法可为移动终端的使用者获取当前场景的相关信息提供一种更为便利的手段。
【专利说明】ー种适用于移动终端的视觉搜索方法
【技术领域】
[0001]本发明属于移动增强现实【技术领域】，具体涉及ー种适用于移动终端的视觉搜索方法。
【背景技术】
[0002]视觉搜索的研究目标在于利用计算机代替人自动去处理海量的物理信息，识别各种不同模式的目标和对象，从部分上代替人的脑カ劳动，也可拓展人类生理器官所不能胜任的领域，在遥感图像处理、医学图像处理和增强现实等领域有着广泛的应用。
[0003]目前，随着互联网的发展，人类正在步入ー个信息化的社会，互联网已经成为人类发布、获取、交換信息的重要平台。互联网上信息量的指数级增长，使得如何让用户能够快速准确地在海量的数据中找到其所需信息成为了ー个重要的课题。近些年来，照相机，智能手机，PAD，摄像机等电子产品的普及，我们可以随时随处，拍下我们喜欢的景色，动物，食品等等各种各样的图片。截止到2010年I月，Facebook声称其网站上的图片数量已经超过250亿张。面对如此海量的图片资源，如何快速准确的找到我们感兴趣的图片是必须要解决的问题，是商业界和学术界的ー个重要研究方向。然而，随着图片规模的极大增长，要保证图像搜索的实时性，相应的图像编码、图像检索技术和数据库索引技术也必须做相应的调整或加速。
[0004]同时计算机软、硬件技术的迅猛发展，为增强现实技术走出室内应用进而支持复杂的分析、决策和管理打下了坚实的基础。一些移动終端设备(像PDA、智能手机等)的功能也越来越丰富，并且拥有了嵌入式操作系统、触摸屏、GPS定位、视频摄像头等功能，同时也具备了较强的计算和处理能力。这些功能的集成为开发基于移动终端的增强现实系统奠定了基础。据有关资料，截止到2010年我国移动电话用户可达7.4亿，其中拥有智能手机的用户占了相当的比重，智能手机作为增强现实的应用平台将具有很大的应用潜力。3G网的逐步开通、运行，意味着移动增值业务全新时代的开始，增强现实技术和LBS相结合可以实现信息的实时交互、三维动态显示，可使人机界面更加友好和具有智能性。
[0005]基于上述分析，结合具有摄像头，GPS传感器和无线网络传感器的终端以及服务器端的图像识别和匹配技术，可以将场景之类的大規模物体的在线识别变为可能。
[0006]然而以前的许多图像识别的研究工作都是在样本规模不是非常大的情况下考虑图像检索问题，许多方法也不能推广到更大規模的图像识别问题，系统性能和能够处理的数据规模存在局限性。当城市级规模的数据，以百万为单位吋，图像识别系统需要海量的存储空间和海量数据的快速计算能力。因为图像本身需要很大的空间存储，从图像提取的各种特征描述向量也需要大量的空间存储。同时，在图像识别和匹配过程中对描述符索引、匹配也需要強大计算能力。
【发明内容】
[0007]有鉴于此，本发明提供了ー种适用于移动终端的视觉搜索方法，利用该方法能够实现在线海量图像的识别，从而达到在线视觉搜索的目的，同时该方法大大减少了数据存储量，提高了图像识别率和视觉搜索的速度。
[0008]实现本发明的技术方案如下:
[0009]一种适用于移动终端的视觉搜索方法，适用于该方法的样本图像库满足两个条件:①样本图像库中的每一样本图像带有GPS信息，②样本图像库中的每一样本图像采用二进制局部特征向量表示；该方法的具体过程为:
[0010]步骤1:利用移动终端采集当前场景的待识别图像，并获取采集图像时移动终端的重力方向和当前场景的GPS信息；
[0011]步骤2:采用二进制局部特征检测算法BRISK对待识别图像进行特征点检测，得到待识别图像的特征点；根据所述重力方向，用特征描述符FREAK对所述特征点进行描述，获得待识别图像的二进制局部特征向量；
[0012]步骤3:将所述GPS信息和二进制局部特征向量打包成一描述符文件，并将其发送出去；
[0013]步骤4:服务器接收到描述符文件后，从该描述符文件中提取GPS信息，从样本图像库中查找与所提取的GPS信息相距最近的GPS信息所对应的图像，并将其定义为查询图像；
[0014]步骤5:将待识别图像与查询图像的二进制局部特征向量进行一一匹配，寻找与待识别图像最相近的查询图像，并将其对应的信息传输至移动终端，实现视觉搜索。
[0015]进一步地，本发明在对待识别图像特征点检测之前，还包括对图像进行降采样处理。
[0016]进一步地，本发明在步骤3生成的描述符文件还进一步包括二进制局部特征向量个数，且GPS信息和二进制局部特征向量个数放在描述符文件的开头。
[0017]进一步地，本发明所述匹配为:通过计算待识别图像和查询图像的二进制特征向量的汉明距离，基于汉明距离寻找与待识别图像最相近的图像。
[0018]进一步地，本发明当步骤4查找到的最近的GPS信息与待识别图像对应的GPS信息相距超过设定阈值时，此时服务器生成无法查询到相关信息的反馈信号回传给移动终端。
[0019]进一步地，本发明适用于该方法的样本图像库采用以下步骤建立:
[0020]S01、获取带GPS信息的样本图像，其中所述GPS信息为样本图像所显示的场景的GPS信息；
[0021]S02、提取每一幅样本图像的二进制局部特征向量，并生成倒排文件索引表；
[0022]S03、建立以样本图像的GPS信息为聚类中心的更高层的索引，将属于同一聚类中心的样本图像对应的倒排文件索弓I表存储到一个链表中。
[0023]有益效果:
[0024]第一、本发明使用移动终端采集当前场景的待识别图像，并在服务器上利用图像匹配的方法，对被采集室外场景进行识别，提供待识别图像对应的各种信息，从而为移动终端的使用者获取当前场景的相关信息提供一种更为便利的手段。
[0025]第二、本发明采用二进制局部特征向量来描述图像特征，只需要几个字节就代表高维的描述向量，节省了存储空间，为移动终端大规模的存储数据提供了可行性。[0026]第三，本发明在查找待识别图像的相似图像时，首先根据GPS信息判断是否存在位置较近的样本图像，如果有，进行后续的二进制特征局部特征的相似性比较，如果没有，则直接通知移动端找不到类似的样本图像；因此本发明通过GPS传感器的位置信息，缩小匹配样本的范围，节省了匹配的时间。
[0027]第四、本发明利用二进制的汉明距离比较算法进行匹配，仅用一条计算机指令就能进行描述匹配计算，提高了海量描述符的快速匹配能力，为室外海量图片的更快速的识别提供了更加有利的条件。
[0028]第五、本发明在记载样本二进制特征码时，将GPS值进行聚类，选取聚类中心代表这一类的位置，并将这类的样本特征向量，放在一个大链表里，方便进行查找。
[0029]第六、本发明可以扩展智能终端的交互式应用，满足了旅游、导航、交通、酒店服务等在智能终端上的扩展应用，使网络运营商和内容提供商能够利用其丰富的服务器资源和优越的服务器性能发展其业务。
【专利附图】
【附图说明】
[0030]图1融合传感器信息的室外海量物体系统架构图；
[0031]图2识别算法流程图；
[0032]图3AGAST_9_16 模板；
[0033]图4FREAK描述子受人类视网膜结构启发；
[0034](a)为视杆细胞在视网膜上的密度分布(b)为视网膜的三个分区；
[0035]图5FREAK描述子用于确定特征方向的采样点对；
[0036]图6室外场景训练样本二进制特征向量的倒排索引结构；
【具体实施方式】
[0037]下面将结合附图和具体事例对本发明进行详细描述。
[0038]本发明适用于移动终端的视觉搜索方法，该方法适用的样本图像库满足两个条件:①样本图像库中的每一样本图像带有GPS信息，②样本图像库中的每一样本图像采用二进制局部特征向量表示；如图1所示，该方法具体过程为:
[0039]步骤1:用户打开移动终端的拍摄设备，采集当前场景的待识别图像；再调用终端的GPS传感器接口和重力传感器接口，并获取采集图像时移动终端的重力方向和当前场景的GPS信息。
[0040]步骤2:为了降低运算量，终端对采集到的待识别图像进行降采样处理(即降低图像分辨率)，将图像分辨率统一降为320X240 ;然后采用二进制局部特征检测算法BRISK(Binary Robust Invariant Scalable Keypoints)对待识别图像进行特征点检测,得到待识别图像的特征点；根据所述重力方向，用特征描述符FREAK (Fast Retina Keypoint)对所述特征点进行描述，从而将待识别图像所包含的信息转化为二进制局部特征向量进行表示。由于一幅图像可能包含有大量的信息，因此一幅图像可能有上百个二进制局部特征向量。
[0041]下面对本步骤的具体过程进行说明:
[0042](I)离散尺度空间中的角点(特征点)探测；[0043]二进制局部特征检测算法BRISK，其使用角点作为特征点，首先需要搜寻图像中满足在邻域中具有突出性的点(角点)作为预备特征点，得到预备特征点集合；其次对于预备特征点集合中的每一点，以其尺度空间相邻的上下两层的邻域来实行非极大值抑制(NonMaximum Suppression-NPS),剔除ー些突出性非极大的点，此时剩下的点就是在尺度空间的邻域中具有独特性的唯一的特征点。具体过程为:
[0044]使用AGAST算法在图像离散尺度空间中的每ー层搜寻角点，使用像素亮度作为比较指标，衡量待测点的突出性。突出性的度量为FAST得分，计算公式为:
【权利要求】
1.一种适用于移动终端的视觉搜索方法，适用于该方法的样本图像库满足两个条件:①样本图像库中的每一样本图像带有GPS信息，②样本图像库中的每一样本图像采用二进制局部特征向量表示；其特征在于，该方法的具体过程为: 步骤1:利用移动终端采集当前场景的待识别图像，并获取采集图像时移动终端的重力方向和当前场景的GPS信息； 步骤2:采用二进制局部特征检测算法BRISK对待识别图像进行特征点检测，得到待识别图像的特征点；根据所述重力方向，用特征描述符FREAK对所述特征点进行描述，获得待识别图像的二进制局部特征向量； 步骤3:将所述GPS信息和二进制局部特征向量打包成一描述符文件，并将其发送给服务器； 步骤4:服务器 接收到描述符文件后，从该描述符文件中提取GPS信息，从样本图像库中查找与所提取的GPS信息相距最近的GPS信息所对应的图像，并将其定义为查询图像； 步骤5:将待识别图像与查询图像的二进制局部特征向量进行一一匹配，寻找与待识别图像最相近的查询图像，并将其对应的信息传输至移动终端，实现视觉搜索。
2.根据权利要求1所述适用于移动终端的视觉搜索方法，其特征在于，在对待识别图像特征点检测之前，对待识别图像进行降采样处理。
3.根据权利要求1所述适用于移动终端的视觉搜索方法，其特征在于，在步骤3生成的描述符文件还进一步包括二进制局部特征向量个数，且GPS信息和二进制局部特征向量个数放在描述符文件的开头。
4.根据权利要求1所述适用于移动终端的视觉搜索方法，其特征在于，所述匹配为:通过计算待识别图像和查询图像的二进制特征向量的汉明距离，基于汉明距离寻找与待识别图像最相近的查询图像。
5.根据权利要求1所述适用于移动终端的视觉搜索方法，其特征在于，当步骤4查找到的最近的GPS信息与待识别图像对应的GPS信息相距超过设定阈值时，此时服务器生成无法查询到相关信息的反馈信号回传给移动终端。
6.根据权利要求1至5中的任一个所述适用于移动终端的视觉搜索方法，其特征在于，该视觉搜索方法适用的样本图像数据库采用以下步骤建立: 适用于该方法的样本图像库采用以下步骤建立: . 501、获取带GPS信息的样本图像，其中所述GPS信息为样本图像所显示的场景的GPS信息； .502、提取每一幅样本图像的二进制局部特征向量，并生成倒排文件索引表； .503、建立以样本图像的GPS信息为聚类中心的更高层的索引，将属于同一聚类中心的样本图像对应的倒排文件索引表存储到一个链表中。
【文档编号】G06K9/62GK103530649SQ201310483155
【公开日】2014年1月22日 申请日期:2013年10月16日 优先权日:2013年10月16日
【发明者】桂振文, 刘越, 王涌天 申请人:北京理工大学