信息检索方法及装置制造方法
【专利摘要】本发明提出一种信息检索方法及装置，其方法包括：接收用户在全景图上选择的兴趣点位置信息；根据所述兴趣点位置信息，获取待检索对象在全景图上的边界；根据待检索对象在全景图上的边界，获取待检索对象的图片；将待检索对象的图片发送给后台服务器进行搜索；接收后台服务器发送来的对待检索对象的搜索结果；从所述搜索结果中提取出待检索对象的相关信息；将提取出的相关信息进行展示。通过本实施例的方法及装置，可以根据用户在全景图上的操作，确定检索对象，通过搜索后获取检索对象的相关信息，并将相关信息展示给用户，从而可以挖掘出隐藏在全景图像背后的信息，满足用户浏览全景图像时的潜在需求，提高全景图像的实用性。
【专利说明】信息检索方法及装置
【技术领域】
[0001]本发明涉及计算机【技术领域】，特别涉及一种信息检索方法及装置。
【背景技术】
[0002]全景图像是由多幅照片拼接而成的具有大视角范围的图像，通常由广角镜头或鱼眼镜头拍摄，或用普通镜头多次拍照拼接而成。全景图像通过广角的表现手段以及绘画、相片、视频、三维模型等形式，可以尽可能多地表现出周围的环境。尤其是街景的推出，使得用户可以身临其境感受现场的氛围。
[0003]街景是一种新的地图展现形式，目前正在大规模普及，与传统地图不同，用户在街景中浏览时，得到的是可视化的全景图像，因而街景能够展现给用户更多的信息量，比如能看到不熟悉地点的环境、公交车站具体位置等，这给用户带来更好体验的同时，也给用户带来了更多的期望。
[0004]街景的全景图像作为信息的载体，其中会有很多用户感兴趣的特定目标，例如用户在浏览街景的全景图像时，看到画面中出现一辆跑车，可能会想知道这辆跑车的品牌，又如街景的全景图像中出现一个景点，用户觉得这个景点的环境很好，可能会想知道这个景点周围的公交线路。但是，现有的街景地图除了向用户展示全景图像，无法进一步地提供这些特定目标的信息，无法挖掘出用户对全景图像潜在的需求，局限了全景图像的使用效果。
【发明内容】
[0005]本发明实施例的目的是提供一种信息检索方法及装置，以解决现有的全景地图技术无法提供用户对全景图像潜在需求的信息的问题。
[0006]本发明实施例提出一种信息检索方法，包括:
[0007]接收用户在全景图上选择的兴趣点位置信息；
[0008]根据所述兴趣点位置信息，获取待检索对象在全景图上的边界；
[0009]根据待检索对象在全景图上的边界，获取待检索对象的图片；
[0010]将待检索对象的图片发送给后台服务器进行搜索；
[0011]接收后台服务器发送来的对待检索对象的搜索结果；
[0012]从所述搜索结果中提取出待检索对象的相关信息；
[0013]将提取出的相关信息进行展示。
[0014]本发明实施例还提出一种信息检索装置，包括:
[0015]兴趣点接收模块，用于接收用户在全景图上选择的兴趣点位置信息；
[0016]边界获取模块，用于根据所述兴趣点位置信息，获取待检索对象在全景图上的边界；
[0017]图片获取模块，用于根据待检索对象在全景图上的边界，获取待检索对象的图片;
[0018]发送模块，用于将待检索对象的图片发送给后台服务器进行搜索；
[0019]搜索结果接收模块，用于接收后台服务器发送来的对待检索对象的搜索结果；
[0020]信息提取模块，用于从所述搜索结果中提取出待检索对象的相关信息；
[0021 ] 展示模块，用于将提取出的相关信息进行展示。
[0022]相对于现有技术，本发明实施例的有益效果是:通过本实施例的方法及装置，可以根据用户在全景图上的操作，确定检索对象，通过搜索后获取检索对象的相关信息，并将相关信息展示给用户，从而可以挖掘出隐藏在全景图像背后的信息，满足用户浏览全景图像时的潜在需求，提高全景图像的实用性。
[0023]上述说明仅是本发明实施例技术方案的概述，为了能够更清楚了解本发明实施例的技术手段，而可依照说明书的内容予以实施，并且为了让本发明实施例的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图，详细说明如下。
【专利附图】
【附图说明】
[0024]图1为本发明实施例的一种信息检索方法的流程图；
[0025]图2为本发明实施例的另一种信息检索方法的流程图；
[0026]图3为本发明实施例的一种信息检索装置的结构图；
[0027]图4为本发明实施例的另一种信息检索装置的结构图；
[0028]图5为本发明实施例的一种在全景图上选择兴趣点位置的示意图。
【具体实施方式】
[0029]为更进一步阐述本发明实施例达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明实施例提出的信息检索方法及装置其【具体实施方式】、方法、步骤及功效，详细说明如后。
[0030]有关本发明实施例的前述及其他技术内容、特点及功效，在以下配合参考图式的较佳实施例详细说明中将可清楚的呈现。通过【具体实施方式】的说明，当可对本发明实施例为达成预定目的所采取的技术手段及功效得以更加深入且具体的了解，然而所附图式仅是提供参考与说明之用，并非用来对本发明加以限制。
[0031]本申请所述的图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。通过分割可以确定用户的兴趣点，去掉干扰因素。
[0032]本申请所述的边缘检测技术在计算机视觉、图像分析等应用中起着重要的作用，是图像分析与识别的重要环节，这是因为子图像的边缘包含了用于识别的有用信息。所以边缘检测是图像分析和模式识别的主要特征提取手段。所谓边缘是指其周围像素灰度后阶变化或屋顶状变化的那些像素的集合，它存在于目标与背景、目标与目标、区域与区域、基元与基元之间。因此它是图像分割所依赖的重要的特征，也是纹理特征的重要信息源和形状特征的基础；而图像的纹理形状特征的提取又常常依赖于图像分割。图像的边缘提取也是图像匹配的基础，因为它是位置的标志，对灰度的变化不敏感，它可作为匹配的特征点。
[0033]本申请提出一种信息检索方法，其应用于客户端，用于在用户浏览全景图时，根据用户在全景图上的操作行为，向用户展示其潜在需求的信息。
[0034]请参见图1，其为本发明实施例的一种信息检索方法的流程图，其包括以下步骤:
[0035]S101，接收用户在全景图上选择的兴趣点位置信息。
[0036]客户端会提供给用户全景图的浏览界面，用户在浏览全景图时，如果看到感兴趣的目标，例如全景图上的跑车、大楼等，会想要进一步知道这个目标的相关信息，可以在全景图的目标位置上进行选择，选择方式可以包括点击或框选等。结合参阅图5，其为本发明实施例的一种在全景图上选择兴趣点位置的示意图，其中手形图标对应的方框即为用户通过框选的方式在全景图上选出的兴趣点位置。
[0037]所述的兴趣点位置即是指用户在全景图浏览界面上的操作行为所对应的位置信息，其可以由客户端的浏览界面侦测获得，例如点击操作行为的坐标信息、框选操作行为的矩形框顶点的坐标信息等。
[0038]S102，根据所述兴趣点位置信息，获取待检索对象在全景图上的边界。
[0039]用户在全景图上的点击或框选等操作行为通常只是确定目标对象的大致位置，其很难准确地涵盖用户想要进行检索的对象，因此兴趣点的位置通常都是包含在待检索对象所覆盖的范围内，或与待检索对象覆盖范围的一部分重叠，要想将用户感兴趣的目标作为检索对象，则需要确定待检索对象的轮廓边界。本申请可以利用边界检测、图像分割等图像处理技术获取待检索对象在全景图上的边界。
[0040]S103，根据待检索对象在全景图上的边界，获取待检索对象的图片。
[0041]S104，将待检索对象的图片发送给后台服务器进行搜索。
[0042]后台服务器可以利用现有的网络搜索引擎对待检索对象的图片进行搜索，或者后台服务器也可以建立一个数据库，通过数据库来对对待检索对象的图片进行搜索，通过搜索获取与待检索对象的图片相类似或相关的图片，进而获取待检索对象的相关彳目息。例如假设待检索对象是一辆跑车，则通过搜索获得该跑车的相关信息可以包括跑车品牌、行驶参数、规格尺寸、供货商联系方式等。
[0043]S105，接收后台服务器发送来的对待检索对象的搜索结果。所述搜索结果至少包括经过搜索获得的待检索对象的相关信息。
[0044]S106，从所述搜索结果中提取出待检索对象的相关信息。
[0045]S107，将提取出的相关信息进行展示。如果检索对象的相关信息较少，可以直接在全景图片的浏览界面上弹出窗口进行展示，如果检索对象的相关信息较多，也可以通过打开单独的页面进行展示。
[0046]通过本实施例的方法，可以根据用户在全景图上的操作，确定检索对象，通过搜索后获取检索对象的相关信息，并将相关信息展示给用户，从而可以挖掘出隐藏在全景图像背后的信息，满足用户浏览全景图像时的潜在需求，提高全景图像的实用性。
[0047]请参见图2，其为本发明实施例的另一种信息检索方法的流程图，其包括以下步骤:
[0048]S201，接收用户在全景图上选择的兴趣点位置信息。
[0049]S202，根据所述兴趣点位置信息，获取待检索对象在全景图上的边界。可以利用边界检测、图像分割等图像处理技术获取待检索对象在全景图上的边界。
[0050]S203，根据待检索对象在全景图上的边界，获取待检索对象的图片。
[0051]S204，检测待检索对象的图片上是否有文字信息。若有则进入步骤S205 ;若没有，则直接进入步骤S207。
[0052]S205,识别出待检索对象的图片上的文字信息。
[0053]可以通过光学字符识别(Optical Character Recognit1n, OCR)技术识别待检索对象的图片上的文字信息。光学字符识别技术是从图像中识别字符，将形状翻译成计算机文字的过程。
[0054]S206，将所述文字信息发送给后台服务器进行搜索。
[0055]通过对待检索对象图片上的文字信息进行搜索，可以提高搜索的准确性。例如当待检索对象是一幢大楼时，经常能在这幢大楼的图片上识别出“XX大厦”的文字，又如当待检索对象是一个景点时，经常能在这个景点的图片上识别出“XX公园”的文字。如果单纯通过待检索对象的图片进行搜索，由于全景图的角度原因，图片的相似性判断难免会出现偏差。而如果结合图片和文字信息来进行搜索，势必能提高搜索的准确性。
[0056]S207，将待检索对象的图片发送给后台服务器进行搜索。
[0057]S208，接收后台服务器发送来的对待检索对象的搜索结果。该搜索结果包括待搜索对象的类别和待搜索对象的全方位信息。
[0058]如果从待检索图片中识别出文字信息，则此步骤所述的搜索结果是通过后台服务器综合了文字搜索结果和图片搜索结果获得的；如果从从待检索图片中没有识别出文字信息，则此步骤所述的搜索结果是通过后台服务器对图片进行搜索后获得的。
[0059]确定待检索对象的类型时，需要事先对全景图中常见目标对象进行归类，建立后台数据库，记录各个类型的特征，如网页关键字、图片颜色、图像特征等。类型包括景点、建筑物、商店、饭店、汽车、路牌、广告牌、地名、衣服等。然后根据文字检索结果(如果有的话)和图片搜索结果，与数据库中的信息比对，确定待检索对象最终属于哪个或哪几个的类型。
[0060]所述的全方位信息是指经过搜索后获得的与待检索对象所有相关联的信息。
[0061]S209，根据待搜索对象的类别，从所述全方位信息中提取出相应于服务接口的相关信息。
[0062]对于不同类型的对象，用户通常会有不同的信息需求。例如用户在全景图上看到汽车，会想要知道供应商的联系方式；用户在全景图上看到景点，会想要知道景点附近的公交线路；用户在全景图上看到餐厅，会想要知道其菜单。所述的服务接口是指用于对不同类型对象的信息需求规则。从而可以从全方位信息的大量信息中提炼出用户可能最需要的信息，这样就可以有效提高用户的浏览效率。当然，也可以在浏览界面上设置诸如“更多”的按钮，当用户希望获取更多信息时，可以通过点击这个按钮向其展示全方位信息。
[0063]S210，将提取出的相关信息进行展示。
[0064]通过本实施例的方法，可以根据用户在全景图上的操作，确定检索对象，并根据待检索对象的类型，向用户展示服务接口的相关信息，从而可以挖掘出隐藏在全景图像背后的信息，满足用户浏览全景图像时的潜在需求，提高全景图像的实用性。
[0065]本申请还提出一种信息检索装置，请参见图3，其为本发明实施例的一种信息检索装置的结构图，其包括兴趣点接收模块31、边界获取模块32、图片获取模块33、发送模块34、搜索结果接收模块35、信息提取模块36以及展示模块37。边界获取模块32与兴趣点接收模块31相连，图片获取模块33与边界获取模块32相连，发送模块34与图片获取模块33相连，信息提取模块36与搜索结果接收模块35相连，展示模块37与信息提取模块36相连。
[0066]兴趣点接收模块31用于接收用户在全景图上选择的兴趣点位置信息。所述的兴趣点位置即是指用户在全景图浏览界面上看到感兴趣的目标对象时的操作行为所对应的位置信息，其可以由客户端的浏览界面侦测获得，例如点击操作行为的坐标信息、框选操作行为的矩形框顶点的坐标信息等。
[0067]边界获取模块32用于根据兴趣点接收模块31接收到的兴趣点位置信息，获取待检索对象在全景图上的边界。边界获取模块32可以利用边界检测、图像分割等图像处理技术获取待检索对象在全景图上的边界。
[0068]图片获取模块33会根据边界获取模块32确定的待检索对象在全景图上的边界，获取待检索对象的图片。
[0069]发送模块34用于将图片获取模块33获取的待检索对象的图片发送给后台服务器进行搜索。
[0070]搜索结果接收模块35用于接收后台服务器发送来的对待检索对象的搜索结果。所述搜索结果至少包括经过搜索获得的待检索对象的相关信息。
[0071]信息提取模块36用于从搜索结果接收模块35接收到的搜索结果中提取出待检索对象的相关彳目息。
[0072]展示模块37用于将信息提取模块36提取出的相关信息进行展示。如果检索对象的相关信息较少，可以直接在全景图片的浏览界面上弹出窗口进行展示，如果检索对象的相关信息较多，也可以通过打开单独的页面进行展示。
[0073]通过本实施例的装置，可以根据用户在全景图上的操作，确定检索对象，通过搜索后获取检索对象的相关信息，并将相关信息展示给用户，从而可以挖掘出隐藏在全景图像背后的信息，满足用户浏览全景图像时的潜在需求，提高全景图像的实用性。
[0074]请参见图4，其为本发明实施例的另一种信息检索装置的结构图，其包括兴趣点接收模块31、边界获取模块32、图片获取模块33、发送模块34、搜索结果接收模块35、信息提取模块36、展示模块37、文字检测模块38、文字识别模块39。边界获取模块32与兴趣点接收模块31相连，图片获取模块33与边界获取模块32相连，发送模块34与图片获取模块33相连，信息提取模块36与搜索结果接收模块35相连，展示模块37与信息提取模块36相连，文字检测模块38与图片获取模块33相连，文字识别模块39分别与文字检测模块38及发送模块34相连。
[0075]与图3的实施例相比，本实施例的装置还包括文字检测模块38和文字识别模块39。文字检测模块38用于检测待检索对象的图片上是否有文字信息。文字识别模块39用于在文字检测模块38检测出待检索对象的图片上有文字信息时，识别出所述文字信息，以通过发送模块34将文字信息发送给后台服务器进行搜索。文字识别模块39可以通过光学字符识别技术识别待检索对象的图片上的文字信息。由于全景图的角度原因，图片的相似性判断难免会出现偏差，本实施例通过对待检索图片上文字的识别，让后台服务器可以结合图片和文字对待检索图片进行搜索，从而提高搜索的准确性。
[0076]此外，本实施例的搜索结果接收模块35所接收到的对待检索对象的搜索结果包括待搜索对象的类别和待搜索对象的全方位信息。信息提取模块36会根据待搜索对象的类别，从全方位信息中提取出相应于服务接口的相关信息。所述的类型包括景点、建筑物、商店、饭店、汽车、路牌、广告牌、地名、衣服等。所述的全方位信息是指经过搜索后获得的与待检索对象所有相关联的信息。
[0077]对于不同类别的对象，用户通常会有不同的信息需求。例如用户在全景图上看到汽车，会想要知道供应商的联系方式；用户在全景图上看到景点，会想要知道景点附近的公交线路；用户在全景图上看到餐厅，会想要知道其菜单。所述的服务接口是指用于对不同类型对象的信息需求规则。可见，本实施例的信息提取模块36会从全方位信息的大量信息中提炼出用户可能最需要的信息，这样就可以有效提高用户的浏览效率。
[0078]通过本实施例的装置，可以根据用户在全景图上的操作，确定检索对象，并根据待检索对象的类型，向用户展示服务接口的相关信息，从而可以挖掘出隐藏在全景图像背后的信息，满足用户浏览全景图像时的潜在需求，提高全景图像的实用性。
[0079]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明实施例可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是⑶-R0M，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或网络设备等)执行本发明实施例各个实施场景所述的方法。
[0080]以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。
【权利要求】
1.一种信息检索方法，其特征在于，包括: 接收用户在全景图上选择的兴趣点位置信息； 根据所述兴趣点位置信息，获取待检索对象在全景图上的边界； 根据待检索对象在全景图上的边界，获取待检索对象的图片； 将待检索对象的图片发送给后台服务器进行搜索； 接收后台服务器发送来的对待检索对象的搜索结果； 从所述搜索结果中提取出待检索对象的相关信息； 将提取出的相关信息进行展示。
2.如权利要求1所述的信息检索方法，其特征在于，所述根据所述兴趣点位置信息，获取待检索对象在全景图上的边界的步骤包括:利用图像处理技术获取待检索对象在全景图上的边界。
3.如权利要求1所述的信息检索方法，其特征在于，所述获取待检索对象的图片的步骤之后还包括: 检测待检索对象的图片上是否有文字信息； 若是，则识别出待检索对象的图片上的文字信息； 将所述文字信息发送给后台服务器进行搜索。
4.如权利要求3所述的信息检索方法，其特征在于，所述识别出待检索对象的图片上的文字信息的步骤中，通过光学字符识别技术识别待检索对象的图片上的文字信息。
5.如权利要求1所述的信息检索方法，其特征在于，所述接收后台服务器发送来的对待检索对象的搜索结果的步骤中，所述搜索结果包括待搜索对象的类别和待搜索对象的全方位信息； 所述从所述搜索结果中提取出待检索对象的相关信息的步骤包括:根据待搜索对象的类别，从所述全方位信息中提取出相应于服务接口的相关信息。
6.一种信息检索装置，其特征在于，包括: 兴趣点接收模块，用于接收用户在全景图上选择的兴趣点位置信息； 边界获取模块，用于根据所述兴趣点位置信息，获取待检索对象在全景图上的边界； 图片获取模块，用于根据待检索对象在全景图上的边界，获取待检索对象的图片； 发送模块，用于将待检索对象的图片发送给后台服务器进行搜索； 搜索结果接收模块，用于接收后台服务器发送来的对待检索对象的搜索结果； 信息提取模块，用于从所述搜索结果中提取出待检索对象的相关信息； 展示模块，用于将提取出的相关信息进行展示。
7.如权利要求6所述的信息检索装置，其特征在于，所述边界获取模块利用图像处理技术获取待检索对象在全景图上的边界。
8.如权利要求6所述的信息检索装置，其特征在于，所述信息检索装置还包括: 文字检测模块，用于检测待检索对象的图片上是否有文字信息； 文字识别模块，用于在待检索对象的图片上有文字信息时，识别出所述文字信息，以通过所述发送模块将所述文字信息发送给后台服务器进行搜索。
9.如权利要求8所述的信息检索装置，其特征在于，所述文字识别模块通过光学字符识别技术识别待检索对象的图片上的文字信息。
10.如权利要求6所述的信息检索装置，其特征在于，所述搜索结果接收模块接收到的对待检索对象的搜索结果包括待搜索对象的类别和待搜索对象的全方位信息； 所述信息提取模块根据待搜索对象的类别，从所述全方位信息中提取出相应于服务接口的相关信息。
【文档编号】G06F17/30GK104133819SQ201310162560
【公开日】2014年11月5日 申请日期:2013年5月3日 优先权日:2013年5月3日
【发明者】李成军 申请人:腾讯科技（深圳）有限公司