专利名称：获取移动增强现实信息的系统和方法
技术领域：
本发明涉及移动通信增值业务领域，尤其涉及获取移动增强现实信息的系统和方法。
背景技术：
目前有一类基于移动终端的增强现实应用，终端获取所处位置的位置信息，然后业务处理平台进行处理及搜索，返回信息点的资讯信息，并在终端上将信息点和终端镜头拍摄的实景进行融合展现。该应用当用户用手机摄像头对准目标，屏幕上就可以看到叠加在实景影像上的相关文字提示或虚拟影像、标签，获取各种相关资讯、点评，省去用户进行输入搜索的麻烦，提供新的体验。
目前此类应用在架构上，已有业务处理平台和资讯平台分离的处理方案，业务处理平台通过发送请求到资讯平台，获取资讯内容，现有方案中业务平台和资讯平台交互请求的参数仅限于位置经纬度，定位结果的误差造成获取的资讯信息较多，精准度不够，业务处理平台可能难以获取到所需镜头拍摄的实景准确管理信息，并与现实场景的图像进行匹配叠加，或者虚拟信息叠加的效果较差，影响用户体验。
发明内容
鉴于以上，本发明的目的是提出获取移动增强现实信息的系统和方法。
根据本发明一方面，提出获取移动增强现实信息的系统，其中 增强现实业务处理平台包括 位置获取单元，用于获取所处地点的位置信息，将位置信息传送给控制单元； 图像获取单元，用于获取图像信息，将图像信息传送给图像分析单元； 图像分析单元，用于对图像获取单元获取的图像信息进行特征分析，提取图像特征，将图像特征传送给控制单元； 控制单元分别与位置获取单元、方向获取单元、图像获取单元、图像分析单元连接，用于将图像特征和位置信息携带在请求参数中，以及确定请求参数要发往的资讯平台； 资讯平台管理单元，用于管理资讯平台的信息，包括资讯平台信息库，每个资讯平台都在该信息库中有对应的记录； 资讯平台接口单元，用于和各个资讯平台连接通信，根据接口协议向资讯平台发送请求参数并获取反馈的内容资讯； 资讯平台包括 接口单元，具有连接地址，用于和增强现实业务处理平台连接通信，获取请求参数并反馈内容资讯； 连接单元，分别与接口单元、内容管理单元连接，用于从接口单元获取请求参数， 从内容管理单元获取与请求参数匹配的内容资讯，将内容资讯传送给接口单元； 内容管理单元，用于根据请求参数搜索到匹配的内容资讯并传送给连接单元。
根据本发明另一方面，还提出获取移动增强现实信息的方法，包括如下步骤 增强现实业务处理平台获取图像信息，对图像信息提取图像特征； 增强现实业务处理平台确定要建立连接的资讯平台，根据资讯平台地址连接一个或多个资讯平台； 增强现实业务处理平台将图像特征和位置信息携带在请求参数中，将请求参数发到资讯平台； 资讯平台根据请求参数进行搜索，获取与请求参数匹配的内容资讯，返回给增强现实业务处理平台。
根据本发明另一方面，还提出建立业务平台与资讯平台之间连接的接口，包括 资讯平台接口单元，设置在业务平台，用于和各个资讯平台连接通信，根据接口协议向资讯平台发送请求参数并获取反馈的内容资讯，所述请求参数包括位置信息和图像特征； 接口单元，设置在资讯平台，具有连接地址，用于和业务平台连接通信，获取请求参数并反馈与所述请求参数匹配的内容资讯。
本发明可根据接口参数，比如位置经纬度、摄像镜头方向、图像特征等获取内容资讯，通过多参数的搜索筛选，从资讯平台获取内容资讯，提高信息获取的准确性，实现与现实场景的精准匹配和叠加，优化用户的交互体验，可支持图像搜索等更多应用，支持的应用例如人脸搜索后提供个人空间的资讯访问、植物识别后提供植物资讯、车辆识别后提供车辆信息和优惠等信息。在这些应用中，业务平台进行初步的识别和结果展现，资讯平台根据接口获取需求后，进行专业的识别并提供匹配的资讯。
图1为本发明系统的结构示意图，其中图像分析单元设置在终端； 图2为本发明系统的结构示意图，其中图像分析单元设置在业务平台； 图3为本发明系统的结构示意图，其中图像分析单元设置在业务平台以及资讯平台； 图4为本发明方法的流程图。
具体实施例方式下面参照附图对本发明进行更全面的描述，其中说明本发明的示例性实施例。
如图1所述，为本发明系统的结构示意图，包括增强现实业务处理平台1和资讯平台2。
再如图1所示，增强现实业务处理平台1包括位置获取单元11、方向获取单元12、 图像获取单元13、图像分析单元14、控制单元15、资讯平台管理单元16、以及资讯平台接口单元17。其中，由于图像信息以及位置信息是必须参数，其他为可选参数，所以，方向获取单元12是可选单元，是为获取更好的效果而增加的单元。下面对设置在增强现实业务处理平台1中的各个单元进行详细说明 位置获取单元11，用于获取所处地点的位置信息，将位置信息传送给控制单元，位置信息即经纬度信息，位置获取单元11可以是卫星(GPS、北斗)定位模块、基站定位模块或 wifi定位模块等。
方向获取单元12，用于获取方向信息，将方向信息传送给控制单元，方向信息比如摄像头所指的方向。方向获取单元12可以是电子罗盘、陀螺仪或重力感应模块等。获取的方向可以是东、西、南、北、垂直或仰角等。
图像获取单元13，用于获取图像信息，将图像信息传送给图像分析单元14，图像信息比如是摄像头拍摄到的图像，包括动态摄像和静态摄像。优选地，图像获取单元13还在屏幕上实时显示图像信息。
图像分析单元14，用于对图像获取单元13获取的图像信息进行特征分析，提取图像特征，将图像特征传送给控制单元。所述图像特征是用于描述图像的信息，可以是图像的形状特征、颜色特征或纹理特征等。作为一种实施方式，所述图像特征是增强显示业务平台所拍摄的原始图片，其格式包括但不限于JPG、BMP、GIP、PNG等；作为另一种实施方式，所述的图像特征是增强显示业务平台根据所拍摄的原始图片，进行图像处理，提取出的图像。
目前图像识别领域有很多提取图像特征的算法。图像分析单元14可以位于终端上，如图1所示；也可以位于网络侧业务平台，如图2所示；还可以如图3所示，在业务平台以及资讯平台都设置图像分析单元。业务平台侧的图像分析单元可以做初步的分析，也可以不做分析直接给资讯平台处理。资讯平台做专业的图像分析，并要和图像库结合，如人脸识别、商标识别、商品识别等。
控制单元15分别与位置获取单元11、方向获取单元12、图像获取单元13、图像分析单元14连接，可以通过通信网络连接，所述通信网络可以是移动网络，比如CDMA2000、 WCDMA、TD-SCDMA、WiFi等网络，进行业务流程的控制，实现资讯的请求和发送。控制单元15 用于将图像特征和位置信息携带在请求参数中，以及确定请求参数要发往的资讯平台。
其中，业务平台可以将图片直接作为图像特征，图片格式可以是JPG、BMP、GIF等； 业务平台也可以先分析出图像的一些轮廓特征，将轮廓特征作为图像特征。优选地，当控制单元还获取方向信息和/或搜索范围时，在请求参数中还携带方向信息和/或搜索范围。
控制单元15根据业务逻辑确定，具体将请求参数发到哪个或哪几个资讯平台。
作为本发明的一个实施例，控制单元确定资讯平台的操作可以是，实施方式1 控制单元将资讯平台以列表形式呈现给用户，用户点击界面，控制单元根据点击确定用户选择的资讯平台。实施方式2 控制单元根据图像特征来确定，如根据图像特征识别出是人物的图像，则搜索资讯平台管理单元，获取进行人物识别的资讯平台连接地址，确定将请求参数发到对应的资讯平台处理。
资讯平台管理单元16用于管理资讯平台的信息，包括资讯平台信息库，信息库可以包括类别和资讯平台连接地址，还可以包括资讯平台标识等，每个资讯平台都在该信息库中有一条对应的记录。
其中，根据实施方式可以有多种类别，如建筑类、人物类、商品类、植物类等；资讯平台标识用于标识资讯平台，可以是资讯平台的名称或资讯平台的编号等；资讯平台的连接地址是用于连接资讯平台，可以是IP地址、操作系统的调用连接地址或Web域名地址等。
资讯平台接口单元17用于和各个资讯平台连接通信，根据接口协议向资讯平台发送请求参数并获取反馈的内容资讯。接口协议为XML协议，也可以是基于TCP/IP的WebService 协议。
作为本发明的一种实施方式，增强现实业务处理平台1还可以包括融合展现单元 18，用于将资讯平台接口单元17获取的内容资讯与图像信息进行融合展现、交互操作，进行虚拟和真实信息的融合展现。
例如业务平台将建筑物信息发给资讯平台后，资讯平台返回商家的招牌信息，以及和大楼融合展现的相对位置，融合展现单元18将商家招牌的虚拟标签和镜头的实景进行融合，展现给用户。
如图2所示，本发明系统的结构示意图，其中图像分析单元设置在业务平台。资讯平台2包括接口单元21、连接单元22、以及内容管理单元23。资讯平台可以有一个或多个。 不同的资讯平台可以提供不同类型的资讯信息，或提供不同区域的资讯信息。由增强现实业务处理平台1根据业务需要，决定向一个或多个资讯平台发送请求。其中 接口单元21具有连接地址，用于和增强现实业务处理平台1连接通信，获取请求参数并反馈内容资讯。本实施例中，请求参数包括图像特征和位置信息，还可以包括搜索范围和/或方向信息等，连接地址是IP地址，通信协议为XML协议。
连接单元22分别与接口单元21、内容管理单元23连接，用于从接口单元21获取请求参数，从内容管理单元23获取与请求参数匹配的内容资讯，将内容资讯传送给接口单元21。
内容管理单元23，用于根据请求参数搜索到匹配的内容资讯并传送给连接单元 22。
具体实施方式
、算法是由各资讯平台来确定。所述内容资讯可保存在资讯平台内部，即内容管理单元23保存内容资讯，并直接提供给连接单元；内容资讯也可以保存在外部，即内容管理单元23不保存内容资讯，在连接单元22要获取内容资讯时，由内容管理单元23 通过网络连接获取并提供给连接单元22。比如餐饮企业的内容资讯包括餐馆名称、餐馆介绍、订餐电话等；旅游景点的内容资讯包括景点名称、景点介绍、票价信息等。
如图1所示，下面通过具体实施例进行说明。
在本实施例中，向用户提供了 “全息窗”业务，基于定位、增强现实(AR)、图像识别等技术，利用手机图像采集等感知能力，根据用户环境提供准确信息的智能移动互联网信息。用户通过增强现实业务处理平台的“全息窗“客户端，用手机拍摄景物时，在实景上可看到相关介绍或链接，直达网络资讯，开启一道从现场实景连接网络世界的窗户。
本实施例中，增强现实业务处理平台1包括2大部分，即网络侧部署“全息窗”业务平台(简称业务平台)，业务平台包括资讯平台管理单元16、资讯平台接口单元17、控制单元15几个部分；另一部分是安装在终端上的“全息窗”客户端，包括位置获取单元11、 方向获取单元12、图像获取单元13 (即手机摄像头)、图像分析单元14，还有融合展现单元和移动通信单元。
在此实施例中，“全息窗”业务平台实现了基于手机拍摄的智能信息应用门户和网关平台，通过本发明的接口交互方法，定义了全息窗业务平台和资讯平台之间的增强型AR 接口交互协议。通过本业务平台可聚合及集成了商家、风景点、商品、房地产、社区、人员招聘等内容资讯。“全息窗”业务平台和资讯平台之间通过IP网络相连接。
以2个资讯平台为例，如图1所示，其中，资讯平台2-1是餐饮资讯平台，资讯平台 2-2是旅游景点资讯平台。在本实施例中，所述的2个资讯平台是分别提供餐饮信息和旅游景点信息的互联网网站。
资讯平台2-1存储有餐饮企业的关联内容资讯，包括餐馆名称、餐馆介绍、订餐电话等，记录有每个餐饮企业的经纬度信息、空间位置信息、企业的图片外观特征、Logo特征等。
资讯平台2-2存储有旅游景点的关联内容资讯，包括景点名称、景点介绍、票价信息等，记录有每个旅游景点的经纬度信息、空间位置信息、景色特征等。
如图4所示，为本发明获取移动增强现实信息的方法，通过该方法可以获取内容资讯，并进一步对获取的内容资讯进行融合展现，例如需将一个商家标签叠加在一栋大楼上，增加了楼层图像特征后，资讯平台可以根据楼层图像特征找到相应楼层对应的商家，将该商家信息返回给业务平台，经业务平台发送给终端；终端还可以根据商家信息中包括的图像结构特征，将信息点叠加在镜头图像中和该结构匹配的位置，从而与实景精确匹配。该方法包括以下步骤 在步骤401，增强现实业务处理平台获取图像信息，对图像信息提取图像特征。
作为一个实施例，可以通过运行在手机侧的客户端摄像头来获取图像信息。例如手机对着城市中的一个大楼，则所获取的图像信息是大楼的照片。优选地，客户端调用手机接口获取手机的位置和方向参数，即增强现实业务处理平台还可以获取景物的位置、方向和/或搜索范围。
在步骤402，增强现实业务平台确定目标资讯平台地址，根据目标资讯平台地址连接一个或多个资讯平台。
本实施例中，“全息窗”客户端在界面上呈现出多个可选的目标资讯平台的名称列表，例如“ 1.餐饮资讯”、“2.旅游景点资讯”，根据用户点击选择来确定目标资讯平台地址， 如果用户点击了“1.餐饮资讯”，则客户端将选择信息通过移动通信网络传送给网络侧业务平台，网络侧业务平台已保存该资讯平台的地址，根据资讯平台标识可以在已保存的数据库中检索确定，即对应的资讯平台2-1的地址，如IP地址“10. 17. 48. 196”。
作为另一个实施例，业务平台还可以根据图像特征来确定，如根据图像特征识别出是人物的图像，则搜索获取进行人物识别的资讯平台连接地址。
在步骤403，增强现实业务处理平台将图像特征和位置信息携带在请求参数中，将请求参数发到目标资讯平台处理。
本实施例中，接口中增加了图像特征，然后对图像特征进行识别和搜索等处理操作，可以先后或分别在业务平台端和资讯平台端进行，根据图像特征不同和处理方式不同包括多种实施方式。所述图像特征包括图像特征点的结构、颜色等属性。
通过增强现实业务处理平台与资讯平台之间的接口，对于步骤403，将请求参数发到目标资讯平台，以及步骤404，资讯平台根据请求参数进行搜索，还可以包括以下情况 当请求参数中还携带搜索范围时，资讯平台根据位置信息和搜索范围进行搜索， 确定目标范围后，再根据图像特征进行匹配； 当请求参数中还携带方向信息时，资讯平台根据位置信息和方向信息进行搜索， 确定目标范围后，再根据图像特征进行匹配；或者 当请求参数中还携带方向信息和搜索范围时，资讯平台根据位置信息、方向信息和搜索范围进行搜索，确定目标范围后，再根据图像特征进行匹配。
在步骤404，资讯平台根据请求参数进行搜索，获取与请求参数匹配的内容资讯， 所述内容资讯例如内容信息点名称、简介、照片、电话、可执行操作等，返回给增强现实业务处理平台。
“全息窗”业务平台连接“1.餐饮资讯”对应的资讯平台2-1，将客户端获取的图像信息(大楼照片)、位置发送给资讯平台2-1，资讯平台2-1进行处理。本实施例中，资讯平台处理方式是，资讯平台已经保存了城市中所有商业大楼的照片、位置，根据位置先确定候选的几个大楼，对大楼照片进行图像特征提取，据此进行图像特征匹配，准确确定对准的目标大楼，然后将数据库中该大楼的名称、各楼层进驻的商家信息取出，将商家信息通过接口反馈给“全息窗”业务平台。
作为实施例，反馈信息中，每个商家信息都有和大楼照片匹配的图像特征和位移控制信息，如商家“肯德基”在3楼，则在反馈给业务平台的商家信息中，包括融合展示时在图片中嵌入位置的标记信息。
以下是本实施例步骤403 步骤404中“全息窗”业务平台和资讯平台2_1交互的协议示范 “全息窗”业务平台向资讯平台2-1地址(10. 17. 48. 196)提交的请求参数
< xml version="1.0" encoding="UTF-8" > <dxcontent> <latitude>23.2433<latitude> <longtitude>113.2344<longitude> <range>400<range> <angle>30<angle>
<pic_url>http://10.17.10.10/UploadFiles/2010/6/201006281149085499.jpg</pic_url> <PicFeature>A10120 B9392 C2330 D3099 E3899<PicFeature>
</content>
</dxcontent> 其中latitude、longitude是目标建筑物的大致经纬度，range是搜索的半径范围，angle是水平视觉角度，pic_url是图片的地址，PicFeature是业务平台对图像进行初步处理后形成的图像中的特征点标记信息，本实施例中，所述的图像信息即是pic_url和 PicFeature0 资讯平台2-1根据经纬度和搜索的半径范围400米内，在资讯平台的建筑物信息库中搜索，找到候选的建筑物，然后根据pic_url获取大楼图片，利用现有图像识别技术在候选建筑物图片中找到和pic_url中的图片最匹配的大楼，作为目标大楼，在识别时候利用了 PicFeature的特征点标记来加速匹配。确定目标大楼后，将数据库中该大楼各楼层的商家信息取出，将商家信息通过接口反馈给“全息窗”业务平台，反馈的信息如下
权利要求
1.获取移动增强现实信息的系统，其中 增强现实业务处理平台包括位置获取单元，用于获取所处地点的位置信息，将位置信息传送给控制单元； 图像获取单元，用于获取图像信息，将图像信息传送给图像分析单元； 图像分析单元，用于对图像获取单元获取的图像信息进行特征分析，提取图像特征，将图像特征传送给控制单元；控制单元分别与位置获取单元、方向获取单元、图像获取单元、图像分析单元连接，用于将图像特征和位置信息携带在请求参数中，以及确定请求参数要发往的资讯平台；资讯平台管理单元，用于管理资讯平台的信息，包括资讯平台信息库，每个资讯平台都在该信息库中有对应的记录；资讯平台接口单元，用于和各个资讯平台连接通信，根据接口协议向资讯平台发送请求参数并获取反馈的内容资讯； 资讯平台包括接口单元，具有连接地址，用于和增强现实业务处理平台连接通信，获取请求参数并反馈内容资讯；连接单元，分别与接口单元、内容管理单元连接，用于从接口单元获取请求参数，从内容管理单元获取与请求参数匹配的内容资讯，将内容资讯传送给接口单元；内容管理单元，用于根据请求位置、图像特征参数搜索到匹配的内容资讯并传送给连接单元。
2.根据权利要求1所述获取移动增强现实信息的系统，增强现实业务处理平台还包括方向获取单元，用于获取方向信息，将方向信息传送给控制单元。
3.根据权利要求2所述获取移动增强现实信息的系统，其中 控制单元还将方向信息和/或搜索范围携带在请求参数中。
4.根据权利要求1所述获取移动增强现实信息的系统，其中控制单元将资讯平台以列表形式呈现在终端，将已选择的资讯平台确定为请求参数要发往的资讯平台；或者根据图像特征搜索资讯平台管理单元，将与图像特征匹配的资讯平台确定为请求参数要发往的资讯平台。
5.根据权利要求1所述获取移动增强现实信息的系统，其中图像分析单元位于终端或网络侧业务平台，或者在网络侧业务平台以及资讯平台都设置图像分析单元。
6.根据权利要求1至5中任一所述获取移动增强现实信息的系统，增强现实业务处理平台还包括融合展现单元，用于将获取到的内容资讯与现实图像进行融合展现。
7.获取移动增强现实信息的方法，包括如下步骤增强现实业务处理平台获取图像信息，对图像信息提取图像特征； 增强现实业务处理平台确定要建立连接的资讯平台，根据资讯平台地址连接一个或多个资讯平台；增强现实业务处理平台将图像特征和位置信息携带在请求参数中，将请求参数发到资讯平台；资讯平台根据请求参数进行搜索，获取与请求参数匹配的内容资讯，返回给增强现实业务处理平台。
8.根据权利要求7所述获取移动增强现实信息的方法，增强现实业务处理平台确定要建立连接的资讯平台的操作，包括以下步骤业务平台将资讯平台以列表形式呈现在终端，当用户选择资讯平台后，将已选择的资讯平台确定为要建立连接的资讯平台；或者业务平台根据图像特征进行搜索，将与图像特征匹配的资讯平台确定为要建立连接的资讯平台。
9.根据权利要求7或8所述获取移动增强现实信息的方法，将请求参数发到资讯平台， 资讯平台根据请求参数进行搜索的操作，还包括以下步骤当请求参数中还携带搜索范围时，资讯平台根据位置信息和搜索范围进行搜索，确定目标范围后，再根据图像特征进行匹配；当请求参数中还携带方向信息时，资讯平台根据位置信息和方向信息进行搜索，确定目标范围后，再根据图像特征进行匹配；或者当请求参数中还携带方向信息和搜索范围时，资讯平台根据位置信息、方向信息和搜索范围进行搜索，确定目标范围后，再根据图像特征进行匹配。
10.建立业务平台与资讯平台之间连接的接口，包括资讯平台接口单元，设置在业务平台，用于和各个资讯平台连接通信，根据接口协议向资讯平台发送请求参数并获取反馈的内容资讯，所述请求参数包括位置信息和图像特征；接口单元，设置在资讯平台，具有连接地址，用于和业务平台连接通信，获取请求参数并反馈与所述请求参数匹配的内容资讯。
全文摘要
本发明提出获取移动增强现实信息的系统和方法。获取图像信息，对图像信息提取图像特征；确定要建立连接的资讯平台，根据资讯平台地址连接一个或多个资讯平台；将图像特征和位置信息携带在请求参数中，将请求参数发到资讯平台；资讯平台根据请求参数进行搜索，获取与请求参数匹配的内容资讯，返回给增强现实业务处理平台。本发明提高了信息获取的准确性，实现与现实场景的精准匹配和叠加。
文档编号G06K9/46GK102194007SQ20111014401
公开日2011年9月21日 申请日期2011年5月31日 优先权日2011年5月31日
发明者梁宇杰, 杨杰, 李锭伟 申请人:中国电信股份有限公司