一种融合传感器信息的室外场景识别方法
【专利摘要】本发明提供了一种融合传感器信息的室外场景识别方法，利用该方法可以快速对室外场景进行识别，且识别正确率高。具体过程为：步骤1：移动终端采集当前场景的待识别图像，获取移动终端采集图像时的重力信息；步骤2：将待识别图像和重力信息打包成一个压缩文件并发送给服务器；步骤3：服务器根据压缩文件中的重力信息计算待识别图像的重力方向θg；步骤4：检测待识别图像中的直线；步骤5：剔除水平和竖直两类直线中的错误直线；步骤6：计算水平消隐点和竖直消隐点；步骤7：对待识别图像进行透视失真校正；步骤8：进行图像匹配，寻找最相近的样本图像，并将该样本图像对应的场景信息返回给移动终端，实现场景识别。
【专利说明】一种融合传感器信息的室外场景识别方法
【技术领域】
[0001]本发明属于移动增强现实【技术领域】，具体涉及一种融合传感器信息的室外场景识别方法。
【背景技术】
[0002]增强现实(AR)也被称为混合现实，是一种将虚拟物体呈现在真实世界的技术，包括基于位置和图像识别两大类，通过图像识别实现信息的叠加和位置定位推送相关信息。图像识别是基于内容的信息检索研究的热门话题，在遥感图像处理、医学图像处理和计算机视觉等领域有着广泛的应用。
[0003]随着移动终端设备(像PDA、智能手机等)的功能也越来越丰富，并且拥有了嵌入式操作系统、加速度传感器、陀螺仪、GPS定位、视频摄像头等功能，同时也具备了较强的计算和处理能力。这些功能的集成为移动增强现实技术发展奠定了基础。LBS (基于位置的服务)在移动增强现实领域等许多领域均有应用，能否准确地获得用户的地理位置信息对LBS至关重要。目前，获得地理位置信息的方法主要有GPS卫星定位、Wifi定位、视觉识别等，但GPS卫星定位技术尚无法实现全天候、高精度的定位功能，Wifi定位受制于Wifi热点的分布，无法实现广泛覆盖，而视觉识别技术则没有这些限制因素，因此只有将GPS定位、Wifi定位等传统方法与新兴的视觉识别技术结合起来才能实现全天候精确定位。近几年，针对户外建筑物的视觉识别技术越来越受到学术界的重视，国内外许多大学与公司都在对户外建筑物识别技术进行深入研究。
[0004]谷歌于2009年提出地标(landmark)识别技术，在互联网上收集大量带有GPS信息的著名建筑物的照片，当用户的检索图像被发送至服务器后，系统使用LoG检测特征点与SIFT特征描述符，进行主成分分析(PCA)以提高检索速度，能在很短时间内检索出与用户提交的照片最相符的建筑物目标。
[0005]室外图像往往含有大量前景干扰物，这些干扰物形态各异，如人、车、树木、架空电线、马路护栏、过街天桥、电线杆等，都会对直线检测造成不同程度的影响。例如，树木若在图像中占据较大面积，就会在边缘二值图像(Edge Map)中形成大面积的边缘点，严重影响直线检测的结果；又如架空电线是很明显的直线边缘，对现有的任何一种直线检测方法而言，都无法避免检测到如此明显的直线状干扰物。另外由于检索图片是由用户使用手机拍摄的，待校正的目标建筑物在图像中可能只占据很小的面积，而且图像由手机上传至服务器前，要被客户端程序进行数据压缩，因此分辨率、颜色对比度等方面条件均较差，这些因素都加剧了校正的难度。而现有的许多利用消隐点进行透视失真校正的方法大都针对文档等人工图像，这类图像成分单一，画面较清晰，少有前景干扰，因此很容易得到消隐点的坐标，但由于室外图像场景复杂、干扰物较多的情况，显然不能简单地利用已有方法直接进行处理。
【发明内容】
[0006]有鉴于此，本发明提供了一种融合传感器信息的室外场景识别方法，利用该方法可以快速对室外场景进行识别，且识别正确率高。
[0007]实现本发明的技术方案如下:
[0008]一种融合传感器信息的室外场景识别方法，适用于该方法的样本图像库中的每一样本图像皆为场景的正面图像；该方法具体过程为:
[0009]步骤1:移动终端采集当前场景的待识别图像，再调用移动终端重力传感器接口，获取移动终端采集图像时的重力信息；
[0010]步骤2:将待识别图像和重力信息打包成一个压缩文件并发送给服务器；
[0011]步骤3:服务器根据压缩文件中的重力信息计算待识别图像的重力方向Θ g ；
[0012]步骤4:利用Canny边缘检测算法对待识别图像进行边缘二值化处理，得到边缘二值图像，再利用Hough变换的方法检测边缘二值图像中的直线；
[0013]步骤5:通过K-means聚类将直线分为水平与竖直两类，并根据所述重力方向Θ g剔除水平和竖直两类直线中的错误直线；
[0014]步骤6:根据剔除后得到的水平类直线计算水平消隐点，根据剔除后得到的竖直类直线计算竖直消隐点；
[0015]步骤7:利用水平消隐点计算水平方向的单应矩阵，利用垂直消隐点计算垂直方向的单应矩阵，基于两单应矩阵对待识别图像进行透视失真校正；
[0016]步骤8:利用校正后的图像与样本图像库中的样本图像进行匹配，寻找最相近的样本图像，并将该样本图像对应的场景信息返回给移动终端，实现场景识别。
[0017]进一步地，本发明步骤2在打包成一个压缩文件前，对所述待识别图像进行降采样处理。
[0018]进一步地，本发明利用Hough变换的方法检测边缘二值图像中的直线为:利用Hough变换的方法分别检测边缘二值图像中重力方向附近的直线和与重力方向相垂直的方向附近的直线。
[0019]进一步地，本发明步骤5中剔除错误直线的方法为:在竖直类直线中，剔除角度在[θ g_ θ error, θ g+ 0 error]之外的直线，再利用RANSAC剔除错误直线。
[0020]进一步地，本发明在执行步骤8之前，对校正后的图像进行如下处理:遍历校正后图像上的每一像素点，利用两单应矩阵的逆矩阵需找其在待识别图像中对应的灰度值，并将寻找到的灰度值拷贝至校正后图像相应的像素点上。
[0021]进一步地，本发明所述样本图像库中的每一样本图像还包括GPS信息，所述GPS信息为样本图像上显示的场景的GPS信息；步骤I在采集待识别图像时，获取当前场景的GPS信息，并在步骤2中将所述GPS信息一起发送给服务器；在步骤8进行样本图像匹配时，在样本图像库中寻找与待识别图像对应的GPS信息最近的GPS信息对应的样本图像，并将寻找到的图像定义为查询图像，然后将查询图像与待识别图像进行匹配。
[0022]进一步地，本发明所述样本图像库的生成方法为:
[0023]SOl，获取带GPS信息的各场景正面样本图像；
[0024]S02，提取每幅正面样本图像的局部特征，并将局部特征转换为描述符特征向量；
[0025]S03，利用所述描述符特征向量训练分层的单词树，再将描述符特征向量经过单词树量化成统计向量，再将所述统计向量存储到倒排文件系统中。[0026]有益效果:
[0027]第一，本发明使用智能设备的摄像头对当前场景进行图像采集，并利用传感器信息对图像校正，还原正面图像，最后用计算机视觉技术(即图像匹配)，对被采集室外场景进行识别，提供被识别场景的各种信息，从而在移动终端上实现了在线场景识别。
[0028]第二，本发明先将待识别图像进行透视失真校正，即借助移动终端的重力感应功能，检测待识别图像中场景(即建筑物)的消隐点，在根据消隐点的坐标对检索图片进行透视失真校正，恢复建筑物的仿射结构，使其与样本图像更加接近，提高识别正确率；同时本发明针对户外复杂环境的干扰情况，剔除检测到的错误的直线，使算法的鲁棒性极大增强。
[0029]第三，本发明在获取当前场景的待识别图像时进一步获取GPS信息，根据GPS信息，缩小查询图像的匹配范围，只与位置较近的样本图像进行匹配，减少识别时间。
[0030]第四，本发明可以扩展智能终端的交互式应用，满足了旅游、导航、交通、酒店服务等在智能终端上的扩展应用，使网络运营商和内容提供商能够利用其丰富的服务器资源和优越的服务器性能发展其业务。
【专利附图】
【附图说明】
[0031]图1融合传感器信息的室外海量物体识别原理图。
[0032]图2错误直线剔除图。
[0033]图3室外场景图像校正图。
[0034]图4为本发明融合传感器信息的室外场景训练样本倒排文件结构图。
【具体实施方式】
[0035]下面将结合附图对本发明进行详细说明。
[0036]如图1所示，本发明融合传感器信息的室外场景识别方法，适用于该方法的样本图像库中的每一样本图像皆为场景的正面图像；该方法具体过程为:
[0037]步骤1:用户打开移动终端的拍摄设备，采集当前场景的待识别图像，再调用移动终端的GPS传感器接口和重力传感器接口，获取当前场景的GPS信息和移动终端采集图像时的重力信息。
[0038]步骤2:待识别图像和重力信息打包成一个压缩文件并发送给服务器。
[0039]为了降低运算量，在打包成压缩文件前，终端对采集到的待识别图像进行降采样处理，以降低图像分辨率，并将降采用处理后的图像压缩为JPEG格式；同时本步骤中可通过无线网络的形式发送给远端的图像识别服务器。
[0040]步骤3:服务器接收压缩文件，提取重力信息，并根据所述重力信息计算图像的重力方向Θ g。
[0041]针对每一带有重力感应的移动终端，其对应的重力方向计算方法都是确定的，下面以某一款手机为例对重力方向的获取方法进行说明:
[0042]例如:图像中点P = [U，V, 1]τ处的重力方向向量为d = p' -p
[0043]其中d = [du, dv, 0]τ为点ρ处的重力方向，P'由下式计算得出:
[0044]ρ' = [wu'，wv' , w]T = p+Kg
[0045]其中g = [gx, gy, gz]T即为手机中重力加速度感应器获得的三个坐标轴方向的加速度矢量即重力信息，K为手机上相机的内参矩阵。
[0046]由d可计算出图像中重力方向的角度为
[0047]Θ g = arctan (dv/du)
[0048]步骤4:服务器提取待识别图像，利用Canny边缘检测算法对待识别图像进行边缘二值化处理，得到边缘二值图像，再使用Hough变换的方法检测边缘二值图像中的直线。
[0049]Canny边缘检测算法是一种常用的边缘检测算法，考虑到原图像的分辨率未知，本发明使用自适应阈值的Canny边缘检测算法，该方法会根据图像分辨率大小自动设置门限值，输出边缘二值图像(Edge Map)。
[0050]在Hough变换方法中，用极坐标(P，Θ )描述边缘二值图像中的直线；
【权利要求】
1.一种融合传感器信息的室外场景识别方法，适用于该方法的样本图像库中的每一样本图像皆为场景的正面图像；其特征在于，该方法具体过程为: 步骤1:移动终端采集当前场景的待识别图像，再调用移动终端重力传感器接口，获取移动终端采集图像时的重力信息； 步骤2:将待识别图像和重力信息打包成一个压缩文件并发送给服务器； 步骤3:服务器根据压缩文件中的重力信息计算待识别图像的重力方向Θ g ； 步骤4:利用Canny边缘检测算法对待识别图像进行边缘二值化处理，得到边缘二值图像，再利用Hough变换的方法检测边缘二值图像中的直线； 步骤5:通过K-means聚类将直线分为水平与竖直两类，并根据所述重力方向Θ g剔除水平和竖直两类直线中的错误直线； 步骤6:根据剔除后得到的水平类直线计算水平消隐点，根据剔除后得到的竖直类直线计算竖直消隐点； 步骤7:利用水平消隐点计算水平方向的单应矩阵，利用垂直消隐点计算垂直方向的单应矩阵，基于两单应矩阵对待识别图像进行透视失真校正； 步骤8:利用校正后的图像与样本图像库中的样本图像进行匹配，寻找最相近的样本图像，并将该样本图像对应的场景信息返回给移动终端，实现场景识别。
2.根据权利要求1所述融合传感器信息的室外场景识别方法，其特征在于，所述步骤2在打包成一个压缩文件前，对所述待识别图像进行降采样处理。
3.根据权利要求1所述融合传感器信息的室外场景识别方法，其特征在于，所述利用Hough变换的方法检测边缘二值图像中的直线为:利用Hough变换的方法分别检测边缘二值图像中重力方向附近的直线和与重力方向相垂直的方向附近的直线。
4.根据权利要求3所述融合传感器信息的室外场景识别方法，其特征在于，所述步骤5中剔除错误直线的方法为:在竖直类直线中，剔除角度在的-4,.,.0 J之外的直线，再利用RANSAC剔除错误直线。
5.根据权利要求1所述融合传感器信息的室外场景识别方法，其特征在于，在执行步骤8之前，对校正后的图像进行如下处理:遍历校正后图像上的每一像素点，利用两单应矩阵的逆矩阵需找其在待识别图像中对应的灰度值，并将寻找到的灰度值拷贝至校正后图像相应的像素点上。
6.根据权利要求1所述融合传感器信息的室外场景识别方法，其特征在于，所述样本图像库中的每一样本图像还包括GPS信息，所述GPS信息为样本图像上显示的场景的GPS信息；步骤I在采集待识别图像时，获取当前场景的GPS信息，并在步骤2中将所述GPS信息一起发送给服务器；在步骤8进行样本图像匹配时，在样本图像库中寻找与待识别图像对应的GPS信息最近的GPS信息对应的样本图像，并将寻找到的图像定义为查询图像，然后将查询图像与待识别图像进行匹配。
7.根据权利要求1-6中的任一个所述融合传感器信息的室外场景识别方法，其特征在于，所述样本图像库的生成方法为: SOl，获取带GPS信息的各场景正面样本图像； S02，提取每幅正面样本图像的局部特征，并将局部特征转换为描述符特征向量；S03，利用所述描述符特征向量训练分层的单词树，再将描述符特征向量经过单词树量化成统计向量，再将所述`统计向量存储到倒排文件系统中。
【文档编号】G06T7/00GK103514446SQ201310483335
【公开日】2014年1月15日 申请日期:2013年10月16日 优先权日:2013年10月16日
【发明者】桂振文, 刘越, 王涌天 申请人:北京理工大学