专利名称：基于混合现实的室内路径导航方法
技术领域：
本发明设计一种基于混合现实的室内路径导航方法，属于路径导航领域。
背景技术：
随着城市建设的突飞猛进，各种现代化的高楼大厦摩肩接踵，其内部的结构和功能错综复杂，当人们身处这样一些陌生而复杂的环境中需要找寻特定的目标时，如在办公楼、展览厅、校园、医院、博物馆、音乐会、技术发布会、大型展会等室内区域，此时室内路径导航尤显其重要性——引导不熟悉地方的用户找到前往目的地的路线、突发情况室内人群的快速疏散以及应急救援等。中国申请专利号CN200810060078.7《基于无线传感网的室内定位方法》中专利公开了一种混合式基于无线传感器网络的室内定位方法，该方法主要由信标节点、盲节点、汇聚节点三部分组成。信标节点为位置已知的传感器节点；盲节点为待定位的传感器节点，但通过与临近信标节点通信，根据分布式定位算法进行粗略定位；而汇聚节点接收盲点定位，采用集中式定位优化算法进行目标的精确定位，但是要在室内安装大量的传感器并且无法立体化显示所在位置。中国专利申请号CN201010518905.X《一种具备室内导航功能的移动终端及室内导航方法》描述了一种具备室内导航功能的移动终端及室内导航方法。移动终端包括加速度计模块、电子罗盘模块、压力检测模块和控制模块等。加速度计模块、电子罗盘模块、压力检测模块分别与控制模块连接。该专利采用加速度计模块获取移动终端行进的距离，电子罗盘模块获取移动终端行进的方向信息，压力检测模块获取移动终端的大气压力信息，并且由控制模块根据移动终端行进的距离、方向信息和大气压力信息，从而得出移动终端在室内的三维立体位置信息，实现了室内立体导航，但在精确度与成像方面受环境影响较大。中国专利号CN201010518905.X《提供大型建筑物内部的定位和导航的方法》专利公开了一种在GPS信号不可用时对建筑区内的电子设备进行定位/导航的方法。电子设备通过扫描可用的无线局域网接入点并下载位置信息，进而实现定位/导航功能，实时逼真地显示用户在室内当前所处的位置，及可使用的导航路径。但是该专利成像只能已平面显示，无法立体化显示所在位置。随着增强现实(AugmentedReality,简称 “AR”)、增强虚拟(AugmentedVirtuality,简称“AV”)、这两项又被合称为“混合现实”(Mixed Reality,简称“MR”)的发展，可以为用户构造所需的高临场感虚拟三维场景。现在的用户更需要一种能在室内实现立体导航的方法，能够立体化显示所在当前位置，方便用户更加快速的找到前往目的地的路线。
发明内容
本发明的目的是为了解决上述不足，提供一种基于混合现实的室内路径导航方法。实现本发明的技术方案如下:
一种基于混合现实的室内路径导航方法，包括移动终端7、无线局域网3、远程服务器4和多个远程PC5，移动终端7包括移动摄像头I和显示屏2，多个远程PC5之间通过有线网络6连接，其特征在于包括以下步骤:①在移动终端7上输入目的地，通过无线局域网3将目的地传输到远程PC5上；②移动终端7根据摄像头I拍摄的当前图像形成图像序列，通过无线局域网3将图像序列传输到远程PC5上；③远程PC5根据收到的图像序列，依次通过标记可靠识别、图像序列匹配、与位置模型筛选三个步骤来计算用户当前的位置信息远程PC5根据用户当前的位置信息与目的地计算形成路径导航，将该路径导航使用混合现实技术以3D立体方式叠加并通过无线局域网4反馈至移动终端7的显示屏2上。上述第③步中，标记可靠识别过程中将输入的图像序列进行阈值分割后处理成二进制图像，进而凸显目标标记，得到二进制图像中的特征，进而进行特征配准，如果能够达成配准，即表示识别出了位置标记，进而完成初步定位，如果不能够达成配准，则返回第②
止/J/ O上述标记可靠识别过程中采用不同光照条件的自适应阈值算法生成二进制图像，1-10秒或64帧执行一次，其余非标记图像使用最近时间的固定阈值分割图像。上述图像序列匹配过程中，根据用户在室内移动时捕捉到的图像序列，来进行构建图像序列库，图像序列匹配先按照8-60帧/秒的频率连续采样，再以8帧/秒构建图像序列库。上述快速精确定位过程中将输入的RGB颜色空间转化成HSI颜色空间，然后从HSI色彩空间中提取前五个LAD特征，最后通过计算欧氏距离来确定当前位置。上述图像序列匹配中需要计算输入图像序列的特征向量与远程PC5的位置结构模型库的第η个位置的图像序列的特征向量的相似度。上述第④步中，采用分层L-K光流算法对特征点进行跟踪，对光流跟踪的结果采用RANSAC算法求得其单应性矩阵。本发明采用上述技术方案得到了以下的有益效果:(I)本发明利用移动终端的摄像头自动采集图像，利用混合现实技术，在显示屏上逼真显示用户在室内当前所处的位置及导航路径，因此用户可以直观地获得导航路径指引。(2)本发明的室内导航方法由于对室内结构化程度、导航范围大小不做任何要求，仅依靠摄像头拍摄完成定位功能，因此可为不熟悉地域的用户提供便捷、经济的室内路径导航服务。(3)本发明采用不同光照条件的自适应阈值算法，生成二值图像，由于简化、整合了图像中灰度值信息，程序算法的计算量会大大降低，更重要的是，能提高后续图像匹配的准确度，而其余非标记图像使用最近时间的固定阈值分割图像，可以降低系统计算量。(4)本发明将利用色度特征来增强对适应光强的能力，降低真彩色空间受色彩变化的影响。(5)由于根据算法的特征，在不同的处理阶段选用不同的算法进行处理，可以较好地解决了跟踪过程的实时性与抖动问题。通过位置结构模型，可使得在标记识别和图像序列匹配之后，降低定位用户最终位置的错误率，确保定位精度的准确性
图1.室内路径导航系统工作流程示意2.标记的可靠识别方法示意3.场景实时配准流程示意图摄像头I ;显示屏2 ;无线局域网3 ;远程服务器4 ;远程PC5 ;有线网络6 ;移动终端7。
具体实施例方式以下结合附图和具体实施例对本发明作进一步说明。本发明是一种基于单目视觉定位的、依靠实时配准场景来完成虚拟导航信息的快速跟踪和实时渲染室内路径的导航系统。下面介绍室内路径导航系统的精确位置定位方法及场景配置方法。本发明的室内路径导航系统网络拓扑结构的示意图。包括移动终端7，移动终端7包括移动摄像头I和显示屏2，无线局域网3，远程服务器4，远程PC5，远程PC5中设置有位置结构模型库，位置结构模型库中预先会收录该室内建筑里面位置结构特征的图片，远程PC5之间通过有线网络6连接。首先，用户在移动终端7中输入目的地；移动终端7的摄像头I拍摄目前所处环境的图像序列，然后通过无线局域网3将图像序列传输到远程PC5上，远程PC5根据收到的图像序列计算出用户的当前位置，其主要过程包括:①标记的可靠识别、②图像序列的匹配、③位置模型筛选:①标记的可靠识别如图所示，在定位过程中，首先完成标记的可靠识别:将输入的图像进行阈值分割后处理成二进制图像，进而凸显目标标记。对上述标记(如方块形图像)进行特征提取，得到二值图像中的所有方块，进而与远程PC5中的位置结构模型库的结构特征配准。如果能够达成配准，即表示识别出了位置标记，进而完成初步定位，如果不能够达成配准，则移动装置的摄像头重新拍照，形成新的图像犀利，重新进行标记的可靠识别。其中，阈值分割处理的效果取决于选定的图像阈值，而图像的最优阈值主要受变化的光照等因素的影响。为了获得更好的处理效果，本发明采用不同光照条件的自适应阈值算法，生成二值图像，每1-10秒执行一次或64帧执行一次，1-10秒内或64帧都使用前一阈值，至下一次再做分割，得到新阈值，以适应快速变化的照明条件。由于简化、整合了图像中灰度值信息，程序算法的计算量会大大降低，更重要的是，能提高后续图像匹配的准确度，而其余非标记图像使用最近时间的固定阈值分割图像，可以降低系统计算量。见图3，原始图像经自适应阈值算法处理后，得到相应的二进制图像，最终可靠地识别出标记。②图像序列匹配如图1和图2所示，初步定位后，为达到本发明中最终定位的可靠性、精确性要求，首先进行图像序列的采集，图像序列的采集是根据用户在室内行走时捕捉到的视频序列，来构建图像序列库:先按照8-60帧/秒的频率连续采样，其中12帧/秒是最佳状态，当低于8帧/秒时，不能准确定位；当高于60帧/秒时，对载体数据处理能力要求较高，再以8帧/秒构建图像序列库。每个被识别出的标记所在的图像序列都需要与远程PC的图像序列库中的预存图像序列进行匹配。本发明的图像序列匹配方法步骤为:首先进行直方图提取，在每个方块标记区域中，提取图像；然后进行直方图匹配，将检测到方块的图像与预先保留的远程PC5的图像序列库中的图像序列进行匹配，如果匹配结果达标，即确定了用户的准确位置。这一匹配过程与标记的可靠识别中的特征配准过程相似，但结果要求更精确、且尽量保证速度。本发明的捕捉到的图像信息受环境光、相对运动等很多因素影响，而且，即使在相同光照环境下，捕捉的两幅图像的色彩信息也有可能不同。那么，由于真彩色空间易受色彩变化的影响，因此本发明将利用色度特征来增强对适应光强的能力。本发明将输入的RGB颜色空间转化成HSI颜色空间，然后从HSI色彩空间中提取前五个LAD特征，最后通过计算欧氏距离来确定当前位置。因此，本发明需要计算输入图像序列(X)的特征向量(Xi)与远程PC5的位置结构模型库的第η个位置的图像序列(Yn)的特征向量(yi)的相似度。其中，以12帧/s的速度捕捉到的图像序列，作为检索的图像序列库。③位置模型筛选位置模型筛选方法:以节点代表位置，且每个节点都与邻近节点相互连接，从而构成用户的潜在路径。用户位置定位存在三种可能的情况:1)由标记识别和图像序列判定后的输出结果一致；2)由标记识别和图像序列判定后的输出结果不一致；3)只由图像序列匹配得到输出结果。在位置模型筛选过程中，本发明的精确位置识别规则见表1:表I精确位置识别规则
权利要求
1.一种基于混合现实的室内路径导航方法，包括移动终端(7)、无线局域网(3)、远程服务器(4)和多个远程PC (5)，移动终端(7)包括移动摄像头(I)和显示屏(2)，多个远程PC(5)之间通过有线网络(6)连接，其特征在于包括以下步骤:①在移动终端(7)上输入目的地，通过无线局域网(3)将目的地传输到远程PC (5)上；②移动终端(7)根据摄像头(I)拍摄的当前图像形成图像序列，通过无线局域网⑶将图像序列传输到远程PC(5)上；③远程PC(5)根据收到的图像序列，依次通过标记可靠识别、图像序列匹配、与位置模型筛选三个步骤来计算用户当前的位置信息；④远程PC (5)根据用户当前的位置信息与目的地计算形成路径导航，将该路径导航使用混合现实技术以3D立体方式叠加并通过无线局域网(4)反馈至移动终端(7)的显示屏(2)上。
2.根据权利要求1所述的基于混合现实的室内路径导航方法，其特征在于:所述第③步中，标记可靠识别过程中将输入的图像序列进行阈值分割后处理成二进制图像来凸显目标标记，得到二进制图像中的特征，然后与位置结构模型库中的结构特征进行特征配准，如果能够达成配准，即表示识别出了位置标记，进而完成初步定位，如果不能够达成配准，则返回第②步。
3.根据权利要求1所述的基于混合现实的室内路径导航方法，其特征在于:所述标记可靠识别过程中采用不同光照条件的自适应阈值算法生成二进制图像，1-10秒或64帧执行一次，其余非标记图像使用最近时间的固定阈值分割图像。
4.根据权利要求1所述的基于混合现实的室内路径导航方法，其特征在于:所述图像序列匹配过程中，根据用户在室内移动时捕捉到的图像序列构建图像序列库，图像序列匹配先按照8-60帧/秒的频率连续采样，再以8帧/秒的频率构建图像序列库。
5.根据权利要求1所述的基于混合现实的室内路径导航方法，其特征在于:所述图像序列匹配中将输入的RGB颜色空间转化成HSI颜色空间，然后从HSI色彩空间中提取前五个LAD特征，最后通过计算欧氏距离来确定当前位置。
6.根据权利要求1所述的基于混合现实的室内路径导航方法，其特征在于:所述图像序列匹配中需要计算输入图像序列的特征向量与远程PC5的位置结构模型库的第η个位置的图像序列的特征向量的相似度。
7.根据权利要求1所述的基于混合现实的室内路径导航方法，其特征在于:所述第④步中，采用分层L-K光流算法对特征点进行跟踪，对光流跟踪的结果采用RANSAC算法求得其单应性矩阵。
全文摘要
本发明公开一种基于混合现实的室内路径导航方法，包括移动终端、无线局域网、远程服务器和多个远程PC，移动终端包括移动摄像头和显示屏，多个远程PC之间通过有线网络连接，其特征在于包括以下步骤①在移动终端上输入目的地，通过无线局域网将目的地传输到远程PC上；②移动终端根据摄像头拍摄的当前图像形成图像序列，通过无线局域网将图像序列传输到远程PC上；③远程PC根据收到的图像序列，依次通过标记可靠识别、图像序列匹配、位置模型筛选三个步骤来计算用户当前的位置信息；④远程PC根据用户当前的位置信息与目的地计算形成路径导航，将该路径导航使用混合现实技术以3D立体方式叠加并通过无线局域网反馈至移动终端的显示屏上。
文档编号G01C21/00GK103162682SQ20111040669
公开日2013年6月19日 申请日期2011年12月8日 优先权日2011年12月8日
发明者宋小波, 李芬, 刘百辰, 周培莹, 赵江海, 何锋, 王敏 申请人:中国科学院合肥物质科学研究院