专利名称：用于移动增强现实系统的目标物体混合注册方法及系统的制作方法
技术领域：
本发明涉及移动增强现实领域，具体涉及一种用于移动增强现实系统的目标物体混合注册方法及系统。
背景技术：
增强现实(AugmentedReality,AR)是在虚拟现实(Virtual Reality,VR)基础上发展起来的一种新型计算机应用和人机交互技术，其通过各种计算机技术将虚拟信息和真实世界无缝融合，达到对现实场景“增强”的效果，侧重于现实环境和虚拟信息的结合与交互。移动增强现实是增强现实技术和移动便携设备结合的产物。由于智能手机等移动计算平台的快速普及，移动增强现实技术拥有十分广阔的市场前景。注册技术是移动增强现实系统的核心技术，其一般以识别、跟踪场景中的特定对象，或估计摄像机的位置、朝向并事先获取特定对象的位置信息为基础，将计算机生成的虚拟信息实时、准确的注册到用户感知到的真实场景中。目前移动增强现实系统中常用的注册技术可分为视觉方法和非视觉方法；视觉方法即通过对摄像头获取的实时图像进行分析处理，实现对注册目标的识别、跟踪，最终完成虚拟信息的注册；非视觉方法即通过组合使用多个传感器，来获取移动设备的位置和朝向等相关信息，并结合注册目标的地理位置计算出目标在设备屏幕的成像坐标，完成虚拟信息的注册。在视觉方法中，最常用的是基于标记的注册方法，即事先在场景中人工放置一些预先定义的标记，系统能很容易的识别出这些标记，虚拟信息往往被显示在这些标志上，或以这些标志为参考点的空间位置上；文献《H. Billinghurst，M. Marker Tracking and HMD calibration for a video-based augmented reality conferencing system. Proceedings of the 2nd International Workshop on Augmented Reality. San Francisco,USA,Octobe r. 1999))提出了一种基于标记的注册方法，并由此开发了一个开源工具包ARToolkit，它主要使用形状规则的黑白二值图案作为人工标记。这类方法通过使用人工标记可以实现很好的注册效果，但也给移动增强现实应用的普及带来了不必要的限制。文献《Markus Kahari, David J.Murphy. Mara :Sensor based augmented reality system for mobile imaging device. Proceedings of the 5th IEEE and ACM International Symposium on Mixed and Augmented Reality. Santa Barbara，USA， October. 2006))提出了一种使用GPS、磁力计、加速度传感器等设备的移动增强现实注册方法，它通过GPS获取用户当前的地理位置，通过磁力计和加速度传感器判断设备的朝向与姿态，从hternet上获取注册目标的信息，并使用这些数据信息计算目标在屏幕上的成像坐标，完成注册。这种注册方法计算量小，鲁棒性高，但由于某些传感器自身具有延时长的特性，使得在获取其数据时具有一定的滞后性，系统在目标跟踪注册方面会存在有一定的延时
发明内容
本发明的目的是提供一种实时、快速、准确、适用范围广，适用于移动设备的用于移动增强现实系统的目标物体混合注册方法及系统。为解决上述技术问题，本发明采用的技术方案为本发明提供一种用于移动增强现实系统的目标物体混合注册方法，其实施步骤如下1)获取移动设备的当前地理位置信息，并获取当前地理位置周围一定范围内的目标物体信息；2)获取移动设备的当前朝向和姿态数据，根据所述当前朝向和姿态数据获取移动设备当前屏幕中出现的目标物体和目标物体所对应的屏幕坐标值；3)获取移动设备的当前连续场景图像，根据当前连续场景图像相邻数据帧的相同特征点获取当前移动设备的全局运动参数；4)根据所述全局运动参数判断当前移动设备是否处于移动状态，如果移动设备处于移动状态，则根据所述全局运动参数实时调整移动设备屏幕中当前出现的每一个目标物体所对应注册信息的屏幕坐标值。作为本发明方法的进一步改进所述步骤1)中目标物体信息存储在远程设备上，所述移动设备获取地理位置信息后向远程设备请求当前地理位置周围对应的目标物体信息，远程设备根据请求向移动设备发送所请求当前地理位置周围对应的目标物体信息。所述步骤2、中通过磁力计和加速度传感器可以获取移动设备当前的朝向和姿态数据获取移动设备的当前朝向和姿态数据。所述步骤2)中根据 R{p, φ, ω) =
权利要求
1.一种用于移动增强现实系统的目标物体混合注册方法，其特征在于其实施步骤如下1)获取移动设备的当前地理位置信息，并获取当前地理位置周围一定范围内的目标物体信息；2)获取移动设备的当前朝向和姿态数据，根据所述当前朝向和姿态数据获取移动设备当前屏幕中出现的目标物体和目标物体所对应的屏幕坐标值；3)获取移动设备的当前连续场景图像，根据当前连续场景图像相邻数据帧的相同特征点获取当前移动设备的全局运动参数；4)根据所述全局运动参数判断当前移动设备是否处于移动状态，如果移动设备处于移动状态，则根据所述全局运动参数实时调整移动设备屏幕中当前出现的每一个目标物体所对应注册信息的屏幕坐标值。
2.根据权利要求1所述的用于移动增强现实系统的目标物体混合注册方法，其特征在于所述步骤1)中目标物体信息存储在远程设备上，所述移动设备获取地理位置信息后向远程设备请求当前地理位置对应的目标物体信息，远程设备根据请求向移动设备发送所请求当前地理位置对应的目标物体信息。
3.根据权利要求2所述的用于移动增强现实系统的目标物体混合注册方法，其特征在于所述步骤幻中通过磁力计和加速度传感器可以获取移动设备当前的朝向和姿态数据获取移动设备的当前朝向和姿态数据。
4.根据权利要求3所述的用于移动增强现实系统的目标物体混合注册方法，其特征在于所述步骤2)中根据Pca 二 R〈p,①，(p)〈pwa-pj}、 cos(p) 0-sin(^)cos(p) -sin (ρ) O 丫 sin (ρ) cos(p) OνOO101 O\—/ /(O .In⑶S CVi OOcos (ω)、0 sin(0)O_sin(0) cos (ω)和^cam1700"Wy cam10/0yc1001_Za_获取移动设备当前屏幕中出现的目标物体和目标物体所对应的屏幕坐标值，其中Pwa 为某目标物体的世界地理坐标，Pw。为移动设备用于获取场景图像的摄像机的当前世界地理坐标，p。a= (xc, yc, Zc)为目标物体在摄像机坐标系的坐标，P为计算过程中摄像机绕X轴旋转的角度，ω为绕ζ轴旋转的角度，<3为绕y轴旋转的角度，ζ轴正向为摄像机朝着的方向，f为摄像机的焦距，(x。am，y。am)为该目标物体在摄像机成像平面上的坐标。
5.根据权利要求4所述的用于移动增强现实系统的目标物体混合注册方法，其特征在于所述步骤幻中获取当前移动设备的全局运动参数的详细步骤包括a)将连续场景图像当前帧的边界区域剔除，取剩下的部分作为兴趣区域，将兴趣区域划分为多个小矩形区域，并在各个小矩形区域通过角点检测算法提取出角点响应值最大的一个特征点；b)在下一帧场景图像中搜索所有特征点，获取各个特征点在两帧场景图像零均值差值平方和最小的位移作为该特征点的在两帧场景图像中的位移；C)建立连续两帧场景图像带有沿X轴、y轴方向的位移参数、绕图像中心旋转的角度参数的全局运动模型，并使用随机抽样一致性算法剔除局部运动估计阶段可能存在的外点；d)使用最小二乘法对剔除外点之后剩余的内点数据进行拟合，得到全局运动参数；e)使用卡尔曼滤波器对全局运动参数进行滤波得到最终的全局运动参数。
6.根据权利要求5所述的用于移动增强现实系统的目标物体混合注册方法，其特征在于所述步骤4)中调整移动设备屏幕中当前出现的每一个目标物体所对应注册信息的屏幕坐标值详细步骤包括A)建立用于存储当前屏幕中目标物体信息的结构体链表，并根据当前屏幕中目标物体的变化实时更新所述结构体链表；B)根据所述全局运动参数获取结构体链表中每一个目标物体针对每一帧场景图像所需要移动的距离，如果连续多帧需要移动的距离之和大于临界值，则判定移动设备处于移动状态，否则判断移动设备处于静止状态；C)如果移动设备处于移动状态，则根据所述全局运动参数实时调整移动设备屏幕中当前出现的每一个目标物体所对应注册信息的屏幕坐标值，并根据目标物体是否出现在移动设备屏幕中及其对应的屏幕坐标值更新所述结构体链表。
7.一种用于移动增强现实系统的目标物体混合注册系统，其特征在于它包括相互连接的移动设备(1)和远程设备O)，所述移动设备(1)包括用于获取移动设备(1)地理位置信息、朝向和姿态数据的传感器单元(11)、用于根据朝向和姿态数据获取移动设备(1)当前屏幕中出现的目标物体和目标物体所对应屏幕坐标值的传感器信息处理单元(12)、用于获取移动设备(1)当前连续场景图像的图像采集单元(13)、用于根据连续场景图像获取当前移动设备(1)的全局运动参数的视觉信息处理单元(14)和用于根据所述全局运动参数实时调整移动设备屏幕中当前出现的每一个目标物体所对应注册信息的屏幕坐标值的混合注册单元(15)，所述传感器单元(11)与传感器信息处理单元(1 相连，所述图像采集单元(1 与视觉信息处理单元(14)相连，所述混合注册单元(1 分别与传感器信息处理单元(12)、视觉信息处理单元(14)相连；所述远程设备(2)包括相互连接的用于向移动设备(1)提供目标物体信息数据服务的目标物体信息服务处理单元和用于存储目标物体信息的目标物体信息存储单元(22)，所述混合注册单元(1 通过无线移动通信网络与目标物体信息服务处理单元相连。
全文摘要
本发明公开了一种用于移动增强现实系统的目标物体混合注册方法和系统，方法实施步骤如下1)获取当前地理位置信息及目标物体信息；2)根据移动设备的当前朝向和姿态数据获取移动设备当前屏幕中出现的目标物体和目标物体所对应的屏幕坐标值；3)根据移动设备的当前连续场景图像获取当前移动设备的全局运动参数；4)根据所述全局运动参数实时调整移动设备屏幕中当前出现的每一个目标物体所对应注册信息的屏幕坐标值。系统包括移动设备，所述移动设备包括传感器单元、传感器信息处理单元、图像采集单元、视觉信息处理单元和混合注册单元。本发明具有实时、快速、准确、适用范围广的优点。
文档编号G06F3/01GK102214000SQ20111016006
公开日2011年10月12日 申请日期2011年6月15日 优先权日2011年6月15日
发明者杨晓光, 陈岭, 陈日, 陈根才 申请人:浙江大学