一种智能机增强现实实现方法
【技术领域】
[0001] 本发明涉及信息技术领域，具体涉及一种智能机增强现实实现方法。
【背景技术】
[0002] 增强现实技术是将虚拟的目标标签叠加到现实场景中，提示信息给用户，并能支 持用户与其进行交互。
[0003] 近年来GPS，北斗定位技术日益成熟和受到关注。然而由于智能机姿态不一样，同 样的定位位置看到的现实场景不一样，智能机姿态的精度影响导航路径方向的精度，避免 南辕北徹，因此智能机姿态的精确测定具有同样重要的意义。
[0004] 传统技术无法适应增强现实和任意姿态高精度导航需求。因为传统智能机姿态测 定主要依赖方向传感器的单轴航向角信息，对智能机姿态摆放有特定要求，比如要求智能 机摆放姿态平行于地面，或垂直于地面，而各种实际情况中用户手持智能机的姿态千变万 化，用户手持或车载智能机并不一定严格平行或者垂直于地面，该将导致导航方位不准，此 外用户增强现实应用中对智能机姿态精度的要求也越来越高，因此迫切需要一种考虑智能 机X-Y-ZH轴旋转的姿态测定算法。
[0005] 传统的W经缔度建立的2维坐标系进行定向和定位的技术，在缔度30度附近的中 国区域近似正确，但在高缔度和赤道附近的其他国家和地区，则会出现较大误差。在增强现 实应用中出现拍摄目标与其叠加标签的位置出现偏差会极大的影响用户体验。因此建立一 种严谨支持全球任意区域的更加精确的增强现实H维定位方法是很有必要的。
[0006] 基于位置的服务LBS日益受关注，但用户更关也的不仅是位置，而是自己与目 标间的方向和距离。很多老年人和方向感不强的人很难将实际看到的生活场景与地图中的 东南西北联系在一起，因此智能机任意角度摆放情况下，叠加在实景视频上的目标信息及 其相关服务将给用户带来所见即所指的极大便利，将成为未来信息服务的发展新趋势，我 们将该种服务称为"智能机全方位信息叠加服务"。
[0007]应用： 1. 为商铺W及供需双方发布相对于其他海量用户的方位和距离提供视觉叠加； 2. 为用户相对于指定地名，指定单位的方位与距离提供视觉叠加服务； 3.为用户之间相互联络提供方位和距离视觉叠加； 4. 为车、船、物流提供货物相对于目的地的方位和距离视觉叠加。
[0008] 传统的导航服务是地图导航服务，用户看到的是地图，用户需要费力的去把实景 与地图联想起来才能得到正确的方向。另外传统的地图服务的更新主要是服务上定期下 载，缺少用户的参与，不是动态的。
[0009] 传统的姿态检测技术主要用于飞机，汽车等大型设备，追求很高精度，用于军事、 工业等领域，而且非常贵重，而本发明主要考虑用廉价的智能机终端实现普通个人周边地 区的视频信息叠加服务。
[0010] 本发明不仅考虑方向传感器的value[0]得到的航向角，在有其他传感器，如重力 加速度磁力计和巧螺仪情况下，还考虑了其他几种姿态传感器捕获到的数据，使得检测到 的姿态更加精确，在没有该些传感器条件下也能得到粗略姿态。智能机的姿态对于全方位 信息叠加有着重要作用。本发明可W在智能机，诸如Amlriod，苹果系统上方便地实现查找 好友，商铺的位置，商铺广告信息的叠加发布等功能。
[0011] 本发明提供的是基于视频的实景智能机全方位信息叠加服务，用户看到的是智能 机载相机拍摄的实景图像，地名，方向、用户需要查找的地名都可W在实景视频图像上作标 注，智能机用户（手机、平板电脑或相机）客户端之间也可W进行方便的用视频实景预览观 察相互之间的位置、方位关系。该样就为用户提供了一种非常便捷、直观的可视化信息服 务，同时商铺也能借助服务平台广泛发布其广告信息。
[0012] 本发明中智能机的含义包括内置相机、视频的手机系统，内置网络IP的摄像头系 统，内置网络IP的相机系统，IPhone,平板电脑，W及各种同时植入摄像机和网络IP的系 统等。
【发明内容】
[0013] 本发明所要解决的问题是提供一种智能机增强现实实现方法，该方法可使用户在 智能机上获得便捷、直观的可视化信息。
[0014] 本发明提供的技术方案是，一种智能机增强现实实现方法，包括W下步骤： 1)通过智能机获取智能机周边目标i在局部坐标系的H维坐标狂i，Yi，Zi); 其中局部坐标系是指原点在智能机，Z轴指向地球表面法方向，Y轴或X轴与缔线相平 行的坐标系； 上述H维坐标狂i，Yi，ZU中的Xi，Yi，Zi可通过如下转换方法获取：
【主权项】
1. 一种智能机增强现实实现方法，包括以下步骤： 1) 通过智能机获取智能机周边目标i在局部坐标系中的三维坐标（Xi, Yi, Zi);其中 局部坐标系是指原点在智能机，Z轴指向地球表面法方向，Y轴或X轴与纬线相平行的坐标 系； 上述三维坐标（Xi, Yi, zi}中的Xi, Yi, Zi由下法得到：
Θ a是智能机纬度，％是智能机经度； Ti是目标i的地球坐标； Ts是智能机的地球坐标，； 2) 智能机系统的信息叠加： 确定目标i (Xi，Yi，Zi)在视频帧图像中显不的位直；在智能机视频窗口中的目标i位 置（UpVi )处叠加显示目标i的信息 目标i (Xi, Yi, Zi)在视频帧图像中显示的位置（Ui，Vi) 按如下公式计算：
fx，fy为摄像头内部参数中的焦距像素长度，cx，Cy为摄像头内部参数中的主点； rIl、 ％、，3:和，*33 由下式得到：
其中R为智能机的摄像头的姿态矩阵，R=ARXRg; AR为智能机的摄像头姿态矩阵R和智能机姿态矩阵Rg之间的一个固定的方向的转换，
Rg由下法之一获得： 方法一：在智能机仅有方向传感器的情况下
其中CP是智能机的航向角value[0]、ΘΧ是智能机的俯仰角、0y是智能机的翻滚角； 方法二：在智能机有重力传感器，同时有磁力计或方向传感器情况下
心、七、七是智能机测出来的智能机所在位置的重力加速度的X、y、z在局部坐标 系下的三个方向的分量，
若智能机检测到的重力加速度传感器定义为负值： 当 O 时，S = 1，>0 时，S = -1 ; 若智能机检测到的重力加速度传感器定义为正值： 当 S2S 0 时，s = -1, >0 时，s = 1 ; 若采用方向传感器：φ = value[0]; 若采用磁力计传感器：检测到磁力传感器矢量m= {mx, my, mz}，计算
利用磁力计直接计算航向角φ的三角函数为：
2. 根据权利要求1所述的方法，其特征在于：步骤2)中的目标i的信息包括目标i的 名称、符号、类别、属性、角度、高度和/或目标i距离智能机的距离；其中目标i到智能机的 距离
3. 根据权利要求1所述的方法，其特征在于：步骤2)得到目标i的像坐标ui，vi坐标 之后，在智能机屏幕坐标ui，vi区域附近设置感应区，等待接收用户触摸该区域的事件。
4. 一种智能机增强现实实现方法，包括以下步骤： 1) 通过智能机获取智能机周边目标i在局部坐标系中的三维坐标（Xi，Yi，Zi);其中 局部坐标系是指原点在智能机，Z轴指向地球表面法方向，Y轴或X轴与纬线相平行的坐标 系； 上述三维坐标（Xi，Yi，Zi)中的Xi，Yi，Zi由下法得到：
Θ a是智能机纬度，％是智能机经度； Ti是目标i的地球坐标； Ts是智能机的地球坐标； 2) 通过智能机方向传感器的俯仰角value[l]或者智能机重力加速度传感器 {ax，ay，az}中的az分量判断智能机是否处于水平放置状态； 若方向传感器的俯仰角的绝对值小于35度，或者重力加速度计中的az分量满足：
则智能机处于水平放置状态，否则智能机处于非水平状态； 当智能机处于水平放置状态时，在智能机显示屏上按Xi、Ji坐标标示智能机附近区域 的目标i ; 当智能机处于非水平状态时，按下述进行智能机系统的目标信息叠加： 确定目标i (Xi，Yi，Zi)在视频帧图像中显不的位直；在智能机视频窗口中的目标i位 置（UpVi )处叠加显示目标i的信息； 目标i (Xi，Yi，Zi)在视频帧图像中显示的位置（Ui, Vi) 按如下公式计算 （1)
式中： fx，fy为摄像头内部参数中的焦距像素长度，Cx，Cy为摄像头内部参数中的主点； ' Γ12 ' Γ13 ' Γ2Ι ' rS > Γ23 ' Γ31 r32 和r33 由下式得到：
其中R为智能机的摄像头的姿态矩阵，R=ARXRg; AR为智能机的摄像头姿态矩阵R和智能机姿态矩阵Rg之间的一个固定的方向的转换， 取
Rg由下法之一获得： 方法一：在智能机仅有方向传感器的情况下
其中φ是智能机的航向角value[0]、θχ是智能机的俯仰角、0y是智能机的翻滚角； 方法二：在智能机有重力传感器，同时有磁力计或方向传感器情况下
心、SA是智能机测出来的智能机所在位置的重力加速度的X、y、z在局部坐标 系下的三个方向的分量，
若智能机检测到的重力加速度传感器定义为负值： 当 〇 时，s = 1，' >〇 时，s = -1 ; 若智能机检测到的重力加速度传感器定义为正值： 当 0 时，s = -1, >0 时，s = 1 ; 若采用方向传感器：φ = value[0]; 若采用磁力计传感器：检测到磁力传感器矢量m= {mx, my, mz}，计算
利用磁力计直接计算航向角φ的三角函数为：
【专利摘要】一种智能机增强现实实现方法，包括：1.通过智能机传感器精确测定智能机姿态2.通过智能机获取智能机周边目标并确定目标在视频帧图像中显示的位置；3.在智能机视频窗口中的目标位置处叠加显示目标的各种信息。本发明可在智能机上方便地实现增强现实电子商务、查找好友，商铺位置，实现商铺广告信息叠加发布，摄影测量测绘，实景游戏等功能。本发明提供基于视频的实景智能机信息叠加服务方案，智能机载相机拍摄的实景图像，地名，方向、用户需要查找的地名都可以在实景视频图像上作标注，智能机用户（手机、平板电脑、笔记本电脑或相机，可穿戴设备等）客户端之间也可以方便的用视频实景预览观察相互之间的位置、方位关系。
【IPC分类】G01C21-00
【公开号】CN104748739
【申请号】CN201410043301
【发明人】刘进, 陶重芝
【申请人】刘进
【公开日】2015年7月1日
【申请日】2014年1月29日