本发明实施例涉及计算机视觉效果领域，尤其涉及一种终端的定位方法和装置。
背景技术：
随着万物互联时代的来临，各类传感器数据之间的有效利用将极大提高人类对世界的理解，并通过传感器获取的大量数据辅助甚至改变人类的生活工作方式。使用内质或则外质传感器可以赋予本体对自身位姿和周围环境的感知能力，从而实现各类任务。而应用场景和使用成本等因素限制了传感器的形式，例如在无人驾驶中常用的gps信号在室内环境中无法接收，激光传感器的成本较高，外质传感器例如二维码、导轨等提高了部署成本的同时也限制了使用场景。同步定位建图是计算机视觉研究领域的热点之一，并得到广泛应用。比如自主移动机器人、无人驾驶、无人机、增强现实(augmentedreality，ar)技术等。例如，自主移动机器人需要获得自身在环境中所处位置信息，并且感知环境的地图，从而能够在环境中自主控制移动完成特定任务。为了完成上述任务，需要使用特定的如前所述的传感器；相较之下，使用视觉和惯性测量单元(inertialmeasurementunit，imu)传感器数据融合的方法，可以给移动设备(例如，手机，头显)提供可靠的位姿估计同时建立真实尺度的或稀疏或稠密的场景地图，精准地将虚拟模型投影到相机视角中的同时也可以感知到周围环境信息。通过跟踪相机视角在现实空间中的位姿变化，实现虚拟模型和现实空间中场景的无缝连接，提供真实稳定的ar体验。
目前大部分视觉和imu融合的方案都是基于特征点匹配或者光流追踪匹配与imu数据融合。算法通常分为系统初始化、前端视觉跟踪和imu预积分、后端非线性优化几个模块。在最大似然估计的框架下联合优化两个传感器信息获得手机或头显的位姿估计值，并通过传统的多视角几何恢复出特征点的深度完成环境建图。
但现有技术中，这种图像处理方法，需要较多的计算资源来获得环境信息，需要使用匹配算法获得图像帧之间的对应关系等等。
技术实现要素：
本发明多个方面提供一种终端的定位方法和装置，可以使用较少的计算资源来获得终端的定位。
本发明一方面提供了一种终端的定位方法，包括：
通过终端的相机获得随时间变化的多个图像帧，通过惯性测量单元imu传感器获得随时间变化的多个imu数据，其中，所述imu传感器采集所述imu数据的采集频率大于所述相机获取所述图像帧的采集频率；
将每个图像帧所对应的imu数据通过预积分整合到对应的图像帧数据中以得到所述多个图像帧之间所述终端的位姿变换数据；
根据所述终端的所述位姿变换数据确定终端的空间运动轨迹。
优选地，所述方法还包括：
根据所述终端的所述位姿变换数据构成的空间运动轨迹和所述相机获得的所述多个图像帧，得到所述相机所捕捉到的场景地图。
优选地，所述将每个图像帧所对应的imu数据通过预积分整合到对应的图像帧数据中以得到所述多个图像帧之间所述终端的位姿变换数据包括：
在所述相机获得的相邻的图像帧之间获取多个imu数据；
采用预积分计算方法将多个不同时刻的imu数据整合为一个完整的帧间约束信息；
根据所述imu传感器的参数、所述imu传感器与所述相机之间的空间变换参数和帧间约束信息，得到所述对应图像帧之间所述终端的所述位姿变换数据。
优选地，所述方法还包括：
将经过imu预积分处理后的位姿变换数据作为初值，用于优化图像帧光度误差，快速收敛获得所述终端的位姿，并选取某些满足一定条件的图像帧为关键帧；
采用滑动窗口方法优化与当前关键帧最近邻的数个关键帧所对应的位姿及其对应三维特征点的深度，丢弃其它关键帧的信息。
优选地，所述方法还包括：
通过边缘化技术在使用滑动窗口方法的同时又充分保留所有的约束信息。
优选地，所述根据图像帧和imu数据确定终端的位姿包括：
将图像帧和imu数据对齐，进行初始化；
将参与初始化的图像帧全部加入关键帧的队列，然后使用帧间跟踪优化获得所述终端位姿。
优选地，所述imu传感器包括加速度计和陀螺仪；所述imu传感器的参数包括加速度计白噪声、零偏随机游走噪声和零偏、陀螺仪白噪声、零偏随机游走噪声和零偏中的至少一个。
优选地，所述将每个图像帧所对应的imu数据通过预积分整合到对应的图像帧数据中之前，所述方法还包括：
将所述终端的所述相机获取的所述图像帧转换为灰度图；
在所述灰度图中提取灰度值与邻域像素灰度值的差值大于等于阈值的像素作为梯度明显的特征点；
根据所述特征点的像素光度值使用非线性目标函数进行建模，用于帧间跟踪优化获取所述终端位姿。
优选地，所述非线性目标函数为：
其中，tk,k-1表示所述终端k位姿相对于k-1位姿的位姿变换；i表示特征点序号；σ表示鲁棒核函数；i表示灰度值；u表示图像平面上特征点的像素坐标，其中，
u′i＝k(tk,k-1·(k-1(ui))·d)
其中，k为所述相机的焦距大小和主点位置参数矩阵，d为特征点的深度。
优选地，所述使用所述非线性目标函数进行建模时还加入光度模型，其中，所述光度模型为：
i′i(u)＝r(τiv(u)ei(u))
光度标定后的灰度图像为：
其中，i′i为图像灰度；r为非线性伽马响应函数，表示辐照能量和图像灰度之间的非线性映射关系；τi为曝光时间；v(u)为晕影函数，表示相机边缘区域相较中心区域光度降低；ei为辐照能量；u为特征点像素坐标。
本发明另一方面还提供了一种终端的定位装置，包括存储器和处理器，其中：
所述存储器，用于存储代码和相关数据中的至少一个；
所述处理器，用于调用所述存储器中的数据，执行所述存储器中的代码；执行所述存储器中的代码能实施前述任一项所述的方法步骤。
本发明实施例所提供的终端的定位方法及装置，在对终端进行定位时，在视觉特征的提取过程中，使用图像中梯度明显的像素作为特征点，且使用网格化自适应的阈值获得环境的有效表达，即富纹理的区域特征点较多，无纹理或低纹理区域特征点相对较少，这种建图方式可以在有限的计算资源下获得丰富的环境信息，用于增强现实应用下的交互，通过引入imu的处理方式，可以直接为优化的目标函数提供一个合理的初值，有效减小求解陷入局部极小值的可能性，同时不需要实现图像金字塔，在快速运动时也可以保证优化的收敛性，使得获取的终端的运动轨迹更加精确。
附图说明
图1为本发明一实施例的一种终端定位方法的流程示意图；
图2为本发明另一实施例的一种图像帧预处理的流程示意图；
图3为本发明一实施例的一种终端定位方法的流程示意图；
图4为本发明实施例所提供的终端定位装置的示意图；
图5为本发明实施例的ar能力光谱示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。另外，本文中术语“系统”和“网络”在本文中常被可互换使用。
如图1所示，为本发明一实施例的一种终端定位方法的流程示意图，所述终端定位方法应用于各种终端，例如手机或头显，这些终端使用惯性传感器(imu)和单目红绿蓝(redgreenblue，rgb)相机。
步骤101，通过终端的相机获得随时间变化的多个图像帧，通过惯性测量单元imu传感器获得随时间变化的多个imu数据。
其中，所述imu传感器采集所述imu数据的采集频率大于所述相机获取所述图像帧的采集频率，例如，通过相机获取随时间变化的图像帧k(k＝0,1,2,…)以及通过imu传感器获取随时间变化的imu数据(m＝0,1,2,3,4,5,6,7,8,9…)；由于imu的采集频率比图像帧的高，图像帧0对应imu数据0,1,2、图像帧1对应imu数据3,4,5、图像帧对2应imu数据6,7,8、以此类推。
对获得的所述多个图像帧的预处理，例如，如图2所示，为本发明另一实施例的一种图像帧预处理的流程示意图。
步骤201，将终端的相机获取的图像帧转换为灰度图。
所述灰度图，又称灰阶图或单通道图，每个像素点只能有有一个值表示颜色，它的像素值在0到255之间，0是黑色，255是白色，中间值是一些不同等级的灰色。
例如，将终端的单目rgb相机获取的图像帧转换为灰度图。
步骤202，在所述灰度图中提取具有灰度值与邻域像素灰度值的差值大于等于阈值的像素作为梯度明显的特征点。
例如，在相机抓取的单帧图像(转换为单通道灰度图)上，所述单帧图像中每个像素p的邻域中选取固定位置的像素，与像素p之间的灰度差值，定义为像素p的梯度，若该值大于设定阈值，则像素p是梯度明显的特征点。
例如，选取单帧图像中n＝100个梯度最为明显(即灰度相差值最大)的像素作为候选特征点。将图像(640*480)分为20*15个的32*32像素网格，在32*32像素网格中选取梯度大于阈值thg+thb的像素，其中thg为全局(global)阈值，thb为当前网格(block)中像素梯度中位数，作为区域自适应阈值。再将所示图像(640*480)分为多个4*4像素网格，选取其中像素梯度最大点与阈值比较，若大于阈值，则选取该点作为该像素网格中的唯一特征点，若小于阈值，则该像素网格中不提取特征点。以此类推，适当降低阈值后，提高像素网格的大小到8*8与16*16再执行像素梯度大小比较和提取。通过上述流程，可以在图像上提取出分布均匀的梯度明显的区域，在弱纹理场景中也可以获得较均匀特征分布。
综上所述，在视觉特征提取中，使用图像中梯度明显的像素作为特征点，且使用网格化自适应的阈值获得环境的有效表达。当场景富纹理区域较多时，提取的特征点较多集中在富纹理区域，无纹理或低纹理区域特征点相对较少；当场景大多为弱纹理时，也能够提取出足够的特征点。这种建图方式可以在有限的计算资源下获得丰富的环境信息，用于增强现实应用下的交互。相对与现有技术的特征点提取匹配，不需要计算特征点的描述子，也不需要使用匹配算法获得图像帧之间的对应关系，而是通过求解非线性目标函数，直接获得能够最小化环境光度变化的位姿与特征点深度，因此称为直接法。
步骤203，根据所述特征点的像素的光度值使用非线性目标函数进行建模。
例如，根据所述特征点的像素的光度值使用如下非线性目标函数建立数学模型：
其中，tk,k-1表示所述终端在k时刻相对于k-1时刻的位姿变换矩阵；i表示特征点序号；σ表示鲁棒核函数；i表示灰度值；u表示图像平面像素坐标，其中，
u′i＝k(tk,k-1·(k-1(ui))·d)
其中，k为所述相机的焦距大小和主点位置参数矩阵，d为特征点的深度，从图像平面像素坐标映射回三维空间位置坐标d是唯一需要的信息。
其中，所述位姿一般是六个自由度，包含位移和旋转两个部分，例如，装置(手机或者头显)相对于初始的位置移动的距离和姿态(可以由横滚角、俯仰角、和偏航角表示)发生的变化。
所述使用非线性目标函数进行建模时还加入光度模型，其中，所述光度模型为：
i′i(u)＝r(τiv(u)ei(u))
光度标定后的灰度图像为：
其中，i′i为图像灰度；r为非线性伽马响应函数，表示辐照能量和图像灰度之间的非线性映射关系；τi为曝光时间；v(u)为晕影函数，表示相机边缘区域相较中心区域光度降低；ei为辐照能量；u为特征点像素坐标。
步骤102，将每个图像帧所对应的imu数据通过预积分整合到对应的图像帧数据中以得到所述多个图像帧之间所述终端的位姿变换数据。
例如，获得所述imu传感器的参数，并获得所述imu传感器与所述相机之间的空间变换参数；在所述相机获得的相邻的图像帧之间获取多个imu数据；采用预积分处理，将多个不同时刻的imu数据整合为一个完整的帧间约束信息；根据所述imu传感器的参数、所述imu传感器与所述相机之间的空间变换参数和帧间约束信息，得到所述多个图像帧之间所述终端的所述位姿变换数据。
所述imu传感器包括加速度计和陀螺仪；所述imu传感器的参数包括加速度计白噪声、零偏随机游走噪声和零偏、陀螺仪白噪声、零偏随机游走噪声和零偏中的至少一个。
所述imu传感器与所述相机之间的空间变换参数包括所述imu传感器和所述相机之间的变换矩阵，例如包括旋转矩阵和平移向量。
步骤103，根据所述终端的所述位姿变换数据确定终端的位姿。
在本发明的另一实施例中，根据所述终端的所述位姿变换数据和所述相机获得的所述图像帧，得到所述相机所捕捉到的场景地图。
例如，如图3所示，为本发明另一实施例的一种图像的处理方法的流程示意图，本实施例中终端的相机包括单目rgb相机。
imu参数标定与预积分
直接法结合imu的数据可以直接为优化的目标函数提供一个合理的初值，有效减小求解陷入局部极小值的可能性，同时不需要实现图像金字塔，在快速运动时也可以保证优化的收敛性。
imu的参数标定包括内参标定和外参标定，通过标定流程，可以获得imu的各项参数，包括如下至少之一：加速度计白噪声，零偏随机游走噪声和零偏，陀螺仪白噪声，零偏随机游走噪声和零偏；imu和相机之间的变换矩阵(包括旋转矩阵和平移向量)。
预积分：通常，imu的频率会高于相机帧率，例如imu为100hz，相机为30hz，则在相邻的图像帧之间，有3-4个imu的数据。若在后端优化中只针对关键帧的位姿进行优化，则相邻的关键帧之间将会有更多的imu数据，这些离散的imu数据需要通过积分构建图像帧/关键帧之间的约束：
r(t+δt)＝r(t)expmap(w(t)·δt)
v(t+δt)＝v(t)+a(t)δt
p(t+δt)＝p(t)+v(t)δt+1/2*a(t)δt2
这三个公式都是imu坐标系相对世界坐标系的变换，其中，t表示时刻t，δt表示时间偏移，r(t)表示t时刻imu相对世界坐标系的旋转矩阵，expmap：r3→so(3)为李代数(旋转向量)到李群(旋转矩阵)的指数映射，w(t)为t时刻陀螺仪读数；v(t)表示t时刻imu相对世界坐标系的速度，a(t)为t时刻加速度计的读数；p(t)表示t时刻imu相对于世界坐标系的位移。
然而，上述公式没有包含噪声参数，也仅仅是相对世界坐标系下的计算，在优化过程的每一次迭代更新时，由于r(t)，v(t)，p(t)改变，需要重新积分计算，因此采用预积分的方法，将时刻t＝i到t＝j的imu读数整合到一个完整的帧间约束：
其中，
初始化。
用户在使用增强现实应用时，通常会移动终端在空间中的位置，通过一定平移和旋转结合的运动，可以初始化终端的初始状态，并构建出周围场景的三维地图。这些位置的图像帧均作为参考关键帧参与后续的跟踪与优化。
帧间跟踪优化
帧间跟踪的作用是输出相机帧率(30hz)的位姿，使用直接图像对齐，最小化当前帧图像和参考关键帧之间的光度残差rc(δ)：
u′i＝k(tk,k-1·(k-1(ui))·d)
通过求解该优化函数，可以得到帧间的相对位姿tk,k-1。在迭代过程中可以采用inversecompositional方法，雅可比的计算在参考关键帧k-1上计算：
其中，jk-1表示在参考关键帧k-1上计算的雅可比，
而优化求解增量方程hx＝b：
jtjδ＝-jtrc(0)
其中海森矩阵h＝jtj，增量x＝δ，残差项b＝-jtrc(0)
得到的增量六维向量δδ∈se(3)作用在k帧的位姿上：
在下一次迭代时，参考关键帧的位姿没有变化，因此雅可比也不用重新计算，有效提高优化速度。同时可以利用imu的积分给出当前帧位姿的初始估计作为优化初值，可以快速收敛并避免陷入局部最小。
关键帧选取
关键帧选取参考图像与imu共同判断得出，例如，计算金字塔顶层特征点的光流大小，若当前帧相对于参考关键帧光流(计算均方根)大于阈值，则认为当前帧为关键帧；若当前帧的位姿相对于窗口中已有的关键帧在空间上相对位移大于阈值，则认当前帧为关键帧。若当前帧不是关键帧，则只输出实时位姿给增强现实引擎；若当前帧为关键帧，则将其加入后端的滑动窗口联合优化与地图扩展。
滑动窗口联合优化
运算过程中，还使用滑动窗口和边缘化的技术，满足移动设备上计算能力受限，低功耗的要求。
在ar中，当相机移动时，虚拟模型在三维空间中的渲染位置不能改变，这就需要实时地求解出移动中的相机姿态，但是现有技术中都需要使用许多图像帧之间的信息，例如需要使用时间t＝1s,2s,3s,4s,…100s时的图像信息来计算t＝100s时终端相机的位姿，因此，计算量较大。本实施例中，使用滑动窗口，即每次只使用最近邻的几个图像信息，例如，只使用t＝90s～100s的图像信息来计算，减小了很多计算量。同时为了保证在估计t＝100s时刻位姿的同时依然可以有效利用t＝1s,…,90s的信息，需要使用边缘化技术。
帧间跟踪优化中，采用图像对齐，imu的数据只提供优化初值，而后端的滑动装口联合优化，则会修改优化函数如下：
其中wi与wr分别为imu和视觉的信息矩阵，代表在优化函数中的权重，主要由imu的噪声来控制；rc为光度残差，ri为imu预积分的残差，预积分得到的位姿与初始估计值之间的差值；t表示矩阵/向量转置符号。采用滑动窗口的方法，只优化与当前关键帧最近邻的n个关键帧所对应的位姿与三维特征点的深度，其它的关键帧信息会被丢弃。
边缘化
在滑动窗口的优化中，丢弃关键帧的信息将造成与当前滑动窗口中的一些状态之间的约束信息丢失，因此，还通过边缘化技术在使用滑动窗口的同时又充分保留所有的约束信息。
所需要求解的增量方程hx＝b可以分为边缘化的部分(a)与保留在滑动窗口中的部分(b)：
通过舍尔补(schurcomplement)可以等价为：
因此窗口中的状态增量方程求解过程可以与边缘化部分无关：
(-hbahaa-1hab+hbb)δxb＝-hbahaa-1ba+bb
求解该增量方程，并将增量更新到当前状态中并再次迭代直至收敛，可以得到滑动窗口中状态的优化结果，且边缘化部分的约束信息也会完整地包含在当前的求解过程中。
失败检测
若优化结果的卡方值大于阈值，或者图像对齐的残差大于阈值，无法收敛，则可以认为系统跟踪失败，将会进入跟踪恢复的过程，若无法恢复，则重新初始化的过程，恢复过程采用27个小的旋转与平移更新，与丢失前的上一帧做图像对齐恢复位姿。
具体实施场景：
将终端(包括相机和imu传感器)在一个办公室中打开，场景中包括办公桌椅、工作电脑、盆栽、文件柜等。通过相机获取随时间变化的图像帧k(k＝0,1,2,…)以及通过imu传感器获取随时间变化的imu数据(m＝0,1,2,3,4,5,6,7,8,9…)；由于imu的采集频率比图像帧的高，例如，图像帧0对应imu数据0,1,2、图像帧1对应imu数据3,4,5、图像帧对2应imu数据6,7,8、以此类推。在获取的图像帧中按照步骤201将单目rgb图像转换为灰度图像。按照步骤202和203完成对图像帧的预处理，包括光度标定和特征提取；将每个图像帧所对应的imu数据通过预积分整合到对应的图像帧数据中，可以得到图像帧0,1,2之间终端的位姿变换，但是由于图像帧的频率为30hz，多次预积分使得位姿不断漂移，需要使用图像帧的信息消除该漂移。因此图像帧的定位和imu传感器的定位相互融合互补，可以获得实时的终端位姿以及准确的运动轨迹。
参考图3，将图像帧和imu数据对齐，进行初始化，需要用户在场景中略微平移所述终端，再旋转所述终端，可以在获得所述终端实时位姿的同时，得到初始的三维地图，例如场景中办公桌桌角四个特征点的三维坐标。例如，可以将虚拟的ar内容“跳舞的薯条”渲染在桌面上。将所述终端在办公室的空间中随意移动，会发现ar内容“跳舞的薯条”在相机屏幕里会一直固定在桌面上跳舞，而不会随着所述终端的移动只是渲染在当前的相机画面里。甚至在将所述终端拿出办公室一段时间后再回到办公室中，会发现相机屏幕中的“跳舞的薯条”依然固定在桌面上跳舞。
实现这种效果的原因是估计了实时的所述终端的位姿，并连接成了连续的轨迹，同时构建了所述终端上相机观察到的场景地图，实现了同步定位和建图(slam)。例如，参考图3，将参与初始化的图像帧全部加入关键帧的队列，然后使用帧间跟踪优化所述关键帧的队列获得初始化后的实时所述终端位姿，其中imu预积分将给出优化的初值，加快位姿的计算速度，通过增强现实引擎渲染使得“跳舞的薯条”在桌面上流畅地“跳舞”。
为了构建将初始的地图(目前是桌面的四个角特征)不断扩展到场景中的盆栽，文件柜等，需要不断将同时图像帧运动过程中三角化恢复出的特征点三维坐标加入优化，随着地图的扩展，需要参与优化的特征点三维坐标越来越多，因此使用2hz的频率将普通图像帧保存为关键帧，加入关键帧窗口，限定窗口的大小为10，也就是在时间轴上比较旧的关键帧将被移出关键帧窗口，以保证最近的关键帧能够加入关键帧窗口的优化，此时相对于帧间优化只优化所述终端位姿之外，还会优化场景中特征点的三维坐标位置。至此，可以在获取所述终端的实时位姿之外，得到扩展的三维地图。通过滑动屏幕，将“跳舞的薯条”移动到文件柜上，完成现实场景与渲染的虚拟模型的互动。在该过程中，移除出关键帧窗口的地图点以及关键帧的位姿需要使用边缘化的方法保留信息，使得位姿估计和三维地图点的坐标估计更为准确。
若在所述终端的运动过程中出现剧烈运动造成图像模糊特征缺失，imu噪声变大，则有可能优化不收敛，估计失败。此时需要从最近邻的跟踪成功的帧附近选择位姿作为优化初值尝试优化，若依然无法优化成功，则判断系统失败，需要重新进行初始化的过程。
如图4所示，本发明实施例所提供了一种终端定位装置，包括存储器41和处理器42，其中所述存储器41用于存储代码和相关数据中的至少一项，处理器42用于调用存储器41中的数据，执行存储器41中的代码，执行所述存储器41中的代码可以实现实施例一、实施例二、实施例三(附图1至3所对应的实施例)所提供的终端定位的实现方法，具体方法步骤参照前述实施例的描述，在此不再赘述。
在本发明实施例中，所述存储器41可能包含易失性存储器，例如，随机存取存储器(randomaccessmemory，ram)，所述ram可以包括静态ram或动态ram。所述存储器41也可能包括非易失性存储器(non-volatilememory)，例如只读存储器(read-onlymemory，prom)、可编程只读存储器(programmableread-onlymemory，prom)、可擦写可编程只读存储器(erasableprogrammableread-onlymemory，eprom)、电可擦写可编程只读存储器(electricallyerasableprogrammableread-onlymemory，eeprom)或闪存(flashmemory)。所述存储器41还可能是外部闪存、至少一个磁盘存储器或缓存器。
在本发明实施例中，所述处理器42可以是中央处理单元(centralprocessingunit,cpu)，所述处理器还可以是其他通用控制处理器、数字信号处理器(digitalsignalprocessing，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。所述通用控制处理器可以是微控制处理器或者是任何常规的控制处理器，例如单片机等。
所述终端定位装置所实现的终端定位的具体过程，可以参考前述图1和/或图2方法实施例对应描述的终端定位的处理过程，在此不再赘述。
上述实施例中所分别描述的终端定位方法和装置，可以适用于增强现实(ar)的应用/设备。
在一个实施例中，ar应用/设备中所包含ar能力光谱的技术体系，如图5所示，主要包括两个核心要素：a)现实感知，即对现实世界理解、识别和跟踪等能力；b)ar内容，即对虚拟内容渲染、融合、交互、创作能力，其中：
ar内容是继文字、图片、视频等内容形态之后下一代内容形态。ar内容的两大特征是高度3d化和强互动性。ar内容是ar产业链里面非常关键的一环。ar内容的多少、好坏直接决定了终端用户的体验。如何高效的完成ar内容的生产、存储、分发、交换对于ar应用的繁荣会起到决定性作用，所以ar应用一定需要ar增强内容工具。
现实感知，是指通过摄像头、传感器等硬件设备感知现实环境中空间环境及对象目标，也就是指让手机或者ar眼镜拥有像人一样通过视觉的方式理解现实的能力。
在一个优选的方案中，现实感知又可以分为空间感知和对象感知，其中现实感知中的空间是指在相对大尺度环境范围内相对不动的小尺度环境，例如大尺度环境为整个地球，那么陆地、国家、城市、商业区、房间、桌面在一定条件下都可以认为是静态空间环境。对象感知中的对象目标是指相对于大尺度范围内常处于运动状态的对象。具备动态对象目标感知的基础上，可以让虚拟内容跟随动态目标移动而移动，例如站在卡片上的虚拟人物可以跟随卡片移动而移动，看上去两个是一体的。
在一个优选的方案中，对象感知又分为对于人体物体的感知(即针对人体、人脸、手势等的识别跟踪)和非人体物体(即人工标记，平面图像，三维刚体，非刚体，通用物体等)。
在一个实施例中，一个完整的ar应用/设备，需要通过现实感知能力去像人类或者接近人类一样去感知世界。现实感知一般是通过机器学习和计算机视觉的方式去达成的，有了这样的能力，ar应用/设备才能感知到现实中有什么、在哪里。在感知现实的基础上，ar应用/设备向用户展现合适的内容。由于现实世界是立体(3d)的，这个内容也具备很强的3d属性；由于信息是异常丰富多面的，用户必须能够通过一些交互手段同ar内容进行互动。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所属技术领域的技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，并被通讯设备内部的处理器执行，前述的程序在被执行时处理器可以执行包括上述方法实施例的全部或者部分步骤。其中，所述处理器可以作为一个或多个处理器芯片实施，或者可以为一个或多个专用集成电路(applicationspecificintegratedcircuit，asic)的一部分；而前述的存储介质可以包括但不限于以下类型的存储介质：闪存(flashmemory)、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。