智能终端的定位方法、系统及智能终端与流程

本发明涉及终端定位技术领域，具体而言，涉及一种智能终端的定位方法、系统及智能终端。

背景技术：

当前，在室外定位技术在基于gps(globalpositioningsystem，全球定位系统)条件下能够满足lbs(locationbasedservice，基于移动位置服务)需求的同时，室内定位由于环境限制，迫切需要能够代替gps并能够满足室内定位要求的技术。目前而言，业界所提出的室内定位技术有如下几类：蓝牙、无线局域网、基站定位、主动rfid(radiofrequencyidentification，无线射频识别)、被动rfid、uwb(ultrawideband，超宽带)、光跟踪定位、磁场定位、nfc(nearfieldcommunication，近距离无线通信技术)。

不管是利用无线传感器网络还是其他定位技术，目前来说都存在各自无法避免的局限性，例如蓝牙技术一则其定位范围较小，二则大部分移动终端用户都没有随时打开蓝牙进行定位的习惯，实际应用效果不佳；基站定位基于终端本身的蜂窝网络信号进行三角测定，虽然能够保证大多数室内空间都有终端信号，但其定位精度为几十米至上百米不等，这样的定位精度显然无法满足室内定位需求；无线局域网有望成为未来室内定位技术的主流，但就目前而言，公共场合的无线局域网热点信号不强、分布不均以及隐私安全等问题是阻碍其发展的重要因素。其他室内定位技术也存在诸如精度过低、成本过高、技术还不够成熟等问题。

技术实现要素：

本发明旨在至少解决现有技术或相关技术中存在的技术问题之一。

为此，本发明的一个目的在于提出了一种智能终端的定位方法。

本发明的另一个目的在于提出了一种智能终端的定位系统。

本发明的再一个目的在于提出了一种智能终端。

有鉴于此，根据本发明的一个目的，提出了一种智能终端的定位方法，包括：获取图像；在图像中提取图像特征点；根据图像特征点，获取图像特征点集；根据图像特征点集以及环境特征点集，获取位姿矩阵；通过位姿矩阵，获取智能终端的摄像头位置。

本发明提供的智能终端的定位方法，智能终端摄像头拍摄当前环境的图像，首先提取图像的rgb(red，green，blue)图像的二维图像特征点，提取方法可以选用shi-tomasi方法进行二维图像特征点提取，其在一定程度上兼顾了速度和鲁棒性。根据图像特征点获取图像特征点集，根据图像特征点集得到智能终端摄像头的位姿矩阵，根据位姿矩阵将摄像头的位置变换到全局坐标系下，获得摄像头的具体位置。本发明由于不需要过多地与外界信息源进行数据交换，定位效率较高，可以单独也可与其他定位技术相结合，提高室内定位的精度与速度，能够为智能终端的室内定位提供有益的助力。

根据本发明的上述智能终端的定位方法，还可以具有以下技术特征：

在上述技术方案中，优选地，根据图像特征点，获取图像特征点集的步骤，包括：获取图像特征点的二维坐标及色彩信息；将图像特征点的二维坐标转换为图像特征点的摄像头坐标系下的三维坐标；根据三维坐标以及色彩信息计算得到图像特征点的均值以及图像特征点的协方差；根据图像特征点的均值以及协方差，获取图像特征点集。

在该技术方案中，通过图像特征点得到二维坐标及色彩信息，再将该二维坐标映射至三维空间中，根据三维坐标以及色彩信息通过高斯混合模型得到图像特征点的均值以及协方差，进而获取图像特征点集，实现对终端摄像机获取的图像的识别。

在上述任一技术方案中，优选地，根据三维坐标以及色彩信息计算得到图像特征点的均值以及图像特征点的协方差的步骤，包括：通过高斯混合模型，计算三维坐标的深度值的均值以及深度值的方差；根据三维坐标的深度值的均值，获取三维坐标的均值；通过高斯混合模型，计算色彩信息的均值以及色彩信息的方差；根据三维坐标的均值、色彩信息的均值、三维坐标的方差、色彩信息的方差，获取图像特征点的均值以及图像特征点的协方差。

在该技术方案中，由于提取的图像特征点位于物体边缘或色彩变化明显的地方，特征点处的深度值以及颜色发生跳变，所以只利用像素得到场景的三维坐标及颜色，会导致特征点的深度和颜色测量误差较大，本发明通过高斯混合模型计算三维坐标的深度值的均值，进而获取三维坐标的均值，通过高斯混合模型计算深度值的方差、色彩信息的方差、色彩信息的均值，因此图像特征点可以近似为均值、协方差矩阵的多元高斯分布，减小了图像识别误差，实现终端的无缝、精确的定位。

在上述任一技术方案中，优选地，根据图像特征点集以及环境特征点集，获取位姿矩阵的步骤，包括：根据图像特征点集以及环境特征点集，获取图像特征点集以及环境特征点集之间的变换矩阵；通过对变换矩阵进行采样，获取最优变换矩阵；将最优变换矩阵作为位姿矩阵。

在该技术方案中，位姿矩阵为摄像头的位置和摄像头的姿态构成的矩阵，摄像头的姿态分别表示摄像头的横滚、俯仰以及航向角，由于获取的是对于终端摄像头坐标系的三维坐标，为了得到摄像头的位姿矩阵，定义一个相对于全局坐标系的环境特征点集，通过icp(iterativeclosestpoint，迭代最近点算法)算法计算出图像特征点集与环境特征点集之间的变换矩阵，此时得到的变换矩阵是当前时刻摄像头位姿矩阵的粗估计值。当特征点集与环境模型特征点集能够匹配的特征点对数量较少时，icp算法得到的变换矩阵误差较大。另外icp算法本身存在收敛于局部最优解的可能。因此变换矩阵可能并不是最优的位姿估计值。不过变换矩阵已经处于摄像头位姿的高概率区域，通过在变换矩阵周围进行撒点采样，能够求得观测最优的摄像头位姿，作为摄像头在t时刻的位姿矩阵。由于图像特征点集与环境特征点集均为提取的稀疏特征点，数据量不大，因此效率较快。

在上述任一技术方案中，优选地，通过位姿矩阵，获取智能终端的摄像头位置，具体包括：通过位姿矩阵，将智能终端的摄像头位置在摄像头坐标系转换到全局坐标系。

在该技术方案中，根据位姿矩阵将摄像头位置变换到全局坐标系下，就获得了终端摄像头(用户)的具体位置坐标，从而为室内定位及导航服务应用提供精准的位置信息。

在上述任一技术方案中，优选地，还包括：更新环境特征点集。

在该技术方案中，对已有的t-1时刻的环境特征点集进行更新，从而得到t时刻的环境特征点集，进而继续计算t+1时刻的位姿矩阵。

根据本发明的另一个目的，提出了一种智能终端的定位系统，包括：图像获取单元，用于获取图像；提取单元，用于在图像中提取图像特征点；特征点集获取单元，用于根据图像特征点，获取图像特征点集；位姿获取单元，用于根据图像特征点集以及环境特征点集，获取位姿矩阵；位置获取单元，用于通过位姿矩阵，获取智能终端的摄像头位置。

本发明提供的智能终端的定位系统，智能终端摄像头拍摄当前环境的图像，首先通过提取单元提取图像的rgb图像的二维图像特征点，提取方法可以选用shi-tomasi方法进行二维图像特征点提取，其在一定程度上兼顾了速度和鲁棒性。特征点集获取单元根据图像特征点获取图像特征点集，位姿获取单元根据图像特征点集得到智能终端摄像头的位姿矩阵，位置获取单元根据位姿矩阵将摄像头的位置变换到全局坐标系下，获得摄像头的具体位置。本发明由于不需要过多地与外界信息源进行数据交换，定位效率较高，可以单独也可与其他定位技术相结合，提高室内定位的精度与速度，能够为智能终端的室内定位提供有益的助力。

根据本发明的上述智能终端的定位系统，还可以具有以下技术特征：

在上述技术方案中，优选地，特征点集获取单元，具体用于：获取图像特征点的二维坐标及色彩信息；将图像特征点的二维坐标转换为图像特征点的摄像头坐标系下的三维坐标；根据三维坐标以及色彩信息计算得到图像特征点的均值以及图像特征点的协方差；根据图像特征点的均值以及协方差，获取图像特征点集。

在该技术方案中，特征点集获取单元通过图像特征点得到二维坐标及色彩信息，再将该二维坐标映射至三维空间中，根据三维坐标以及色彩信息通过高斯混合模型得到图像特征点的均值以及协方差，进而获取图像特征点集，实现对终端摄像机获取的图像的识别。

在上述任一技术方案中，优选地，特征点集获取单元，还用于：通过高斯混合模型，计算三维坐标的深度值的均值以及深度值的方差；根据三维坐标的深度值的均值，获取三维坐标的均值；通过高斯混合模型，计算色彩信息的均值以及色彩信息的方差；根据三维坐标的均值、色彩信息的均值、三维坐标的方差、色彩信息的方差，获取图像特征点的均值以及图像特征点的协方差。

在该技术方案中，由于提取的图像特征点位于物体边缘或色彩变化明显的地方，特征点处的深度值以及颜色发生跳变，所以只利用像素得到场景的三维坐标及颜色，会导致特征点的深度和颜色测量误差较大，特征点集获取单元通过高斯混合模型计算三维坐标的深度值的均值，进而获取三维坐标的均值，通过高斯混合模型计算深度值的方差、色彩信息的方差、色彩信息的均值，因此图像特征点可以近似为均值、协方差矩阵的多元高斯分布，减小了图像识别误差，实现终端的无缝、精确的定位。

在上述任一技术方案中，优选地，位姿获取单元，具体用于：根据图像特征点集以及环境特征点集，获取图像特征点集以及环境特征点集之间的变换矩阵；通过对变换矩阵进行采样，获取最优变换矩阵；将最优变换矩阵作为位姿矩阵。

在该技术方案中，位姿矩阵为摄像头的位置和摄像头的姿态构成的矩阵，摄像头的姿态分别表示摄像头的横滚、俯仰以及航向角，由于获取的是对于终端摄像头坐标系的三维坐标，为了得到摄像头的位姿矩阵，定义一个相对于全局坐标系的环境特征点集，位姿获取单元通过icp算法计算出图像特征点集与环境特征点集之间的变换矩阵，此时得到的变换矩阵是当前时刻摄像头位姿矩阵的粗估计值。当特征点集与环境模型特征点集能够匹配的特征点对数量较少时，icp算法得到的变换矩阵误差较大。另外icp算法本身存在收敛于局部最优解的可能。因此变换矩阵可能并不是最优的位姿估计值。不过变换矩阵已经处于摄像头位姿的高概率区域，通过在变换矩阵周围进行撒点采样，能够求得观测最优的摄像头位姿，作为摄像头在t时刻的位姿矩阵。由于图像特征点集与环境特征点集均为提取的稀疏特征点，数据量不大，因此效率较快。

在上述任一技术方案中，优选地，位置获取单元，具体用于：通过位姿矩阵，将智能终端的摄像头位置在摄像头坐标系转换到全局坐标系。

在该技术方案中，根据位姿矩阵将摄像头位置变换到全局坐标系下，就获得了终端摄像头(用户)的具体位置坐标，从而为室内定位及导航服务应用提供精准的位置信息。

在上述任一技术方案中，优选地，还包括：更新单元，用于更新环境特征点集。

在该技术方案中，对已有的t-1时刻的环境特征点集进行更新，从而得到t时刻的环境特征点集，进而继续计算t+1时刻的位姿矩阵。

根据本发明的再一个目的，提出了一种智能终端，包括上述任一项的智能终端的定位系统。

本发明提供的智能终端包括智能终端的定位系统，智能终端摄像头拍摄当前环境的图像，首先通过提取单元提取图像的rgb图像的二维图像特征点，提取方法可以选用shi-tomasi方法进行二维图像特征点提取，其在一定程度上兼顾了速度和鲁棒性。特征点集获取单元根据图像特征点获取图像特征点集，位姿获取单元根据图像特征点集得到智能终端摄像头的位姿矩阵，位置获取单元根据位姿矩阵将摄像头的位置变换到全局坐标系下，获得摄像头的具体位置。本发明由于不需要过多地与外界信息源进行数据交换，定位效率较高，可以单独也可与其他定位技术相结合，提高室内定位的精度与速度，能够为智能终端的室内定位提供有益的助力。

本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1示出了本发明的一个实施例的一种智能终端的定位方法的流程示意图；

图2示出了本发明的另一个实施例的智能终端的定位方法的流程示意图；

图3示出了本发明的再一个实施例的智能终端的定位方法的流程示意图；

图4示出了本发明的一个实施例的智能终端的定位系统的示意框图；

图5示出了本发明的一个具体实施例的智能终端的定位方法的流程示意图；

图6示出了本发明的一个具体实施例的智能终端的结构示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不限于下面公开的具体实施例的限制。

本发明第一方面的实施例，提出一种智能终端的定位方法，图1示出了本发明的一个实施例的智能终端的定位方法的流程示意图：

步骤102，获取图像；

步骤104，在图像中提取图像特征点；

步骤106，根据图像特征点，获取图像特征点集；

步骤108，根据图像特征点集以及环境特征点集，获取位姿矩阵；

步骤110，通过位姿矩阵，获取智能终端的摄像头位置。

本发明提供的智能终端的定位方法，智能终端摄像头拍摄当前环境的图像，首先提取图像的rgb图像的二维图像特征点，提取方法可以选用shi-tomasi方法进行二维图像特征点提取，其在一定程度上兼顾了速度和鲁棒性。根据图像特征点获取图像特征点集，根据图像特征点集得到智能终端摄像头的位姿矩阵，根据位姿矩阵将摄像头的位置变换到全局坐标系下，获得摄像头的具体位置。本发明由于不需要过多地与外界信息源进行数据交换，定位效率较高，可以单独也可与其他定位技术相结合，提高室内定位的精度与速度，能够为智能终端的室内定位提供有益的助力。

图2示出了本发明的另一个实施例的智能终端的定位方法的流程示意图，下面参照图2描述根据本发明一些实施例所述的智能终端的定位方法。

在本发明的一个实施例中，如图2所示，优选地，智能终端的定位方法包括：

步骤202，获取图像；

步骤204，在图像中提取图像特征点；

步骤206，获取图像特征点的二维坐标及色彩信息；

步骤208，将图像特征点的二维坐标转换为图像特征点的摄像头坐标系下的三维坐标；

步骤210，根据三维坐标以及色彩信息计算得到图像特征点的均值以及图像特征点的协方差；

步骤212，根据图像特征点的均值以及协方差，获取图像特征点集；

步骤214，根据图像特征点集以及环境特征点集，获取位姿矩阵；

步骤216，通过位姿矩阵，获取智能终端的摄像头位置。

在该实施例中，通过图像特征点得到二维坐标及色彩信息，再将该二维坐标映射至三维空间中，根据三维坐标以及色彩信息通过高斯混合模型得到图像特征点的均值以及协方差，进而获取图像特征点集，实现对终端摄像机获取的图像的识别。

在本发明的一个实施例中，如图2所示，优选地，智能终端的定位方法包括：

步骤202，获取图像；

步骤204，在图像中提取图像特征点；

步骤206，获取图像特征点的二维坐标及色彩信息；

步骤208，将图像特征点的二维坐标转换为图像特征点的摄像头坐标系下的三维坐标；

步骤2102，通过高斯混合模型，计算三维坐标的深度值的均值以及深度值的方差；

步骤2104，根据三维坐标的深度值的均值，获取三维坐标的均值；

步骤2106，通过高斯混合模型，计算色彩信息的均值以及色彩信息的方差；

步骤2108，根据三维坐标的均值、色彩信息的均值、三维坐标的方差、色彩信息的方差，获取图像特征点的均值以及图像特征点的协方差；

步骤212，根据图像特征点的均值以及协方差，获取图像特征点集；

步骤214，根据图像特征点集以及环境特征点集，获取位姿矩阵；

步骤216，通过位姿矩阵，获取智能终端的摄像头位置。

在该实施例中，由于提取的图像特征点位于物体边缘或色彩变化明显的地方，特征点处的深度值以及颜色发生跳变，所以只利用像素得到场景的三维坐标及颜色，会导致特征点的深度和颜色测量误差较大，本发明通过高斯混合模型计算三维坐标的深度值的均值，进而获取三维坐标的均值，通过高斯混合模型计算深度值的方差、色彩信息的方差、色彩信息的均值，因此图像特征点可以近似为均值、协方差矩阵的多元高斯分布，减小了图像识别误差，实现终端的无缝、精确的定位。

在本发明的一个实施例中，如图2所示，优选地，智能终端的定位方法包括：

步骤202，获取图像；

步骤204，在图像中提取图像特征点；

步骤206，获取图像特征点的二维坐标及色彩信息；

步骤208，将图像特征点的二维坐标转换为图像特征点的摄像头坐标系下的三维坐标；

步骤2102，通过高斯混合模型，计算三维坐标的深度值的均值以及深度值的方差；

步骤2104，根据三维坐标的深度值的均值，获取三维坐标的均值；

步骤2106，通过高斯混合模型，计算色彩信息的均值以及色彩信息的方差；

步骤2108，根据三维坐标的均值、色彩信息的均值、三维坐标的方差、色彩信息的方差，获取图像特征点的均值以及图像特征点的协方差。

步骤212，根据图像特征点的均值以及协方差，获取图像特征点集；

步骤2142，根据图像特征点集以及环境特征点集，获取图像特征点集以及环境特征点集之间的变换矩阵；

步骤2144，通过对变换矩阵进行采样，获取最优变换矩阵；

步骤2146，将最优变换矩阵作为位姿矩阵；

步骤216，通过位姿矩阵，获取智能终端的摄像头位置。

在该实施例中，位姿矩阵为摄像头的位置和摄像头的姿态构成的矩阵，摄像头的姿态分别表示摄像头的横滚、俯仰以及航向角，由于获取的是对于终端摄像头坐标系的三维坐标，为了得到摄像头的位姿矩阵，定义一个相对于全局坐标系的环境特征点集，通过icp算法计算出图像特征点集与环境特征点集之间的变换矩阵，此时得到的变换矩阵是当前时刻摄像头位姿矩阵的粗估计值。当特征点集与环境模型特征点集能够匹配的特征点对数量较少时，icp算法得到的变换矩阵误差较大。另外icp算法本身存在收敛于局部最优解的可能。因此变换矩阵可能并不是最优的位姿估计值。不过变换矩阵已经处于摄像头位姿的高概率区域，通过在变换矩阵周围进行撒点采样，能够求得观测最优的摄像头位姿，作为摄像头在t时刻的位姿矩阵。由于图像特征点集与环境特征点集均为提取的稀疏特征点，数据量不大，因此效率较快。

在本发明的一个实施例中，优选地，通过位姿矩阵，获取智能终端的摄像头位置，具体包括：通过位姿矩阵，将智能终端的摄像头位置在摄像头坐标系转换到全局坐标系。

在该实施例中，根据位姿矩阵将摄像头位置变换到全局坐标系下，就获得了终端摄像头(用户)的具体位置坐标，从而为室内定位及导航服务应用提供精准的位置信息。

图3示出了本发明的再一个实施例的智能终端的定位方法的流程示意图：

步骤302，获取图像；

步骤304，在图像中提取图像特征点；

步骤306，根据图像特征点，获取图像特征点集；

步骤308，根据图像特征点集以及环境特征点集，获取位姿矩阵；

步骤310，通过位姿矩阵，获取智能终端的摄像头位置；

步骤312，更新环境特征点集。

在该实施例中，对已有的t-1时刻的环境特征点集进行更新，从而得到t时刻的环境特征点集，进而继续计算t+1时刻的位姿矩阵。

本发明第二方面的实施例，提出一种智能终端的定位系统400，图4示出了本发明的一个实施例的智能终端的定位系统400的示意框图：

图像获取单元402，用于获取图像；

提取单元404，用于在图像中提取图像特征点；

特征点集获取单元406，用于根据图像特征点，获取图像特征点集；

位姿获取单元408，用于根据图像特征点集以及环境特征点集，获取位姿矩阵；

位置获取单元410，用于通过位姿矩阵，获取智能终端的摄像头位置。

本发明提供的智能终端的定位系统400，智能终端摄像头拍摄当前环境的图像，首先通过提取单元404提取图像的rgb图像的二维图像特征点，提取方法可以选用shi-tomasi方法进行二维图像特征点提取，其在一定程度上兼顾了速度和鲁棒性。特征点集获取单元406根据图像特征点获取图像特征点集，位姿获取单元408根据图像特征点集得到智能终端摄像头的位姿矩阵，位置获取单元410根据位姿矩阵将摄像头的位置变换到全局坐标系下，获得摄像头的具体位置。本发明由于不需要过多地与外界信息源进行数据交换，定位效率较高，可以单独也可与其他定位技术相结合，提高室内定位的精度与速度，能够为智能终端的室内定位提供有益的助力。

在本发明的一个实施例中，优选地，特征点集获取单元406，具体用于：获取图像特征点的二维坐标及色彩信息；将图像特征点的二维坐标转换为图像特征点的摄像头坐标系下的三维坐标；根据三维坐标以及色彩信息计算得到图像特征点的均值以及图像特征点的协方差；根据图像特征点的均值以及协方差，获取图像特征点集。

在该实施例中，特征点集获取单元406通过图像特征点得到二维坐标及色彩信息，再将该二维坐标映射至三维空间中，根据三维坐标以及色彩信息通过高斯混合模型得到图像特征点的均值以及协方差，进而获取图像特征点集，实现对终端摄像机获取的图像的识别。

在本发明的一个实施例中，优选地，特征点集获取单元406，还用于：通过高斯混合模型，计算三维坐标的深度值的均值以及深度值的方差；根据三维坐标的深度值的均值，获取三维坐标的均值；通过高斯混合模型，计算色彩信息的均值以及色彩信息的方差；根据三维坐标的均值、色彩信息的均值、三维坐标的方差、色彩信息的方差，获取图像特征点的均值以及图像特征点的协方差。

在该实施例中，由于提取的图像特征点位于物体边缘或色彩变化明显的地方，特征点处的深度值以及颜色发生跳变，所以只利用像素得到场景的三维坐标及颜色，会导致特征点的深度和颜色测量误差较大，特征点集获取单元406通过高斯混合模型计算三维坐标的深度值的均值，进而获取三维坐标的均值，通过高斯混合模型计算深度值的方差、色彩信息的方差、色彩信息的均值，因此图像特征点可以近似为均值、协方差矩阵的多元高斯分布，减小了图像识别误差，实现终端的无缝、精确的定位。

在本发明的一个实施例中，优选地，位姿获取单元408，具体用于：根据图像特征点集以及环境特征点集，获取图像特征点集以及环境特征点集之间的变换矩阵；通过对变换矩阵进行采样，获取最优变换矩阵；将最优变换矩阵作为位姿矩阵。

在该实施例中，位姿矩阵为摄像头的位置和摄像头的姿态构成的矩阵，摄像头的姿态分别表示摄像头的横滚、俯仰以及航向角，由于获取的是对于终端摄像头坐标系的三维坐标，为了得到摄像头的位姿矩阵，定义一个相对于全局坐标系的环境特征点集，位姿获取单元408通过icp算法计算出图像特征点集与环境特征点集之间的变换矩阵，此时得到的变换矩阵是当前时刻摄像头位姿矩阵的粗估计值。当特征点集与环境模型特征点集能够匹配的特征点对数量较少时，icp算法得到的变换矩阵误差较大。另外icp算法本身存在收敛于局部最优解的可能。因此变换矩阵可能并不是最优的位姿估计值。不过变换矩阵已经处于摄像头位姿的高概率区域，通过在变换矩阵周围进行撒点采样，能够求得观测最优的摄像头位姿，作为摄像头在t时刻的位姿矩阵。由于图像特征点集与环境特征点集均为提取的稀疏特征点，数据量不大，因此效率较快。

在本发明的一个实施例中，优选地，位置获取单元410，具体用于：通过位姿矩阵，将智能终端的摄像头位置在摄像头坐标系转换到全局坐标系。

在该实施例中，根据位姿矩阵将摄像头位置变换到全局坐标系下，就获得了终端摄像头(用户)的具体位置坐标，从而为室内定位及导航服务应用提供精准的位置信息。

在本发明的一个实施例中，如图4所示，优选地，还包括：更新单元412，用于更新环境特征点集。

在该实施例中，对已有的t-1时刻的环境特征点集进行更新，从而得到t时刻的环境特征点集，进而继续计算t+1时刻的位姿矩阵。

本发明第三方面的实施例，提出一种智能终端，包括上述任一项的智能终端的定位系统400。

本发明提供的智能终端包括智能终端的定位系统400，智能终端摄像头拍摄当前环境的图像，首先通过提取单元404提取图像的rgb图像的二维图像特征点，提取方法可以选用shi-tomasi方法进行二维图像特征点提取，其在一定程度上兼顾了速度和鲁棒性。特征点集获取单元406根据图像特征点获取图像特征点集，位姿获取单元408根据图像特征点集得到智能终端摄像头的位姿矩阵，位置获取单元410根据位姿矩阵将摄像头的位置变换到全局坐标系下，获得摄像头的具体位置。本发明由于不需要过多地与外界信息源进行数据交换，定位效率较高，可以单独也可与其他定位技术相结合，提高室内定位的精度与速度，能够为智能终端的室内定位提供有益的助力。

本发明关键技术在于图像识别以及相机的位姿计算，相机(即移动终端设备)可通过与服务器的室内地理信息数据库提供的位置匹配服务精确地定位移动终端设备以及用户所在的室内位置。而后可以根据用户在应用终端输入的服务请求(室内导航、查询等)，生成最终的解决方案并反馈给用户。本发明具体方案旨在说明通过终端摄像头拍摄的照片定位的过程。

一.基于rgb图像的图像识别

终端摄像头能够拍摄分辨率非常高的真彩色影像，针对影像进行图像识别分为如下几个步骤：

1.二维特征点提取

终端相机拍摄的当前环境的照片，首先需要提取其rgb图像的二维特征点，常用的特征提取及描述方法有sift(scaleinvariantfeaturetransform，尺度不变特征变换)、surf(speeduprobustfeatures，加速鲁棒特征)、orb(orientedfastandrotatedbrief)算法以及shi-tomasi方法等。由于sift和surf方法提取速度较慢，而orb算法虽然速度快但鲁棒性不够高，因此本发明选用shi-tomasi方法进行二维特征点提取，其在一定程度上兼顾了速度和鲁棒性。在提取出图像的二维特征点后，可以得到每个特征点在图像中的二维坐标(u，v)和对应的色彩信息(r，g，b)，然后即可将该二维坐标映射至三维空间中。

2.三维映射

rgb图像中的特征点(u，v)，其深度值为z，则该点在摄像头坐标系下的三维位置为

其中，f为相机焦距，而(cx，cy)为影像的中心。以影像分辨为640×480为例，则cx为320，而cy为240。

根据式(1)，可以得到(u，v，z)相对于摄像头坐标系的三维坐标(x，y，z)。然而该位置具有一定的不确定性，深度的测量值实际上是一个均值为μz的高斯随机变量，其标准差σz＝1.45×10^-3μz²，其中μz为深度的测量值。同样，色彩信息(r，g，b)的测量也存在一定偏差。

由于提取出的特征点通常位于物体边缘或色彩变化明显的地方，因此特征点处深度值以及颜色容易发生跳变。所以只利用像素(u，v)得到场景的三维坐标及颜色，会导致特征点的深度和颜色测量误差较大，进而导致x和y误差较大。同时特征点的提取位置(u，v)也存在一定误差，因此本发明利用高斯混合模型计算特征点的深度值和rgb值。

3.高斯混合模型

假定特征点位置(u，v)存在1个像素的误差，即u的标准差和v的标准差σu＝σv＝1，选取特征点(u，v)周围的3×3窗口，共9个像素来计算特征点处的深度值及其方差。假定每个像素深度值zi是均值为μzi、方差为σzi²的高斯分布。那么根据高斯混合模型，特征点深度的均值μz和方差σz²如式(2)所示：

其中，ω即为上述9个像素各自的特征点权重值，特征点处的权重值取1/4，特征点上下左右4个点权重值均为1/8，斜对角处的像素点权重值取1/16。

与深度值类似，特征点处的r、g、b也为9个像素点的加权和，本发明假定色彩标准差σc为常数，那么以r通道为例：

至此，得到了特征点的三维坐标和颜色值，以及深度方差和颜色方差。

4.特征点的协方差矩阵

将式(2)得到的μz以及(u，v)带入式(1)可以得到特征点经过高斯混合模型后的三维坐标μxyz＝[μx，μy，μz]，同理可以得到色彩信息的三维坐标μrgb＝[μr，μg，μb]。令特征点为μ＝[μxyz，μrgb]t，那么其误差协方差矩阵σ为

根据式(1)可以推得：

而为式(2)、(3)所得。因此特征点p＝[x，y，z，r，g，b]^t可以近似为均值为μ＝[μxyz，μrgb]^t、协方差矩阵为σ的多元高斯分布。

在获取到照片影像中的可用于识别的特征点信息后，照片影像的识别最为关键的部分也就完成了，之后的关键一步即根据这些特征点信息反解算摄像头所处位姿(即终端位姿，可进一步近似或修正为用户所处位置)。

二.基于slam(simultaneouslocalizationandmapping，即使定位与地图构建)技术的终端位姿计算

slam是广泛应用于智能机器人领域的技术，其针对机器人需要实时识别环境的特殊情况，解算的位姿都是实时连续的。而对于本发明的使用环境，尽管在理论上对终端位姿做到实时计算也是无可厚非，但是考虑到室内定位相对于智能机器人，对实时位姿的精度要求要略低，并且终端还可以依靠自身的传感器进行步态修正以及其他方式补充定位精度。另外，终端还要保证其他大量的与定位无关的功能正常使用。所以，本发明中针对终端室内定位的特殊情况，将slam技术的计算频率降低，以满足终端室内定位精度的频率为准，每隔一段时间间隔进行一次终端位姿计算，对终端位姿进行更新与纠正。

将t时刻的影像特征点集定义为数据特征点集，dt＝{μ^di,σ^di}，其中σdi形式如式(4)。(μdi，σdi)表示数据特征点集中第i个特征点的位置颜色均值以及协方差矩阵。由于是相对于终端摄像头坐标系的三维坐标，因此dt中的每个点都是相对于终端摄像头坐标系的。为了得到摄像头(终端)的位姿，定义一个相对于全局坐标系的环境模型特征点集mt＝{μ^mi,σ^mi}。

摄像头t时刻的位姿为其中txyz＝[tx,ty,tz]为摄像头的位置，为摄像头的姿态，分别表示摄像头的横滚、俯仰以及航向角。而摄像头位姿xt可以用位姿矩阵pt表示：

其中，r3×3为摄像头的姿态矩阵，由决定。

1.摄像头位姿估计

本发明采用icp算法计算出特征点集dt与环境模型特征点集mt-1之间的变换矩阵tt，而后再进行采样得到观测最优的位姿值，作为摄像头在t时刻的位姿矩阵pt。

icp算法又称迭代最近点算法，是对齐两帧点云的常用方法，该算法有两个关键点：一为寻找两帧点云间的对应点对；二为根据这些对应点对计算使得两帧点云距离最小的变换矩阵。icp算法能够比较准确地得到两帧点云间的变换矩阵，不过算法本身对初值比较敏感，当初始变换选择不恰当时，算法可能会陷入局部最优解。另外，当点云数据密集时，由于数据量巨大，算法运行时间长，并不能满足实时性的要求。

本发明利用icp算法计算出特征点集dt与环境模型特征点集mt-1之间的变换矩阵tt，由于数据集与模型集均为提取的稀疏特征点，数据量不大，因此效率较快。在假定用户以固定的步幅行走并定时打开终端摄像头进行一次影像采集的情况下，在t-2到t-1时间间隔内，用户的运动变化量δt＝pt-1/pt-2，为了计算pt，设置本发明中icp算法初值t＝pt-1δt。不断迭代最终得到摄像头相对于全局坐标系的变换矩阵tt。

本发明在使用icp算法时，由于采样的频率不是很高，切初始值可以借助其他室内定位技术进行精度补充，所以可以避免上述icp算法的劣势。

2.摄像头位姿优化

此时得到的变换矩阵tt是当前时刻摄像头位姿矩阵pt的粗估计值。在有些情况下，当特征点集与环境模型特征点集能够匹配的特征点对数量较少时，icp算法得到的变换矩阵误差较大。另外，前面提到，icp算法本身存在收敛于局部最优解的可能。因此tt可能并不是最优的位姿估计值。不过，tt已经处于摄像头位姿的高概率区域，通过在tt周围进行撒点采样，能够求得观测最优的摄像头位姿pt≈tt。而后根据已有的环境模型特征点集mt-1，对其进行更新，从而得到t时刻的模型集mt。

最后根据位姿矩阵pt将摄像头位置变换到全局坐标系下，就获得了终端摄像头(用户)的具体位置坐标，从而为需要进行室内定位及导航服务应用提供精准的位置信息。

图5示出了本发明的一个具体实施例的智能终端的定位方法的流程示意图：

步骤502，通过终端相机获取图像；

步骤504，在图像中提取图像特征点；

步骤506，通过高斯混合模型，获取图像特征点协方差矩阵；

步骤508，获取环境特征点集；

步骤510，更新环境特征点集；

步骤512，根据图像特征点集以及环境特征点集，通过icp算法，获取位姿矩阵；

步骤514，位姿矩阵优化；

步骤516，通过位姿矩阵，获取智能终端的摄像头位置。

图6示出了本发明的一个具体实施例的智能终端600的结构示意图，智能终端600包括：处理器602、存储器604、总线606、显示器608、摄像头610，处理器602、存储器604、显示器608、摄像头610通过总线606连接，存储器604存储有计算机指令，处理器602通过执行计算机指令实现以下方法：

获取图像；

在图像中提取图像特征点；

根据图像特征点，获取图像特征点集；

根据图像特征点集以及环境特征点集，获取位姿矩阵；

通过位姿矩阵，获取智能终端的摄像头位置。

在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。