城市地区和室内高精度视觉定位系统及方法与流程

本发明涉及城市地区和室内导航定位技术领域，具体涉及一种通过用户视觉传感器采集图像信息和提取特征，并通过利用与三维模型的特征匹配构建相机交会的立体几何映射，在城市峡谷和室内提供厘米级的高精度定位技术，为将来无人驾驶和室内定位提供有效的技术支撑。

背景技术：

当今社会，人们对导航定位信息的需求日益增长。随着科学技术的飞速发展，以GNSS(Global Navigation Satellite System,全球导航卫星系统)为代表的天基定位系统时刻为全球用户提供全天候、低成本的定位、导航与授时服务。然而，天基定位系统在城市地区和室内面临着越来越多的环境限制。例如在城市中心商业区，由于高层建筑对射频信号的遮挡和多路径干扰等现象的存在，用户设备无法连续跟踪卫星信号，导致定位结果出现等待时间长、精度低、连续性差等问题，严重时甚至无法定位。在室内环境中，多数情况下GNSS信号会因受建筑物的完全遮挡而无法用于定位。

为了改善天基定位系统在城市地区的定位性能，提高整体导航定位结果的可靠性和连续性，辅助GNSS(A－GNSS)应运而生并将地面蜂窝网络和天基定位系统进行融合。A－GNSS虽然能够提高天基卫星信号的搜索效率、缩短首次定位时间并在一定程度上减少定位移动终端的功耗，然而对定位精度并无本质优化。

随着城市数字化和信息化进程的不断深入，数字城市乃至智慧城市逐渐成为未来城市发展的方向，并借助物联网、传感器网等构建全新的城市形态。研究人员已开始将Wi-Fi接入点AP或蓝牙等无线传感器用作定位源，借助指纹匹配定位原理实现城市和室内环境下的无缝定位。以Wi-Fi为例，其AP接入点在城市范围大量存在，虽然系统易于搭建，应用范围广泛，然而信号覆盖范围有限，指纹库搭建阶段需耗费大量劳力，信号易受射频干扰，定位精度和定位结果稳定性差，功耗也较高。此外，当城市建筑物结构发生改变或对AP接入点进行更换时，整个定位系统面临失效的风险。

随着无人车、虚拟现实、增强现实和混合现实等技术的发展，在城市峡谷地区和室内环境提供厘米级高精度定位服务在不远的将来将成为大众需求。由于这些定位环境的复杂性，上述诸类定位技术难以满足用户对精度、可靠性、连续性的要求。高端同步定位与制图系统(Simultaneous Location and Mapping)能提供高精度、高可靠性定位技术，但其昂贵的硬件成本是实现大众普及的最大障碍。

技术实现要素：

有鉴于此，本发明旨在提供一种针对城市地区和室内应用的高精度无缝定位方法，利用用户终端视觉传感器(如相机、录像机、智能手机等)采集周围场景图像信息，在不改造现有网络基础设施和用户终端传感器的前提下，实现厘米级实时定位。

本发明提供一种城市地区和室内高精度视觉定位系统，用于基于视觉传感器采集周围环境图像信息而实现高精度定位的城市地区和室内定位，包括图像特征计算子单元、图像特征匹配子单元、相机交会计算子单元、特征库及三维模型更新子单元；其中，

图像特征计算子单元，用于在视觉传感器拍摄场景图像信息后计算并提取图像的显著特征信息；

图像特征匹配子单元，用于根据由所述图像特征计算子单元所确定的显著特征信息在数字三维模型的特征信息库中进行相似度识别与匹配，并记录下匹配后特征在图像中的二维坐标以及在真实场景中的三维地理坐标；

相机交会计算子单元，用于根据图像特征匹配子单元所记录下的匹配坐标信息，恢复从三维场景到二维图像的几何映射关系，并建立由图像二维坐标到三维空间坐标的相机交会模型，确定视觉传感器设备及动态用户的三维位置和姿态信息；

特征库及三维模型更新子单元，用于接收视觉传感器拍摄的众源图像信息，重新构建或更新真实场景相应数字三维模型，并更新特征信息库。

而且，定位环境包括室内及室外环境；

动态用户对象包括行人、机动车司机、机动车乘客、有人驾驶车辆和无人驾驶车辆；

所述视觉传感器包括智能手机、可穿戴设备、数码相机、摄影机、监视器、运动相机、行车记录仪、倒车照相机、深度相机；

而且，所述视觉传感器数量包括一台或多台；所述视觉传感器拍摄范围包括单方位、多方位和全方位视角。

而且，若使用机动车作为动态用户，视觉传感器的摆放位置包括车舱内和车舱外；视觉传感器摆放姿态包括前视、后视、左视、右视、侧视、俯视、仰视。

而且，数字三维模型的特征信息库中至少包括特征描述信息，以及与特征相对应的三维坐标信息，且所述特征的具体描述形式由所选取的特征提取算法决定。

而且，用于定位场景的数字三维模型及特征信息库的获取途径包括商业购买、网络资源获取和自主式构建。

而且，用于定位场景的数字三维模型及特征信息库的自主式构建实现方式，包括在云服务器中整合众源图像信息数据、提取并匹配众源图像场景特征、利用计算机视觉几何关系计算三维模型并记录特征信息库。

而且，所述图像特征计算子单元所计算并记录的特征信息，包括特征的平面坐标和表述此特征的各类统计信息值，所述特征的具体表述形式由所选取的特征提取算法决定。

而且，所述图像特征匹配子单元，采用概略用户位置信息，用于提高图像特征与特征信息库数据的匹配效率。

而且，图像特征匹配子单元通过对比图像特征中和特征信息库中特征的各类统计信息值，依据所选取特征匹配准则，确定从二维图像到三维模型的合适匹配，在一组匹配中至少记录下包括图像二维坐标和真实场景三维坐标。

而且，所述相机交会计算子单元包括错误特征匹配剔除和定位求解，

所述错误特征匹配剔除过程用于在所有的二维到三维的匹配映射中检测并查找出错误匹配，从而在进行所述定位求解前对错误匹配进行剔除；

所述定位求解通过恢复从真实场景中多个空间点的三维坐标到图像对应特征点的二维像素坐标的立体几何映射，确定视觉传感器或用户在已知坐标系下的位置和姿态信息。

而且，所述相机交会计算子单元还包括滤波器，用于对定位结果进行进一步滤波和优化处理。

而且，所述相机交会计算子单元将某单一视觉传感器位置作为求解对象并忽略其他视觉传感器，或采取联合处理方式将多台视觉传感器信息进行融合。

而且，所述特征库及三维模型更新子单元，不断接收由大量视觉传感器拍摄的众源图像和/或视频信息，在众源图像信息所涵盖的范围内重新构建或更新真实场景相应数字三维模型，并将新出现的特征及其对应三维坐标添加至原有特征信息库中，构建更新后的特征信息库，以用于提供稳健可靠的可持续定位功能。

本发明相应提供一种城市地区和室内高精度视觉定位方法，用于基于视觉传感器采集周围环境图像信息而实现高精度定位的城市地区和室内定位，包括图像特征计算过程、图像特征匹配过程、相机交会计算过程、特征库及三维模型更新过程；其中，

图像特征计算过程，用于在视觉传感器拍摄场景图像信息后计算并提取图像的显著特征信息；

图像特征匹配过程，用于根据由所述图像特征计算过程所确定的显著特征信息在数字三维模型的特征信息库中进行相似度识别与匹配，并记录下匹配后特征在图像中的二维坐标以及在真实场景中的三维地理坐标；

相机交会计算过程，用于根据图像特征匹配过程所记录下的匹配坐标信息，恢复从三维场景到二维图像的几何映射关系，并建立由图像二维坐标到三维空间坐标的相机交会模型，确定视觉传感器设备及动态用户的三维位置和姿态信息；

特征库及三维模型更新过程，用于接收视觉传感器拍摄的众源图像信息，重新构建或更新真实场景相应数字三维模型，并更新特征信息库。

而且，定位环境包括室内及室外环境；

动态用户对象包括行人、机动车司机、机动车乘客、有人驾驶车辆和无人驾驶车辆；

所述视觉传感器包括智能手机、可穿戴设备、数码相机、摄影机、监视器、运动相机、行车记录仪、倒车照相机、深度相机；

而且，所述视觉传感器数量包括一台或多台；所述视觉传感器拍摄范围包括单方位、多方位和全方位视角。

而且，若使用机动车作为动态用户，视觉传感器的摆放位置包括车舱内和车舱外；视觉传感器摆放姿态包括前视、后视、左视、右视、侧视、俯视、仰视。

而且，数字三维模型的特征信息库中至少包括特征描述信息，以及与特征相对应的三维坐标信息，且所述特征的具体描述形式由所选取的特征提取算法决定。

而且，用于定位场景的数字三维模型及特征信息库的获取途径包括商业购买、网络资源获取和自主式构建。

而且，用于定位场景的数字三维模型及特征信息库的自主式构建实现方式，包括在云服务器中整合众源图像信息数据、提取并匹配众源图像场景特征、利用计算机视觉几何关系计算三维模型并记录特征信息库。

而且，所述图像特征计算过程所计算并记录的特征信息，包括特征的平面坐标和表述此特征的各类统计信息值，所述特征的具体表述形式由所选取的特征提取算法决定。

而且，所述图像特征匹配过程，采用概略用户位置信息，用于提高图像特征与特征信息库数据的匹配效率。

而且，图像特征匹配过程通过对比图像特征中和特征信息库中特征的各类统计信息值，依据所选取特征匹配准则，确定从二维图像到三维模型的合适匹配，在一组匹配中至少记录下包括图像二维坐标和真实场景三维坐标。

而且，所述相机交会计算过程包括错误特征匹配剔除和定位求解，

所述错误特征匹配剔除过程用于在所有的二维到三维的匹配映射中检测并查找出错误匹配，从而在进行所述定位求解前对错误匹配进行剔除；

所述定位求解通过恢复从真实场景中多个空间点的三维坐标到图像对应特征点的二维像素坐标的立体几何映射，确定视觉传感器或用户在已知坐标系下的位置和姿态信息。

而且，所述相机交会计算过程还包括滤波器，用于对定位结果进行进一步滤波和优化处理。

而且，所述相机交会计算过程将某单一视觉传感器位置作为求解对象并忽略其他视觉传感器，或采取联合处理方式将多台视觉传感器信息进行融合。

而且，所述特征库及三维模型更新过程，不断接收由大量视觉传感器拍摄的众源图像和/或视频信息，在众源图像信息所涵盖的范围内重新构建或更新真实场景相应数字三维模型，并将新出现的特征及其对应三维坐标添加至原有特征信息库中，构建更新后的特征信息库，以用于提供稳健可靠的可持续定位功能。

本发明所提出的城市地区和室内高精度视觉定位技术方案具有以下有益效果：

(1)以手持或车载、穿戴式等移动视觉传感器设备所采集的图像或视频数据作为城市地区和室内环境下的直接观测信息，无需持续接收来自GNSS或WLAN的射频信号，避免了射频信号可能出现的多径和遮挡现象，从而实现连续定位；

(2)当所拍摄环境有足够的匹配特征点时，本发明所述的相机交会技术方案可有效避免传统定位方法中由于场景切换造成的定位结果跳变，低成本、高效率地实现厘米级定位；

(3)本发明所述技术方案所需硬件完全基于现有市场上可供应的设备(包括视觉传感器和云服务器等)，无需额外花费成本进行硬件改造和升级，并支持众源数据采集方式，极大减少所需耗费的劳力；

(4)通过本发明所述技术方案对周围环境进行图像采集，可实现对城市和室内数字三维模型的补充和更新，进而保证当周围环境或场景出现变化(如改变装饰布局、新建楼宇等)，该方案能够提供稳健的可持续定位能力。

附图说明

图1为现有技术的城市环境下GNSS卫星信号接收示意图

图2为本发明实施例的利用手持式移动设备拍摄室内图像信息示意图。

图3为本发明实施例利用头戴式视觉传感器设备实现城市地区高精度视觉定位方法示例图。

图4为本发明实施例利用车载式移动视觉传感器设备实现城市地区高精度视觉定位方法示例图。

图5为本发明实施例城市地区高精度视觉定位方法中的特征匹配示意图。

图6为本发明实施例图像平面坐标系o-xy、像机坐标系O-X_cY_cZ_c和大地坐标系O_g-X_gY_gZ_g示意及转换关系图。

图7为本发明实施例所述定位信息获取数据流示意图。

图8为本发明实施例所述城市地区高精度视觉定位方法实施流程图。

具体实施方式

下面通过实施例及附图，对本发明的技术方案作进一步具体的说明。

首先描述城市环境下以射频信号为基础的用户定位信号接收情况。图1是描述了城市环境下GNSS卫星信号接收的示意图。

如图1所示，用户(汽车)行驶在高楼林立的城市峡谷中，GNSS天线持续接收来自导航卫星(包括但不局限于GPS、BeiDou、GLONASS、Galileo、WAAS、EGNOS、QZSS、GAGAN/IRNSS等)和(或)地基伪卫星的导航卫星射频信号。图1中由于高层建筑对射频信号的遮挡，用户可视范围内无法连续跟踪多颗卫星的导航信号，导致定位结果出现等待时间长、精度低、连续性差等问题，严重时甚至无法定位。

另一方面，视觉传感器能在很短(0.001-0.01秒)时间内通过图像或视频的方式捕获大量的高精度信息。当其处于外界光源覆盖范围内，周围场景图像或视频信息可随时被获取。由于城市地区建筑物林立，室内环境场景复杂，因此当用户位于城市地区或室内环境时，视觉传感器所采集的图像和(或)视频信息往往具有丰富多样和清晰可辨的边缘和(或)纹理特征，且不同场景间图像特征往往差异性大。

具体实施时，本发明所提供方法可基于软件技术实现自动运行流程，也可采用模块化方式实现相应系统。

本发明实施例提供的视觉定位系统包括图像特征计算子单元、图像特征匹配子单元、相机交会计算子单元、特征库及三维模型更新子单元四部分；其中，

图像特征计算子单元，用于在视觉传感器拍摄场景图像信息后计算并提取图像的显著特征信息；

图像特征匹配子单元，用于根据由所述图像特征计算子单元所确定的显著特征信息在数字三维模型的特征信息库中进行相似度识别与匹配，并记录下匹配后特征在图像中的二维坐标以及在真实场景中的三维地理坐标；

相机交会计算子单元，用于根据图像特征匹配子单元所记录下的匹配坐标信息，恢复从三维场景到二维图像的几何映射关系，并建立由图像二维坐标到三维空间坐标的相机交会模型，确定视觉传感器设备及动态用户的三维位置和姿态信息；

特征库及三维模型更新子单元，用于接收视觉传感器拍摄的众源图像信息，重新构建或更新真实场景相应数字三维模型，并更新特征信息库。

本发明适用的定位环境包括室内及室外环境。

本发明适用对象包括(但不限于)行人、机动车司机、机动车乘客、有人驾驶车辆和无人驾驶车辆等；本发明所使用视觉传感器平台包括(但不限于)智能手机、数码相机(包括普通数码相机)、运动相机、可穿戴设备(例如头戴式设备)、摄影机、监视器、(车辆前装或后装)行车记录仪、(车辆前装或后装)倒车照相机、深度相机等。如使用车辆平台，视觉传感器可摆放的位置包括车舱内和车舱外(包括车顶)；视觉传感器姿态可包括(但不限于)前视、后视、左视、右视、侧视等；视觉传感器数量既可为一台，亦可为多台；(一台或多台)视觉传感器可通过单方位、多方位或全方位视角观测并感知周围场景信息。

优选地，使用机动车作为动态用户，视觉传感器的摆放位置包括车舱内和车舱外。若使用机动车作为动态用户，视觉传感器摆放姿态包括前视、后视、左视、右视、侧视、俯视、仰视。

现将以手持移动设备为本发明的一个实施例来说明室内环境下利用所获取的图像信息作为定位信息源的示意图。如图2所示，用户手持移动终端位于室内厨房，通过移动终端相机传感器将真实三维场景信息捕获并在二维图像空间进行数字化显示。通过获取一系列内容丰富、边缘清晰可辨的图像和(或)视频信息，本发明的核心思想是通过提取用户视觉传感器所采集到的图像或视频信息特征，并在城市或室内三维模型中进行特征匹配，进而恢复从真实场景特征到图像对应特征的立体几何映射，最终计算用户视觉传感器的三维位置坐标和(或)姿态。

图3是示出利用头戴式视觉传感器设备实现城市地区高精度视觉定位方法的实施例示意图，在(包括但不限于)虚拟现实或增强现实环境中实现如图2所示的对现实城市或室内场景的图像和(或)视频信息获取。类似的，图4是示出利用车载式移动视觉传感器设备实现城市地区高精度视觉定位方法的实施例示意图。

需要借助定位场景的数字三维模型及特征信息库，定位场景数字三维模型的特征信息库中至少包括特征描述信息，以及与特征相对应的三维坐标信息，且所述特征的具体描述形式由所选取的特征提取算法决定。

因此，使用本发明所提出的城市和室内高精度视觉定位的一个前提是需要借助定位场景的数字三维模型，且三维模型具备丰富且完整的特征信息库。在特征信息库中，提取并描述特征点的方法包括(但不局限于)Harris算法、对比度纹理直方图(Contrast Context Histogram，CCH)算法、尺度不变换特征变换(Scale invariant feature Transform，SIFT)算法、加速稳健特征(Speeded Up Robust Features，SURF)算法、最邻近特征轨迹(Nearest Feature Trajectory，NFT)算法以及诸如此类算法的衍生算法或合成算法等。

定位场景数字三维模型的特征信息库中包括(但不限于)三维模型中每一特征点的描述信息，以及与每一特征点相对应的三维坐标。特征点的描述形式由所选取的特征提取算法决定，包括(但不限于)Harris算法、对比度纹理直方图(Contrast Context Histogram，CCH)算法、尺度不变换特征变换(Scale invariant feature Transform，SIFT)算法、加速稳健特征(Speeded Up Robust Features，SURF)算法、最邻近特征轨迹(Nearest Feature Trajectory，NFT)算法以及诸如此类算法的衍生算法或合成算法等。

定位场景的数字三维模型及所述特征信息库可通过(但不限于)商业购买、网络资源获取或自主式构建等。

所述定位场景数字三维模型及所述特征信息库的自主式构建步骤包括：在云服务器中整合众源图像信息数据、提取并匹配众源图像场景特征、利用计算机视觉几何关系计算三维模型并记录特征信息库。采取自主式构建场景数字三维模型的方法，即通过在云服务器中整合众源图像场景信息数据，依靠计算机视觉算法(诸如SIFT、SURF、NFT以及诸如此类算法的衍生算法或合成算法等)提取并匹配大量的场景特征点，构建场景特征信息库，利用运动恢复结构(Structure from Motion，SfM)理论和少量已知点坐标，在众源图像信息所涵盖的范围内构建真实场景三维模型。

本发明中，所述众源图像信息数据来自上述各类定位环境、动态用户、视觉传感器、传感器数量、传感器拍摄范围、传感器摆放位置、传感器摆放姿态。优选地，众源数据的信息源包括(但不限于)大量智能手机用户所拍摄并上传至云服务器的图像或视频信息以及大量车辆平台所搭载的视觉传感器所拍摄并上传至云服务器的图像或视频信息等。

定位场景三维模型的三维坐标系可基于全球参考基准(如地心地固坐标系(Earth-Centered,Earth-Fixed，ECEF))或区域参考基准(如当地地理坐标系)亦或其他参考基准。

本发明实施例所提出的高精度视觉定位方法，相应包括(I)单张或多张图像特征计算过程、(II)单张或多张图像特征匹配过程、(III)相机交会过程、(IV)特征库及三维模型更新过程四部分。

(I)单张或多张图像特征计算：在视觉传感器拍摄场景图像信息后计算并提取图像的显著特征信息。

对第(I)部分而言，进行图像特征计算时，所计算并记录的特征信息包括特征的平面坐标和表述此特征的各类统计信息值，所述特征的具体表述形式由所选取的特征提取算法决定。计算平台包括视觉传感器或远端平台。

具体实施时，视觉传感器在拍摄场景图像信息后，立即对图像特征进行分析，可通过使用Harris、CCH、SIFT、SURF、NFT算法以及诸如此类算法的衍生算法或合成算法等，计算并提取单张或多张图像(如车载多个相机同步拍摄)的所有显著特征。此部分的计算任务既可在视觉传感器平台上实现，亦可通过(有线或无线)传输链路(包括但不限于USB、Serial Port、GSM、CDMA、WCDMA、WLAN等)将图像上传至云服务器实现。

对第(II)部分而言，进行图像特征匹配时，可提供概略用户位置信息，用于提高图像特征与特征信息库数据的匹配效率；通过对比图像特征中和特征信息库中特征的各类统计信息值，依据所选取特征匹配准则，确定从二维图像到三维模型的最佳匹配，在一组匹配中至少记录下包括图像二维坐标和真实场景三维坐标。

具体实施时，任一时刻单一用户平台的视觉传感器可拍摄单张(如行人手持智能手机拍摄)或多张(车载多方位或全方位相机拍摄)周围场景图像。此环节将所拍摄的(单张或多张)图像的所有特征逐一在定位场景三维模型的特征信息库中进行匹配。每找到一组匹配特征，同时记录下该特征在当前图片中的像素坐标以及在特征库中的三维地理坐标。所采用的图像特征匹配算法可包括(但不限于)va-file、IQ-tree、LPC-file、IDistance、多重kD-Tree、聚类分解B+-Tree、VQ-Index、LSH、KLSH、LSB-tree、TCAN技术、WSH、MS-tree、MRSVQH、Best-Bin-First算法以及诸如此类算法的衍生算法或合成算法等。

为了提高当前(单张或多张)图像特征与特征信息库数据的匹配效率，可通过利用现有适用于城市和室内环境的定位技术，对用户进行概略定位(数米～数十米精度)，由此所需检索的特征信息库数据可缩小至用户概略位置周围。概略定位可由一种定位技术实现，也可由多种定位技术融合实现。具体进行概略定位的技术可包括(但不限于)GNSS定位、Wi-Fi定位、地磁定位、行人航位推算(Pedestrian Dead Reckoning，PDR)定位以及诸如此类算法的衍生算法或合成算法等。在复杂定位场所中进行概略定位尤为重要，因为此类环境中场景特征信息库可能信息量巨大，概略位置的提供可缩小搜索范围以便极大提高特征信息库数据搜索和特征匹配效率。

第(II)部分计算任务既可在视觉传感器平台上实现，亦可在云服务器中实现。当第(II)部分计算任务在视觉传感器平台上实现时(如用户使用智能手机、可穿戴设备等)，视觉传感器平台可预先通过(有线或无线)传输链路(包括但不限于USB、Serial Port、GSM、CDMA、WCDMA、WLAN等)从云服务器下载周围场景特征信息库数据；当第(II)部分计算任务在云服务器上实现时(如用户使用车载平台的普通数码相机、运动相机、行车记录仪、倒车照相机等)，云服务器至少通过(有线或无线)传输链路(包括但不限于USB、Serial Port、GSM、CDMA、WCDMA、WLAN等)接收发自视觉传感器的当前概略位置和图像特征点信息。

对第(III)部分而言，进行相机交会计算时包括错误特征匹配剔除和定位求解，所述错误特征匹配剔除过程用于在所有的二维到三维的匹配映射中检测并查找出错误匹配，从而在进行所述定位求解前对错误匹配进行剔除；所述的定位求解通过恢复从真实场景中多个空间点的三维坐标到图像对应特征点的二维像素坐标的立体几何映射，确定视觉传感器或用户在已知坐标系下的位置和姿态信息。

进一步地，进行相机交会计算时还包括使用滤波器和(或)其他优化算法，用于对定位结果进行进一步滤波和优化处理。

进一步地，可以将某单一视觉传感器位置作为求解对象并简单忽略其他视觉传感器，或采取联合处理方式将多台视觉传感器信息进行融合。

在进行任务(II)之后，利用相机交会原理恢复从真实场景中多个空间点的三维坐标到当前(单张或多张)图像对应特征点的二维像素坐标的立体几何映射。图5描述了图4所描述的实施例中的特征匹配示意图。其中，O点为相机光心。A、B、C、D、E为真实场景三维点，A’、B’、C’、D’、E’分别为各自在图像二维平面中的匹配特征点，特征点的匹配结果由第(II)部分计算得到。

针对第(II)部分特征匹配之后可能存在的错误匹配现象，在第(III)部分中利用核面几何(Epipolar Geometry)原理和约束条件，利用随机抽样一致性(Random Sample Consensus，RANSAC)算法或其衍生算法或其他算法，对当前所拍摄的(单张或多张)图像点特征和三维空间点特征的误匹配进行剔除，并建立由图像二维坐标到三维空间坐标的相机交会模型，计算视觉传感器设备的三维位置坐标和姿态。

为简化说明本发明原理，以下以单张图像的相机交会原理进行说明(本发明亦包括同步拍摄多张图像及其他情况，此例仅作说明)，视觉传感器设备成像几何关系由图6表示。其中O点称为相机光心，X_c与Y_c两坐标轴分别与图像平面坐标系o-xy的x轴和y轴平行，Z_c为像机主光轴，且和图像平面垂直，主光轴与图像平面的交点为像主点o，O-X_cY_cZ_c构成像机坐标系，Oo为像机焦距f。O_g-X_gY_gZ_g为当地坐标系(可基于全球参考基准，或区域参考基准，亦或其他参考基准)。以下描述了本发明的一个实施例。

任意三维空间点P和其像点p满足摄影测量直接线性变换(Direct Linear Transformation，DLT)关系：

其中，(u,v)^T和(X,Y,Z)^T分别为P点在当地坐标系和像平面坐标系下的坐标，系数l_i(i＝1,2,…,11)是相机传感器内方位元素(u₀,v₀,f)^T、外方位元素(X_c,Y_c,Z_c,ω,φ,κ)^T、相机坐标轴非正交因子d_s和坐标轴比例系数d_c的函数。(u₀,v₀)^T为像主点o的坐标偏移量，外方位元素中，三个线元素(X_c,Y_c,Z_c)^T和三个角元素(ω,φ,κ)^T分别描述相机坐标系原点在当地坐标系下的坐标以及相机坐标系相对于当地坐标系的旋转参数，因此在本实施例中，最终用户定位结果的确定即是求解外方位元素(X_c,Y_c,Z_c,ω,φ,κ)^T。

在进行完本发明的步骤(II)之后，对第i个匹配点而言，通过公式(1)可得

A_2n×11l_11×1＝b_2n×1 (2)

其中，n为进行完步骤(II)之后找到的匹配点总个数，矩阵l_11×1、b_2n×1和A_2n×11分别如下，

l_11×1＝[l₁ l₂ l₃ l₄ l₅ l₆ l₇ l₈ l₉ l₁₀ l₁₁]^T (3)

b_2n×1＝-[u₁ v₁ u₂ v₂ … … u_n v_n]^T (4)

当任意图像拍摄时刻的匹配点个数n≥6(即r_row≥r_column，其中r_row和r_column分别为系数矩阵A_2n×11的行秩和列秩)时，令A_2n×11、l_11×1和b_2n×1分别简写为A、l和b，

由最小二乘可得

l＝(A^TA)^-1A^Tb (6)

相机传感器内方位元素(u₀,v₀,f)^T、相机坐标轴非正交因子d_s和坐标轴比例系数d_c可通过相机传感器校正获取先验数值，亦可通过本实施例中的直接线性变换(DLT)进行直接解算，由于内方位元素及d_s和d_c的计算为现有技术，本发明不予赘述。

就三个外方位线元素而言，根据l_i(i＝1,2,…,11)的表达式有

由于三个外方位角元素(ω,φ,κ)^T构成的方向余弦可描述为

根据系数l_i(i＝1,2,…,11)与外方位元素的方向余弦关系有

由公式(9)可知，角度取值不唯一，令其取值分别为φ∈[0,π/2]、ω∈[0,π/2]和κ∈[0,π]。实际情况下，三个外方位角元素取值均可为±α和π±α(α＝ω,φ,κ)。另一方面，直接线性变换中焦距f与三个外方位角元素满足关系

其中，γ＝r₃₁X_c+r₃₂Y_c+r₃₃Z_c，r_ij(1≤i≤2,1≤j≤3)为公式(8)中旋转矩阵R的对应元素。利用角度ω、φ和κ可取值的角度进行组合，重新计算r_ij元素和γ，最终使公式(10)中8组焦距f的估值均为正的三个外方位角元素估值即为ω、φ和κ值。

需要强调的是，由公式(7～10)得到的视觉传感器设备相对于当地坐标系的旋转参数和平移变量，即是用户在当地坐标系下的位置和姿态信息。

需要重申的是，以上仅对任一时刻拍摄单张图像情况下的用户在当地坐标系下位置进行求解举例并对实际情况做了相应简化，实际应用中可在公式(7～10)的基础上继续利用(但不限于)摄影测量空间后方交会、光束法平差等方法继续进行精确求解，因此本发明所述城市地区和室内环境高精度视觉定位系统及方法不限于上述实施例列举情况。

在得到用户位置和姿态信息后，可依据具体实施例对定位结果进行进一步滤波和优化处理，以得到更加理想的定位信息，包括使用(但不限于)各类滤波器及(或)其衍生算法及(或)其他优化算法。

由于用户平台可搭载单台或多台视觉传感器，对周围场景进行单方位、多方位甚至全方位拍摄，因此某一时刻在进行完第(II)部分之后，所找到的与三维空间点对应的二维特征点可能出自一台视觉传感器，亦可能出自多台视觉传感器。当这些特征点出自多台视觉传感器时，可<1>将某单一视觉传感器位置作为求解对象并简单忽略其他视觉传感器，亦可<2>采取联合处理方式将多台视觉传感器信息进行融合。

当按策略<1>处理时，即可简单忽略来自其他视觉传感器的二维特征点信息，此情况等效于全部特征点均出自单一视觉传感器。当按策略<2>处理时，可针对不同的视觉传感器序贯或并行地执行策略<1>，并将求解出的若干视觉传感器位置求取(但不限于)加权平均或几何中心；亦可结合多个视觉传感器间的几何关系，经过处理在统一的相机交会模型中求解用户位置。

以上仅是列举可能出现的任一时刻多台视觉传感器同步拍摄图像情况下的用户位置求解策略，但本发明所述的城市地区和室内高精度视觉定位方法不限于上述列举情况。

对第(III)部分而言，视觉传感器定位精度主要取决于特征信息库中的特征点在当前(单张或多张)图像中的像素坐标分布。若特征信息库中特征点在当前(单张或多张)图像中出现密集且分布较均匀，用户定位精度可维持在厘米级；若特征信息库中特征点在当前(单张或多张)图像中出现稀疏且分布不均匀，用户定位精度会相应降低(达到分米～米级)。

第(III)部分计算任务既可在视觉传感器平台上实现，亦可在云服务器中实现。当第(III)部分计算任务在视觉传感器平台上实现时(如用户使用智能手机、可穿戴设备等)，视觉传感器平台至少通过(有线或无线)传输链路(包括但不限于USB、Serial Port、GSM、CDMA、WCDMA、WLAN等)预先从云服务器下载匹配后的特征点信息及与之相对应的三维空间点坐标；当第(III)部分计算任务在云服务器上实现时(如用户使用车载平台的普通数码相机、运动相机、行车记录仪、倒车照相机等)，移动终端至少通过(有线或无线)传输链路(包括但不限于USB、Serial Port、GSM、CDMA、WCDMA、WLAN等)上传匹配后的特征点信息及与之相对应的平面像素坐标。

对第(IV)部分而言，特征库及三维模型更新时，不断接收由大量视觉传感器拍摄的众源图像和(或)视频信息，在众源图像信息所涵盖的范围内重新构建或更新真实场景三维模型，并将新出现的特征及其对应三维坐标添加至原有特征信息库中，构建更新后的特征信息库，以用于提供稳健可靠的可持续定位功能。

云服务器通过(有线或无线)传输链路(包括但不限于USB、Serial Port、GSM、CDMA、WCDMA、WLAN等)，不断接收由大量视觉传感器拍摄的众源图像和视频信息，由此新的场景内容将不断出现。云服务器利用计算机视觉技术中的Harris、CCH、SIFT、SURF、NFT等算法以及诸如此类算法的衍生算法或合成算法等提取和匹配大量的场景特征，并结合原有的特征信息库数据，利用运动恢复结构(Structure from Motion，SfM)理论或其衍生理论，在众源图像信息所涵盖的范围内重新构建或更新真实场景三维模型。在对真实场景三维模型实现更新后，将新出现的特征及其对应三维坐标添加至原有特征信息库中，构建更新后的特征信息库。

对第(IV)部分而言，云服务器可依靠众源视觉传感器数据构建三维地理信息系统(Geographic Information System，GIS)数据库。完整的三维GIS数据库有助于满足大量虚拟现实和增强现实的实际应用。同时，众源数据资源的不断充实会对场景特征信息库和城市数字三维模型进行补充和更新，当在周围环境或场景出现变化(如改变装饰布局、新建楼宇等)时，云服务器能够不断修复和更新场景特征信息库和三维模型，便于本方法提供稳健可靠的可持续定位功能。

具体实施时，可根据需要进行各部分的处理，并不限于顺序执行。图7详细描述根据本发明实施例的一个具体定位信息获取数据流示意图。视觉传感器设备首先进行图像拍摄，计算并提取图像特征信息；在利用现有定位方法对视觉传感器设备进行概略定位后，确定局部范围的城市数字三维模型，并确定场景特征信息库数据；在特征信息库中逐一搜索并匹配图像中对应的特征；在记录下对应的二维和三维特征坐标信息后，通过相机交会的立体映射关系恢复相机传感器设备的位置和姿态信息，实现相机传感器设备提供用户定位信息；与此同时，利用运动恢复结构等三维模型构建方法补充场景特征信息库，实现城市数字三维模型的更新。

图8详细描述根据本发明实施例应用的一个具体实施流。视觉传感器获取图像后进行特征信息提取，在城市数字三维模型和场景特征信息库支持下实现特征匹配，并逆向补充和更新城市数字三维模型及场景特征信息库；若所述实施例所用视觉设备为单台传感器，则直接利用相机交会算法实现用户位置和姿态的获取；若所述实施例所用视觉设备为多台传感器，则依是否当作单台处理而定；若将实施例中多台视觉传感器视为单台设备，则计算方法与处理单台设备一致；若并非视为单台设备，则在采取具体的融合处理策略后进行相机交会计算。相机交会计算后，进行相机坐标系与当地坐标系转换，得到用户位置、姿态信息。

综上，本发明所提出的城市地区和室内高精度视觉定位方法通过利用(单个或多个)视觉传感器，实现对周围环境图像信息的(单方位、多方位或全方位)采集，借助城市数字三维模型和高性能云计算服务平台，在不改造现有硬件基础设施或增加设备传感器的前提下，为大量个人或车载(包括有人驾驶或无人驾驶)用户提供方便、快捷的厘米级定位结果，极大提高了移动用户在城市地区和室内的高精度无缝定位能力，定位之同时通过对周围环境进行图像采集，实现对城市和室内数字三维模型的补充和更新，进而保证在周围环境发生变化时该方法能够提供稳健的可持续定位能力。所有传输链路方法包括广域无线传输、局域无线传输、个人无线传输和有线传输。

本发明所提供系统的各单元具体实现与方法各部分相应，不予赘述。

上述提供的说明应被看作对可应用于不同的可能实施例的举例说明。