一种基于图像地磁场和惯性传感器的多模态室内定位方法与流程

本发明涉及室内定位
技术领域：
，具体是一种基于图像地磁场和惯性传感器的多模态室内定位方法。
背景技术：
：目前室内定位技术应用前景十分广阔，可以广泛应用于服务业、交通、工业制造、安防等多个领域。具体来说，商场和超市中可以利用室内定位技术实现顾客导购、停车场寻车等服务，并可与智能终端应用相结合进行推广使用；在交通领域，可以进行设施导航、行李查询，也可以辅助场站运维管理，如人群分布辅助分析；在工业制造领域，可以利用专用标签等方式，实现人员精准定位、物资实时追踪；在安防领域中，也可以用于可疑物品追踪、应急调度等目前，室内定位技术还没有统一的技术规范，而是在多种实现方式上持续发展。现有的室内定位技术主要有以下几类：红外，蓝牙，射频标签(rfid)，信道状态信息(csi)，wi-fi信号，zigbee，led灯，超宽带(uwb)，超声波，地磁，计算机视觉等，常用的定位算法是三角定位算法，指纹定位算法等。这些技术的实现存在一些差异，但总体上来说，该技术的定位精度越高，人工和材料的成本就越高。因此对于实际应用来说，如何在成本和精度之间取得平衡是一个难题。如今，国内外已经提出了许多具体的室内定位方法。如jung等提出了一种基于led灯的室内定位方法，利用到达时间差(tdoa)算法进行定位，通过led辐射光传播模型求出相对距离。luo等人提出了一种基于超宽带技术的室内定位方法，该方法使用条件最大似然估计器将到达时间(toa)和到达角度(aoa)算法结合在一起进行定位。这些方法可以实现较高的定位精度，但需要大型或特殊的基础设施安装或特殊的定位设备，导致较高的硬件成本和推广成本。基于wi-fi的室内定位技术代表如radar方法与horus方法。radar方法通过对比实时收集的wi-fi接收信号强度(receivedsignalstrengthindication，简称rssi)向量与数据库中的数据，从而找到最相似的位置作为定位结果；horus方法使用wi-fi信号强度的概率分布，以求概率方式求出rssi向量之间的匹配程度。此外，还有在此基础上结合加速度传感器、陀螺仪等惯性传感器获得用户的位置的方法。wi-fi技术的主要问题是需要投入较大资源进行前期指纹采集，且wi-fi信号在室内环境中定位精度与稳定性都一般，易受环境变化影响，需要经常进行数据更新，带来了较高的运维成本。隐藏马尔可夫模型(hmm)用于基于实时收集的磁场强度和步数根据最大联合概率来估计位置。此外，还有一些使用粒子滤波进行定位的方法，例如maloc方法，使用实时收集的磁场强度和运动信息，基于粒子收敛估计位置，同时实时调整权重位置。基于地磁场的定位方法不需要部署任何额外的设备，布局成本非常低，信号稳定性好，易于推广；主要缺点是磁场特征比其他信号少，仅在大范围内作为特征点，定位效果差。而且许多方法与过滤器结合使用都会带来很大的计算成本，有时甚至难以收敛。2d图像检索方法通常需要使用图像特征匹配来确定拍摄照片时用户的特定位置。典型代表是movips，该方法使用surf功能，使用像素距离来估计实际地理位置的相对距离，并最终在拍照时获得用户的特定位置。针对室内定位技术存在的问题，本文采用多模式融合，将图像，地磁场和惯性传感器信息相结合，从粗到细设计算法。首先，在室内空间中划分区域，并且在每个区域中选择基本图像以进行图像分类和匹配确定，并且确定整体范围。在此基础上，进一步使用地磁场信号序列和惯性传感器信息来确定精确位置。在不部署其他设备的情况下，将发明中的方法应用于实际场景以测试定位效果。达到更好的定位效果。技术实现要素：本发明的目的在于克服现有技术的不足，而提供一种基于图像、地磁场和惯性传感器的多模态室内定位方法，该定位方法定位精度高，定位误差小，效果好。实现本发明目的的技术方案是：一种基于图像地磁场和惯性传感器的多模态室内定位方法，包括如下步骤：离线训练阶段：1)将测试场景图与预设的数据采集路径相结合，收集并分析地磁场数据和图像数据，并将地磁场和图像数据进行路径分割，形成子序列特征；2)地磁场预处理：利用经验模态分解(empiricalmodedecomposition，emd)对地磁场数据中的子序列进行预处理，并建立相应的磁场序列图；3)区域基础图像选择：将室内空间划分为区域，并通过地标选择算法在每个区域的地标图像中选择基础图像；在线定位阶段：4)在线定位阶段，完成相关数据采集后，进行路径分割：利用惯性传感器数据进行转向判断，根据转弯信息对路径进行分段，以更好地利用子序列特征进行匹配；5)基于连续图像的区域匹配：对于每个路径分段，将每个区域选择的基础图像与每次选择的连续图像进行匹配，并对连续的多个图像进行分析以减少偶然性并确定整个区域范围；6)磁场数据预处理：对采集到的磁场数据进行转坐标、滤波操作，为磁场匹配进行数据预处理；7)基于动态时间规整(dynamictimewarping，dtw)的磁场匹配：使用图像确定的区域范围和步长、步数、方向运动信息筛选磁场序列图中的磁场序列，采用加速dtw方法确定确切位置；8)路径合并：根据上面的方法确定备选子段路径，利用地图信息对匹配分段进行路径合并，确定用户行走轨迹。步骤1)中，所述的离线训练阶段，将测试场景图与预设的数据采集路径结合起来，以收集和分析地磁场和图像数据，实现方法为：离线训练阶段，先获得待定位区域的平面地图；同时对数据采集路径进行设计规划；数据采集路径根据走廊的位置和走向进行规划，同时也考虑横跨大厅和其他周边障碍物，覆盖各种步行方向，对于大的开放空间，添加多条路径，确保使用时可以更准确地获取位置；在离线训练阶段，采集人员沿着预设路径采集对应的磁场、图像数据，对于每条规划路径，在构建地图阶段主要需要采集的数据如表下1所示：数据表示数据含义bx、by、bz地磁场信号矢量x、y、z三轴的分量数值ax、ay、az加速度传感器矢量x、y、z三轴的分量数值rx、ry、rz陀螺仪x、y、z三轴的分量数值c步数传感器数值t采集对应时间戳数据步骤2)中，所述的预处理，包括如下步骤：2-1)坐标映射根据数据采集时间戳和预先设定路径的坐标信息，对于磁场数据与实际坐标数据进行映射；根据采集时间戳和总时间间隔，按比例计算中间磁场数据的位置坐标；2-2)地磁坐标转换利用智能手机中的磁场传感器与加速度传感器，计算出智能设备与大地坐标的夹角，利用夹角数据将磁场矢量转化到大地坐标轴，减少手机转动对于磁场数值的影响，提取转化后的x轴、y轴、磁场强度数值，形成新的磁场矢量作为磁场数据的基本存储单元2-3)emd滤波操作利用emd对磁场序列数据进行分解后去除噪声分解项，对于三维磁场序列，每个维度分别由emd方法进行分解，形成若干个本征模函数分量和趋势序列，完成分解后即可得到如下公式：x(t)表示地磁场序列，imf(t)表示分解后的本征模函数分量数组，r(t)表示分解后的本征模函数趋势序列；经过分解之后，去除其中的噪声分解项，获得聚合近似的磁场数据，即得到每条路径数据的降维路径数据步骤3)中，所述的区域基础图像选择：在定位区域内定义n个地标{1，2，...，n}，每个地标都有ni个候选图像，每个地标选择的基准如下：m＝{mi|1≤i≤n,1≤mi≤ni}(2)ni表示参考对象i的候选图像，m＝mi表示参考对象i选择的基准图像的标签；令x和y分别表示参考对象i和j的选定基准，d＝{di,k,j,y}为i的图像x和j的图像y之间匹配surf特征向量的数量，表达式如下d＝{di,k,j,y|1≤i,j≤m,1≤x≤ni,1≤y≤nj}(3)当i的图像l与j的基准标记y相比具有比j的基准x更多的特征矢量时，它与j的匹配不正确，因此，将pi,x,j,y正确地与j匹配的数量为，基准y的地标的相对j，图像的地标i不匹配，pi,x,j,y的表达式如下：对于参考对象i的选定基准x，使用与x正确匹配的i的图像数量作为相似性度量，度量是对{j,t}对的所有可能组合求和的，如公式(5)所示：对于参考对象i的选定基准x，使用与x不正确匹配的另一个参考对象j的图像数量，而不是j的选择基准t来测量x对j的干扰，将{j,t}对的所有可能组合相加，如公式(6)所示：对参考对象i的每个基准x的效率进行评分，计算公式为：目标值cobj是使m的总不正确匹配图像的数量最小化，表达式如下：步骤4)中，所述的在在线定位阶段，完成相关数据采集后，进行路径分割：利用惯性传感器数据进行转向判断，根据转弯信息对路径进行分段，以更好地利用子序列特征进行匹配，具体是：在线定位阶段，用户手持智能设备，沿前进方向收集数据，用户在采集到一组数据的后，首先利用惯性传感器进行转弯判断，将转弯时的时间戳提取出来，根据时间戳信息将图像与磁场信息进行分段，分别匹配之后再利用后续步骤中路径整合方式将完整的路径还原出来。步骤5)中，所述的基于连续图像的区域匹配：对于每个分段，将每个区域选择的基础图像与每次选择的连续图像进行匹配，并对连续的多个图像进行分析以减少偶然性并确定整个区域范围。步骤6)中，所述的磁场数据预处理，在线定位阶段，对收集到的地磁场数据进行预处理，首先利用磁场与加速度传感器得到的数据对磁场数据进行坐标转化，使之转化到大地坐标轴，提取转化后的x轴、y轴、磁场强度数据形成磁场矢量，作为磁场数据的基本存储单元，最后利用emd对磁场序列进行基本的滤波操作，以减少噪声对于数据的影响。步骤7)中，所述的基于dtw的磁场匹配，具体是：设待匹配的磁场序列向量数据为bk，根据步骤5)中区域起始范围的确定，以及由惯性传感器中获得的步长与步数数据，确定备选磁场序列的范围与地理长度；最终得到符合条件的磁场备选序列a1,a2,a3......an，其中n为符合条件的备选磁场序列个数；对于序列进行相似度匹配，从中选择ε个最优磁场序列段，用于路径合并步骤；利用dtw的方式对于磁场序列进行匹配，dtw算法的核心是对时间序列进行延伸与收缩操作，从而对两个时间序列的相似性进行有效计算；算法第一阶段为初始化局部距离矩阵d，矩阵表达式如下公式(9)所示，该矩阵具有n×m个元素，下述公式(10)描述算法的初始条件；在第二阶段，进行矩阵填充，下述公式(11)为控制计算的递归方式；d(i,j)＝|ai-bi|,(9)步骤8)中，所述的路径合并，具体是：设第i个子段备选段集合为si＝{si,1,si,2,......,si,ε}，每个si,j保存了对应备选子段的首尾坐标，以及匹配相似度；路径合并的目标是找到一个有序的序列seq＝{s1,s2,.....,sk}，k为子段数目，覆盖子段的采集顺序和物理连接，物理连接表示seq中的每两个连续的子段在物理位置上首尾相接；按照路径分段顺序，s1从开始，与s2中的子段一一进行首尾坐标验证，dis(a,b)表示子段a的终点与子段b的起点坐标的距离差；记录邻接子段并去掉不存在下一条邻接数据段的备选路径，从s1开始遍历至s2，最终获得m个符合条件的完整路径seq1,seq2,.....,seqm；对于最后获得的m条备选结果路径，将每一段的优先级即相似度相加，获得优先级和最大的备选结果路径即为最后的定位路径。本发明提供的一种基于图像、地磁场和惯性传感器的多模态室内定位方法，该定位方法采用从粗到细的方法来充分利用每个模态信号的特征进行定位。首先，在室内空间中划分区域，并且在每个区域中选择基本图像以进行图像分类和匹配确定，并且确定整体范围；在此基础上，通过emd对磁场序列信息进行滤波，并通过惯性传感器信息对位置进行精确，细粒度的匹配。该方法无需额外的设备部署即可定位，数据信息收集快速，受环境影响小，相对稳定，运行成本低，维护成本低，推广前景好。附图说明图1为本发明的整体流程图。具体实施方式下面结合附图和实施例对本发明做进一步阐述，但不是对本发明的限定。实施例：如图1所示，一种基于图像地磁场和惯性传感器的多模态室内定位方法，包括如下步骤：离线训练阶段：1)将测试场景图与预设的数据采集路径相结合，收集并分析地磁场数据和图像数据，并将地磁场和图像数据进行路径分割，形成子序列特征；2)地磁场预处理：利用经验模态分解(empiricalmodedecomposition，emd)对地磁场数据中的子序列进行预处理，并建立相应的磁场序列图；3)区域基础图像选择：将室内空间划分为区域，并通过地标选择算法在每个区域的地标图像中选择基础图像；在线定位阶段：4)在线定位阶段，完成相关数据采集后，进行路径分割：利用惯性传感器数据进行转向判断，根据转弯信息对路径进行分段，以更好地利用子序列特征进行匹配；5)基于连续图像的区域匹配：对于每个路径分段，将每个区域选择的基础图像与每次选择的连续图像进行匹配，并对连续的多个图像进行分析以减少偶然性并确定整个区域范围；6)磁场数据预处理：对采集到的磁场数据进行转坐标、滤波操作，为磁场匹配进行数据预处理；7)基于动态时间规整(dynamictimewarping，dtw)的磁场匹配：使用图像确定的区域范围和步长、步数、方向运动信息筛选磁场序列图中的磁场序列，采用加速dtw方法确定确切位置；8)路径合并：根据上面的方法确定备选子段路径，利用地图信息对匹配分段进行路径合并，确定用户行走轨迹。步骤1)中，所述的离线训练阶段，将测试场景图与预设的数据采集路径结合起来，以收集和分析地磁场和图像数据，实现方法为：离线训练阶段，先获得待定位区域的平面地图；同时对数据采集路径进行设计规划；数据采集路径根据走廊的位置和走向进行规划，同时也考虑横跨大厅和其他周边障碍物，覆盖各种步行方向，对于大的开放空间，添加多条路径，确保使用时可以更准确地获取位置；在离线训练阶段，需要采集人员沿着预设路径采集对应的磁场、图像数据，对于每条规划路径，在构建地图阶段主要需要采集的数据如表下1所示：数据表示数据含义bx、by、bz地磁场信号矢量x、y、z三轴的分量数值ax、ay、az加速度传感器矢量x、y、z三轴的分量数值rx、ry、rz陀螺仪x、y、z三轴的分量数值c步数传感器数值t采集对应时间戳数据步骤2)中，所述的预处理，在完成步骤1)的数据采集工作之后，需要对采集到的磁场数据进行预处理，生成磁场地图从而用于在线定位阶段的地磁场序列匹配，包括如下步骤：2-1)坐标映射根据数据采集时间戳和预先设定路径的坐标信息，对于磁场数据与实际坐标数据进行映射；根据采集时间戳和总时间间隔，按比例计算中间磁场数据的位置坐标；2-2)地磁坐标转换利用智能手机中的磁场传感器与加速度传感器，计算出智能设备与大地坐标的夹角，利用夹角数据将磁场矢量转化到大地坐标轴，减少手机转动对于磁场数值的影响，提取转化后的x轴、y轴、磁场强度数值，形成新的磁场矢量作为磁场数据的基本存储单元2-3)emd滤波操作在采集过程中，不可避免地会有一些信号干扰，因此，对每个测量路径的磁场序列数据需要进行近似处理，过滤掉噪声分量。利用emd对磁场序列数据进行分解后去除噪声分解项，对于三维磁场序列，每个维度分别由emd方法进行分解，形成若干个本征模函数分量和趋势序列，完成分解后即可得到如下公式：x(t)表示地磁场序列，imf(t)表示分解后的本征模函数分量数组，r(t)表示分解后的本征模函数趋势序列；经过分解之后，去除其中的噪声分解项，获得聚合近似的磁场数据，即得到每条路径数据的降维路径数据步骤3)中，所述的区域基础图像选择：将室内空间划分为区域，并通过地标选择算法在每个区域的地标图像中选择基础图像。在划分内部空间之后，用户拍摄一组图像(即测试图像)；然后将针对每个匹配区域选择的参考对象与参考图像进行匹配，以识别相应的区域，所选基准对于提高图像匹配精度至关重要，对基准选择问题建模并通过启发式算法解决。定位区域内定义n个地标{1，2，...，n}，每个地标都有ni个候选图像，每个地标选择的基准如下：m＝{mi|1≤i≤n,1≤mi≤ni}(2)ni表示参考对象i的候选图像，m＝mi表示参考对象i选择的基准图像的标签；令x和y分别表示参考对象i和j的选定基准，d＝{di,k,j,y}为i的图像x和j的图像y之间匹配surf特征向量的数量，表达式如下d＝{di,k,j,y|1≤i,j≤m,1≤x≤ni,1≤y≤nj}(3)当i的图像l与j的基准标记y相比具有比j的基准x更多的特征矢量时，它与j的匹配不正确，因此，将pi,x,j,y正确地与j匹配的数量为，基准y的地标的相对j，图像的地标i不匹配，pi,x,j,y的表达式如下：对于参考对象i的选定基准x，使用与x正确匹配的i的图像数量作为相似性度量，度量是对{j,t}对的所有可能组合求和的，如公式(5)所示：对于参考对象i的选定基准x，使用与x不正确匹配的另一个参考对象j的图像数量，而不是j的选择基准t来测量x对j的干扰，将{j,t}对的所有可能组合相加，如公式(6)所示：对参考对象i的每个基准x的效率进行评分，计算公式为：目标值cobj是使m的总不正确匹配图像的数量最小化，表达式如下：步骤4)中，所述的在在线定位阶段，完成相关数据采集后，进行路径分割：利用惯性传感器数据进行转向判断，根据转弯信息对路径进行分段，以更好地利用子序列特征进行匹配，具体是：在线定位阶段，用户手持智能设备，沿前进方向收集数据；由于使用整段采集数据进行匹配效率较低，本申请采用基于用户转弯的分段方法，这种方式可以保留地磁序列子序列的局部特征，有利于提高定位精度；用户在采集到一组数据的后，首先利用惯性传感器进行转弯判断，将转弯时的时间戳提取出来，根据时间戳信息将图像与磁场信息进行分段，分别匹配之后再利用后续步骤中路径整合方式将完整的路径还原出来。步骤5)中，所述的基于连续图像的区域匹配：对于每个分段，将每个区域选择的基础图像与每次选择的连续图像进行匹配，并对连续的多个图像进行分析以减少偶然性并确定整个区域范围。步骤6)中，所述的磁场数据预处理，在线定位阶段，对收集到的地磁场数据进行预处理，首先利用磁场与加速度传感器得到的数据对磁场数据进行坐标转化，使之转化到大地坐标轴，提取转化后的x轴、y轴、磁场强度数据形成磁场矢量，作为磁场数据的基本存储单元，最后利用emd对磁场序列进行基本的滤波操作，以减少噪声对于数据的影响。步骤7)中，所述的基于dtw的磁场匹配，具体是：设待匹配的磁场序列向量数据为bk，根据步骤5)中区域起始范围的确定，以及由惯性传感器中获得的步长与步数数据，确定备选磁场序列的范围与地理长度；最终得到符合条件的磁场备选序列a1,a2,a3......an，其中n为符合条件的备选磁场序列个数；对于序列进行相似度匹配，从中选择ε个最优磁场序列段，用于路径合并步骤；利用dtw的方式对于磁场序列进行匹配，dtw算法的核心是对时间序列进行延伸与收缩操作，从而对两个时间序列的相似性进行有效计算；算法第一阶段为初始化局部距离矩阵d，矩阵表达式如下公式(9)所示，该矩阵具有n×m个元素，下述公式(10)描述算法的初始条件；在第二阶段，进行矩阵填充，下述公式(11)为控制计算的递归方式；d(i,j)＝|ai-bi|,(9)步骤8)中，所述的路径合并，具体是：设第i个子段备选段集合为si＝{si,1,si,2,......,si,ε}，每个si,j保存了对应备选子段的首尾坐标，以及匹配相似度；路径合并的目标是找到一个有序的序列seq＝{s1,s2,.....,sk}，k为子段数目，覆盖子段的采集顺序和物理连接，物理连接表示seq中的每两个连续的子段在物理位置上首尾相接；按照路径分段顺序，s1从开始，与s2中的子段一一进行首尾坐标验证，dis(a,b)表示子段a的终点与子段b的起点坐标的距离差；记录邻接子段并去掉不存在下一条邻接数据段的备选路径，从s1开始遍历至s2，最终获得m个符合条件的完整路径seq1,seq2,.....,seqm；对于最后获得的m条备选结果路径，将每一段的优先级即相似度相加，获得优先级和最大的备选结果路径即为最后的定位路径。当前第1页12