一种基于智能手机的盲人室内导盲方法与流程

本发明属于人身安全领域，具体涉及一种基于智能手机的盲人室内导盲方法。

背景技术：

近几年导航技术的迅速发展已经使很多人能够感受到这项技术带来的便利。但生活中有另一类人比正常人更需要导航技术在他们的生活中发挥作用，那便是盲人群体。

根据2014年底的一项调查表明，中国约有1731万视障人士，而中国仅存在导盲犬70只左右。并且每一条导盲犬的训练时间长达三年，训练费用要达到12～15万元人民币。而在日常的生活中，导盲犬所能活动的公共空间也受到了极大限制，这使得导盲犬的普及成为了一项难题。而相比于导盲犬的数量稀少且价格昂贵，智能手机在中国的普及率已接近70％，且价格不过数千元，因此使用智能手机来代替导盲犬将会是一个很好的方案。

目前盲人的现状以及智能手机的普及性，可以考虑利用手机为盲人解决这些难题。智能手机上集成了加速度计，陀螺仪等多种传感器。通过将这些传感器的数据结合，能够进行惯性导航和GPS导航等方式，再加上通过地磁等特征物理量校准，从而为盲人提供室内的导航服务。一方面可以利用智能手机对盲人的身份进行识别，以检测出盲人的手机出现丢失、被盗等现象。另一方面针对智能手机的传感器对盲人进行位置的定位和路径的导航。解决了长久以来困扰盲人出行不便的难题。

技术实现要素：

针对当用户在室内时，由于室内GPS信号不能够很好的接收的问题，本发明利用手机的加速度传感器和陀螺仪能够协助盲人进行路径导航，同时使用地磁指纹为导航路线提供校准。实现本发明的技术方案如下：

一种基于智能手机的盲人室内导盲方法，首先对盲人的行走路径进行记录，对同一起始地点和目标地点，存储不少于3条的路径，将沿途的各种路障、特征点等记下来，并设定优先路线；将每条路线划分为若干路段，每一个路段设置有定标，在每个定标点设置下一步动作，若定标丢失或无法触碰到，则根据存储的其他路线中，在物理空间上距离最短切中途无阻碍的定标作为替代，并根据该路径重新规划导航线路；

所述路线如果是在室外，则使用惯性导航，如果是在室内，则采用定标修正误差结合地磁校准相结合的导航方法。

进一步，所述惯性导航的轨迹生成方法包括如下步骤：

(1)获取加速度数据：手机加速度传感器记录下三轴的加速度值，即为：A＝{a₁,a₂,...,a_n}，并进行降噪及去除重力处理：

其中，α∈[0,1]，i＝{1,2,3,...,n}，n表示加速度序列的长度，g为重力；

(2)判断行走状态：用户在水平步行运动中，垂直和前进两个加速度会呈现周期性变化，在步行收脚的动作中，重心向上单只脚触地，垂直方向加速度呈正向增加，之后继续向前，重心下移两脚触底，加速度相反；水平加速度在收脚时减小，在迈步时增加；

(3)计算步数并生成轨迹：采用基于Mealy状态机的计步算法，通过计算得出3个加速度的大小和方向，获得一条步行运动的正弦曲线轨迹；然后进行峰值检测，通过和上一次记录的加速度大小进行比较，如果相反，表示刚过峰值状态，则进行计步，否则舍弃，通过对峰值次数的累积可得到用户步行步数；根据步数、步长、行走的方向得到轨迹。

进一步，所述步骤(3)的具体步骤包括：

1)计算方向和手机的摆放位置：利用手机的方向传感器可获得方向数据，方向传感器返回的3个角度分别表示手机顶部的朝向与正北方向的夹角、手机的顶部或尾部翘起的角度和左侧或右侧翘起的角度，利用这3个角度即可确定手机的摆放位置；

2)基于最小二乘法计算步长：所述步长由行走时产生的加速度得到；

3)生成轨迹：惯性导航轨迹生成算法根据人的步数、步长、行走的方向来计算人的位置进而得出实际运动轨迹：首先将起点(x₀,y₀)设为原点，第j步的坐标为(x_j,y_j),则第j步坐标为：

(x_j,y_j)＝(x₀+L cos(φ+γ_j),y₀+L cos(φ+γ_j))

其中，L为步长，φ为j步内所发生的方向变化之和，γ_j表示第j步过程中的方向变化；

进一步，所述步骤1)还包括校正的步骤：

①首先记录人在行走过程中的水平手持手机时三轴陀螺仪所产生的数据，利用数据叠加去除高频噪声，由此得到人在水平方向的行走的角速度变化，即为R＝{r₁,r₂,...,r_n}；

②计算每一步所发生的方向变化，则第j步过程中的方向变化为：

③行走过程中同时记录指南针读数，记作：C＝{c₁,c₂,...,c_n}，对数据进行滤波平滑处理；获取指南针的第j步和第j+k步之间的方向变化获取三轴陀螺仪的第j步和第j+k步之间的方向变化设置的角度阈值，当超过阈值时，利用指南针第j+k步的方向对三轴陀螺仪读数计算得到的第j+k步的方向变化进行修正，并将修正后的数据作为人在第j+k步的方向。

进一步，所述步骤2)的具体步骤包括：

①采集用户以规定步长行走时所产生的加速度，记作a，所对应的步长，记作l；

②计算加速度的方差，记作s；

③利用最小二乘法对s和l作最佳线性拟合，得到两者的关系：

l＝(s-q)/p

其中，p和q是最佳线性拟合系数，其中为多次采样的均方差，为平均步长。

进一步，所述定标修正误差的方法：如果盲人在行走时碰触不到定标，则通过语音输入手机，提示未碰触到定标；手机向监护人发送此时盲人所处的位置，监护人迅速调出地图，确定盲人位置，指导盲人做出判断；或者盲人向路人求助，将盲人带到手机显示的下一个定标位置点；手机同时记录盲人所走的新路线。

进一步，所述地磁校准的方法：

盲人在匹配区域运动时，磁传感器采集一系列地磁场强度值，经过数据预处理后得到测量数据带，记为:H_N＝[h1，h2，…，hN]，其中:H为观测值序列，N为一次匹配的采样个数，即为测量带长；

根据惯性导航输出的位置在地磁图上提取地磁参考信息，地磁参考信息记为gN＝[g1，g2，…,gN]，其中g_N为参考值序列，H_N和g_N是对应的序列；在某段时间内，设定惯性导航的输出轨迹与真实轨迹是平行的，在搜索区域得到S个与惯性导航输出轨迹平行的轨迹，再根据S个轨迹在地磁图中提取地磁场数据，得到S个数据向量；把地磁测量值向量和这些地磁图上的数据向量进行相关极值运算，最终确定盲人的位置。

进一步，所述地磁校准还包括：对H_N进行多次控制干扰强度的随机干扰，使得到的匹配位置落在真实位置周围，然后取这些位置的平均值作为匹配位置。

本发明的有益效果：

1、导航方式更符合盲人的行走方式，为盲人降低使用难度，提高准确性。

2、无需高精度、昂贵的惯性传感器，只需要利用手机中内置的传感器即可，实用性强，成本低廉。

3、无需进行额外的培训，只需要监护人在使用前录入路线和语音即可。

附图说明

图1基于Mealy状态机的计步算法

图2是商场模拟路径图；

图3商场模拟路径实验结果图。

具体实施方式

首先对盲人的行走路径进行记录。盲人一般都会固定的去几个自己常去的地方，首先监护人带盲人将平时所走过的常用路径走一遍，并且记录下该条路径。对同一起始地点和目标地点，存储3条或以上路径。监护人尽可能将沿途的各种路障、特征点，例如何处为楼梯，何处为阴井盖等都记录到手机中的路径中，并根据多个方面的指标来判断各条线路的优劣，以设定优先的线路。每隔一段路程，监护人设置一个定标(该定标是能够被盲人通过触觉感知的物体)，同时录入在这一地点的下一步动作。

假设一种情况，如果盲人目前处在商场中，商场的环境比较复杂，这时，可以利用手机的惯性导航系统进行定位，但是，在室内单独使用惯性导航时，无法消除的累计误差往往使导航无法最终实施，本专利提出一种基于定标修正误差结合地磁校准的导航方法。即在利用惯性导航的过程中，通过路径中的定标点进行误差修正和地磁的特征进行校准修正。

如果在导航过程中出现了定标丢失或无法触碰到的情况，则会根据存储的其他路径中，在物理空间上距离最短切中途无阻碍的定标作为替代，并根据该路径重新规划导航线路。并将此线路作为以后的优先线路。

具体实现过程包括：

一、导航定位：

由于生活的不便，盲人通常只会去固定的几个地点，在室外，强大的GPS能够发挥高精度的导航的作用，但是鉴于GPS的10m范围的误差，考虑到盲人群体的特殊性，故结合惯导进行导航，利用GPS进行累积误差修正；在室内，GPS定位精度相对比较差，故以惯性导航为主的室内的导航定位，使用了一种基于地标修正的机器学习的惯性导航定位方法。

(一)首先监护人带着盲人将盲人平时常去的几个固定地点的路径都走一遍，将路径图记录到手机中，并且将该条路径中的各种路障，例如何处有楼梯、何处有井盖等，尽可能详细的记录下各种路障，考虑到盲人群体的特殊性，甚至将楼梯的阶数都记录其中。当处于室外，可以直接动过GPS进行路径导航，但是也要记录下路径中的各种路障，例如何处何时该上楼梯、拐弯、红绿灯等；若在商场中，考虑到商场中环境的复杂性，监护人应该在多种环境下训练路径，比如工作日人少的时候、周末人多的时候等。这样可以避免日后外在环境的变化对导航精度的影响。在室外可以利用GPS导航，但是在室内，需要借助于手机中的传感器导航，此处涉及到惯性导航的轨迹生成。分成如下步骤：

1.获取加速度数据：当人拿着手机进行轨迹生成时，一般将手机拿在手上，手机加速度传感器记录下三轴的加速度值，即为：A＝{a₁,a₂,...,a_n}。对手机原始加速度进行降噪及去除重力影响：

其中，α∈[0,1]，i＝{1,2,3,...,n}，n表示什么加速度序列的长度，g为重力。

2.判断行走状态：用户在水平步行运动中，垂直和前进两个加速度会呈现周期性变化，如图所示，在步行收脚的动作中，由于重心向上单只脚触地，垂直方向加速度是呈正向增加的趋势，之后继续向前，重心下移两脚触底，加速度相反。水平加速度在收脚时减小，在迈步时增加。

3.计算步数：基于Mealy状态机的计步算法如图1所示，包括如下：

在步行运动时，垂直方向和步行方向所产生的加速度与时间的关系大致上市一条正弦曲线，而且在某一点上会出现峰值，通过对峰值的检测和计算，并将加速度的值与阈值进行比较和决策，就可以判断用户的步行状态。

由于多重因素的影响，用户放置手机位置的不确定性，导致无法确定手机的放置方向，为解决此类问题，首先通过计算得出3个加速度的大小和方向，从而获得一条步行运动的正弦曲线轨迹。然后进行峰值检测，通过和上一次记录的加速度大小进行比较，如果相反，表示刚过峰值状态，则进行计步，否则舍弃。通过对峰值次数的累积可得到用户步行步数。并且由于手持设备会有一些低幅度和快速的抽动状态，或是我们自己的手抖，对这些所谓的干扰数据进行剔除。可以通过给检测加上阈值和步频来判断过滤干扰数据。最后获取用户的每一步的时间戳T。具体步骤包括：

(1)计算方向：利用手机的方向传感器可获得方向数据，方向传感器返回的3个角度分别表示手机顶部的朝向与正北方向的夹角、手机的顶部或尾部翘起的角度和左侧或右侧翘起的角度，利用这3个角度即可确定手机的摆放位置。但是此时由于外部环境的干扰和三轴陀螺仪捕捉数据时产生的噪声，导致三轴陀螺仪捕捉的加速度数据存在偏差，此时需要借助其他传感器进行校正。

校正步骤如下：

①首先记录人在行走过程中的水平手持手机时三轴陀螺仪所产生的数据，利用数据叠加去除高频噪声。由此得到人在水平方向的行走的角速度变化，即为R＝{r₁,r₂,...,r_n}。

②计算每一步所发生的方向变化，则第j步过程中的方向变化为：

③行走过程中同时记录指南针读数，记作：C＝{c₁,c₂,...,c_n}，对数据进行滤波平滑处理；获取指南针的第j步和第j+k步之间的方向变化获取三轴陀螺仪的第j步和第j+k步之间的方向变化设置的角度阈值，当超过阈值时，利用指南针第j+k步的方向对三轴陀螺仪读数计算得到的第j+k步的方向变化进行修正，并将修正后的数据作为人在第j+k步的方向。

(2)基于最小二乘法计算步长：惯性导航中，运动的距离由步数与步长相乘所得，因此，每一步步长的准确度对惯性导航的精度都有很大的影响。其中人行走时的步长可由行走时的所产生的加速度估算出来。

步骤如下:

①采集用户以规定步长行走时所产生的加速度，记作a，所对应的步长，记作l。

②计算加速度的方差，记作s。

③利用最小二乘法对s和l作最佳线性拟合，得到两者的关系：

l＝(s-q)/p (3)

其中，p和q是最佳线性拟合系数，其中为多次采样的均方差，为平均步长。

(3)生成轨迹：惯性导航轨迹生成算法根据人的步数、步长、行走的方向来计算人的位置。首先根据起点的坐标(x₀,y₀)为原点，第j步的坐标为(x_j,y_j),则第j步坐标为：

(x_j,y_j)＝(x₀+L cos(φ+γ_j),y₀+L cos(φ+γ_j)) (4)

其中，L为步长，φ为j步内所发生的方向变化之和。最终得出实际运动轨迹进行导航。

考虑到上述的惯性导航存在较大累积误差的情况，此时可以通过设置定标点对误差进行修正。假设盲人从甲地到达乙地，总共20m，在这段路径中，可以通过每5m进行设置一个定标，总共设置4个定标。设定的定标都是比较常见，例如楼梯扶手，柱子，桌子等，让盲人触碰这些定标，如果触碰到，则说明盲人在既定的那段路线中，此时盲人通过语音表示触碰到定标，提示手机进行下一个定标的导航；如果触碰不到，则说明由于累积误差较大，盲人已经偏离原本路径，也有可能之前记录的定标由于某种原因被移除了，此时，盲人进行语音输入提示未触碰到既定的定标，手机接收到语音之后，迅速做出判断，向监护人发送此时盲人所处的位置，监护人迅速调出地图，确定盲人位置，指导盲人做出判断；也可以通过求助路人，将盲人带到手机上显示的下一个定标。每次手机都将盲人走过的路径实时的记录下来，多次记录之后，随着手机中记录的路径数量的增加，导航的精度也得到极大的提高。根据上诉轨迹生成过程，将盲人在现实生活中有可能去过的地点的轨迹路径都实时记录下来。接下来即实现路径的匹配。如图2所示，模拟商场的路径，虚线表示记录到手机中的路径图。环形圈表示定标，通过定标来进行当前位置的校正。当盲人开始导航的时候，手机进行实时的提醒，如果与既定路线匹配，并且成功到达定标处，则导航成功，以此类推，完成最终轨迹路线的导航。因为外界环境的复杂性，使得每一次手机记录的路径都会有些偏差，因此每一次成功导航的路线都将记录在手机中，如图2所示，红色路径、黑色路径存在差异，但是能够成功导航，将这两条路径都记录到手机中，多次之后，手机中的路线逐渐丰富。导航的精度也将得到很大的提高。

二、地磁校准

2.1地磁匹配的相关方法原理

盲人在匹配区域运动时，磁传感器按一定的时间间隔采集一系列地磁场强度值，经过数据预处理后得到测量数据带，记为:H_N＝[h1，h2，…，hN]，其中:H为观测值序列，N为一次匹配的采样个数,也称为测量带长(或匹配长度)，其值大小由地磁场的特点决定。当磁场信息丰富时，N可适当取小些；当磁场信息贫乏时，N应取大些。根据惯性导航输出的位置在地磁图上提取地磁参考信息，地磁参考信息记为g_N＝[g1，g2，…,gN]，其中g_N为参考值序列，H_N和g_N是对应的序列。在段时间内，假设惯导的输出轨迹与真实轨迹是平行的，这个假设在段时间内合理。在搜索区域,可以得到S(S的取值根据实际情况确定，当地磁场变化很大时取大一点，变化很小时取小一点)个与惯导输出轨迹平行的轨迹，再根据S个轨迹在地磁图中提取地磁场数据，得到S个数据向量。把地磁测量值向量和这些地磁图上的数据向量进行相关极值运算，可以确定航行体的位置。文中相关极值运算采用均方误差(MSD)，把搜索区域中得到的S个数据向量与观测值向量分别计算均方误差J_MSD，最小的J_MSD对应的即作为匹配位置。

2.2基于Monte Carlo方法的地磁匹配算法

由于地磁测量仪的测量值中包含各种误差因素，按照上述方法匹配的位置往往不是航行体的真实位置，而是位于真实位置的附近。由于测量误差的随机性，匹配位置在真实位置周围的分布也是随机的。因此对H_N进行多次控制干扰强度的随机干扰，使得到的匹配位置落在真实位置周围，然后取这些位置的平均值作为匹配位置，可以减少误差。此方法和Monte Carlo方法的原理是类似的。

因而关键的问题是如何确定随机干扰的强度。假设一次搜索完成后，最小的指标值为J_MIN，而真实位置处对应的指标为J_REAL，显然有J_REAL≥J_MIN，而J_MIN可以作为衡量本次匹配过程中误差总体水平的一个指标。如果对测量地磁数据值向量H_N加以与J_MIN相关的某种幅度的白噪声随机干扰后得到向量H′_N，用H′_N在搜索区域中进行一次搜索后，如果搜索后的最小指标为J′_MIN，且满足条件“J_MIN<J′_MIN<ηJ_MIN(η＞1)”，那么直观上新搜索到的位置更接近真实位置，从而得到基于Monte Carlo方法的地磁匹配算法。具体地：

1)在当前匹配时刻t，用当前时刻地磁测量值和前N-1个时刻的地磁测量值组成测量地磁数据向量H_N。

2)根据惯导指示位置确定搜索区域，计算搜索区域中S个对应地磁图上的数据向量g_N，并依次作为一个矩阵P的列向量。

3)按式(1)在矩阵P中搜索最小的指标值，记录该最小值为J_MIN0、它对应向量的位置(m′₀,n′₀)。

4)循环对H_N进行若干次随机干扰，对所有满足特定条件的匹配进行计数。

当计数到i时，记m_i＝m′,n_i＝n′，在计数到预定的常数R的时候结束循环。将所有满足上述条件的坐标排列成向量:

Y_λ＝[m₁,m₂,…,m_R]

5)取向量Y_λ的均值作为最终的匹配位置坐标。

2.3为了验证该算法的可行性，对该算法进行了仿真试验，如图3所示。由结果可以看出:该算法可以有效修正惯性导航的误差，可以提高惯性导航的精度。

上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。