一种用于人行横道线处的盲人导航方法及装置与流程

本发明涉及盲人导航技术领域，具体涉及到一种用于人行横道线处的盲人导航方法及装置。

背景技术：

盲人(视障人士)由于视觉缺失，无法直接观察身边的环境，在出行时往往会有极大的不便利性和危险性。在面对复杂的路况时，特别是在路口没有安装导盲标志或者盲道的情况下，即使视障人士已经对齐人行横道线，也极易走出人行横道线，走进车流密集的马路中央，这样导致危险性增加。

因此，对于盲人需要穿过马路中间的人行横道线来说，在没有盲道的情况下，精确的路径规划和导航就显得非常重要。

技术实现要素：

为了解决上述问题，本发明提供一种用于人行横道线处的盲人导航方法及装置，可以帮助盲人顺利通过人行横道线，提高了盲人的安全保障。

本发明提出了一种用于人行横道线处的盲人导航方法，其特征在于，包括以下步骤：

识别人行横道线；

确定盲人距离人行横道线的水平偏移量和偏移矫正角度，其中，所述水平偏移量和偏移矫正角度通过采集导盲手杖行走图像确定；

根据所述水平偏移量和所述偏移矫正角度，进行导航。

进一步的，识别人行横道线步骤之前还包括步骤：采集人行横道线图像，对应的，识别人行横道线具体为：采用Hough变换识别人行横道线。

进一步的，所述确定盲人距离人行横道线的水平偏移量具体为：根据所述导盲手杖行走图像，确定盲人距离人行横道线的最短连线的长度，和盲人距离人行横道线的最短连线与水平线的夹角，根据所述长度和所述夹角，确定所述水平偏移量。

进一步的，所述确定偏移矫正角度具体为：获取盲人相邻的两点间的行走距离和前进角度，根据所述行走距离和前进角度确定所述偏移矫正角度。

进一步的，在所述识别人行横道线步骤之前，还包括步骤：对交通灯路口进行识别，其中，对交通灯进行识别具体为：如有交通灯音频提示，则通过采集音频提示数据对交通灯路口进行识别，否则，通过采集交通灯图像进行交通灯路口的识别。

进一步的，在对交通灯路口进行识别步骤之后还包括步骤：发出触发指令，触发采集人行横道线图像。

另一方面，本发明还提出了一种用于人行横道线处的盲人导航装置，其特征在于，包括：

第一识别模块，用于识别人行横道线；

确定模块，用于确定盲人距离人行横道线的水平偏移量和偏移矫正角度，其中，所述水平偏移量和偏移矫正角度通过采集导盲手杖行走图像确定；

导航模块，用于根据所述水平偏移量和所述偏移矫正角度，进行导航。

进一步的，还包括信息采集模块，所述信息采集模块用于采集人行横道线图像。

进一步的，还包括第二识别模块，所述第二识别模块用于对交通灯路口进行识别，其中，所述第二识别模块用于对交通灯路口进行识别具体为：如有交通灯音频提示，则通过采集音频提示数据对交通灯路口进行识别，否则，通过采集交通灯图像进行交通灯路口的识别。

进一步的，还包括触发模块，所述触发模块用于发送触发指令，触发所述信息采集模块采集人行横道线图像。

本发明实施例提出的用于人行横道线处的盲人导航方法及装置，首先识别人行横道线，而后确定盲人距离人行横道线的水平偏移量和偏移矫正角度，其中，水平偏移量和偏移矫正角度通过采集导盲手杖行走图像确定，根据盲人距离人行横道线的水平偏移量和偏移矫正角度，为盲人进行导航，这样就可以使得盲人在过人行横道的过程中，实时得到自己位置与人行横道线的位置偏差情况，从而根据确定的水平偏移量和偏移矫正角度实时矫正自己的行进轨迹，从而能够顺利度过人行横道，提高了盲人行走人行横道的安全性。

附图说明

图1为本发明实施例提供的盲人导航方法的流程图；

图2中(a)手杖Z字形运动轨迹及实时视角图解；(b)视障人士行走人行横道线视角图解；(c)相机广角镜头原理图；

图3中(a)导盲手杖摆动周期的分解；(b)导盲手杖在一个摆动周期沿Z轴的加速度计读数；(c)在含噪人行横道、盲道和柏油路上敲击导盲手杖所得的音频采样特征信号

图4为本发明实施例提供的盲人偏移矫正角度获取示意图；

图5为本发明实施例提供的盲人导航装置的结构示意图；

图6为本发明实施例提供的盲人导航装置的另一结构示意图。

具体实施方式

为了使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述，这里的描述不意味着对应于实施例中陈述的具体实例的所有主题都在权利要求中引用了。

本发明下述各实施例提供用于人行横道线处的盲人导航方法，需要利用移动终端和导盲手杖结合使用，如：将移动终端安装在导盲手杖上，其中，移动终端可以为手机、PAD等。

下述通过多个具体的实例进行说明。

本发明实施例中以手机为例进行说明。将手机安装在导盲手杖上，当盲人在用导盲手杖进行走路时，导航手杖在手中会经历一个曲折的运动轨迹，通过在导盲手杖上的手机的摄像头进行拍摄，模拟广角镜头，可以了解盲人的行走轨迹。

图1为本发明提供的一种用于人行横道线处的盲人导航方法的流程图。如图1所示，该方法可包括：

S101、识别人行横道线；

具体地，利用手机的摄像头进行盲人在人行横道线行走图像的拍摄，然后通过图像识别算法对人行横道线进行识别。

S102、确定盲人距离人行横道线的水平偏移量和偏移矫正角度，其中，水平偏移量和偏移矫正角度通过采集导盲手杖行走图像确定；

进一步的，确定盲人距离人行横道线的水平偏移量具体为：根据所述导盲手杖行走图像，确定盲人距离人行横道线的最短连线的长度，和盲人距离人行横道线的最短连线与水平线的夹角，根据所述长度和所述夹角，确定所述水平偏移量。

具体实施方式如下：

因为利用手机的摄像头即相机模块进行照片的拍摄，相机模块在盲人用导盲手杖行走过程中会有最佳视角，引入角度检测范围r来描述相机所拓宽的最佳角度即内置摄像头的扩展视角。假设将相机的最佳视角设置为α，将β和γ分别定义为导盲手杖左旋转角度和右旋转角度。如图2所示，通过几何分析，我们可以得到导盲手杖的角度检测范围为r≈α+β+γ。

由于导盲手杖在运动过程中无法捕获清晰人行横道线信息，因此设定一个图像自动获取机制尤为关键。本发明在实施过程中，可以利用手机内置加速度传感器波形变化作为拍摄信号，也可以利用导盲手杖敲击地面时短暂的稳定间隙来作为拍摄人行横道线的稳定时刻指示器，结合阈值检测方法使用麦克风模块跟踪碰撞信号，具体如图3所示。通过自动生成拍摄信号，能够很好的触发摄像头获取人行横道线信息即采集人行横道线图像。

获取清晰的人行横道线图像后，盲人导航装置将会利用传感器来读取盲人与人行横道线的相对位置，相对位置通过<旋转角度(θ)，水平位移(d)>进行描述，具体按照：

其中，μ+β为在盲人左边拍摄的角度；μ+γ为在盲人右边拍摄的角度。

μ为靠近盲人最近的条纹线到水平线的夹角，水平位移用来引导视觉障碍者行至最靠近行人的人行横道线中央，s为盲人到最靠近的人行横道线之间的直线距离。由相机给定的校正信息(焦距f)，相机的方向(已经得到的β和γ)和距离地面的高度，我们可以进一步估算出水平偏移量d为d＝s·cos(μ)+l/2，其中l为人行横道线的长度。

进一步的，确定偏移矫正角度具体为：获取盲人行进中相邻的两点间的行走距离和前进角度，根据行走距离和前进角度确定偏移矫正角度。

在计算机视觉中，我们设计了一个基于几何分析的增量行走指标(an Incremental Walking headings Rectification scheme简称IWR)。如图4所示：

假设盲人在人行横道线上行走距离a后转入第一条子轨迹到达b点，单位行走距离h依照经验设置成30cm。当给定单位行走距离h和盲人的前进角度θ_j，可以通过以下方程计算最小角θ_min和最大角θ_max，从而引导盲人根据最小角θ_min和最大角θ_max，做出及时恰当的调整。

具体地，按照最大角和最小角的平均值作为行走方向来引导盲人行走。

公式中，l为斑马线长度，w为斑马线宽度，a为初始点已经行走的距离，θ_j为初始点的偏移角度，根据各个路段具体的情况，每个路段斑马线的长度，宽度以及设置方向都是固定的，l和w可以在系统中预设，同时根据手机中的罗盘可以得出盲人的行走方向，将其与道路预设方向对比即可得到初始偏移角度θ_j。

S103、根据水平偏移量和偏移矫正角度，进行导航。

在得到水平偏移量和偏移矫正角度后，根据水平偏移量和偏移矫正角度，为盲人进行导航。

具体地，导航的方式可以通过语音播报的方式。本发明实施例对此并不做具体限定。

本发明实施例提出的用于人行横道线处的盲人导航方法，首先识别人行横道线，而后确定盲人距离人行横道线的水平偏移量和偏移矫正角度，其中，水平偏移量和偏移矫正角度通过采集导盲手杖行走图像确定；根据盲人距离人行横道线的水平偏移量和偏移矫正角度，为盲人进行导航，这样就可以使得盲人在过人行横道的过程中，实时得到自己位置与人行横道线的位置偏差情况，从而根据确定的水平偏移量和偏移矫正角度实时矫正自己的行进轨迹，从而能够顺利度过人行横道，提高了盲人行走人行横道的安全性。

进一步的，在识别人行横道线之前，还包括步骤：对交通灯路口进行识别，其中，对交通灯路口进行识别具体为：如有交通灯音频提示，则通过采集音频提示数据对交通灯路口进行识别，否则，通过采集交通灯图像进行交通灯路口状况的识别。

具体地，对于没有红绿灯音频提示的交通灯路口，可以利用手机的摄像头采集红绿灯图像，通过融合级联Adaboost与颜色过滤的自动识别算法，利用Adaboost迭代算法对红绿灯进行定位，然后，在HSI色彩模型的色调子空间进行颜色分析，对红绿灯进行过滤与分类。

Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器(强分类器)。其算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器最后融合起来，作为最后的决策分类器。使用Adaboost分类器可以排除一些不必要的训练数据特征，并放在关键的训练数据上面。通过Adaboost对采集的红绿灯图像中的红绿灯进行定位。

HSI模型是美国色彩学家孟塞尔(H.A.Munseu)于1915年提出的，它反映了人的视觉系统感知彩色的方式，以色调、饱和度和亮度三种基本特征量来感知颜色。

HSI模型的建立基于两个重要的事实：①I分量与图像的彩色信息无关；②H和S分量与人感受颜色的方式是紧密相联的。这些特点使得HSI模型非常适合彩色特性检测与分析。

这样，可以在对红绿灯进行定位后，利用HSI色彩模型，对红绿灯的颜色进行识别，从而确定当前是否交通灯路口，并且是红灯还是绿灯，路人是否应该通行。

RGB转HSI：HSI色彩空间和RGB色彩空间只是同一物理量的不同表示法，因而它们之间存在着转换关系。具体的转换关系如下：

例如我们采集的样本颜色RGB为(255，0，0)其中R＝255,G＝0,B＝0。

我们利用公式

其中，R,G,B分别代表输入彩色图像像素点在R、G、B三个通道的元素值；

min(R,G,B)表示输入彩色图像像素点R,G,B三个元素值中的最小值；色调分量H的取值范围为[0,2π]，饱和度分量S的取值范围为[0,1]，亮度值分量I的取值范围为[0，255]，通过实时获取路口红绿灯图像信息，通过HSI指标判断交通指示灯的状况，从而引导盲人行走或者等待。

进一步的，如果在交通灯路口有红绿灯音频提示，则利用手机中的麦克风进行声音的采集。因为交通灯提示的音频存在音短、急促并按照周期变化的特点，所以在人行横道路口采集的声音的音频标准差明显高于街道其他位置收集的信号，样本特征比较明显。

具体地，还包括步骤，判断采集提示音频标准差是否在预设到达路口音频信号阈值范围内，是，则确定到达交通灯路口，否，则不是交通灯路口，其中，阈值可以根据经验确定。

进一步的，在对交通灯路口进行识别之后还包括步骤：发出触发指令，触发采集人行横道线图像。

具体地，在确定到达交通灯路口后，盲人导航装置发出触发指令，触发采集人行横道线图像。

具体地，可以通过检测手机内置加速度传感器采集数据的波形变化，在波形变化符合预设条件时，触发手机的摄像头进行人行横道线图像的采集。

因为盲人通常都会使用导盲手杖，还可以通过检测手机麦克风采集的导盲手杖敲击地面时的声音，在声音信号满足预设阈值条件时，触发手机的摄像头进行人行横道线的图像采集。

进一步的，在识别人行横道线之前还包括步骤：采集人行横道线图像，对应的，识别人行横道线具体为：采用Hough变换识别人行横道线。

Hough变换是一种使用表决原理的参数估计技术。其原理是利用图像空间和Hough参数空间的点－线对偶性，把图像空间中的检测问题转换到参数空间。通过在参数空间里进行简单的累加统计，然后在Hough参数空间寻找累加器峰值的方法检测直线。Hough变换的实质是将图像空间内具有一定关系的像元进行聚类，寻找能把这些像元用某一解析形式联系起来的参数空间累积对应点。在参数空间不超过二维的情况下，这种变换有着理想的效果。

通过Hough变换，将人行横道线图像中的人行横道线提取出来。

如图5所示，本实施例还提供了一种用于人行横道线处的盲人导航装置，包括：

第一识别模块21，用于识别人行横道线；

确定模块22，用于确定盲人距离人行横道线的水平偏移量和偏移矫正角度，其中，所述水平偏移量和偏移矫正角度通过采集导盲手杖行走图像确定；

导航模块23，用于根据水平偏移量和偏移矫正角度，进行导航。

本发明实施例提出的用于人行横道线处的盲人导航装置，首先识别人行横道线，而后确定盲人距离人行横道线的水平偏移量和偏移矫正角度，其中，所述水平偏移量和偏移矫正角度通过采集导盲手杖行走图像确定，根据盲人距离人行横道线的水平偏移量和偏移矫正角度，为盲人进行导航，这样就可以使得盲人在过人行横道的过程中，实时得到自己位置与人行横道线的位置偏差情况，从而根据确定的水平偏移量和偏移矫正角度实时矫正自己的行进轨迹，从而能够顺利度过人行横道，提高了盲人行走人行横道的安全性。

进一步的，如图6所示，还包括信息采集模块24，信息采集模块24用于采集人行横道线图像。信息采集模块24还用于采集导航手杖行走图像。

进一步的，如图6所示，还包括第二识别模块25，第二识别模块25用于对交通灯路口进行识别。

进一步的，第二识别模块25中对交通灯路口进行识别具体为：如有交通灯音频提示，则通过采集音频提示数据对交通灯路口进行识别，否则，通过采集交通灯图像进行交通灯路口的识别。

进一步的，还包括触发模块26，触发模块26用于发送触发指令，触发信息采集模块24采集人行横道线图像。

其中，信息采集模块可以通过安装在导航手杖上的手机的传感器、摄像头、电子罗盘、麦克风等来获取数据信息。

手机内置有多个传感器，如加速度传感器、陀螺仪可以用来采集加速度数据、角速度数据，手机中内置摄像头可以用来录像和拍摄照片，手机中内置的麦克风可以用来采集语音数据，盲人可以利用自己的手机可以对所在的地理位置进行感知数据的采集，如拍摄该地理位置的路况照片，并且读取拍摄时的地理位置的经纬度，陀螺仪的角度，光照等传感器信息。

麦克风还可以用来采集盲人周围环境的音频，根据采集音频来识别用户的一些环境，如是处于街道还是处于交通灯路口等。

还可以通过麦克风采集盲人用导盲手杖敲击地面的声音的特点来识别盲人当前的状态。

另外，也可以通过拍摄照片，通过图像识别来确定盲人的位置，是否处于交通灯路口、是否处于人行横道线处，及在人行横道线处的位置等信息。

通过手机上的电子罗盘可以用来确定盲人用导盲手杖的正面朝向，从而确定盲人的行走方向。

其中，人行横道线图像和导盲手杖行走图像可以相同，也可以不同。如果，导盲手杖行走图像中包括有人行横道线，也可以通过识别导盲手杖行走图像对人行横道线进行识别。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。