一种便携式助行导盲装置及方法
【专利摘要】本发明公开了一种基于盲道线条特征视觉感知的便携式助行导盲装置及方法，包括如下步骤：S01：采集图像，并将采集的数据记录在一个二维数组ImageBuffer[a][b]中，其中a、b均为正整数；S02：取二维数组ImageBuffer[a][b]中的若干个行判断采集的图像是否为盲道；S03：若当前是盲道，则判断盲道是否异常，包括盲道是否是弯道以及盲道上是否有障碍或坑洼；S04：若盲道没有异常，则计算当前盲道中心线相对于图像中心线的偏移量，并转换为盲人需要向靠近盲道转向的角度；S05：根据步骤S02、S03、S04的检测结果进行相对应的语音提示。根据盲道的线条特征,采用主动视觉,快速准确捕捉盲道的特征,识别盲道的道路状况，引导盲人高效安全行进。该装置经过微型化之后，可做成便于佩戴的导盲眼镜。
【专利说明】 一种便携式助行导盲装置及方法
【技术领域】
[0001]本发明涉及一种便携式助行导盲装置及方法。
【背景技术】
[0002]据世界卫生组织统计，目前全球约有2.85亿人遭受视觉障碍，其中有三千九百万盲人，而且，全球90%的视觉障碍患者生活在发展中国家。发展导盲装置与配套的市政道路建设对于提高盲人的生活质量具有重要意义，然而，由于社会发展水平的局限，盲道常常存在破损或被临时占用，而且，目前的导盲犬饲养和成本非常高，导盲杖无法准确探测盲道的坑洼不平、破损以及道路的转折与交叉路口，导盲车不宜携带、成本高，均还无法成为多数盲人的经济易用行动辅助装置。
[0003]专利CN201010141247公开了一种基于红外传感几何特征识别的导盲系统，该发明以小车作为移动载体，应用红外传感器检测小车底部与地面间距，并根据红外检测信息分辨行进盲道和提示盲道，根据识别结果，调整小车的运动，相应状况以语音形式提示使用者。专利CN201310711816公开了一种基于图像识别的智能导盲杖,在导盲杖内嵌入人机交互子系统、路况识别子系统、导航子系统和滚轮制动系统。采用图像识别处理的方法识别盲道与公交信息。专利CN201110413910公开了一种基于多传感器融合的助行机器人三维环境识别系统，采用ARM与工控机作为控制与信息处理单元；利用重建的三维场景信息与GPS信息，为机器人提供导航。专利CN201120056475公开了一种基于图像识别技术的全自动可载人导盲车，该导盲车采用图像识别技术探测盲道，并利用GPRS与GPS技术，进行导航与控制。但上述专利均需移动载体，不便于携带。
【发明内容】
[0004]针对上述问题，本发明提供一种便携式助行导盲装置及方法，根据盲道的线条特征，采用主动视觉，快速准确捕捉盲道的特征，识别盲道的道路状况，引导盲人高效安全行进。该装置经过微型化之后，可做成便于佩戴的导盲眼镜。
[0005]为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现:
[0006]一种便携式助行导盲装置，其特征在于，包括:
[0007]微型摄影头:用于采集图像；
[0008]路况检测模块:具体包括盲道识别模块和异常检测模块，其中，盲道识别模块根据微型摄影头采集的图像判断当前是否为盲道；若当前图像是盲道，则异常检测模块检测盲道是否异常；
[0009]主控模块:根据路况检测模块反馈的检测信息控制语音提示模块进行相应的语音提示；
[0010]电源模块:为系统供电；
[0011]控制开关:控制系统工作的开启或关闭。
[0012]一种助行导盲方法，其特征在于，包括如下步骤:
[0013]SO1:采集图像，并将采集的数据记录在一个二维数组ImageBuffer[a] [b]中，其中a、b均为正整数；
[0014]S02:取二维数组ImageBuffer [a] [b]中的若干个行判断采集的图像是否为盲道；
[0015]S03:若当前是盲道，则判断盲道是否异常，包括盲道是否是弯道以及盲道上是否有障碍或坑洼；
[0016]S04:若盲道没有异常，则计算当前盲道中心线相对于图像中心线的偏移量，并转换为盲人需要向靠近盲道转向的角度；
[0017]S05:根据步骤S02、S03、S04的检测结果进行相对应的语音提示。
[0018]本发明的有益效果是:根据盲道的线条特征，采用主动视觉，快速准确捕捉盲道的特征，识别盲道的道路状况，引导盲人高效安全行进。该装置可以佩戴于脚踝与膝关节之间的小腿正前方，也可微型化成可佩戴的导盲眼镜，简便易用且低成本，适用于各种盲道，为盲人的行走提供方便。
【专利附图】
【附图说明】
[0019]图1是本发明一种便携式助行导盲装置及方法的结构示意图；
[0020]图2是本方法的流程图；
[0021]图3是本发明快速捕捉盲道的示意图；
[0022]图4是本发明盲道的弯道检测示意图；
[0023]图5是本发明三种盲道异常检测示意图。
【具体实施方式】
[0024]下面结合附图和具体的实施例对本发明技术方案作进一步的详细描述，以使本领域的技术人员可以更好的理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
[0025]如图1所示，一种便携式助行导盲装置，包括:
[0026]微型摄影头:用于采集图像；
[0027]路况检测模块:具体包括盲道识别模块和异常检测模块，其中，盲道识别模块根据微型摄影头采集的图像判断当前是否为盲道；若当前图像是盲道，则异常检测模块检测盲道是否异常。路况检测模块将处理后得到的路况信息传送给主控模块；
[0028]主控模块:根据路况检测模块反馈的检测信息控制语音提示模块进行相应的语音提示，语音提示模块让盲人到获得相应的语音提示，提示盲人前面的盲道路况并且该怎么走。其中包括:
[0029]I)若盲人偏离盲道的方向，则提示盲人需要进行相应的转向，以保证行进方向在盲道上；
[0030]2)若是前方盲道有严重损坏(如塌陷或有坑洼)或有障碍物，则提示盲人绕道，并且在绕出盲道时及时提示回到盲道的方向上去；
[0031]3)若是检测到盲道有转弯，则提示转弯方向，并及时给出相应的盲道前进方向。
[0032]收到语音提示后，盲人则作出相应的动作，来调整自己以便更好地在盲道上行走。
[0033]电源模块:为系统供电；
[0034]控制开关:控制系统工作的开启或关闭；
[0035]优选，还包括程序更新与USB接口，用于程序更新并提供USB接口。
[0036]该装置可佩戴于盲人的头部(类似矿工安全帽的矿灯)，也可微型化制成眼镜式佩戴装置，微型摄像头与行进方向一致并略向地面倾斜。使用时，通过控制开关打开电源模块，由主控模块启动微型摄像头获取行进前方路面图像，所获取的图像，经路况检测模块处理，通过语音提示，引导盲人在盲道上行走，并避开障碍和盲道的坎坷不平之处。本发明是一种简便易用的低成本佩戴式装置，且适用于各种盲道，为盲人的行走提供方便。
[0037]—种助行导盲方法，如图2所示，包括如下步骤:
[0038]SOl:采集图像，并将采集的数据记录在一个二维数组ImageBuffer[a] [b]中，其中a、b均为正整数；
[0039]如图3所示，显示的是一条正常的盲道，无塌陷、无障碍。由于各城市各地方的盲道颜色可能不同，所以不能通过检测盲道的颜色来检测，而绝大多数的盲道均为突出的椭圆状线条(即盲道突起部分)，所以本方法是通过检测出这些线条来检测出盲道的。
[0040]微型摄像头等采集装置采集当前盲道的图像信息，并且将其存至芯片内部定义好的一个二维数组ImageBuffer [a] [b](由于摄像头返回的每一个像素点为一个O到255的灰度值，所以该二维数组定义为unsigned char类型，a、b值可根据实际情况而定，如可取
a = 80, b = 240,即采集的图像为80*240, 二维数组ImageBuffer [a] [b]与图像是--对应关系)，后续可通过该二维数组对该图像进行处理。
[0041]S02:取二维数组ImageBuffer [a] [b]中的若干个行判断采集的图像是否为盲道；
[0042]为了快速捕捉到盲道信息，所以不能从每行的开始逐步对图像进行分析。这里主要是通过对存有图像信息的二维数组ImageBuffer[a] [b]进行数据分析，找出盲道线条边缘的点(即跳点)，从而根据这些跳点，判断出当前是否处于盲道，还可以根据由这些跳点算出来的线条的长和宽来判断当前是否是弯道，如果长宽相等，则可认为是弯道(相等说明盲道线条非线条而是圆点)。
[0043]步骤S02具体为:
[0044]al:取二维数组ImageBuffer [a] [b]中的若干行中的各自中央点(即每行中的中心点)，这些行最好是不相邻的，这里的若干行是根据获得图像的参数而定，关键是要能体现图像中整个盲道的大致特征，为了方便后续处理方法的阐述，这里取9行，等分成3组，分别对应为图像底部部分的中央点Al，A2，A3，中间部分的中央点BI，B2，B3，顶部部分的中央点Cl，C2，C3，需说明的是，图像底部部分为靠近盲人的部分，顶部部分为远离盲人的部分。
[0045]a2:对于每个点都采取同样的处理方式:从该点开始，分别向两边找，找出每一行的图像跳变的点(突出线条与周围连接处，若该行没有，则取其前一行或者后一行，直至找到该点)，并通过其左右两边的图像的暗亮程度记下它对应可能为线条的一边，并记录在一个二维数组Change_dots [X] [y]里面，其中，x取值0，1，2，3，4，5，6，7，8，分别为图像底部，中间，顶部所处理的9行；y为每行图像列值从小到大所检测到的第y个跳点，对应元素为第X行第y个跳点所在的列。
[0046]a3:对每行的跳点采取同样的处理方式:
[0047]判断这9行的跳点，从小到大依次取每行相邻的两个跳点且他们中所在列较小的一个认为是线条左边界跳点，较大的一个认为是线条右边界跳点，计算他们间的列差，若是列差小于一定值(该值由实际盲道线条宽度来确定)，则认为这两个相邻跳点间为盲道的线条(即盲道突起部分)，此时将定义好的用来存每行线条数的数组tiaodiancount [X]加l(x为所处理的行)；
[0048]之后采取相同的操作找完所有的点。
[0049]a4:分别判断第X行tiaodiancount [x]值的大小，当超过一定值时，贝U认为此处是盲道，否则不是。由于实际中盲道每行的线条数一般为5个以上，所以可以设置当tiaodiancount [X]值大于5时,则认为此处为盲道,否则不是。
[0050]若再将该9行所检测到的最小跳点和最大跳点(即列值从小到大所检测到的所有跳点中列值最小和最大的跳点，也是边界跳点)分别取出，通过线性计算补出中间缺失部分行的边缘跳点，则可认为最终得到的左右边缘跳点即为盲道的边沿，其围成的部分即为盲道，再求得左右边沿的中间点所在的列，即可得到盲道相对于盲人的偏移。
[0051]上述是一种快速捕捉盲道的步骤，其是对盲道的大致检测，即找到盲道所在的可能范围，但是精确度不高。因此，步骤a4之后，在盲道范围内找到所有的跳点，从图像底部到顶部，首先找出第一个无跳点的行和下一个无跳点的行，若是这些行中从右往左第N个跳点均满足在一条直线上，则认为此处是盲道，依次类推。即，步骤a4之后，则从首行(对应图像的底部部分)开始在该盲道范围内找到所有的跳点，当整幅图像的跳点均找完时，则开始处理存有跳点的二维数组Change_d0tS[X] [y]。从近到远，首先找出第一个无跳点的行，将其认为是前后两排突出线条间的缝隙，从该行开始，直到找到下一个无跳点的行，此时，通过分析这两个无跳点行间的图像，若是这些行中从右往左或从左往右第N个跳点均满足在一条直线上，则认为此处是盲道，再从该无跳点的行往后续的行找，同样的方式，若连续寻得两排被认为是盲道的突出线条，则认为此处是盲道。被判断出是盲道的部分，则分别再次确定其所对应的η行的起始跳点和终止跳点，再对这两个跳点所在列求平均值，再拿平均值与图像中点所在列求差，即可获得盲人行进方向与盲道间的偏离成度，对相邻跳点所在列求差，则可获得盲道线条的宽度，对相邻无跳点行求差，则可获得盲道线条的长度。
[0052]S03:若当前是盲道，则判断盲道是否异常，包括盲道是否是弯道以及盲道上是否有障碍或坑洼。
[0053]如图4所示是一条带有弯道的盲道，当盲人行走至盲道中的弯道时，由于盲道的弯道处会改变突起的形状，一般为圆形，所以检测凸起部分的变化即可以检测到弯道。这里我们需对盲道识别中得到的边缘跳点进行处理，首先我们分别求出快速识别中所取的9行中的最大跳点和最小跳点(边缘跳点)两者之间的列差(即盲道宽度)，根据图像，我们知道弯道部分盲道宽度要比直道部分的盲道宽度大的多，所以判断若是这9行中有不少于3行(该行数根据实际而定)其盲道宽度大于对应行直盲道宽度(取变量ZhiMangdaoffide[9]分别存取所取9行的盲道宽度，其值由盲人走于直盲道时去实时测量并存于其中)一定的值(该值由实际而定)，则认为当前可能为弯道，再从盲道较宽的几行中取出三行，分别取其中间且列差满足盲道突起的两个跳点，该跳点间即为盲道突起部分，列差记录于WandaoLieCha[3]数组中，再对其中每一组跳点进行处理，以该组跳点为中心，分别对其前后两行进行跳点检测，若该两行中任意一个满足盲道，则再取其前一个或后一个未检测的行进行盲道检测，直至出现检测的两行均无跳点，记录下此两行的行差于WandaoHangCha [3]数组中，最后判断检测弯道的三行是否均满足(WandaoHangCha [x] -WandaoLieCha[x]〈Z) (x取O, I, 2, Z根据实际而定)，若是满足，则可认为当前为弯盲道。
[0054]若是弯道，取上述检测弯道的三行进行判断，若是该三行左边界跳点与直盲道对应行及边界跳点列差较大(判断基准值据实际测量而定)，而右边界的列差很小，则判定为左转，反之，若是该三行右边界跳点与直盲道对应行及边界跳点列差较大(判断基准值据实际测量而定)，而左边界的列差很小，则判定为右转。
[0055]盲道上是否有障碍或坑洼的具体判断步骤为:当盲道范围内跳点失去了连续性以及共线性，且不连续行的宽度超过一定值，则判断盲道上有障碍或坑洼。
[0056]如图5所示是三种盲道异常情况的示意图，在这里，由于盲道上坑洼或者障碍在图像上显示出的特征类似，均为使得盲道失去了连续性以及共线性，如图5，黑色区域即为坑洼或障碍，由图可以看出，盲道在该处前后无法衔接，出现了突起在该部分丢失，即盲道在该部分失去了连续性；又由于正常盲道(非弯道)的每一列突起均在一条直线上(即共线)，而由于坑洼或障碍的出现，其所在部分盲道丢失，在该区域盲道突起也就不存在共线性了。由于盲道遇到坑洼或者障碍，做出的反应均为绕道而行，所以这里将他们放在一起处理。首先通过图像按照上述判断盲道的方法，找出图像中正常的盲道部分(即跳点数目大于一定值，该值由实际情况而定，跳点数目连续N行小于该值则认为该处可能为异常，N由实际而定)，再判定可能为异常的部分位于整幅图像的哪一部分，这里区别为以下三部分:异常可能位于正常盲道靠近盲人的一方(如图5c),也可能位于其远离盲人的一方(如图5a)，也可能位于其中间(如图5b)(这里取异常在盲人前方1.8米以内才进行异常判断)。
[0057]若是异常位于靠近盲人的一方，则从正常的盲道开始，按照靠近盲人的方向，对图像进行处理，取正常盲道前一行，进行跳点检测，若是该行跳点小于一定值(该值同上判断正常盲道所用的值)，则异常宽度计数变量YichangCount加I，检测完再对更前一行进行相同处理，直至检测到最开始的一行；；若是位于远离盲人的一方，则从正常盲道开始，按照远离盲人的方向，对图像进行处理，取正常盲道后一行，进行跳点检测，若是该行跳点小于一定值，则异常宽度计数变量YichangCount加I，检测完再对更后一行进行相同处理，直至检测到距盲人1.8米处的一行；若是位于正常盲道之间，取近处正常盲道后一行，进行跳点检测，若是该行跳点小于一定值，则异常宽度计数变量YichangCount加1，检测完再对更后一行进行相同处理，直至检测到正常盲道。三种情况，最终均得到盲人前方1.8米以内异常的宽度，若是该宽度小于一定值(该值由实际情况而定，该值需小到可以忽略该障碍)，则忽略该异常，认为此处仍为正常盲道，可继续前行；否则，则提示盲人绕道而行。
[0058]S04:若盲道没有异常，则计算当前盲道中心线相对于图像中心线的偏移量，并转换为盲人需要向靠近盲道转向的角度。
[0059]S05:根据步骤S02、S03、S04的检测结果进行相对应的语音提示。
[0060]根据盲道的线条特征，采用主动视觉，快速准确捕捉盲道的特征，识别盲道的道路状况，引导盲人高效安全行进。该装置可以佩戴于脚踝与膝关节之间的小腿正前方，也可微型化成可佩戴的导盲眼镜。
[0061]以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或者等效流程变换，或者直接或间接运用在其他相关的【技术领域】，均同理包括在本发明的专利保护范围内。
【权利要求】
1.一种便携式助行导盲装置，其特征在于，包括: 微型摄影头:用于采集图像； 路况检测模块:具体包括盲道识别模块和异常检测模块，其中，盲道识别模块根据微型摄影头采集的图像判断当前是否为盲道；若当前图像是盲道，则异常检测模块检测盲道是否异常； 主控模块:根据路况检测模块反馈的检测信息控制语音提示模块进行相应的语音提示； 电源模块:为系统供电； 控制开关:控制系统工作的开启或关闭。
2.根据权利要求1所述的一种便携式助行导盲装置，其特征在于，还包括程序更新与USB 接口。
3.一种助行导盲方法，其特征在于，包括如下步骤: 501:采集图像,并将采集的数据记录在一个二维数组ImageBuffer [a] [b]中，其中a、b均为正整数； 502:取二维数组ImageBuffer [a] [b]中的若干个行判断采集的图像是否为盲道； S03:若当前是盲道，则判断盲道是否异常，包括盲道是否是弯道以及盲道上是否有障碍或坑洼； 504:若盲道没有异常，则计算当前盲道中心线相对于图像中心线的偏移量，并转换为盲人需要向靠近盲道转向的角度； 505:根据步骤S02、S03、S04的检测结果进行相对应的语音提示。
4.根据权利要求3所述的一种助行导盲方法，其特征在于，步骤S02具体为: al:取二维数组ImageBuffer [a] [b]中的h行的各自中央点； a2:对于每个点都采取同样的处理方式:从该点开始，分别向两边找，找出每一行的图像跳变的点，并记录在一个二维数组Change_dots[x] [y]里面，其中，x取值O, I, 2, 3......,h,分别为图像所处理的h行；y为每行图像列值从小到大所检测到的第y个跳点，对应元素为第X行第I个跳点所在的列； a3:对每行的跳点采取同样的处理方式: 从小到大依次取每行相邻的两个跳点且他们中所在列较小的一个认为是线条左边界跳点，较大的一个认为是线条右边界跳点，计算他们间的列差，若是列差小于一定值，则认为这两个相邻跳点间为盲道的线条，此时将定义好的用来存每行线条数的数组tiaodiancount[X]力口 I ; a4:分别判断第X行tiaodiancount [X]值的大小，当超过一定值时，则认为此处是盲道，否则不是。
5.根据权利要求4所述的一种助行导盲方法，其特征在于，将h行所检测到的最小跳点和最大跳点分别取出，通过线性计算补出中间缺失部分行的边缘跳点，则得到的左右边缘跳点即为盲道的边沿，再求得左右边沿的中间点所在的列，得到盲道相对于盲人的偏移。
6.根据权利要求4所述的一种助行导盲方法，其特征在于，步骤a4之后，在盲道范围内找到所有的跳点，从图像底部到顶部，首先找出第一个无跳点的行和下一个无跳点的行，若是这些行中从右往左第N个跳点均满足在一条直线上，则认为此处是盲道，依次类推。
7.根据权利要求6所述的一种助行导盲方法，其特征在于，步骤S03中盲道是否是弯道的具体判断步骤为:检测出凸起部分并计算宽度和长度，若两者相等，则此处为弯道。
8.根据权利要求7所述的一种助行导盲方法，其特征在于，若是弯道，检测弯道图像的起始跳点和终止跳点，若该两个跳点和前一个非弯道处的一行的起始跳点和终止跳点相比较，若是左端两个跳点列差超过一定值，右边正常，则此处为左拐，反之，若是右端两个跳点列差超过一定值，左边正常，则此处为右拐。
9.根据权利要求6所述的一种助行导盲方法，其特征在于，步骤S03中盲道上是否有障碍或坑洼的具体判断步骤为:当盲道范围内跳点失去了连续性以及共线性，且不连续行的宽度超过一定值，则判断盲道上有障碍或坑洼。
【文档编号】A61H3/06GK104173174SQ201410419797
【公开日】2014年12月3日 申请日期:2014年8月22日 优先权日:2014年8月22日
【发明者】刘小峰, 王程程, 蒋爱民, 周旭, 周小芹, 刘策 申请人:河海大学常州校区