一种视障人士用便携式智能导盲设备及导盲方法与流程

本发明涉及导盲设备技术，尤其涉及一种视障人士用便携式智能导盲设备及导盲方法。

背景技术：

在中国，视障人群是一个很大的弱势群体。但我国社会导盲设备现状却仍存在很多问题亟待解决，这两者之间形成了强烈矛盾：我国盲人出行基础设施还十分不完善、不规范，且设施完善所需时间周期较长；常见辅助工具主要有导盲杖和导盲犬两种，然而导盲杖功能过于局限而导盲犬可控性差且价格昂贵——社会急需新型导盲设备。

现有的导盲设备以超声波等手段为主，此类方式大多以窄范围内测距为基础，难以适应复杂多变的实际路况，在及时性、准确性、稳定性、普适性等多方面存在问题。在国内外市场中，商业化的智能导盲产品为数不多，同时大多有传感技术落后，欠智能化且人机交互困难的通病，并没有大面积推广，同时也存在成本高昂，定价过高的情况。盲道识别实际上属于图像场景识别，通过对图像内容信息检索进行图像分类，在此领域中有着许多的相关研究：或是使用基于特征提取的深度学习，在获取大数据后进行深度学习模型训练，但需要计算量较大，不适用于嵌入式应用场景的内存受限等特殊需求。或是基于纹理或模型方法对处理单幅盲道图像，同样计算量较大，实时性较差，且不易对盲道的道路情况进行具体分析。或是需要对现有盲道添加外设，如增设uhf标签，之后才可进行识别，虽效果较好，但对使用环境要求过高，不适用于现今绝大多数使用场景。另一方面，企业缺乏与盲人使用者的深入沟通了解，对用户体验和需求把握有偏差，且收集用户意见反馈环节较为薄弱，研发的产品存在标志性过强、操作复杂、可靠性低等弊端，甚至引发了盲人群体的抵触情绪。

技术实现要素：

为了克服现有技术的不足，本发明的目的在于提供一种智能化的及时、准确、稳定和普适性强的导盲设备。

本发明的目的采用以下技术方案实现：

一种视障人士用便携式智能导盲设备，所述智能导盲设备包括便携式机体、控制器、体征传感器、摄像头和耳机，设备还包括云服务系统和实时定位系统，在所述便携式机体上设置盲道、换乘和紧急呼救按键，通过置于用户颈部的摄像头实时采集环境图像信息传送给所述控制器，通过所述实时定位系统获取用户实时位置信息传送给所述控制器，通过体征传感器获取用户的实时生命体征信息传送给所述控制器、所述控制器对环境图像信息、实时位置信息和生命体征信息进行处理并通过耳机、云服务系统的网页或浏览器向用户、家属、志愿者或医疗机构提供盲道指示、地铁站内换乘、安全监护和紧急呼救信息。

优选的，实时定位系统包括gps和uwb，由gps实现室外定位，由uwb实现室内定位，并通过云服务器使得用户、家属、志愿者或医疗机构能够通过浏览网页或手机客户端实时得知用户的身体状态和地理位置。

优选的，所述体征传感器包括体温传感器和心率传感器，所述耳机采用骨传导耳机。

优选的，所述控制器采用嵌入式集成控制器，优选为stm32f407zgt控制器，所述控制器集成了包括语音识别、定位、按键、体征监测、换乘规划、报警、语音播报的功能模块，控制器实时解算来自各子模块的实时数据，并在综合传感数据后，得出用户所处的环境情况及自身状态，完成信息采集传输和智能指令导盲功能。

优选的，语音识别模块选用讯飞xfmt101，通过uart作为通信接口，以stm32解析识别结果，利用jq8400fl芯片进行语音播报，实现人机交互。

优选的，gps选用了具有高灵敏度、低功耗等特点的neo-6m芯片，配合以max2659芯片进行信号放大，在保证准确度与较小静态漂移的同时，控制了功耗及体积。

优选的，gprs模块选用sim800c，低功耗实现语音、sms和数据信息的传输。

优选的，实时定位系统选用dwm1000，对于多路径衰弱有更强的抗干扰能力，在高衰弱环境下也可以进行可靠的通信。

优选的，所述便携式机体的尺寸为10cm*10cm*5cm。

一种采用上述智能导盲设备的导盲方法，通过摄像头实时采集环境图像信息传送给所述控制器，通过所述实时定位系统获取用户实时位置信息传送给所述控制器，所述控制器对环境图像信息和实时位置信息进行处理以实现盲道指示、地铁站内换乘、安全监护和紧急呼救功能。

优选的，所述盲道指示功能通过以下步骤实现：

步骤s101：按下盲道指示按键，位于颈部的摄像头开启，采集环境图像，传至控制器；

步骤s102：fpga对采集到图像进行流水线化操作，将任务划分为了多个符合费林分类法simd原则的高并行度处理结构，依次为视频流采集单元、色彩空间转换及阈值分割单元、形态学开运算及判定单元、盲道状态分析单元、障碍检测单元、vga显示单元，最后利用cnn卷积神经网络工具进行系统优化；

步骤s103：经骨传导耳机将道路状况信息播报给用户，指示盲道方位、通畅程度以及转向信息。

优选的，所述站内换乘功能通过以下步骤实现：

步骤s201：采用基于tof的定位算法，由标签节点和远程基站节点的双向通讯，定期地发送poll数据包以及应答ack数据包来测量标签节点和远程基站之间的传输时间，再通过标签节点与多个基站的传输时间来确定标签节点的位置；

步骤s202：在三维空间中，至设标签节点的位置为(x，y，z)，通过n(n≥4)个半径为di球面的交点决定，可建立如下的方程组：

由上述方程式可解得(x，y，z)；

在进入地铁站时或者之前，用户可预设好目的地，进入地铁站后，设备标签节点接入地铁站室内导航网络，上传当前位置与目的地信息给服务器端，服务器端会以每个盲道的交叉点作为顶点，通过dijkstra最短路算法，计算地铁站内的合适的路径，并回送给设备；

步骤s203：设备由uwb判断使用者的实际位置，结合服务器端的回送信息，在经过每个站点时，通过语音的形式，向使用者实时播报行径路线；在到达地铁等待处后，语音提醒使用者在特定位置等候，同时通过网络获取地铁的到达信息，以在地铁入站后准时提醒使用者。

步骤s204：下地铁后，标签节点再次计算一条合适路径，以语言播报的形式引导使用者离开地铁站；离开地铁站后，设备自动从室内定位模式切换到室外定位模式，继续提供导航。

优选的，所述安全监护和紧急呼救功能通过以下步骤实现：

步骤s301：通过gps和uwb建立室内外定位系统获取用户实时位置；

步骤s302：以个人电脑为服务端，以网页显示为客户端的系统，框架运用springboot，并运用websocket子协议stomp协议实现客户端和服务端的数据互通；控制器收到经纬度坐标，通过gprs发送http请求，请求中带有json格式的经纬度坐标；

步骤s303：通过stomp协议，电子地图api定位函数接口收到经纬度坐标，在网页上显示用户当前的位置；使用mongodb对数据进行存储与分析；

步骤s304：将地理位置信息、生命体征信息通过网页形式或客户端app传送给用户、家属、社区工作人员、志愿者或医疗结构查阅，若地理位置信息超出安全范围或生命体征信息不正常则向用户、家属、社区工作人员、志愿者或医疗机构发出警报信息，用户按下紧急呼救按键，向周围发出求救信号。

优选的，springboot框架使用stomp协议包括以下步骤：

①.添加pom文件依赖；

②.java方式配置websocketstomp；

③.消息实体类；

④.书写控制层；

⑤.书写客户端。

相比现有技术，本发明的有益效果在于：基于fpga的图像处理技术，通过高速流水线与高度并行化的机制，实现超高速的图像处理，提高及时性；使用基于颜色与纹理特征的方式进行盲道识别，并运用机器学习的算法，通过大量的样本数据的训练，极大地提高了盲道识别的准确率，保证了设备稳定性和可靠性；由gps室外定位、uwb室内定位技术以及云服务器共同组成实时定位系统，切实保障使用者的安全；此外，站内换乘功能、灵巧便携的外观设计以及简便的操作方法紧密贴合视障人士的需求，具有较高的普适性。

附图说明

图1为本发明视障人士出行佩戴便携式智能辅具的示意图；

图2为本发明视障人士出行便携式智能辅具的系统分工图；

图3为本发明视障人士出行便携式智能辅具的arm嵌入式处理器及相关功能芯片示意；

图4为本发明视障人士出行便携式智能辅具的工作流程图；

图5为本发明提供的一种fpga流水线化并行图像处理方法；

图6为本发明实施例采集的一种hsv分量效果图，从左至右依次为原图、h分量、s分量、v分量；

图7为本发明提供的一种膨胀腐蚀实现示意图；

图8为本发明实施例采集的一种盲道障碍物检测效果图；

图9为本发明实施例采集的一种盲道在强反光条件下的系统效果图；

图10为本发明实施例采集的一种盲道在阴影条件下的系统效果图；

图11为本发明提供的一种uwb系统示意图；

图12为本发明实施例提供的用户定位在网页端的显示情况；

图13为本发明实施例提供的用户定位在app端的显示情况。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种视障人士用便携式智能导盲设备，所述智能导盲设备包括便携式机体、控制器、体征传感器、摄像头和耳机，设备还包括云服务系统和实时定位系统，在所述便携式机体上设置盲道、换乘和紧急呼救按键，通过置于用户颈部的摄像头实时采集环境图像信息传送给所述控制器，通过所述实时定位系统获取用户实时位置信息传送给所述控制器，通过体征传感器获取用户的实时生命体征信息传送给所述控制器、所述控制器对环境图像信息、实时位置信息和生命体征信息进行处理并通过耳机、云服务系统的网页或浏览器向用户、家属、志愿者或医疗机构提供盲道指示、地铁站内换乘、安全监护和紧急呼救信息。

具体的，一种视障人士出行便携式智能辅具或设备，其功能包括以下内容：

功能(1)，盲道指示功能。总电源开启后，按下“盲道”键，启动盲道指示模式。设备分析当前盲道状况，通过骨传导耳机向使用者报告盲道方位、盲道通畅情况等信息。

功能(1)中，选用xilinx的virtex-5作为主要运算核心，将任务划分为了多个符合费林分类法simd原则的高并行度处理结构，依次为：视频流采集单元、色彩空间转换单元、阈值分割单元、形态学开运算及判定单元、盲道状态分析单元、障碍检测单元、vga显示单元，各独立单元之间采用高速数据流的形式链接，实现了每秒千帧的高速并行图像处理。

功能(1)中，图像处理方面，针对盲道颜色纹理特征使用了颜色空间转换，阈值分割，形态学滤波等图像处理技术，并利用卷积神经网络工具进行系统优化，实现准确的盲道识别。

功能(2)，站内换乘功能。按下“换乘”键，启动地铁站内换乘模式。由于地铁站内盲道铺设健全完整，设备结合室内定位，规划最佳盲道换乘路线，通过骨传导语音，引导视障人士独立便捷换乘。

功能(2)中，在通过uwb获取使用者实时位置之后，系统结合实际地铁站空间路线模型，通过实时语音的形式，向使用者实时播报可能的行径路线，实现独立换乘。

功能(3)，系统还配有相关云服务器，使得使用者家属与相关志愿者能够通过浏览网页或app的方式，实时得知使用者的身体状态和地理位置等信息。

功能(3)中，经过盲人及其家属授权之后，通过使用无线上网卡，盲人可以通过4g网络与云服务器连接。云服务器主要负责提供信息记录与可视化的查询、分析功能。盲人的地理位置信息与生命体征将会被实时上传至服务器。

其中，地理位置信息包括目前的位置、行走过的轨迹等，盲人的生命体征包括心率、体温等数值。

功能(4)，紧急呼救功能。按下“紧急呼救”按钮或检测到使用者生命体征出现异常时，其位置和呼救信息传至网页和app的社区端，家属和志愿者可与其取得联系，提供及时帮助。

功能(4)中，若生命体征数值在一段时间内产生了较大波动，报警信息(包括生命体征和位置信息)会通过短信发送给家属，同时在网页端或app显示，保证家属或是附近志愿者提供及时有效的帮助。

参见图1，导盲辅具或导盲设备的便携式机体外形尺寸大小为10cm*10cm*5cm，有“盲道”、“换乘”、“紧急呼救”三个按键，实现上述四大功能。便携式机体中内置核心运算器、控制器及各功能模块所需硬件，实现分布式异构计算，实现盲道指示、站内换乘、安全监护、紧急呼救等功能；摄像头置于用户颈部，用于获取道路图像信息；骨传导耳机实现人机交互，同时不影响用户接收环境声音。

参见图2，一个实施例的导盲辅具的系统分工图，其中本发明采用fpga-arm-云服务器架构，采用基于cortex-m4内核的arm处理器作为核心处理芯片，连接各传感、控制、通信芯片，实现了状态采集、实时控制、语音交互、通信定位等功能，图3为控制器的硬件构成；采用xilinx的virtex-5系列fpga进行硬件加速，利用了嵌入式视觉的方法，以每秒千帧的处理速度，分析来自摄像头的实时环境影像；此外，系统还配有相关云服务器，结合gps和uwb定位技术，使得使用者家属与相关志愿者能够通过浏览网页和app的方式，实时得知使用者的身体状态和地理位置等信息。

本设备的控制器采用嵌入式集成控制器，优选为stm32f407zgt控制器，所述控制器集成了包括语音识别、定位、按键、体征监测、换乘规划、报警、语音播报的功能模块，控制器实时解算来自各子模块的实时数据，并在综合传感数据后，得出用户所处的环境情况及自身状态，完成信息采集传输和智能指令导盲功能。

其中，传感器中的体征传感器包括体温传感器和心率传感器，所述耳机采用骨传导耳机。

其中，语音识别模块选用讯飞xfmt101，通过uart作为通信接口，以stm32解析识别结果，利用jq8400fl芯片进行语音播报，实现人机交互。

实时定位系统包括gps和uwb，由gps实现室外定位，由uwb实现室内定位，并通过云服务器使得用户、家属、志愿者或医疗机构能够通过浏览网页或手机客户端实时得知用户的身体状态和地理位置。优选的，实时定位系统选用dwm1000，对于多路径衰弱有更强的抗干扰能力，在高衰弱环境下也可以进行可靠的通信。

其中，gps选用了具有高灵敏度、低功耗等特点的neo-6m芯片，配合以max2659芯片进行信号放大，在保证准确度与较小静态漂移的同时，控制了功耗及体积。gprs模块选用sim800c，低功耗实现语音、sms和数据信息的传输。

图4为本发明一个实施例的导盲辅具的工作流程图，其中包括四大功能的实现步骤。

功能(1)：盲道指示

步骤s101：按下“盲道指示”按钮，位于颈部的摄像头开启，采集环境图像，传至运算器。

步骤s102：fpga对采集到图像进行流水线化操作，将任务划分为了多个符合费林分类法simd原则的高并行度处理结构，如图4所示，依次为：视频流采集单元、色彩空间转换及阈值分割单元、形态学开运算及判定单元、盲道状态分析单元、障碍检测单元、vga显示单元，最后利用cnn(卷积神经网络)工具进行系统优化。图5～10为本发明实施例采集的图像处理效果图。

步骤s103：经骨传导耳机将道路状况信息播报给用户，指示盲道方位、通畅程度以及转向信息。

功能(2)：站内换乘

步骤s201：本作品采用基于tof的定位算法，由标签节点和远程基站节点的双向通讯，定期地发送poll数据包，以及应答ack数据包，来测量标签节点和远程基站之间的传输时间，再通过标签节点与多个基站的传输时间来确定标签节点的位置。图11为本发明提供的一种uwb系统示意图。

步骤s202：在三维空间中，至少需要4个基站，利用它们所做的球面的交点，才能确认标签的位置，假设系统中有n个基站，设标签节点的位置为(x，y，z)，通过n(n≥4)个半径为di球面的交点决定，可建立如下的方程组：

由上述方程式可解得(x，y，z)。

在进入地铁站时或者之前，使用者可预设好目的地，进入地铁站后，设备标签节点接入地铁站室内导航网络，上传当前位置与目的地信息给服务器端，服务器端会以每个盲道的交叉点作为顶点，通过dijkstra最短路算法，计算地铁站内的合适的路径，并回送给设备。

步骤s203：设备由uwb判断使用者的实际位置，结合服务器端的回送信息，在经过每个顶点时，通过语音的形式，向使用者实时播报行径路线。在到达地铁等待处后，语音提醒使用者在特定位置等候，同时通过网络获取地铁的到达信息，以在地铁入站后准时提醒使用者。

步骤s204：下地铁后，标签节点再次计算一条合适路径，以语言播报的形式引导使用者离开地铁站；离开地铁站后，设备自动从室内定位模式切换到室外定位模式，继续提供导航。

室内定位模式通过uwb定位使用者可以按照语音提示安全且便捷地享受公共交通带来的便利，引导视障人士独立便捷换乘。

功能(3)(4)：安全监护与紧急呼救

步骤s301：通过gps和uwb建立室内外定位系统获取用户实时位置；

步骤s302：本作发明搭建以个人电脑为服务端，以网页显示为客户端的系统，框架运用springboot，并运用websocket子协议stomp协议实现客户端和服务端的数据互通。单片机收到经纬度坐标，通过gprs发送http请求，请求中带有json格式的经纬度坐标；

步骤s303：通过stomp协议，百度地图api定位函数接口收到经纬度坐标，随即在网页上显示用户当前的位置。而后使用mongodb对数据进行存储与分析。

其中，springboot框架使用stomp协议包括以下步骤：

①.添加pom文件依赖；

②.java方式配置websocketstomp；

③.消息实体类；

④.书写控制层；

⑤.书写客户端。

步骤s304：地理位置信息包括目前的位置、行走过的轨迹等等。这些数据可以被获得授权的家属、社区工作人员与志愿者查阅。盲人的家属也可以为盲人设置安全区域。当盲人离开安全区时，将会收到语音提醒，同时盲人的家属也会立刻收到短信消息，盲人的生命体征包括心率、体温等数值。若这些数值在一段时间内产生了较大波动，报警信息会通过短信直接发送给盲人的家属或是社区相关工作人员。如遇突发状况，用户也可利用“紧急呼救”按钮求助。这些措施都为盲人的出行提供了有效的保障。本部分方便使用者的家人实时获得使用者的实时位置等信息，以防意外的发生，保障了使用者的安全。

图12～13为本发明实施例提供的用户定位在网页端和客户端的显示情况。

本发明不同于其他新型导盲辅具的做法，基于fpga的图像处理技术，通过高速流水线与高度并行化的机制，实现超高速的图像处理，提高及时性；使用基于颜色与纹理特征的方式进行盲道识别，并运用机器学习的算法，通过大量的样本数据的训练，极大地提高了盲道识别的准确率，保证了设备稳定性和可靠性；由gps室外定位、uwb室内定位技术以及云服务器共同组成实时定位系统，切实保障使用者的安全；此外，站内换乘功能、灵巧便携的外观设计以及简便的操作方法紧密贴合视障人士的需求，具有较高的普适性。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。