一种基于深度学习的盲人辅助用头戴装置及其使用方法与流程

1.本发明涉及盲人辅助设备技术领域，具体为一种基于深度学习的盲人辅助用头戴装置及其使用方法。


背景技术：

2.盲人是指视觉有障碍的人，视障人士主要分为两类，分为全盲和半盲。全盲，对光失去反应。二为弱视，盲人的活动会因视觉障碍受到限制，据世界卫生组织在2019年提供的数据显示，中国大陆盲人约有1700万。盲人群体在我国乃至世界都是不可忽视的弱势群体，其生活质量也影响着社会发展。
3.传统盲人导航方法只能检测出路径上存在的静止障碍物，无法检测出运动障碍物，只是简单的收集语音信号，利用语音识别模型获取语音特征参数，根据语音特征参数识别出盲人输入的语音序列内容，确定盲人所要到达的目的地，构建障碍物检测模型，检测盲人所在位置与其目的地路径上障碍物的形状特征及其运动方向、速度，并计算初始位置与到达位置的距离，但是这种方法识别的效果并不准确，无法进行红绿灯和道路的类型判定，从而无法准确的实时给盲人用户提供帮助。


技术实现要素：

4.本发明的目的在于提供一种基于深度学习的盲人辅助用头戴装置及其使用方法，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供一种基于深度学习的盲人辅助用头戴装置，包括控制模组和语音识别模组，所述语音识别模组下方固定有头戴夹脚，保证了佩戴的稳定性，所述语音识别模组包括横向卡带、扬声器、语音识别控制板和若干个usb转ttl接口，由于语音识别控制板电平逻辑和pc机通信接口的电平逻辑不同，pc机上的通信接口有usb接口，相应电平逻辑遵照usb原则，语音识别控制板固定在所述横向卡带和所述扬声器之间，且若干个usb转ttl接口焊接在语音识别控制板内侧，方便进行数据的下载和连接，所述控制模组包括弯曲座、拆卸螺口、控制主板和填充海绵，所述弯曲座下方固定有所述拆卸螺口，且控制主板外侧包裹有亚力克板，亚克力板外侧包裹有所述填充海绵，亚力克板保护了控制主板，利用填充海绵提高了佩戴的舒适性，拆卸螺口更加方便进行维修，所述弯曲座上方设定有顶部调整机构，顶部调整机构包括头戴弯梁、固定卡口和顶部填充体，所述头戴弯梁底部末端分别连接有所述固定卡口，且所述头戴弯梁下方填充有所述顶部填充体，利用顶部头戴弯梁和固定卡口的抽拉连接，使得用户长时间佩戴不劳累。
6.所述顶部填充体内部设置有神经网络运行模组，所述神经网络运行模组包括神经网络运行主控板、横向管、出风口、集线口、插入柱、拆卸板和通信总线，且神经网络运行主控板安装在所述拆卸板底部，方便神经网络运行模组并且保证了内部的稳定性。两侧的所述插入柱上方安装有所述集线口，且所述集线口的总线连接在所述通信总线上，利用通信总线和所述集线口的设计使得两块控制板之间的通信线材更加整洁，使得后期维修方便。
所述通信总线的末端接口上至少设置有两个spi和iic接口，且所述通信总线贯穿在所述横向管内部，多路通信接口方便外设的连接和扩展。所述拆卸板下方的神经网络运行主控板通过can通信总线连接在所述控制模组的控制主板上，使得神经网络运行主控板和控制模组之间稳定的通信，且低延迟。所述插入柱下方插入有侧板，所述侧板内侧通过弯曲折口连接有松紧背，使得大小调节方便，给佩戴用户带来了舒适新。所述侧板外侧安装有调整装置，所述调整装置和所述侧板之间固定有卡板，保证了调整装置的稳定性。所述调整装置包括凹口、旋钮和调整面板，所述凹口外侧安装有所述旋钮，所述旋钮内部通过uart串口连接有所述调整面板，利用外部控制按钮和内部pcb板之间的通信。所述调整面板下方固定有外pcb板保护壳，所述外pcb板保护壳下方设置有下驰面，使得pcb得到了保护，并且外观更加美观。
7.本发明还提供一种基于深度学习的盲人辅助用头戴装置使用方法，包括以下步骤：
8.s1、首先后端服务器进行pytorch环境的搭建，然后进行数据集的构建，将道路和红绿灯数据转化，能够将数据转为numpy数组即可，通过numpy数据可以转化为pytorch所需的tensor，对于图像数据，可以直接通过opencv，pillow处理，语音数据可以通过scipy和librosa来处理成numpy，然后进行数据的训练。
9.s2、初始化卷积神经网络权值，训练开始，首先进入输入训练集，通过给定输入向量和给定目标输出，进行卷积层、池化层和全链接层，然后进行目标值的比对，随后判定输出偏量是否在范围内，如果不是在范围内，随后进入神经元误差的计算，随后计算误差梯度，此时需要计算出卷积神经网络输出值与理想值之间的误差，当误差高于理想值时，需要将误差传回卷积神经网络中，并将所有误差相加，得到卷积神经网络总误差。然后更新权值到神经网络的前期，随后再次进入卷积层、池化层和全链接层判定，如此反复，最后如果输出偏量在范围内就完成了训练。
10.s3、将训练好的权重文件导入神经网络运行模组13中，语音识别模组7进行信号的接收，用户通过语音进行输入目的地，导航语音识别过程中，首先需要先收集语音信号，然后对收集到的语音信号处理，并提取语音信号特征，使得导航具有语音识别功能。针对语音信号预加重处理，使盲人说话时使信号的频谱变得平坦，可以提高导航过程中盲人语音识别的效果，随后控制模组6进行网络连接并且规划当前最优路径，随后神经网络运行模组运行，通过头戴弯梁2下方的摄像头模组进行信息数据的采集，然后传输到神经网络运行模组13进行权重文件的调用，分别红绿灯和道路进行为，然后将信号传输到控制模组6。
11.s4、用户在行走的时候gps、超声波和惯性制导模组分别与控制模组6连接，惯性测量模组包括加速度计和陀螺仪，3个自由度陀螺仪用来测量用户的三个转动运动，3个加速度计用来测量用户的3个平移运动的速度。计算机根据测得的加速度信号计算出用户的速度和位置数据，随后联动超声波和gps进行数据的融合，系统所使用的神经网络控制模组中内建了opencv环境，可以通过神经网络算法识别如红绿灯、人行道、各种障碍物等特定物体，并给予用户反馈，当前方有障碍物时，助行器会提示用户注意障碍，当前方交通灯为红灯时，助行器会提示用户停止穿越路口，利用机器视觉技术障碍物信息，并利用建立的障碍物检测模型搜索障碍物位置，利用扬声器5即时播报，规划用户进行行走。
12.与现有技术相比，本发明的有益效果是：本发明深度学习中的卷积神经网络和语
音识别模型，让盲人使用的导航工具具有障碍物识别和路径规划等多种功能，且在规划路径的过程中，可以免受其他外界因素的干扰，更好地帮助盲人躲避路径上存在的障碍物，利用卷积神经网络对道路和红绿灯的判定，最后通过语音模块进行实时播报，对盲道上的行人进行检测与识别,判断盲道上的障碍物，使得盲人进行佩戴的时候舒适且安全。
附图说明
13.图1为本发明整体装置正视图；
14.图2为本发明神经网络运行模组结构图；
15.图3为本发明内部佩戴模组整体结构图；
16.图4为本发明神经网络训练流程图；
17.图5为本发明整体运行流程图。
18.图中：1
‑
头戴夹脚；2
‑
头戴弯梁；3
‑
固定卡口；4
‑
弯曲座；5
‑
扬声器；6
‑
控制模组；7
‑
语音识别模组；8
‑
顶部填充体；9
‑
拆卸螺口；10
‑
横向卡带；11
‑
填充海绵；12
‑
出风口；13
‑
神经网络运行模组；14
‑
横向管；15
‑
集线口；16
‑
通信总线；17
‑
拆卸板；18
‑
插入柱；19
‑
弯曲折口；20
‑
侧板；21
‑
下驰面；22
‑
外pcb板保护壳；23
‑
卡板；24
‑
凹口；25
‑
调整装置；26
‑
旋钮；27
‑
调整面板；28
‑
松紧背。
具体实施方式
19.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.请参阅图1
‑
5，本发明提供一种基于深度学习的盲人辅助用头戴装置，包括控制模组6和语音识别模组7，所述语音识别模组7下方固定有头戴夹脚1，保证了佩戴的稳定性，所述语音识别模组7包括横向卡带10、扬声器5、语音识别控制板和若干个usb转ttl接口，由于语音识别控制板电平逻辑和pc机通信接口的电平逻辑不同，pc机上的通信接口有usb接口，相应电平逻辑遵照usb原则，语音识别控制板固定在所述横向卡带10和所述扬声器5之间，且若干个usb转ttl接口焊接在语音识别控制板内侧，方便进行数据的下载和连接，所述控制模组6包括弯曲座4、拆卸螺口9、控制主板和填充海绵11，所述弯曲座4下方固定有所述拆卸螺口9，且控制主板外侧包裹有亚力克板，亚克力板外侧包裹有所述填充海绵11，亚力克板保护了控制主板，利用填充海绵11提高了佩戴的舒适性，拆卸螺口9更加方便进行维修，所述弯曲座4上方设定有顶部调整机构，顶部调整机构包括头戴弯梁2、固定卡口3和顶部填充体8，所述头戴弯梁2底部末端分别连接有所述固定卡口3，且所述头戴弯梁2下方填充有所述顶部填充体8，利用顶部头戴弯梁2和固定卡口3的抽拉连接，使得用户长时间佩戴不劳累。
21.所述顶部填充体8内部设置有神经网络运行模组13，所述神经网络运行模组13包括神经网络运行主控板、横向管14、出风口12、集线口15、插入柱18、拆卸板17和通信总线16，且神经网络运行主控板安装在所述拆卸板17底部，方便神经网络运行模组并且保证了内部的稳定性。两侧的所述插入柱18上方安装有所述集线口15，且所述集线口15的总线连
接在所述通信总线16上，利用通信总线16和所述集线口15的设计使得两块控制板之间的通信线材更加整洁，使得后期维修方便。所述通信总线16的末端接口上至少设置有两个spi和iic接口，且所述通信总线16贯穿在所述横向管14内部，多路通信接口方便外设的连接和扩展。所述拆卸板17下方的神经网络运行主控板通过can通信总线连接在所述控制模组6的控制主板上，使得神经网络运行主控板和控制模组之间稳定的通信，且低延迟。所述插入柱18下方插入有侧板20，所述侧板20内侧通过弯曲折口19连接有松紧背28，使得大小调节方便，给佩戴用户带来了舒适新。所述侧板20外侧安装有调整装置25，所述调整装置25和所述侧板20之间固定有卡板23，保证了调整装置的稳定性。所述调整装置25包括凹口24、旋钮26和调整面板27，所述凹口24外侧安装有所述旋钮26，所述旋钮26内部通过uart串口连接有所述调整面板27，利用外部控制按钮和内部pcb板之间的通信。所述调整面板27下方固定有外pcb板保护壳22，所述外pcb板保护壳22下方设置有下驰面21，使得pcb得到了保护，并且外观更加美观。
22.本发明的基于深度学习的盲人辅助用头戴装置使用方法，包括以下步骤：
23.s1、首先后端服务器进行pytorch环境的搭建，然后进行数据集的构建，将道路和红绿灯数据转化，能够将数据转为numpy数组即可，通过numpy数据可以转化为pytorch所需的tensor，对于图像数据，可以直接通过opencv，pillow处理，语音数据可以通过scipy和librosa来处理成numpy，然后进行数据的训练。
24.s2、初始化卷积神经网络权值，训练开始，首先进入输入训练集，通过给定输入向量和给定目标输出，进行卷积层、池化层和全链接层，然后进行目标值的比对，随后判定输出偏量是否在范围内，如果不是在范围内，随后进入神经元误差的计算，随后计算误差梯度，此时需要计算出卷积神经网络输出值与理想值之间的误差，当误差高于理想值时，需要将误差传回卷积神经网络中，并将所有误差相加，得到卷积神经网络总误差。然后更新权值到神经网络的前期，随后再次进入卷积层、池化层和全链接层判定，如此反复，最后如果输出偏量在范围内就完成了训练。
25.s3、将训练好的权重文件导入神经网络运行模组13中，语音识别模组7进行信号的接收，用户通过语音进行输入目的地，导航语音识别过程中，首先需要先收集语音信号，然后对收集到的语音信号处理，并提取语音信号特征，使得导航具有语音识别功能。针对语音信号预加重处理，使盲人说话时使信号的频谱变得平坦，可以提高导航过程中盲人语音识别的效果，随后控制模组6进行网络连接并且规划当前最优路径，随后神经网络运行模组运行，通过头戴弯梁2下方的摄像头模组进行信息数据的采集，然后传输到神经网络运行模组13进行权重文件的调用，分别红绿灯和道路进行为，然后将信号传输到控制模组6。
26.s4、用户在行走的时候gps、超声波和惯性制导模组分别与控制模组6连接，惯性测量模组包括加速度计和陀螺仪，3个自由度陀螺仪用来测量用户的三个转动运动，3个加速度计用来测量用户的3个平移运动的速度。计算机根据测得的加速度信号计算出用户的速度和位置数据，随后联动超声波和gps进行数据的融合，系统所使用的神经网络控制模组中内建了opencv环境，可以通过神经网络算法识别如红绿灯、人行道、各种障碍物等特定物体，并给予用户反馈，当前方有障碍物时，助行器会提示用户注意障碍，当前方交通灯为红灯时，助行器会提示用户停止穿越路口，利用机器视觉技术障碍物信息，并利用建立的障碍物检测模型搜索障碍物位置，利用扬声器5即时播报，规划用户进行行走。
27.工作原理：本发明首先进行权重文件的训练，进行数据集的构建，将道路和红绿灯数据转化，能够将数据转为numpy数组即可，通过numpy数据可以转化为pytorch所需的tensor，对于图像数据，可以直接通过opencv，pillow处理，语音数据可以通过scipy和librosa来处理成numpy，然后进行数据的训练，训练完成后导入权重文件到神经网络运行模组13中，卡住头戴夹脚1，将头戴弯梁2带入，进行语音的测试，通过调节旋钮26调节音量，语音识别模组7进行信号的接收，用户通过语音进行输入目的地，导航语音识别过程中，首先需要先收集语音信号，然后对收集到的语音信号处理，并提取语音信号特征，使得导航具有语音识别功能。针对语音信号预加重处理，使盲人说话时使信号的频谱变得平坦，可以提高导航过程中盲人语音识别的效果，随后控制模组6进行网络连接并且规划当前最优路径，随后神经网络运行模组运行，通过头戴弯梁2下方的摄像头模组进行信息数据的采集，然后传输到神经网络运行模组13进行权重文件的调用，分别红绿灯和道路进行为，然后将信号传输到控制模组6，用户在行走的时候gps、超声波和惯性制导模组分别与控制模组6连接，惯性测量模组包括加速度计和陀螺仪，3个自由度陀螺仪用来测量用户的三个转动运动，3个加速度计用来测量用户的3个平移运动的速度。计算机根据测得的加速度信号计算出用户的速度和位置数据，随后联动超声波和gps进行数据的融合，系统所使用的神经网络控制模组中内建了opencv环境，可以通过神经网络算法识别如红绿灯、人行道、各种障碍物等特定物体，并给予用户反馈，当前方有障碍物时，助行器会提示用户注意障碍，当前方交通灯为红灯时，助行器会提示用户停止穿越路口，利用机器视觉技术障碍物信息，并利用建立的障碍物检测模型搜索障碍物位置，利用扬声器5即时播报，规划用户进行行走。
28.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。