一种基于深度学习算法的自动化导盲装置的制作方法

本发明创造属于领域，尤其是涉及一种基于深度学习算法的自动化导盲装置。

背景技术：

人类获得信息中90％源于视觉系统，因此，视力的丧失会严重影响生存质量。盲人由于眼睛看不见，日常生活有很大障碍，尤其是出行困难。

目前有很多种方法进行导盲，例如盲杖、红外线探测、超声波探测等非视觉探测方法。然而这些方法都存在一定的缺陷：

①、使用盲杖探测，探测范围过小，盲人通过敲触大地或者周围的物体来断定行走方向，以及需要停下与否；这类拐杖的弊端很多，特别是它难以发现很远的物体和悬在半空中的物体；

②、使用红外线、超声波等探测方式，只能探测体积较大的障碍物，不能获取障碍物轮廓、高度等完整信息，因此安全性较差。例如，国内外带语音提示的导盲器是由超声波探测器获取数据，经单片机处理后将数据发送给语音提醒器，然后驱动语音芯片提醒。

然而，这种导盲器是通过不同音量、音调、节奏的提示音或者是误差较大的分段式语音提示对盲人进行提醒，只能使盲人对障碍物的距离有个大概的判断，并且，消耗了盲人的大量精力，容易造成错误判断。

技术实现要素：

有鉴于此，本发明创造旨在提出一种探测范围更广泛、操作更人性化的基于深度学习算法的自动化导盲装置。

为达到上述目的，本发明创造的技术方案是这样实现的：

一种基于深度学习算法的自动化导盲装置，包括：相机、导航装置、语音输入模块、超声波模块、红外模快、imu惯性测量模块、深度学习单元和嵌入式单元；所述的相机、导航装置、语音输入模块及imu惯性测量模块的输出端均与深度学习单元的输入端连接，所述的超声波模块及红外模块的输出端均与嵌入式单元的输入端连接，深度学习单元的输出端与嵌入式单元的输入端连接。

进一步的，所述的深度学习单元包括自然语言处理模块、障碍物检测定位模块和路径规划模块，自然语言处理模块及障碍物检测定位模块的输出端均与路径规划模块的输入端连接。

进一步的，所述的语音输入模块的输出端与自然语言处理模块的输入端连接，相机、导航装置及imu惯性测量模块的输出端均与障碍物检测定位模块的输入端连接。

进一步的，所述的相机与障碍物检测定位模块之间设有预处理模块；相机通过预处理模块与障碍物检测定位模块连接。

进一步的，所述的嵌入式单元包括底层避障系统和电机驱动电路，所述的底层避障系统的输出端与电机驱动电路的输入端连接。

进一步的，所述的路径规划模块的输出端与电机驱动电路的输入端连接。

进一步的，所述的超声波模块和红外模块的输出端均与底层避障系统的输入端连接。

相对于现有技术，本发明创造所述的一种基于深度学习算法的自动化导盲装置具有以下优势：

本发明借助佩戴在盲人胸前的超声波阵列，实现对盲人周围环境的障碍物检测，并结合电机驱动的压力装置，在超声波模块对应的位置对盲人施加与障碍物距离相对应的压力感，使得盲人可以感知到周围环境中障碍物的距离和方位。盲人通过本发明当前方遇到障碍时，对应障碍物位置，所述的超声传感器将检测到障碍，同时距离障碍越近，动力施加装置伸出越长，盲人就会在这个位置感觉到越多的压力，从而感知到障碍物的方向以及距离。

此外，本发明还使用了双目视觉传感器，如zed等摄像头获取前方深度信息进行深度探测，这种探测方式范围更广泛。设计语音模块，使盲人语音输入目的地，使操作更人性化。

附图说明

构成本发明创造的一部分的附图用来提供对本发明创造的进一步理解，本发明创造的示意性实施例及其说明用于解释本发明创造，并不构成对本发明创造的不当限定。在附图中：

图1为本发明创造实施例所述的结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明创造中的实施例及实施例中的特征可以相互组合。

在本发明创造的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明创造和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明创造的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明创造的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本发明创造的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明创造中的具体含义。

下面将参考附图并结合实施例来详细说明本发明创造。

一种基于深度学习算法的自动化导盲装置，包括：相机、导航装置、语音输入模块、超声波模块、红外模快、imu惯性测量模块、深度学习单元和嵌入式单元；所述的相机、导航装置、语音输入模块及imu惯性测量模块的输出端均与深度学习单元的输入端连接，所述的超声波模块及红外模块的输出端均与嵌入式单元的输入端连接，深度学习单元的输出端与嵌入式单元的输入端连接。

进一步的，所述的深度学习单元包括自然语言处理模块、障碍物检测定位模块和路径规划模块，自然语言处理模块及障碍物检测定位模块的输出端均与路径规划模块的输入端连接。

进一步的，所述的语音输入模块的输出端与自然语言处理模块的输入端连接，相机、导航装置及imu惯性测量模块的输出端均与障碍物检测定位模块的输入端连接。

进一步的，所述的相机与障碍物检测定位模块之间设有预处理模块；相机通过预处理模块与障碍物检测定位模块连接。

进一步的，所述的嵌入式单元包括底层避障系统和电机驱动电路，所述的底层避障系统的输出端与电机驱动电路的输入端连接。

进一步的，所述的路径规划模块的输出端与电机驱动电路的输入端连接。

进一步的，所述的超声波模块和红外模块的输出端均与底层避障系统的输入端连接。

本发明由双目相机、超声波检测、具有地图信息的导航装置、红外模块、语音交互模块及电源模块、深度学习运算单元和嵌入式单元组成。集成了周围环境识别、障碍物识别、定位、障碍物运行速度和距离识别、gps定位、路线规划、人性化的语音人机交互等功能。

其中，(1)语音输入模块——接收盲人的语音命令，输入至所述的深度学习单元的自然语言处理模块进行识别处理，解析出目的地等信息后，调用pathplanning路径规划模块进行规划。此外，本装置还包括语音提示模块，与障碍物检测定位模块连接，用于接收所述预处理模块所识别出目标物体种类、距离和运动速度信息时，采用语音的方式给出盲人停止或者行走方向的建议。该模块采用深度学习算法处理。

(2)相机——针对双目相机模块，设置为对应于左、右眼的可穿戴式的摄像头，两者平行，且轴距在5‐10cm。摄像头在用户使用系统时，实时采集前方图像，然后将数据传送到深度学习运算模块的预处理模块，预处理模块提取图片的特征后输入到障碍物检测定位模块；

(3)导航装置——具有地图信息的gps+无线传输模块，与障碍物检测定位模块相连，传送gps定位信息，与双目视觉相机的定位信息相互融合修正。

(4)imu惯性模块——用imu传感器测量物体三轴姿态角(或角速率)以及加速度，与障碍物检测定位模块相连，传送角速度和角度信息。

(5)深度学习单元——包括自然语言处理模块、障碍物定位模块和路径规划模块。这些模块的算法采用深度学习的神经网络计算。自然语言处理模块采用lstm/rnn结构对语音输入识别；obstacledetectionandlocalization障碍物定位模块使用深度学习领域的yolo/ssd等目标检测算法对双目相机输入的图像中的障碍物进行识别定位；路径规划模块使用深度学习的监督学习/强化学习算法实现。

(51)obstacledetectionandlocalization障碍物定位模块——该模块接受双目相机传入的图片信息、gps传入的定位信息以及imu的角度角速度信息。对于图片信息，由其中的perception模块输入双目相机得到的图像，调用yolo、ssd检测算法判断出障碍物的位置，结合gps定位修正。同时localization模块从两个不同视点获取同一景物的多幅图像，获得多组立体图像对，通过测量景物在每一组所述立体图像对中的视差，再利用双目视觉成像原理，计算出目标物体到所述第一摄像头模块和第二摄像头模块的距离，以及所述目标物体相对于所述第一摄像头模块和第二摄像头模块的运动速度。将位置、距离、速度等信息传入pathplanning模块。

(6)pathplanning路径规划模块——pathplanning路径规划模块包括全局路径规划和局部路径更新。用户语音输入目的地，规划模块调用有监督反馈的学习算法，根据obstacledetectionandlocalization障碍物模块得到的位置信息进行全局线路规划及线路距离的确定。当用户发出更改命令，局部路径更新模块根据当前位置等信息重新规划路径并进行相关更新。

(7)超声波和红外模块——超声波和红外模块，通过多次发射超声波，将结果传递给嵌入式单元。

(8)嵌入式模块——接受超声波和红外探测的结果，由底层避障系统计算发射和接收超声波的时差，计算出运动物体的移动速度。根据计算的距离和深度调整电机驱动电路中的压力装置，在超声波位置对盲人施加对应障碍物距离的力，使得盲人可以感知到周围环境中障碍物的距离和方位。

以上所述仅为本发明创造的较佳实施例而已，并不用以限制本发明创造，凡在本发明创造的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明创造的保护范围之内。