一种可穿戴式智能导盲装置的制作方法

本发明涉及一种导盲方式，具体涉及一种穿戴式智能导盲设备。

背景技术：

盲人和重度视觉障碍者作为社会上的一个特殊群体，如何安全出行以及实现与周围环境的交互是盲人生活中面临的最大问题，目前已经成功研制的电子导盲系统大体可以分为三类:超声波导盲仪、移动式机器人和导引式手仗。超声波导盲仪是以发射超声波和接收障碍物反射回波的方式来定位的，其缺陷是使用者在行进时需要不断进行扫描探测动作，不仅会降低行进速度且存在检漏盲区；移动式机器人是比较理想的一种电子导盲装置，较超声波导盲仪性能有了很大提升，但其结构错综复杂，因成本高、行动范围受限等缺点未得到广泛应用；导引式手仗的实质是将移动式机器人的动力系统卸载，保留其智能感测的传感和控制部分，是目前相对比较理想的一种电子导盲装置，但是导引式手仗还是探测方式单一、交互能力弱的缺点，而且它的成本较高，不便于推广应用。此外，生物导盲——导盲犬，虽然可以协助引导盲人行进，但存在训练周期和适应期过长、成本较高的缺点，这也使导盲犬的使用率非常低。目前已有的技术方案，只采用了超声波模块或者摄像头单一传感器，并不能实现工作模式、状态的稳定性。比如在多噪声污染源环境下，声波传感器数据接收可能异常，在黑暗、强光环境下，摄像头数据采集可能会出现异常。在交互模式方面，目前只是用语音模块进行障碍物播报，并不能实现用户和设备之间的双向交互，即用户通过语音控制设备，设备通过语音进行路况和导航信息播报。在设备的状态控制和电源管理方面，目前还没有解决方案。在室内定位方面，目前还没有解决方案。在障碍物类型识别方面，比如识别楼梯、柱子、路面坑洼等，目前还没有解决方案。在用户安全预警方面，目前还没有解决方案。

技术实现要素：

本发明-穿戴式智能导盲设备将装载超声波矩阵雷达、三维景深摄像头、soc片上集成系统、自然语言交互处理芯片、gps室外定位仪、室内陀螺仪+双目摄像头惯性定位。在交互模式方面，本发明采用自然语言双向交互模式，来实现用户对设备的控制和设备路况信息播报。在障碍物类型识别方面，本发明采用将多种传感器的测量参数输出交由soc片上系统计算并绘制出用户周围空间立体图，采用支持向量机、感知机、卷积神经网络、隐马尔科夫模型等算法进行环境模式匹配和障碍物类型识别。在设备工作稳定性方面，本发明提出同时考虑噪声污染、光污染环境的解决方案，即超声波矩阵雷达和三维景深摄像头等多传感器协同工作，保证导盲设备在复杂多变环境稳定可靠。在室内定位方面，本发明提出了九轴陀螺仪+双目摄像头室内定位的解决方案。在设备状态控制和电源管理方面，本发明采用了室内高功能模式、最小功耗模式、较低功耗模式、室外模式，不同模式下设备的传感器工作状态不同，以此进行电源管理。在用户安全预警方面，本发明采用板载安全预警方案，实时检测硬件系统电流，在设备异常时，将用户地理信息等发送给用户家人。本发明技术方案为一种可穿戴式智能导盲装置，该装置包括：数据采集系统，数据处理系统，人机交互系统，所述数据处理系统负责数据采集系统和人机交互系统的数据处理和传递；所述数据采集系统包括：穿戴装置、固定板、两个超声波雷达阵列、三个摄像头，所述穿戴装置固定于人的头部，固定板设置于穿戴装置位于人体面部的部分上，两个超声波雷达阵列分别设置于固定板两侧，两个超声波雷达阵列之间依次横向排列三个摄像头；所述数据处理系统包括：数据处理以soc片上系统-ddr3-sodimm_zynq为核心。其内部分为pl(数字逻辑)和ps(armcontexa9)双系统。pl部分对数据进行数字加速运算，数据串行转为并行处理。三维景深度摄像头和超声波矩阵雷达的数据通过sdk编译控制，由ps进行预处理。ps经过amba总线将数据传到数字逻辑pl部分。所述人机交互系统包括：耳机和麦克风。在本发明中，数据处理系统中各模块之间的数据处理和交互方案如下：在数据处理系统中，语音交互模块、gps、九轴陀螺仪、超声波矩阵模块返回的数据包按照iic通信协议进行打包，经由uart串口传输至soc片上系统中的l4处理单元。其中，语音信号产生的数据流经过语音识别算法解析为用户指令，作为实现语音控制功能的基础。深度摄像头模块采集场景信息，相应的数据信号可通过串行接口或通用串行总线传输通道传输，通过sdk编译控制进行预处理，经由amba总线将数据返回至soc片上系统中的zynq单元，运用svm-支持向量机对图像信息进行模式识别，模式识别结果将返回至l4处理器，结合上述外设返回的数据流以及用户指令内容，对用户所处环境进行分析，l4处理单元根据综合分析的结果控制语音合成模块产生相应的语音信号，传输至耳机，以实现实时避障等功能。本发明的穿戴式智能导盲设备主要由3d红外成像摄像头、soc片上系统、超声波矩阵雷达、gps模块、自然语言交互处理器组成，利用slam扫描成像(simultaneouslocalizationandmapping)、soc片上集成系统、卷积神经网络神经网络、自然语言交互、超声波矩阵论雷达等关键技术为用户导盲。设备启用时，首先进行用户定位，室外环境运用gps技术，室内环境采用陀螺仪加双目视觉摄像头定位技术。定位完成后，设备通过识别用户语音指令，调用地图软件，进行最优路线规划。行进过程中，soc片上系统分析激光雷达和摄像头传输的数据(智能神经网络、图像识别、slam扫描成像)，处理周边环境信息，对周边环境进行实时3d建模并进行复杂环境下的路径规划，实时给出语音避障提示，实现避障无盲区。在本发明中，核心处理模块片上soc采用多核集成的形式，多主控间可交互运行，具有低功耗、高度集成化等优点。在场景识别方面，本发明将热成像视觉系统与超声波矩阵雷达结合，可保证在环境温度、光强变化范围较大等恶劣条件下测绘功能的正常工作，具备较强抗干扰能力，具有适用性广、功能稳定性强等优点。在用户定位方面，本发明使用gps、视觉、陀螺仪三重定位系统，可解决惯性导航的误差问题，实现复杂环境的精确定位。在用户控制方面，本发明使用自然语言双向交互系统，在对用户所处环境进行识别的同时，对用户的语音指令进行实时反馈，为用户的活动提供更加人性化的服务以及更加安全可靠的保障。

说明书附图

图1为所述整个智能穿戴设备的结构示意图。

图2为所述穿戴设备的头戴镜框示意图。

图3为所述导盲设备的主控系统示意图。

图1中，其中①-④为头戴传感器部分。③为超声波矩阵雷达。②为三维景深摄像头。①为头戴镜框。④为数据连接线，用于传输传感器采集到的数据到soc处理器系统。⑤-⑧构成了导盲设备的主控系统。其中，⑦为继电器模块，控制系统的电源供应。⑥为语音合成模块，用于自然语言交互过程中语音合成及识别。⑧为zynq片上系统，用于视屏流数据、超声波矩阵雷达数据的处理。⑤为九轴陀螺仪，用于室内定位。⑨为耳机线，⑩为麦克风，它们的组合用于用户和设备之间的交互。

具体实施方式

下面结合附图和实施例对本发明做进一步的介绍，将分为soc系统模块、外设模块、语音交互模块、微型超声波模块、gps定位以及图像处理模块。

soc片上系统各模块具体功能：

1.考虑到zynq较高的能耗，stm32l4随时开启，用于处理实时语音信息进行系统控制，同时检测电池状态在电池电压较低的时候自动进入低电量模式；

2.l4的分工：监测电池状态，实时语音识别交互，超声波矩阵的信息读取并利用数据进行初步避障提示，九轴加速度陀螺仪，与zynq进行通信获得图像处理之后的避障信息，根据语音信息或者电池状态对系统功耗进行实时调整gps驱动；

3.zynq的分工：驱动深度摄像头以及传统摄像头进行图像处理，与l4进行图像信息交互。

各个外设功能模块的信息：

gps模块：利用离线地图完成定位功能

九轴陀螺仪：完成路径记录以及室内定位

超声波矩阵：在黑暗条件以及低功耗条件下进行避障功能，作为避障的初步判断

双锂电池模组：系统供电使用

tps7a4701:ldo,为不同的外设模块降压到合理电压

语音交互：语音识别和交互，受控制于l4

继电器模块：采用b3ga4.5z控制整个系统的通断电管理，腰部处理板上完成继电器的控制。

穿戴式智能导盲设备以避障功能作为处理核心，功能围绕避障展开，图像处理开发作为核心要义，辅助以微型超声波。图像处理方面的围绕深度摄像头展开，因为行走过程中的高低起伏太大，超声波的使用受到限制，将其作为辅助功能以供紧急避障。

进一步地，在语音交互方面，耳机加小麦克风为盲人提供实时提示，现阶段语音识别要达到的效果，听取使用者命令，给出正确的控制效果。同时利用语音合成器实时给出避障，地理位置的提示。

进一步地，微型超声波模块：发射接受距离不小于2.5m,体积控制在2.5*2.5*2.5以内。建议使用iic或者485接口进行通信。尽可能使用换能器效率高。

进一步地，gps定位，尽可能做到地图的预装载不是简单的经纬度，考虑增加sim7xxx的设备。

进一步地，图像处理方面，暂以图像检测为核心，利用三维摄像头在深度测距的优势,在平台上搭建linux等开发环境以便后期机器学习的添加和算法更新。

主要的控制状态：

1.最小功耗模式：仅保留stm32l4以及语音交互的使用(针对于盲人在熟悉的环境下使用)。

2.较低功耗模式：保留stm32l4以及语音交互以及超声波模块的使用(针对于电池电量不足而且陌生环境下使用)。

3.室外模式：开启所有设备，gps随时开启。

4.室内高功能模式：开启所有设备，gps完成定位之后关闭。