一种语言导盲手杖、基于该手杖的深度神经网络优化方法与流程

本发明属于智能导盲技术领域，具体涉及一种语言导盲手杖、基于该手杖的轻量级深度神经网络优化方法。

背景技术：

目前，我国是世界上盲人最多的国家之一。由于我国人口众多，人民生活环境较复杂。近些年，随着教育程度的提高，身为残障人群的盲人思想发生了改变，更加趋向于维护自尊，选择独立自主的生活方式。但是，失去视力的盲人在日常生活中面临着无法识别基本生活用品，无法识别红绿灯，盲道等公共区域以及无法避障等问题。现在市场上的导盲设备都是以盲人自身为主导，通过盲人自身的摸索以探知周边环境，由于周边环境日趋复杂并不能给盲人提供有效的反馈。因此建立一套能够捕捉基本生活用品图像并能进行图像分析处理、路障规避、语音交互、运动反馈的导盲系统，对于解决盲人基本生活起居问题具有重要的社会意义和市场前景。

技术实现要素：

针对现有技术的不足，本发明的第一个目的在于提供一种语言导盲手杖，对盲人使用者提出的需求进行识别反馈，能够方便的实现手杖与使用者间的交互，使用方便，操作便捷，安全可靠。

本发明的第二个目的在于提供基于所述语言导盲手杖的轻量级深度神经网络优化方法，通过该方法降低深度神经网络对计算资源和运算能耗的需求，提高深度神经网络的计算效率，促进深度神经网络在嵌入式设备上面的部署。

为了达到上述目的，本发明提供以下技术方案：

本发明提供的这种语言导盲手杖，包括杖体、设置于杖体顶端的手柄以及设置于杖体底端的轮子，该导盲手杖还包括：嵌入杖体的微处理器arm，和所述微处理器arm连接的深度神经网络模块、广角摄像头、阵列雷达、定位模块、电机和电源模块，所述电机与轮子连接；

所述广角摄像头用于采集手杖前端的路面信息，并将采集的图像数据发送至微处理器arm；阵列雷达用于障碍物的精确测距；定位模块用于精确定位；电机用于驱动轮子；电源模块用于给整个导盲手杖提供电能；深度神经网络模块用于对广角摄像头采集的图像数据进行分析，识别交通路口的交通灯、人行横道和楼梯等场景，根据图像进行障碍物识别；微处理器arm用于协调和控制手杖的相关操作，根据阵列雷达的测距结果、定位模块的位置信息，进行精确的避障规划，然后驱动电机和轮子，实现导盲手杖的自动引路，盲人只需跟着手杖牵引的方向就可实现路径的自动引导。

优选的，所述语言导盲手杖还包括和所述微处理器arm连接的九轴传感器、网络通信模块，九轴传感器用于跌倒检测，网络通信模块用于导盲手杖的数据通信；在发生跌倒时，微处理器arm结合所述定位模块产生报警信息，通过网络通信模块发送给指定联系人。

优选的，所述网络通信模块为4g模块。

优选的，所述定位模块为gps定位模块或者北斗定位模块。

优选的，所述语言导盲手杖还包括和所述微处理器arm连接的语音模块，语音模块用于和盲人进行语音交互，并采集盲人的语音数据，接收用户对于导盲手杖的操作指令并上传至微处理器arm。

语音模块可以识别盲人的控制语音命令，控制手杖的相关操作，也可以识别盲人的查询语音命令，通过4g模块，搜索相关的信息，例如天气气候信息等；另一方面，手杖工作的相关信息也通过语音模块反馈给使用者，例如导航时的向左转向右转，过马路时交通路灯状态等。

优选的，所述语言导盲手杖还包括蓝牙模块，蓝牙模块与语音模块连接，盲人通过佩戴带的蓝牙耳机和导盲手杖的蓝牙模块进行语音交互。

作为一个总的发明构思，本发明还提供一种基于该手杖的轻量级深度神经网络优化方法，包括以下步骤：

步骤一、初始化深度神经网络的结构和网络参数；

步骤二、采用不同的loss函数对深度神经网络进行结构修剪和训练；

步骤三、对深度神经网络采用乘积量化的形式实现网络量化和权值共享；

步骤四、采用熵编码对深度神经网络的权值进行无损压缩，得到最终优化后的深度神经网络参数；

步骤五、将优化后的深度神经网络参数下载到手杖的深度神经网络模块中。

在一个具体实施方式中，所述步骤二中，具体为：

2.1)设定网络的修剪阈值、稀疏度、相似度和准确度参数；

2.2)采用loss函数1训练网络，然后删除训练过程中低于阈值的网络参数和节点，直至达到设定的稀疏度，其中，loss函数1定义如下：

式(1)中wj代表第j层的权值矩阵，表示预测输出，y表示实际输出，表示预测误差，||wj||p表示权值矩阵wj的p范数，作为惩罚项来控制模型的稀疏性，αj用来调节稀疏性惩罚项的比重；

2.3)采用loss函数2训练网络，调整网络参数直至达到设定的相似度，其中，loss函数2定义如下：

式(2)中wj代表第j层的权值矩阵，rj代表wj的行数，cj代表wj的列数，表示预测输出，y表示实际输出，表示预测误差，|wj(a,b)-wj(a′,b′)|表示权值矩阵wj中各参数间的差异，作为惩罚项来控制模型的多样性，模型参数的多样性越低，后续聚类的效果就越好。βj用来调节多样性惩罚项的比重；

2.4)采用loss函数3训练网络，调整参数直至达到设定的准确度，其中，loss函数3定义如下：

式(3)中表示预测输出，y表示实际输出，表示预测误差。

在一个具体实施方式中，所述步骤三中，具体为：

3.1)采用混沌动力学方程logistic序列来初始化聚类中心，logistic序列定义如下：

c(t+1)＝4c(t)(1-c(t))1≤t≤k(4)

式(4)中c(t)为第t个聚类中心值，k为聚类中心数目；

3.2)将第j层的权值矩阵wj按列分解成s个矩阵：

3.3)在每个中采用k-means方法进行聚类：

式(6)中代表的第z行，代表第n个聚类中心，k为聚类中心数，rj为wj的行数；

3.4)聚类后，网络权值量化为聚类中心索引和聚类中心值。

相对于现有技术，本发明具有以下有益技术效果：

本发明提供一种基于神经网络和阵列雷达的语言导盲手杖，该手杖结合了深度神经网络的图像识别和雷达阵列的障碍识别功能，能够提供多重的避障规划，同时该手杖利用深度神经网络的语言识别功能，对盲人使用者提出的需求进行识别反馈，能够方便的实现手杖与使用者间的交互，使用方便，操作便捷，安全可靠。

本发明基于语言导盲手杖的轻量级深度神经网络优化方法，本发明针对大型深度学习网络在嵌入式设备上部署时的资源和能耗受限问题，提出来一种精简的神经网络方案，该方法首先从稀疏度、相似度和准确度三个方面对神经网络的结构进行优化，在保证准确度的前提下，以稀疏度为目标，减少了网络权值和节点，同时又以相似度为目标，减少权值的差异性，为权值的优化和共享建立良好的基础。然后，本发明以乘积量化的形式对权值进行量化和共享，进一步减少权值的差异和表示开销，为第三步无损压缩打下良好的基础；最后，本发明对量化后的权值进行熵编码，进一步压缩权值的数据量，使其能够在嵌入式设备上较小的存储资源中部署安装深度学习模型，同时由于网络结构的精简，网络运行时的能耗也进一步减少。

附图说明

图1为本发明提供一种语言导盲手杖的结构示意图。

图2为本发明语言导盲手杖的功能模块图。

图3为本发明基于该手杖的轻量级深度神经网络优化方法的流程图。

图4为结构修剪和训练的流程图。

图5为网络量化和权值共享方法的流程图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合具体实施例和附图对本发明进行进一步说明：

如图1～2所示，本发明提供的这种语言导盲手杖，包括杖体101、设置于杖体顶端的手柄102以及设置于杖体底端的轮子103，该导盲手杖还包括：嵌入杖体的微处理器arm2，和微处理器arm连接的深度神经网络模块3、广角摄像头4、阵列雷达5、定位模块6、电机7和电源模块8，电机7与轮子103连接；考虑到便于电机驱动轮子，电机的安装位置靠近轮子；

广角摄像头4用于采集手杖前端的路面信息，并将采集的图像数据发送至微处理器arm；阵列雷达5用于障碍物的精确测距；定位模块6用于精确定位；电机7用于驱动轮子；电源模块8用于给整个导盲手杖提供电能；深度神经网络模块3用于对广角摄像头采集的图像数据进行分析，识别交通路口的交通灯、人行横道和楼梯等场景，根据图像进行障碍物识别；微处理器arm2用于协调和控制手杖的相关操作，并根据阵列雷达5的测距结果、定位模块6的位置信息，进行精确的避障规划，然后驱动电机7和轮子103，实现导盲手杖的自动引路，盲人只需跟着手杖牵引的方向就可实现路径的自动引导。

在具体实施例中，微处理器arm的型号为exynos4412。

为了对手杖和盲人进行跌倒检测，语言导盲手杖还包括和微处理器arm连接的九轴传感器9、网络通信模块10，九轴传感器9用于跌倒检测，网络通信模块10用于导盲手杖的数据通信；在发生跌倒时，微处理器arm结合定位模块6产生报警信息，通过网络通信模块10发送给指定联系人。

在具体实施例中，网络通信模块为4g模块。

在具体实施例中，定位模块为gps定位模块。

为了和盲人进行语音交互，语言导盲手杖还包括和微处理器arm连接的语音模块11，语音模块用于采集盲人的语音数据，接收用户对于导盲手杖的操作指令并上传至微处理器arm。

语音模块可以识别盲人的控制语音命令，控制手杖的相关操作，也可以识别盲人的查询语音命令，通过4g模块，搜索相关的信息，例如天气气候信息等；另一方面，手杖工作的相关信息也通过语音模块反馈给使用者，例如导航时的向左转向右转，过马路时交通路灯状态等。

在具体实施例中，语音模块由语音识别芯片(型号：ld3320)与语音播放芯片(型号：yx6200-16s)芯片组成，语音模块11安装于杖体101的顶端，便于盲人能听到语音播报信息，同时能够识别盲人的语音指令。

在较为吵闹的环境下，为了便于盲人听清提示信息，导盲手杖还包括蓝牙模块12，蓝牙模块与语音模块连接，盲人通过佩戴带的蓝牙耳机和导盲手杖的蓝牙模块进行语音交互，避免因提示信息外放导致用户接听不及时的情况。

如图3所示，本发明还提供一种基于该手杖的轻量级深度神经网络优化方法，包括以下步骤：

步骤一、初始化深度神经网络的结构和网络参数；

步骤二、采用不同的loss函数对深度神经网络进行结构修剪和训练；

步骤三、对深度神经网络采用乘积量化的形式实现网络量化和权值共享；

步骤四、采用熵编码对深度神经网络的权值进行无损压缩，得到最终优化后的深度神经网络参数；

步骤五、将优化后的深度神经网络参数下载到手杖的深度神经网络模块中。

在本发明实施例中，步骤一具体为：根据任务的复杂度初始化神经网络的结构(即多少个隐含层)和网络参数(即隐含层的权值)。

在本发明实施例中，步骤二中，结构修剪和训练的过程如图4所示，具体为：

2.1)设定网络的修剪阈值、稀疏度、相似度和准确度参数；

2.2)采用loss函数1训练网络，然后删除训练过程中低于阈值的网络参数和节点，直至达到设定的稀疏度，其中，loss函数1定义如下：

式(1)中wj代表第j层的权值矩阵，表示预测输出，y表示实际输出，表示预测误差，||wj||p表示权值矩阵wj的p范数，作为惩罚项来控制模型的稀疏性，αj用来调节稀疏性惩罚项的比重；

2.3)采用loss函数2训练网络，调整网络参数直至达到设定的相似度，其中，loss函数2定义如下：

式(2)中wj代表第j层的权值矩阵，rj代表wj的行数，cj代表wj的列数，表示预测输出，y表示实际输出，表示预测误差，|wj(a,b)-wj(a′,b′)|表示权值矩阵wj中各参数间的差异，作为惩罚项来控制模型的多样性，模型参数的多样性越低，后续聚类的效果就越好。βj用来调节多样性惩罚项的比重；

2.4)采用loss函数3训练网络，调整参数直至达到设定的准确度，其中，loss函数3定义如下：

式(3)中表示预测输出，y表示实际输出，表示预测误差。

在本发明实施例中，步骤三中，网络量化和权值共享方法如图5所示，具体为：

3.1)采用混沌动力学方程logistic序列来初始化聚类中心，logistic序列定义如下：

c(t+1)＝4c(t)(1-c(t))1≤t≤k(4)

式(4)中c(t)为第t个聚类中心值，k为聚类中心数目；

3.2)将第j层的权值矩阵wj按列分解成s个矩阵：

3.3)在每个中采用k-means方法进行聚类：

式(6)中代表的第z行，代表第n个聚类中心，k为聚类中心数，rj为wj的行数；

3.4)聚类后，网络权值量化为聚类中心索引和聚类中心值。

在本发明实施例中，步骤四具体为：将神经网络的权值利用熵编码进行无损压缩，得到最终优化后的深度神经网络参数。

在本发明实施例中，步骤五具体为：将优化后的神经网络参数下载到手杖的深度神经网络模块中，从而在手杖上实现深度分析和判断。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

本发明方法针对大型深度学习网络在嵌入式设备上部署时的资源和能耗受限问题，提出来一种精简的神经网络方案，该方法首先从稀疏度、相似度和准确度三个方面对神经网络的结构进行优化，在保证准确度的前提下，以稀疏度为目标，减少了网络权值和节点，同时又以相似度为目标，减少权值的差异性，为权值的优化和共享建立良好的基础。然后，本发明以乘积量化的形式对权值进行量化和共享，进一步减少权值的差异和表示开销，为第三步无损压缩打下良好的基础；最后，本发明对量化后的权值进行熵编码，进一步压缩权值的数据量，使其能够在嵌入式设备上较小的存储资源中部署安装深度学习模型，同时由于网络结构的精简，网络运行时的能耗也进一步减少。