基于参数压缩和结构压缩的车载深度神经网络优化方法与流程

本发明专利属于神经网络优化领域，尤其涉及基于参数压缩和结构压缩的车载深度神经网络优化方法。

背景技术：

随着中国汽车抱有辆的增多，中国的车祸也随之增多。因此adas(高级行车辅助系统)应运而生，并大大提高了行车的安全性。但是传统的adas有其先天的缺陷：对环境感知的性能不佳，只能感知有限的物体。近年来随着深度学习的发展，其强大的环境认知能力得到了越来越多研究者和工程师的认可，并将越来越广泛的得到应用。在汽车领域，环境感知也是也是其系统的重要组成部分，深度学习其强大的感知能力也应用到汽车系统上。但是由于深度神经网络具有参数多，计算复杂度高，导致其并不能直接应用于车载系统中。为此本发明提出了一种参数压缩和结构压缩的深度神经网络压缩方法，以此来降低网络的计算复杂度，

发明专利内容

基于参数压缩和结构压缩的车载深度神经网络优化方法，为了提高网络的性能，针对卷积网络进行的优化，实施步骤如下：

1.对于特定层，可以使用级联的子网络来保证网络的性能。

2.对于子网络可以设置较少的参数，并达到较好的性能。

3.适当提高子网络的深度

4.设置特殊的网络层，合并多个自网络的输出；

这里r是一个远小于m，n的数，这样就大大降低了原始矩阵的维度，提高了计算的速度。

进一步地，全链接网络是一个典型的矩阵计算方法，可以使用矩阵的方法进行参数压缩。假设全链接层的参数为a，对a进行svd分解，公式如下

a＝uσv^t

进一步地，为了降低参数的格式，可以进行部分奇异值分解，如下：am×n≈um×r∑r×rv^tr×n其中，r是一个远小于m，n的数，很大程度的降低了原始矩阵的维度。

本发明的有益效果在于：提升了深度神经网络的训练速度，提升了深度神经网络在嵌入式设备中的运行速度，降低了深度神经网络的参数规模。

附图说明

图1为设置网络的隐藏层结构示意图。

图2为设置网络的隐藏层结构示意图。

具体实施方式

实施例：

基于参数压缩和结构压缩的车载深度神经网络优化方法，其特征在于：为了提高网络的性能，针对卷积网络进行的优化，实施步骤如下：

1.对于特定层，可以使用级联的子网络来保证网络的性能。

2.对于子网络可以设置较少的参数，并达到较好的性能。

3.适当提高子网络的深度

4.设置特殊的网络层，合并多个自网络的输出；

这里r是一个远小于m，n的数，这样就大大降低了原始矩阵的维度，提高了计算的速度。

其中，全链接网络是一个典型的矩阵计算方法，可以使用矩阵的方法进行参数压缩。假设全链接层的参数为a，对a进行svd分解，公式如下

a＝u∑v^t

其中，为了降低参数的格式，可以进行部分奇异值分解，如下：

am×n≈um×r∑r×rv^tr×n

其中，r是一个远小于m，n的数，很大程度的降低了原始矩阵的维度。

提升了深度神经网络的训练速度。提升了深度神经网络在嵌入式设备中的运行速度。降低了深度神经网络的参数规模。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：

技术总结
本发明基于参数压缩和结构压缩的车载深度神经网络优化方法，基于参数压缩和结构压缩的车载深度神经网络优化方法，为了提高网络的性能，针对卷积网络进行的优化，实施步骤如下：1.对于特定层，可以使用级联的子网络来保证网络的性能。2.对于子网络可以设置较少的参数，并达到较好的性能。3.适当提高子网络的深度4.设置特殊的网络层，合并多个自网络的输出；这里r是一个远小于m，n的数，这样就大大降低了原始矩阵的维度，提高了计算的速度，本发明提升了深度神经网络的训练速度，提升了深度神经网络在嵌入式设备中的运行速度，降低了深度神经网络的参数规模。

技术研发人员：王曦;周冕;谢晓靓;宋健明;赵贵平;王震
受保护的技术使用者：恩泊泰（天津）科技有限公司
技术研发日：2016.12.29
技术公布日：2017.09.29