一种类卷积人工神经网络的构造方法及装置与流程

本发明涉及数据处理领域，尤其涉及一种类卷积人工神经网络的构造方法及装置。

背景技术：

人工神经网络，特别是卷积人工神经网络目前已在数据处理领域取得了大规模应用。但是，卷积人工神经网络训练耗费的时间非常惊人，从而导致人工神经网络应用的能耗显著增加。能够通过利用有效的方式降低基于卷积的人工神经网络的应用能耗，对于高效地进行大规模的数据处理无疑具有重大意义。而当前广泛使用的卷积人工神经网络中，对于输入为多个通道的特征映像进行卷积时，采用的是将不同通道运算之后的卷积结果进行直接累加。

技术实现要素：

本发明的目的在于克服上述卷积人工神经网络训练耗费的时间过大的不足，提供了一种类卷积人工神经网络的构造方法及装置，可以缩短基于卷积的人工神经网络训练时间，可以降低基于卷积的人工神经网络的应用能耗。

为了实现上述目的，本发明采用以下技术方案：

一种类卷积人工神经网络的构造方法，包括以下步骤：

步骤1：对多个通道特征输入映像进行类卷积人工神经网络单个类卷积层操作；

步骤2：将上一类卷积层的输出作为下一类卷积层的输入。

优选地，所述步骤1包括：

步骤1.1：计算多个通道特征输入映像和卷积核的二维卷积结果：

对于单个类卷积层l＝{kj},j∈{1,...,n}，计算多个通道特征输入映像和卷积核的二维卷积结果，采用标准的二维卷积计算多个通道特征输入映像i＝{ii},i∈{1,...,m}和卷积核kj的卷积结果conv2d(ii,kj)；

步骤1.2：对二维卷积结果进行加权，并将加权后的结果作为本层类卷积输出映像：

将多个通道的二维卷积结果使用权重参数λ＝{λi}进行加权，得到输出卷积映像o＝{oj}，作为本类卷积层的输出映像，oj的计算公式如下所示：

其中，oj为第j个卷积核作用于多通道输入映像的卷积结果，i表示通道，m表示通道个数，λi为通道i对应的权重，kj为第j个卷积核，ii为第i个通道的特征输入映像，conv2d(kj,ii)表示对第j个卷积核及第i个通道的特征输入映像的2维卷积操作。

优选地，在所述步骤2之后还包括：

构建多层类卷积人工神经网络，所述多层类卷积人工神经网络包括：输入层、类卷积层、全连接层及分类器层；包括：将输入层、类卷积层及全连接层进行串行连接，并制定分类器。一种类卷积人工神经网络的构造装置，包括：

操作模块，用于对多个通道特征输入映像进行类卷积人工神经网络单个类卷积层操作；

输出输入模块，用于将上一类卷积层的输出作为下一类卷积层的输入。

优选地，还包括：

构建模块，用于构建多层类卷积人工神经网络，所述多层类卷积人工神经网络包括：输入层、类卷积层、全连接层及分类器层；包括：将输入层、类卷积层及全连接层进行串行连接，并制定分类器。

优选地，所述操作模块包括：

计算模块，用于计算多个通道特征输入映像和卷积核的二维卷积结果：

对于单个类卷积层l＝{kj},j∈{1,...,n}，计算多个通道特征输入映像和卷积核的二维卷积结果，采用标准的二维卷积计算多个通道特征输入映像i＝{ii},i∈{1,...,m}和卷积核kj的卷积结果conv2d(ii,kj)；

加权模块，用于对二维卷积结果进行加权，并将加权后的结果作为本层类卷积输出映像：

将多个通道的二维卷积结果使用权重参数λ＝{λi}进行加权，得到输出卷积映像o＝{oj}，作为本类卷积层的输出映像，oj的计算公式如下所示：

其中，oj为第j个卷积核作用于多通道输入映像的卷积结果，i表示通道，m表示通道个数，λi为通道i对应的权重，kj为第j个卷积核，ii为第i个通道的特征输入映像，conv2d(kj,ii)表示对第j个卷积核及第i个通道的特征输入映像的2维卷积操作。

与现有技术相比，本发明具有的有益效果：

本发明通过计算多个通道特征输入映像和卷积核的二维卷积结果，对二维卷积结果进行加权，并将加权后的结果作为本层类卷积输出映像，并将上一类卷积层的输出作为下一类卷积层的输入。本发明通过重新设计卷积人工神经网络中的多通道卷积运算过程，提出了一种类卷积人工神经网络的构造方法，可以缩短基于卷积的人工神经网络训练时间，并且不降低或者小幅度提升人工神经网络的性能，从而可以降低基于卷积的人工神经网络的应用能耗。

附图说明

图1为本发明一种类卷积人工神经网络的构造方法的基本流程示意图之一。

图2为本发明一种类卷积人工神经网络的构造方法的基本流程示意图之二。

图3为本发明一种类卷积人工神经网络的构造方法的类卷积人工神经网络单个类卷积层运算过程示意图。

图4为本发明一种类卷积人工神经网络的构造方法的完整的多层类卷积人工神经网络结构示意图。

图5为本发明一种类卷积人工神经网络的构造装置的结构示意图之一。

图6为本发明一种类卷积人工神经网络的构造装置的结构示意图之二。

具体实施方式

下面结合附图和具体的实施例对本发明做进一步的解释说明：

实施例一：

如图1所示，本发明的一种类卷积人工神经网络的构造方法，包括以下步骤：

步骤s11：对多个通道特征输入映像进行类卷积人工神经网络单个类卷积层操作。

步骤s12：将上一类卷积层的输出作为下一类卷积层的输入。

实施例二：

如图2-4所示，本发明的另一种类卷积人工神经网络的构造方法，包括以下步骤：

步骤s21：对多个通道特征输入映像进行类卷积人工神经网络单个类卷积层操作：

步骤s211：对于单个类卷积层l＝{kj},j∈{1,...,n}，计算多个通道特征输入映像和卷积核的二维卷积结果，采用标准的二维卷积计算多个通道特征输入映像i＝{ii},i∈{1,...,m}和卷积核kj的卷积结果conv2d(ii,kj)；

步骤s212：将多个通道的二维卷积结果使用权重参数λ＝{λi}进行加权，得到输出卷积映像o＝{oj}，作为本类卷积层的输出映像，oj的计算公式如下所示：

其中，oj为第j个卷积核作用于多通道输入映像的卷积结果，i表示通道，m表示通道个数，λi为通道i对应的权重，kj为第j个卷积核，ii为第i个通道的特征输入映像，conv2d(kj,ii)表示对第j个卷积核及第i个通道的特征输入映像的2维卷积操作；

作为一种可实施方式，所述权重参数λ通过标准的反向传播算法训练得到，权重参数λ的优化算法采用随机梯度下降算法。

步骤s22：将上一类卷积层的输出作为下一类卷积层的输入。

步骤s23：构建多层类卷积人工神经网络，所述多层类卷积人工神经网络包括：输入层、类卷积层、全连接层及分类器层；包括：将输入层、类卷积层及全连接层进行串行连接，并制定分类器；其中输入层、全连接层及分类器层与卷积人工神经网络构造方法一致。

如图3所示，类卷积层的输入是包含m个通道的多通道2维映像，类卷积层包含n个卷积核。对每个卷积核，首先计算卷积核和m个通道输入的标准2维卷积结果，然后将m个通道的结果使用对应的参数进行线性加权，得到该卷积核对应的输出映像。

如图4所示，网络的输入是多通道映像i，作为0层的类卷积层的输入，而第l0层的输出作为第l1层的输入。依此类推，第ll(l＝1,2...,)层的类卷积层的运算结果作为网络第ll+1层的输入。其中每个类卷积层输入到输出的映射计算过程如图3所示。通过多层的类卷积层、池化层和全连接层的串行连接，最后制定分类器，从而构造得到完整的多层类卷积人工神经网络。其中，网络的输入层、类卷积层、全连接层、分类器层以及可能存在的池化层的连接方式与卷积人工神经网络相同，图中表示为交叉的虚线。

值得说明的是，标准的卷积神经网络不考虑卷积层不同通道重要性的差异性，因此在计算过程中λi固定取值为1。在本发明中，λi作为类卷积人工神经网络中的可训练参数，用来模拟生物神经网络中不同通路的差异性。同时在数学上，引入参数λi可以看作将类卷积层中的卷积核参数与权重参数进行解耦和。

作为一种可实施的方式，在手写字符数据集合mnist以及其他更通用数据集上进行实验，结果表明，在具有相同网络结构条件且卷积层数为2时，本发明中的类卷积方法比标准的卷积神经网络训练时间缩短10％至12％，网络分类精度至多提升0.3％。同时当网络中类卷积层数增加，整个类卷积网络参数的训练时间将进一步缩短，表明本发明中的类卷积人工神经网络的构造方法具有较强的普适性。

实施例三：

如图5所示，本发明的一种类卷积人工神经网络的构造装置，包括：

操作模块31，用于对多个通道特征输入映像进行类卷积人工神经网络单层类卷积操作。

输出输入模块32，用于将上一类卷积层的输出作为下一类卷积层的输入。

实施例四：

如图6所示，本发明的另一种类卷积人工神经网络的构造装置，包括：

操作模块41，用于对多个通道特征输入映像进行类卷积人工神经网络单层类卷积操作。

输出输入模块42，用于将上一类卷积层的输出作为下一类卷积层的输入。

构建模块43，用于构建多层类卷积人工神经网络，所述多层类卷积人工神经网络包括：输入层、类卷积层、全连接层及分类器层；包括：将输入层、类卷积层及全连接层进行串行连接，并制定分类器。

所述操作模块41包括：

计算模块411，用于计算多个通道特征输入映像和卷积核的二维卷积结果：

对于单个类卷积层l＝{kj},j∈{1,...,n}，计算多个通道特征输入映像和卷积核的二维卷积结果，采用标准的二维卷积计算多个通道特征输入映像i＝{ii},i∈{1,...,m}和卷积核kj的卷积结果conv2d(ii,kj)；

加权模块412，用于对二维卷积结果进行加权，并将加权后的结果作为本层类卷积输出映像：

将多个通道的二维卷积结果使用权重参数λ＝{λi}进行加权，得到输出卷积映像o＝{oj}，作为本类卷积层的输出映像，oj的计算公式如下所示：

其中，oj为第j个卷积核作用于多通道输入映像的卷积结果，i表示通道，m表示通道个数，λi为通道i对应的权重，kj为第j个卷积核，ii为第i个通道的特征输入映像，conv2d(kj,ii)表示对第j个卷积核及第i个通道的特征输入映像的2维卷积操作。

以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。