一种多层卷积神经网络优化系统及方法
【专利摘要】本发明涉及一种多层卷积神经网络优化系统及方法。该系统包括：图像定位模块、基于CP分解的采样模块、微采样模块、基于BP算法参数调优模块和卷积神经网络特征输出模块，所述图像定位模块通过回归函数根据卷积层的维度设定参数矩阵θ；所述基于CP分解的采样模块对经过卷积操作的结果进行张量分解，得到两个秩一张量p和q；所述微采样模块应用双线性插值算法对图像不同方向的像素点进行线性插值，获得网络输出V；所述基于BP算法的参数调优模块对于参数θ进行更新；所述卷积神经网络特征输出模块用于将更新好的参数θ^带入网络，并进行迭代运算，输出卷积神经网络特征。本发明有利于提取空间不变的特征，同时提高运算效率。
【专利说明】
一种多层卷积神经网络优化系统及方法
技术领域
[0001] 本申请涉及神经网络技术领域，特别涉及一种多层卷积神经网络优化系统及方 法。
【背景技术】
[0002] 卷积神经网络（convolutional neural network,CNN)是一种前馈神经网络，与传 统算法不同的是，卷积神经网络的相邻层之间的神经单元并不是全连接，而是部分连接，并 且对于一个卷积核的卷积运算权值共享，从而减少了参数个数，通过多次卷积与池化过程 达到特征提取的目的。利用卷积可以实现对图像模糊处理，边缘检测从而有利于特征提取， 利用池化运算可以较简便地对图像进行降维，从而减小参数与计算量。
[0003] 在传统卷积神经网络中，网络设计为卷积一池化一卷积一池化的结构，需要设定 多层才能提取到空间不变的特征。
【发明内容】
[0004] 本申请提供了一种多层卷积神经网络优化系统及方法，以解决现有技术中网络结 构需要设定多层才能提取到空间不变的特征的技术问题。
[0005] 为了解决上述问题，本发明提供了如下技术方案：
[0006] 本发明实施例提供了一种多层卷积神经网络优化系统，包括：图像定位模块、基于 CP分解的采样模块、微采样模块、基于BP算法参数调优模块和卷积神经网络特征输出模块， 所述图像定位模块通过回归函数根据卷积层的维度设定参数矩阵Θ，并用于下一层对于坐 标变换的操作;所述基于CP分解的采样模块对经过卷积操作的结果进行张量分解，得到两 个秩一张量P和q，同时利用像素点对应的坐标与上一层产生的参数Θ进行运算;所述微采样 模块应用双线性插值算法对图像不同方向的像素点进行线性插值，获得网络输出V;所述基 于BP算法的参数调优模块对于参数Θ进行更新;所述卷积神经网络特征输出模块用于将更 新好的参数θ~带入网络，并进行迭代运算，同时加入分类器对特征进行分类预测，输出卷积 神经网络特征。
[0007] 本发明实施例采取的技术方案还包括:所述图像定位模块还用于接收来自上一次 卷积后的结果U，其中U通过对卷积核与样本进行图像卷积计算获得。
[0008] 本发明实施例采取的技术方案还包括:所述图像定位模块通过回归函数根据卷积 层的维度设定参数矩阵Θ具体包括:对于卷积神经网络的某一特征输出乍为采样层 的输入，其中，H、W代表图片的高度和宽度，C代表通道;通过floe计算空间变换参数Θ，floe 包含回归层根据卷积层的维度设定参数矩阵Θ : Θ = flcic;(U)。
[0009] 本发明实施例采取的技术方案还包括:所述微采样模块应用双线性插值算法对图 像不同方向的像素点进行线性插值，获得网络输出V具体为:利用求得的参数Θ对U的像素点 对应坐标(xt，yt)做仿射变换，得到(xs，ys);将经过张量计算得到像素的坐标(xs，ys)与口° q输入到微采样层，在微采样层通过双线性插值算法对周围像素进行压缩替代，获得网络输 出v〇
[0010] 本发明实施例采取的技术方案还包括:所述基于BP算法的参数调优模块对于Θ进 行更新的具体方式为:利用网络输出V对网络输入秩一张量的外积p°q求偏导获得的灵敏度 S，根据灵敏度δ更新参数。
[0011] 本发明实施例采取的技术方案还包括:所述卷积神经网络特征输出模块用于将经 过L次迭代的空间变换器的输出U1进入softmax层进行分类，得到每一类的分类概率;利用 误差函数对卷积层的参数W求偏导，逐层更新参数W，将更新好的W带入各卷积层重新计算。 [00 12]本发明实施例还提供了一种多层卷积神经网络优化方法，包括：
[0013]步骤a:通过卷积计算获得某一卷积层的结果U，通过图像定位模块获得结果U，将 结果U作为采样层的输入计算空间变换参数Θ ;
[0014] 步骤b:对U进行张量分解，获得两个秩一张量P和q，利用求得的参数Θ对像素点对 应坐标做仿射变换，将经过张量计算得到像素的坐标与P° q输入到微采样层；
[0015] 步骤c:在微采样层通过双线性插值算法与张量运算结合，获得网络输出V;对V求 秩一张量外积P° q的偏导，根据灵敏度S更新参数Θ ;
[0016] 步骤d:迭代计算整个网络，输出卷积神经网络特征输出。
[0017] 本发明实施例采取的技术方案还包括:所述步骤a中通过卷积计算获得某一卷积 层的结果U具体为:对于d*d的卷积核与X*Y的样本进行图像卷积计算获得某一卷积层的结 果U。
[0018] 本发明实施例采取的技术方案还包括:所述步骤d中迭代计算整个网络包括:将更 新好的参数带入网络，获得网络输出赋值，重复步骤a到步骤c，进行迭代运算。
[0019] 本发明实施例采取的技术方案还包括:所述步骤d还包括:对于经过L次迭代的空 间变换器的输出U1进入softmax层进行分类，得到每一类的分类概率;定义平方损失函数， 利用误差函数对卷积层的参数W求偏导，逐层更新参数W;将更新好的W带入各卷积层重新计 算，获得CNN最终网络输出。
[0020] 本发明实施例的多层卷积神经网络优化系统及方法在经过张量分解后的卷积层 输出添加空间变换器，替代传统的池化层，有利于提取空间不变的特征；同时对于卷积层的 输出进行张量分解，在最大化保留原始信息与结构相关性前提下，去掉冗余信息，提高运算 效率;应用双线性插值算法与张量结合，对图像不同方向的像素点进行线性插值，在任意两 个已知像素点之间插入像素点，在放大时避免失真，降维时可求得替代像素点;利用张量分 解后的低阶张量结合双线性插值算法对像素点进行压缩处理，降低了计算复杂度并在图像 的放缩处理保持了抗锯齿功能。
【附图说明】
[0021] 图1是本发明实施例的多层卷积神经网络优化系统的结构示意图；
[0022] 图2是本发明实施例的多层卷积神经网络优化方法的流程图。
【具体实施方式】
[0023]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不 用于限定本发明。
[0024]请参阅图1，图1是本发明实施例的多层卷积神经网络优化系统的结构示意图。本 申请实施例的多层卷积神经网络优化系统包括图像定位模块、基于CP分解的采样模块，微 采样模块、基于BP算法参数调优模块和卷积神经网络特征输出模块。图像定位模块可以设 在在卷积层后，也可以接受原始图像，图像定位模块通过回归函数根据卷积层的维度设定 参数矩阵Θ，并用于下一层对于坐标变换的操作;基于CP分解的采样模块对经过卷积操作的 结果进行张量分解，得到两个秩一张量P和q，同时利用像素点对应的坐标与上一层产生的 参数Θ进行运算，具体为:利用求得的参数Θ对U的像素点对应坐标(xt，yt)做仿射变换，得到 (xs,ys)：
[0025；
[0026] 张量理论是数学的一个分支学科，张量概念是矢量概念的推广，矢量是一阶张量， 张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数，用于 张量形式表达的样本可最大程度上保留原始结构，进而在特征提取阶段提取到更鲁棒的特 征。
[0027] 微采样模块应用双线性插值算法对图像不同方向的像素点进行线性插值，获得网 络输出V，在任意两个已知像素点之间插入像素点，在放大时避免失真，降维时可求得替代 像素点。其中，双线性插值算法:双线性插值，又称为双线性内插。双线性插值是有两个变量 的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值，广泛应用 在信号处理，数字图像和视频处理等应用中。
[0028]基于BP算法的参数调优模块对于Θ进行更新，具体更新方式为：利用网络输出V对 网络输入秩一张量的外积P° q求偏导获得的灵敏度S，根据灵敏度δ更新参数Θ ;
[0029] 卷积神经网络特征输出模块用于将更新好的参数θ~带入网络，并进行迭代运算， 同时加入分类器对特征进行分类预测，输出卷积神经网络特征。
[0030] 请参阅图2,图2是本发明实施例的多层卷积神经网络优化方法的流程图。本发明 实施例的多层卷积神经网络优化方法包括：
[0031 ]步骤10:对于d*d的卷积核与Χ*Υ的样本进行图像卷积计算获得某一卷积层的结果 U；
[0032:
[0033:
[0034]获得输出
[0035]其中对任意一次的卷积结果Um, η
[0036]
[0037] 步骤20:图像定位模块接收来自上一次卷积后的结果U。
[0038] 步骤30:对于CNN的某一特征输出UeRH_G(H，W代表图片的高度和宽度，C代表通 道)作为采样层的输入，通过floe计算空间变换参数0，fi〇c包含回归层将卷积层的参数变 为θ矩阵：
[0039] 0 = fi〇c(U)
[0040] 得到结果为：
[0041]
[0042] 步骤40:对卷积后的结果U进行张量分解，得到两个秩一张量p和q:
[0043]
[0044] 在步骤40中，在传统卷积神经网络中，网络设计为卷积一池化一卷积一池化的结 构，需要设定多层才能提取到空间不变的特征。而在本本发明实施例的多层卷积神经网络 优化方法中，在经过张量分解后的卷积层输出后添加空间变换器，替代传统的池化层，有利 于提取空间不变的特征；同时对于卷积层的输出进行张量分解，在最大化保留原始信息与 结构相关性前提下，去掉冗余信息，提高运算效率。
[0045]步骤50 :利用求得的参数Θ对U的像素点对应坐标(xt，yt)做仿射变换，得到（xs， ys)：
[0046]
[0047]步骤60:将经过张量计算得到像素的坐标(Xs，ys)与p°q输入到微采样层，在微采 样层通过双线性插值算法对周围像素进行压缩替代，获得网络输出V。
[0048]
[0049]在步骤60中，微采样层应用双线性插值算法与张量结合，对图像不同方向的像素 点进行线性插值，在任意两个已知像素点之间插入像素点，在放大时避免失真，降维时可求 得替代像素点，在本专利中是通过双线性插值算法与张量结合对像素点进行压缩处理，降 低了计算复杂度的同时，在图像的放缩处理中保持了抗锯齿功能
[0051]
[0050] 步骤70:利用网络输出V对网络输入秩一张量的外积p° q求偏导获得的灵敏度δ，根 据灵敏度S更新参数Θ。
[0052]
[0053]
[0054]
[0055]
[0056]步骤80:将更新好的参数θ~带入网络，获得网络输出赋值为U2,作为第一步的输 入，重复步骤10到步骤70，进行迭代运算。
[0057]在步骤80中，在空间变换器调节好参数后，可任意添加与卷积神经网络的任意位 置，可以设置在原始样本输入层后，也可以设置在卷积层后(样本-卷积-空间变换器…或样 本-空间变换器-卷积…）最终实现效果是不同的空间变换器可提取出不同层次的特征，如 第一个空间变换器可提取鸟头的特征，第二个可以提取鸟身的特征等等。
[0058] 步骤90:对于经过L次迭代的空间变换器的输出UL进入softmax层进行分类，得到 每一类的分类概率。
[0059]
[0060] 步骤100:定义平方损失函数，< 表示第η个样本对应的标签的第k维，％表示第η个 样本对应的网络输出的第k个输出
[0061]
[0062] 步骤110:利用误差函数对卷积层的参数W求偏导，逐层更新参数W。
[0063]
[0064]
[0065]步骤120:将更新好的W带入各卷积层重新计算，获得CNN最终网络输出，即提取的 特征。
[0066]本发明实施例的多层卷积神经网络优化系统及方法在经过张量分解后的卷积层 输出添加空间变换器，替代传统的池化层，有利于提取空间不变的特征；同时对于卷积层的 输出进行张量分解，在最大化保留原始信息与结构相关性前提下，去掉冗余信息，提高运算 效率;应用双线性插值算法与张量结合，对图像不同方向的像素点进行线性插值，在任意两 个已知像素点之间插入像素点，在放大时避免失真，降维时可求得替代像素点;利用张量分 解后的低阶张量结合双线性插值算法对像素点进行压缩处理，降低了计算复杂度并在图像 的放缩处理保持了抗锯齿功能。
[0067]对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。 对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的 一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明 将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一 致的最宽的范围。
【主权项】
1. 一种多层卷积神经网络优化系统，其特征在于，包括：图像定位模块、基于CP分解的 采样模块、微采样模块、基于BP算法参数调优模块和卷积神经网络特征输出模块，所述图像 定位模块通过回归函数根据卷积层的维度设定参数矩阵Θ，并用于下一层对于坐标变换的 操作;所述基于CP分解的采样模块对经过卷积操作的结果进行张量分解，得到两个秩一张 量P和q，同时利用像素点对应的坐标与上一层产生的参数Θ进行运算;所述微采样模块应用 双线性插值算法对图像不同方向的像素点进行线性插值，获得网络输出V;所述基于BP算法 的参数调优模块对于参数Θ进行更新;所述卷积神经网络特征输出模块用于将更新好的参 数θ~带入网络，并进行迭代运算，同时加入分类器对特征进行分类预测，输出卷积神经网络 特征。2. 根据权利要求1所述的多层卷积神经网络优化系统，其特征在于，所述图像定位模块 还用于接收来自上一次卷积后的结果U，其中U通过对卷积核与样本进行图像卷积计算获 得。3. 根据权利要求1或2所述的多层卷积神经网络优化系统，其特征在于，所述图像定位 模块通过回归函数根据卷积层的维度设定参数矩阵Θ具体包括:对于卷积神经网络的某一 特征输出UeR 1?#作为采样层的输入，其中，H、W代表图片的高度和宽度，C代表通道;通过 f loc计算空间变换参数Θ，f loc包含回归层根据卷积层的维度设定参数矩阵Θ : Θ = flcic;(U)。4. 根据权利要求1所述的多层卷积神经网络优化系统，其特征在于，所述微采样模块应 用双线性插值算法对图像不同方向的像素点进行线性插值，获得网络输出V具体为:利用求 得的参数Θ对U的像素点对应坐标(xt，yt)做仿射变换，得到(xs，ys);将经过张量计算得到 像素的坐标(xs，ys)与P〇q输入到微采样层，在微采样层通过双线性插值算法对周围像素进 行压缩替代，获得网络输出V。5. 根据权利要求1所述的多层卷积神经网络优化系统，其特征在于，所述基于BP算法的 参数调优模块对于Θ进行更新的具体方式为:利用网络输出V对网络输入秩一张量的外积p〇 q求偏导获得的灵敏度S，根据灵敏度δ更新参数。6. 根据权利要求1所述的多层卷积神经网络优化系统，其特征在于:所述卷积神经网络 特征输出模块用于将经过L次迭代的空间变换器的输出U 1进入softmax层进行分类，得到每 一类的分类概率;利用误差函数对卷积层的参数W求偏导，逐层更新参数W，将更新好的W带 入各卷积层重新计算。7. -种多层卷积神经网络优化方法，包括： 步骤a:通过卷积计算获得某一卷积层的结果U，通过图像定位模块获得结果U，将结果U 作为采样层的输入计算空间变换参数Θ ; 步骤b:对U进行张量分解，获得两个秩一张量p和q，利用求得的参数Θ对像素点对应坐 标做仿射变换，将经过张量计算得到像素的坐标与P〇q输入到微采样层； 步骤c:在微采样层通过双线性插值算法与张量运算结合，获得网络输出V;对V求秩一 张量外积P〇q的偏导，根据灵敏度S更新参数Θ ; 步骤d:迭代计算整个网络，输出卷积神经网络特征输出。8. 根据权利要求7所述的多层卷积神经网络优化方法，其特征在于，所述步骤a中通过 卷积计算获得某一卷积层的结果U具体为:对于d*d的卷积核与X*Y的样本进行图像卷积计 算获得某一卷积层的结果U。9. 根据权利要求7或8所述的多层卷积神经网络优化系统，其特征在于，所述步骤d中迭 代计算整个网络包括:将更新好的参数带入网络，获得网络输出赋值，重复步骤a到步骤c， 进行迭代运算。10. 根据权利要求9所述的多层卷积神经网络优化系统，其特征在于，所述步骤d还包 括:对于经过L次迭代的空间变换器的输出U1进入softmax层进行分类，得到每一类的分类 概率;定义平方损失函数，利用误差函数对卷积层的参数W求偏导，逐层更新参数W;将更新 好的W带入各卷积层重新计算，获得CNN最终网络输出。
【文档编号】G06T7/00GK105844653SQ201610236109
【公开日】2016年8月10日
【申请日】2016年4月18日
【发明人】卢哲, 王书强, 李雅玉, 申妍燕, 曾德威
【申请人】深圳先进技术研究院