法器的 一个输入端，4个第一 2输入乘法器的另外一个输入端为神经网络的权重;4个第一 2输入乘 法器的输出端连接第一 4输入加法器的输入端;4个第二2输入乘法器的输入为第一 4输入加 法器的输出和神经网络的权重;第二4输入加法器的输入为4个第二2输入乘法器的输出。 [0041 ]请参阅图4所示，可重构分离卷积模块包括第一寄存器组、16个4 X 4可重构一维卷 积模块、4个4输入第一加法器和1个4输入第二加法器。利用可重构技术，可重构分离卷积模 块可完成16 X 16或者同时完成4个8 X 8卷积运算。图像信号和配置信号输入到第一寄存器 组。第一 4X4卷积1的输入为1-4行图像信号，第一 4X4卷积5的输入为5-8行图像信号。
[0042] 当卷积模板为16 X 16时，第一4 X 4卷积3的输入为第一4 X 4卷积2的输出，第一4 X 4卷积7的输入为第一4 X 4卷积6的输出，第一4 X 4卷积11的输入为第一4 X 4卷积10的输出， 第一4 X 4卷积15的输入为第一4 X 4卷积14的输出。第一4 X 4卷积9的输入为9-12行图像信 号，第一 4X4卷积13的输入为13-16行图像信号。可重构分离卷积模块输出为第二加法器的 结果。
[0043] 当卷积模块为8 X 8时，第一4 X 4卷积3的输入为1-4行图像信号，第一4 X 4卷积7的 输入为1-4行图像信号，第一4X4卷积11的输入为1-4行图像信号，第一4X4卷积15的输入 为1-4行图像信号。第一4X4卷积9的输入为1-4行图像信号，第一4X4卷积13的输入为5-8 行图像信号。可重构分离卷积模块输出为4个第一加法器的结果。一个可重构分离卷积模块 可同时完成4个8X8卷积运算。
[0044]请参阅图5所示，本发明一种可重构卷积神经网络处理器包括总线接口、前处理单 元、可重构硬件控制器、SRAM、SRAM控制模块、输入缓存、输出缓存、存储器、数据存储器控制 器和若干卷积网络运算单元;总线接口连接前处理单元、数据存储器控制器、可重构硬件控 制器和输入缓存、输出缓存;存储器连接数据存储器控制器;输入缓存连接可重构硬件控制 器和SRAM控制模块;卷积网络运算单元连接输入缓存模块、输出缓存模块。
[0045]前处理单元的输入为图像或者视频信号;完成白平衡、噪声过滤等前处理操作;输 入缓存模块、输出缓存分别用于缓存卷积网络运算单元的输入和输出。可重构硬件控制器 对卷积网络运算单元进行配置，控制其运算过程;在运算过程中或者结束时发送中断请求 完成与外部系统的交互;SRAM控制模块用于控制卷积网络权重参数的传输。
[0046] -个实现去除图像雨滴和灰尘的卷积神经网络中，包括512个卷积网络运算单元。 为了减少资源，提高处理速度，本发明在具体实现过程中采用了以下两种方法：（1)随机减 少卷积个数的方法:在不影响处理效果的前提下减少卷积网络运算单元的个数，减少硬件 资源的消耗，提高处理速度；（2)分块一维卷积的方法:将16X16和8X8的卷积模板分别分 成16个和4个4 X 4的卷积模板，对每个4 X 4的卷积采用一维卷积的方式。
[0047] 参照图5，可重构16 X 16卷积运算单元包括16个4 X 4可重构一维卷积模块（1，2， 3，···，16)、行存模块和寄存器;行存模块输入为图像或者视频信号，寄存器组的输入为行存 模块的输出，4X4可重构一维卷积模块的输入为寄存器组的输出；行存模块用于保存图像； 寄存器用于保存行存串行输入的图像数据，将图像数据输入到4X4可重构一维卷积模块。
[0048] 可重构8 X 8卷积运算单元包括4个4 X4可重构一维卷积模块(1，2，3，4)、行存模块 和寄存器;行存模块输入为乘累加器的输出，寄存器组的输入为行存模块的输出，4 X 4可 重构一维卷积模块的输入为寄存器组的输出。
【主权项】
1. 一种卷积网络运算单元，其特征在于:包括2个可重构分离卷积模块、非线性激活函 数单元和乘累加器单元； 第一个可重构分离卷积模块的输出为非线性激活函数单元的输入，非线性激活函数单 元的输出为乘累加器单元的输入，乘累加器单元的输出为第二个可重构分离卷积模块的输 入； 图像信号和配置网络参数信号输入到第一个可重构分离卷积模块;第一个可重构分离 卷积模块完成16X16卷积运算；非线性激活函数单元完成卷积神经网络中激活函数的运 算;乘累加器单元完成卷积神经网络中的连接层的运算;第二个可重构分离卷积模块同时 完成4个8X8卷积运算； 所述乘累加器单元包括若干乘累加器和若干寄存器;其中乘累加器用于计算上一层卷 积网络的输出值与权重参数乘积的和；寄存器将上一层卷积网络的结果输入到乘累加器 中。2. 根据权利要求1所述的一种卷积网络运算单元，其特征在于:所述可重构分离卷积模 块包括16个4 X 4可重构一维卷积模块和第一寄存器组;第一寄存器组用于将图像信号或前 一级输出和卷积网络参数输入到可重构一维卷积模块;可重构分离卷积模块用于完成1个 16 X 16卷积或者同时完成4个8 X 8卷积运算； 4X4可重构一维卷积模块包括4个第一选择器、4个第一 2输入乘法器、第一 4输入加法 器、4个第二2输入乘法器和第二4输入加法器;4个第一选择器的输出端连接对应的4个第一 2输入乘法器的输入端，4个第一 2输入乘法器的另外一个输入端为神经网络的权重;4个第 一 2输入乘法器的输出端连接第一 4输入加法器的输入端;4个第二2输入乘法器的输入为第 一4输入加法器的输出和神经网络的权重;第二4输入加法器的输入为4个第二2输入乘法器 的输出。3. 根据权利要求1所述的一种卷积网络运算单元，其特征在于:所述非线性激活函数单 元包括QD产生器和运算器组；其中QD产生器的输入为可重构分离卷积的输出，运算器组的 输入为QD产生器的输出；QD产生器用于产生激活函数所需的参数;运算器组用于计算激活 函数最终的结果值； 所述QD产生器包含一个第一除法器;输入信号输入到第一除法器，第一除法器输出商Q 和余数D;所述运算器组包含移位寄存器、2个第一加法器和第二除法器;移位寄存器输出和 为2个第一加法器的输入;2个第一加法器的输出为第二除法器的输入;移位寄存器、第一加 法器和第二除法器依次连接。4. 一种可重构卷积神经网络处理器，其特征在于：包括总线接口、前处理单元、可重构 硬件控制器、SRAM、SRAM控制模块、输入缓存模块、输出缓存模块、存储器、数据存储器控制 器和若干权利要求1至3中任一项所述的卷积网络运算单元；总线接口连接前处理单元、数 据存储器控制器、可重构硬件控制器和输入缓存、输出缓存;存储器连接数据存储器控制 器;输入缓存连接可重构硬件控制器和SRAM控制模块;卷积网络运算单元连接输入缓存模 块、输出缓存模块； 所述的前处理单元的输入为图像或者视频信号;完成白平衡、噪声过滤等前处理操作； 所述的输入缓存模块、输出缓存模块分别用于缓存卷积网络运算单元的输入和输出； 所述的可重构硬件控制器对卷积网络运算模块进行配置，控制其运算过程;在运算过 程中或者结束时发送中断请求完成与外部系统的交互； 所述的SRAM控制模块用于控制卷积网络权重参数的传输。5. 根据权利要求4所述的一种可重构卷积神经网络处理器，其特征在于：包括512个卷 积网络运算单元，实现基于卷积神经网络的图像去噪处理。6. 根据权利要求4所述的一种可重构卷积神经网络处理器，其特征在于:所述一种可重 构卷积神经网络处理器实现一个3层卷积神经网络，用于去除图像或者视频中附着的雨滴 和灰尘;所述的卷积神经网络第一层由512个16X16卷积构成，第二层为神经网络连接层， 第三层由512个8X8卷积构成。7. 权利要求4至6中任一项所述的一种可重构卷积神经网络处理器实现图像去噪处理 的方法，其特征在于:包括： 在图像去噪处理的过程中，随机减少卷积个数，减少硬件资源的消耗，提高处理速度； 或者，在图像去噪处理的过程中将16X16卷积运算单元和8X8卷积运算单元分别分成 16个和4个4 X 4的卷积模板，对每个4 X 4的卷积采用一维卷积。
【专利摘要】本发明公开一种卷积网络运算单元及可重构卷积神经网络处理器和实现图像去噪处理的方法；本发明所公开的可重构卷积神经网络处理器，包括总线接口、前处理单元、可重构硬件控制器、SRAM、SRAM控制模块、输入缓存模块、输出缓存模块、存储器、数据存储器控制器和卷积网络运算单元；其资源少、速度快、能适用于常用的卷积神经网络架构。本发明能够实现卷积神经网络，处理速度快，易于移植，资源消耗少，能够恢复被雨滴、灰尘污染的图像或者视频，还能作为前处理操作为后续的图像识别或者分类提供帮助。
【IPC分类】H04N5/213, H04N5/21, H04N9/73
【公开号】CN105681628
【申请号】CN201610003960
【发明人】张斌, 饶磊, 李艳婷, 杨宏伟, 赵季中
【申请人】西安交通大学
【公开日】2016年6月15日
【申请日】2016年1月5日