卷积运算电路和方法、图像处理设备与流程

文档序号:32057014发布日期:2022-11-04 21:56阅读:来源:国知局

技术特征:
1.一种卷积运算电路,其特征在于,包括多个用于进行不同卷积运算层的运算模块;各个所述运算模块包括用于缓存中间数据的中间存储器和用于进行对应卷积运算的运算单元,所述运算单元与对应的中间存储器设于同一芯片内;所述运算单元用于接收输入数据,对所述输入数据进行对应的卷积运算,将卷积运算过程的中间数据缓存至所述中间存储器,从所述中间存储器读取当前的中间数据供对应卷积运算采用,并根据最新的中间数据更新所述中间存储器缓存的中间数据,输出对应运算模块的卷积运算结果。2.根据权利要求1所述的卷积运算电路,其特征在于,多个所述运算模块包括输入层卷积模块、至少一个dw卷积模块、至少一个pw卷积模块、以及输出层卷积模块。3.根据权利要求2所述的卷积运算电路,其特征在于,所述输入层卷积模块包括tm1个第一乘法器、tm1个第一乘法器分别对应的第一加法器和第一中间存储器、以及第一非线性激活单元,tm1表示所述输入层卷积模块的卷积核个数;所述tm1个第一乘法器用于对所述图像特征图中对应通道的数据分别进行乘法运算,得到第一乘积;所述第一加法器用于从对应的所述第一中间存储器读取当前的第一中间数据,将所述当前的第一中间数据与对应的第一乘积相加,若相加结果为中间数据,则依据相加结果更新对应的第一中间数据,将更新后的第一中间数据存入对应的第一中间存储器;所述第一非线性激活单元用于激活表征当前层最终卷积结果的相加结果,得到所述第一运算结果。4.根据权利要求3所述的卷积运算电路,其特征在于,所述输入层卷积模块还包括r1
×
s1个第一输入存储器,r1×
s1表示所述输入层卷积模块中单次卷积计算的窗口大小;所述r1
×
s1个第一输入存储器对应r1
×
s1卷积窗口,用于存储后续运算中需要用到的卷积窗口中的第一输入激活数据,以便所述tm1个第一乘法器读取所述第一输入激活数据;所述第一输入激活数据来源于所述图像特征图。5.根据权利要求2所述的卷积运算电路,其特征在于,所述dw卷积模块包括tm2个第二乘法器、tm2个第二乘法器分别对应的第二加法器和第二中间存储器、以及第二非线性激活单元,tm2表示所述dw卷积模块的卷积核个数;所述tm2个第二乘法器用于对所述第一运算结果中对应通道的数据分别进行乘法运算,得到第二乘积;所述第二加法器用于从对应的所述第二中间存储器读取当前的第二中间数据,将所述当前的第二中间数据与所述第二乘积相加,若相加结果为中间数据,则依据相加结果更新所述第二中间数据,将更新后的所述第二中间数据存入所述第二中间存储器;所述第二非线性激活单元用于激活表征当前层最终卷积结果的相加结果,得到所述第二运算结果。6.根据权利要求2所述的卷积运算电路,其特征在于,所述pw卷积模块包括tm3×
tn3个第三乘法器、第三加法器、第三中间存储器、以及第三非线性激活单元,tm3表示所述pw卷积模块的卷积核个数,tn3表示所述pw卷积模块中输入通道尺度上的分片大小;所述tm3×
tn3个第三乘法器用于对所述第二运算结果中对应通道的数据分别进行乘法运算,得到第三乘积;
所述第三加法器用于分别对tm3组第三乘法器输出的第三乘积进行相加,并从所述第三中间存储器读取当前的第三中间数据,将所述当前的第三中间数据与第三乘积对应的相加结果进行累加,依据累加结果更新所述第三中间数据,将更新后的所述第三中间数据存入所述第三中间存储器;所述第三非线性激活单元用于激活表征当前层最终卷积结果的累加结果,得到所述第三运算结果。7.根据权利要求6所述的卷积运算电路,其特征在于,所述pw卷积模块还包括tn3个第二输入存储器;所述tn3个第二输入存储器用于存储后续运算中需要用到的卷积窗口中的第二输入激活数据,以便所述tm3×
tn3个第三乘法器读取所述第二输入激活数据;所述第二输入激活数据来源于所述第二运算结果。8.根据权利要求2所述的卷积运算电路,其特征在于,所述输出层卷积模块包括tn4个第四乘法器、第四加法器、第四中间存储器、以及第四非线性激活单元,tn4表示所述输出层卷积模块中输入通道尺度上的分片大小;所述tn4个第四乘法器用于所述第三运算结果中对应通道的数据分别进行乘法运算,得到第四乘积;所述第四加法器用于分别对tn4个第四乘法器输出的第四乘积进行相加,并从所述第四中间存储器读取当前的第四中间数据,将所述当前的第四中间数据与第四乘积对应的相加结果进行累加,依据累加结果更新所述第四中间数据,将更新后的所述第四中间数据存入所述第四中间存储器;所述第四非线性激活单元用于激活表征当前层最终卷积结果的相加结果,得到所述第四运算结果。9.根据权利要求3至8任一项所述的卷积运算电路,其特征在于,所述第一非线性激活单元、所述第二非线性激活单元、所述第三非线性激活单元和所述第四非线性激活单元分别包括:加法器组和比较器组;所述加法器组用于对表征当前层最终卷积结果的相加结果进行累加偏置处理;所述较器组用于对累加偏置处理的结构进行非线性激活处理,得到对应的运算结果。10.根据权利要求1至9任一项所述的卷积运算电路,其特征在于,所述中间存储器包括静态随机存取存储器。11.一种卷积运算方法,其特征在于,应用于权利要求1至10任一项所述的卷积运算电路,包括:接收输入数据,对所述输入数据进行对应的卷积运算,将卷积运算过程的中间数据缓存至中间存储器;从所述中间存储器读取当前的中间数据供对应卷积运算采用,并根据最新的中间数据更新所述中间存储器缓存的中间数据,输出对应运算模块的卷积运算结果。12.一种图像处理设备,其特征在于,包括权利要求1至10任一项所述的卷积运算电路。

技术总结
本申请公开一种卷积运算电路和方法、图像处理设备,其中卷积运算电路包括多个用于进行不同卷积运算层的运算模块;各个所述运算模块包括用于缓存中间数据的中间存储器和用于进行对应卷积运算的运算单元,所述运算单元与对应的中间存储器设于同一芯片内;所述运算单元用于接收输入数据,对所述输入数据进行对应的卷积运算,将卷积运算过程的中间数据缓存至所述中间存储器,从所述中间存储器读取当前的中间数据供对应卷积运算采用,并根据最新的中间数据更新所述中间存储器缓存的中间数据,输出对应运算模块的卷积运算结果。本申请能够提高卷积运算电路的运算速度,降低对应的执行功耗。耗。耗。


技术研发人员:郑军 韩军 段旭阳
受保护的技术使用者:上海为旌科技有限公司
技术研发日:2022.07.11
技术公布日:2022/11/3
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1