基于广域动态卷积的图像处理方法及装置与流程

文档序号:21272951发布日期:2020-06-26 23:03阅读:来源:国知局

技术特征:

1.一种基于广域动态卷积的图像处理方法,其特征在于,所述方法包括:

对待处理图像进行特征提取,得到n级特征图,n为大于1的整数;

对第n级特征图进行上采样,得到所述待处理图像的第一特征图;

根据所述n级特征图及预设的卷积核尺寸,确定与所述第一特征图中的各个像素点对应的卷积核;

根据与所述第一特征图中的各个像素点对应的卷积核及各个像素点的邻近区域尺寸,对所述第一特征图中的各个像素点分别进行卷积及池化处理,得到所述待处理图像的第二特征图;

根据所述第二特征图,确定所述待处理图像的图像处理结果。

2.根据权利要求1所述的方法,其特征在于,根据所述n级特征图及预设的卷积核尺寸,确定与所述第一特征图中的各个像素点对应的卷积核,包括:

对所述n级特征图进行尺寸调整及融合处理,得到第三特征图,所述第三特征图的尺寸与所述第一特征图的尺寸相同;

对所述第三特征图进行卷积及激活处理,得到第四特征图,所述第四特征图的高度及宽度与所述第一特征图的高度及宽度相同,所述第四特征图的通道数为所述第一特征图的通道数的k×k倍,其中k×k为预设的卷积核尺寸,k为正整数;

根据所述第四特征图,确定与所述各个像素点对应的卷积核参数。

3.根据权利要求2所述的方法,其特征在于,根据所述第四特征图,确定与所述各个像素点对应的卷积核参数,包括:

根据所述第四特征图,确定与所述第一特征图中的各个像素点对应的特征向量,所述特征向量的维数为c×k×k,c为所述第一特征图的通道数,c为正整数;

将与所述第一特征图中的各个像素点的对应的特征向量,转换为与所述各个像素点对应的卷积核参数。

4.根据权利要求1所述的方法,其特征在于,根据与所述第一特征图中的各个像素点对应的卷积核及各个像素点的邻近区域尺寸,对所述第一特征图中的各个像素点分别进行卷积及池化处理,得到所述待处理图像的第二特征图,包括:

根据所述第一特征图中各个像素点的邻近区域尺寸,确定所述各个像素点的邻近区域;

对于所述第一特征图中的任一像素点,根据与所述像素点对应的卷积核,对所述第一特征图进行卷积处理,确定所述像素点的邻近区域中的各个像素点的第一卷积响应;

对所述像素点的邻近区域中的各个像素点的第一卷积响应进行池化处理,确定所述像素点的第二卷积响应;

根据所述第一特征图中各个像素点的第二卷积响应,确定待处理图像的第二特征图。

5.根据权利要求2所述的方法,其特征在于,对所述n级特征图进行尺寸调整及融合处理,得到第三特征图,包括:

根据所述第一特征图的尺寸,对所述n级特征图进行尺寸调整,得到n个第五特征图,所述第五特征图的尺寸与所述第一特征图的尺寸相同;

将所述n个第五特征图中位置相同的像素点的n个特征值相加,得到第三特征图。

6.根据权利要求1-5中任意一项所述的方法,其特征在于,所述方法通过神经网络实现,所述神经网络包括特征提取网络、卷积核生成网络及广域动态卷积网络,所述特征提取网络用于进行特征提取,所述卷积核生成网络用于确定各个像素点对应的卷积核,所述广域动态卷积网络用于确定第二特征图,

其中,所述方法还包括:

根据预设的训练集,训练所述特征提取网络,所述训练集中包括多个样本图像、所述多个样本图像的参考特征图及所述多个样本图像的参考处理结果;

根据所述训练集及训练后的特征提取网络,训练所述卷积核生成网络及所述广域动态卷积网络。

7.一种基于广域动态卷积的图像处理装置,其特征在于,所述装置包括:

特征提取模块,用于对待处理图像进行特征提取,得到n级特征图,n为大于1的整数;

上采样模块,用于对第n级特征图进行上采样,得到所述待处理图像的第一特征图;

卷积核确定模块,用于根据所述n级特征图及预设的卷积核尺寸,确定与所述第一特征图中的各个像素点对应的卷积核;

卷积及池化处理模块,用于根据与所述第一特征图中的各个像素点对应的卷积核及各个像素点的邻近区域尺寸,对所述第一特征图中的各个像素点分别进行卷积及池化处理,得到所述待处理图像的第二特征图;

处理结果确定模块,根据所述第二特征图,确定所述待处理图像的图像处理结果。

8.根据权利要求7所述的装置,其特征在于,所述卷积核确定模块,包括:

特征图融合子模块,用于对所述n级特征图进行尺寸调整及融合处理,得到第三特征图,所述第三特征图的尺寸与所述第一特征图的尺寸相同;

卷积及激活子模块,用于对所述第三特征图进行卷积及激活处理,得到第四特征图,所述第四特征图的高度及宽度与所述第一特征图的高度及宽度相同,所述第四特征图的通道数为所述第一特征图的通道数的k×k倍,其中k×k为预设的卷积核尺寸,k为正整数;

卷积核确定子模块,用于根据所述第四特征图,确定与所述各个像素点对应的卷积核参数。

9.根据权利要求8所述的装置,其特征在于,所述卷积核确定子模块,被配置为:

根据所述第四特征图,确定与所述第一特征图中的各个像素点对应的特征向量,所述特征向量的维数为c×k×k,c为所述第一特征图的通道数,c为正整数;

将与所述第一特征图中的各个像素点的对应的特征向量,转换为与所述各个像素点对应的卷积核参数。

10.根据权利要求7所述的装置,其特征在于,所述卷积及池化处理模块,包括:

邻近区域确定子模块,用于根据所述第一特征图中各个像素点的邻近区域尺寸,确定所述各个像素点的邻近区域;

卷积子模块,用于对所述第一特征图中的任一像素点,根据与所述像素点对应的卷积核,对所述第一特征图进行卷积处理,确定所述像素点的邻近区域中的各个像素点的第一卷积响应;

池化子模块,用于对所述像素点的邻近区域中的各个像素点的第一卷积响应进行池化处理,确定所述像素点的第二卷积响应;

特征图确定子模块,用于根据所述第一特征图中各个像素点的第二卷积响应,确定待处理图像的第二特征图。


技术总结
本公开涉及一种基于广域动态卷积的图像处理方法及装置,所述方法包括:对待处理图像进行特征提取,得到N级特征图,N为大于1的整数;对第N级特征图进行上采样,得到所述待处理图像的第一特征图;根据所述N级特征图及预设的卷积核尺寸,确定与所述第一特征图中的各个像素点对应的卷积核;根据与所述第一特征图中的各个像素点对应的卷积核及各个像素点的邻近区域尺寸,对所述第一特征图中的各个像素点分别进行卷积及池化处理,得到所述待处理图像的第二特征图;根据所述第二特征图,确定所述待处理图像的图像处理结果。本公开的实施例可对待处理图像的特征图进行增强,提高特征图的分辨率及清晰度,进而可提高图像处理的准确性。

技术研发人员:季向阳;杨宇
受保护的技术使用者:清华大学
技术研发日:2020.03.06
技术公布日:2020.06.26
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1