跨阶段跳跃连接处理图像的方法、系统和计算机可读介质与流程

文档序号:25543497发布日期:2021-06-18 20:40阅读:来源:国知局

技术特征:

1.一种计算机实现的方法,其特征在于,包括:由编码器接收和处理第一图像并输出第一特征图,其中,所述编码器包括:

多个第一卷积阶段,接收所述第一图像,并逐阶段输出与所述第一卷积阶段对应的多个第二特征图;

其中,所述多个第二特征图的比例逐渐减小;

对于所述第一卷积阶段的每个第二卷积阶段,第一跳跃连接被增加在每个所述第二卷积阶段与对应于每个所述第二卷积阶段的所述多个第一卷积阶段中的至少一个剩余卷积阶段的每个之间。

2.根据权利要求1所述的方法,其特征在于,

所述第一跳跃连接包括向下缩放所述多个第二特征图中的一个,以生成第三特征图,以及对所述第三特征图进行相加,以通过如下等式,获得第四特征图的和xj:

其中a是所述多个第一个第一卷积阶段的阶段数,i是所述多个第一卷积阶段中的第一源阶段的阶段数,j是所述第一卷积阶段的第一目的阶段的阶段数,当i<j,fij为第三特征图,且所述第三特征图是通过所述阶段数为i的第一源阶段与阶段数为j的所述第一目的阶段之间的所述第一跳跃连接获得,当i=j时,fij是通过阶段数为j的所述第一目的阶段所获得的第五特征图;

所述第三特征图的比例与所述第五特征图的比例相同。

3.根据权利要求2所述的方法,其特征在于,向下缩放由第一向下缩放阶段执行,所述第一向下缩放阶段包括输出所述第三特征图的第一激活函数;以及阶段数为j的所述第一目的阶段包括第一卷积层和第二激活函数;所述第一卷积层输出所述第五特征图,所述第二激活函数接收所述多个第四特征图之和,并输出所述第二特征图的第六特征图。

4.根据权利要求3所述的方法,其特征在于,所述第一向下缩放阶段还包括第二卷积层,所述第二卷积层在所述第一激活函数之前并且具有第一步长,使得所述第二卷积层将所述多个第二特征图的其中一个的比例减小至所述第三特征图的比例。

5.根据权利要求4所述的方法,其特征在于,所述第二卷积层是1×1卷积层。

6.根据权利要求3所述的方法,其特征在于,所述第一向下缩放阶段还包括第一池化层,所述第一池化层将所述多个第二特征图中的一个的比例减小到第三特征图的比例,第三卷积层在所述第一池化层之后且步长为1。

7.根据权利要求6所述的方法,其特征在于,所述第三卷积层是1×1卷积层。

8.根据权利要求2所述的方法,其特征在于,设置所述第五特征图的多个通道,以使得所述第五特征图不具有相对于所述第三特征图冗余的信息。

9.根据权利要求1所述的方法,其特征在于,所述第二特征图的最后一个是所述第一特征图。

10.根据权利要求1所述的方法,其特征在于,所述编码器还包括:

瓶颈阶段,接收所述多个第二特征图的最后一个并输出所述第一特征图,其中,所述瓶颈阶段包括全局池化层。

11.根据权利要求1所述的方法,其特征在于,进一步包括:由解码器接收和处理所述第一特征图,以及输出第二图像,所述解码器包括:

多个第三卷积阶段,接收所述第一特征图,并逐阶段输出与所述第三卷积阶段相对应的多个第七特征图;

其中,所述第一特征图和所述第七特征图的比例逐渐增大;

对于所述编码器的最后卷积阶段的每个第四卷积阶段和所述第三卷积阶段,第二跳跃连接被增加在所述每个第四卷积阶段与对应于所述每个第四卷积阶段的所述多个第三卷积阶段中的至少一个剩余卷积阶段的每个之间;

所述编码器的最后卷积阶段输出所述第一特征图;

所述每个第四卷积阶段输出对应的第八特征图,所述第八特征图的比例在所述多个第三卷积阶段的相应的第五卷积阶段中增大,其中,所述相应的第五卷积阶段紧接在所述每个第四卷积阶段之后。

12.根据权利要求11的方法,其特征在于,

所述第二跳跃连接包括向上缩放所述第一特征图和所述第七特征图中的一个,以生成第九特征图,以及对所述第九特征图进行相加,以通过如下等式,获得第十特征图的和xn:

其中b是所述最后卷积阶段的阶段数,m是第二源阶段的阶段数,所述第二源阶段是所述编码器的最后卷积阶段和所述第三卷积阶段中的其中一个,n是所述第三卷积阶段的第二目的阶段的阶段数,当m<n,fmn是第九特征图,所述第九特征图是通过阶段数为m的所述第二源阶段与阶段数为n的所述第二目的阶段之间的所述第二跳跃连接获得,当m=n时,fmn是通过具有阶段数n的所述第二目的阶段获得的第十一特征图;

所述第九特征图的比例与所述第十一特征图的比例相同。

13.根据权利要求12所述的方法,其特征在于,由第一向上缩放阶段执行,所述第一向上缩放阶段包括输出所述第九特征图的第三激活函数;阶段数为n的所述第二目的阶段包括第四卷积层和第四激活函数;所述第四卷积层输出所述第十一特征图,所述第四激活函数接收所述多个第十特征图之和,并输出所述多个第七特征图的第十二特征图。

14.根据权利要求13所述的方法,其特征在于,所述第一向上缩放阶段还包括第一反卷积层,所述第一反卷积层在所述第三激活函数之前并且具有第二步长,使得所述第一反卷积层将所述第一特征图和所述多个第七特征图其中一个的比例增大至所述第九特征图的比例。

15.根据权利要求14所述的方法,其特征在于,所述第一反卷积层是1×1反卷积层。

16.根据权利要求13所述的方法,其特征在于,所述第一向上缩放阶段进一步包含第一向上采样层,所述第一向上采样层将所述第一特征图和所述第七特征图中的其中一个的比例增加到所述第九特征图的比例,第五卷积层在所述第一向上采样层之后且步长为1。

17.根据权利要求16的方法,其特征在于,所述第五卷积层是1×1卷积层。

18.根据权利要求12所述的方法,其特征在于,设置所述第十一特征图的多个通道,以使得所述第十一特征图不具有相对于所述第九特征图冗余的信息。

19.一种计算机实现的方法,其特征在于,包括:由解码器接收和处理第一特征图并输出第一图像,所述第一特征图由编码器输出,所述解码器包括:

多个第一卷积阶段,接收所述第一特征图,并逐阶段输出与所述多个第一卷积阶段对应的多个第二特征图;

其中,所述第一特征图和所述第二特征图的比例逐渐增大;

对于所述编码器的最后卷积阶段的每个第二卷积阶段和所述多个第一卷积阶段,第一跳跃连接被添加在所述每个第二卷积阶段与对应于所述每个第二卷积阶段的所述多个第一卷积阶段中的至少一个剩余卷积阶段的每个之间;

所述编码器的所述最后卷积阶段输出所述第一特征图;

所述每个第二卷积阶段输出相应的第三特征图,所述第三特征图的比例在所述第一卷积阶段的相应的第三卷积阶段中增大,其中,所述相应的第三卷积阶段紧接在所述每个第二卷积阶段之后。

20.根据权利要求19的方法,其特征在于,所述第一跳跃连接包括向上缩放所述第一特征图和所述第二特征图中的一个,以生成第四特征图,以及对所述第四特征图进行相加,以通过如下等式,获得第五特征图的和xj:

其中a是所述第一卷积阶段的阶段数,i是第一源阶段的阶段数,所述第一源阶段是所述编码器的最后卷积阶段和所述多个第一卷积阶段中的其中一个,j是所述多个第一卷积阶段的第一目的阶段的阶段数,当i<j,fij为第四特征图,且所述第四特征图是通过所述阶段数为i的第一源阶段与阶段数为j的所述第一目的阶段之间的所述第一跳跃连接获得,当i=j时,fij是通过阶段数为j的所述第一目的阶段所获得的第六特征图;

所述第四特征图的比例与所述第六特征图的比例相同。

21.根据权利要求20所述的方法,其特征在于,由第一向上缩放阶段执行,所述第一向上缩放阶段包括输出所述第四特征图的第一激活函数;阶段数为j的所述第一目的阶段包括第一卷积层和第二激活函数;所述第一卷积层输出所述第六特征图,所述第二激活函数接收所述第五特征图之和,并输出所述第二特征图的第七特征图。

22.根据权利要求21所述的方法,其特征在于,所述第一向上缩放阶段还包括第一反卷积层,所述第一反卷积层在所述第一激活函数之前并且具有第一步长,使得所述第一反卷积层将所述第一特征图和所述第二特征图其中一个的比例增大至所述第四特征图的比例。

23.根据权利要求22所述的方法,其特征在于,所述第一反卷积层是1×1反卷积层。

24.根据权利要求21所述的方法,其特征在于,所述第一向上缩放阶段进一步包含第一向上采样层,所述第一向上采样层将所述第一特征图和所述第二特征图中的其中一个的比例增加至所述第四特征图的比例,第二卷积层在所述第一向上采样层之后且步长为1。

25.根据权利要求24所述的方法,其特征在于,所述第二卷积层是1×1卷积层。

26.根据权利要求20所述的方法,其特征在于,设置所述第六特征图的多个通道,以使得所述第六特征图不具有相对于所述第四特征图冗余的信息。

27.根据权利要求19所述的方法,其特征在于,进一步包括:由编码器接收和处理第二图像并输出第一特征图,其中,所述编码器包括:

多个第四卷积阶段,接收所述第二图像,并逐阶段输出与所述第四卷积阶段对应的多个第八特征图;

其中,所述多个第八特征图的比例逐渐减小;

对于所述第四卷积阶段的每个第五卷积阶段,第二跳跃连接被增加在所述每个第五卷积阶段与对应于所述每个第五卷积阶段的所述多个第四卷积阶段的至少一个剩余卷积阶段的每个之间。

28.根据权利要求27所述的方法,其特征在于,

所述第二跳跃连接包括向下缩放所述多个第八特征图中的一个,以生成第九特征图,以及对所述第九特征图进行相加,以通过如下等式,获得第十特征图的和xn:

其中b是所述第一个第四卷积阶段的阶段数,m是所述第四卷积阶段中的第二源阶段的阶段数,n是所述第四卷积阶段的第二目的阶段的阶段数,当m<n,fmn为第九特征图,且所述第九特征图是通过所述阶段数为m的第二源阶段与阶段数为n的所述第二目的阶段之间的所述第二跳跃连接获得,当m=n时,fmn是通过阶段数为n的所述第二目的阶段所获得的第十一特征图;

所述第九特征图的比例与所述第十一特征图的比例相同。

29.根据权利要求28所述的方法,其特征在于,由第一向下缩放阶段执行,所述第一向下缩放阶段包括输出所述第九特征图的第三激活函数;以及阶段数为n的所述第二目的阶段包括第三卷积层和第四激活函数;所述第三卷积层输出所述第十一特征图,所述第四激活函数接收所述第十特征图之和,并输出所述第八特征图的第十二特征图。

30.根据权利要求29所述的方法,其特征在于,所述第一向下缩放阶段还包括第四卷积层,所述第四卷积层在所述第三激活函数之前并且具有第二步长,使得所述第四卷积层将所述第八特征图的其中一个的比例减小至所述第九特征图的比例。

31.根据权利要求30所述的方法,其特征在于,所述第四卷积层是1×1卷积层。

32.根据权利要求29所述的方法,其特征在于,所述第一向下缩放阶段还包括第一池化层,所述第一池化层将所述第八特征图中的其中一个的比例减小到第九特征图的比例,第五卷积层在所述第一池化层之后且步长为1。

33.根据权利要求32所述的方法,其特征在于,所述第五卷积层是1×1卷积层。

34.根据权利要求28所述的方法,其特征在于,设置所述第十一特征图的多个通道,以使得所述第十一特征图不具有相对于所述第九特征图冗余的信息。

35.根据权利要求27所述的方法,其特征在于,所述第八特征图的最后是所述第一特征图。

36.根据权利要求27所述的方法,其特征在于,所述编码器还包括:

瓶颈阶段,接收所述多个第八特征图的最后一个并输出所述第一特征图,其中,所述瓶颈阶段包括全局池化层。

37.一种系统,其特征在于,包括:

至少一个存储器,配置用于存储程序指令;

至少一个处理器,配置用于执行所述程序指令,以使得所述至少一个处理器执行以下步骤:

由编码器接收和处理第一图像并输出第一特征图,其中,所述编码器包括:

多个第一卷积阶段,接收所述第一图像,并逐阶段输出与所述第一卷积阶段对应的多个第二特征图;

其中,所述第二特征图的比例逐渐减小;

对于所述第一卷积阶段的每个第二卷积阶段,第一跳跃连接被增加在每个所述第二卷积阶段与对应于每个所述第二卷积阶段的所述多个第一卷积阶段中的至少一个剩余卷积阶段的每个之间。

38.一种系统,其特征在于,包括:

至少一个存储器,配置用于存储程序指令;

至少一个处理器,配置用于执行所述程序指令,以使得所述至少一个处理器执行以下步骤:

由解码器接收和处理第一特征图并输出第一图像,所述第一特征图由编码器输出,所述解码器包括:

多个第一卷积阶段,接收所述第一特征图,并逐阶段输出与所述多个第一卷积阶段对应的多个第二特征图;

其中,所述第一特征图和所述第二特征图的比例逐渐增大;

对于所述编码器的最后卷积阶段的每个第二卷积阶段和所述多个第一卷积阶段,第一跳跃连接被增加在所述每个第二卷积阶段与对应于所述每个第二卷积阶段的所述多个第一卷积阶段中的至少一个剩余卷积阶段的每个之间;

所述编码器的所述最后卷积阶段输出所述第一特征图;

所述每个第二卷积阶段输出相应的第三特征图,所述第三特征图的比例在所述第一卷积阶段的相应的第三卷积阶段中增大,其中,所述相应的第三卷积阶段紧接在所述每个第二卷积阶段之后。

39.一种非暂时性计算机可读介质,其特征在于,所述非暂时性计算机可读介质存储有程序指令,在所述程序指令被所述至少一个处理器运行时执行的步骤包括:

由编码器接收和处理第一图像并输出第一特征图,其中,所述编码器包括:

多个第一卷积阶段,接收所述第一图像,并逐阶段输出与所述第一卷积阶段对应的多个第二特征图;

其中,所述第二特征图的比例逐渐减小;

对于所述多个第一卷积阶段的每个第二卷积阶段,第一跳跃连接被增加在每个所述第二卷积阶段与对应于每个所述第二卷积阶段的所述多个第一卷积阶段中的至少一个剩余卷积阶段的每个之间。

40.一种非暂时性计算机可读介质,其特征在于,所述非暂时性计算机可读介质存储有程序指令,在所述程序指令被所述至少一个处理器运行时执行的步骤包括:

由解码器接收和处理第一特征图并输出第一图像,所述第一特征图由编码器输出,其中,所述解码器包括:

多个第一卷积阶段,接收所述第一特征图,并逐阶段输出与所述多个第一卷积阶段对应的多个第二特征图;

其中,所述第一特征图和所述第二特征图的比例逐渐增大;

对于所述编码器的最后卷积阶段的每个第二卷积阶段和所述多个第一卷积阶段,第一跳跃连接被增加在所述每个第二卷积阶段与对应于所述每个第二卷积阶段的多个第一卷积阶段的至少一个剩余卷积阶段的每个之间;

所述编码器的所述最后卷积阶段输出所述第一特征图;

所述每个第二卷积阶段输出相应的第三特征图,所述第三特征图的比例在所述第一卷积阶段的相应的第三卷积阶段中增大,其中,所述相应的第三卷积阶段紧接在所述每个第二卷积阶段之后。


技术总结
在一个实施例中,一种计算机实现的方法包括:由编码器接收和处理第一图像;以及输出第一特征图。编码器包括多个第一卷积阶段,其接收第一图像并且逐阶段输出与第一卷积阶段相对应的多个第二特征图。第二个特征图的比例逐渐减小。对于第一卷积阶段的每个第二卷积阶段,第一跳跃连接被增加在每个第二卷积阶段与对应于每个第二卷积阶段的第一卷积阶段中的至少一个剩余卷积阶段的每个之间。

技术研发人员:孟子博;陈鸣
受保护的技术使用者:OPPO广东移动通信有限公司
技术研发日:2019.09.11
技术公布日:2021.06.18
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1